JP2010171532A - 撮像制御装置 - Google Patents

Abstract

【課題】撮像状態を容易に最適化する。
【解決手段】撮像制御装置１０は、撮像素子２３から出力される画像データを補正する機構部２２および信号補正部３１と、複数の補正毎の補正量が異なるように設定する補正量制御部４０と、補正量の変化に応じて所定時間内に複数の画像データを取得し、各補正量毎に画像データに基づき処理用画像を生成する処理用データ生成部３３と、処理用画像から複数の特徴量を抽出する特徴量抽出部３５と、複数の特徴量の基準値を記憶する基準値記憶部３７と、補正量を記憶する補正量記憶部３９と、基準値と特徴量との一致度を演算する一致度演算部３６と、各処理用画像毎に所定の基準距離と一致する距離情報に対応する画素領域を除外して設定した注目領域に対して一致度が最も高い基準値に対応する補正量を基準補正量として設定する基準補正量設定部３８とを備える。
【選択図】図１

Description

この発明は、撮像制御装置に関する。

従来、例えば画像の測光データから複数の特徴量を抽出し、これらの複数の特徴量に基づき、予め設定された複数パターンに対応付けられた複数の露光量演算式に、各特徴量と判定条件との一致度に基づく重み付けを行い、これらの重み付けに応じて複数の露光量演算式により露光量を算出する複写装置が知られている（例えば、特許文献１参照）。
また、従来、例えば車室内の前方座席領域を撮像する撮像装置の撮像画像内に露光枠を設定して、この露光枠内の画素毎の輝度値に基づいて撮像装置の露光を調整する車両用撮像装置が知られている（例えば、特許文献２参照）。

特許第２６１２９５６号公報 特開２００６−２６４４０４号公報

ところで、上記従来技術に係る複写装置によれば、重み付けされた複数の露光量演算式により算出された露光量が原画像の全領域の複写に採用されるだけであり、実際の複写により得られた複写画像が原画像に対して最適であるか否か、つまり露光量が原画像に対して最適であるか否かについては考慮されていない。しかも、
また、上記従来技術に係る車両用撮像装置によれば、単に、露光枠内の領域が所望の明度となるように露光を調整するだけであって、撮像状態を詳細に最適化することは困難であるという問題が生じる。
本発明は上記事情に鑑みてなされたもので、撮像状態を容易に最適化することが可能な撮像制御装置を提供することを目的としている。

上記課題を解決して係る目的を達成するために、本発明の第１態様に係る撮像制御装置は、所定の撮像対象領域を撮像して得た画像からなる画像情報を出力する撮像素子（例えば、実施の形態での撮像素子２３）と、前記撮像素子から出力される前記画像情報を補正する補正手段（例えば、実施の形態での機構部２２および信号補正部３１）と、複数の前記補正毎の補正量が異なるように設定する補正量設定手段（例えば、実施の形態での補正量制御部４０）と、前記補正量の変化に応じて所定時間内に複数の前記画像情報を取得し、各前記補正量毎に前記画像情報に基づき処理用画像を生成する処理用画像生成手段（例えば、実施の形態での処理用データ生成部３３）と、前記処理用画像から複数の特徴量を抽出する特徴量抽出手段（例えば、実施の形態での特徴量抽出部３５）と、前記複数の前記特徴量の基準値を記憶する第１記憶手段（例えば、実施の形態での基準値記憶部３７）と、前記補正量を記憶する第２記憶手段（例えば、実施の形態での補正量記憶部３９）と、前記第１記憶手段に記憶された前記基準値と、前記特徴量抽出手段により抽出された前記特徴量との一致度を演算する演算手段（例えば、実施の形態での一致度演算部３６）と、各前記処理用画像毎に前記画像の画素に対応した実空間での距離情報を演算する距離情報演算手段（例えば、実施の形態でのステップＳ０７）と、前記距離情報演算手段により演算された前記距離情報のうち所定の基準距離と一致する前記距離情報に対応する画素領域を前記処理用画像から除外して注目領域を設定する注目領域設定手段（例えば、実施の形態でのステップＳ０７が兼ねる）と、前記注目領域に対して前記演算手段により演算された前記一致度が最も高い前記基準値に対応する前記第２記憶手段に記憶された前記補正量を、基準補正量として設定する基準補正量設定手段（例えば、実施の形態での基準補正量設定部３８）とを備える。

さらに、本発明の第２態様に係る撮像制御装置では、前記特徴量は、前記処理用画像の輝度の度数分布での度数に係る度数状態量を含む。

さらに、本発明の第３態様に係る撮像制御装置では、前記特徴量は、前記処理用画像の輝度に係る輝度状態量を含む。

さらに、本発明の第４態様に係る撮像制御装置では、前記特徴量は、前記処理用画像の輝度の度数分布での統計値に係る統計状態量を含む。

さらに、本発明の第５態様に係る撮像制御装置では、前記演算手段は、前記第１記憶手段に記憶された前記基準値と、前記特徴量抽出手段により抽出された前記特徴量との内積を演算し、前記基準補正量設定手段は、前記内積が最も大きい前記特徴量が抽出された前記処理用画像を前記選択画像として選択する。

さらに、本発明の第６態様に係る撮像制御装置では、複数の前記撮像素子から出力される前記画像情報に基づき前記距離情報による距離分布を取得可能な距離分布取得手段（例えば、実施の形態での距離分布演算部３２）を備え、前記処理用画像生成手段は、前記距離分布を有する前記処理用画像を生成し、前記補正量の変化に応じた前記距離分布の変化量に基づき、複数の前記処理用画像を合成して距離画像を生成する距離画像生成手段（例えば、実施の形態での距離データ生成部３４）を備える。

本発明の第１態様に係る撮像制御装置によれば、複数の異なる補正量毎に対応して複数の処理用画像を生成し、各処理用画像毎に注目領域から複数の特徴量を抽出し、各処理用画像毎に複数の特徴量と基準値との一致度を演算することにより、一致度が最も高い処理用画像つまり補正量を精度良く検知することができる。この補正量を基準補正量として、画像情報の補正、例えば露出などの撮像状態の補正あるいは撮像により得られた画像のガンマ補正などの画像処理の補正を、容易かつ詳細に最適化することができる。

さらに、本発明の第２態様に係る撮像制御装置によれば、度数状態量での一致度に応じた補正により撮像対象物の占有域を把握することができる。
さらに、本発明の第３態様に係る撮像制御装置によれば、輝度状態量での一致度に応じた補正により撮像対象物を的確に識別することができる。
さらに、本発明の第４態様に係る撮像制御装置によれば、統計状態量での一致度に応じた補正により基準形状に少なくとも一部が一致する撮像対象物を検知することかできる。

さらに、本発明の第５態様に係る撮像制御装置によれば、複数の特徴量による多次元ベクトル空間において、処理用画像から抽出した複数の特徴量と基準値との内積を演算することから、加算および積算のみで演算処理を構成することができ、演算処理に要する時間を短縮して、基準補正量を迅速に設定することができる。

さらに、本発明の第６態様に係る撮像制御装置によれば、異なる補正量で補正された画像情報による処理用画像を合成して距離画像とすることにより、取得可能な距離情報が失われたり、距離情報の信頼性が低下してしまうこと無しに、たとえ撮像素子の感度およびダイナミックレンジが小さい場合であっても、所望の分解能で距離情報を取得可能な画素の領域を拡大させることができる。これにより、例えば画像の全領域で一律に輝度を増大させるだけの補正をおこなう場合に比べて、低輝度領域あるいは高輝度領域での距離情報の検知が困難になることを防止し、距離情報を精度良く検知することができる。

本発明の実施の形態に係る撮像制御装置を具備する車両用の乗員検知装置の構成図である。 本発明の実施の形態に係る撮像対象領域ＰＴと、画像データＰａ，Ｐｂと、距離分布画像ＬＰと、処理用画像ＴＰと、距離画像ＰＬとの一例を示す図である。 本発明の実施の形態に係る注目領域Ｒの一例を示す図である。 本発明の実施の形態に係る領域画像Ｒａ，Ｒｂの一例を示す図である。 本発明の実施の形態に係る領域画像Ｒａ，Ｒｂ毎の一致度の一例を示す図である。 本発明の実施の形態に係る撮像制御装置の動作を示すフローチャートである。

以下、本発明の一実施形態に係る撮像制御装置について添付図面を参照しながら説明する。
本実施の形態による撮像制御装置１０は、例えば車両用の乗員検知装置に備えられ、図１に示すように、例えば車両用の乗員検知装置に備えられ、図１に示すように、車室内の座席領域を撮像対象領域とする撮像装置１１および光源１２と、処理装置１３とを備えて構成されている。

撮像装置１１は、例えばステレオカメラなどのように複数（例えば、２つ）のカメラを備え、各カメラは、複数のレンズおよび各種フィルタなどを具備するレンズ部２１と、機構部２２と、撮像素子２３とを備えて構成されている。
機構部２２は、例えばシャッタおよび絞り機構などを備え、処理装置１３から出力される制御信号に応じて撮像時のシャッタスピードおよび絞り値を制御する。
撮像素子２３は、例えば可視光領域から赤外線領域にて撮像可能なＣＭＯＳセンサなどを備え、撮像により得られる画像データの信号を出力する。
撮像装置１１は、処理装置１３から出力される制御信号に応じた撮像状態（つまり、シャッタスピードおよび絞り値など）毎に、複数（例えば、２つ）の撮像素子２３によりほぼ同時（つまり、所定時間以内）に異なる方向から撮像をおこない、複数（例えば、２つ）の画像データの信号を出力する。
光源１２は、例えば可視光領域から赤外線領域に亘る光を発光するＬＥＤなどから構成され、撮像装置１１の撮像対象領域に光を照射する。

処理装置１３は、例えば、信号補正部３１と、距離分布演算部３２と、処理用データ生成部３３と、距離データ生成部３４と、特徴量抽出部３５と、一致度演算部３６と、基準値記憶部３７と、基準補正量設定部３８と、補正量記憶部３９と、補正量制御部４０と、撮像制御部４１とを備えて構成されている。

信号補正部３１は、補正量制御部４０から出力される制御信号に応じて、撮像装置１１から出力される複数（例えば、２つ）の画像データの信号にトーンカーブ補正やレベル補正やガンマ補正などの画像処理の補正をおこなう。
例えば、信号補正部３１は、予め作成された補正マップ、撮像装置１１の出力特性や撮像状態や撮像対象領域の環境などと輝度補正との相間を示す補正マップにより画像データの信号に階調補正をおこなう。
距離分布演算部３２は、信号補正部３１から出力される撮像時刻がほぼ等しい複数（例えば、２つ）の画像データに基づきステレオマッチングをおこない、画像データを構成する画素毎に実空間での撮像対象の距離を演算し、画像データの画素での距離の分布のデータ（距離分布データ）を生成する。

例えば図２に示すように、車室内の前方座席領域を撮像対象領域ＰＴとして、撮像装置１１の撮像状態（つまり、シャッタスピードおよび絞り値など）あるいは信号補正部３１の画像処理の補正が異なる３回の撮像時刻毎に、撮像装置１１から２つの画像データ（例えば、撮像対象領域に対して水平方向で左右にずれた位置から撮像された画像データ）Ｐａ，Ｐｂが出力されると、距離分布演算部３２は、３回の撮像時刻毎に距離分布データとして距離分布画像ＬＰを生成する。
距離分布画像ＬＰは、例えば、画像データの各画素の輝度を各画素毎に対応する実空間での撮像対象の距離に応じた値とした３次元の情報（つまり、２次元座標上での画素の位置と画素の輝度）を有する可視化可能な画像のデータとされている。なお、距離分布データは、可視化可能な画像のデータに限定されず、単に、２次元座標上での画素の位置と、各画素毎に対応する実空間での撮像対象の距離の情報とが対応付けられた３次元のデータであればよい。

処理用データ生成部３３は、距離分布演算部３２から出力される距離分布データから距離の情報の信頼度が低いデータを除外して処理用データを生成する。
例えば図２に示すように、３回の撮像時刻毎の距離分布画像ＬＰにおいて、各画素毎に対応する実空間での撮像対象の距離が短くなることに伴い、画素の輝度が大きくなるように設定されている状態では、処理用データ生成部３３は、距離の分散が所定値未満となることで距離が無限大であると判断されるデータを距離分布画像ＬＰから除外して、処理用画像ＴＰを生成する。なお、処理用データは、可視化可能な画像のデータに限定されず、単に、２次元座標上での画素の位置と、各画素毎に対応する実空間での撮像対象の距離の情報とが対応付けられた３次元のデータであればよい。

距離データ生成部３４は、撮像装置１１の撮像状態（つまり、シャッタスピードおよび絞り値など）あるいは信号補正部３１の画像処理の補正の変化に伴う複数の処理用データ間での距離の分布の変化量に基づき、処理用データ生成部３３から出力される複数の処理用データを合成して距離データを生成する。
例えば図２に示すように、距離データ生成部３４は、撮像装置１１の撮像状態（つまり、シャッタスピードおよび絞り値など）あるいは信号補正部３１の画像処理の補正が異なる３回の撮像時刻毎の処理用画像ＴＰに基づき、互いに画素のデータが存在しない領域を補完するようにして、また、互いに画素のデータが存在する領域では、例えば距離の情報のばらつき度合いなどに応じて距離の情報の信頼度が高い領域のみを対象として、あるいは、距離の情報が類似する領域を対象として、データの合成をおこない、距離画像ＰＬを生成する。なお、距離データは、可視化可能な画像のデータに限定されず、単に、２次元座標上での画素の位置と、各画素毎に対応する実空間での撮像対象の距離の情報とが対応付けられた３次元のデータであればよい。

特徴量抽出部３５は、撮像装置１１の撮像状態（つまり、シャッタスピードおよび絞り値など）あるいは信号補正部３１の画像処理の補正が異なる各撮像時刻毎に処理用データ生成部３３から出力される処理用データから複数の特徴量を抽出する。
複数の特徴量は、例えば下記表１に示す特徴量（ｆ^ｉ _{（ＭＯＤＥ）}）のように、処理用画像ＴＰの輝度の度数分布での度数に係る度数状態量（例えば、ゼロ輝度数、２５％輝度、５０％輝度、７５％輝度、飽和（上下）輝度数など）と、処理用画像ＴＰの輝度に係る輝度状態量（例えば、最頻値など）と、処理用画像ＴＰの輝度の度数分布での統計値に係る統計状態量（例えば、平均輝度、分散など）とから構成されている。

なお、ゼロ輝度数は、例えば、処理用画像ＴＰにおいて距離が無限大であると判断されて輝度の情報が存在しない画素領域、あるいは、撮像装置１１による撮像時の白とび又は黒つぶれに起因して処理用画像ＴＰにおいて輝度の情報が存在しない画素領域のうち、面積が最大となる画素領域の画素数である。
２５％輝度と、５０％輝度と、７５％輝度とは、例えば、処理用画像ＴＰの輝度の度数分布において輝度０％から輝度１００％に向かい度数（つまり画素数）を積算した場合に、この積算値が処理用画像ＴＰの全画素数に対して、順次、２５％と、５０％と、７５％とに到達するときの輝度である。
飽和（上下）輝度数は、例えば、輝度０％の度数（つまり画素数）および輝度１００％の度数（つまり画素数）である。
最頻値は、処理用画像ＴＰの輝度の度数分布において、度数（つまり画素数）が最大となる輝度である。
平均輝度および分散は処理用画像ＴＰの輝度の度数分布での平均値および分散である。

なお、複数の特徴量は、処理用画像ＴＰにおいて距離の情報に係る距離状態量を含んでいてもよく、距離状態量は、例えば所定距離範囲の距離の情報を有する画素領域の形状や存在の有無などである。
また、特徴量の個数は、例えば２のべき乗の個数とすることで、後述する一致度演算部３６での演算処理を迅速におこなうことができる。

なお、特徴量抽出部３５は、処理用データにおいて各画素毎に対応する実空間での撮像対象の距離が所定の基準距離と一致あるいは所定の基準距離範囲内の値となる画素領域を除外して注目領域を設定し、この注目領域から複数の特徴量を抽出してもよい。
例えば図３に示すように車室内に存在する乗員のみを注目領域とする場合には、特徴量抽出部３５は、撮像装置１１から出力された２つの画像データＰａ，Ｐｂに基づきステレオマッチングにより生成された距離分布画像ＬＰから、予め乗員が存在しない状態で作成された基準距離のデータ（つまり車室内装に対する距離の情報）と一致する距離の情報を有する画素領域を除外して注目領域画像ＮＰを生成する。そして、この注目領域画像ＮＰにて距離の情報を有する画素領域を注目領域Ｒとし、この注目領域Ｒを処理用データ内に設定する。

なお、特徴量抽出部３５は、処理用データを複数の領域データに分割し、各領域データ毎から複数の特徴量を抽出してもよい。
例えば図４に示すように処理用画像ＴＰにおいて車室内に存在する乗員のみを注目領域とし、この注目領域を乗員毎に分割して複数の領域データ（領域画像）を設定する場合には、特徴量抽出部３５は、例えば処理用画像ＴＰを、乗員が存在する注目領域Ｒと、車室内装のみが存在する領域Ａと、外乱光による露光状態の変動が大きい領域Ｂとに分割する。さらに、乗員が存在する注目領域Ｒを、乗員毎に分割して複数の領域画像Ｒａ，Ｒｂを設定する。

一致度演算部３６は、処理用データ生成部３３により生成された処理用データ毎に、さらに、処理用データが複数の領域データに分割されている場合には各領域データ毎に、特徴量抽出部３５から出力される複数の特徴量と基準値記憶部３７に記憶されている基準値との一致度を演算する。

基準値記憶部３７は、撮像装置１１の撮像対象領域の状態（例えば、乗員の有無など）が異なる複数の所定の領域状態（Ｓ１，Ｓ２，…，Ｓｋ，…，Ｓｎ）と、撮像装置１１の撮像状態（つまり、シャッタスピードおよび絞り値など）あるいは信号補正部３１の画像処理の補正が異なる複数の補正モード（Ｍ１，Ｍ２，…，Ｍｋ，…，Ｍｎ）との各組み合わせで撮像装置１１による撮像が実行された場合に対して、特徴量抽出部３５により抽出される複数の特徴量に対する基準値（Ｆ^ｉ _{Ｍｋ，Ｓｋ}）を記憶している。

一致度演算部３６は、例えば特徴量抽出部３５から出力される複数の特徴量による多次元ベクトル空間において、複数の特徴量と基準値との相間（例えば、内積など）を演算し、この演算結果において、例えば内積が大きくなることに伴い一致度が大きくなると判定する。
例えば所定の補正モードＭ１にて撮像装置１１による撮像が実行されて上記表１に示すような複数（例えば、８つ）の特徴量（ｆ^ｉ _Ｍ１）が特徴量抽出部３５により抽出されると、一致度演算部３６は、例えば下記表２に示すように、補正モードＭ１に対して複数（例えば、８つ）の領域状態（Ｓ１，…，Ｓ８）毎に設定された基準値（Ｆ^ｉ _{（Ｍ１，Ｓ１）}，…，Ｆ^ｉ _{（Ｍ１，Ｓ８）}）を基準値記憶部３７から取得して、各領域状態（Ｓ１，…，Ｓ８）毎に特徴量（ｆ^ｉ _Ｍ１）と基準値（Ｆ^ｉ _{（Ｍ１，Ｓ１）}，…，Ｆ^ｉ _{（Ｍ１，Ｓ８）}）との内積を演算する。なお、下記表２においては、処理用画像ＴＰの注目領域Ｒが２つの領域画像Ｒａ，Ｒｂに分割されていることから、内積の演算は各領域画像Ｒａ，Ｒｂ毎に実行される。

基準補正量設定部３８は、一致度演算部３６から出力される一致度が最も高い基準値に対応する領域状態を抽出し、この領域状態に対応する補正モードの補正量を補正量記憶部３９から取得し、この補正量を基準補正量として設定する。なお、処理用データが複数の領域データに分割され、各領域データ毎に一致度が最も高い基準値に対応する領域状態が異なる場合には、複数の領域データ間において一致度を比較して基準補正量を設定する。

補正量記憶部３９は、複数の所定の領域状態（Ｓ１，Ｓ２，…，Ｓｋ，…，Ｓｎ）毎に対応した最適な補正モードおよび補正量の情報、つまり撮像装置１１の最適な撮像状態（つまり、シャッタスピードおよび絞り値など）あるいは信号補正部３１の画像処理の最適な補正の情報を記憶している。
例えば下記表３に示すように、上記表２に示す各領域状態（Ｓ１，…，Ｓ８）に対しては、各補正モード（ＭＯＤＥ１，…，ＭＯＤＥ２）が対応付けられて記憶されている。

基準補正量設定部３８は、例えば上記表２に示す領域画像Ｒａに対しては、一致度が最も高い基準値に対応する領域状態として、各領域状態（Ｓ１，…，Ｓ８）毎の特徴量（ｆ^ｉ _Ｍ１）と基準値（Ｆ^ｉ _{（Ｍ１，Ｓ１）}，…，Ｆ^ｉ _{（Ｍ１，Ｓ８）}）との内積のうち、内積が最大となる基準値（Ｆ^ｉ _{（Ｍ１，Ｓ２）}＝０．９３７）に対応する領域状態Ｓ２を抽出する。そして、この領域状態Ｓ２に対して最適となる補正モードＭＯＤＥ２および補正量を補正量記憶部３９から取得する。また、例えば上記表２に示す領域画像Ｒｂに対しては、一致度が最も高い基準値に対応する領域状態として、内積が最大となる基準値（Ｆ^ｉ _{（Ｍ１，Ｓ３）}＝０．８９３）に対応する領域状態Ｓ３を抽出する。そして、この領域状態Ｓ３に対して最適となる補正モードＭＯＤＥ３および補正量を補正量記憶部３９から取得する。

基準補正量設定部３８は、処理用データが複数の領域データに分割され、各領域データ毎に一致度が演算されたときに、各領域データ毎に一致度が最も高い基準値に対応する領域状態が異なる場合には、複数の領域データ間において一致度を比較する。

例えば図５（Ａ）〜（Ｄ）に示す実施例では、撮像装置１１の撮像状態（つまり、シャッタスピードおよび絞り値など）あるいは信号補正部３１の画像処理の補正が異なる３回の撮像毎に、処理用画像ＴＰの注目領域Ｒが２つの領域画像Ｒａ，Ｒｂに分割され、各領域画像Ｒａ，Ｒｂ毎に一致度（例えば、内積）の演算が実行されている。

例えば図５（Ａ）に示すように、３回の撮像度数の全てにおいて２つの領域画像Ｒａ，Ｒｂ毎の一致度が所定の下限値Ｌｔｈ以上であり、３回の撮像度数間において一致度が最も高い撮像度数が一致している場合には、この一致度が最も高い撮像度数（例えば、撮像度数＝１）に対応する補正モードの補正量が、基準補正量として設定される。

また、例えば図５（Ｂ）に示すように、３回の撮像度数間において一致度が最も高い撮像度数が２つの領域画像Ｒａ，Ｒｂで一致せず、一部の撮像度数において一致度が所定の下限値Ｌｔｈ未満である場合には、２つの領域画像Ｒａ，Ｒｂ毎の一致度が所定の下限値Ｌｔｈ以上となる撮像度数を選択し、さらに、２つの領域画像Ｒａ，Ｒｂの一致度の和あるいは積などの総合的な一致度が最も高い撮像度数（例えば、撮像度数＝２）に対応する補正モードの補正量が、基準補正量として設定される。

また、例えば図５（Ｃ）に示すように、３回の撮像度数の全てにおいて一方の領域画像Ｒｂの一致度が所定の下限値Ｌｔｈ未満である場合には、この領域画像Ｒｂ以外の他方の領域画像Ｒａにおいて一致度が最も高い撮像度数（例えば、撮像度数＝１）に対応する補正モードの補正量が、基準補正量として設定される。

また、例えば図５（Ｄ）に示すように、３回の撮像度数の全てにおいて何れの領域画像Ｒａ，Ｒｂの一致度が所定の下限値Ｌｔｈ未満である場合には、撮像装置１１あるいは撮像対象領域の状態（例えば、乗員の姿勢など）が異常状態であると判定され、基準補正量の設定は禁止される。

補正量制御部４０は、基準補正量設定部３８から出力される基準補正量に応じて、撮像装置１１の撮像状態（つまり、シャッタスピードおよび絞り値など）あるいは信号補正部３１の画像処理の補正を制御する制御信号を出力する。
また、補正量制御部４０は、基準補正量設定部３８から出力される基準補正量に応じて、光源１２の照射状態を制御する制御信号を出力する。

撮像制御部４１は、例えば一致度演算部３６から出力される一致度などに応じて、撮像装置１１による撮像の実行および停止を制御する。
例えば、撮像制御部４１は、一致度演算部３６から出力される一致度の全てが所定の下限値Ｌｔｈ未満である場合には、撮像装置１１による撮像を停止する。

本実施の形態による撮像制御装置１０は上記構成を備えており、次に、この撮像制御装置１０の動作について説明する。

先ず、例えば図６に示すステップＳ０１においては、予め設定された所定の初期撮像状態あるいは前回の撮像時に処理装置１３から出力された制御信号に応じた撮像状態（つまり、シャッタスピードおよび絞り値など）により、撮像装置１１の撮像を実行する。
そして、ステップＳ０２においては、撮像装置１１の２つの撮像素子２３によりほぼ同時に異なる方向（例えば、撮像対象領域に対して水平方向で左右にずれた位置）から撮像された左右の画像データＰａ，Ｐｂを取得する。

そして、ステップＳ０３においては、各画像データＰａ，Ｐｂの信号に対してトーンカーブ補正やレベル補正やガンマ補正などの画像処理の補正をおこなう。
そして、ステップＳ０４においては、補正後の２つの画像データＰａ，Ｐｂに基づきステレオマッチングをおこなう。
そして、ステップＳ０５においては、２つの画像データＰａ，Ｐｂを構成する画素毎に実空間での撮像対象の距離を演算し、距離分布画像ＬＰを生成する。

そして、ステップＳ０６においては、距離分布画像ＬＰから距離の情報の信頼度が低い画素領域を除外して処理用画像ＴＰを生成する。
そして、ステップＳ０７においては、処理用画像ＴＰにおいて各画素毎に対応する実空間での撮像対象の距離が所定の基準距離と一致あるいは所定の基準距離範囲内の値となる画素領域を除外して注目領域Ｒを設定する。
そして、ステップＳ０８においては、例えば車室内の複数の乗員毎などに対応して、注目領域Ｒを複数の領域画像に分割する。

そして、ステップＳ０９においては、複数の領域画像毎に複数の特徴量を抽出する。
そして、ステップＳ１０においては、複数の特徴量による多次元ベクトル空間において、複数の特徴量と基準値との相間（例えば、内積など）を演算することで、複数の特徴量と基準値との一致度を算出する。
そして、ステップＳ１１においては、複数の領域画像間において一致度を比較する。
そして、ステップＳ１２においては、複数の領域画像間での一致度の比較結果に応じて、基準補正量を設定する。

そして、ステップＳ１３においては、基準補正量に応じて信号補正部３１の画像処理の補正を変更して新たな処理用画像ＴＰを取得することが指示されているか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、上述したステップＳ０３に進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ１４に進む。
そして、ステップＳ１４においては、基準補正量に応じて撮像装置１１の撮像状態（つまり、シャッタスピードおよび絞り値など）を変更して新たな処理用画像ＴＰを取得することが指示されているか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、上述したステップＳ０１に進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ１５に進む。
そして、ステップＳ１５においては、複数の処理用画像ＴＰを合成して距離画像ＰＬを生成し、エンドに進む。

上述したように、本実施の形態による撮像制御装置１０によれば、撮像装置１１の撮像状態（つまり、シャッタスピードおよび絞り値など）あるいは信号補正部３１の画像処理の補正が異なる複数の処理用データを生成し、各処理用データ毎に注目領域から複数の特徴量を抽出し、各処理用データ毎に複数の特徴量と基準値との一致度を演算することにより、一致度が最も高い処理用データつまり補正量を精度良く検知することができる。この補正量を基準補正量として、画像データの補正、例えば露出などの撮像状態の補正あるいは撮像により得られた画像のガンマ補正などの画像処理の補正を、容易かつ詳細に最適化することができる。

さらに、度数状態量での一致度に応じた補正により撮像対象物の占有域を把握することができる。
さらに、輝度状態量での一致度に応じた補正により撮像対象物を的確に識別することができる。
さらに、統計状態量での一致度に応じた補正により所定の基準形状に少なくとも一部が一致する撮像対象物を検知することかできる。

さらに、複数の特徴量による多次元ベクトル空間において、処理用データから抽出した複数の特徴量と基準値との内積を演算することから、加算および積算のみで演算処理を構成することができ、演算処理に要する時間を短縮して、基準補正量を迅速に設定することができる。

さらに、異なる補正量で補正された画像データによる処理用データを合成して距離データとすることにより、取得可能な距離情報が失われたり、距離情報の信頼性が低下してしまうこと無しに、たとえ撮像素子２３の感度およびダイナミックレンジが小さい場合であっても、所望の分解能で距離情報を取得可能なデータ領域を拡大させることができる。これにより、例えば画像の全領域で一律に輝度を増大させるだけの補正をおこなう場合に比べて、低輝度領域あるいは高輝度領域での距離情報の検知が困難になることを防止し、距離情報を精度良く検知することができる。

１０ 撮像制御装置
２２ 機構部（補正手段）
２３ 撮像素子
３１ 信号補正部（補正手段）
３２ 距離分布演算部（距離分布取得手段）
３３ 処理用データ生成部（処理用画像生成手段）
３４ 距離データ生成部（距離画像生成手段）
３５ 特徴量抽出部（特徴量抽出手段）
３６ 一致度演算部（演算手段）
３７ 基準値記憶部（第１記憶手段）
３８ 基準補正量設定部（基準補正量設定手段）
３９ 補正量記憶部（第２記憶手段）
４０ 補正量制御部（補正量設定手段）
ステップＳ０７ 距離情報演算手段、注目領域設定手段

Claims (6)

1. 所定の撮像対象領域を撮像して得た画像からなる画像情報を出力する撮像素子と、
   前記撮像素子から出力される前記画像情報を補正する補正手段と、
   複数の前記補正毎の補正量が異なるように設定する補正量設定手段と、
   前記補正量の変化に応じて所定時間内に複数の前記画像情報を取得し、各前記補正量毎に前記画像情報に基づき処理用画像を生成する処理用画像生成手段と、
   前記処理用画像から複数の特徴量を抽出する特徴量抽出手段と、
   前記複数の前記特徴量の基準値を記憶する第１記憶手段と、
   前記補正量を記憶する第２記憶手段と、
   前記第１記憶手段に記憶された前記基準値と、前記特徴量抽出手段により抽出された前記特徴量との一致度を演算する演算手段と、
   各前記処理用画像毎に前記画像の画素に対応した実空間での距離情報を演算する距離情報演算手段と、
   前記距離情報演算手段により演算された前記距離情報のうち所定の基準距離と一致する前記距離情報に対応する画素領域を前記処理用画像から除外して注目領域を設定する注目領域設定手段と、
   前記注目領域に対して前記演算手段により演算された前記一致度が最も高い前記基準値に対応する前記第２記憶手段に記憶された前記補正量を、基準補正量として設定する基準補正量設定手段と
   を備えることを特徴とする撮像制御装置。
2. 前記特徴量は、前記処理用画像の輝度の度数分布での度数に係る度数状態量を含むことを特徴とする請求項１に記載の撮像制御装置。
3. 前記特徴量は、前記処理用画像の輝度に係る輝度状態量を含むことを特徴とする請求項１に記載の撮像制御装置。
4. 前記特徴量は、前記処理用画像の輝度の度数分布での統計値に係る統計状態量を含むことを特徴とする請求項１に記載の撮像制御装置。
5. 前記演算手段は、前記第１記憶手段に記憶された前記基準値と、前記特徴量抽出手段により抽出された前記特徴量との内積を演算し、
   前記基準補正量設定手段は、前記内積が最も大きい前記特徴量が抽出された前記処理用画像を前記選択画像として選択することを特徴とする請求項１に記載の撮像制御装置。
6. 複数の前記撮像素子から出力される前記画像情報に基づき前記距離情報による距離分布を取得可能な距離分布取得手段を備え、
   前記処理用画像生成手段は、前記距離分布を有する前記処理用画像を生成し、
   前記補正量の変化に応じた前記距離分布の変化量に基づき、複数の前記処理用画像を合成して距離画像を生成する距離画像生成手段を備えることを特徴とする請求項１から請求項５の何れか１つに記載の撮像制御装置。

Images