JP2006237851A - 画像入力装置 - Google Patents

Abstract

【課題】広ダイナミックレンジを実現しつつ、明暗の差が大きい被写体であっても、カメラ出力が飽和することなく、コントラストの高い画像を取得可能な画像入力装置を得る。
【解決手段】入射光量に応じて区切られた複数の領域ごとに異なる入出力特性を持つ撮像手段１０と、撮像手段１０の映像信号Ｃから映像輝度信号レベルＬを検出する入射光量レベル検出手段１１と、映像輝度信号レベルＬから画面光量Ｋを演算する画面光量演算手段１２と、画面光量Ｋと光量目標値Ｒとが一致するように撮像手段１０を調整する露光制御手段１４とを備えている。撮像手段１０の入出力特性の領域の最も低照度にある切換わり点Ｐの光量Ｑと光量目標値Ｒとの関係が、Ｒ＜Ｑとなるように光量目標値Ｒを設定する。
【選択図】図１

Description

この発明は、広い（たとえば、６０ｄＢ以上の）ダイナミックレンジを有する撮像素子を用いて、画像処理装置に画像データを入力する画像入力装置に関するものである。

一般に、撮像手段のダイナミックレンジは、入出力特性が線形特性であるため、最大で２桁（数１０ｄＢ）程度が限界であった。
したがって、被写体の明暗差（ダイナミックレンジ）が大きい（たとえば、６０ｄＢ以上の）場合には、高照度域の光に対し画像入力装置の出力が飽和して、白飛び、または、黒つぶれが発生し、実際にそこに存在する対象を撮影することができないという課題があった。

これに対し、線形特性以外（たとえば、対数圧縮）の出力特性を持つ撮像手段を用い、たとえ被写体のダイナミックレンジが５桁以上であっても、画像入力装置の出力が飽和することなく被写体を撮影することのできる画像入力装置が提案されている（たとえば、特許文献１参照）。

また、線形特性および対数特性の両特性を組み合わせ、被写体の輝度範囲に応じて、線形特性と対数特性との切換わり点を制御することにより、低照度域でのコントラストを向上させた撮像装置も提案されている（たとえば、特許文献２参照）。

特開平３−１９２７６４号公報 特開２００４−８８３１２号公報

従来の画像入力装置では、たとえば上記特許文献１の場合には、出力段において入射光量と同様のダイナミックレンジを持たせることは困難であるため、実質的にコントラストが低下し、文字認識や、物体検知などの画像処理に必要なコントラストが得られにくいという課題があった。
また、上記特許文献２の場合には、たとえば高照度域に被写体が位置する場合などのように、必ずしも撮影側の意図どおりのコントラストが得られるとは限らないという課題があった。

また、上記特許文献２に開示された撮像装置のように、被写体の輝度範囲に応じて特性を制御することは、被写体のダイナミックレンジに合わせるように線形特性または対数特性のダイナミックレンジを変更することと同義であるので、たとえば背景のダイナミックレンジが変わった場合には、撮像装置のダイナミックレンジを動かすのではなく、被写体のコントラストを維持するように撮影した方が画像処理を行う上では都合が良く、撮像装置のダイナミックレンジが被写体の輝度範囲に応じて変更されると、必ずしも画像処理装置にとって適正な画像が得られるとは限らないという課題があった。
特に、認識処理を必要とする画像処理装置にとっては、認識対象物のコントラスト低下が、そのまま認識率の低下を意味し、商品性を損なう主原因にもなりかねないという課題があった。

この発明は、上記課題を解決するためになされたものであり、入射光量に応じて区切られた領域ごとに異なる入出力特性を持つ撮像手段を用い、撮像手段の入出力特性の切換わり点の光量よりも光量目標値を低照度域に設定することにより、明暗の差が大きい被写体であっても、カメラ出力が飽和することなく、コントラストの高い画像を取得することのできる画像入力装置を得ることを目的とする。

この発明による画像入力装置は、入射光量の違いに応じて区切られた複数の領域ごとに異なる入出力特性を持つ撮像手段と、撮像手段により撮影された映像信号の映像輝度信号レベルを出力する入射光量レベル検出手段と、映像輝度信号レベルから映像信号の画面光量を演算する画面光量演算手段と、複数の領域の切換わり点に関する情報に基づき、画面光量の目標値を光量目標値として設定する光量目標値設定手段と、画面光量が光量目標値と一致するように撮像手段の露光時間または出力ゲインを調整する露光制御手段とを備え、光量目標値設定手段は、複数の領域の切換わり点のうち最も低照度にある切換わり点の光量Ｑと、光量目標値Ｒとの関係が、Ｒ＜Ｑを満たすように光量目標値を設定するものである。

この発明によれば、明暗差の大きい被写体であっても、カメラ出力が飽和することなく、コントラストの高い画像を取得することができる。

実施の形態１．
以下、図面を参照しながら、この発明の実施の形態１について詳述する。なお、各図において、同一符号は同一部分または対応部分を示す。
図１はこの発明の実施の形態１に係る画像入力装置を示すブロック図である。
図１において、画像入力装置は、撮像手段１０と、入射光量レベル検出手段１１と、画面光量演算手段１２と、光量目標値設定手段１３と、露光制御手段１４とを備えている。

撮像手段１０は、入射光量の違いに応じて区切られた複数の領域ごとに異なる入出力特性を持ち、被写体Ｚを撮影した映像信号Ｃを出力する。
なお、図１には示されていないが、映像信号Ｃは、外部機器に対する入力信号としても出力される。
入射光量レベル検出手段１１は、映像信号Ｃの映像輝度信号レベルＬを出力し、画面光量演算手段１２は、映像輝度信号レベルＬから映像信号の画面光量Ｋを演算する。

光量目標値設定手段１３は、撮像手段１０から得られる各領域の切換わり点に関する光量情報に基づいて、画面光量Ｋの目標値を光量目標値Ｒとして設定する。
露光制御手段１４は、撮像手段１０に対する露光制御信号Ｄを出力し、画面光量Ｋが光量目標値Ｒと一致するように、撮像手段１０の露光時間または出力ゲインを調整する。
光量目標値設定手段１３により設定される光量目標値Ｒは、複数の領域の切換わり点のうち、最も低照度にある切換わり点の光量Ｑと光量目標値Ｒとの関係が条件「Ｒ＜Ｑ」を満たすように設定されている。

次に、図２のフローチャートとともに、図３〜図５を参照しながら、図１に示したこの発明の実施の形態１による処理手順について説明する。
図３は撮像手段１０の入出力特性の一例を示す説明図であり、図３において、横軸は実際の外部照度、縦軸は撮像手段１０による光電変換後の映像信号Ｃの出力レベルを示している。

図４は光量検出領域Ｕ１〜Ｕ３の設定例を示す説明図、図５は光量検出領域Ｖ１、Ｖ２の設定例を示す説明図である。
図４、図５において、Ｗｉ（ｉ＝０、１、２、・・・）は、背景および各光量検出領域Ｕ１〜Ｕ３、Ｖ１、Ｖ２ごとの重み付けの係数を示している。

図２において、まず、光量目標値Ｒと切換わり点の光量Ｑとを比較し、「Ｒ＜Ｑ」の条件を満たすか否かを判定する（ステップＳ１００）。
ステップＳ１００において、Ｒ＜Ｑ（すなわち、ＹＥＳ）と判定されれば、直ちに図２の光電変換処理（ステップＳ１０２）に進み、Ｒ≧Ｑ（すなわち、ＮＯ）と判定されれば、上記条件を満たす光量目標値Ｒに設定変更して（ステップＳ１０１）、光電変換処理（ステップＳ１０２）に進む。

ステップＳ１０２において、被写体Ｚを含む外部環境から入射される光は、撮像手段１０により光電変換され、映像信号Ｃとして出力される。
このとき、たとえば、図３に示すような撮像手段１０の入出力特性で、映像信号Ｃに変換される。

すなわち、外部から入射された光が、切換わり点Ｐよりも低照度の領域ＳＡにあれば、撮像手段１０は、コントラストを十分に得るために線形変換特性を適用し、入射光を線形変換した映像信号Ｃを出力する。
また、光の照度が切換わり点Ｐよりも高照度の領域ＳＢにあれば、撮像手段１０は、白飛びを回避するために対数変換特性を適用し、入射光を対数圧縮した映像信号Ｃを出力する。

続いて、撮像手段１０から出力された映像信号Ｃは、入射光量レベル検出手段１１において、映像輝度信号レベルＬに変換される（ステップＳ１０３）。
映像輝度信号レベルＬの具体的な取得処理方法としては、たとえば入射光量レベル検出手段１１としてＡ／Ｄコンバータを用いて、映像信号Ｃを８ビット（２５６階調）の映像輝度信号レベルＬに変換する方法が考えられる。

次に、画面光量演算手段１２において、入射光量レベル検出手段１１から出力された各画素の映像輝度信号レベルＬに基づいて、画面光量Ｋを演算する（ステップＳ１０４）。
このとき、画面光量Ｋを求める具体的な演算方法としては、たとえば各画素の映像輝度信号レベルＬの平均を求める方法が考えられる。
また、図４、図５のように、少なくとも１つ以上の領域に関して、重み付けＷｉによる加重平均を求める方法なども考えられる。

図４において、撮像画面上の被写体Ｚの位置があらかじめ分かっている場合には、被写体Ｚの入る場所を中心に、画面光量Ｋを検出する同心円領域として、背景以外にたとえば３つの領域Ｕ１〜Ｕ３を設定し、領域ごとに異なる重み付けＷｉ（ｉ＝０〜３）により加重平均が演算される。
また、図５において、撮像画面上の複数位置で被写体Ｚを認識する場合は、背景以外にたとえば２つの領域Ｖ１、Ｖ２を設定し、領域ごとに異なる重み付けＷｉ（ｉ＝０〜２）により加重平均が演算される。

次に、ステップＳ１０４で求めた画面光量Ｋと、光量目標値設定手段により設定された光量目標値Ｒとを比較して、両者が一致しているか否かを判定し（ステップＳ１０５）、Ｋ＝Ｒ（すなわち、ＹＥＳ）と判定されれば、直ちに図２の処理ルーチンを終了する。
一方、ステップＳ１０５において、Ｋ≠Ｒ（すなわち、ＮＯ）と判定されれば、露光制御手段１４により、撮像手段１０の露光制御の変更（露光時間または出力ゲインの調整）を行う（ステップＳ１０６）。
以下、ステップＳ１００に戻り、ステップＳ１０５で「Ｋ＝Ｒ」と判定されるまで、上記処理を繰り返す。

なお、光量目標値Ｒは、撮像手段１０の露光制御系に対する制御目標値であり、たとえば、８ビットＡ／Ｄ値の「１０［ＬＳＢ］」という値に設定され得る。
図６は露光制御手段１４を具体化したブロック図であり、図６において、露光制御手段１４は、減算器１４１および露光調整手段１４２により構成されている。

露光制御手段１４において、減算器１４１は、光量目標値Ｒと光量Ｋとの差を演算し、露光調整手段１４２は、光量目標値Ｒと光量Ｋとの差を相殺するように、撮像手段１０に対する露光制御信号Ｄを生成する。
これにより、撮像手段１０による画面光量Ｋは、光量目標値Ｒと一致するようにフィードバック制御され、このとき撮像された最終的な映像信号Ｃは外部に出力される。

このように、入射光量に応じて異なる入出力特性を持つ撮像手段１０と、撮像手段１０からの映像信号Ｃの映像輝度信号レベルＬを検出する入射光量レベル検出手段１１と、映像輝度信号レベルＬから画面光量Ｋを演算する画面光量演算手段１２と、複数の領域の切換わり点Ｐに関する情報に基づき光量目標値Ｒを設定する光量目標値設定手段１３と、画面光量Ｋが光量目標値Ｒと一致するように撮像手段１０を調整する露光制御手段１４とを備え、光量目標値設定手段１３は、撮像手段１０における複数領域の切換わり点のうち、最も低照度にある切換わり点の光量Ｑと光量目標値Ｒとの関係が、Ｒ＜Ｑとなるように光量目標値Ｒを設定している。

光量目標値Ｒは、少なくとも１つ以上存在する領域の切換わり点Ｐ（図３参照）のうち、最も低照度にある切換わり点の光量Ｑと光量目標値Ｒとの関係が、条件「Ｒ＜Ｑ」となるように、あらかじめ設定される。
また、露光制御手段１４は、たとえば、ＡＧＣ回路や電子アイリス制御回路などにより構成され、図２内のステップＳ１０５において、光量目標値Ｒ＝画面光量Ｋ（すなわち、ＹＥＳ）となるように露光調整を行う。

次に、図７を参照しながら、切換わり点Ｐの情報に基づく光量目標値設定手段１３の処理動作（図２内のステップＳ１０１）について、具体的に説明する。
図７は実際に被写体Ｚを撮影した場合の外部照度に対する映像信号Ｃの出力レベルの特性を示す説明図である。

図７において、被写体Ｚは、明暗の差ｄｍの範囲内に存在するものとする。
また、破線は、図２の処理ルーチンを実行する前の出力特性の一例であり、実線は、図２の処理ルーチンを実行した後の出力特性、すなわち、被写体Ｚに対して光量目標値Ｒ１を設定した場合の出力特性を示す。

図７において、図２の処理ルーチンを実行すると、まず、光量目標値Ｒ１と切換わり点Ｐ’の光量Ｑ０との関係が、Ｒ１＜Ｑ０となるように光量目標値Ｒ１が設定される。
次に、図２の処理ルーチンを実行する前における撮像手段１０の出力特性が、たとえば図７の破線で示される場合、被写体Ｚに関する取得画像の出力レベル幅は、対数変換特性が適用されて、コントラストＣ０となる（図２内のステップＳ１０２）。
続いて、コントラストＣ０の映像信号は、入射光量レベル検出手段１１において、映像輝度信号レベルＬ０に変換される（ステップＳ１０３）。
また、各画素の映像輝度信号レベルＬ０の平均を求め、画面光量とした場合、画面光量は、図７においてＫ０で示される（ステップＳ１０４）。

以下、ステップＳ１０５において、図７内の画面光量Ｋ０と光量目標値Ｒ１とが一致していないと判定されて、露光制御処理（ステップＳ１０６）により、撮像手段１０の出力特性が図７内の実線のように調整され、被写体Ｚに関する取得画像の出力レベル幅は、線形変換特性が適用されて、コントラストＣ１となる。
これにより、取得画像のコントラストは、図２の処理ルーチン実行後の方が改善されていると言える。

これはすなわち、画面光量Ｋが切換わり点の光量Ｑよりも高照度側に位置する（Ｋ≧Ｑの状態にある）と、対数変換特性が適用されてコントラストが低くなるという問題に対し、画面光量の目標値である光量目標値Ｒを切換わり点の光量Ｑよりも低照度側（Ｒ＜Ｑ）に設定することで、画面光量Ｋも、光量目標値Ｒと同様に、切換わり点の光量Ｑよりも低照度側（Ｋ＜Ｑ）に位置することになり、線形変換特性が適用されるため、コントラストが改善されることを示している。
なお、上記の例では、画面光量として、各画素の映像輝度信号レベルＬ０の平均を用いたが、被写体Ｚに関する取得画像の出力レベル幅のピーク値（最大値または最小値）を画面光量として用いても、上記結果と同様の効果が得られる。

この発明の実施の形態１によれば、撮像手段１０は、図３のように、低照度側の領域ＳＡに対しては線形変換特性を適用し、高照度側の領域ＳＢに対しては対数変換特性を適用する。
また、光量目標値設定手段１３は、図７のように、撮像手段１０の入出力特性の複数の領域の切換わり点のうち、最も低照度にある切換わり点の光量Ｑと、光量目標値Ｒとの関係が、Ｒ＜Ｑを満たすように光量目標値を設定しているので、光量目標値Ｒで代表される被写体Ｚの低照度域を線形変換することができ、広ダイナミックレンジの特性を維持しつつ、高いコントラストで撮影することができる。

これにより、明暗差の大きい被写体Ｚであっても、カメラ出力が飽和することなく、コントラストの高い画像を取得することができる。
また、撮像手段１０の線形特性または対数特性のダイナミックレンジを変更することなく、画像処理に適したコントラストを有する画像を取得することができる。
特に、認識機能を有する画像処理装置にとっては、背景のダイナミックレンジが変わっても、認識対象の被写体Ｚのコントラストを維持することができるので、画像処理にとって有効な画像を得ることができる。

実施の形態２．
なお、上記実施の形態１では、上記条件（光量目標値Ｒ＜切換わり点の光量Ｑ）を満たすように光量目標値Ｒを設定変更することによりコントラストの高い画像を取得したが、この方法を適用しても、被写体Ｚの照度範囲によっては、上記条件を満たすように光量目標値を設定できない場合があり得る。

たとえば、たとえば６０ｄＢ以上の大きい明暗の差ｄＭを有する被写体Ｚを撮影した場合に、図２の処理ルーチンを実行すると、図８内の破線（図２の処理ルーチンを実行する前）の出力特性の切換わり点Ｐ１を考慮して、上記条件（Ｒ＜Ｑ）を満たすように、光量目標値Ｒ２が設定される。
また、図８内の破線で示す出力特性を用いて取得した画面光量Ｋ１は、図２の露光制御処理により光量目標値Ｒ２へと収束し、同時に撮像手段１０の出力特性は、図８内の実線へと移行する。この結果、図８中、被写体Ｚの低照度領域Ｓｂが出力レベルに出てこない（「黒つぶれ」）状態となる。

この場合、画面光量Ｋが光量目標値Ｒと一致するように撮像手段１０の露光を調整した後に、光量目標値Ｒと切換わり点の光量Ｑとの関係が上記条件を満たさないときには、上記条件を満たすように切換わり点Ｐを移動設定することが望ましい。
図９は、上記条件を満たすように切換わり点Ｐを設定したこの発明の実施の形態２に係る画像入力装置を示すブロック図である。

図９において、前述（図１参照）と同様のものについては、前述と同一符号を付して、または符号の後に「Ａ」を付して詳述を省略する。
この場合、撮像手段１０Ａおよび光量目標値設定手段１３Ａと関連して、複数の領域の切換わり点Ｐｉを設定するための領域切換わり点設定手段１５が設けられている。
領域切換わり点設定手段１５は、たとえば、折れ点電圧調整回路により構成され、露光制御手段１４による撮像手段１０Ａの露光調整後に、最も低照度にある切換わり点の光量Ｑと光量目標値Ｒとの関係が上記条件を満たさないときには、上記条件を満たすように、最も低照度にある切換わり点Ｐｉを変更設定する。

この場合、画面光量演算手段１２から光量目標値設定手段１３Ａに向けて、被写体に関する取得画像の出力レベルが「黒つぶれ」したか否かを示す黒つぶれ情報Ｂが送出される。
なお、「黒つぶれ」したか否かの判定は、画面光量演算手段１２において実行されるものとし、具体的な判定方法としては、たとえば、映像輝度信号レベルＬが「０」となった画素の総数αが所定値αｒ（たとえば、光量検出領域の１％）を上回ったとき、「黒つぶれ」が生じたと判定する方法が考えられる。

以下、図１０のフローチャートを参照しながら、図９に示したこの発明の実施の形態２による処理手順について説明する。
図１０において、前述（図２参照）と同様の処理（ステップＳ１０２〜Ｓ１０６）については、前述と同一符号を付して詳述を省略する。また、ステップ２０３は、前述（図２）のステップＳ１００に対応する。
まず、ステップＳ１０５において、Ｋ＝Ｒ（すなわち、ＹＥＳ）と判定されれば、続いて、画面光量演算手段１２は、画面光量Ｋを演算した後、引き続き、被写体に関する取得画像の出力レベルが「黒つぶれ」したか否かを判定する（ステップＳ２０１）。
すなわち、画面光量演算手段１２は、映像輝度信号レベルＬが「０」となった画素の総数αが所定値αｒを上回ったか否かにより、「黒つぶれ」の有無を判定して黒つぶれ情報Ｂを出力する。
もし、映像輝度信号レベルＬが「０」となった画素の総数αが所定値αｒを上回り、ステップＳ２０１において、「黒つぶれ」が発生している（すなわち、ＹＥＳ）と判定されれば、光量目標値再設定処理（ステップＳ２０２）に進み、それ以外の場合であって「黒つぶれ」が発生していない（すなわち、ＮＯ）と判定されれば、次の判定処理（ステップＳ２０３）に進む。
光量目標値再設定処理（ステップＳ２０２）において、光量目標値設定手段１３Ａは、黒つぶれ情報Ｂに基づいて、「黒つぶれ」を回避するように、光量目標値を高照度側に再設定し、図１０内の光電変換処理（ステップＳ１０２）に戻る。
以下、露光制御処理（ステップＳ１０６）の実行後、「黒つぶれ」が発生していない状態になると、ステップＳ２０１において、「黒つぶれ」無し（すなわち、ＮＯ）と判定され、ステップＳ２０３に進む。
ステップＳ２０３において、光量目標値設定手段１３Ａは、光量目標値Ｒと切換わり点の光量Ｑとを比較して、光量目標値Ｒが切換わり点の光量Ｑよりも低いか否かを判定し、Ｒ＜Ｑ（すなわち、ＹＥＳ）と判定されれば直ちに図１０の処理ルーチンを終了する。
一方、ステップＳ２０３において、Ｒ≧Ｑ（すなわち、ＮＯ）と判定されれば、上記条件を満たす切換わり点Ｐに設定変更して（ステップＳ２０４）、図１０内の光電変換処理（ステップＳ１０２）に戻る。
以下、ステップＳ２０３において、「Ｒ＜Ｑ」と判定されるまで、上記処理を繰り返し実行する。

次に、図１１を参照しながら、光量目標値設定手段１３Ａからの情報に基づく領域切換わり点設定手段１５の処理動作（図１０内のステップＳ２０４の周辺）について、さらに具体的に説明する。
図１１は実際に被写体Ｚを撮影した場合の外部照度に対する映像信号Ｃの出力レベルの特性を示す説明図であり、入出力特性の収束前と収束後との状態における各出力レベルを示している。
図１１において、被写体Ｚは、比較的広い明暗の差ｄＭの範囲内に存在するものとする。この場合、被写体Ｚの低照度領域Ｓｂを有している。

たとえば、図１１内の１点鎖線で示すように、露光制御手段１４による露光調整後における撮像手段１０の入出力特性において、被写体に関する取得画像の出力レベルが「０」となった画素の総数αが所定値αｒを上回り、「黒つぶれ」と判定されたとする。
このとき、光量目標値Ｒ２は、「黒つぶれ」を回避するために新たな光量目標値Ｒ３へと設定変更され、再び露光制御手段１４による露光調整が実行される。これにより、撮像手段１０の入出力特性は、図１１内の破線で示すように収束する。
その後、撮像手段１０の入出力特性（図１１内の破線参照）において、「黒つぶれ」は発生していないので、図１０の処理ルーチンにおいては、ステップＳ２０１からステップＳ２０３に進む。
ステップＳ２０３においては、撮像手段１０の入出力特性（図１１内の破線参照）における切換わり点Ｐ３の光量Ｑ３と光量目標値Ｒ３とが比較される。
このとき、図１１から明らかなように、切換わり点Ｐ３の光量Ｑ３と光量目標値Ｒ３との関係は、上記条件「Ｒ＜Ｑ」を満たしていないので、ステップＳ２０３からステップＳ２０４に進む。

ステップＳ２０４において、領域切換わり点設定手段１５は、光量目標値Ｒ３を考慮して、上記条件「Ｒ＜Ｑ」を満たすように領域切換わり点Ｐ３の光量Ｑ３を高照度側に調整（設定変更）し、光電変換処理（ステップＳ１０２）に戻る。
その後、再び露光制御手段１４による露光調整が実行され、撮像手段１０の入出力特性は、図１１内の実線で示すように収束し、切換わり点はＰ４となる。
その後、撮像手段１０の入出力特性（図１１内の実線参照）において、「黒つぶれ」は発生していないので、図１０の処理ルーチンにおいては、ステップＳ２０１からステップＳ２０３に進む。
また、このとき、図１１から明らかなように、光量目標値Ｒ３と、切換わり点Ｐ４の光量Ｑ４との関係が上記条件「Ｒ＜Ｑ」を満たしているので、ステップＳ２０３から直ちに図１０の処理ルーチンを終了する。
以上の処理により、被写体Ｚの明暗の差ｄＭ（ダイナミックレンジ）が広い場合でも、高照度側の範囲にまで線形特性が適用されるので、広い照度範囲にわたってコントラストの高い画像が得られる。

このように、この発明の実施の形態２によれば、撮像手段１０の入出力特性の領域の切換わり点のうち、最も低照度にある切換わり点の光量Ｑと、光量目標値Ｒとの関係が、Ｒ＜Ｑを満たすように切換わり点Ｐを設定しているので、光量目標値Ｒで代表される被写体Ｚの低照度域を線形変換することができ、広ダイナミックレンジの特性を維持しつつ、高いコントラストで撮影することができる。

すなわち、光量目標値Ｒの設定の仕方に係わりなく、光量目標値Ｒと切換わり点の光量Ｑとの関係が、「Ｒ＜Ｑ」を満たさない場合には、条件「Ｒ＜Ｑ」を満たすように切換わり点Ｐを設定変更することができる。
したがって、明暗の差ｄＭが大きい被写体Ｚであっても、映像信号Ｃの高照度側で出力レベルが飽和することなく、コントラストの高い画像を取得することができる。
また、被写体Ｚの輝度範囲が狭くなった場合でも、上記条件を満たす光量目標値Ｒと画面光量Ｋとが一致するように露光調整されるので、広ダイナミックレンジの特性を維持しつつ、高いコントラストで撮影することができる。

実施の形態３．
なお、上記実施の形態１、２では、被写体Ｚの具体例について説明しなかったが、たとえば、撮像手段１０を車両に搭載し、自動車が走行する道路上の白線を被写体としてもよい。
以下、白線認識処理に適用したこの発明の実施の形態３に係る車載の画像入力装置について説明する。

図１２はこの発明の実施の形態３に係る画像入力装置を示すブロック図であり、前述（図９参照）と同様のものについては、前述と同一符号を付して詳述を省略する。
図１３は図１２の画像入力装置２１を車両２０に搭載した状態を示す側面図、図１４は画像入力装置２１を用いて車両２０の周辺の道路状況を撮影した場合の取得画像の一例を示す説明図である。

図１５はこの発明の実施の形態３による処理動作を示すフローチャートである。
図１６は路面が入るように設定されたウインドウ領域（路面輝度検出領域）Ｓｒを示す説明図である。
図１７は、路面輝度検出領域の輝度ヒストグラムと、図１５の処理ルーチンの実行により生じる撮像手段の入出力特性の変更と、これに伴う映像信号出力レベルの変化とを示す説明図である。
図１８〜図２０は画面上の１走査ラインＸ−Ｘ´、およびＹ−Ｙ´から取得される画像データの出力レベル例を示す説明図であり、それぞれ、図１７内の１点鎖線、破線、および実線の出力特性の場合に対応する。

図１２において、路面輝度演算手段１６は、前述の画面光量演算手段１２に対応しており、画面光量Ｋに対応する路面輝度Ｋｒを演算して露光制御手段１４に入力する。
また、この場合も、画面光量演算手段１２から光量目標値設定手段１３Ａに向けて、黒つぶれ情報Ｂが送られる。
図１３において、画像入力装置２１は、車両２０の前方フロントガラスの上方に、前方（走行方向）を撮影するように配設されている。ただし、この発明は画像入力装置２１の取り付け方向を車両前方に限定するものではない。
図１４において、たとえばトンネルの出口付近を走行中の車両２０の画像入力装置２１は、前方の道路上の左レーンマーキング３０および右レーンマーキング３１とともに、トンネル内壁３２を撮影する。

次に、図１２〜図１４および図１６〜図２０を参照しながら、図１５のフローチャートにしたがい、この発明の実施の形態３による処理手順について説明する。
図１５において、前述（図２、図１０参照）と同様の処理については、前述と同一符号が付されている。また、ステップＳ３０１〜Ｓ３０３は、それぞれ前述（図１０）のステップＳ１０４、Ｓ１０５、Ｓ２０３に対応している。

まず、ステップＳ１０２において、車載の画像入力装置２１（図１３参照）は、車両２０の前方の道路環境から入射される光を、撮像手段１０Ａの入出力特性（図３参照）を介して映像信号Ｃに変換して出力する。
続いて、ステップＳ１０３において、撮像手段１０Ａから出力された車両周辺の映像信号Ｃは、入射光量レベル検出手段１１により、映像輝度信号レベルＬに変換される。
映像輝度信号レベルＬへの具体的な変換処理方法としては、前述と同様に、入射光量レベル検出手段１１としてＡ／Ｄコンバータを用い、映像信号Ｃを８ビット（２５６階調）の映像輝度信号レベルＬに変換する方法が考えられる。

こうして、映像輝度信号レベルＬが取得された後、路面輝度演算手段１６は、ウインドウ領域Ｓｒ内の各画素の映像輝度信号レベルから、前述の画面光量Ｋに対応する路面輝度Ｋｒを演算する（ステップＳ３０１）。
ステップＳ３０１における路面輝度Ｋｒを求める具体的な方法としては、画像入力装置２１により車両２０の周辺道路状況を撮影した画像（たとえば、図１４参照）から、撮像画面上の路面位置をあらかじめ目処付けしておき、たとえば図１６のように、路面が入るように設定されたウインドウ領域Ｓｒ内の映像輝度信号レベルＬｒについて平均値を求め、この平均値を路面輝度Ｋｒとする方法が考えられる。

次に、露光制御手段１４は、路面輝度Ｋｒと光量目標値Ｒとを比較して、両者が一致するか否かを判定し（ステップＳ３０２）、Ｋｒ≠Ｒ（すなわち、ＮＯ）と判定されれば、前述と同様の露光制御処理（ステップＳ１０６）に進む。

これにより、たとえば図１７内の１点鎖線（切換わり点Ｐ５）で示す撮像手段１０Ａの入出力特性に対し、光量目標値を図１７内のＲ４（点線参照）に設定すると、撮像手段１０Ａの入出力特性は、図１７内の破線（切換わり点Ｐ６）で示す特性に収束する。

一方、ステップＳ３０２において、Ｋｒ＝Ｒ（すなわち、ＹＥＳ）と判定されれば、続いて、黒つぶれ情報Ｂに基づき出力レベルに「黒つぶれ」が発生しているか否かを判定する（ステップＳ２０１）。
ステップＳ２０１において、「黒つぶれ」有り（すなわち、ＹＥＳ）と判定されれば、光量目標値Ｒを高照度側への再設定処理（ステップＳ２０２）を実行して、図１５内のステップＳ１０２に戻る。
たとえば、図１７内の破線で示すように、露光制御手段１４による露光調整後における撮像手段１０Ａの入出力特性において、道路上の白線からなる被写体Ｚｒ（図１２参照）に関する取得画像は、図１９に示すようになる。すなわち、被写体の低照度領域Ｓｂ２（図１７参照）にあるトンネル内部の白線が「黒つぶれ」してしまい、トンネル内部の白線のコントラストが得られていない。
この「黒つぶれ」を回避するために、光量目標値Ｒ４は、新たな光量目標値Ｒ５（図１７内の点線参照）へと設定変更される。
一方、ステップＳ２０１において、「黒つぶれ」無し（すなわち、ＮＯ）と判定されれば、光量目標値Ｒ（＝路面輝度Ｋｒ）と最も低照度にある切換わり点の輝度Ｑｒとを比較し、上記条件（Ｒ＜Ｑｒ）を満たすか否かを判定する（ステップＳ３０３）。

ステップＳ３０３において、Ｒ＜Ｑｒ（すなわち、ＹＥＳ）と判定されれば、直ちに図１５の処理ルーチンを終了し、Ｒ≧Ｑｒ（すなわち、ＮＯ）と判定されれば、領域切換わり点設定手段１５（たとえば、折れ点電圧調整回路）により、切換わり点Ｐの調整処理（ステップＳ２０４）を実行して、図１５内のステップＳ１０２に戻る。
ステップＳ２０４において、領域切換わり点設定手段１５は、光量目標値Ｒと切換わり点の輝度Ｑｒとの関係が上記条件（Ｒ＜Ｑｒ）を満たすように、領域の切換わり点Ｐを調整する。

すなわち、露光制御手段１４による露光調整後に、撮像手段１０Ａの入出力特性が、たとえば図１７内の１点鎖線で示すように、「Ｒ５＞切換わり点Ｐ５の輝度Ｑ５」であって、上記条件（Ｒ＜Ｑｒ）を満たしていない場合には、領域切換わり点設定手段１５により、上記条件を満たすように領域の切換わり点Ｐを調整する。

すなわち、たとえば図１７において、領域の切換わり点をＰ６からＰ７に調整することにより、撮像手段１０Ａの入出力特性は、実線で示すように収束する。このときの出力レベルは、「黒つぶれ」も発生せず、また、ステップＳ３０３の条件「Ｒ＜Ｑｒ」も満たすことになる。

そして、図１７内の実線で示す入出力特性を用いて取得した画像は、図２０に示すようになり、トンネルの内部および外部において、白線と路面とのコントラストが高い画像となる。

このように、この発明の実施の形態３によれば、たとえば図１６、図１７のように、明暗の差ＤＭが大きく且つ外部照度が高い「トンネル出口付近」においても、車載の画像入力装置２１（図１３参照）の出力レベルが飽和することなく、路面と白線とのコントラストが高い状態で撮影することができるので、白線認識処理にとって有効な画像を得ることができる。

なお、上記各実施の形態１〜３では、撮像手段１０、１０Ａとして、線形特性および対数圧縮特性を入出力特性（図３参照）として持つものを用いたが、撮像手段１０、１０Ａの入出力特性は図３に限定されるものではない。
たとえば、他の入出力特性として、図２１のように、切換わり点Ｐａ、Ｐｂを境界として、それぞれ傾きの異なる複数の線形特性を組み合わせて、広ダイナミックレンジを実現してもよい。この場合、低照度側の領域ほど傾きが大きく設定され、高照度側の領域ほど傾きが小さく設定されることになる。

この発明の実施の形態１の構成を示すブロック図である。 この発明の実施の形態１の動作を示すフローチャートである。 この発明の実施の形態１に係る撮像手段の入出力特性の一例を示す説明図である。 この発明の実施の形態１に係る光量検出領域の設定例を示す説明図である。 この発明の実施の形態１に係る光量検出領域の他の設定例を示す説明図である。 この発明の実施の形態１に係る撮像手段の露光制御系の具体的構成例を示すブロック図である。 この発明の実施の形態１に係る画面光量および各光量目標値に対応する撮像手段の入出力特性を示す説明図である。 この発明の実施の形態１に係る光量目標値が領域の切換わり点よりも低照度域に設定できない状況での撮像手段の入出力特性および被写体の輝度ヒストグラムを示す説明図である。 この発明の実施の形態２の構成を示すブロック図である。 この発明の実施の形態２の動作を示すフローチャートである。 この発明の実施の形態２に係る切換わり点の移動にともなう撮像手段の入出力特性の変化および被写体の輝度ヒストグラムを示す説明図である。 この発明の実施の形態３の構成を示すブロック図である。 この発明の実施の形態３に係る画像入力装置の車両への取り付け例を示す側面図である。 図１３内の画像入力装置から得られる車両周辺の道路状況画像（トンネル出口）の一例を示す説明図である。 この発明の実施の形態３の動作を示すフローチャートである。 この発明の実施の形態３に係る路面輝度検出領域の設定例を示す説明図である。 この発明の実施の形態３に係る切換わり点の移動にともなう撮像手段の入出力特性の変化および路面輝度検出領域の輝度ヒストグラムを示す説明図である。 図１７内の２点鎖線で示す入出力特性から得られる画像および１走査ラインの輝度分布を示す説明図である。 図１７内の破線で示す入出力特性から得られる画像および１走査ラインの輝度分布を示す説明図である。 図１７内の実線で示す入出力特性から得られる画像および１走査ラインの輝度分布を示す説明図である。 この発明の実施の形態１〜３に係る撮像手段の入出力特性の他の例を示す説明図である。

符号の説明

１０、１０Ａ 撮像手段、１１ 入射光量レベル検出手段、１２ 画面光量演算手段、１３、１３Ａ 光量目標値設定手段、１４ 露光制御手段、１５ 領域切換わり点設定手段、１６ 路面輝度演算手段、２０ 車両、２１ 画像入力装置、Ｃ 映像信号、Ｄ 露光制御信号、Ｋ 画面光量、Ｋｒ 路面輝度、Ｌ 映像輝度信号レベル、Ｐ、Ｐｉ 切換わり点、Ｒ 光量目標値、Ｚ 被写体。

Claims (5)

1. 入射光量の違いに応じて区切られた複数の領域ごとに異なる入出力特性を持つ撮像手段と、
   前記撮像手段により撮影された映像信号の映像輝度信号レベルを出力する入射光量レベル検出手段と、
   前記映像輝度信号レベルから前記映像信号の画面光量を演算する画面光量演算手段と、
   前記複数の領域の切換わり点に関する情報に基づき、前記画面光量の目標値を光量目標値として設定する光量目標値設定手段と、
   前記画面光量が前記光量目標値と一致するように前記撮像手段の露光時間または出力ゲインを調整する露光制御手段とを備え、
   前記光量目標値設定手段は、前記複数の領域の切換わり点のうち最も低照度にある切換わり点の光量Ｑと、前記光量目標値Ｒとの関係が、以下の条件、
   Ｒ＜Ｑ
   を満たすように前記光量目標値を設定することを特徴とする画像入力装置。
2. 前記複数の領域の切換わり点を設定する領域切換わり点設定手段を備え、
   前記領域切換わり点設定手段は、前記露光制御手段による露光調整後に、前記最も低照度にある切換わり点の光量と前記光量目標値との関係が前記条件を満たさないときには、前記条件を満たすように、前記最も低照度にある切換わり点を変更設定することを特徴とする請求項１に記載の画像入力装置。
3. 前記撮像手段は車両に搭載され、
   前記画面光量演算手段は、前記撮像手段により撮影された前記車両の周辺の路面輝度を前記画面光量として演算することを特徴とする請求項１または請求項２に記載の画像入力装置。
4. 前記撮像手段は、前記複数の領域のうちの低照度側の領域に対しては、線形変換特性を適用し、前記複数の領域のうちの高照度側の領域に対しては、対数変換特性を適用することを特徴とする請求項１から請求項３までのいずれか１項に記載の画像入力装置。
5. 前記撮像手段は、前記複数の領域のうちの低照度側の領域に対する線形変換特性の傾きは、前記複数の領域のうちの高照度側の領域に対する線形変換特性の傾きよりも大きく設定されたことを特徴とする請求項１から請求項３までのいずれか１項に記載の画像入力装置。