JP2013005234A5 - - Google Patents
Download PDFInfo
- Publication number
- JP2013005234A5 JP2013005234A5 JP2011134465A JP2011134465A JP2013005234A5 JP 2013005234 A5 JP2013005234 A5 JP 2013005234A5 JP 2011134465 A JP2011134465 A JP 2011134465A JP 2011134465 A JP2011134465 A JP 2011134465A JP 2013005234 A5 JP2013005234 A5 JP 2013005234A5
- Authority
- JP
- Japan
- Prior art keywords
- luminance
- brightness
- captured image
- characteristic data
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Description
本発明は、車両の周辺領域を撮影するために前記車両に搭載される車載カメラ装置に関する。
このような車載カメラ装置によって取得された撮影画像は、車両周辺領域の監視のために種々の形態でモニタに表示されたり、画像認識等の処理を通じての物体検知に用いられたりする。
例えば、駐車の際などにおいて運転者の死角を補完するために、上記の車載カメラ装置による車両後方の撮影画像が運転者の近傍に配設されたモニタに表示される。その際、モニタに対して適正な輝度を設定するために、カメラによって撮像される領域の明るさを検出する光センサが車両の後部に配設されており、この光センサによって検出された明るさに基づいてモニタの輝度を設定する輝度調整装置が特許文献1に記載されている。このような輝度調整装置を用いることで、撮影画像全体の最適輝度を算定することができる。しかしながら、車両周辺領域の監視では、撮影画像に含まれている建物や大木や車両などの影に入っている移動物体(子どもなど)といったその都度異なる局地的な撮影領域の輝度を適切にするような輝度調整は不可能である。また、輝度調整のために光センサを用意することは、部品コストかつ制御コストの負担も大きくなる。
例えば、駐車の際などにおいて運転者の死角を補完するために、上記の車載カメラ装置による車両後方の撮影画像が運転者の近傍に配設されたモニタに表示される。その際、モニタに対して適正な輝度を設定するために、カメラによって撮像される領域の明るさを検出する光センサが車両の後部に配設されており、この光センサによって検出された明るさに基づいてモニタの輝度を設定する輝度調整装置が特許文献1に記載されている。このような輝度調整装置を用いることで、撮影画像全体の最適輝度を算定することができる。しかしながら、車両周辺領域の監視では、撮影画像に含まれている建物や大木や車両などの影に入っている移動物体(子どもなど)といったその都度異なる局地的な撮影領域の輝度を適切にするような輝度調整は不可能である。また、輝度調整のために光センサを用意することは、部品コストかつ制御コストの負担も大きくなる。
入力画像から順次抽出される予め設定された所定領域毎の領域画像を構成する画素の輝度値が予め設定された閾値を超えているときには、この閾値を超えないように画素輝度値を補正し、輝度補正された領域画像と学習モデルとに基づいて対象物を検出する対象物検出装置が特許文献2に記載されている。これにより、入力画像に高輝度が含まれている場合であっても、高精度に対象物が検出されることを意図している。学習モデルでは、学習画像として、歩行者、自転車乗員が撮影された画像が用いられており、そのような対象物を検出することを可能としている。しかしながら、この装置では、撮影画像から多数に区分けされた小領域毎にその小領域を構成する画素の輝度値に対してしきい値判定して輝度調整する処理を繰り返すので、対象物検出のために用いられる画像を生成するための演算負荷が大きいという欠点がある。
上記実情に鑑み、車両周辺監視において重要となる領域が良好に確認できるような撮影画像を出力することができる車載カメラ装置が要望されている。例えば、車両等の影に入って見え難くなっているシャドウ領域が車両周辺監視において重要となることが少なくないので、そのような特定領域の物体確認性を改善することである。
上記課題を解決するため、本発明による、車両の周辺領域を撮影するために前記車両に搭載される車載カメラ装置は、生成された撮影画像における注目シャドウ領域を前記撮影画像の輝度特性データに基づいて前記撮影画像における前記車両を除く領域である部分領域として算定するシャドウ領域算定部と、前記注目シャドウ領域の輝度アップ量を算定する輝度アップ量算定部と、前記輝度アップ量に基づいて前記撮影画像の輝度を上げる輝度調整部と、前記輝度調整部によって前記撮影画像全体の輝度調整が行われた撮影画像を車載カメラ画像処理部に出力する撮影画像出力部とを備え、前記シャドウ領域算定部は、前記輝度特性データを入力パラメータとして前記注目シャドウ領域を導出するように予め学習することで構築される学習型算定ユニットである。なおここで輝度特性データとは、輝度に関する特性データのことであり、単なる画素単位の輝度値のデータ集合や、輝度ヒストグラムや輝度領域分布などの統計値なども含む。
この構成により、撮影画像において車両の周辺領域ではない前記車両が写っている領域以外の部分領域における輝度特性データに基づいて前記撮影画像全体が輝度調整されるので、車体部分、例えば、バンパーなどが撮影画像の輝度に与える影響を排除することができる。
この構成により、撮影画像において車両の周辺領域ではない前記車両が写っている領域以外の部分領域における輝度特性データに基づいて前記撮影画像全体が輝度調整されるので、車体部分、例えば、バンパーなどが撮影画像の輝度に与える影響を排除することができる。
また、撮影画像から輝度特性データ、例えば輝度ヒストグラムや輝度領域分布などを作成し、この輝度特性データから撮影画像における車両周辺監視目的で重要となる注目シャドウ領域を算定する。さらに、算定された注目シャドウ領域に限定して当該注目シャドウ領域の輝度を上げる輝度アップ量が算定され、この輝度アップ量に基づいて、撮影画像の輝度を上げる輝度調整が施される。ここでの輝度アップ量は、単純に輝度値を上げるだけでなく、この注目シャドウ領域における輝度のダイナミックレンジを大きくすることも含む語句として用いられており、輝度レベル調整量と言い換えてもよい。このような輝度調整がなされた撮影画像は、空や照明光などのハイライト領域に白飛びが生じて、一般的な撮影画像の観点からは低品質となるが、建物や大木や車両などの影に入っている子どもなどの移動物体が確認しやすい画像となる。従って、この輝度調整済み撮影画像がモニタに表示されると、運転者は建物や大木や車両などの影に入っている子どもなどの移動物体を視認し易くなる。また、この輝度調整済み撮影画像を用いた画像認識では、そのような移動物体の認識が容易となる。
さらに、注目シャドウ領域を算定し、その注目シャドウ領域の輝度値から算定された輝度アップ量に基づいて撮影画像全体の輝度が調整されるので、注目シャドウ領域だけを輝度調整した場合に生じる注目シャドウ領域境界線での違和感が解消され、全体として一体感のある撮影画像が得られる。この場合、空や照明などのハイライト領域では白飛びが生じても、車両周辺監視のための画像においては、そのような白飛びはそれほど問題とならない。
注目シャドウ領域の算定には、経験的に得られる知識が重要となる。このため、学習型の算定ユニットが適している。従って、シャドウ領域算定部は、輝度特性データを入力パラメータとして注目シャドウ領域を導出するように予め学習することで構築されている。
さらに、注目シャドウ領域を算定し、その注目シャドウ領域の輝度値から算定された輝度アップ量に基づいて撮影画像全体の輝度が調整されるので、注目シャドウ領域だけを輝度調整した場合に生じる注目シャドウ領域境界線での違和感が解消され、全体として一体感のある撮影画像が得られる。この場合、空や照明などのハイライト領域では白飛びが生じても、車両周辺監視のための画像においては、そのような白飛びはそれほど問題とならない。
注目シャドウ領域の算定には、経験的に得られる知識が重要となる。このため、学習型の算定ユニットが適している。従って、シャドウ領域算定部は、輝度特性データを入力パラメータとして注目シャドウ領域を導出するように予め学習することで構築されている。
本発明の好適な実施形態の1つでは、前記撮影画像を複数の区画で分割して得られた各区画の区画輝度特性データを生成する輝度特性データ生成部が備えられ、当該区画輝度特性データに基づいて前記シャドウ領域算定部は前記周辺領域に存在する物体に起因するシャドウ領域を前記注目シャドウ領域として算定するように構成されている。注目シャドウ領域は、何らかの物体の影に入っているために確認しづらくなった車両走行上障害となる物体が存在する可能性の高い領域である。このような注目シャドウ領域を撮影画像から見つけ出す精度は、撮影画像を複数の区画に分けた方が高くなる。
注目シャドウ領域のための輝度アップ量が算定されたとしても、注目シャドウ領域以外の領域も同じ輝度アップ量を適用することは、注目シャドウ領域以外の領域の輝度特性によっては不都合な場合がある。これを解決するためには、輝度アップ量に基づく輝度調整に自在性を与えるよい。この目的のため本発明の好適な実施形態の1つでは、前記輝度アップ量に基づいて輝度調整曲線を選択する輝度調整曲線設定部が備えられ、前記輝度調整部は前記選択された輝度調整曲線を用いて前記撮影画像の輝度を上げるように構成されている。なお、輝度調整曲線設定部は、前記輝度アップ量及び前記輝度特性データに基づいて輝度調整曲線を選択するよう構成しても良い。
本発明による車載カメラ装置の具体的な実施形態を説明する前に、図1を用いて、この車載カメラ装置において実行される輝度調整の基本原理を模式的を説明する。発明による車載カメラ装置の基本的な構想は、生成された車両の周辺領域の撮影画像における車両を除く領域である部分領域の輝度特性データに基づいて前記撮影画像全体の輝度調整が行われる。例えば、撮影画像における自車両のバンパーなどの車両構成部材を除く、純粋な車両周辺領域の画素値(輝度値)を用いて、その車両周辺領域における影などのシャドウ領域を明るくする。これにより、モニタに表示される車両周辺画像の視認性が向上する。
なお、自動輝度調整において、通常(例えば、被写体が人物等の場合)の収束範囲より高い収束範囲で輝度調整(露光調整)することで、シャドウ領域が明るくなった撮影画像を得ることも、本発明による輝度調整に含まれる。このようにシャドウ領域が明るくなった撮影画像を得るように構成することで、影の中の物体が浮き上がり、影の中の物体が認識しやすくなる。また、木々の葉等の被写体がはっきりと距離感良く見えるようになる。すなわち、車両の周辺監視用カメラとして、周囲の安全確保に適した構成となる。
なお、自動輝度調整において、通常(例えば、被写体が人物等の場合)の収束範囲より高い収束範囲で輝度調整(露光調整)することで、シャドウ領域が明るくなった撮影画像を得ることも、本発明による輝度調整に含まれる。このようにシャドウ領域が明るくなった撮影画像を得るように構成することで、影の中の物体が浮き上がり、影の中の物体が認識しやすくなる。また、木々の葉等の被写体がはっきりと距離感良く見えるようになる。すなわち、車両の周辺監視用カメラとして、周囲の安全確保に適した構成となる。
以下に説明する、模式化することでより具体化された本発明の基本原理では、撮影画像における特定の注目シャドウ領域の輝度特性データに基づいて、当該撮影画像全体の輝度がアップされる。
車載カメラ装置のカメラ部によって撮影画像が生成される(#01)。このカメラ部には通常のホワイトバランス回路やγ補正部などが備えられており、生成された撮影画像、正確にはデジタル撮影画像は、一般的な品質レベルの画像となっている。つまり、撮影画像にはハイライト領域とシャドウ領域と中間領域がバランスされており、ハイライト領域では白飛びが抑制され、シャドウ領域では黒つぶれが抑制されている。
車載カメラ装置のカメラ部によって撮影画像が生成される(#01)。このカメラ部には通常のホワイトバランス回路やγ補正部などが備えられており、生成された撮影画像、正確にはデジタル撮影画像は、一般的な品質レベルの画像となっている。つまり、撮影画像にはハイライト領域とシャドウ領域と中間領域がバランスされており、ハイライト領域では白飛びが抑制され、シャドウ領域では黒つぶれが抑制されている。
生成された撮影画像は画素単位で輝度値を有しているので、この画素単位の輝度値を利用して、輝度特性データを生成する(#02)。輝度特性データの例として、図2に示すように、輝度ヒストグラムや輝度分布画像などが挙げられる。輝度ヒストグラムは、よく知られているように、画像の輝度(明暗の度合い)の分布を、横軸に輝度、縦軸に画素数をとって表すものであり、この輝度特性データから、撮影画像におけるシャドウ領域やハイライト領域の占める割合が検出することができる。また、輝度分布画像は、撮影画像と同等な二次座標面における所定輝度階調での輝度の分布を表すものである。この輝度階調は線形でなく、本発明にとって重要なシャドウ領域を高階調として非線形であってもよい。デジタル化された撮影画像そのものは一種の輝度分布画像でもあるので、撮影画像そのものないしはそのモザイク画像を輝度分布画像としてもよい。このような輝度特性データに基づいて、路面上に存在する物体のうちで、影になって暗くなっている領域が注目シャドウ部として算定される。その際、車載カメラの撮影中心は実質的には固定されているので、撮影画面の上半分が空などの明るい領域(ハイライト領域)となり、撮影画面の下半分が影の影響を受けるくらい領域(シャドウ領域)となる可能性が高い。このことを考慮して、注目シャドウ領域を撮影画面の下半分に限定することも可能である。
また、人間の知覚に基づいて撮影画像に対する視認性評価を行って視認性評価画像を輝度特性データとして生成し、シャドウ領域でかつ視認性の低い領域を注目車両領域として算定してもよい。
より正確な注目シャドウ領域の算定を行うためには、ニューラルネットワークのような学習制御を採用することである。例えば、予め、多数の典型的な撮影画像を取得し、各撮影画像における注目したいシャドウ領域を決定する。そのようにして得られたシャドウ領域とその撮影画像の輝度特性データとの組み合わせを教師情報として、入力撮影画像の輝度特性データを入力することでシャドウ領域が特定される出力が得られる演算モジュールを構築する。
また、人間の知覚に基づいて撮影画像に対する視認性評価を行って視認性評価画像を輝度特性データとして生成し、シャドウ領域でかつ視認性の低い領域を注目車両領域として算定してもよい。
より正確な注目シャドウ領域の算定を行うためには、ニューラルネットワークのような学習制御を採用することである。例えば、予め、多数の典型的な撮影画像を取得し、各撮影画像における注目したいシャドウ領域を決定する。そのようにして得られたシャドウ領域とその撮影画像の輝度特性データとの組み合わせを教師情報として、入力撮影画像の輝度特性データを入力することでシャドウ領域が特定される出力が得られる演算モジュールを構築する。
さらに、この輝度特性データは、図2の(a)に示すように、撮影画像全体を対象として生成する形態と、図2の(b)に示すように、撮影画像を複数の区画で分割して得られた区画毎の輝度特性データ、つまり区画輝度特性データに分けることができる。特定種の輝度特性データでは、区画化することにより、注目シャドウ領域を算定するためのより効果的なデータとなる。例えば、区画輝度ヒストグラムから、撮影画像における黒飛びが生じているシャドウ領域の位置を簡単に検出することができる。
生成された輝度特性データから、影に隠れて暗くなってしまった路面上ないしは路面近くの物体の存在の可能性があるシャドウ領域が注目シャドウ領域として算定される(#03)。ごく簡単な注目シャドウ領域算定アルゴリズムのひとつは、明るい領域で上方を囲まれた路面近くの暗い領域を注目シャドウ領域とすることである。
上述したような注目シャドウ領域が算定されると、注目シャドウ領域に含まれる画素の輝度値に基づいて、場合によっては、注目シャドウ領域以外に含まれる画素の輝度値や撮影画像の平均輝度値なども用いて、注目シャドウ領域における視認性や認識性を向上させるように注目シャドウ領域を明るくするための輝度アップ量が算定される(#04)。
次いで、算定された輝度アップ量に基づいて撮影画像の輝度を上げる輝度調整が実行されるが、この撮影画像の輝度調整は、よく知られているように、一般的には、輝度調整(補正)曲線を用いて行われる。この輝度調整曲線は線形(つまり直線)でもよいが、一般的にはS字曲線が用いられる。この輝度調整を通じて、算定された輝度アップ量に実質的に相当する程度の輝度上昇が注目シャドウ領域において実現する。輝度調整曲線の形状、つまり撮影画像全体としての輝度アップの度合いは、その注目車両領域や撮影画像の輝度分布によって、変更した方がよい場合がある。従って、種々の輝度調整曲線を予め格納しておいて、適切に選択するような構成を採用することが好都合である。そのような構成の場合、まず、最適な輝度調整曲線を選択して設定し(#05)、次にその輝度調整曲線を用いて撮影画像の輝度調整が行われる(#06)。なお、この輝度調整曲線は、コンピュータ処理的には、テーブル化(マップ化)してもよいし、演算式による演算方式などで構築してもよいが、ここでの輝度調整曲線はそのような全ての形態を総称する上位概念の語句として用いられている。
輝度調整された撮影画像は、撮影画像を取り込んで周辺監視画像としてモニタ(車載モニタ51)に表示させる撮影画像表示モジュール5や撮影画像から他車や歩行者などの走行障害物などを認識する画像認識モジュール6に出力される(#07)。撮影画像表示モジュール5に送られた撮影画像はモニタに表示される(#08)。
次に、上述した輝度調整の基本原理を採用した、本発明による車載カメラ装置の具体的な実施形態の一例を説明する。この車載カメラ装置は、車両に搭載される、駐車支援システムや周辺風景監視システムに組み込まれる。図3にはこの車載カメラ装置の機能ブロック図が示されており、本発明に最も関係する機能部は輝度調整モジュール3である。車載カメラ装置には、撮影画像を取得する機能部として、撮影光学ユニット11や撮影画像生成部12などからなるカメラ本体10が含まれている。撮影光学ユニット11にはレンズや絞り・シャッターなどの光学系部品が含まれ、撮影画像生成部12にはCCDやCMOSなどの撮影素子が含まれている。車載カメラ装置から出力される輝度調整済みの撮影画像は、車載モニタ51のための表示用画像を生成する撮影画像表示モジュール5、または車両周辺の障害物や道路標識や駐車区画線などを検出するための画像認識モジュール6あるいはその両方に送られる。なお、撮影画像表示モジュール5に送られる撮影画像と画像認識モジュール6に送られる撮影画像とでは、輝度調整モジュール3においてそれぞれ異なる輝度調整方法を用いてもよいが、その基本原理は図1で説明されたものに準じる。
輝度調整モジュール3に含まれる種々の機能は、実質的にはコンピュータシステムに搭載されたプログラムを起動することにより作り出され、コンピュータシステムのハードウエアと協働して作用する。この実施形態での輝度調整モジュール3は、本発明に特に関係する機能部として、撮影画像入力部31、輝度特性データ生成部32、シャドウ領域算定部33、輝度アップ量算定部34、輝度調整曲線設定部35、輝度調整曲線テーブル36、輝度調整部37、撮影画像出力部38を備えている。
撮影画像入力部31は、撮影画像生成部12から送られてきた撮影画像を一時的にメモリに展開する。輝度特性データ生成部32は、メモリに展開された撮影画像から、輝度ヒストグラムや輝度分布画像などの輝度特性データを生成する。なお、この実施形態の輝度特性データ生成部32では、撮影画像を複数の区画に区分けし、各区画から輝度特性データを生成する機能が備えられている。この区画区分けでは、特に空が写る可能性のある領域と路面が写る可能性の領域とが明確に区分けされることが好都合である。これは、この輝度調整モジュール3にとっての重要な領域は路面近くで何かの影に隠れて暗くなっている領域であるので、空領域と路面領域はできるだけ区分けすることが好ましいからである。
シャドウ領域算定部33は、輝度特性データ生成部32によって生成された輝度特性データを入力パラメータとして所定のルール(条件)に基づいて注目シャドウ領域を算定する。この注目シャドウ領域は、車両周辺監視のための周辺画像にとって重要な領域でかつ通常の撮影画像においては車両や建物などの影に入って暗くなってしまう領域である。撮影画面の下半分で周囲に比べ暗くなっている領域を注目シャドウ領域とするような簡単なアルゴリズムを採用することも可能であるが、ニューラルネットワークのような学習を用いて構築する演算部を採用すると算定精度が向上する。
輝度アップ量算定部34は、算定された注目シャドウ領域の輝度データ、例えば輝度平均値や輝度中間値などを用いて、注目シャドウ領域での黒つぶれがある程度抑制されるような輝度アップ量を算定する。その際、注目シャドウ領域外の輝度値を考慮するような構成を採用してもよい。
この実施形態では、輝度アップ量に基づいて撮影画像全体の輝度を調整する際に利用する輝度調整曲線が輝度調整曲線テーブル36に複数用意されている。従って、輝度調整曲線設定部35は、輝度アップ量及び撮影画像の輝度特性データなどから最適な輝度調整曲線を輝度調整曲線テーブル36から選択する。選択された輝度調整曲線は輝度調整部37に対して設定されるので、輝度調整部37をこの設定された輝度調整曲線を用いて、撮影画像の輝度調整を実施する。撮影画像出力部38は、輝度調整された撮影画像を撮影画像表示モジュール5又は画像認識モジュール6あるいはその両方に出力する。
上述したように構成された車載カメラ装置における、撮影画像輝度調整処理の一例を図4によるフローチャートを用いて説明する。
この車載カメラ装置による撮影画像を用いた車両周辺監視プロセスが開始すると、カメラ本体10で撮影画像が生成され(#20)、輝度調整モジュール3のメモリに展開される(#22)。まず、メモリに展開された撮影画像は、その全体から求められた全域輝度特性データが輝度特性データ生成部32によって生成される(#24)。さらに、撮影画像に対して複数区画に区分け設定される(#26)。区分けされた区画から順次、処理対象区画が指定され(#28)、当該区画の輝度特性データが生成される(#30)。順次指定された処理対象区画の輝度特性データ生成が繰り返され(#32No分岐)、全ての区画の輝度特性データが生成されると(#32Yes分岐)、全域輝度特性データと区画輝度特性データとを入力パラメータとして注目シャドウ領域がシャドウ領域算定部33によって算定される(#34)。さらに、注目シャドウ領域の輝度に基づいてこの注目シャドウ領域の画像をより明確にするために必要な輝度アップ量が輝度アップ量算定部34によって算定される(#36)。算定された輝度アップ量に基づいて輝度調整曲線が設定されると(#38)、輝度調整部37は撮影画像に対する輝度調整を実施する(#40)。輝度調整された撮影画像は撮影画像出力部38を通じて出力される(#42)。この一連の処理ステップは、車両周辺監視プロセスが終了するまで(#44Yes分岐)繰り返し実行される。
〔別実施の形態〕
(1)上述した実施形態における、図4による車両周辺監視プロセスでは、撮影画像を取得する毎に輝度アップ量を算定していたが、必ずしも毎回輝度アップ量を算定する必要はない。所定の時間間隔又は所定枚数間隔、あるいはシーン変更毎に輝度アップ量を算定するようにしてもよい。これにより、多くの撮影画像は先に用いた輝度調整曲線をそのまま流用して輝度調整を施されることになり、輝度調整の演算負荷が低減される。
(2)上述した実施形態では、撮影画像に対する輝度調整過程を分かりやすく説明するため、輝度調整モジュール3の構成を機能別に細かくブロック化しているが、この機能ブロックは説明目的であり、本発明がこのようなブロック構成に限定されるわけではない。記載された機能が実現できる限り、その機能ブロックは種々の形態をとることができる。例えば、輝度アップ量が算定されると、当該輝度アップ量に基づいて自動的に輝度調整曲線が設定される構成の場合、輝度調整曲線設定部35は不要となる。
(3)上述した実施形態では、輝度特性データとして統計的演算を伴う輝度ヒストグラムが用いられていたが、所定輝度値以下を注目シャドウ領域と算定する簡易的な構成を採用すると、輝度特性データ生成部32とシャドウ領域算定部33は一体化する。
この車載カメラ装置による撮影画像を用いた車両周辺監視プロセスが開始すると、カメラ本体10で撮影画像が生成され(#20)、輝度調整モジュール3のメモリに展開される(#22)。まず、メモリに展開された撮影画像は、その全体から求められた全域輝度特性データが輝度特性データ生成部32によって生成される(#24)。さらに、撮影画像に対して複数区画に区分け設定される(#26)。区分けされた区画から順次、処理対象区画が指定され(#28)、当該区画の輝度特性データが生成される(#30)。順次指定された処理対象区画の輝度特性データ生成が繰り返され(#32No分岐)、全ての区画の輝度特性データが生成されると(#32Yes分岐)、全域輝度特性データと区画輝度特性データとを入力パラメータとして注目シャドウ領域がシャドウ領域算定部33によって算定される(#34)。さらに、注目シャドウ領域の輝度に基づいてこの注目シャドウ領域の画像をより明確にするために必要な輝度アップ量が輝度アップ量算定部34によって算定される(#36)。算定された輝度アップ量に基づいて輝度調整曲線が設定されると(#38)、輝度調整部37は撮影画像に対する輝度調整を実施する(#40)。輝度調整された撮影画像は撮影画像出力部38を通じて出力される(#42)。この一連の処理ステップは、車両周辺監視プロセスが終了するまで(#44Yes分岐)繰り返し実行される。
〔別実施の形態〕
(1)上述した実施形態における、図4による車両周辺監視プロセスでは、撮影画像を取得する毎に輝度アップ量を算定していたが、必ずしも毎回輝度アップ量を算定する必要はない。所定の時間間隔又は所定枚数間隔、あるいはシーン変更毎に輝度アップ量を算定するようにしてもよい。これにより、多くの撮影画像は先に用いた輝度調整曲線をそのまま流用して輝度調整を施されることになり、輝度調整の演算負荷が低減される。
(2)上述した実施形態では、撮影画像に対する輝度調整過程を分かりやすく説明するため、輝度調整モジュール3の構成を機能別に細かくブロック化しているが、この機能ブロックは説明目的であり、本発明がこのようなブロック構成に限定されるわけではない。記載された機能が実現できる限り、その機能ブロックは種々の形態をとることができる。例えば、輝度アップ量が算定されると、当該輝度アップ量に基づいて自動的に輝度調整曲線が設定される構成の場合、輝度調整曲線設定部35は不要となる。
(3)上述した実施形態では、輝度特性データとして統計的演算を伴う輝度ヒストグラムが用いられていたが、所定輝度値以下を注目シャドウ領域と算定する簡易的な構成を採用すると、輝度特性データ生成部32とシャドウ領域算定部33は一体化する。
本発明は、撮影画像を用いて車両周辺の監視を行う全てのシステムに利用することができる。
10:カメラ本体
12:撮影画像生成部
3:輝度調整モジュール
31:撮影画像入力部
32:輝度特性データ生成部
33:シャドウ領域算定部
34:輝度アップ量算定部
35:輝度調整曲線設定部
36:輝度調整曲線テーブル
37:輝度調整部
38:撮影画像出力部
12:撮影画像生成部
3:輝度調整モジュール
31:撮影画像入力部
32:輝度特性データ生成部
33:シャドウ領域算定部
34:輝度アップ量算定部
35:輝度調整曲線設定部
36:輝度調整曲線テーブル
37:輝度調整部
38:撮影画像出力部
Claims (4)
- 車両の周辺領域を撮影するために前記車両に搭載される車載カメラ装置において、
生成された撮影画像における注目シャドウ領域を前記撮影画像の輝度特性データに基づいて前記撮影画像における前記車両を除く領域である部分領域として算定するシャドウ領域算定部と、
前記注目シャドウ領域の輝度アップ量を算定する輝度アップ量算定部と、
前記輝度アップ量に基づいて前記撮影画像の輝度を上げる輝度調整部と、
前記輝度調整部によって前記撮影画像全体の輝度調整が行われた撮影画像を車載カメラ画像処理部に出力する撮影画像出力部とを備え、
前記シャドウ領域算定部は、前記輝度特性データを入力パラメータとして前記注目シャドウ領域を導出するように予め学習することで構築される学習型算定ユニットである車載カメラ装置。 - 前記撮影画像を複数の区画で分割して得られた各区画の区画輝度特性データを生成する輝度特性データ生成部が備えられ、当該区画輝度特性データに基づいて前記シャドウ領域算定部は前記周辺領域に存在する物体に起因するシャドウ領域を前記注目シャドウ領域として算定する請求項1に記載の車載カメラ装置。
- 前記輝度アップ量に基づいて輝度調整曲線を選択する輝度調整曲線設定部が備えられ、前記輝度調整部は前記選択された輝度調整曲線を用いて前記撮影画像の輝度を上げる請求項1又は2に記載の車載カメラ装置。
- 前記輝度アップ量及び前記輝度特性データに基づいて輝度調整曲線を選択する輝度調整曲線設定部が備えられ、前記輝度調整部は前記選択された輝度調整曲線を用いて前記撮影画像の輝度を上げる請求項1又は2に記載の車載カメラ装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011134465A JP5435307B2 (ja) | 2011-06-16 | 2011-06-16 | 車載カメラ装置 |
US14/116,451 US20140085473A1 (en) | 2011-06-16 | 2012-05-18 | In-vehicle camera apparatus |
EP12800299.5A EP2723060A4 (en) | 2011-06-16 | 2012-05-18 | VEHICLE MOUNTED CAMERA DEVICE |
PCT/JP2012/062845 WO2012172922A1 (ja) | 2011-06-16 | 2012-05-18 | 車載カメラ装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011134465A JP5435307B2 (ja) | 2011-06-16 | 2011-06-16 | 車載カメラ装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013005234A JP2013005234A (ja) | 2013-01-07 |
JP2013005234A5 true JP2013005234A5 (ja) | 2013-11-14 |
JP5435307B2 JP5435307B2 (ja) | 2014-03-05 |
Family
ID=47356916
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011134465A Expired - Fee Related JP5435307B2 (ja) | 2011-06-16 | 2011-06-16 | 車載カメラ装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20140085473A1 (ja) |
EP (1) | EP2723060A4 (ja) |
JP (1) | JP5435307B2 (ja) |
WO (1) | WO2012172922A1 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102013011844A1 (de) * | 2013-07-16 | 2015-02-19 | Connaught Electronics Ltd. | Verfahren zum Anpassen einer Gammakurve eines Kamerasystems eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug |
WO2016129160A1 (ja) * | 2015-02-12 | 2016-08-18 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラムおよび画像処理システム |
EP3190784A4 (en) * | 2015-11-19 | 2018-04-11 | Streamax Technology Co., Ltd. | Method and apparatus for switching region of interest |
US20170147887A1 (en) * | 2015-11-23 | 2017-05-25 | Ford Global Technologies, Llc | Method and apparatus for interior/exterior vehicular environment alerts |
JP6589741B2 (ja) | 2016-05-25 | 2019-10-16 | 株式会社デンソー | 画像処理装置 |
JP6091727B1 (ja) * | 2016-07-13 | 2017-03-08 | 楽天株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP2018056743A (ja) * | 2016-09-28 | 2018-04-05 | ルネサスエレクトロニクス株式会社 | 逆光補正プログラム及び半導体装置 |
JP2020104804A (ja) * | 2018-12-28 | 2020-07-09 | トヨタ自動車株式会社 | 電子ミラーシステム |
EP4183127A1 (en) * | 2020-07-15 | 2023-05-24 | Arriver Software AB | Vision system for a motor vehicle |
JP2022038136A (ja) * | 2020-08-26 | 2022-03-10 | トヨタ自動車株式会社 | ルート決定システム、ルート決定方法及びルート決定プログラム |
DE102020213270A1 (de) | 2020-10-21 | 2022-04-21 | Conti Temic Microelectronic Gmbh | System zur Vermeidung von Unfällen durch Wildwechsel bei Dämmerung und Nacht |
CN113507569A (zh) * | 2021-06-30 | 2021-10-15 | 上海商汤临港智能科技有限公司 | 车载摄像头的控制方法及装置、设备和介质 |
JP2023110325A (ja) * | 2022-01-28 | 2023-08-09 | キヤノン株式会社 | カメラシステム、移動体、カメラシステムの制御方法、及びコンピュータプログラム |
US11935156B2 (en) | 2022-02-18 | 2024-03-19 | GM Global Technology Operations LLC | Methods and systems for color harmonization in surround view systems |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3515019B2 (ja) * | 1999-07-26 | 2004-04-05 | 日本電信電話株式会社 | 画像補正方法及びその装置及びその方法を記録した記録媒体及びその装置を組み込んだ画像撮影装置及びその装置を組み込んだ画像表示装置 |
US7576767B2 (en) * | 2004-07-26 | 2009-08-18 | Geo Semiconductors Inc. | Panoramic vision system and method |
US7486835B2 (en) * | 2005-03-17 | 2009-02-03 | Delphi Technologies, Inc. | System and method for enhancing an image |
US8014034B2 (en) * | 2005-04-13 | 2011-09-06 | Acd Systems International Inc. | Image contrast enhancement |
JP2007074070A (ja) * | 2005-09-05 | 2007-03-22 | Auto Network Gijutsu Kenkyusho:Kk | 車両周辺視認装置 |
JP2007272421A (ja) | 2006-03-30 | 2007-10-18 | Toyota Central Res & Dev Lab Inc | 対象物検出装置、方法及びプログラム |
JP4321543B2 (ja) * | 2006-04-12 | 2009-08-26 | トヨタ自動車株式会社 | 車両周辺監視装置 |
JP2008277921A (ja) * | 2007-04-25 | 2008-11-13 | Sharp Corp | 撮像装置およびこれを備えた移動体 |
JP4987573B2 (ja) * | 2007-06-01 | 2012-07-25 | 富士重工業株式会社 | 車外監視装置 |
JP4979090B2 (ja) * | 2008-08-19 | 2012-07-18 | 株式会社リコー | 画像処理装置、画像処理方法、プログラムおよび記録媒体 |
TWI368185B (en) * | 2008-11-06 | 2012-07-11 | Ind Tech Res Inst | Method for detecting shadow of object |
JP2010208372A (ja) | 2009-03-06 | 2010-09-24 | Toyota Motor Corp | 輝度調整装置 |
-
2011
- 2011-06-16 JP JP2011134465A patent/JP5435307B2/ja not_active Expired - Fee Related
-
2012
- 2012-05-18 EP EP12800299.5A patent/EP2723060A4/en not_active Withdrawn
- 2012-05-18 WO PCT/JP2012/062845 patent/WO2012172922A1/ja active Application Filing
- 2012-05-18 US US14/116,451 patent/US20140085473A1/en not_active Abandoned
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5435307B2 (ja) | 車載カメラ装置 | |
JP2013005234A5 (ja) | ||
US9424462B2 (en) | Object detection device and object detection method | |
US10567674B2 (en) | Systems and methods for detecting objects in imaging systems | |
JP5071198B2 (ja) | 信号機認識装置,信号機認識方法および信号機認識プログラム | |
JP6269838B2 (ja) | 自己位置算出装置及び自己位置算出方法 | |
JPWO2020121973A1 (ja) | 物体識別システム、演算処理装置、自動車、車両用灯具、分類器の学習方法 | |
JP5437855B2 (ja) | 障害物検知装置およびそれを備えた障害物検知システム、並びに障害物検知方法 | |
US11477372B2 (en) | Image processing method and device supporting multiple modes and improved brightness uniformity, image conversion or stitching unit, and computer readable recording medium realizing the image processing method | |
JP2008135856A (ja) | 物体認識装置 | |
JP2009116742A (ja) | 車載用画像処理装置、画像処理方法、および、プログラム | |
JP6289439B2 (ja) | 画像処理装置 | |
KR20100032005A (ko) | 차선이 표시된 측방/후방 영상 제공 시스템 | |
US20170364765A1 (en) | Image processing apparatus, image processing system, vehicle, imaging apparatus and image processing method | |
TWI630818B (zh) | Dynamic image feature enhancement method and system | |
US10102436B2 (en) | Image processing device, warning device and method for processing image | |
JP2019204988A (ja) | 画像処理装置及び画像処理方法 | |
JP7278764B2 (ja) | 撮像装置、電子機器、撮像装置の制御方法およびプログラム | |
JP4547213B2 (ja) | 物体検出装置および方法 | |
JP2018074440A (ja) | 車両後方画像表示装置 | |
JP7212251B2 (ja) | 眼の開閉検出装置、乗員監視装置 | |
JP2010221756A (ja) | 車両灯火判定装置 | |
JP6902906B2 (ja) | 画像処理装置 | |
JP5804155B1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
KR20170006543A (ko) | 어라운드 뷰 노이즈 제거 시스템 및 방법 |