JP2022090553A - 車載画像制御システム - Google Patents

Abstract

【課題】より適切な色調の撮像画像を取得することができる車載画像制御システムを得る。
【解決手段】車載画像制御システムは、自車両の車体の一部４０Ａと共に自車両の周辺を撮像する撮像部と、所定の光源条件下において撮像部により予め撮像された基準画像内の自車両の車体の一部の色情報である基準色情報（Ｕ１，Ｖ１）と、自車両の走行中又は停車中に撮像部により撮像された撮像画像Ｐ１内の自車両の車体の一部４０Ａの色情報（Ｕ２，Ｖ２）との比較結果に基づいて、撮像画像Ｐ１の色調を補正する色調補正部と、所定の記録条件が成立した際に、撮像部により撮像された撮像画像Ｐ１，Ｐ２を記録部に記録する制御を行う記録制御部と、を含む。
【選択図】図３

Description

本発明は、車載画像制御システムに関する。

特許文献１には、自車両周辺の画像を撮像して記録するドライブレコーダにおいて、撮像部により撮像された画像に写っている信号機が滅灯状態である場合、できるだけ点灯状態である信号機を撮像するために、撮像部による画像取得タイミングを一定の周期からずらすように制御する技術が開示されている。

特開２００８－１３４８４４号公報

一方、トンネル内のナトリウムランプや水銀灯等の低演色性の光源下においては、ドライブレコーダ等の車載カメラでの撮像時に、撮像画像内の自車両の色が本来の色とは異なる色となってしまう場合がある。特許文献１に記載の技術は、点灯状態である信号機を撮像可能にする技術であるため、撮像画像内の自車両の色をより適切な色にすることについて、改善の余地がある。

本発明は上記事情に鑑みてなされたものであり、より適切な色調の撮像画像を取得することができる車載画像制御システムを提供することを目的とする。

上記目的を達成するために、請求項１に記載の車載画像制御システムは、自車両の車体の一部と共に該自車両の周辺を撮像する撮像部と、所定の光源条件下において該撮像部により予め撮像された基準画像内の前記自車両の車体の一部の色情報である基準色情報と、前記自車両の走行中又は停車中に前記撮像部により撮像された撮像画像内の前記自車両の車体の一部の色情報との比較結果に基づいて、前記撮像画像の色調を補正する色調補正部と、所定の記録条件が成立した際に、前記撮像部により撮像された撮像画像を記録部に記録する制御を行う記録制御部と、を含んでいる。

請求項１に記載の車載画像制御システムでは、基準画像内の自車両の車体の一部の色情報である基準色情報と、撮像画像内の自車両の車体の一部の色情報との比較結果に基づいて、撮像画像の色調を補正し、所定の記録条件が成立した際に、撮像部により撮像された撮像画像を記録する。これにより、撮像画像に対して基準色情報に基づいた適切な色調補正を行うことができるので、より適切な色調の撮像画像を取得できる。

以上説明したように、請求項１に係る車載画像制御システムは、より適切な色調の撮像画像を取得することができる、という優れた効果を有する。

車載画像制御システムの概略構成を示すブロック図である。 ＣＰＵの機能ブロック図である。 色補正前の撮像画像と色補正後の撮像画像の一例を示す概略図である。 ＹＵＶ色空間の一例を示す説明図である。 車載画像制御システムが搭載された車載カメラ装置における一連の処理を示すフローチャートである。

以下、図面を参照して本発明の一実施形態に係る車載画像制御システムについて詳細に説明する。図１は一実施形態に係る車載画像制御システムの概略構成を示すブロック図、図２はＣＰＵの機能ブロック図である。

本実施形態の車載画像制御システム１０は、自車両（図示省略）の前方及び前側方を撮像可能に車両の前部に取り付けられる車載カメラ装置、及び自車両の後方及び後側方を撮像可能に車両の後部に取り付けられる車載カメラ装置の少なくとも一方の車載カメラ装置２０に搭載されるシステムである。本実施形態においては、以下、自車両の前部に取り付けられる車載カメラ装置２０に搭載された車載画像制御システム１０を例にして以下説明する。

車載画像制御システム１０は、図１に示されるように、レンズ２０及び撮像素子２２を有する撮像部２４を備えており、撮像部２４は自車両の車体４０の一部としての車体表面４０Ａと共に自車両の周辺を撮像可能な画角Ｆに設定されている。車体表面４０Ａは、一般的に、光が均一に散乱し易い。なお、図１において、車体４０は、簡略化して記載されており、実際の形状とは異なっている。撮像素子２２は、光の明暗を電気信号に変換する半導体素子であり、ＣＣＤ（Charge Coupled Device）、及びＣＭＯＳ（Complementary Metal Oxide Semiconductor）等で構成されている。

車載画像制御システム１０は、撮像部２４と、ＣＰＵ（Central Processing Unit）２６と、メモリ２８と、記録部３０と、通信部３２と、を含んでいる。ＣＰＵ２６、メモリ２８、記録部３０、及び通信部３２は内部バス３４を介して互いに通信可能に接続されている。

メモリ２８は、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等を含んでいる。ＲＯＭは、各種処理をＣＰＵ６２に実行させるための実行プログラムを記憶している。ＲＡＭは、作業領域として一時的にプログラム又はデータを記憶する。

ＣＰＵ２６は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ２６は、メモリ２８のＲＯＭからプログラムを読み出し、ＲＡＭを作業領域としてプログラムを実行する。メモリ２８のＲＯＭには、実行プログラムが記憶されており、ＣＰＵ２６は、実行プログラムを実行することで、図２に示されるように、色調補正部３６、及び記録制御部３８として機能する。

記録部３０は、一例として、ＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）等の不揮発性のデバイスにより構成される。

通信部３２は、車両に搭載される各装置と通信するためのインターフェイスである。なお、通信部３２と各装置とは、各種ＥＣＵ（Electronic Control Unit）を介して接続されていてもよい。

色調補正部３６は、撮像部２４により撮像された撮像画像において、色調を補正する処理を行う。具体的には、色調補正部３６は、撮像環境での光の色の影響を補正して、白を白く写すための処理としてホワイトバランスの調整を行う。

色調補正部３６は、撮像画像内の予め定められた位置座標（Ｘ，Ｙ）における色情報（Ｕ，Ｖ）の値を変更することにより撮像画像のホワイトバランスを調整する。ここで、Ｘは画像における水平方向の位置を示し、Ｙは画像における垂直方向の位置を示す。本実施形態において、撮像画像はカラー画像であり、カラー値は輝度（Ｙ）と２つの色差（ＵＶ）情報で表される。色情報（Ｕ，Ｖ）は、色差情報であり、Ｕ及びＶは各々色成分を表し、青－輝度及び赤－輝度の差とされる（図４参照）。すなわち、Ｕ及びＶの値を変更することにより、輝度を変更することなく、所望する画素の色を変更させることができる。

本実施形態において色調補正部３６は、基準色情報（Ｕ１，Ｖ１）と色情報（Ｕ２，Ｖ２）との比較結果に基づいて撮像画像の色調としてホワイトバランスを補正する。ここで、基準色情報（Ｕ１，Ｖ１）は、所定の光源条件下において撮像部２４により予め撮像された基準画像内の自車両の車体４０の一部としての車体表面４０Ａの色情報である。本実施形態においては、所定の光源条件下は太陽光の下とされる。基準色情報（Ｕ１，Ｖ１）は、例えば記録部３０に記憶される。

また、色情報（Ｕ２，Ｖ２）は、自車両の走行中又は停車中に撮像部２４により撮像された撮像画像内の自車両の車体４０の一部としての車体表面４０Ａの色情報である。色情報（Ｕ２，Ｖ２）も、例えば記録部３０に記憶される。以下に、色調補正部３６による処理について、図面を参照して説明する。図３は色補正前の撮像画像と色補正後の撮像画像の一例を示す概略図である。

図３の上図は、撮像部２４により撮像された撮像画像であって、色調補正部３６によりホワイトバランスが調整される前の補正前画像Ｐ１である。図３の下図は、撮像部２４により撮像された画像であって、色調補正部３６によりホワイトバランスが調整された後の補正後画像Ｐ２である。補正前画像Ｐ１及び補正後画像Ｐ２には、いずれも自車両の車体４０の一部としての車体表面４０Ａと共に自車両の周辺が写っている。

図３の上図に示される補正前画像Ｐ１においては、左側に「停まれ」を意味する標識６０、右側に水銀灯６２が写っている。一般的に、水銀灯６２等の低演色性の光源下において撮像された撮像画像においては、太陽光下で撮像された撮像画像とは異なった色調となってしまう場合がある。そこで本実施形態においては、色調補正部３６が基準色情報（Ｕ１，Ｖ１）に対する色情報（Ｕ２，Ｖ２）の変化が所定の閾値よりも大きい場合に、光源が変化したと判断し、図３に示されるように、色情報（Ｕ２，Ｖ２）を基準色情報（Ｕ１，Ｖ１）に近づける処理を行う。これにより色調補正部３６は、補正前画像Ｐ１においてホワイトバランスを補正し、ホワイトバランスが補正された補正後画像Ｐ２を生成する。

ここで、所定の閾値の決定方法について説明する。図４はＹＵＶ色空間の一例を示す説明図である。所定の閾値は、基準色情報（Ｕ１，Ｖ１）に基づいて決定される。具体的には、撮像部２４により基準画像を複数枚撮像し、撮像された複数枚（本実施形態においては４枚）の基準画像の各々において、予め定められた所定の位置座標（Ｘ１，Ｙ１）における基準色情報Ａ１（Ｕ１－１，Ｖ１－１）、Ａ２（Ｕ１－２，Ｖ１－２）、Ａ３（Ｕ１－３，Ｖ１－３）、Ａ４（Ｕ１－４，Ｖ１－４）を取得する。取得された基準色情報Ａ１（Ｕ１－１，Ｖ１－１）、Ａ２（Ｕ１－２，Ｖ１－２）、Ａ３（Ｕ１－３，Ｖ１－３）、Ａ４（Ｕ１－４，Ｖ１－４）は、図４に示されるように、ＹＵＶ色空間上にプロットされて、プロットされた点を結んだ境界Ｂが所定の閾値として定義される。定義された閾値は、例えば記録部３０に記憶される。

なお、自車両の走行中又は停車中に撮像部２４により撮像された撮像画像内の自車両の車体４０の一部としての車体表面４０Ａにおける色情報（Ｕ２，Ｖ２）は、基準色情報（Ｕ１，Ｖ１）が取得された位置座標（Ｘ１，Ｙ１）と同じ位置座標（Ｘ１，Ｙ１）において取得される。

記録制御部３８は、所定の記録条件が成立した際に、撮像部２４により撮像された撮像画像を記録部３０に記録する制御を行う。ここで所定の記録条件は、基準色情報（Ｕ１，Ｖ１）に対する色情報（Ｕ２，Ｖ２）の変化が所定の閾値以下になることである。

本実施形態の車載画像制御システム１０は以上のように構成されている。次に、車載画像制御システム１０が搭載された車載カメラ装置２０によって実行される処理について、図５を参照して説明する。図５は車載画像制御システム１０が搭載された車載カメラ装置２０における一連の処理を示すフローチャートである。なお、ステップＳ１１の撮像画像は、撮像部２４によって撮像された撮像画像である。撮像部２４は予め定められた所定の間隔で、自車両の車体４０の一部としての車体表面４０Ａと共に自車両の周辺を撮像しており、撮像部２４により所定の間隔で取得された撮像画像に対して、図５に示す処理が行われる。

先ず、色調補正部３６は、所定の光源条件下において撮像部２４により予め撮像された基準画像から基準色情報（Ｕ１，Ｖ１）を取得する（ステップＳ１０）。本実施形態では、上述したように、４個の基準色情報Ａ１（Ｕ１－１，Ｖ１－１）、Ａ２（Ｕ１－２，Ｖ１－２）、Ａ３（Ｕ１－３，Ｖ１－３）、Ａ４（Ｕ１－４，Ｖ１－４）を取得し、図４に示すように、予め所定の閾値として境界Ｂを取得する。

次に、色調補正部３６は、自車両の走行中又は停車中に撮像部２４により撮像された撮像画像から色情報（Ｕ２，Ｖ２）を取得する（ステップＳ１１）。そして、色調補正部３６は、基準色情報（Ｕ１，Ｖ１）に対する色情報（Ｕ２，Ｖ２）の変化が所定の閾値より大きいか否かを判定する（ステップＳ１２）。具体的には、色調補正部３６は、色情報（Ｕ２，Ｖ２）のＵ２及びＶ２の少なくとも一方の値が、図４に示す境界Ｂよりも外側にあるか否かを判定する。

ステップＳ１２にて基準色情報（Ｕ１，Ｖ１）に対する色情報（Ｕ２，Ｖ２）の変化が所定の閾値よりも大きい場合（ステップＳ１２；ＹＥＳ）には、色調補正部３６は、ホワイトバランスの調整を行う（ステップＳ１３）。具体的には、上述したように色調補正部３６は、図３に示されるように、撮像画像すなわち補正前画像Ｐ１に対して、色情報（Ｕ２，Ｖ２）を基準色情報（Ｕ１，Ｖ１）に近づける処理を行う。

さらに、色調補正部３６は、基準色情報（Ｕ１，Ｖ１）に対する色情報（Ｕ２，Ｖ２）の変化が所定の閾値以下か否かを判定する（ステップＳ１４）。具体的には、色調補正部３６は、色情報（Ｕ２，Ｖ２）のＵ２及びＶ２の両方の値が、図４に示す境界Ｂ線上若しくは境界Ｂよりも内側にあるか否かを判定する。

ステップＳ１４にて基準色情報（Ｕ１，Ｖ１）に対する色情報（Ｕ２，Ｖ２）の変化が所定の閾値以下の場合（ステップＳ１２；ＹＥＳ）には、色調補正部３６は、ホワイトバランスの調整を終了する（ステップＳ１５）。一方、ステップＳ１４にて、基準色情報（Ｕ１，Ｖ１）に対する色情報（Ｕ２，Ｖ２）の変化が所定の閾値以下ではない場合（ステップＳ１２；ＮＯ）には、色調補正部３６は、所定の閾値以下になるまでステップＳ１３以降の処理を繰り返し行う。

ステップＳ１５にてホワイトバランス調整が終了すると、記録制御部３８はホワイトバランス調整が行われた撮像画像すなわち補正後画像Ｐ２を記録部３０に記録する制御を行う（ステップＳ１６）。なお、ステップＳ１２にて基準色情報（Ｕ１，Ｖ１）に対する色情報（Ｕ２，Ｖ２）の変化が所定の閾値以下の場合（ステップＳ１２；ＮＯ）にも、ＣＰＵ２６は、ステップＳ１６に処理を移行し、記録制御部３８は判定の対象とされた撮像画像を記録部３０に記録する制御を行う（ステップＳ１６）。

次に、ＣＰＵ２６は、処理が終了したか否かを判定する（ステップＳ１７）。処理が終了していないと判定された場合（ステップＳ１７；ＮＯ）には、ＣＰＵ２６はステップＳ１１へ処理を移行して、ステップＳ１１以降の処理を引き続き行う。一方、ステップＳ１７にて、処理が終了したと判定された場合（ステップＳ１７；ＹＥＳ）、例えば、車載カメラ装置２０の電源がオフにされた場合及び撮像部２４による撮像がオフにされた場合には、処理が終了したと判定されて、全ての処理が終了される。

（作用・効果）
以上説明したように、本実施形態の車載カメラ装置２０に搭載された車載画像制御システムによれば、基準画像内の自車両の車体の一部の色情報である基準色情報（Ｕ１，Ｖ１）と、撮像画像内の自車両の車体の一部の色情報（Ｕ２，Ｖ２）との比較結果に基づいて、撮像画像の色調を補正する。具体的には、色調補正部３６が基準色情報（Ｕ１，Ｖ１）に対する色情報（Ｕ２，Ｖ２）の変化が所定の閾値よりも大きい場合に、図３に示されるように、色情報（Ｕ２，Ｖ２）を基準色情報（Ｕ１，Ｖ１）に近づける処理を行う。

そして、所定の記録条件が成立した際、すなわち色調補正部３６によって基準色情報（Ｕ１，Ｖ１）に対する色情報（Ｕ２，Ｖ２）の変化が所定の閾値以下に補正された際に、撮像画像の色調が基準画像に近づいたとして、記録制御部３８が撮像部２４により撮像された撮像画像を記録する制御を行う。これにより、撮像部２４により撮像された撮像画像において基準色情報に基づいた適切な色調補正を行うことができるので、より適切な色調の撮像画像を取得することができる。

なお、上記実施形態の車載画像制御システム１０は、車両の前部に取り付けられる車載カメラ装置２０に搭載されているが、本発明はこれに限られない。車載画像制御システム１０は、車両の後方及び後側方を撮像可能に車両の後部に取り付けられる車載カメラ装置２０に搭載されていてもよいし、車両の前部と後部に各々取り付けられる車載カメラ装置２０にそれぞれ搭載されていてもよい。

また、上記実施形態においては、所定の閾値は、撮像部２４により基準画像を複数枚撮像し、撮像された複数枚の基準画像の各々において、予め定められた所定の位置座標（Ｘ１，Ｙ１）における基準色情報（Ｕ１，Ｖ１）を取得することにより行ったが、本発明はこれに限られない。撮像部２４の画角Ｆ内に入る車体表面４０Ａの色は一色である場合が多い。そのため、撮像部２４により撮像された１枚の基準画像において、車体表面４０Ａの複数の座標位置における基準色情報（Ｕ１，Ｖ１）を取得し、この基準色情報（Ｕ１，Ｖ１）を使用して所定の閾値を定義することもできる。

また、上記実施形態においては、所定の閾値は、図３に示されるように、複数の基準色情報をプロットした点を結んだ境界を閾値としたが、本発明はこれに限られない。色づくりの観点から、境界よりもさらに外側に閾値を設けてもよい。

また、上記実施形態においては、記録制御部３８は基準色情報（Ｕ１，Ｖ１）に対する色情報（Ｕ２，Ｖ２）の変化が所定の閾値以下の撮像画像及び補正後画像Ｐ２を車載カメラ装置２０に内蔵された記録部３０に記録する制御を行っているが、本発明はこれに限られない。記録制御部３８は、例えば車載カメラ装置２０に対して脱着可能な記録部に記憶する制御を行ってもよい。また、記録制御部３８は、車載カメラ装置２０とは別に設けられた記録部に記録する制御を行ってもよい。この場合、記録制御部３８は、通信部３２を介して記録部に記録する制御を行うことができる。

以上、本発明の一例について説明したが、本発明は、上記に限定されるものでなく、上記以外にも、その主旨を逸脱しない範囲内において種々変形して実施可能であることは勿論である。

１０ 車載画像制御システム
２０ 車載カメラ装置
２４ 撮像部
３０ 記録部
３６ 色調補正部
３８ 記録制御部
４０ 車体
４０Ａ 車体表面（車体の一部）

Claims (1)

1. 自車両の車体の一部と共に該自車両の周辺を撮像する撮像部と、
   所定の光源条件下において該撮像部により予め撮像された基準画像内の前記自車両の車体の一部の色情報である基準色情報と、前記自車両の走行中又は停車中に前記撮像部により撮像された撮像画像内の前記自車両の車体の一部の色情報との比較結果に基づいて、前記撮像画像の色調を補正する色調補正部と、
   所定の記録条件が成立した際に、前記撮像部により撮像された撮像画像を記録部に記録する制御を行う記録制御部と、
   を含む車載画像制御システム。

Images