JP2013247670A - 車載カメラシステム - Google Patents

Abstract

【課題】
本発明では、運転者が周囲の安全状況を確認するために設けられる車載カメラシステムにおいて、効率的に撮影対処物全体の中から注目すべき特定の撮影対処物を抽出して、撮影画像を特定の撮影対処物際立たせるように表示画像を加工して表示することを課題とする。
【解決手段】
本発明では車載カメラシステムにおいて周囲の状況を撮影して画像信号を生成する撮像処理手段と、該撮像処理手段により得られた画像信号を元画像信号とし、異なる時間に撮影された複数の元画像信号を比較して、撮影対象物の動き情報を画像の特徴情報として抽出し、該画像の特徴情報を元に該元画像信号を加工する画像加工処理手段と、該画像加工処理手段により加工されて撮像画像の中で注目すべき撮影対象物を際出せた画像信号を、映像として表示する画像表示手段とを用いる。
【選択図】 図１

Description

本発明は、車載カメラシステムに関するものである。

近年、運転者が周囲の安全状況を確認することを補助することを目的として、カメラで撮影した自動車の周囲の画像を表示する車載カメラシステムに期待が寄せられている。例えば、特許文献１では、自動車の周囲の状況を確認するためにハンドル操作や方向指示に連動してカメラを切り替えて表示する技術について記載されている。

特開平7-215130号公報

車載カメラシステムにおいては、運転者が表示画像を見て周囲の安全状況を確認する際に瞬時に周囲の状況を察知できるようにすることが非常に重要であるが、上記特許文献１に示すように、単にカメラを切り替えるだけでは、切り替えた先の画像において特に着目すべきポイントがどこなのかを運転者に瞬時に把握させる点については考慮されていない。また、運転者が運転中に着目すべき対象物は、動いているものであることが多いところ、動いているものを特に抽出して注意喚起するてについても考慮されていない。

本発明は、上記課題を解決し、効率的に撮像画像の注目すべきポイントを抽出して、表示画像に反映させることで、より運転者への注意喚起の機能、安全性能を高めた車載カメラシステムを提供するものである。

本願において開示された発明のうち代表的なものの概要を簡単に説明すれば次の通りである。
（１）撮影対象物を撮影して表示する車載カメラシステムであって、前記撮影対象物を撮影して画像信号を生成する撮像処理手段と、前記撮像処理手段により生成された画像信号を画像処理して加工後の画像信号を生成する画像加工処理手段と、前記画像加工処理手段により生成された加工後の画像信号を映像として表示する画像表示手段と、を備え、前記画像加工処理手段は、前記撮像処理手段により異なる時間に撮影された複数の画像信号を比較して得られる撮影対象物の動き情報を用いて、特定の対象物の情報を抽出し、前記抽出した特定の対象物の情報を用いて前記特定の対象物が視覚的に際立つように画像処理して、前記加工後の画像信号を生成することを特徴とする車載カメラシステムである。

本発明によれば、より運転者への注意喚起の機能、安全性能を高めた車載カメラシステムを提供ことが可能である。

車載カメラシステムの概略構成の一例 画像加工処理手段の概略構成の一例 強調フラグ信号発生手段の概略構成の一例 強調画像生成手段の概略構成の一例 第１の実施の形態とは別の強調画像生成手段の概略構成の一例 第１の実施の形態とは別の画像加工処理手段の概略構成の一例 強調画像生成手段の第４の実施の形態における概略構成の一例 強調割合生成手段の処理フロー説明図 第１及び第２の実施の形態とは別の強調画像生成手段の概略構成の一例 画像強調手段のバリエーションの一例

初めに、図面を用いて本発明を実施するための第１の実施形態について説明をする。図１は第１の実施形態に係る車載カメラシステムの概略構成の一例をブロック図で示したものである。同図において、１０１は撮像処理手段、１０２は画像加工処理手段、１０３は画像表示手段を示している。

１０１の撮像処理手段は、光を電気的なエネルギーに変換する光電変換デバイス手段である撮像センサと、撮像センサ上に撮影対象物から到来する光を結像させる光学レンズと、撮像センサに蓄積された電気的なエネルギーを読み出していられる撮像信号を画像信号に変換するカメラ信号処理手段とを適宜用いて構成され、撮影対象物を示す画像信号を生成して出力する。

１０２の画像加工処理手段は、撮像処理手段１０１から得られる画像信号を元画像信号とし、現在の元画像信号と過去に撮影された元画像信号を比較することで、現在の元画像信号が示す画像の特徴情報を抽出する。さらに、この特徴情報を用いて現在の元画像信号が示す画像における撮像対象物から注目すべき部分を特定し、後述する手法によりこの注目すべき部分を視覚的に際立たせるように現在の元画像信号を画像処理して新たな画像信号を生成する。なお、注目すべき部分を視覚的に際立たせるとは、後述するように、抽出した対象物の輪郭部分の輝度を上げたり、色をつけたりすることであるが、これに限られず、例えば、抽出した対象物のみ少し拡大して表示したり、これらを適宜組み合わせる等、運転者が瞬時に注目すべき部分に目がいくような加工がなされれば、他の手法であっても構わない。

１０３の画像表示手段は、液晶ディスプレイなどに代表される表示デバイスであり、画像加工手段１０２により画像処理された新たな画像信号を映像として表示する。

本実施形態によれば、現在の画像情報と過去の画像情報を比較して、得られた現在の画像における特徴量に基づいて、現在の画像における注目すべき部分を際立たせるように現在の画像情報を加工して表示手段に映像として表示するため、撮像素子で撮影されてから表示されるまでの時間的な遅延が少なく、リアルタイム性に優れた、注目箇所を強調した画像表示を行うことが可能な車載カメラシステムが実現できる
以下、本発明における１０２の画像加工処理を実現するための実施の形態について説明する。図２は画像加工処理手段１０２の概略構成の一例をブロック図で示したものである。同図において、２０１はメモリ手段、２０２は動き検出信号生成手段、２０３はエッジ信号抽出手段、２０４は強調フラグ信号生成手段、２０５は強調画像生成手段を示している。

２０１のメモリ手段は、少なくとも（１＋α）フレーム分の画像データを格納する容量を有するメモリ手段であり、入力される元画像データを一時的に格納する。

２０２の動き検出信号生成手段は、画像加工処理手段に入力されてくる元画像データとメモリ手段２０１に格納された過去の元画像データを比較して、元画像における各座標の撮影対象物の動きの大きさを示す信号を生成する。

２０３のエッジ信号抽出手段は、元画像信号の輝度信号や色信号の不連続点を抽出し、元画像信号の色や輝度分布の境界を示すエッジ信号を生成する。

２０４の強調フラグ信号発生手段は、動き検出信号生成手段２０２が生成する撮影対象物の動きの大きさより抽出される撮像対象物の輪郭情報とエッジ信号抽出手段２０３で生成されるエッジ情報のどちらか一方または両方を用いて、注目箇所となる撮影対象物の輪郭を示す座標を示す強調フラグ信号を発生させる。

２０５の強調画像生成手段は、強調フラグ信号発生手段２０４が発生させる強調フラグ信号に応じて注目すべき部分を際立たせた表示用の画像信号を生成する。

図３は２０４の強調フラグ信号発生手段２０４の概略構成の一例をブロック図で示したものである。同図において、３０１は不連続点判定手段、３０２は輪郭信号生成手段、３０３はノイズ除去及びエッジ信号合成手段を示している。

３０１の不連続点判定手段は、動き検出信号生成手段２０２が生成する被写体の動きの大きさが不連続となる部分を抽出して、被写体の動きが不連続となる座標を示す信号を出力する。このとき、抽出される不連続点については、不連続点を形成する撮影対象物の動きの大きさに応じて、不連続となる座標を示す信号を出力するか否かを制御すると、相対速度に応じて選択的に撮影対象物を強調表示することができる。

３０２の輪郭信号生成手段は、直交する２次元の座標で形成される平面状で、不連続となる座標を示す信号に対してフィルタ処理を行って、欠落している部分を推測して補完することで被写体の輪郭を示す輪郭信号を生成する。

３０３のノイズ除去及びエッジ信号合成手段は、輪郭信号生成手段３０２から供給される輪郭信号から孤立点などのノイズと思われる信号を除去した信号とエッジ信号抽出手段２０３から供給されるエッジ信号の夫々をパラメータ設定による任意の寄与率で合成し、元画像の強調する座標を示す強調フラグ信号を生成する。

図４は２０４の強調画像生成手段の概略構成の一例をブロック図で示したものである。同図において、４０１は輝度信号加算器、４０２は信号セレクトスイッチを示している。

４０１の輝度信号加算器は、任意に設定される輝度加算レベル設定値を元画像信号の輝度信号に加算して４０２の信号セレクトスイッチに供給する。信号セレクトスイッチ４０２は、強調フラグ信号に基づいて、元画像信号と輝度信号加算器が出力する信号を切り替えて出力する。

本実施形態によれば、動きベクトルの不連続点を抽出することで、相対速度の異なる被写体の輪郭を示す信号を強調フラグ信号として取り出すことが可能である。さらに、その強調フラグ信号が示す座標に対して元画像の輝度信号に任意の輝度信号レベルを加算した映像信号を生成して画像表示手段に供給することで、相対速度の異なる特定の撮影対象物の輪郭の輝度信号レベルを変化させて強調した映像信号を画像表示手段に表示することが可能である。

次に、本発明における１０２の画像加工処理を実現するための第２の実施形態について説明する。図５は第１の実施形態とは別の強調画像生成手段の概略構成の一例を示したものである。同図において、５０１は色信号置換手段を示しており、色信号置換手段は置換方法設定パラメータに基づいて元画像の色信号の置換を行う処理を行う。ここで、置換方法設定としては、例えばＣｒＣｂの色差平面状でのリマッピンッグなどを行う。

第２の実施形態によれば、第１の実施形態と同様の原理で抽出した相対速度の異なる物体の輪郭の色を変化させて強調させた映像信号を生成して、画像表示手段に表示することが可能である。

次に、本発明における１０２の画像加工処理を実現するための第３の実施形態について説明する。図９は第１及び第２の実施形態とは別の強調画像生成手段の概略構成の一例を示したものである。同図において、９０１は色及び輝度信号変換手段を示しており、色及び輝度信号変換手段９０１は任意に指定される置換方法設定パラメータによって、元画像信号の色信号と輝度信号を置換する。

第３の実施形態によれば、第１の実施形態と同様の原理で抽出した相対速度の異なる物体の輪郭の輝度や色を変化させて強調させた映像信号を生成して、画像表示手段に表示することが可能である。

次に、本発明における１０２の画像加工処理を実現するための第４の実施形態について説明する。図６は、第１の実施の形態とは別の画像加工処理手段の概略構成の一例を示したものである。同図において、６０１は動きベクトル検出手段、６０２は強調割合生成手段、６０３は強調画像生成手段の第３の実施形態を示している。

また、図７は、強調画像生成手段の第４の実施形態における概略構成の一例について示したものであり、同図における７０１は色及び輝度信号変換手段、７０２はブレンド手段を示している。

６０１の動きベクトル検出手段は、元画像とフレームメモリ内に格納された過去の画像を比較して、元画像における被写体が過去の画像に対してどの程度座標がずれたかを示す動きベクトル量を算出する。

算出された動きベクトル量は、６０２の強調割合生成手段において、図８の処理フロー示すように、２次元方向のフィルタリング処理、リミット処理、ゲイン調整を行うことで、掛けることで、２次元方向にフィルタリング処理を施して被写体の動き量の分布を表す信号を生成したのちにリミット処理を行ったものに任意のゲインを掛けた強調割合を示すパラメータに変化される。

強調割合を示すパラメータは、７０２のブレンド手段に供給され、ブレンド手段７０２では、強調割合を示すパラメータに応じて、元画像信号と７０１の色及び輝度信号変換手段で加工された元画像信号をブレンドする。

第４の実施形態によれば、元画像の中で動きのある部分の動きの量に応じて元画像の色と輝度信号を変化させることが出来るので、例えば動きの早い部分ほど目立つように、色と輝度信号を変化させるようにパラメータを設定すれば、画像表示手段に動きの早い部分を際出せた画像を表示することが出来る。

さらに、第４の実施形態の機能ブロック構成を用いた第５の実施形態として、７０１の色及び輝度信号変換手段における置換方法設定パラメータを任意の時間単位で変更する（例えば、出画フレーム毎に置換ありとなしを切り替える）ことによって、動き早い部分がフリッカ表示されるような画像を画像表示手段に表示することも出来る。

次に、第４の実施形態における機能ブロック構成における、画像強調手段として、図１０に示すような機能を用いた第６の実施形態の説明をする。図１０は本発明における画像強調手段のバリエーションの一例を示している。同図において、１００１は色及び輝度コントラスト縮小手段を示しており、色及び輝度コントラスト縮小手段１００１は、任意に設定される縮小方法設定パラメータに応じて、元画像の色または、輝度、もしくは色と輝度の両方のコントラストを下げる働きをする。

本実施形態によれば、元画像において動きのある座標については、未加工元画像の寄与率を大きく、動きの無い場所については元画像に対してコントラストを下げた画像の寄与率を大きくするようにブレンド手段で画像を合成することで、相対的に動きのある部分が強調された映像を画像表示手段に表示する（例えば、色及び輝度コントラスト縮小手段で色のコントラストを無くす様にした場合では、動きの無いもしくは少ない部分をモノクロで表し、動きの有るもしくは大きな部分をカラーで表示するなど）ことが出来る。

以上、本発明者によってなされた発明を実施形態に基づき具体的に説明したが、本発明は上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。また、各実施形態で開示された構成は適宜組み合わせても構わない。

１０１ 撮像処理手段
１０２ 画像加工処理手段
１０３ 画像表示手段
２０１ メモリ手段
２０２ 動き検出信号生成手段
２０３ エッジ信号抽出手段
２０４ 強調フラグ信号生成手段
２０５ 強調画像生成手段
３０１ 不連続点判定手段
３０２ 輪郭信号生成手段
３０３ ノイズ除去及びエッジ信号合成手段
４０１ 輝度信号加算器手段
４０２ 信号セレクトスイッチ
５０１ 色信号置換手段
６０１ 動きベクトル検出手段
６０２ 強調割合生成手段
７０１ 色及び輝度信号変換手段
７０２ ブレンド手段
９０１ 色及び輝度信号変換手段
１００１ 色及び輝度コントラスト縮小手段

Claims (7)

1. 撮影対象物を撮影して表示する車載カメラシステムであって、
   前記撮影対象物を撮影して画像信号を生成する撮像処理手段と、
   前記撮像処理手段により生成された画像信号を画像処理して加工後の画像信号を生成する画像加工処理手段と、
   前記画像加工処理手段により生成された加工後の画像信号を映像として表示する画像表示手段と、
   を備え、
   前記画像加工処理手段は、前記撮像処理手段により異なる時間に撮影された複数の画像信号を比較して得られる撮影対象物の動き情報を用いて、特定の対象物の情報を抽出し、前記抽出した特定の対象物の情報を用いて前記特定の対象物が視覚的に際立つように画像処理して、前記加工後の画像信号を生成することを特徴とする車載カメラシステム。
2. 請求項１記載の車載カメラシステムであって、
   前記抽出される特定の対象物の情報は、前記特定の対象物の輪郭情報であり、
   前記特定の対象物を視覚的に際立たせるための画像処理により、前記特定の対象部の輪郭部分の輝度が前記加工される前の画像と比較して異なっていることを特徴とする車載カメラシステム。
3. 請求項１記載の車載カメラシステムであって、
   前記抽出される特定の対象物の情報は、前記特定の対象物の輪郭情報であり、
   前記特定の対象物を視覚的に際立たせるための画像処理により、前記特定の対象物の輪郭部分の色が前記加工される前の画像と比較して異なっていることを特徴とする車載カメラシステム。
4. 請求項１に記載の車載カメラシステムであって、
   前記抽出される特定の対象物の情報は、前記特定の対象物の輪郭情報であり、
   前記特定の対象物を視覚的に際立たせるための画像処理により、前記特定の対象物の輪郭部分の輝度と色が前記加工される前の画像と比較して異なっていることを特徴とする車載カメラシステム。
5. 請求項１乃至４のいずれかに記載の車載カメラシステムであって、
   前記抽出される特定の対象物の情報の一つは、前記特定の対象物の動きの大きさであり、
   前記特定の対象物を視覚的に際立たせるための画像処理により、前記特定の対象物の動きの大きさに応じて前記特定の対象物の色又は輝度の少なくとも一つを変化させたことを特徴とする車載カメラシステム。
6. 請求項１乃至４のいずれかに記載の車載カメラシステムであって、
   前記抽出される特定の対象物の情報の一つは、前記特定の撮影対象物の動きの大きさであり、
   前記特定の対象物を視覚的に際立たせるための画像処理により、前記特定の対象物の動きの大きさに応じて前記特定される対象物以外の部分の色又は輝度の少なくとも一つを変化させたことを特徴とする車載カメラシステム。
7. 請求項５又は６記載の車載カメラシステムであって、
   前記特定の対象物を視覚的に際立たせるための画像処理により、
   前記撮像処理手段からある一定の時間毎に連続的に得られる画像信号に対して、ある任意の時間毎に加工した画像と未加工の画像とを切り替えて表示することを特徴とする車載カメラシステム。

Images