JP2007266703A5 - - Google Patents
Download PDFInfo
- Publication number
- JP2007266703A5 JP2007266703A5 JP2006085625A JP2006085625A JP2007266703A5 JP 2007266703 A5 JP2007266703 A5 JP 2007266703A5 JP 2006085625 A JP2006085625 A JP 2006085625A JP 2006085625 A JP2006085625 A JP 2006085625A JP 2007266703 A5 JP2007266703 A5 JP 2007266703A5
- Authority
- JP
- Japan
- Prior art keywords
- thinning
- area
- video
- pixel
- display control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000875 corresponding Effects 0.000 claims description 19
- 238000003384 imaging method Methods 0.000 claims description 9
- 238000000034 method Methods 0.000 description 22
- 230000005540 biological transmission Effects 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 240000004050 Pentaglottis sempervirens Species 0.000 description 4
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 4
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000002441 reversible Effects 0.000 description 1
Description
本発明は、車両に設けられた撮影装置によって撮影された映像を表示装置に表示させる表示制御装置に関する。
従来の表示制御装置としては、車両周辺視認用のカメラで撮影された映像の領域を複数に分割し、その分割された分割領域毎の重要度に応じてフォーマット変換の方式を変更することにより、映像中の重要な領域を高解像度に、それ以外の領域を低解像度にすることで、当該装置から表示装置までの伝送容量と解像度とのバランスを取るものがある(例えば、特許文献1参照)。
特開2005−20538号公報
しかしながら、従来の表示制御装置においては、映像中の重要な領域が固定されているため、車両の走行状態に応じて映像中の重要な領域が移動した場合には、映像中の重要な領域を他の領域より高解像度にすることができなくなるといった問題があった。
本発明は、従来の問題を解決するためになされたもので、映像中の重要な領域が移動した場合であっても、映像中の重要な領域を他の領域より高解像度にすることができる表示制御装置を提供することを目的とする。
本発明の表示制御装置は、車両に設けられた撮影装置によって撮影された映像を表示装置に表示させる表示制御装置において、前記撮影装置によって撮影された映像の領域を複数のブロックに分割する領域分割手段と、前記車両に設けられた操舵角センサによって検出された前記車両の操舵車輪の操舵角に基づいて、前記撮影装置によって撮影された映像中の重要な領域を判定する重要領域判定手段と、撮影された領域で前記車両の進行方向にあたる前記重要な領域のブロックの間引き率を他のブロックの間引き率より小さく決定する間引き率決定手段と、前記間引き率決定手段によって決定された各間引き率で、前記各ブロックに該当する映像データを間引きするデータ間引き手段とを備えた構成を有している。
この構成により、本発明の表示制御装置は、操舵車輪の操舵角に基づいてブロック毎の間引き率を決定するため、映像中の重要な領域が移動した場合であっても、映像中の重要な領域を他の領域より高解像度にすることができる。さらに、本発明の表示制御装置は、車両の進行方向が変わった場合であっても、車両の進行方向が撮影された映像中の重要な領域を他の領域より高解像度にすることができる。
ここで、前記領域分割手段は、前記データ間引き手段によって間引きされた映像データが表す映像の画素数が各ブロックで等しくなるよう前記撮影装置によって撮影された映像の領域を分割してもよく、前記撮影装置によって撮影された映像の領域を各ブロックに均等に分割するようにしてもよい。
また、データ間引き手段は、間引き後の各画素に対応する間引き前の各画素が占める領域のうち前記間引き後の画素が占める領域の比率で、前記間引き前の各画素の輝度成分を補間したものを前記間引き後の画素の輝度成分としてもよい。
この構成により、本発明の表示制御装置は、間引き後の映像データが表す映像の各画素の輝度成分を適切に補間することができる。
また、前記データ間引き手段は、間引き後の各画素に対応する間引き前の各画素が占める領域のうち前記間引き後の画素が占める領域の比率で、前記間引き前の各画素の色度成分を補間したものを前記間引き後の画素の色度成分としてもよい。
この構成により、本発明の表示制御装置は、間引き後の映像データが表す映像の各画素の色度成分を適切に補間することができる。
また、本発明の映像表示システムは、車両に設けられた撮影手段と、前記撮影装置によって撮影された映像の領域を複数のブロックに分割する領域分割手段と、前記車両に設けられた操舵角センサによって検出された前記車両の操舵車輪の操舵角に基づいて、前記ブロック毎の間引き率を決定する間引き率決定手段と、前記間引き率決定手段によって決定された各間引き率で、前記各ブロックに該当する映像データを間引きするデータ間引き手段と、前記データ間引き手段によって間引きされた各ブロックの映像データが表す映像を表示する表示手段とを備えた構成を有している。
この構成により、本発明の映像表示システムは、操舵車輪の操舵角に基づいてブロック毎の間引き率を決定するため、映像中の重要な領域が移動した場合であっても、映像中の重要な領域を他の領域より高解像度にすることができる。
本発明は、映像中の重要な領域が移動した場合であっても、映像中の重要な領域を他の領域より高解像度にすることができるという効果を有する表示制御装置を提供することができる。
以下、本発明の実施の形態について、図面を参照して説明する。なお、本実施の形態では、本発明における表示制御装置をECU(Electronic Control Unit)によって構成し、車両に搭載された映像表示システムに適用した例について説明する。
本発明の一実施の形態の映像表示システムを図1に示す。
図1に示すように、映像表示システム1は、車両の後方に取り付けられたカメラ2と、映像信号生成機器3と、表示装置4と、カメラ2によって撮影された映像または映像信号生成機器3から出力された映像信号が表す映像を表示装置に表示させるECU5とを備えている。
カメラ2は、図2に示すように、車両の後方を撮影するように車両に取り付けられ、撮影した映像を表す映像信号を生成するようになっている。
図1において、映像信号生成機器3は、ナビゲーション装置やTVチューナ等によって構成され、ナビゲーション映像やTV映像等を表す映像信号を生成するようになっている。表示装置4は、映像信号が表す映像をブラウン管または液晶等の画面に表示するようになっている。
ECU5は、カメラ2によって撮影された映像を表す映像信号に画像処理を施すようプログラミングされたDSP(Digital Signal Processor)10と、DSP10が画像処理を行うために参照するパラメータ等を格納するフラッシュメモリ11と、DSP10が画像処理を行うときに映像信号から得られる映像データを格納するビデオメモリ12と、DSP10によって画像処理を施された映像信号および映像信号生成機器3から出力された映像信号のうち何れか一方の映像信号を選択するスイッチ13と、スイッチ13に選択された映像信号を増幅するビデオアンプ14と、CAN(Controller Area Network)ネットワーク15を介した通信を行うための通信モジュール16と、CPU(Central Processing Unit)17とを有している。
CANネットワーク15には、トランスミッションの状態を管理する図示しないECUや車両の操舵車輪の操舵角を検出する操舵角センサ20等が接続されている。
CPU17は、図示しないROMに記憶されたプログラムを図示しないRAMに読み込んで、RAMに読み込んだプログラムを実行することによって、例えば、DSP10やスイッチ13等のECU5の各部を制御するようになっている。
例えば、CPU17は、通信モジュール16を介して車両のトランスミッションの状態を表すトランスミッション情報を取得し、トランスミッションがバックギアを選択していることをトランスミッション情報が表している場合には、DSP10によって画像処理が施された映像信号をスイッチ13に選択させるようになっている。
また、CPU17は、トランスミッションがバックギア以外のギアを選択していることをトランスミッション情報が表している場合には、映像信号生成機器3から出力された映像信号をスイッチ13に選択させるようになっている。
DSP10は、カメラ2によって撮影された映像の領域を複数のブロックに分割し、操舵角センサ20によって検出された操舵角に基づいてブロック毎に間引き率を決定し、決定した間引き率で各ブロックに該当する映像信号から得られる映像データを間引きする間引き処理を行うようになっている。
以下、DSP10が、水平方向に768画素ある映像の領域を水平方向に16のブロックに分割して、512画素に間引きする例について説明する。
なお、DSP10は、カメラ2によって撮影された映像の領域を垂直方向に複数のブロックに分割するようにしてもよく、カメラ2によって撮影された映像の領域を水平および垂直方向に複数のブロックに分割するようにしてもよい。
フラッシュメモリ11には、予め定められた各操舵角に対応して、各ブロックの画素数および間引き率を表す間引き率マップが予め格納されている。
例えば、図3に示すように、操舵角が直進方向にある場合には、カメラ2によって撮影された映像50の中央付近51が重要な領域となるため、直進方向の操舵角に対する間引き率マップは、中央付近51のブロックから端のブロックに行くにしたがって、間引き率が大きく設定されている。
一方、図4に示すように、操舵角が右折方向にある場合には、カメラ2によって撮影された映像52中で後進時に最初に障害物が映し出される右付近53が重要な領域となるため、右折方向の操舵角に対する間引き率マップは、右付近53のブロックから端のブロックに行くにしたがって、間引き率が大きく設定されている。
なお、本実施の形態において、各間引き率マップは、図3および図4に示したように、DSP10によって間引きされた映像データが表す映像の画素数が各ブロックで等しくなるように設定されているものとするが、図5に示すように、カメラ2によって撮影された映像の領域を各ブロックに均等に分割するように設定されていてもよい。
DSP10は、フラッシュメモリ11に格納された間引き率マップから、通信モジュール16を介して操舵角センサ20によって検出された操舵角に応じた間引き率マップを選択し、選択した間引き率マップに基づいて各ブロックの画素数および間引き率を決定するようになっている。
各ブロックを間引きするにあたって、DSP10は、間引き後の各画素に対応する間引き前の各画素が占める領域のうち間引き後の画素が占める領域の比率で、間引き前の各画素の各成分をそれぞれ補間したものを間引き後の画素の各成分とするようになっている。
例えば、映像データがYUV方式で表されている場合には、DSP10は、間引き前の各画素の輝度成分および色度成分をそれぞれ補間したものを間引き後の画素の輝度成分および色度成分とする。
図6に示した例では、DSP10は、間引き後の画素60に対応する間引き前の各画素A、Bが占める領域のうち間引き後の画素60が占める領域の比率3:1で、間引き前の各画素A、Bの輝度成分および色度成分をそれぞれ補間したものを間引き後の画素60の輝度成分および色度成分とする。
同様に、DSP10は、間引き後の画素61に対応する間引き前の各画素B、Cが占める領域のうち間引き後の画素61が占める領域の比率1:1で、間引き前の各画素B、Cの輝度成分および色度成分をそれぞれ補間したものを間引き後の画素61の輝度成分および色度成分とし、間引き後の画素62に対応する間引き前の各画素C、Dが占める領域のうち間引き後の画素62が占める領域の比率1:3で、間引き前の各画素C、Dの輝度成分および色度成分をそれぞれ補間したものを間引き後の画素62の輝度成分および色度成分とする。
このように、DSP10およびフラッシュメモリ11は、本発明における領域分割手段および間引き率決定手段を構成し、DSP10は、データ間引き手段を構成する。
図1において、DSP10は、間引き処理を施した映像データをビデオメモリ12に格納し、格納した映像データをカメラ2の位置よりも上方から撮影した映像を表すように変換すると共に、バンパーが撮影された部分のように車両に近い位置で湾曲して撮影された部分を補正する俯瞰処理を行うようになっている。
具体的には、DSP10は、フラッシュメモリ11に格納された視点変換マップから、通信モジュール16を介して操舵角センサ20によって検出された操舵角に応じた視点変換マップを選択し、選択した視点変換マップに基づいて各画素の位置を変更するようになっている。
なお、視点変換マップは、間引き率マップと同様に、予め定められた各操舵角に対応してフラッシュメモリ11に予め格納されている。また、DSP10によって映像データが間引きされるため、各視点変換マップは、各間引き率マップに応じて設定されている。
また、DSP10は、俯瞰処理を施した映像データに、後進駐車支援などに用いるガイドライン等の情報を重畳するガイドライン重畳処理を行うようになっている。
なお、ガイドライン重畳処理を施す映像データが表す映像は、間引き処理によって各ブロック間で水平方向のスケールが均一になっていないため、DSP10は、自車の位置を表す情報を重畳する場合には、操舵角センサ20によって検出された操舵角に応じて自車の位置を表す情報を水平方向に調整するようになっている。
このように、DSP10は、間引き処理を施した映像データに対して俯瞰処理およびガイドライン重畳処理を施すため、俯瞰処理およびガイドライン重畳処理を施す映像データの情報量が削減され、俯瞰処理およびガイドライン重畳処理の処理負荷が軽減される。
以上のように構成された映像表示システム1について図7を用いてその動作を説明する。
まず、カメラ2によって車両の後方が撮影されると共に(S1)、操舵角センサ20によって検出された操舵角がDSP10によって通信モジュール16を介して取得される(S2)。
次に、フラッシュメモリ11に格納された間引き率マップから操舵角に応じた間引き率マップがDSP10によって選択され(S3)、選択された間引き率マップに基づいて、カメラ2によって撮影された映像の領域がDSP10によって複数のブロックに分割されると共に(S4)、各ブロックの間引き率がDSP10によって決定される(S5)。
次に、決定された間引き率で各ブロックに該当する映像信号から得られる映像データを間引きする間引き処理がDSP10によって行われ(S6)、間引き処理を施された映像データがビデオメモリ12に格納される。
次に、フラッシュメモリ11に格納された視点変換マップから操舵角に応じた視点変換マップがDSP10によって選択され(S7)、選択された視点変換マップに基づいて各画素の位置を変更する俯瞰処理がDSP10によって行われ(S8)、次いで、ガイドライン重畳処理がDSP10によって行われる(S9)。なお、ガイドライン重畳処理を施した映像信号は、車両の後方が撮影された映像を表すため、DSP10は、ガイドライン重畳処理を施した映像信号が表す映像が左右反転するよう、映像信号に左右反転処理を施すことが望ましい。
次に、通信モジュール16を介してCPU17に入力されたトランスミッション情報がバックギアを選択していることを表している場合には(S10)、スイッチ13がDSP10側を選択するようCPU17によって制御され、DSP10によってガイドライン重畳処理を施された映像信号が表す映像が表示装置4に表示される(S11)。
一方、トランスミッション情報がバックギア以外のギアを選択していることを表している場合には(S10)、スイッチ13が映像信号生成機器3側を選択するようCPU17によって制御され、映像信号生成機器3から出力された映像信号が表す映像が表示装置4に表示される(S12)。
このような本発明の一実施の形態の映像表示システム1は、車両の操舵車輪の操舵角に基づいてブロック毎の間引き率を決定するため、映像中の重要な領域が移動した場合であっても、映像中の重要な領域を他の領域より高解像度にすることができる。
なお、本実施の形態においては、映像表示システム1が、1つのカメラ2によって撮影された映像を表示装置4に表示させる例について説明したが、映像表示システム1は、車両の後方や側方に取り付けられた複数のカメラによって撮影された映像を表示装置4に表示させるようにしてもよい。
この場合には、DSP10は、各カメラによって撮影された映像の領域と、各ブロックとを対応付けて間引き処置等を行うように構成する。
以上のように、本発明にかかる表示制御装置は、映像中の重要な領域が移動した場合であっても、映像中の重要な領域を他の領域より高解像度にすることができるという効果を有し、例えば、車両に設けられた撮影装置によって撮影された映像を表示装置に表示させる表示制御装置等として有用である。
1 映像表示システム
2 カメラ
3 映像信号生成機器
4 表示装置
5 ECU
10 DSP
11 フラッシュメモリ
12 ビデオメモリ
13 スイッチ
14 ビデオアンプ
15 CANネットワーク
16 通信モジュール
17 CPU
20 操舵角センサ
2 カメラ
3 映像信号生成機器
4 表示装置
5 ECU
10 DSP
11 フラッシュメモリ
12 ビデオメモリ
13 スイッチ
14 ビデオアンプ
15 CANネットワーク
16 通信モジュール
17 CPU
20 操舵角センサ
Claims (6)
- 車両に設けられた撮影装置によって撮影された映像を表示装置に表示させる表示制御装置において、
前記撮影装置によって撮影された映像の領域を複数のブロックに分割する領域分割手段と、
前記車両に設けられた操舵角センサによって検出された前記車両の操舵車輪の操舵角に基づいて、前記撮影装置によって撮影された映像中の重要な領域を判定する重要領域判定手段と、
撮影された領域で前記車両の進行方向にあたる前記重要な領域のブロックの間引き率を他のブロックの間引き率より小さく決定する間引き率決定手段と、
前記間引き率決定手段によって決定された各間引き率で、前記各ブロックに該当する映像データを間引きするデータ間引き手段とを備えたことを特徴とする表示制御装置。 - 前記重要領域判定手段は、映像中で進行時に最初に障害物が映し出される領域を重要な領域とすることを特徴とする請求項1に記載の表示制御装置。
- 前記領域分割手段は、前記データ間引き手段によって間引きされた映像データが表す映像の画素数が各ブロックで等しくなるよう前記撮影装置によって撮影された映像の領域を分割することを特徴とする請求項1または請求項2に記載の表示制御装置。
- 前記領域分割手段は、前記撮影装置によって撮影された映像の領域を各ブロックに均等に分割することを特徴とする請求項1または請求項2に記載の表示制御装置。
- 前記データ間引き手段は、間引き後の各画素に対応する間引き前の各画素が占める領域のうち前記間引き後の画素が占める領域の比率で、前記間引き前の各画素の輝度成分を補間したものを前記間引き後の画素の輝度成分とすることを特徴とする請求項1乃至請求項4の何れかに記載の表示制御装置。
- 前記データ間引き手段は、間引き後の各画素に対応する間引き前の各画素が占める領域のうち前記間引き後の画素が占める領域の比率で、前記間引き前の各画素の色度成分を補間したものを前記間引き後の画素の色度成分とすることを特徴とする請求項1乃至請求項5の何れかに記載の表示制御装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006085625A JP4791222B2 (ja) | 2006-03-27 | 2006-03-27 | 表示制御装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006085625A JP4791222B2 (ja) | 2006-03-27 | 2006-03-27 | 表示制御装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2007266703A JP2007266703A (ja) | 2007-10-11 |
JP2007266703A5 true JP2007266703A5 (ja) | 2009-04-30 |
JP4791222B2 JP4791222B2 (ja) | 2011-10-12 |
Family
ID=38639305
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006085625A Expired - Fee Related JP4791222B2 (ja) | 2006-03-27 | 2006-03-27 | 表示制御装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4791222B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101207134B1 (ko) | 2007-10-25 | 2012-11-30 | 주식회사 만도 | 고해상도 절대 조향각 측정 방법 및 그를 이용한 전자 제어장치 |
JP2009118072A (ja) * | 2007-11-05 | 2009-05-28 | Ihi Corp | 遠隔操作装置及び遠隔操作方法 |
KR100891237B1 (ko) | 2007-12-17 | 2009-04-01 | 대성전기공업 주식회사 | 조향장치용 각도 및 각속도 감지장치 |
TWI460668B (zh) | 2012-07-30 | 2014-11-11 | Faraday Tech Corp | 影像擷取系統與方法 |
JP6735506B2 (ja) * | 2016-09-29 | 2020-08-05 | パナソニックIpマネジメント株式会社 | 画像生成装置、および、画像処理システム |
JP7077807B2 (ja) * | 2018-06-12 | 2022-05-31 | オムロン株式会社 | 画像検査システム及びその制御方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4629839B2 (ja) * | 2000-09-07 | 2011-02-09 | クラリオン株式会社 | 画像変換装置 |
JP3941926B2 (ja) * | 2002-03-12 | 2007-07-11 | 松下電器産業株式会社 | 車両周辺監視装置 |
JP2005020538A (ja) * | 2003-06-27 | 2005-01-20 | Auto Network Gijutsu Kenkyusho:Kk | カメラ映像送受信システム |
-
2006
- 2006-03-27 JP JP2006085625A patent/JP4791222B2/ja not_active Expired - Fee Related
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10462372B2 (en) | Imaging device, imaging system, and imaging method | |
JP4596978B2 (ja) | 運転支援システム | |
KR101389884B1 (ko) | 차량 이미지를 처리하기 위한 동적 이미지 처리 방법 및 시스템 | |
JP4765649B2 (ja) | 車両用映像処理装置、車両周囲監視システム並びに映像処理方法 | |
JP4976685B2 (ja) | 画像処理装置 | |
JP2009017020A (ja) | 画像処理装置及び表示画像生成方法 | |
JP5404932B2 (ja) | 交通状況のビデオデータと間隔データを組み合わせて視覚的に表示するための方法および装置 | |
JP4791222B2 (ja) | 表示制御装置 | |
JP6255928B2 (ja) | 俯瞰画像生成装置 | |
JP2007266703A5 (ja) | ||
JP4569285B2 (ja) | 画像処理装置 | |
JP4727304B2 (ja) | 曲線描画装置、曲線描画方法、駐車支援装置及び車両 | |
JP2008034964A (ja) | 画像表示装置 | |
US20220408062A1 (en) | Display control apparatus, display control method, and program | |
JP2008153882A (ja) | 撮像表示システム | |
JP5047915B2 (ja) | 車載用画像処理装置及びその画像処理方法 | |
JP7141817B2 (ja) | 画像処理装置 | |
JP7459607B2 (ja) | 表示制御装置、表示制御方法およびプログラム | |
JP2007028443A (ja) | 画像表示システム | |
JP7459608B2 (ja) | 表示制御装置、表示制御方法およびプログラム | |
JP5031306B2 (ja) | 表示制御装置 | |
JP5606774B2 (ja) | 映像表示装置及び映像表示方法 | |
JP2008219504A (ja) | 撮像表示システム | |
JP6532283B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2005124010A (ja) | 撮像装置 |