JP2009153156A - 画像処理装置並びに視界支援装置及び方法 - Google Patents
画像処理装置並びに視界支援装置及び方法 Download PDFInfo
- Publication number
- JP2009153156A JP2009153156A JP2009011158A JP2009011158A JP2009153156A JP 2009153156 A JP2009153156 A JP 2009153156A JP 2009011158 A JP2009011158 A JP 2009011158A JP 2009011158 A JP2009011158 A JP 2009011158A JP 2009153156 A JP2009153156 A JP 2009153156A
- Authority
- JP
- Japan
- Prior art keywords
- image
- bird
- eye view
- camera
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
【解決手段】車両の前部及び左側に設置された前カメラ及び横カメラからの撮像画像の夫々を鳥瞰図画像に変換し、各鳥瞰図画像を合成した合成鳥瞰図画像を表示する。両鳥瞰図画像が重なり合う共通領域に関し、前カメラの画像112と横カメラの画像111の差分画像113を生成して、両鳥瞰図画像において立体物が描画されている差分領域123を検出する。両鳥瞰図画像を合成する際、差分領域123に関しては、一方の鳥瞰図画像内の画像のみを用いるようにする。
【選択図】図10
Description
<<第1実施形態>>
本発明の第1実施形態について説明する。
[鳥瞰図画像の生成方法]
まず、1台のカメラによって撮像された撮像画像から鳥瞰図画像を生成する方法について説明する。尚、以下の説明において、地面は水平面上にあるものとし、「高さ」は、地面を基準とした高さを表すものとする。
及びzwは、夫々、世界座標系系Xw Yw Zwにおける、Xw軸成分、Yw軸成分及びZw軸成分である。
本実施形態において、車両100へのカメラの設置状況を表す平面図は上述の図17と同じであるので、重複する図示を割愛する。図3及び図4は、車両100を左斜め前方から見た図である。
図8に、本実施形態に係る視界支援装置(車両周辺視界支援装置)の全体構成図を示す。本実施形態に係る視界支援装置は、上述の如く車両100に取り付けられるカメラ1F、1B、1L及び1Rと、それらの各カメラにて得られる撮像画像から全周鳥瞰図画像を生成する画像処理部2と、画像処理部2によって生成された全周鳥瞰図画像を表示する表示部3と、を備える。全周鳥瞰図画像は、基本的には、図19に示すものと同様である。但し、本実施形態では、上述の共通領域における合成手法に特徴がある。
サを用いたカメラが用いられる。画像処理部2は、例えば集積回路から形成される。表示部3は、液晶ディスプレイパネル等から形成される。カーナビゲーションシステムなどに含まれる表示装置を、視界支援装置における表示部3として流用しても良い。
が可能となる。
<<第2実施形態>>
図9のステップS4にて実施される優先カメラの選択手法の他の例を、第2実施形態として説明する。第2実施形態は、優先カメラの選択手法が第1実施形態のそれと異なるだけで、他の点については第1実施形態と同じである。
[第1選択手法]
第1選択手法について説明する。第1選択手法では、立体物14と各カメラとの距離が参照される。画像上における差分領域123の位置が分かれば、実空間における、立体物14と前カメラ1Fとの距離及び立体物14と左横カメラ1Lとの距離を特定できる。両距離を比較し、距離が短い方のカメラを優先カメラとして選択する。他の条件が同じであれば、距離が短い方のカメラの方が立体物14をより的確に捉えることができる、と考えられるからである。
[第2選択手法]
第2選択手法について説明する。第2選択手法では、車両100の進行方向が参照される。進行方向に関する情報は、該情報を検出するための部位(該部位は、例えば車両100に備えられる)から画像処理部2に与えられる。
[第3選択手法]
第3選択手法について説明する。第3選択手法では、共通領域CFL内における差分領域123の位置に基づいて、優先カメラが選択される。
「WF1×(15+12)+WF2×(18+5)+WF3×(2+0)」にて表され、
上述の如く“WF1=1、WF2=2、WF3=3”とした場合、「1×(15+12)+2×(18+5)+3×(2+0)=79」となる。
「WL1×(15+12)+WL2×(18+5)+WL3×(2+0)」にて表され、
上述の如く“WL1=2、WL2=3、WL3=2”とした場合、「2×(15+12)+3×(18+5)+2×(2+0)=127」となる。
[変形例1]
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。
[変形例2]
また、図8の画像処理部2は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。画像処理部2にて実現される機能の全部または一部を、プログラムとして記述し、該プログラムをコンピュータ上で実行することによって、その機能の全部または一部を実現するようにしてもよい。
[変形例3]
画像処理部2は、各カメラの撮像画像の夫々を、視点変換によって鳥瞰図画像に変換する視点変換手段と、その変換によって得られた各鳥瞰図画像を合成することにより合成鳥瞰図画像を生成する画像合成手段と、を備えている。合成鳥瞰図画像として、上述の実施形態では全周鳥瞰図画像を例示している。
[変形例4]
上述の実施形態では、車両100としてトラックを例示しているが、本発明は、車両の種類を問わず、普通乗用車などに対しても適用可能である。
2 画像処理部
3 表示部
10F、10B、10L、10R 鳥瞰図画像
12F、12B、12L、12R 視野
13 共通視野
14 立体物
CFL 共通領域
100 車両
113 差分画像
123 差分領域
Claims (1)
- n台の撮像装置(nは2以上の整数)によって撮像された画像の夫々を仮想視点から見た鳥瞰図画像に変換する視点変換手段と、
得られた各鳥瞰図画像を合成して合成鳥瞰図画像を生成する画像合成手段と、を備え、
前記合成鳥瞰図画像を表示装置に表示させるための映像信号を生成する画像処理装置において、
前記画像合成手段は、複数の撮像装置によって共通して撮像されている共通視野内に高さのある立体物が存在している場合、
前記複数の撮像装置から得られる各鳥瞰図画像の共通領域において前記立体物が描画されている領域を合成した立体物反映領域を検出し、
前記複数の画像が重なり合う共通領域を検出し、
前記合成鳥瞰図画像内の前記立体物反映領域の画像を、前記共通領域と前記立体物反映領域の位置に基づいて選択された撮像装置によって撮像された鳥瞰図画像内の前記立体物反映領域の画像とすることを特徴とする画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009011158A JP5091882B2 (ja) | 2009-01-21 | 2009-01-21 | 画像処理装置並びに視界支援装置及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009011158A JP5091882B2 (ja) | 2009-01-21 | 2009-01-21 | 画像処理装置並びに視界支援装置及び方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006224002A Division JP4315968B2 (ja) | 2006-08-21 | 2006-08-21 | 画像処理装置並びに視界支援装置及び方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2009153156A true JP2009153156A (ja) | 2009-07-09 |
JP2009153156A5 JP2009153156A5 (ja) | 2009-10-08 |
JP5091882B2 JP5091882B2 (ja) | 2012-12-05 |
Family
ID=40921653
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009011158A Expired - Fee Related JP5091882B2 (ja) | 2009-01-21 | 2009-01-21 | 画像処理装置並びに視界支援装置及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5091882B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10417743B2 (en) | 2015-11-06 | 2019-09-17 | Mitsubishi Electric Corporation | Image processing device, image processing method and computer readable medium |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002114098A (ja) * | 2000-06-30 | 2002-04-16 | Matsushita Electric Ind Co Ltd | 描画装置 |
JP2002125224A (ja) * | 2000-07-19 | 2002-04-26 | Matsushita Electric Ind Co Ltd | 監視システム |
JP2003158736A (ja) * | 2000-07-19 | 2003-05-30 | Matsushita Electric Ind Co Ltd | 監視システム |
JP2007027948A (ja) * | 2005-07-13 | 2007-02-01 | Nissan Motor Co Ltd | 車両周辺監視装置及び車両周辺監視方法 |
-
2009
- 2009-01-21 JP JP2009011158A patent/JP5091882B2/ja not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002114098A (ja) * | 2000-06-30 | 2002-04-16 | Matsushita Electric Ind Co Ltd | 描画装置 |
JP2002125224A (ja) * | 2000-07-19 | 2002-04-26 | Matsushita Electric Ind Co Ltd | 監視システム |
JP2003158736A (ja) * | 2000-07-19 | 2003-05-30 | Matsushita Electric Ind Co Ltd | 監視システム |
JP2007027948A (ja) * | 2005-07-13 | 2007-02-01 | Nissan Motor Co Ltd | 車両周辺監視装置及び車両周辺監視方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10417743B2 (en) | 2015-11-06 | 2019-09-17 | Mitsubishi Electric Corporation | Image processing device, image processing method and computer readable medium |
Also Published As
Publication number | Publication date |
---|---|
JP5091882B2 (ja) | 2012-12-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4315968B2 (ja) | 画像処理装置並びに視界支援装置及び方法 | |
JP4248570B2 (ja) | 画像処理装置並びに視界支援装置及び方法 | |
JP5422902B2 (ja) | 画像処理装置、画像処理プログラム、画像処理システム及び画像処理方法 | |
JP5953824B2 (ja) | 車両用後方視界支援装置及び車両用後方視界支援方法 | |
JP4934308B2 (ja) | 運転支援システム | |
US7728879B2 (en) | Image processor and visual field support device | |
JP4596978B2 (ja) | 運転支援システム | |
EP2642754B1 (en) | Image generating device and operation assistance system | |
JP2008077628A (ja) | 画像処理装置並びに車両周辺視界支援装置及び方法 | |
KR20020033816A (ko) | 감시시스템 | |
JPWO2010137265A1 (ja) | 車両周囲監視装置 | |
JP2008083786A (ja) | 画像生成装置および画像生成方法 | |
JP7263731B2 (ja) | 画像処理装置 | |
JP2009206747A (ja) | 車両用周囲状況監視装置及び映像表示方法 | |
JP2013054720A (ja) | 運転支援装置 | |
JP2011071919A (ja) | 周囲画像提示装置及び操作支援システム | |
WO2018159016A1 (ja) | 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム | |
JP2019110492A (ja) | 画像表示装置 | |
JP2015074257A (ja) | 駐車支援装置 | |
JP7442029B2 (ja) | 画像処理装置、画像処理プログラム | |
JP5067136B2 (ja) | 車両周辺画像処理装置及び車両周辺状況提示方法 | |
JP2013137698A (ja) | 俯瞰画像提示装置 | |
JP6293089B2 (ja) | 後方モニタ | |
JP5091882B2 (ja) | 画像処理装置並びに視界支援装置及び方法 | |
JP4945315B2 (ja) | 運転支援システム及び車両 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090805 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090807 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090805 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20111117 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20111130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120327 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120404 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120821 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120914 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150921 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5091882 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150921 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |