JP2008048317A - 画像処理装置並びに視界支援装置及び方法 - Google Patents
画像処理装置並びに視界支援装置及び方法 Download PDFInfo
- Publication number
- JP2008048317A JP2008048317A JP2006224002A JP2006224002A JP2008048317A JP 2008048317 A JP2008048317 A JP 2008048317A JP 2006224002 A JP2006224002 A JP 2006224002A JP 2006224002 A JP2006224002 A JP 2006224002A JP 2008048317 A JP2008048317 A JP 2008048317A
- Authority
- JP
- Japan
- Prior art keywords
- bird
- image
- eye view
- camera
- dimensional object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
【解決手段】車両の前部及び左側に設置された前カメラ及び横カメラからの撮像画像の夫々を鳥瞰図画像に変換し、各鳥瞰図画像を合成した合成鳥瞰図画像を表示する。両鳥瞰図画像が重なり合う共通領域に関し、前カメラの画像112と横カメラの画像111の差分画像113を生成して、両鳥瞰図画像において立体物が描画されている差分領域123を検出する。両鳥瞰図画像を合成する際、差分領域123に関しては、一方の鳥瞰図画像内の画像のみを用いるようにする。
【選択図】図10
Description
本発明の第1実施形態について説明する。
まず、1台のカメラによって撮像された撮像画像から鳥瞰図画像を生成する方法について説明する。尚、以下の説明において、地面は水平面上にあるものとし、「高さ」は、地面を基準とした高さを表すものとする。
世界座標系系Xw Yw Zwにおける座標を(xw ,yw ,zw )と表記する。xw 、yw 及びzwは、夫々、世界座標系系Xw Yw Zwにおける、Xw軸成分、Yw軸成分及びZw軸成分である。
二次元地面座標系Xw Zw における座標を(xw ,zw )と表記する。xw及びzwは、夫々、二次元地面座標系Xw Zwにおける、XW軸成分及びZW軸成分であり、それらは世界座標系系Xw Yw ZwにおけるXW軸成分及びZW軸成分と一致する。
撮像面Sの座標系XbuYbuにおける座標を(xbu,ybu)と表記する。xbu及びybuは、夫々、撮像面Sの座標系XbuYbuにおける、Xbu軸成分及びYbu軸成分である。
本実施形態において、車両100へのカメラの設置状況を表す平面図は上述の図17と同じであるので、重複する図示を割愛する。図3及び図4は、車両100を左斜め前方から見た図である。
カメラ1Bの視野12Bには、カメラ1Bの設置位置を基準とした、車両100の後方の所定範囲内に位置する立体物及び車両100の後方の地面が含まれる。
カメラ1Lの視野12Lには、カメラ1Lの設置位置を基準とした、車両100の左方の所定範囲内に位置する立体物及び車両100の左方の地面が含まれる。
カメラ1Rの視野12Rには、カメラ1Lの設置位置を基準とした、車両100の右方の所定範囲内に位置する立体物及び車両100の右方の地面が含まれる。
図8に、本実施形態に係る視界支援装置(車両周辺視界支援装置)の全体構成図を示す。本実施形態に係る視界支援装置は、上述の如く車両100に取り付けられるカメラ1F、1B、1L及び1Rと、それらの各カメラにて得られる撮像画像から全周鳥瞰図画像を生成する画像処理部2と、画像処理部2によって生成された全周鳥瞰図画像を表示する表示部3と、を備える。全周鳥瞰図画像は、基本的には、図19に示すものと同様である。但し、本実施形態では、上述の共通領域における合成手法に特徴がある。
図9のステップS4にて実施される優先カメラの選択手法の他の例を、第2実施形態として説明する。第2実施形態は、優先カメラの選択手法が第1実施形態のそれと異なるだけで、他の点については第1実施形態と同じである。
第1選択手法について説明する。第1選択手法では、立体物14と各カメラとの距離が参照される。画像上における差分領域123の位置が分かれば、実空間における、立体物14と前カメラ1Fとの距離及び立体物14と左横カメラ1Lとの距離を特定できる。両距離を比較し、距離が短い方のカメラを優先カメラとして選択する。他の条件が同じであれば、距離が短い方のカメラの方が立体物14をより的確に捉えることができる、と考えられるからである。
第2選択手法について説明する。第2選択手法では、車両100の進行方向が参照される。進行方向に関する情報は、該情報を検出するための部位(該部位は、例えば車両100に備えられる)から画像処理部2に与えられる。
第3選択手法について説明する。第3選択手法では、共通領域CFL内における差分領域123の位置に基づいて、優先カメラが選択される。
「WF1×(15+12)+WF2×(18+5)+WF3×(2+0)」にて表され、
上述の如く“WF1=1、WF2=2、WF3=3”とした場合、「1×(15+12)+2×(18+5)+3×(2+0)=79」となる。
一方、左横カメラ1Lに関する重み評価値は、
「WL1×(15+12)+WL2×(18+5)+WL3×(2+0)」にて表され、
上述の如く“WL1=2、WL2=3、WL3=2”とした場合、「2×(15+12)+3×(18+5)+2×(2+0)=127」となる。
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。
また、図8の画像処理部2は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。画像処理部2にて実現される機能の全部または一部を、プログラムとして記述し、該プログラムをコンピュータ上で実行することによって、その機能の全部または一部を実現するようにしてもよい。
画像処理部2は、各カメラの撮像画像の夫々を、視点変換によって鳥瞰図画像に変換する視点変換手段と、その変換によって得られた各鳥瞰図画像を合成することにより合成鳥瞰図画像を生成する画像合成手段と、を備えている。合成鳥瞰図画像として、上述の実施形態では全周鳥瞰図画像を例示している。
上述の実施形態では、車両100としてトラックを例示しているが、本発明は、車両の種類を問わず、普通乗用車などに対しても適用可能である。
2 画像処理部
3 表示部
10F、10B、10L、10R 鳥瞰図画像
12F、12B、12L、12R 視野
13 共通視野
14 立体物
CFL 共通領域
100 車両
113 差分画像
123 差分領域
Claims (5)
- n台の撮像装置(nは2以上の整数)によって撮像された画像の夫々を仮想視点から見た鳥瞰図画像に変換する視点変換手段と、
得られた各鳥瞰図画像を合成して合成鳥瞰図画像を生成する画像合成手段と、を備え、
前記合成鳥瞰図画像を表示装置に表示させるための映像信号を生成する画像処理装置において、
前記画像合成手段は、
複数の撮像装置によって共通して撮像されている共通視野内に高さのある立体物が存在している場合、
前記複数の撮像装置から得られる複数の鳥瞰図画像において前記立体物が描画されている各領域の、合成領域に相当する立体物反映領域を検出し、
前記合成鳥瞰図画像内の前記立体物反映領域の画像として、前記複数の鳥瞰図画像の内の、1つの鳥瞰図画像内の前記立体物反映領域の画像を採用する
ことを特徴とする画像処理装置。 - 前記画像合成手段は、合成の際に前記複数の鳥瞰図画像が重なり合う共通領域の画像を前記複数の鳥瞰図画像間で比較することによって、前記立体物反映領域を検出する
ことを特徴とする請求項1に記載の画像処理装置。 - 前記画像合成手段は、合成の際に前記複数の鳥瞰図画像が重なり合う共通領域の画像を前記複数の鳥瞰図画像間で比較することによって、前記共通領域における、前記複数の鳥瞰図画像間の差分領域を特定し、
該差分領域を前記立体物反映領域として検出する
ことを特徴とする請求項1に記載の画像処理装置。 - 請求項1〜請求項3の何れかに記載の画像処理装置と、
前記n台の撮像装置、及び、前記表示装置、の内の少なくとも一方と、
を備えた
ことを特徴とする視界支援装置。 - n台の撮像装置(nは2以上の整数)によって撮像された画像の夫々を仮想視点から見た鳥瞰図画像に変換し、得られた各鳥瞰図画像を合成した合成鳥瞰図画像を表示装置に表示させる視界支援方法において、
複数の撮像装置によって共通して撮像されている共通視野内に高さのある立体物が存在している場合、
前記複数の撮像装置から得られる複数の鳥瞰図画像において前記立体物が描画されている各領域の、合成領域に相当する立体物反映領域を検出し、
前記合成鳥瞰図画像内の前記立体物反映領域の画像として、前記複数の鳥瞰図画像の内の、1つの鳥瞰図画像内の前記立体物反映領域の画像を採用する
ことを特徴とする視界支援方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006224002A JP4315968B2 (ja) | 2006-08-21 | 2006-08-21 | 画像処理装置並びに視界支援装置及び方法 |
US11/842,685 US7728879B2 (en) | 2006-08-21 | 2007-08-21 | Image processor and visual field support device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006224002A JP4315968B2 (ja) | 2006-08-21 | 2006-08-21 | 画像処理装置並びに視界支援装置及び方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009011158A Division JP5091882B2 (ja) | 2009-01-21 | 2009-01-21 | 画像処理装置並びに視界支援装置及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008048317A true JP2008048317A (ja) | 2008-02-28 |
JP4315968B2 JP4315968B2 (ja) | 2009-08-19 |
Family
ID=39181590
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006224002A Expired - Fee Related JP4315968B2 (ja) | 2006-08-21 | 2006-08-21 | 画像処理装置並びに視界支援装置及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4315968B2 (ja) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009253673A (ja) * | 2008-04-07 | 2009-10-29 | Clarion Co Ltd | 車両用周囲状況表示装置 |
WO2010116801A1 (ja) * | 2009-04-06 | 2010-10-14 | 三洋電機株式会社 | 画像処理装置 |
WO2010119734A1 (ja) * | 2009-04-17 | 2010-10-21 | 三洋電機株式会社 | 画像処理装置 |
WO2010137265A1 (ja) * | 2009-05-25 | 2010-12-02 | パナソニック株式会社 | 車両周囲監視装置 |
EP2431227A1 (en) * | 2010-09-17 | 2012-03-21 | Nissan Motor Co., Ltd. | Vehicle image display apparatus and method |
US8242895B2 (en) | 2009-12-30 | 2012-08-14 | Industrial Technology Research Institute | Method and system for forming surrounding seamless bird-view image |
JP2012174152A (ja) * | 2011-02-24 | 2012-09-10 | Fujitsu Semiconductor Ltd | 画像処理装置、画像処理システム、及び画像処理方法 |
JP2013501280A (ja) * | 2009-08-05 | 2013-01-10 | ダイムラー・アクチェンゲゼルシャフト | 車両周辺のモニタ方法 |
US8446471B2 (en) | 2009-12-31 | 2013-05-21 | Industrial Technology Research Institute | Method and system for generating surrounding seamless bird-view image with distance interface |
JP2013205956A (ja) * | 2012-03-27 | 2013-10-07 | Sumitomo Heavy Ind Ltd | 画像生成方法、画像生成装置、及び操作支援システム |
JP2014086076A (ja) * | 2012-10-23 | 2014-05-12 | Avisonic Technology Corp | 動的画像処理方法および車両画像を処理するシステム |
JP2016018355A (ja) * | 2014-07-08 | 2016-02-01 | アルパイン株式会社 | 車両周囲画像生成装置および車両周囲画像生成方法 |
WO2017077650A1 (ja) * | 2015-11-06 | 2017-05-11 | 三菱電機株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
-
2006
- 2006-08-21 JP JP2006224002A patent/JP4315968B2/ja not_active Expired - Fee Related
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009253673A (ja) * | 2008-04-07 | 2009-10-29 | Clarion Co Ltd | 車両用周囲状況表示装置 |
WO2010116801A1 (ja) * | 2009-04-06 | 2010-10-14 | 三洋電機株式会社 | 画像処理装置 |
WO2010119734A1 (ja) * | 2009-04-17 | 2010-10-21 | 三洋電機株式会社 | 画像処理装置 |
WO2010137265A1 (ja) * | 2009-05-25 | 2010-12-02 | パナソニック株式会社 | 車両周囲監視装置 |
JP2013501280A (ja) * | 2009-08-05 | 2013-01-10 | ダイムラー・アクチェンゲゼルシャフト | 車両周辺のモニタ方法 |
US8750572B2 (en) | 2009-08-05 | 2014-06-10 | Daimler Ag | Method for monitoring an environment of a vehicle |
TWI417639B (zh) * | 2009-12-30 | 2013-12-01 | Ind Tech Res Inst | 全周鳥瞰影像無縫接合方法與系統 |
US8242895B2 (en) | 2009-12-30 | 2012-08-14 | Industrial Technology Research Institute | Method and system for forming surrounding seamless bird-view image |
US8446471B2 (en) | 2009-12-31 | 2013-05-21 | Industrial Technology Research Institute | Method and system for generating surrounding seamless bird-view image with distance interface |
EP2431227A1 (en) * | 2010-09-17 | 2012-03-21 | Nissan Motor Co., Ltd. | Vehicle image display apparatus and method |
JP2012174152A (ja) * | 2011-02-24 | 2012-09-10 | Fujitsu Semiconductor Ltd | 画像処理装置、画像処理システム、及び画像処理方法 |
JP2013205956A (ja) * | 2012-03-27 | 2013-10-07 | Sumitomo Heavy Ind Ltd | 画像生成方法、画像生成装置、及び操作支援システム |
US9087256B2 (en) | 2012-10-23 | 2015-07-21 | Avisonic Technology Corporation | Dynamic image processing method and system for processing vehicular image |
JP2014086076A (ja) * | 2012-10-23 | 2014-05-12 | Avisonic Technology Corp | 動的画像処理方法および車両画像を処理するシステム |
JP2016018355A (ja) * | 2014-07-08 | 2016-02-01 | アルパイン株式会社 | 車両周囲画像生成装置および車両周囲画像生成方法 |
WO2017077650A1 (ja) * | 2015-11-06 | 2017-05-11 | 三菱電機株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
JP6239205B2 (ja) * | 2015-11-06 | 2017-11-29 | 三菱電機株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
JPWO2017077650A1 (ja) * | 2015-11-06 | 2017-12-07 | 三菱電機株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
GB2556797A (en) * | 2015-11-06 | 2018-06-06 | Mitsubishi Electric Corp | Image processing apparatus, image processing method, and image processing program |
GB2556797B (en) * | 2015-11-06 | 2018-10-24 | Mitsubishi Electric Corp | Image processing apparatus, image processing method, and image processing program |
Also Published As
Publication number | Publication date |
---|---|
JP4315968B2 (ja) | 2009-08-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4315968B2 (ja) | 画像処理装置並びに視界支援装置及び方法 | |
JP4248570B2 (ja) | 画像処理装置並びに視界支援装置及び方法 | |
JP5422902B2 (ja) | 画像処理装置、画像処理プログラム、画像処理システム及び画像処理方法 | |
US7728879B2 (en) | Image processor and visual field support device | |
JP4934308B2 (ja) | 運転支援システム | |
JP5953824B2 (ja) | 車両用後方視界支援装置及び車両用後方視界支援方法 | |
JP4596978B2 (ja) | 運転支援システム | |
EP2642754B1 (en) | Image generating device and operation assistance system | |
JP3652678B2 (ja) | 車両周囲監視装置およびその調整方法 | |
JP2008077628A (ja) | 画像処理装置並びに車両周辺視界支援装置及び方法 | |
KR20020033816A (ko) | 감시시스템 | |
JP7263731B2 (ja) | 画像処理装置 | |
JP2009206747A (ja) | 車両用周囲状況監視装置及び映像表示方法 | |
JP2013054720A (ja) | 運転支援装置 | |
JP2011071919A (ja) | 周囲画像提示装置及び操作支援システム | |
JP2009105660A (ja) | 車載用撮像装置 | |
US11273763B2 (en) | Image processing apparatus, image processing method, and image processing program | |
JP7442029B2 (ja) | 画像処理装置、画像処理プログラム | |
JP5067136B2 (ja) | 車両周辺画像処理装置及び車両周辺状況提示方法 | |
JP2013137698A (ja) | 俯瞰画像提示装置 | |
JP4945315B2 (ja) | 運転支援システム及び車両 | |
JP5091882B2 (ja) | 画像処理装置並びに視界支援装置及び方法 | |
JP2016213759A (ja) | 後方モニタ | |
JP4706896B2 (ja) | 広角画像の補正方法及び車両の周辺監視システム | |
JP4696825B2 (ja) | 車両用死角映像表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080522 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080811 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080826 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081024 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081125 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090121 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090421 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090519 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4315968 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120529 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130529 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130529 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140529 Year of fee payment: 5 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D03 |
|
LAPS | Cancellation because of no payment of annual fees |