JP2019054439A - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP2019054439A JP2019054439A JP2017177932A JP2017177932A JP2019054439A JP 2019054439 A JP2019054439 A JP 2019054439A JP 2017177932 A JP2017177932 A JP 2017177932A JP 2017177932 A JP2017177932 A JP 2017177932A JP 2019054439 A JP2019054439 A JP 2019054439A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- projection
- unit
- projection area
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000002131 composite material Substances 0.000 claims abstract description 67
- 238000003384 imaging method Methods 0.000 claims abstract description 32
- 238000001514 detection method Methods 0.000 claims description 9
- 230000000630 rising effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 12
- 238000000034 method Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 5
- 239000007787 solid Substances 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000002485 combustion reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
- G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
- B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
- B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
- B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
Abstract
Description
図1は、第1の実施形態にかかる画像処理装置を搭載する車両の車室の一部が透視された状態の一例が示された斜視図である。図1に示すように、車両1は、車体2と、操舵部4と、加速操作部5と、制動操作部6と、変速操作部7と、モニタ装置11と、を備える。車体2は、乗員が乗車する車室2aを有する。車室2a内には、乗員としての運転手が座席2bに臨む状態で、操舵部4や、加速操作部5、制動操作部6、変速操作部7等が設けられている。操舵部4は、例えば、ダッシュボード24から突出したステアリングホイールである。加速操作部5は、例えば、運転手の足下に位置されたアクセルペダルである。制動操作部6は、例えば、運転手の足下に位置されたブレーキペダルである。変速操作部7は、例えば、センターコンソールから突出したシフトレバーである。
本実施形態は、立体投影面の座標と当該座標に投影する撮像画像のテクスチャ座標とを対応付ける3D対応マップと、車両に対して水平な投影面のみからなる平面投影面の座標と当該座標に投影する撮像画像のテクスチャ座標とを対応付ける2Dマップとを用いて、撮像画像を立体投影面に投影する例である。以下の説明では、第1の実施形態と同様の構成については説明を省略する。
Claims (5)
- 車両が搭載する撮像部によって前記車両の周囲を撮像して得られる撮像画像を取得する取得部と、
第1時刻の前記車両と当該車両の上方に立ち上がる第1投影領域とを含む立体投影面に対して前記撮像画像を投影し、かつ前記立体投影面を仮想視点から見た合成画像を生成する生成部と、
前記合成画像を表示部に表示させる表示制御部と、
前記車両の走行状態に応じて、前記立体投影面における、前記第1時刻から当該第1時刻より後の第2時刻までの前記車両の移動経路を算出する算出部と、
前記第1投影領域内の前記移動経路以外の領域を前記第1投影領域に保持しつつ、前記第1投影領域内の前記移動経路の少なくとも一部を、前記車両に対して水平な第2投影領域に変更する変更部と、
を備える画像処理装置。 - 前記第1投影領域は、前記第2投影領域の周囲に位置し、
前記第2投影領域は、前記第1時刻の前記車両を含み、
前記変更部は、前記第1投影領域に含まれる前記移動経路の少なくとも一部が前記第2投影領域に含まれるように、前記第2投影領域を部分的に大きくする請求項1に記載の画像処理装置。 - 前記第2投影領域において前記移動経路の周囲に存在する立体物の投影位置を検出する検出部をさらに備え、
前記変更部は、前記投影位置が前記第1投影領域に含まれるように、前記第2投影領域を縮小する請求項2に記載の画像処理装置。 - 前記算出部は、自動運転制御による前記車両の前記移動経路を算出する請求項1から3のいずれか一に記載の画像処理装置。
- 前記立体投影面の座標と当該座標に投影する前記撮像画像のテクスチャ座標とを対応付ける第1マップと、前記車両に対して水平な投影面のみからなる平面投影面の座標と当該座標に投影する前記テクスチャ座標とを対応付ける第2マップと、を記憶する記憶部をさらに備え、
前記変更部は、前記自動運転制御が行われている場合、前記第1マップのうち、前記立体投影面における前記移動経路の座標と当該座標に投影する前記撮像画像の前記テクスチャ座標とを対応付けるマップを、前記平面投影面における前記移動経路の座標と当該座標に投影する前記撮像画像の前記テクスチャ座標とを対応付ける前記第2マップで上書きして、前記第1マップを前記生成部に送信し、
前記生成部は、前記変更部から受信する前記第1マップに従って、前記撮像画像を前記立体投影面に投影する請求項1から4のいずれか一に記載の画像処理装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017177932A JP7013751B2 (ja) | 2017-09-15 | 2017-09-15 | 画像処理装置 |
US16/107,146 US10540807B2 (en) | 2017-09-15 | 2018-08-21 | Image processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017177932A JP7013751B2 (ja) | 2017-09-15 | 2017-09-15 | 画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019054439A true JP2019054439A (ja) | 2019-04-04 |
JP7013751B2 JP7013751B2 (ja) | 2022-02-01 |
Family
ID=65719526
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017177932A Active JP7013751B2 (ja) | 2017-09-15 | 2017-09-15 | 画像処理装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10540807B2 (ja) |
JP (1) | JP7013751B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6699761B2 (ja) * | 2017-01-16 | 2020-05-27 | 富士通株式会社 | 情報処理プログラム、情報処理方法および情報処理装置 |
KR102434580B1 (ko) * | 2017-11-09 | 2022-08-22 | 삼성전자주식회사 | 가상 경로를 디스플레이하는 방법 및 장치 |
US10572748B2 (en) * | 2017-12-06 | 2020-02-25 | GM Global Technology Operations LLC | Autonomous vehicle adaptive parallel image processing system |
CN111856871A (zh) * | 2019-04-26 | 2020-10-30 | 东莞潜星电子科技有限公司 | 一种车载3d全景环视显示方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003256874A (ja) * | 2002-03-04 | 2003-09-12 | Matsushita Electric Ind Co Ltd | 画像合成変換装置 |
JP2010128951A (ja) * | 2008-11-28 | 2010-06-10 | Fujitsu Ltd | 画像処理装置、画像処理方法及びコンピュータプログラム |
WO2012017560A1 (ja) * | 2010-08-06 | 2012-02-09 | 富士通株式会社 | 画像処理装置および画像処理プログラム |
JP2012061989A (ja) * | 2010-09-17 | 2012-03-29 | Fujitsu Ten Ltd | 画像処理装置、及び、画像処理方法 |
JP2014154904A (ja) * | 2013-02-05 | 2014-08-25 | Suzuki Motor Corp | 俯瞰画像提示装置 |
JP2014531078A (ja) * | 2011-10-14 | 2014-11-20 | ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングRobert Bosch Gmbh | 車両周辺の表示方法 |
JP2015015527A (ja) * | 2013-07-03 | 2015-01-22 | クラリオン株式会社 | 映像表示システム、映像合成装置及び映像合成方法 |
JP2017068826A (ja) * | 2015-09-30 | 2017-04-06 | アイシン精機株式会社 | 車両用画像処理装置 |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6504535B1 (en) * | 1998-06-30 | 2003-01-07 | Lucent Technologies Inc. | Display techniques for three-dimensional virtual reality |
US7307655B1 (en) * | 1998-07-31 | 2007-12-11 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for displaying a synthesized image viewed from a virtual point of view |
KR20010112433A (ko) * | 1999-04-16 | 2001-12-20 | 마츠시타 덴끼 산교 가부시키가이샤 | 화상처리장치 및 감시시스템 |
JP3300334B2 (ja) | 1999-04-16 | 2002-07-08 | 松下電器産業株式会社 | 画像処理装置および監視システム |
JP3298851B2 (ja) * | 1999-08-18 | 2002-07-08 | 松下電器産業株式会社 | 多機能車載カメラシステムと多機能車載カメラの画像表示方法 |
KR100866450B1 (ko) * | 2001-10-15 | 2008-10-31 | 파나소닉 주식회사 | 차량 주위 감시 장치 및 그 조정 방법 |
JP5292874B2 (ja) | 2007-12-17 | 2013-09-18 | 富士通株式会社 | 車両用画像処理装置、車両用画像処理プログラム、車両用画像処理方法 |
DE102008034594B4 (de) * | 2008-07-25 | 2021-06-24 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren sowie Informationssystem zur Information eines Insassen eines Fahrzeuges |
JP5439890B2 (ja) * | 2009-03-25 | 2014-03-12 | 富士通株式会社 | 画像処理方法、画像処理装置及びプログラム |
JP5271154B2 (ja) * | 2009-05-29 | 2013-08-21 | 富士通テン株式会社 | 画像生成装置及び画像表示システム |
JP5548002B2 (ja) * | 2010-03-25 | 2014-07-16 | 富士通テン株式会社 | 画像生成装置、画像表示システム及び画像生成方法 |
JP5168601B2 (ja) * | 2010-03-31 | 2013-03-21 | アイシン・エィ・ダブリュ株式会社 | 自車位置認識システム |
EP2511137B1 (en) * | 2011-04-14 | 2019-03-27 | Harman Becker Automotive Systems GmbH | Vehicle Surround View System |
EP2720458A4 (en) * | 2011-06-09 | 2015-02-25 | Aisin Seiki | IMAGING DEVICE |
JP5483120B2 (ja) * | 2011-07-26 | 2014-05-07 | アイシン精機株式会社 | 車両周辺監視システム |
JP5682788B2 (ja) * | 2011-09-27 | 2015-03-11 | アイシン精機株式会社 | 車両周辺監視装置 |
KR101265711B1 (ko) * | 2011-11-30 | 2013-05-20 | 주식회사 이미지넥스트 | 3d 차량 주변 영상 생성 방법 및 장치 |
US9767561B2 (en) * | 2013-11-18 | 2017-09-19 | Texas Instruments Incorporated | Method and apparatus for a optimal seam for surround view synthesis |
JP6232994B2 (ja) * | 2013-12-16 | 2017-11-22 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
KR101811157B1 (ko) * | 2013-12-19 | 2018-01-25 | 인텔 코포레이션 | 사발형 영상 시스템 |
US10127463B2 (en) * | 2014-11-21 | 2018-11-13 | Magna Electronics Inc. | Vehicle vision system with multiple cameras |
-
2017
- 2017-09-15 JP JP2017177932A patent/JP7013751B2/ja active Active
-
2018
- 2018-08-21 US US16/107,146 patent/US10540807B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003256874A (ja) * | 2002-03-04 | 2003-09-12 | Matsushita Electric Ind Co Ltd | 画像合成変換装置 |
JP2010128951A (ja) * | 2008-11-28 | 2010-06-10 | Fujitsu Ltd | 画像処理装置、画像処理方法及びコンピュータプログラム |
WO2012017560A1 (ja) * | 2010-08-06 | 2012-02-09 | 富士通株式会社 | 画像処理装置および画像処理プログラム |
JP2012061989A (ja) * | 2010-09-17 | 2012-03-29 | Fujitsu Ten Ltd | 画像処理装置、及び、画像処理方法 |
JP2014531078A (ja) * | 2011-10-14 | 2014-11-20 | ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングRobert Bosch Gmbh | 車両周辺の表示方法 |
JP2014154904A (ja) * | 2013-02-05 | 2014-08-25 | Suzuki Motor Corp | 俯瞰画像提示装置 |
JP2015015527A (ja) * | 2013-07-03 | 2015-01-22 | クラリオン株式会社 | 映像表示システム、映像合成装置及び映像合成方法 |
JP2017068826A (ja) * | 2015-09-30 | 2017-04-06 | アイシン精機株式会社 | 車両用画像処理装置 |
Also Published As
Publication number | Publication date |
---|---|
JP7013751B2 (ja) | 2022-02-01 |
US20190088006A1 (en) | 2019-03-21 |
US10540807B2 (en) | 2020-01-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6015314B2 (ja) | 駐車目標位置を算出する装置、駐車目標位置を算出する方法およびプログラム | |
JP7151293B2 (ja) | 車両周辺表示装置 | |
JP7222254B2 (ja) | 周辺表示制御装置 | |
JP7091624B2 (ja) | 画像処理装置 | |
JP2018144526A (ja) | 周辺監視装置 | |
JP7013751B2 (ja) | 画像処理装置 | |
WO2018070298A1 (ja) | 表示制御装置 | |
JP2019028920A (ja) | 表示制御装置 | |
CN110997409B (zh) | 周边监控装置 | |
JP6876236B2 (ja) | 表示制御装置 | |
JP7009785B2 (ja) | 周辺監視装置 | |
CN111034188B (zh) | 周边监控装置 | |
JP6962035B2 (ja) | 周辺監視装置 | |
JP2019036832A (ja) | 周辺監視装置 | |
JP7259914B2 (ja) | 周辺監視装置 | |
JP6965563B2 (ja) | 周辺監視装置 | |
JP2018191061A (ja) | 周辺監視装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200806 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210614 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210629 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210721 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211221 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220103 |