JP2020502850A - 乗り物において該乗り物の周辺部の描写を作成するための方法ならびに装置 - Google Patents
乗り物において該乗り物の周辺部の描写を作成するための方法ならびに装置 Download PDFInfo
- Publication number
- JP2020502850A JP2020502850A JP2019518222A JP2019518222A JP2020502850A JP 2020502850 A JP2020502850 A JP 2020502850A JP 2019518222 A JP2019518222 A JP 2019518222A JP 2019518222 A JP2019518222 A JP 2019518222A JP 2020502850 A JP2020502850 A JP 2020502850A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- fua
- matrix
- texture
- calculated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 239000011159 matrix material Substances 0.000 claims description 81
- 238000004364 calculation method Methods 0.000 claims description 38
- 238000013500 data storage Methods 0.000 claims description 4
- 230000002093 peripheral effect Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
カメラ画像を、車両の車両ボディに設けられている車載カメラによって用意するステップ、並びに、
用意されたカメラ画像を基に、車両の車両周辺描写を算出するステップ、但し、車両周辺描写に含まれる、車両ボディの下にあり、見えない地面のテクスチャは、ローカルなカラー予測、及び、動き補正されたテクスチャ予測を用いて割り出される。
FUA=GMxFMP+(1−GM)xTPM,
尚、式中:
FUAは、車両周辺描写、
GMは、加重マトリクス、
FMPは、カラー予測マトリクス、そして、
TPMは、テクスチャ予測マトリクスである。
車両の車両ボディに設置され、該車両の車両周辺部のカメラ画像を用意する車載カメラ、
用意された該車両の車両周辺描写を算出する計算ユニット、
但し、車両の車両周辺描写内の車両ボディの下にある見えない地面のテクスチャは、ローカルなカラー予測及び動き補正されたテクスチャ予測によって割り出される、
及び、
該計算ユニットによって算出された車両周辺描写を出力する出力ユニット。
FUA=GMxFMP+(1−GM)xTPM,
尚、式中:
FUAは、車両周辺描写、
GMは、加重マトリクス、
FMPは、カラー予測マトリクス、そして、
TPMは、テクスチャ予測マトリクスである。
車両の車両ボディに取り付けられ、車両の車両周辺部のカメラ画像を用意する車載カメラ、並びに、
用意されたカメラ画像に基づいて車両の車両周辺描写を算出することに適した、但し、車両の車両周辺描写内の車両ボディの下にある見えない地面のテクスチャを、ローカルなカラー予測及び動き補正されたテクスチャ予測によって割り出す計算ユニットを
有する
車両周辺描写を作成するための装置を
備えた
車両用のドライバー・アシスタント・システムを提供する。
FUA=GMxFMP+(1−GM)xTPM,
尚、式中:
FUAは、車両周辺描写、
GMは、加重マトリクス、
FMPは、カラー予測マトリクス、そして、
TPMは、テクスチャ予測マトリクスである。
FUA=GMxFMP+(1−GM)xTPM。
FUA=GMxFMP+(1−GM)xTPM,
尚、式中:
FUAは、車両周辺描写、
GMは、加重マトリクス、
FMPは、カラー予測マトリクス、そして、
TPMは、テクスチャ予測マトリクスである。
Claims (15)
- 以下のステップを有することを特徴とする、車両において、車両周辺描写−FUA−を作成するための方法:
(a)カメラ画像(KB)を、車両の車両ボディ(3)に設けられている車載カメラ(2)によって用意するステップ(S1);並びに、
(b)用意されたカメラ画像(KB)を基に、車両の車両周辺描写−FUA−を算出するステップ(S2)、但し、車両周辺描写−FUA−に含まれる、車両ボディ(3)の下にあり、見えない地面のテクスチャは、ローカルなカラー予測、及び、動き補正されたテクスチャ予測を用いて割り出される。 - 複数の車載カメラ(2)によって用意されたカメラ画像(KB)を基にして、車両ボディ(3)の下にあり、該複数の車載カメラ(2)からは見えない地面のテクスチャを割り出すことなく、該車両のオリジナル車両周辺描写−oFUA−が、算出され、続いて、オリジナル車両周辺描写−oFUA−に基づいて、カラー予測マトリクス−FPM−の算出のためのローカルなカラー予測、並びに、テクスチャ予測マトリクス−TPM−の算出のための動き補正されたテクスチャ予測が実施されることを特徴とする請求項1に記載の方法。
- 見えない地面の縁に沿った、オリジナル車両周辺描写−oFUA−とテクスチャ予測マトリクス−TPM−との間の周縁エラーも算出されることを特徴とする請求項1或いは2に記載の方法。
- 見えない地面領域内のピクセルのエラー度合いが、算出された周縁エラーに依存して、加重マトリクス−GM−を生成するために算出されることを特徴とする請求項3に記載の方法。
- カラー予測マトリクス−FPM−とテクスチャ予測マトリクス−TPM−とが、車両周辺描写−FUA−の算出のために、加重マトリクス−GM−によって、加重され、以下の様に組み合わされる
ことを特徴とする請求項4に記載の方法:
FUA=GMxFMP+(1−GM)xTPM,
尚、式中:
FUAは、車両周辺描写、
GMは、加重マトリクス、
FMPは、カラー予測マトリクス、そして、TPMは、テクスチャ予測マトリクスである。 - センサー的に捕捉されたオドメトリ・データに依存してテクスチャ予測マトリクス−TPM−を算出するために動き補正されたテクスチャ予測が、実施されることを特徴とする先行請求項1から5のうち何れか一項に記載の方法。
- 以下を備えていることを特徴とする車両(F)において、車両周辺描写−FUA−を作成するための装置:
−車両(F)の車両ボディ(3)に設置され、該車両の車両周辺部−FUA−のカメラ画像(KB)を用意する車載カメラ(2);
−車両周辺描写−FUA−を、用意されたカメラ画像(KB)を基に算出することができる様に構成された計算ユニット(4)、但し、
車両周辺描写−FUA−内の車両ボディ(3)の下にあり見えない地面のテクスチャは、ローカルなカラー予測及び動き補正されたテクスチャ予測によって割り出される;並びに、
−計算ユニット(4)によって算出された車両周辺描写−FUA−を出力する出力ユニット。 - 該計算ユニット(4)が、複数の車載カメラ(2)によって用意されたカメラ画像(KB)を基にして、車両ボディ(3)の下にあり、該複数の車載カメラ(2)からは見えない地面のテクスチャを割り出すことなく、該車両のオリジナル車両周辺描写−oFUA−を、算出し、続いて、
算出した該オリジナル車両周辺描写−oFUA−に基づいて、カラー予測マトリクス−FPM−の算出のためのローカルなカラー予測、並びに、テクスチャ予測マトリクス−TPM−の算出のための動き補正されたテクスチャ予測を実施することを特徴とする請求項7に記載の装置。 - 該計算ユニット(4)が、見えない地面の縁に沿った、オリジナル車両周辺描写−oFUA−とテクスチャ予測マトリクス−TPM−との間の周縁エラーも算出することを特徴とする請求項7或いは8に記載の装置。
- 該計算ユニット(4)が、見えない地面領域内のピクセルのエラー度合いも、算出された周縁エラーに依存して、加重マトリクス−GM−を生成するために算出することを特徴とする請求項9に記載の装置。
- 該計算ユニット(4)が、カラー予測マトリクス−FPM−とテクスチャ予測マトリクス−TPM−とを、車両周辺描写−FUA−の算出のために、加重マトリクス−GM−によって、加重し、以下の様に組み合わせる
ことを特徴とする先行請求項7から10のうち何れか一項に記載の装置:
FUA=GMxFMP+(1−GM)xTPM,
尚、式中:
FUAは、車両周辺描写、
GMは、加重マトリクス、
FMPは、カラー予測マトリクス、そして、
TPMは、テクスチャ予測マトリクスである。 - テクスチャ予測マトリクス−TPM−を算出するための動き補正されたテクスチャ予測が、該車両のセンサーによって、センサー的に捕捉されたオドメトリ・データに依存して実施されることを特徴とする先行請求項7から11のうち何れか一項に記載の方法。
- 算出されたカラー予測マトリクス−FPM−と算出されたテクスチャ予測マトリクス−TPM−が、一つのデータ保存手段に一時保存されることを特徴とする先行請求項7から12のうち何れか一項に記載の方法。
- 先行請求項7から13のうち何れか一項に記載の車両周辺描写−FUA−を作成するための装置(1)を備えた車両用のドライバー・アシスタント・システム。
- 請求項14のドライバー・アシスタント・システムを搭載した陸上用の乗り物。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102016220651.6A DE102016220651A1 (de) | 2016-10-20 | 2016-10-20 | Verfahren und Vorrichtung zur Erzeugung einer Fahrzeugumgebungsansicht bei einem Fahrzeug |
DE102016220651.6 | 2016-10-20 | ||
PCT/DE2017/200098 WO2018072793A1 (de) | 2016-10-20 | 2017-09-21 | Verfahren und vorrichtung zur erzeugung einer fahrzeugumgebungsansicht bei einem fahrzeug |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020502850A true JP2020502850A (ja) | 2020-01-23 |
JP2020502850A5 JP2020502850A5 (ja) | 2021-11-18 |
JP7132213B2 JP7132213B2 (ja) | 2022-09-06 |
Family
ID=60164562
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019518222A Active JP7132213B2 (ja) | 2016-10-20 | 2017-09-21 | 乗り物において乗り物周辺ビューを作成するための方法及び装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10902622B2 (ja) |
EP (1) | EP3529743A1 (ja) |
JP (1) | JP7132213B2 (ja) |
DE (2) | DE102016220651A1 (ja) |
WO (1) | WO2018072793A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021150838A (ja) * | 2020-03-19 | 2021-09-27 | 株式会社デンソーテン | 画像処理装置 |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102016223391A1 (de) | 2016-11-25 | 2018-05-30 | Conti Temic Microelectronic Gmbh | Verfahren und vorrichtung zum erzeugen einer fahrzeugumgebungsansicht bei einem fahrzeug |
DE102018203590A1 (de) | 2018-03-09 | 2019-09-12 | Conti Temic Microelectronic Gmbh | Surroundview-System mit angepasster Projektionsfläche |
DE102019201702A1 (de) * | 2019-02-11 | 2020-08-13 | Conti Temic Microelectronic Gmbh | Modulares inpainting Verfahren |
US11966452B2 (en) | 2021-08-05 | 2024-04-23 | Ford Global Technologies, Llc | Systems and methods for image based perception |
US11663807B2 (en) * | 2021-08-05 | 2023-05-30 | Ford Global Technologies, Llc | Systems and methods for image based perception |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0946704A (ja) * | 1995-07-28 | 1997-02-14 | Tsushin Hoso Kiko | 画像符号化方式 |
JP2002354467A (ja) * | 2001-05-25 | 2002-12-06 | Nissan Motor Co Ltd | 車両周囲情報表示装置 |
JP2005001570A (ja) * | 2003-06-12 | 2005-01-06 | Equos Research Co Ltd | 駐車支援装置 |
US20140347470A1 (en) * | 2013-05-23 | 2014-11-27 | GM Global Technology Operations LLC | Enhanced top-down view generation in a front curb viewing system |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8605947B2 (en) | 2008-04-24 | 2013-12-10 | GM Global Technology Operations LLC | Method for detecting a clear path of travel for a vehicle enhanced by object detection |
JP5182042B2 (ja) * | 2008-11-28 | 2013-04-10 | 富士通株式会社 | 画像処理装置、画像処理方法及びコンピュータプログラム |
FR2976355B1 (fr) | 2011-06-09 | 2013-06-21 | Jean Luc Desbordes | Dispositif de mesure de vitesse et de position d'un vehicule se deplacant le long d'une voie de guidage, procede et produit programme d'ordinateur correspondant. |
DE102011077398B4 (de) * | 2011-06-10 | 2021-11-04 | Robert Bosch Gmbh | Fahrzeugkamerasystem zur Bereitstellung eines lückenlosen Bildes der Fahrzeugumgebung und entsprechendes Verfahren |
DE102012211025A1 (de) | 2012-06-27 | 2014-01-02 | Robert Bosch Gmbh | Verfahren zur Fahrassistenz und Fahrassistenzsystem |
DE102012112724A1 (de) | 2012-12-20 | 2014-06-26 | Continental Teves Ag & Co. Ohg | Verfahren zur Bestimmung eines Fahrbahnzustands aus Umfeldsensordaten |
GB201406405D0 (en) * | 2014-04-09 | 2014-05-21 | Jaguar Land Rover Ltd | Apparatus and method for displaying information |
US9892493B2 (en) * | 2014-04-21 | 2018-02-13 | Texas Instruments Incorporated | Method, apparatus and system for performing geometric calibration for surround view camera solution |
DE102014117888A1 (de) * | 2014-12-04 | 2016-10-13 | Connaught Electronics Ltd. | Online-Kalibrierung eines Kraftfahrzeug-Kamerasystems |
US9811743B2 (en) * | 2015-06-29 | 2017-11-07 | Sharp Laboratories Of America, Inc. | Tracking road boundaries |
DE102016005463A1 (de) | 2016-05-03 | 2016-11-17 | Daimler Ag | Verfahren und Vorrichtung zur Erkennung und Lokalisierung von Fahrbahnunebenheiten |
WO2018088224A1 (ja) * | 2016-11-09 | 2018-05-17 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム、及び、移動体 |
DE102016223391A1 (de) | 2016-11-25 | 2018-05-30 | Conti Temic Microelectronic Gmbh | Verfahren und vorrichtung zum erzeugen einer fahrzeugumgebungsansicht bei einem fahrzeug |
-
2016
- 2016-10-20 DE DE102016220651.6A patent/DE102016220651A1/de not_active Withdrawn
-
2017
- 2017-09-21 DE DE112017004075.2T patent/DE112017004075A5/de active Pending
- 2017-09-21 JP JP2019518222A patent/JP7132213B2/ja active Active
- 2017-09-21 EP EP17788107.5A patent/EP3529743A1/de not_active Ceased
- 2017-09-21 WO PCT/DE2017/200098 patent/WO2018072793A1/de unknown
- 2017-09-21 US US16/334,493 patent/US10902622B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0946704A (ja) * | 1995-07-28 | 1997-02-14 | Tsushin Hoso Kiko | 画像符号化方式 |
JP2002354467A (ja) * | 2001-05-25 | 2002-12-06 | Nissan Motor Co Ltd | 車両周囲情報表示装置 |
JP2005001570A (ja) * | 2003-06-12 | 2005-01-06 | Equos Research Co Ltd | 駐車支援装置 |
US20140347470A1 (en) * | 2013-05-23 | 2014-11-27 | GM Global Technology Operations LLC | Enhanced top-down view generation in a front curb viewing system |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021150838A (ja) * | 2020-03-19 | 2021-09-27 | 株式会社デンソーテン | 画像処理装置 |
Also Published As
Publication number | Publication date |
---|---|
EP3529743A1 (de) | 2019-08-28 |
US20190213744A1 (en) | 2019-07-11 |
WO2018072793A1 (de) | 2018-04-26 |
JP7132213B2 (ja) | 2022-09-06 |
DE102016220651A1 (de) | 2018-04-26 |
US10902622B2 (en) | 2021-01-26 |
DE112017004075A5 (de) | 2019-04-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2020502850A (ja) | 乗り物において該乗り物の周辺部の描写を作成するための方法ならびに装置 | |
JP6860348B2 (ja) | 車両の車両周辺部の歪無い表示のための方法、並びに、装置 | |
JP7245295B2 (ja) | 車両・被牽引車両コンビの周辺シーンを表示するための方法、並びに、装置 | |
JP2020502850A5 (ja) | ||
CN105075247B (zh) | 车辆的控制装置及存储介质 | |
JP2018531530A6 (ja) | 車両・被牽引車両コンビの周辺シーンを表示するための方法、並びに、装置 | |
JP7247173B2 (ja) | 画像処理方法及び装置 | |
JP2018531530A5 (ja) | ||
JP2012105158A (ja) | 連結車両用鳥瞰図表示システム | |
US11383642B2 (en) | Display control apparatus | |
JP6743171B2 (ja) | 自動車両の道路付近の物体を検出するための方法、コンピュータデバイス、運転者支援システム、及び、自動車両 | |
JP2021516390A (ja) | 調整された投影面を有するサラウンドビュー・システム | |
JP7008068B2 (ja) | 乗り物において乗り物周辺ビューを作成するための方法ならびに装置 | |
JP2018509799A5 (ja) | ||
CN111160070A (zh) | 车辆全景图像盲区消除方法、装置、存储介质及终端设备 | |
CN107851305A (zh) | 后部交叉交通快速检视 | |
KR20170117416A (ko) | 서라운드 뷰 이미지의 안정화를 위한 방법 및 장치 | |
CN110751598B (zh) | 车辆铰接点坐标标定方法、装置、计算机设备和存储介质 | |
US20230109473A1 (en) | Vehicle, electronic apparatus, and control method thereof | |
US11243536B2 (en) | Vehicular electronic device and operation method thereof | |
JP6959032B2 (ja) | 位置推定装置、移動装置 | |
US10825147B2 (en) | Surround view system for a vehicle | |
WO2021073827A1 (en) | Method and device for providing a visualization of a vehicle, and vehicle | |
US11430147B2 (en) | Image processing apparatus, imaging apparatus, mobile body, and image processing method | |
US20240169668A1 (en) | Computer-implemented method for creating a three-dimensional virtual model of an environment of a motor vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200512 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20200703 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210630 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210707 |
|
A524 | Written submission of copy of amendment under article 19 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A524 Effective date: 20211005 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220309 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220705 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20220705 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20220713 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20220720 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220803 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220825 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7132213 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |