JP2016195390A - 単眼ビデオカメラを使用した、車両からの目標点の距離および方向の算定 - Google Patents
単眼ビデオカメラを使用した、車両からの目標点の距離および方向の算定 Download PDFInfo
- Publication number
- JP2016195390A JP2016195390A JP2016057847A JP2016057847A JP2016195390A JP 2016195390 A JP2016195390 A JP 2016195390A JP 2016057847 A JP2016057847 A JP 2016057847A JP 2016057847 A JP2016057847 A JP 2016057847A JP 2016195390 A JP2016195390 A JP 2016195390A
- Authority
- JP
- Japan
- Prior art keywords
- target point
- grid
- video camera
- screen
- coordinate grid
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims abstract description 17
- 238000013507 mapping Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
- B60R2300/402—Image calibration
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mechanical Engineering (AREA)
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
20 システム
22 ECU
24 プロセッサ
26 メモリ
30 ビデオカメラ
32 ディスプレイ
34 スピーカー
Claims (20)
- 車両に配設されたビデオカメラと、前記ビデオカメラの視野内の物体の注視点としての目標点との間の距離および方向を求める方法であって、
世界座標グリッドを表す点のグリッドをスクリーン座標グリッド上にマッピングし、マッピングされたグリッドを電子制御ユニット内に格納することによって事前初期化することと、
ビデオカメラで画像を生成して、プロセッサとメモリを含む電子制御ユニットにビデオ画像を提供することと、
スクリーン座標グリッドを使用してビデオ画像をディスプレイ上に表示することと、
ビデオ画像内の物体の注視点としての目標点を取得することと、
目標点を包囲するスクリーン座標グリッドの4つのグリッド点の位置を求めることと、
目標点から、目標点を包囲する4つのグリッド点それぞれまでのスクリーン距離を求めて格納することと、
目標点を包囲しているスクリーン座標グリッドからの4つのグリッド点を世界座標グリッド上にマッピングすることと、
スクリーン距離によって重み付けされた世界座標グリッド内の目標点の位置を求めるために補間を適用することと、
世界座標内のビデオカメラの既知の位置と、世界座標内の目標点の求められた位置を使用して、ビデオカメラの位置と物体の目標点の間の距離を求める、
ことを含む方法。 - 前記目標点の位置を求めるために補間を適用することは、バイリニア補間を適用することを含む請求項1に記載の方法。
- 目標点の位置特定のためのバイリニア補間は、
目標点を包囲する世界座標グリッド内の4つのグリッド点それぞれを、スクリーン座標グリッド内の4つのグリッド点それぞれに関して求められたスクリーン距離の逆二乗によって重み付けし、
世界座標内の目標点の位置を求めるために、逆二乗されたスクリーン距離の和によって正規化することを含む、請求項2に記載の方法。 - 前記ビデオカメラは単眼パノラマビデオカメラを備えている、請求項1に記載の方法。
- 世界座標グリッドを表す点のグリッドをスクリーン座標グリッド上にマッピングし格納することによる前記事前初期化は、
付帯的ビデオカメラ較正パラメータを電子制御ユニットに提供することと、
世界座標の世界座標グリッドに既知の物理的寸法を提供することと、
較正パラメータを考慮して世界座標グリッドをスクリーン座標グリッドに変換することと、
スクリーン座標のスクリーン座標グリッドを提供することを含む、請求項1に記載の方法。 - 付帯的ビデオカメラ較正パラメータはビデオカメラのレンズのレンズ特性を含む、請求項5に記載の方法。
- 前記ビデオカメラは単眼パノラマビデオカメラを備えている、請求項6に記載の方法。
- 衝突を回避するために、車両に配設されたビデオカメラから物体の目標点までの距離の変化を求めることを含む、請求項1に記載の方法。
- 前記ディスプレイはタッチスクリーンを備え、目標点を、ビデオ画像に示された物体の注視点として取得することは、そこに表示されたビデオ画像内の物体の目標点においてタッチスクリーンをタッチすることを含む、請求項1に記載の方法。
- 目標点を、ビデオ画像内に示された物体の注視点として取得することは、さらに、
ビデオ画像に示された物体を、タッチスクリーンのタッチされた目標点において拡大しセンタリングし、
タッチスクリーンを目標点で再度タッチすることにより、拡大されたビデオ画像内の物体の厳密な目標点を選択することと、
タッチスクリーンが再度タッチされたことに応答して、厳密な目標点を規定することを含む、請求項9に記載の方法。 - 車両に配設されたビデオカメラと、ビデオカメラの視野内の物体の注視点としての目標点との間の距離および方向を求めるシステムであって、
ビデオ画像を生成するための車両に固定されたビデオカメラと、
プロセッサおよびメモリを含む電子制御ユニットとを備え、前記電子制御ユニットは、
世界座標グリッドを表す点のグリッドをスクリーン座標グリッド上にマッピングし、マッピングされたグリッドをメモリ内に格納することによって事前初期化し、
ビデオカメラからビデオ画像を受け取り、
スクリーン座標グリッドを使用してビデオ画像をディスプレイ上に表示し、
ディスプレイ上のビデオ画像に表示された物体の注視点としての目標点を取得し、
目標点を包囲しているスクリーン座標グリッドの4つのグリッド点の位置を求め、
目標点から、4つのグリッド点それぞれまでのスクリーン距離を求めて格納し、
目標点を包囲しているスクリーン座標グリッドからの4つのグリッド点を世界座標グリッド上にマッピングし、
スクリーン距離によって重み付けされた世界座標グリッド内の目標点の位置を求めるために補間を適用し、
世界座標内のビデオカメラの既知の位置と、世界座標内の目標点の求められた位置を使用して、ビデオカメラの位置から物体の目標点までの距離および方向を求めるように構成されているシステム。 - 前記目標点の位置を求めるための補間はバイリニア補間を含む請求項11に記載のシステム。
- 目標点の位置特定のためのバイリニア補間はさらに、
目標点を包囲する世界座標グリッド内の4つのグリッド点それぞれを、スクリーン座標グリッド内の4つのグリッド点それぞれに関して求められたスクリーン距離の逆二乗によって重み付けし、
世界座標における目標点の位置を求めるために、逆二乗されたスクリーン距離の和によって正規化することを含む、請求項12に記載のシステム。 - 前記ビデオカメラは単眼パノラマビデオカメラを備えている、請求項11に記載のシステム。
- 前記電子制御ユニットは、
ビデオカメラの付帯的ビデオカメラ較正パラメータを取得し、
世界座標の世界座標グリッドに既知の物理的寸法を取得し、
較正パラメータを考慮して世界座標グリッドをスクリーン座標グリッドに変換し、
スクリーン座標グリッドに、変換された世界座標を提供する、
ことによって、世界座標グリッドを表す点のグリッドをスクリーン座標グリッド上にマッピングし、マッピングされたグリッドをメモリ内に格納することによって事前初期化するように構成されている、請求項11に記載のシステム。 - 付帯的ビデオカメラ較正パラメータはビデオカメラのレンズのレンズ特性を含む、請求項15に記載のシステム。
- 前記ビデオカメラは単眼パノラマビデオカメラを備えている、請求項16に記載のシステム。
- 前記電子制御ユニットは、衝突を回避するために、車両に配設されたビデオカメラから物体の目標点までの距離の変化を求めるように構成されている、請求項11に記載のシステム。
- 前記ディスプレイはタッチスクリーンを備え、前記電子制御ユニットは、運転者による、タッチスクリーンの目標点でのタッチからの信号を受け取るように構成されている、請求項11に記載のシステム。
- 前記電子制御ユニットはさらに、
ビデオ画像に示された物体を、タッチスクリーンのタッチされた目標点において拡大しセンタリングし、
厳密な物体の目標点を拡大されたビデオ画像内で取得するために、タッチスクリーン上に拡大されたビデオ画像の運転者による再度のタッチからの信号を受け取り、
厳密な目標点を拡大されたビデオ画像に規定して格納する、
ように構成されている、請求項19に記載のシステム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/675862 | 2015-04-01 | ||
US14/675,862 US9802539B2 (en) | 2015-04-01 | 2015-04-01 | Distance and direction estimation of a target point from a vehicle using monocular video camera |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016195390A true JP2016195390A (ja) | 2016-11-17 |
JP6726006B2 JP6726006B2 (ja) | 2020-07-22 |
Family
ID=56937612
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016057847A Active JP6726006B2 (ja) | 2015-04-01 | 2016-03-23 | 単眼ビデオカメラを使用した、車両からの目標点の距離および方向の算定 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9802539B2 (ja) |
JP (1) | JP6726006B2 (ja) |
DE (1) | DE102016203710B4 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10261515B2 (en) * | 2017-01-24 | 2019-04-16 | Wipro Limited | System and method for controlling navigation of a vehicle |
US10363874B2 (en) * | 2017-09-19 | 2019-07-30 | Ford Global Technologies, Llc | Hitch assist system with hitch coupler identification feature and hitch coupler height estimation |
US10430672B2 (en) * | 2018-02-22 | 2019-10-01 | Ford Global Technologies, Llc | Hitch assist system with trailer height estimation and hitch coupler identification |
CN109949364B (zh) * | 2019-04-01 | 2023-04-11 | 上海淞泓智能汽车科技有限公司 | 一种基于路侧单目摄像头的车辆姿态检测精度优化方法 |
US11652972B2 (en) * | 2020-03-04 | 2023-05-16 | Toyota Research Institute, Inc. | Systems and methods for self-supervised depth estimation according to an arbitrary camera |
CN113465573A (zh) * | 2021-06-30 | 2021-10-01 | 深圳市优必选科技股份有限公司 | 单目测距方法、装置及智能装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008284969A (ja) * | 2007-05-16 | 2008-11-27 | Aisin Seiki Co Ltd | 駐車支援装置 |
JP2009210331A (ja) * | 2008-03-03 | 2009-09-17 | Toa Corp | カメラキャリブレーション装置およびカメラキャリブレーション方法 |
JP2010171914A (ja) * | 2008-12-24 | 2010-08-05 | Fujitsu General Ltd | 画像データ変換装置 |
JP2012085026A (ja) * | 2010-10-08 | 2012-04-26 | Toshiba Alpine Automotive Technology Corp | 画像処理装置及び画像処理方法 |
WO2012060269A1 (ja) * | 2010-11-04 | 2012-05-10 | コニカミノルタオプト株式会社 | 画像処理方法、画像処理装置及び撮像装置 |
KR20130064169A (ko) * | 2011-12-08 | 2013-06-18 | 아진산업(주) | 다중 룩업 테이블을 이용한 차량 어라운드 뷰 영상 생성장치 |
KR20140108368A (ko) * | 2013-02-25 | 2014-09-11 | 중앙대학교 산학협력단 | 어안 렌즈를 이용한 3차원 왜곡 장치 및 방법 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI246665B (en) | 2001-07-12 | 2006-01-01 | Ding-Jang Tzeng | Method for aiding the driving safety of road vehicle by monocular computer vision |
US7379063B2 (en) * | 2004-07-29 | 2008-05-27 | Raytheon Company | Mapping application for rendering pixel imagery |
JP4681856B2 (ja) * | 2004-11-24 | 2011-05-11 | アイシン精機株式会社 | カメラの校正方法及びカメラの校正装置 |
DE602005016311D1 (de) * | 2005-06-06 | 2009-10-08 | Tomtom Int Bv | Navigationseinrichtung mit kamera-info |
JP4835109B2 (ja) * | 2005-10-31 | 2011-12-14 | アイシン精機株式会社 | 駐車目標位置設定装置 |
US8164628B2 (en) | 2006-01-04 | 2012-04-24 | Mobileye Technologies Ltd. | Estimating distance to an object using a sequence of images recorded by a monocular camera |
JP4337929B2 (ja) | 2007-12-25 | 2009-09-30 | トヨタ自動車株式会社 | 移動状態推定装置 |
US9459113B2 (en) * | 2008-11-21 | 2016-10-04 | GM Global Technology Operations LLC | Visual guidance for vehicle navigation system |
US8284998B2 (en) | 2010-07-01 | 2012-10-09 | Arcsoft Hangzhou Co., Ltd. | Method of estimating depths from a single image displayed on display |
CN102141398B (zh) * | 2010-12-28 | 2013-01-30 | 北京航空航天大学 | 基于单目视觉的多机器人位置与姿态测量方法 |
CN103077524A (zh) | 2013-01-25 | 2013-05-01 | 福州大学 | 混合视觉系统标定方法 |
CN103745452B (zh) | 2013-11-26 | 2014-11-26 | 理光软件研究所(北京)有限公司 | 相机外参评估方法、装置、相机外参标定方法和装置 |
CN103761737B (zh) | 2014-01-22 | 2016-08-31 | 北京工业大学 | 基于稠密光流的机器人运动估计方法 |
US9499018B2 (en) * | 2015-04-01 | 2016-11-22 | Robert Bosch Gmbh | Trailer coupling assistance system with vehicle video camera |
-
2015
- 2015-04-01 US US14/675,862 patent/US9802539B2/en active Active
-
2016
- 2016-03-08 DE DE102016203710.2A patent/DE102016203710B4/de active Active
- 2016-03-23 JP JP2016057847A patent/JP6726006B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008284969A (ja) * | 2007-05-16 | 2008-11-27 | Aisin Seiki Co Ltd | 駐車支援装置 |
JP2009210331A (ja) * | 2008-03-03 | 2009-09-17 | Toa Corp | カメラキャリブレーション装置およびカメラキャリブレーション方法 |
JP2010171914A (ja) * | 2008-12-24 | 2010-08-05 | Fujitsu General Ltd | 画像データ変換装置 |
JP2012085026A (ja) * | 2010-10-08 | 2012-04-26 | Toshiba Alpine Automotive Technology Corp | 画像処理装置及び画像処理方法 |
WO2012060269A1 (ja) * | 2010-11-04 | 2012-05-10 | コニカミノルタオプト株式会社 | 画像処理方法、画像処理装置及び撮像装置 |
KR20130064169A (ko) * | 2011-12-08 | 2013-06-18 | 아진산업(주) | 다중 룩업 테이블을 이용한 차량 어라운드 뷰 영상 생성장치 |
KR20140108368A (ko) * | 2013-02-25 | 2014-09-11 | 중앙대학교 산학협력단 | 어안 렌즈를 이용한 3차원 왜곡 장치 및 방법 |
Also Published As
Publication number | Publication date |
---|---|
JP6726006B2 (ja) | 2020-07-22 |
US9802539B2 (en) | 2017-10-31 |
DE102016203710B4 (de) | 2019-11-28 |
DE102016203710A1 (de) | 2016-10-06 |
US20160288711A1 (en) | 2016-10-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6726006B2 (ja) | 単眼ビデオカメラを使用した、車両からの目標点の距離および方向の算定 | |
EP3565739B1 (en) | Rear-stitched view panorama for rear-view visualization | |
JP5491235B2 (ja) | カメラキャリブレーション装置 | |
JP5222597B2 (ja) | 画像処理装置及び方法、運転支援システム、車両 | |
CN107465890B (zh) | 车辆的图像处理装置 | |
US8355565B1 (en) | Producing high quality depth maps | |
JP6891954B2 (ja) | 物体検知装置、物体検知方法、及びプログラム | |
JP2009017462A (ja) | 運転支援システム及び車両 | |
JP2009230235A (ja) | 画像処理装置及び方法、運転支援システム、車両 | |
CN109447901B (zh) | 一种全景成像方法和装置 | |
CN112009371B (zh) | 车内后视镜全视野动态显示方法、存储介质及电子设备 | |
US11816787B2 (en) | Method for representing an environmental region of a motor vehicle with virtual, elongated distance markers in an image, computer program product as well as display system | |
KR20180020274A (ko) | 패널 변환 | |
WO2018222122A1 (en) | Methods for perspective correction, computer program products and systems | |
JP2015186085A (ja) | 移動量導出装置、及び、移動量導出方法 | |
JP2020038101A (ja) | 画像処理装置、運転支援システム、画像処理方法及びプログラム | |
KR20170057684A (ko) | 전방 카메라를 이용한 주차 지원 방법 | |
JP4855278B2 (ja) | カメラパラメータ取得装置 | |
CN111089579B (zh) | 异构双目slam方法、装置及电子设备 | |
US20130089254A1 (en) | Apparatus and method for correcting stereoscopic image using matching information | |
JP2013152546A (ja) | 運転支援装置、運転支援方法及びそのプログラム | |
JP6734136B2 (ja) | 画像処理装置 | |
US11461928B2 (en) | Location estimation apparatus | |
JP2008294616A (ja) | 運転支援システム及び車両 | |
US20160231822A1 (en) | Mapping type three-dimensional interaction apparatus and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190308 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200305 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20200511 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200603 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200616 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200626 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6726006 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |