JP2018091857A - 適応型グランドプレーン推定を用いた自律運転のためのモノキュラ3d位置特定 - Google Patents
適応型グランドプレーン推定を用いた自律運転のためのモノキュラ3d位置特定 Download PDFInfo
- Publication number
- JP2018091857A JP2018091857A JP2018011340A JP2018011340A JP2018091857A JP 2018091857 A JP2018091857 A JP 2018091857A JP 2018011340 A JP2018011340 A JP 2018011340A JP 2018011340 A JP2018011340 A JP 2018011340A JP 2018091857 A JP2018091857 A JP 2018091857A
- Authority
- JP
- Japan
- Prior art keywords
- ground surface
- bounding box
- image
- camera
- sfm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004807 localization Effects 0.000 title claims abstract description 18
- 230000003044 adaptive effect Effects 0.000 title description 4
- 238000000034 method Methods 0.000 claims abstract description 45
- 230000033001 locomotion Effects 0.000 claims abstract description 10
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 2
- 238000001514 detection method Methods 0.000 description 17
- 238000012549 training Methods 0.000 description 16
- 230000000007 visual effect Effects 0.000 description 13
- 238000012937 correction Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 230000006399 behavior Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000008713 feedback mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
【解決手段】単一のカメラしか必要としない、3次元(3D)位置特定を実行する方法は、一つのカメラから画像を取り込むことと、疎な特徴、緻密なステレオおよびオブジェクトバウンディングボックスから、キューコンビネーションを生成することと、グランドプレーンを推定するために、キューコンビネーションを使用してモノキュラStructure from Motion(SFM)のスケールを補正することと、SFM、グランドプレーンおよびオブジェクトバウンディングボックスを組み合わせて3Dオブジェクト位置特定を生成することによって位置特定を実行すること、を含む。
【選択図】図1
Description
(a)追跡したバウンディングボックスを使用し、背景である画像の領域(移動しないオブジェクト)を決定し、モノキュラSFMを使用してカメラの姿勢およびグランドプレーンを推定する。
(b)オブジェクトに対して緻密なオプティカルフロー推定を実行して、それらオブジェクトをより良好に追跡する。
(c)3D点、緻密なステレオおよび2Dオブジェクトバウンディングボックスといった複数のキューを使用してグランドプレーンを推定する。
(d)様々なキューのフレームごとの相対的な重要度を示すモデルを学習する。
(e)カルマンフィルタ機構内でグランドプレーン推定を組み合わせる。
(f)推定したグランドプレーンを使用して、モノキュラSFMのスケールドリフトを補正する。
(g)推定したグランドプレーンを使用して、オブジェクトを取り囲む3Dバウンディングボックスを見つける。
(a)より正確(発明者等が、スケール補正に複数のキューを使用するので)
(b)より柔軟(発明者等のフレームワークは、多数の異なる種類のキューに跨る)。
(c)より堅牢(発明者等は、複数のキューを、それらのフレームごとの相対的重要度に基づいて、組み合わせる)。
(d)より速く(システムは、リアルタイムであり、高価な動きセグメンテーションを使用しない)。
(a)新規のキューコンビネーションフレームワークを使用して、モノキュラSFMのスケールドリフトを補正する。
(b)スケール補正のために、いくつかのキューを設計してグランドプレーンの高さを推定する。
(c)様々なキューを取り扱うのに十分な柔軟性を有する一般的なデータ駆動型キューコンビネーションフレームワークを設計する。
(d)上記のキューコンビネーションフレームワークで使用する各キューの相対的有効性を示す特定のモデルを学習する。
(e)カメラとシーンの3Dオブジェクトとの両方の高精度位置特定のために、効率的なリアルタイムフレームで、モノキュラSFMと、グランドプレーン推定と、オブジェクト追跡とを組み合わせる。
Claims (18)
- 単一のカメラしか必要としない3次元(3D)位置特定を実行する方法であって、
前記カメラからフレーム単位に画像を取り込むことと、
それぞれが地表面を推定するためのキューを構成する、前記画像の疎な特徴一致から得られる3D点と、連続フレーム間の緻密なステレオデータと、前記画像上のオブジェクトを取り囲む2次元(2D)オブジェクト境界ボックスとから、前記地表面を推定するためのキュー組み合わせを生成することと、
前記キュー組み合わせを使用してモノキュラStructure from Motion(SFM)のスケールを補正することと、
前記モノキュラSFM、前記地表面および前記2Dオブジェクト境界ボックスを組み合わせて3Dオブジェクト位置特定を生成することによって位置特定を実行することと、
Kを前記カメラに固有のキャリブレーション行列とし、b=(x,y,1)Tを同次座標の2D境界ボックスの底辺であるものとして、地表面{h,n}:
hおよびnは前記カメラに対する前記地表面の高さおよび向きであり、前記画像の疎な特徴一致は、連続する2つのフレームの一方の画像の疎な特徴と他方の画像の疎な特徴との一致である、方法。 - 3D位置特定のために、前記モノキュラSFM、前記キュー組み合わせ、およびオブジェクト追跡を組み合わせることを、さらに含む、請求項1に記載の方法。
- 前記2Dオブジェクト境界ボックスを追跡し、該追跡したオブジェクト境界ボックスを用いて、背景(非移動オブジェクト)となる画像の領域を決定し、前記モノキュラSFMを使用して前記カメラの姿勢および前記地表面を推定することを、さらに含む、請求項1に記載の方法。
- 前記オブジェクトに対して緻密なオプティカルフロー推定を実行することを、さらに含む、請求項1に記載の方法。
- 前記3D点、前記緻密なステレオデータおよび2Dオブジェクト境界ボックスを使用して前記地表面を推定することを含む、請求項1に記載の方法。
- フレームごとに各キューの相対的な重要度を示す1つ以上のモデルを学習することを、さらに含む、請求項1に記載の方法。
- 推定した地表面を適用して、前記モノキュラSFMのスケールドリフトを補正することを、さらに含む、請求項1に記載の方法。
- 前記推定した地表面が、前記オブジェクトを囲む3D境界ボックスを求めるために使用される、請求項7に記載の方法。
- 前記3D位置特定を用いて自律運転および運転安全性を実行することを、さらに含む、請求項1に記載の方法。
- 平らな地面に対応する前景中の関心領域(ROI)を決定することを含む、プレーン誘導型の緻密なステレオデータを決定することを、さらに含む、請求項1に記載の方法。
- 単一のカメラしか必要としない、車両または歩行者を含む交通参加者の3次元(3D)位置特定を実行する方法であって、
前記カメラからフレーム単位に画像を取り込むことと、
それぞれが地表面を推定するためのキューを構成する、前記画像の疎な特徴一致から得られる3D点と、連続フレーム間の緻密なステレオデータと、前記画像上のオブジェクトを取り囲む2次元(2D)オブジェクト境界ボックスとから、前記地表面を推定するためのキュー組み合わせを生成することと、
前記キュー組み合わせを使用してモノキュラStructure from Motion(SFM)のスケールを補正することと、
前記モノキュラSFM、前記地表面および前記2Dオブジェクト境界ボックスを組み合わせて3Dオブジェクト位置特定を生成することによって位置特定を実行することと、
Kを前記カメラに固有のキャリブレーション行列とし、b=(x,y,1)Tを同次座標の2D境界ボックスの底辺であるものとして、地表面{h,n}:
hおよびnは前記カメラに対する前記地表面の高さおよび向きであり、前記画像の疎な特徴一致は、連続する2つのフレームの一方の画像の疎な特徴と他方の画像の疎な特徴との一致である、方法。 - 3D位置特定のために、前記モノキュラSFM、前記キュー組み合わせ、およびオブジェクト追跡を組み合わせることを、さらに含む、請求項13に記載の方法。
- 前記2Dオブジェクト境界ボックスを追跡し、該追跡した境界ボックスを用いて、背景(非移動オブジェクト)となる画像の領域を決定し、前記モノキュラSFMを使用して前記カメラの姿勢および前記地表面を推定することを、さらに含む、請求項13に記載の方法。
- 前記オブジェクトに対して緻密なオプティカルフロー推定を実行することを、さらに含む、請求項13に記載の方法。
- 前記3D点、前記緻密なステレオデータおよび2Dオブジェクト境界ボックスを使用して前記地表面を推定することを含む、請求項13に記載の方法。
- 単一のカメラと、
前記カメラからフレーム単位に画像を取り込んで、車両または歩行者を含む交通参加者の3次元(3D)位置特定を行う位置特定手段と、を含み、
前記位置特定手段が、
それぞれが地表面を推定するためのキューを構成する、前記画像の疎な特徴一致から得られる3D点と、連続フレーム間の緻密なステレオデータと、前記画像上のオブジェクトを取り囲む2次元(2D)オブジェクト境界ボックスとから、前記地表面を推定するためのキュー組み合わせを生成する手段と、
前記キュー組み合わせを使用してモノキュラStructure from Motion(SFM)のスケールを補正する手段と、
前記モノキュラSFM、前記地表面および前記2Dオブジェクト境界ボックスを組み合わせて3Dオブジェクト位置特定を生成することによって位置特定を実行する手段と、
Kを前記カメラに固有のキャリブレーション行列とし、b=(x,y,1)Tを同次座標の2D境界ボックスの底辺であるものとして、地表面{h,n}:
hおよびnは前記カメラに対する前記地表面の高さおよび向きであり、前記画像の疎な特徴一致は、連続する2つのフレームの一方の画像の疎な特徴と他方の画像の疎な特徴との一致である、位置特定システム。
Applications Claiming Priority (8)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201361897440P | 2013-10-30 | 2013-10-30 | |
US61/897,440 | 2013-10-30 | ||
US201462026061P | 2014-07-18 | 2014-07-18 | |
US201462026184P | 2014-07-18 | 2014-07-18 | |
US62/026,061 | 2014-07-18 | ||
US62/026,184 | 2014-07-18 | ||
US14/451,280 US9189689B2 (en) | 2013-10-30 | 2014-08-04 | Robust scale estimation in real-time monocular SFM for autonomous driving |
US14/451,280 | 2014-08-04 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016527382A Division JP2017500542A (ja) | 2013-10-30 | 2014-08-05 | 適応型グランドプレーン推定を用いた自律運転のためのモノキュラ3d位置特定 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018091857A true JP2018091857A (ja) | 2018-06-14 |
JP6469905B2 JP6469905B2 (ja) | 2019-02-13 |
Family
ID=52995514
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016527382A Pending JP2017500542A (ja) | 2013-10-30 | 2014-08-05 | 適応型グランドプレーン推定を用いた自律運転のためのモノキュラ3d位置特定 |
JP2018011340A Active JP6469905B2 (ja) | 2013-10-30 | 2018-01-26 | 適応型グランドプレーン推定を用いた自律運転のためのモノキュラ3d位置特定 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016527382A Pending JP2017500542A (ja) | 2013-10-30 | 2014-08-05 | 適応型グランドプレーン推定を用いた自律運転のためのモノキュラ3d位置特定 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9189689B2 (ja) |
EP (1) | EP3063741B1 (ja) |
JP (2) | JP2017500542A (ja) |
WO (1) | WO2015065558A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9367922B2 (en) * | 2014-03-06 | 2016-06-14 | Nec Corporation | High accuracy monocular moving object localization |
US9928875B2 (en) * | 2016-03-22 | 2018-03-27 | Nec Corporation | Efficient video annotation with optical flow based estimation and suggestion |
US10248872B2 (en) | 2016-10-19 | 2019-04-02 | Texas Instruments Incorporated | Estimation of time to collision in a computer vision system |
CN109389645B (zh) * | 2017-08-02 | 2021-01-01 | 珊口(上海)智能科技有限公司 | 相机自校准方法、系统、相机、机器人及云端服务器 |
US10402724B2 (en) * | 2017-10-03 | 2019-09-03 | StradVision, Inc. | Method for acquiring a pseudo-3D box from a 2D bounding box by regression analysis and learning device and testing device using the same |
US11514594B2 (en) | 2019-10-30 | 2022-11-29 | Vergence Automation, Inc. | Composite imaging systems using a focal plane array with in-pixel analog storage elements |
CN111695480B (zh) * | 2020-06-04 | 2023-04-28 | 重庆大学 | 基于单帧图像的实时目标检测与3d定位方法 |
US11710254B2 (en) | 2021-04-07 | 2023-07-25 | Ford Global Technologies, Llc | Neural network object detection |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001266160A (ja) * | 2000-03-22 | 2001-09-28 | Toyota Motor Corp | 周辺認識方法および周辺認識装置 |
JP2006349607A (ja) * | 2005-06-20 | 2006-12-28 | Toyota Central Res & Dev Lab Inc | 距離計測装置 |
JP2009146406A (ja) * | 2007-12-11 | 2009-07-02 | Honda Research Inst Europe Gmbh | 2次元見え方およびマルチキュー奥行き推定を使用する実世界の物体の視覚的追跡方法 |
US20090243889A1 (en) * | 2008-03-27 | 2009-10-01 | Mando Corporation | Monocular motion stereo-based free parking space detection apparatus and method |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7477776B2 (en) * | 2004-03-01 | 2009-01-13 | Brainlab Ag | Method and apparatus for determining a plane of symmetry of a three-dimensional object |
US7384195B2 (en) * | 2004-07-09 | 2008-06-10 | Roplast Industries, Inc. | Bag with zippered pouch |
US7639565B2 (en) * | 2007-06-25 | 2009-12-29 | The United States Of America As Represented By The Secretary Of The Navy | Point source localization sonar system and method |
JP5151472B2 (ja) * | 2007-12-27 | 2013-02-27 | 株式会社豊田中央研究所 | 距離画像生成装置、環境認識装置、及びプログラム |
US9129432B2 (en) * | 2010-01-28 | 2015-09-08 | The Hong Kong University Of Science And Technology | Image-based procedural remodeling of buildings |
KR20130068510A (ko) * | 2011-12-15 | 2013-06-26 | 한국전자통신연구원 | 스파스 특징점 기반 워핑과 스테레오 매칭 융합 방법 및 장치 |
-
2014
- 2014-08-04 US US14/451,280 patent/US9189689B2/en active Active
- 2014-08-05 WO PCT/US2014/049685 patent/WO2015065558A1/en active Application Filing
- 2014-08-05 EP EP14858575.5A patent/EP3063741B1/en active Active
- 2014-08-05 JP JP2016527382A patent/JP2017500542A/ja active Pending
-
2018
- 2018-01-26 JP JP2018011340A patent/JP6469905B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001266160A (ja) * | 2000-03-22 | 2001-09-28 | Toyota Motor Corp | 周辺認識方法および周辺認識装置 |
JP2006349607A (ja) * | 2005-06-20 | 2006-12-28 | Toyota Central Res & Dev Lab Inc | 距離計測装置 |
JP2009146406A (ja) * | 2007-12-11 | 2009-07-02 | Honda Research Inst Europe Gmbh | 2次元見え方およびマルチキュー奥行き推定を使用する実世界の物体の視覚的追跡方法 |
US20090243889A1 (en) * | 2008-03-27 | 2009-10-01 | Mando Corporation | Monocular motion stereo-based free parking space detection apparatus and method |
Non-Patent Citations (2)
Title |
---|
ESS A ET AL.: "Robust Multiperson Tracking from a Mobile Platform", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, vol. 31, no. 10, JPN6017018972, October 2009 (2009-10-01), pages 1831 - 1846, XP011269026, ISSN: 0003947942, DOI: 10.1109/TPAMI.2009.109 * |
LIN, YUANQING: "Towards Visual 3D Scene Understanding for Autonomous driving", [オンライン], JPN7016003186, 12 February 2014 (2014-02-12), US, pages 5 - 19, ISSN: 0003947943 * |
Also Published As
Publication number | Publication date |
---|---|
JP2017500542A (ja) | 2017-01-05 |
EP3063741A4 (en) | 2017-05-24 |
US20150117709A1 (en) | 2015-04-30 |
WO2015065558A1 (en) | 2015-05-07 |
EP3063741B1 (en) | 2023-12-27 |
JP6469905B2 (ja) | 2019-02-13 |
EP3063741A1 (en) | 2016-09-07 |
US9189689B2 (en) | 2015-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6469905B2 (ja) | 適応型グランドプレーン推定を用いた自律運転のためのモノキュラ3d位置特定 | |
US11461912B2 (en) | Gaussian mixture models for temporal depth fusion | |
US10553026B2 (en) | Dense visual SLAM with probabilistic surfel map | |
CN106940704B (zh) | 一种基于栅格地图的定位方法及装置 | |
US9070202B2 (en) | Moving object localization in 3D using a single camera | |
US9661228B1 (en) | Robust image feature based video stabilization and smoothing | |
JP6794436B2 (ja) | 非障害物エリア検出のためのシステムおよび方法 | |
US9625908B2 (en) | Methods and systems for mobile-agent navigation | |
US9424649B1 (en) | Moving body position estimation device and moving body position estimation method | |
US20140253679A1 (en) | Depth measurement quality enhancement | |
JP6349418B2 (ja) | 高精度単眼移動によるオブジェクト位置特定 | |
US11887336B2 (en) | Method for estimating a relative position of an object in the surroundings of a vehicle and electronic control unit for a vehicle and vehicle | |
Muñoz-Bañón et al. | Targetless camera-LiDAR calibration in unstructured environments | |
US10192141B2 (en) | Determining scale of three dimensional information | |
Panev et al. | Road curb detection and localization with monocular forward-view vehicle camera | |
JP2018113021A (ja) | 情報処理装置およびその制御方法、プログラム | |
Fanani et al. | Keypoint trajectory estimation using propagation based tracking | |
KR101766823B1 (ko) | 불규칙한 조도 변화에 강건한 영상 기반 주행거리 측정 시스템 및 방법 | |
JP6186072B2 (ja) | 単一カメラを用いた3dでの移動物体の位置測定 | |
Donner et al. | Awakening history: Preparing a museum tour guide robot for augmenting exhibits | |
US11514588B1 (en) | Object localization for mapping applications using geometric computer vision techniques | |
Lee et al. | Robust multithreaded object tracker through occlusions for spatial augmented reality | |
Yousif et al. | 3d registration in dark environments using rgb-d cameras | |
Pagel | Robust monocular egomotion estimation based on an iekf | |
CN115019167B (zh) | 基于移动终端的融合定位方法、系统、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181221 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190108 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190116 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6469905 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |