JP2020061114A - 奥行き推定装置、奥行き推定装置を使用する自動運転車両、及び自動運転車両に使用する奥行き推定方法 - Google Patents

奥行き推定装置、奥行き推定装置を使用する自動運転車両、及び自動運転車両に使用する奥行き推定方法 Download PDF

Info

Publication number
JP2020061114A
JP2020061114A JP2018220031A JP2018220031A JP2020061114A JP 2020061114 A JP2020061114 A JP 2020061114A JP 2018220031 A JP2018220031 A JP 2018220031A JP 2018220031 A JP2018220031 A JP 2018220031A JP 2020061114 A JP2020061114 A JP 2020061114A
Authority
JP
Japan
Prior art keywords
sensor data
depth
algorithm
depth estimation
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018220031A
Other languages
English (en)
Other versions
JP6744900B2 (ja
Inventor
泗得 ▲蒋▼
泗得 ▲蒋▼
Si De Jiang
威豪 ▲頼▼
威豪 ▲頼▼
Wei Hao Lai
珮蓉 梁
Pei Rong Liang
珮蓉 梁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial Technology Research Institute ITRI
Original Assignee
Industrial Technology Research Institute ITRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial Technology Research Institute ITRI filed Critical Industrial Technology Research Institute ITRI
Publication of JP2020061114A publication Critical patent/JP2020061114A/ja
Application granted granted Critical
Publication of JP6744900B2 publication Critical patent/JP6744900B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Image Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

【課題】高解像度の奥行きマップの精度を高めることを可能とする、奥行き推定装置、奥行き推定方法、並びに奥行き推定方法及び奥行き推定装置を備える車両を提供する。【解決手段】奥行き推定装置であって、第１及び第２センサデータをそれぞれ生成するための第１及び第２タイプのセンサと、第１及び第２タイプのセンサに結合されたプロセッサとを備える。プロセッサは、２段階のセグメンテーションアルゴリズムを使用することにより、第１センサデータを処理して第１及び第２セグメンテーション結果を生成し、第１セグメンテーション結果のパラメータと、第２センサデータのパラメータとを同期させて同期化第２センサデータを生成し、２段階の奥行き推定アルゴリズムを使用することにより、第１セグメンテーション結果と、同期化第２センサデータと、第２セグメンテーション結果とを融合させて第１及び第２奥行き結果を生成するよう構成されている。【選択図】図５

Description

本開示は、自動運転車両に使用される奥行き推定装置、奥行き推定装置を使用する自動運転車両、及び自動運転車両に使用する奥行き推定方法に関する。
自動運転車両の開発において、検出装置は、将来の自動運転車両にとって不可欠の構成要素である。様々な検出装置を統合すれば、より信頼性の高い検出データと、任意の環境の周囲におけるより正確な情報を提供することができる。様々な物体検出技術により、指定の物体を信頼性高くかつ正確に検出可能ではあるが、同期的なデータ取得が実施される場合、異なる環境での様々な検出モダリティに関して一貫性を欠くセンサ性能により、同時に使用されるものの準最適にしか統合されない既存の多くの検出技術における性能が間引かれる可能性がある。
ハードウェアの限界により、現在のところ検出性能が制約されているため、検出技術には様々な問題がある。例えば、データサンプリングレートが低いが故に、高速度の物体に関しては信頼性の高い検出結果が得られ難い。検出結果に対して統一的な仕様を適用すれば、最低の座標系における動作に起因して、検出されるべき物体の一部ではないピクセルが、検出された物体として含まれる可能性がある。細かい経路計画の場合、最低のデータ解像度により、検出された物体が失われる可能性がある。
図1Aは、奥行きマップを生成するために使用可能な様々なセンサを示す。このようなセンサは、LiDAR、ステレオカメラ、並びにタイム・オブ・フライトカメラ（TOFカメラ）を含むことができる。表１は、自動運転車両の周囲における奥行き情報を生成可能な各センサ間の特性を比較したものを詳細に示す。表１に示す値は、構成に基づいて特定値が変わる可能性があるため、単なる例示に過ぎない。
表１及び上記の記載によれば、最先端技術の奥行き検出センサは、LiDARセンサで実現可能である。LiDARセンサは、ステレオカメラ又はTOFカメラなどの機器に比べて、典型的には、360°の視野、最大の検出範囲、並びに最大の奥行き精度を有する。しかしながら、LiDARのデータ解像度及びサンプリングレートは、幾つかの要因により制約される可能性がある。
例えば、奥行き体積を把握するために使用されるビーム数が制限される可能性がある。図1Bは、低解像度のLiDARデータと高解像度のLiDARデータとの比較を示す。この場合、低解像度のLiDARデータは、例えば、より少ないレーザービーム数（例えば16ビーム）を有するLiDARで得られた投影点群体積であり、高解像度のLiDARデータは、例えば、より多くのレーザービーム数（例えば64ビーム）を有するLiDARで得られた投影点群体積である。現在の様々なバージョンのLiDAR変換器においては、トレードオフの関係が明らかである。例えば、より安価なLiDARであれば、より少ないビーム数（即ち図1Bであれば16ビーム）を有し、LiDARのビーム数がより少なければ、単位秒あたりに生成される点はより少ないが、LiDARのビーム数がより少なければ電力消費はより小さい。これらのトレードオフにより、幾つかの影響、例えば、疎な点群を有する物体を認識するのが困難になる。なぜなら、その物体の加速に伴い、得られる点群が少なくなるからである（図1B参照）。
現在の様々なバージョンのLiDAR変換器においては、トレードオフの関係が明らかである。例えば、より近傍の物体は、より多くの点群を有し、より小さな物体は、点群がより少ない。これらのトレードオフにより、幾つかの影響、例えば、より小さな物体を認識するのが困難になる。なぜなら、実質的な分析のための点群数が極端に少なく、より小さなその物体の加速が生じれば、得られる点群が更に少なくなるからである。
上述したトレードオフの関係を考慮すれば、疎な点群を密な点群に変換することによって検出の信頼性を高める奥行きアップサンプリング法が極めて重要である。奥行きアップサンプリング技術により、幾つかの目標を実現することができる。例えば、より正確な経路計画を実現することができる。なぜなら、奥行きアップサンプリング技術により、単にバウンディングボックスを使用するのではなく、検出結果をより細かくセグメント化できるため、各ピクセルが奥行き値を得ることが可能になるからである。更に、物体の相対位置、大きさ、又は速度（即ち加速）に関わらず、物体をより信頼性高く検出可能な高密度の奥行きマップ（検出アルゴリズム）を使用すれば、より良好な検出精度を実現することができる。この場合、システム全体としては、安価なシステムを使用することができる。なぜなら、奥行きアップサンプリングは、高コストLiDARで取得された奥行きマップを利用するのではなく、低コストLiDARで取得された高密度の奥行きマップの利用を可能にするからである。LiDARのビーム数が少なくなると、単位秒あたりに生成される点も少なくなる。
背景技術で説明したように、点群が疎である物体は、点群がより少ないために認識が困難である。そのため、疎な点群を密な点群に変換することにより、検出の信頼性を高めることが極めて重要である。従って、奥行き推定装置、奥行き推定方法、並びに該方法及び装置を備える車両を提供し、これにより高解像度の奥行きマップの精度を高めることが必要である。
この課題を解決するため、本開示は、自動運転車両に使用される奥行き推定装置、奥行き推定装置を使用する自動運転車両、並びに自動運転車両に使用する奥行き推定方法に関する。
本開示は、例示的な実施形態の１つにおいて、これらに限定されないが、第１センサデータを生成するための第１タイプのセンサと、第２センサデータを生成するための第２タイプのセンサと、第１タイプのセンサ及び第２タイプのセンサに結合されたプロセッサとを備える奥行き推定装置に関する。プロセッサは、第１セグメンテーションアルゴリズムを使用することにより、第１センサデータを処理して第１セグメンテーション結果を生成し、第２セグメンテーションアルゴリズムを使用することにより、第１センサデータを処理して第２セグメンテーション結果を生成し、データ整列アルゴリズムを使用することにより、第１セグメンテーション結果のパラメータと、第２センサデータのパラメータとを同期させて複数のセグメントを含む同期化第２センサデータ（この場合、複数のセグメントの一部が複数の点群を含む）を生成し、第１奥行き推定アルゴリズムを使用することにより、第１セグメンテーション結果と、同期化第２センサデータとを融合させて第１奥行き結果を生成し、第２奥行き推定アルゴリズムを使用することにより、第２セグメンテーション結果と、第１奥行き結果とを融合させて第２奥行き結果を生成するよう少なくとも構成されている。
本開示は、例示的な実施形態の１つにおいて、これらに限定されないが、第１センサデータを生成するための第１タイプのセンサと、第２センサデータを生成するための第２タイプのセンサと、第１タイプのセンサ及び第２タイプのセンサに結合されたプロセッサとを有する奥行き推定装置を備える自動運転車両に関する。プロセッサは、第１セグメンテーションアルゴリズムを使用することにより、第１センサデータを処理して第１セグメンテーション結果を生成し、第２セグメンテーションアルゴリズムを使用することにより、第１センサデータを処理して第２セグメンテーション結果を生成し、データ整列アルゴリズムを使用することにより、第１セグメンテーション結果のパラメータと、第２センサデータのパラメータとを同期させて複数のセグメントを含む同期化第２センサデータ（この場合、複数のセグメントの一部が複数の点群を含む）を生成し、第１奥行き推定アルゴリズムを使用することにより、第１セグメンテーション結果と、同期化第２センサデータとを融合させて第１奥行き結果を生成し、第２奥行き推定アルゴリズムを使用することにより、第２セグメンテーション結果と、第１奥行き結果とを融合させて第２奥行き結果を生成するよう少なくとも構成されている。
本開示は、例示的な実施形態の１つにおいて、自動運転車両（ただし、自動運転車両に限定されない）に使用する奥行き推定方法に関する。本開示の方法は、第１タイプのセンサを使用することにより、第１センサデータを生成するステップを含み、第２タイプのセンサを使用することにより、第２センサデータを生成するステップを含み、第１セグメンテーションアルゴリズムを使用することにより、第１センサデータを処理して第１セグメンテーション結果を生成し、第２セグメンテーションアルゴリズムを使用することにより、第１センサデータを処理して第２セグメンテーション結果を生成するステップを含み、データ整列アルゴリズムを使用することにより、第１セグメンテーション結果のパラメータと、第２センサデータのパラメータとを同期させて複数のセグメントを含む同期化第２センサデータ（この場合、複数のセグメントの一部が複数の点群を含む）を生成するステップを含み、第１奥行き推定アルゴリズムを使用することにより、第１セグメンテーション結果と、同期化第２センサデータとを融合させて第１奥行き結果を生成するステップを含み、第２奥行き推定アルゴリズムを使用することにより、第２セグメンテーション結果と、第１奥行き結果とを融合させて第２奥行き結果を生成するステップを含む。
本発明の効果は、得られた２段階のセグメントを使用することにより、各センサによる奥行きマップの解像度を高めること、画像の特徴を考慮することにより、得られた２段階のセグメントを構成すること、更には色情報及び物体情報に基づいて、２段階の奥行き推定を行うことを含むことができる。これにより、奥行き推定の精度を高めることができる。
本発明は、自動運転車両に使用される奥行き推定装置、奥行き推定装置を使用する自動運転車両、並びに自動運転車両に使用する奥行き推定方法を提供する。本発明は、自動運転車両又は他の類似の装置で使用するのに適している。
添付図面は、本開示を更に理解するために提供され、本明細書に組み込まれると共に、その一部を構成するものである。各図面は、本開示の実施形態を示し、かつ本明細書の記載と共に本開示の原理を説明するのに役立つ。
図1Aは、奥行きマップを生成するために一般的に使用可能な機器を示す説明図であり、図1Bは、低解像度LiDARデータと高解像度LiDARデータとの比較を示す説明図である。 本開示の例示的な実施形態の１つに係る奥行き推定装置におけるハードウェアを示すブロック図である。 本開示の例示的な実施形態の１つに係る奥行き推定装置を使用する自動運転車両を示すブロック図である。 本開示の例示的な実施形態の１つに係る奥行き推定方法のステップを示すフローチャートである。 本開示の例示的な実施形態の１つに係る奥行き推定フレームワークを示すブロック図である。 図6A〜図6Fは、本開示の例示的な実施形態の１つに係る奥行き推定方法の実施例を示す説明図である。 本開示の例示的な実施形態の１つに係る奥行き推定フレームワークの詳細を示すブロック図である。 図8Aは、本開示の例示的な実施形態の１つに係る画像修正アルゴリズムを示す説明図であり、図8Bは、本開示の例示的な実施形態の１つに係る第１セグメンテーションアルゴリズムを示す説明図であり、図8Cは、本開示の例示的な実施形態の１つに係る第２セグメンテーションアルゴリズムを示す説明図である。 図9A〜図9Cは、本開示の例示的な実施形態の１つに係るデータ整列アルゴリズムを示す説明図である。 図10A〜図10Cは、本開示の例示的な実施形態の１つに係るオクルージョン相関アルゴリズムを示す説明図である。 図11A及び図11Bは、本開示の例示的な実施形態の１つに係る第１奥行き推定アルゴリズムを示す説明図である。 図12A及び図12Bは、本開示の例示的な実施形態の１つに係る第２奥行き推定アルゴリズムを示す説明図である。 図13A〜図13Cは、本開示の例示的な実施形態の１つに係る奥行き推定方法の他の実施例を示す説明図である。 図14A〜図14Eは、本開示の例示的な実施形態の１つに係る奥行き推定方法の他の実施例を示す説明図である。
以下、本開示の例示的な実施形態を添付図面に基づいて詳述する。図面及び記載において、同一部分又は類似部分は、可能な限り同一参照符号で表す。
本開示は、自動運転車両における指定の視野（FOV）の奥行きマップを推定するためのフレームワークを提供する。このフレームワークは、奥行き推定装置、奥行き推定装置を使用する自動運転車両、並びに奥行き推定方法の観点から説明する。本発明に係る装置は、人間の介入なしに自動的に動作する自動運転車両内に配置可能であり、従って検出機能及び制御機能を実行するために、車両に関する高解像度の奥行きマップを推定することが重要である。本発明に係る装置は、重なり合うFOVを複数の異なる検出装置のセット、例えば、周囲から２次元（2D）RGBデータを取得するための１個以上の画像センサを有する撮像装置のセットと、周囲から３次元（3D）の点群体積を取得するための１個以上のLiDAR変換器を有するLiDAR変換器のセットと、画像修正アルゴリズム、オクルージョン相関アルゴリズム、データ整列アルゴリズム、セグメンテーションアルゴリズムのセット、奥行き推定アルゴリズムのセットを、各タイプのセンサに関連して実行するよう少なくとも構成され、これにより高解像度の推定マップを生成する処理ユニットとを備える(ただし、これらに限定されない)。本発明に係るフレームワークにより、奥行きマップの解像度を高めれば、高解像度の奥行きマップの精度を高めることができる。図2〜図5を参照して、奥行き推定フレームワークを更に説明する。
図2は、本開示の例示的な実施形態の１つに係る奥行き推定装置におけるハードウェアのブロック図を示す。奥行き推定装置200は、第１タイプのセンサ210、第２タイプのセンサ220、並びにプロセッサ230を備える。第１タイプのセンサ210としては、画像センサ、例えば、指定のFOV内における可視光を2D画像に取り込むRGB画像センサを使用することができる。第２タイプのセンサ220としては、画像・距離測定変換器、例えば、指定のFOV内における反射信号をサンプリングし、それに応じて3D体積を再構成するLiDAR変換器を使用することができる。プロセッサ230は、第１セグメンテーションアルゴリズムを使用することにより、第１センサデータを処理して第１セグメンテーション結果を生成し、第２セグメンテーションアルゴリズムを使用することにより、第１センサデータを処理して第２セグメンテーション結果を生成するよう少なくとも構成されている。
プロセッサ230は更に、データ整列アルゴリズムを使用することにより、第１セグメンテーション結果のパラメータと、第２センサデータのパラメータとを同期させ、複数のセグメントを含む同期化（同期された）第２センサデータを生成するよう構成されている。この場合、複数のセグメントの一部は、複数の点群を含むことができる。他の実施形態においては、複数のセグメントのそれぞれが複数の点群を含むことができる。このことは、当業者であれば、実際の状況及び要求に従って調整可能であることに留意されたい。プロセッサ230は更に、第１奥行き推定アルゴリズムを使用することにより、第１セグメンテーション結果と、同期化第２センサデータとを融合させて第１奥行き結果を生成するよう構成されている。プロセッサ230は更に、第２奥行き推定アルゴリズムを使用することにより、第２セグメンテーション結果と、第１奥行き結果とを融合させて第２奥行き結果を生成するよう構成されている。このように、本開示においては、２段階のセグメンテーションアルゴリズム、データ整列アルゴリズム、並びに２段階の奥行き推定アルゴリズムにより、奥行きマップの解像度を高める。
図3は、本開示の例示的な実施形態の１つに係る奥行き推定装置を使用する自動運転車両のブロック図を示す。この場合、自動運転車両300は、図2に示す奥行き推定装置200を備える（ただし、奥行き推定装置200に限定されない）。
図4は、本開示の例示的な実施形態の１つに係る奥行き推定方法のステップのフローチャートを示す。ステップS410において、奥行き推定装置は、第１タイプのセンサを使用することにより、第１センサデータを生成する。ステップS420において、奥行き推定装置は、第２タイプのセンサを使用することにより、第２センサデータを生成する。ステップS412において、奥行き推定装置は、第１セグメンテーションアルゴリズムを使用することにより、第１センサデータを処理して第１セグメンテーション結果を生成すると共に、第２セグメンテーションアルゴリズムを使用することにより、第１センサデータを処理して第２セグメンテーション結果を生成する。
より詳細に述べれば、第１セグメンテーションアルゴリズムを使用することにより、第１センサデータを処理するステップ（即ちステップS412）は、第１センサデータの色情報に基づく第１セグメンテーションアルゴリズムを使用することにより、第１センサデータを処理することを含む。第２セグメンテーションアルゴリズムを使用することにより、第１センサデータを処理するステップ（即ちステップS412）は、第１センサデータの物体情報に基づく第２セグメンテーションアルゴリズムを使用することにより、第１センサデータを処理することを含む。
ステップS421において、奥行き推定装置は、データ整列アルゴリズムを使用することにより、第１セグメンテーション結果のパラメータと、第２センサデータのパラメータとを同期させ、複数のセグメントを含む同期化第２センサデータを生成する。この場合、複数のセグメントの一部は、複数の点群を含むことができる。他の実施形態においては、複数のセグメントのそれぞれが複数の点群を含むことができる。このことは、当業者であれば、実際の状況及び要求に従って調整可能であることに留意されたい。ステップS422において、奥行き推定装置は、第１奥行き推定アルゴリズムを使用することにより、第１セグメンテーション結果と、同期化第２センサデータとを融合させて第１奥行き結果を生成する。最後に、ステップ430において、奥行き推定装置は、第２奥行き推定アルゴリズムを使用することにより、第２セグメンテーション結果と、第１奥行き結果とを融合させて第２奥行き結果を生成する。
以下、図5〜図15Bに基づいて、奥行き推定フレームワークを幾つかの例示的な実施形態及び実施例で説明する。図5は、本開示の例示的な実施形態の１つに係る奥行き推定フレームワークのブロック図を示す。図6A〜図6Fは、本開示の例示的な実施形態の１つに係る奥行き推定方法の実施例を示す。図5及び図6A〜図6Fにおいて、記載対象のフレームワークは、複数のタイプの検出装置（例えば、図6AのRGBカメラ及びLiDAR変換器）と、各タイプの検出装置に関連する複数のアルゴリズムとを使用することにより、重なり合うFOV（図6B参照）に亘って奥行き推定を行う奥行き推定装置を備える。この場合、RGBカメラのFOV距離は100メートルであり、LiDARセンサのFOV度は360°である。複数のタイプの検出装置は、第１タイプのセンサ（例えば、図5のRGBカメラアレイ501）と、第２タイプのセンサ（例えば、図5のLiDAR変換器アレイ502）を含むことができる。
より具体的に述べれば、RGBカメラアレイ501は、自動運転車両の視野内における画像を取得し、その画像に応じて第１センサデータ（例えばRGB画像データ）を生成する（RGB画像データステップS510参照）。また、LiDAR変換器アレイ502は、自動運転車両の周囲における点群体積を取得し、その点群体積に応じて第２センサデータ（例えば奥行き体積データ）を生成する（奥行き体積データステップS520参照）。この場合、奥行き体積データは、（図6Dに示すように）疎な奥行きデータである。本明細書において、用語「疎」及び「密」は、画像の解像度を指す。RGBカメラアレイ501及びLiDAR変換器502にはプロセッサが結合され、そのプロセッサは、RGB画像データ及び奥行き体積データを処理するよう少なくとも構成されている。より詳細に述べれば、プロセッサは、画像修正アルゴリズムを使用することにより、RGB画像データを処理してRGB画像データにおける空間的歪みを除去すると共に、画像修正ステップS511において、修正第１センサデータ（例えば、図6Cに示す修正RGB画像データ）を生成する。
色に基づくセグメンテーションステップS512aにおいて、プロセッサは、RGB画像データの色情報に基づく第１セグメンテーションアルゴリズムを使用することにより、（図6Cの）修正RGB画像データを処理して第１セグメンテーション結果を生成する。物体に基づくセグメンテーションステップS512bにおいて、プロセッサは、RGB画像データの物体情報に基づく第２セグメンテーションアルゴリズムを使用することにより、修正RGB画像データを処理して第２セグメンテーション結果を生成する。換言すれば、プロセッサは、修正RGB画像データの色情報に基づいて、修正RGB画像をセグメント化して（複数のセグメントを含む）第１セグメンテーション結果を生成する。更に、プロセッサは、修正RGB画像データの物体情報に基づいて、修正RGB画像をセグメント化して第２セグメンテーション結果を生成する。
ただし他の実施形態において、プロセッサは、RGB画像データステップS510にてRGBカメラアレイ501で生成される第１センサデータ（RGB画像データ）により、色に基づくセグメンテーションステップS512a及び物体に基づくセグメンテーションステップS512bを直接的に処理可能であることに留意されたい。即ち、図5は単なる一例に過ぎず、本発明を限定するものではない。
データ整列ステップS521において、プロセッサは、データ整列アルゴリズムを使用することにより、第１セグメンテーション結果のパラメータと、第２センサデータのパラメータとを同期させて同期化第２センサデータを生成する。更に、同期化第２センサデータは、複数のセグメントを含む。この場合、複数のセグメントの一部は、複数の点群を含むことができ、また同期化第２センサデータは、（図6Eに示すように）疎な奥行きデータである。他の実施形態においては、複数のセグメントのそれぞれが複数の点群を含むことができる。このことは、当業者であれば、実際の状況及び要求に従って調整可能であることに留意されたい。プロセッサは更に、色ガイドされた奥行き推定ステップS522において、第１奥行き推定アルゴリズムを使用することにより、第１セグメンテーション結果と、同期化第２センサデータとを融合させて第１奥行き結果を生成する。
換言すれば、プロセッサは、修正RGB画像データの色情報に基づいて、同期化第２センサデータを第１セグメンテーション結果にマッピングすることにより、第１奥行き結果を生成する。物体ガイドされた奥行き推定ステップS530において、プロセッサは、第２奥行き推定アルゴリズムを使用することにより、第２セグメンテーション結果と、第１奥行き結果とを融合させて第２奥行き結果（例えば、図6Fに示す高解像度の奥行きマップ）を生成する。換言すれば、プロセッサは、修正RGB画像データの色情報に基づいて、第２セグメンテーション結果と、第１奥行き結果とを融合させて第２奥行き結果（即ち、高解像度マップ）を生成する。この場合、高解像度の奥行きマップは、密な奥行きデータである。このように、本開示は、画像修正アルゴリズム、２段階のセグメンテーションアルゴリズム、データ整列アルゴリズム、２段階の奥行き推定アルゴリズムを使用すると共に、RGBカメラアレイ501、LiDAR変換器アレイ502、並びにプロセッサにより、奥行きマップの解像度を高める。
図7は、本開示の例示的な実施形態の１つに係る奥行き推定フレームワークの詳細なブロック図を示す。図示の実施形態において、複数のタイプの検出装置は、第１タイプのセンサ（例えばRGBカメラアレイ701）及び第２タイプのセンサ（例えばLiDAR変換器アレイ702）を含むことができる。RGBカメラアレイ701は、（RGB画像データステップ710）において、自動運転車両近傍の画像を取得し、その画像に応じて第１センサデータ（例えばRGB画像データ）を生成する。LiDAR変換器アレイ702は、（奥行き体積データステップS720）において、自動運転車両近傍の画像を取得し、その画像に応じて第２センサデータ（例えば奥行き体積データ）を生成する。この場合、奥行き体積データは、疎な奥行きデータである。
本明細書において、図8Aは、本開示の例示的な実施形態の１つに係る画像修正アルゴリズムの説明図を示す。図7及び図8Aにおいて、プロセッサは、（図7及び図8Aに示す画像修正ステップS711にて）画像修正アルゴリズムを使用することにより、RGB画像データを処理してRGB画像データの空間的歪みを除去すると共に、（修正RGB画像データステップS711aにて）修正第１センサデータ（例えば修正RGB画像データ）を生成する。より具体的に述べれば、プロセッサは、レンズ効果によって引き起こされるRGB画像データ（例えば、図8Aに示す2D‐30 Hz RGB画像（C`））の空間的歪みを除去する。例えば、2D‐30 HzのRGB画像（C`）におけるバックプレーンは湾曲している（即ち、歪み現象が生じている）。図示のプロセッサは、変換行列703により、2D‐30 Hz RGB画像（C`）の空間的歪みを除去し、修正第１センサデータ（例えば、図8Aに示す2D‐30 Hz RGB画像（C）を生成する。この場合、2D‐30 Hz RGB画像（C）のバックプレーンは平坦になる。
図8Bは、本開示の例示的な実施形態の１つに係る第１セグメンテーションアルゴリズムの説明図を示す。図8Cは、本開示の例示的な実施形態の１つに係る第２セグメンテーションアルゴリズムの説明図を示す。図7、図8B及び図8Cにおいて、プロセッサは、（図7及び図8Bに示す、色に基づくセグメンテーションステップS712aにて）修正RGB画像データの色情報に基づいて、第１セグメンテーションアルゴリズムを使用することにより、修正RGB画像データを処理して第１セグメンテーション結果を生成する。より具体的に述べれば、プロセッサは、修正RGB画像データ（例えば、図8Bに示す2D‐30 Hz RGB画像（C））を分析し、2D‐30 Hz RGB画像（C）の色情報に基づいて、2D‐30 Hz RGB画像（C）における類似の平面を識別する。この場合、色情報には、色相（即ち色）、彩度（即ち色の強度）、並びに値（即ち輝度）が含まれる。
プロセッサはその後、色情報に基づいて、2D‐30 Hz RGB画像（C）における全てのピクセルを領域毎のセグメントに分類する。プロセッサは、2D‐30 Hz RGB画像（C）をセグメント化して第１セグメンテーション結果（即ち図8Bに示す、色に基づくと共に複数のセグメントを含むセグメントマップ（Sc））を生成する。2D‐30 Hz RGB画像（C）における全てのピクセルは、色情報に基づいて、異なる領域にセグメント化される。図8Bにおいて、第１セグメンテーション結果（即ち、色に基づくセグメントマップ（Sc））は、複数のセグメンテーションSEGとして表されている。各セグメンテーションSEGは、2D‐30 Hz RGB画像（C）における類似の分類特徴を有する一連のRGBピクセルに基づいている。第１セグメンテーションアルゴリズムとしては、例えば、単純な線形反復クラスタリング（SLIC）法が採用される。
一方、プロセッサは、（図7及び図8に示す、物体に基づくセグメンテーションステップS712bにて）修正RGB画像データの物体情報に基づいて、第２セグメンテーションアルゴリズムを使用することにより、修正RGB画像データを処理して第２セグメンテーション結果（例えば図8Cに示す、物体に基づくセグメントマップ（So））を生成する。より具体的に述べれば、プロセッサは、物体情報に基づいて、修正RGB画像（例えば図8Cに示す、2D‐30 Hz RGB画像（C））における全てのピクセルを領域毎のセグメントに分類する。物体に基づくマップは、先に行われたセグメンテーションスキームにおいて未規定のコンテキスト領域全体を識別するのに役立つ。物体に基づくマップは、図7及び図8Bに示す、色ガイドされた奥行き推定ステップS722の精度を高めることができる。
プロセッサはその後、2D‐30 Hz RGB画像（C）の物体情報に基づいて、2D‐30 Hz RGB画像（C）をセグメント化して第２セグメンテーション結果（即ち図8Cに示す、物体に基づくセグメントマップ（So））を生成する。より詳細に述べれば、2D‐30 Hz RGB画像（C）における全てのピクセルは、物体情報に基づいて、異なる領域にセグメント化される。この場合、物体情報には、車両、交通コーン、スクーター、歩行者、空、道路、並びに他の一般的な物体クラスが含まれる。第２セグメンテーション結果（即ち、物体に基づくセグメントマップ（So））は、複数の物体セグメンテーションとして表されている。各物体セグメンテーションは、2D‐30 Hz RGB画像（C）における類似物体の一連のRGBピクセルに基づいている。第２セグメンテーションアルゴリズムとしては、例えば、完全畳み込みネットワーク（FCN）法が採用される。
ただし他の実施形態において、プロセッサは、RGB画像データステップS710にてRGBカメラアレイ701で生成される第１センサデータ（RGB画像データ）により、色に基づくセグメンテーションステップS712a及び物体に基づくセグメンテーションステップS712bを直接的に処理可能であることに留意されたい。即ち、図7は単なる一例に過ぎず、本発明を限定するものではない。
図9A〜図9Cは、本開示の例示的な実施形態の１つに係るデータ整列アルゴリズムの説明図を示す。図7、図9A〜図9Cにおいて、プロセッサは、データ整列アルゴリズムを使用することにより、第１セグメンテーション結果のパラメータと、第２センサデータのパラメータとを同期させて同期化第２センサデータを生成する。この場合、データ整列アルゴリズムは、（図7及び図9Aに示す）空間整列ステップS721aと、（図7、図9B及び図9Cに示す）時間整列ステップS721bとを含む。より詳細に述べれば、データ整列アルゴリズムは、変換行列703を使用することにより、第２センサデータの空間パラメータを整列させて整列化（整列させた）第２センサデータを生成すること、並びに時間整列アルゴリズムを使用することにより、第１セグメンテーション結果の時間パラメータと、整列化第２センサデータの時間パラメータとを整列させることを含む。
より具体的に述べれば、プロセッサは、（図7及び図9Aに示す）変換行列703を使用することにより、第２センサデータの空間パラメータ（例えば図9に示す、3D‐20 Hzの疎な点群（L））を整列させる。換言すれば、プロセッサは、変換行列703により、第２センサデータを3Dデータから2Dデータに変換して整列化第２センサデータ（即ち、ピンホール画像原理により、図9Aの2D‐20 Hzの疎な点群
[外１]
）を生成する。より詳細に述べれば、奥行きに基づく前処理は、360°のFOV及び（例えば20 Hz）の周波数fLのサンプリングレートを有する１個以上のアクティブな3D奥行きセンサ（即ちLiDAR変換器アレイ702）を必要とする。奥行きに基づくセンサ（即ちLiDAR変換器アレイ702）のデータとRGBに基づくセンサ（即ち、RGBカメラアレイ701）との間でデータの同期を可能とするために、疎な3D点群体積データ（例えば（ＬT＝［ＬX,ＬY,ＬZ］）の空間情報（又は座標系）は、RGBに基づくセンサの密なRGB画像（例えばＣT＝［Ｃｉ,Ｃｊ］）と同期させる必要がある。
第２センサ（例えば図9Aに示す、3D‐20 Hzの疎な点群（L））のマッピングは、2D‐30 Hz RGB画像（C）のFOV内に位置する点群についてのみ行われる。この場合、データ整列アルゴリズムは、次式で表される通り、変換行列703における回転行列を使用する：
更に、取得された点は、次式で表される通り、並進行列に基づいて置き換えられる：
その後、取得された点は、次式で表される通り、（画像修正を使用して取得された）利用可能な固有のメトリックに従って変換される：
最後に、次式で表される通り、取得された点が処理されることにより生の点群データに関して所望の2D画像が得られる：
更に、プロセッサは、時間整列アルゴリズムを使用することにより、第１セグメンテーション結果（即ち図8Bに示す、色に基づくセグメントマップ（Sc））の時間パラメータと、整列化第２センサデータ（即ち図9Aに示す、2D‐20 Hzの疎な点群
[外２］
とを整列させて同期化第２センサデータを生成する。時間整列アルゴリズムは、第１セグメンテーション結果のサンプリングレートと、整列化第２センサデータとを同期させることを含む。より詳細に述べれば、LiDAR変換器アレイ702のサンプリングレートは、RGBカメラアレイ701のサンプリングレートよりも小さい。
一般的に、LiDAR変換器アレイ702は、（例えば20 Hz）の周波数fLのサンプリングレートを有し、RGBカメラアレイ701は、（例えば30 Hz）までの周波数fCのサンプリングレートを有することができる。この条件によれば、LiDAR変換器アレイ702のデータを20 Hzから30 Hzにアップサンプリングする同期化技術が必要であることを意味する。従って、プロセッサは、第１セグメンテーション結果のサンプリングレートと、整列化第２センサデータのサンプリングレートとを同期させる。
図9Bは、時間整列アルゴリズムに関連する補間法を示す。図9Bによれば、LiDAR変換器アレイ702は、50 ミリセカンド（ms）毎に１つの点群体積を得ることができる。従って、LiDAR変換器アレイ702は、（図9Bに示すように）0 ms、50 ms、100 ms、150 ms、200 ms、250 ms、並びに300 msの時点で点群体積を得ることができる。RGBカメラアレイ701は、33 ms毎に１つの画像を得ることができる。従って、RGBカメラアレイ701は、（図9Bに示すように）0 ms、33 ms、67 ms、100 ms、133 ms、167 ms、200 ms、233 ms、267 ms、並びに300 msの時点で画像を得ることができる。この場合、プロセッサは、同じ時点（即ち、0 ms、100 ms、200 ms、300 ms）で得られた画像を直接的に同期させることができる。
プロセッサはその後、LiDAR変換器アレイ702における前の２つのデータに対して補間法を適用する。換言すれば、プロセッサは、LiDAR変換器アレイ702によって異なる時点で得られたデータを処理する。この場合、プロセッサは、LiDAR変換器アレイ702によって0 ms及び50 msの時点で得られた画像を使用して67 msの時点におけるLiDAR変換器アレイ702の画像を生成する。プロセッサはその後、LiDAR変換器アレイ702によって67 ms及び100 msの時点で得られた画像を使用して133 msの時点におけるLiDAR変換器アレイ702の画像を生成する。プロセッサは同様に、167 msの時点における画像、233 msの時点における画像、並びに267 msの時点における画像を生成する。プロセッサはその後、自動運転車両の時間差及び移動量に基づいて、色に基づくセグメントマップ（Sc）と、3D‐20 Hzの疎な点群（L）との同期を開始する。
図9Cに示すように、プロセッサは、補間を行うために、自動運転車両の移動可能性及び周囲の物体を考慮する。より詳細に述べれば、時間整列アルゴリズムにおける補間法において、プロセッサは、整列化第２センサデータ（即ち図9Aに示す、2D‐20 Hzの疎な点群
[外３]
）における各セグメンテーション（例えばセグメントSEG）の一連の点群（例えば点Pt1〜Pt2）を、各フレーム（例えばフレームt-1、フレームt）にて、新たに取得された点群体積
[外４]
で認識する（ここにtは、画像データの時間インデックスを表す）。この場合、セグメントの一部のみが複数の点群を含むことができる。換言すれば、図示の各セグメントSEGは、複数の点群を含むセグメントのうちの１つを示す。他の実施形態においては、複数のセグメントのそれぞれが複数の点群を含むことができる。このことは、当業者であれば、実際の状況及び要求に従って調整可能であることに留意されたい。プロセッサは、セグメントSEG（例えば点Pout）内とは異なる点はフィルタリングする。なぜなら、点Pout及びセグメントSEGは異なる物体に位置するからである。プロセッサはその後、次式で表される通り、対になった点群と点群との間の最小ユークリッド距離を見出すことにより、
[外５]
の中の
各点群（例えばPt3，Pt4）を
[外６]
の中の
各点群（例えばPt1，Pt2）と対にする：
ここに、
[外７]
は、各セグメントSEGにおける各点群値の奥行き及び反射率値を表す。
第１セグメンテーション結果（即ち、色に基づくセグメントマップ（Sc））のセグメントSEG内における各点群の対に関して、t+1での新たな点群体積は、次式で表される通り、予測される：
である。
Ｔcamera（ ）及びＴLiDARは、RGBに基づくセンサ（即ちRGBカメラアレイ701）及び奥行きに基づくセンサ（即ちLiDAR変換器アレイ702）の正確なタイムスタンプを表す。
元々取得された点群又は人工的に生成された点群の全ては、サンプリングレートが周波数fL（即ち20 Hz）から周波数fC（即ち30 Hz）まで既に同期された同期化第２センサデータの体積データにおいて再度マッピングされる。
図10A〜図10Cは、本開示の例示的な実施形態の１つに係るオクルージョン相関アルゴリズムの説明図を示す。図7及び図10A〜図10Cにおいて、第１奥行き推定アルゴリズムを使用することにより、第１セグメンテーション結果と、同期化第２センサデータとを融合させて第１奥行き結果を生成するステップ（即ち色ガイドされた奥行き推定ステップS722）の前に、プロセッサは、（オクルージョン相関ステップS740にて）オクルージョン相関アルゴリズムを使用することにより、同期化第２センサデータを処理するよう更に構成されている。この場合、オクルージョン相関アルゴリズムは、全てのセグメントを走査すること、複数の各セグメントにおける複数の一連の点群を認識し、複数のセグメントにおける各部分のオクルード点及び複数の非オクルード点を見出すこと、オクルード点の奥行き値を、複数のセグメントの各部分における複数の非オクルード点の平均奥行き値で置き換えることを含む。
より詳細には、図10Aは、本開示の例示的な実施形態の１つに係るRGBカメラアレイ701及びLiDAR変換器アレイ702の設置箇所を示す。図示の実施形態において、第１タイプのセンサは、第２タイプのセンサよりも設置箇所が低く、例えば、RGBカメラアレイ701の設置箇所は、車両V100のボンネットに位置し、LiDAR変換器アレイ702の設置箇所は、車両V100のルーフに位置している。従って、LiDAR変換器アレイ702のFOVは、RGBカメラアレイ701のFOVよりも大きくなる可能性がある。これにより、LiDAR変換器アレイ702は、他の物体（例えば物体OB2）によって隠されている物体（例えば物体OB1）の点群体積を得ることができる。この場合、物体OB2は、物体OB1よりも車両V100に近い。換言すれば、物体OB2が物体OB1を隠しているため、RGBカメラアレイ701によって物体OB1の画像を得ることができない。オクルージョン補正は、図10Aに示すように、物体OB2を越えた位置における奥行きの点群を補正するものである。
このように、プロセッサは、オクルージョン相関アルゴリズムにより、同期化第２センサデータを処理するよう構成されている。オクルージョン相関アルゴリズムの詳細に関して、プロセッサは、同期化第２センサデータ（即ち図10Bに示す、2D‐30 Hzの疎な点群
[外８]
を、第１セグメンテーション結果（即ち図10Bに示す、色に基づくセグメントマップ（Sc））に関連付けるよう処理し、（図10Bに示すように）2D‐30 Hzの疎な点群
[外９]
を生成する。
より詳細に述べれば、プロセッサは、（図10Cに示すように）走査ウィンドウSW1により、2D‐30 Hzの疎な点群
[外１０]
における全てのセグメントを走査する。例えばセグメントSEGは、2D‐30 Hzの疎な点群
[外１１]
における複数のセグメントのうちの１つである。プロセッサはその後、複数の各セグメントにおける複数の一連の点群を認識し、複数のセグメントにおける各部分のオクルード点（セグメントSEGの例えばオクルード点P100）及び複数の非オクルード点（セグメントSEGにおける他の点）を見出す。プロセッサはその後、オクルード点P100の奥行き値を、複数のセグメントの各部分における走査ウィンドウSW1内にて複数の非オクルード点の平均奥行き値で置き換える。このようにして、オクルード点P100は、非オクルード点に相関させることができる。この段階で、プロセッサは、相関奥行き体積データステップS740aにて、同期化第２センサデータ（即ち、相関させた同期化第２センサデータ）を生成する。この相関させた同期化第２センサデータは、疎な奥行きデータである。
第２センサデータのパラメータ及び第１セグメンテーション結果のパラメータに関して、空間パラメータ及び時間パラメータを同期させた後、奥行き推定アルゴリズムが実行される。奥行き推定アルゴリズムに関しては、２つのアルゴリズム、即ち、第１奥行き推定アルゴリズム（色ガイドされた奥行き推定）と、第２奥行き推定アルゴリズム（物体ガイドされた奥行き推定）とが実行される。図11A及び図11Bは、本開示の例示的な実施形態の１つに係る第１奥行き推定アルゴリズムの説明図を示す。図7、図11A及び図11Bに示すように、プロセッサは、第１奥行き推定アルゴリズムを使用することにより、第１セグメンテーション結果と、同期化第２センサデータとを融合させて、色ガイドされた奥行き推定ステップS722にて第１奥行き結果を生成する。
より詳細にのべれば、第１奥行き推定アルゴリズムは、複数のセグメントの各部分における複数の点群の平均奥行き値を計算し、複数のセグメントの各部分に対応する平均奥行き値で、複数のセグメントの各部分における奥行値を埋めることを含む。より具体的には、プロセッサは、同期化第２センサデータ（例えば図10Bに示す、2D‐30 Hzの疎な点群
[外１２]
）における複数のセグメント（例えばセグメントSEG）の各部分における複数の点群（即ち、図11Aに示すセグメントSEGの点群）の平均奥行き値を計算する。
プロセッサはその後、複数のセグメント（即ち、図11Aに示すセグメントSEG）の各部分における奥行き値を、複数のセグメントの各部分に対応する平均奥行き値で埋めて第１奥行き結果（即ち、図11Bに示す高解像度の奥行きマップ（D））を生成する。このようにして、プロセッサは、第１奥行き推定アルゴリズムを使用することにより、第１セグメンテーション結果（即ち図11Bに示す、色に基づくセグメントマップ（Sc））と、同期化第２センサデータ（即ち図11Bに示す、2D‐30 Hzの疎な点群
[外１３]
）とを融合させて第１奥行き結果（即ち、図11Bに示す高解像度の奥行きマップ（D））を生成することができる。
図12A及び図12Bは、本開示の例示的な実施形態の１つに係る第２奥行き推定アルゴリズムの説明図を示す。図7、図12A及び図12Bに示すように、プロセッサは、第２奥行き推定アルゴリズムを使用することにより、第２セグメンテーション結果と、第１奥行き結果とを融合させて、物体ガイドされた奥行き推定ステップS730にて第２奥行き結果を生成する。本明細書において、第２奥行き推定アルゴリズムは、複数の一連のセグメントを認識して、未規定の奥行き値領域を見出すこと、複数のセグメントを走査して、複数のセグメントにおける（未規定の奥行き値領域近傍の）最小の奥行き値を見出すこと、オクルード点の奥行き値を、複数のセグメントにおける複数の非オクルード点の平均奥行き値と置き換えることを含む。
より具体的に述べれば、プロセッサは、走査ウィンドウSW2により、複数の一連のセグメントを認識して、未規定の奥行き値領域（例えば図12Aに示す画像における物体OBSのセグメント）を見出す。この場合、物体OBSは、複数のセグメントSEGを含む。プロセッサはその後、複数のセグメント（即ち、図12Aに示す未規定の奥行き値領域UNRの近傍のセグメント）を走査して、複数のセグメントにおける（未規定の奥行き値領域UNRに近い）最小の奥行き値を見出す。プロセッサはその後、（図12Aに示すように）未規定領域UNRの奥行き値を、最小の奥行き値で埋めて第２奥行き結果（例えば図12Bに示す、高解像度の奥行きマップ（D`））を生成する。
このようにして、プロセッサは、第２奥行き推定アルゴリズムを使用することにより、第２セグメンテーション結果（即ち図12Bに示す、物体に基づくセグメントマップ（So））と、第１奥行き結果（即ち図12Bに示す、高解像度の奥行きマップ（D））とを融合させて第２奥行き結果（即ち図12Bに示す、高解像度の奥行きマップ（D`））を生成する。この第２奥行き結果は、密な奥行きデータである。このように、本開示は、画像修正アルゴリズム、２段階のセグメンテーションアルゴリズム、データ整列アルゴリズム、２段階の奥行き推定アルゴリズムを使用すると共に、RGBカメラアレイ701、LiDAR変換器アレイ702、並びにプロセッサにより、奥行きマップの解像度を高める。
図13A〜図13Cは、本開示の例示的な実施形態の１つに係る奥行き推定方法の他の実施例の説明図を示す。図示の自動運転車両V1310は、奥行き推定装置1300を備える。奥行き推定装置1300は、フロント右側LiDAR1302a、フロント左側LiDAR1302b、フロントカメラ1301、並びに処理ユニット1303を備える。フロント右側LiDAR1302a、フロント左側LiDAR1302b、フロントカメラ1301は、処理ユニット1303に結合されている。この場合、処理ユニット1303としては、例えば、Intel Core i7 ＠ 2.4 GHz 4GB RAMと、Ubuntu 16.04 LTS上で動作するNVidia GeForce 940M 2GB VRAMとを有するパーソナル・コンピュータを使用することができる。
図13A〜図13Cにおいて、奥行き推定装置1300は、同期化第２センサデータ（即ち図13Bに示す、LiDARによる2D‐20 Hzの疎な点群及びRGB画像）に関して密な奥行き値を正確に推定することができると共に、第２奥行き結果（即ち図13Cに示す、2D‐30 Hzの高解像度の奥行きマップ）に関して密な奥行き値を推定することができる。更に、上述した実施例における平均的な複雑さは、26.232 fps（又は１フレームあたり38.122 ms）に達している。奥行き推定装置1300の複雑さは、色及び物体に基づいてガイドされた推定をバウンディングボックス領域などの領域に限定すれば、容易に低減することができる。換言すれば、処理ユニット1303は、画像修正アルゴリズムを処理して修正第１センサデータを処理するよう、２段階のセグメンテーションアルゴリズムを処理して第１セグメンテーション結果及び第２セグメンテーション結果を生成するよう、データ整列アルゴリズムを処理して同期化第２センサデータを生成するよう、更には２段階の奥行き推定アルゴリズムを処理して第１奥行き結果（即ち図13Bに示す、LiDARによる2D‐20 Hzの疎な点群及びRGB画像）及び第２奥行き結果（即ち図13Cに示す、2D‐30 Hzの高解像度の奥行きマップ）を生成するよう少なくとも構成されている。
奥行き推定装置1300は、図2、図5又は図7に示す奥行き推定装置と同じであるか又は類似していることに留意されたい。従って、これ以上の説明は省略されている。
図14A〜図14Eは、本開示の例示的な実施形態の１つに係る奥行き推定方法の他の実施例の説明図を示す。図示の自動運転車両V1410は、奥行き推定装置1400を備える。奥行き推定装置1400は、第１タイプのセンサ（例えばステレオカメラ1401）、第２タイプのセンサ（例えばVelodyne社のレーザースキャナー）、GPS1404、並びにプロセッサ1403を備える。レーザースキャナー1402、ステレオカメラ1401、並びにGPS1404は、プロセッサ1403に結合されている。この場合、プロセッサ1403としては、例えば、Intel Core i7 ＠2.4 GHz 4GB RAMと、Ubuntu 16.04 LTS上で動作するNVidia GeForce 940M 2GB VRAMとを有するパーソナル・コンピュータを使用することができる。
図14Bは、ステレオカメラ1401で得られた画像を示す。図14Cは、Velodyne社のレーザースキャナー1402で得られた画像を示す。より詳細に述べれば、プロセッサ1403は、画像修正アルゴリズムを処理して修正第１センサデータを処理するよう、２段階のセグメンテーションアルゴリズムを処理して第１セグメンテーション結果及び第２セグメンテーション結果を生成するよう、データ整列アルゴリズムを処理して同期化第２センサデータを生成するよう、更には２段階の奥行き推定アルゴリズムを処理して（図14Dに示す）第１奥行き結果及び（図14Eに示す）第２奥行き結果を生成するよう少なくとも構成されている。この場合、第２奥行き結果は、（図14Eに示すように）密な高解像度マップである。
奥行き推定装置1400は、図2、図5又は図7に示す奥行き推定装置と同じであるか又は類似していることに留意されたい。従って、これ以上の説明は省略されている。
以上の記載から、本開示は、自動運転車両に使用するのに適した奥行き推定装置を提供するものである。具体的に述べれば、本開示の目的は、得られた２段階のセグメントを使用することにより、各センサによる奥行きマップの解像度を高めること、画像の特徴を考慮することにより、得られた２段階のセグメントを構成すること、更には色情報及び物体情報に基づいて、２段階の奥行き推定を行うことを含む。これにより、奥行き推定の精度を高めることができる。
本明細書において開示された実施形態の詳細な説明における要素、動作、又は指示は、特に明示されていない限り、本開示にとって必ず重要又は必要であると解釈されるべきではない。また、本明細書における不定冠詞「a」及び「an」は、複数の要素を含み得る。１つの要素のみを対象とする場合には、「単一」又は類似の用語が使用されている。更に、本明細書における複数の要素及び／又は複数の要素のカテゴリーの前に記載の「何れか」という用語は、「任意」、「任意の組み合わせ」、「任意の複数」、及び／又は、「複数の要素の任意の組み合わせ」及び／又は「複数の要素のカテゴリーにおける任意の組み合わせ」という意味を、個別的に又は他の要素及び／又は他の要素のカテゴリーに関連して包含する。これに加えて、本明細書における「セット」という用語は、ゼロを含む任意の数の要素を包含する。更に、本明細書における「数値」は、ゼロを含む任意の数値を包含する。
本開示の趣旨から逸脱することなく、開示された実施形態に関して様々な変更及び変形を加え得ることは当業者にとって自明のことであろう。上記の記載において、本開示の修正及び変形は、添付の特許請求の範囲内及びその均等物に含まれるのであれば包含されるものと解釈される。
200 奥行き推定装置
210 第１タイプのセンサ
220 第２タイプのセンサ
230 プロセッサ
300 自動運転車両
S410 方法ステップ
S412 方法ステップ
S420 方法ステップ
S421 方法ステップ
S422 方法ステップ
S430 方法ステップ
501 RGBカメラアレイ
502 LiDAR変換器アレイ
S510 RGB画像データステップ
S511 画像修正ステップ
S512a 色に基づくセグメンテーションステップ
S512b 物体に基づくセグメンテーションステップ
S520 奥行き体積データステップ
S521 データ整列ステップ
S522 色ガイドされた奥行き推定ステップ
S530 物体ガイドされた奥行き推定ステップ
701 RGBカメラアレイ
702 LiDAR変換器アレイ
703 変換行列
S710 RGB画像データステップ
S711 画像修正ステップ
S711a 修正済みRGB画像データステップ
S712a 色に基づくセグメンテーションステップ
S712b 物体に基づくセグメンテーションステップ
S721a 空間整列ステップ
S721b 時間整列ステップ
S722 色ガイドされた奥行き推定ステップ
S730 物体ガイドされた奥行き推定ステップ
S740 オクルージョン相関ステップ
S740a 相関奥行き体積データステップ
SEG セグメンテーション
Pt1〜Pt6、Pout 点
t、t-1、t+1 時間
OB1、OB2、OBS 物体
V100 車両
SW1、SW2 スキャンウィンドウ
P100 オクルージョン点
UNR 未規定の奥行き値領域
1300 奥行き推定装置
1301 フロントカメラ
1302a フロント右側LiDAR
1302b フロント左側LiDAR
1303 処理ユニット
V1310 自動運転車両
1400 奥行き推定装置
1401 ステレオカメラ
1402 Velodyne社のレーザースキャナー
1403 プロセッサ
1404 GPS
V1410 自動運転車両

Claims (22)

  1. 奥行き推定装置であって、
    ・第１センサデータを生成するための第１タイプのセンサと、
    ・第２センサデータを生成するための第２タイプのセンサと、
    ・前記第１タイプのセンサ及び前記第２タイプのセンサに結合されたプロセッサとを備え、該プロセッサが、
    第１セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理して第１セグメンテーション結果を生成し、第２セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理して第２セグメンテーション結果を生成し、
    データ整列アルゴリズムを使用することにより、前記第１セグメンテーション結果のパラメータと、前記第２センサデータのパラメータとを同期させて複数のセグメントを含む同期化第２センサデータを生成し、前記複数のセグメントの一部が複数の点群を含み、
    第１奥行き推定アルゴリズムを使用することにより、前記第１セグメンテーション結果と、前記同期化第２センサデータとを融合させて第１奥行き結果を生成し、
    第２奥行き推定アルゴリズムを使用することにより、前記第２セグメンテーション結果と、前記第１奥行き結果とを融合させて第２奥行き結果を生成するよう少なくとも構成されている奥行き推定装置。
  2. 請求項１に記載の奥行き推定装置であって、前記プロセッサが、前記第１セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理するよう少なくとも構成され、前記第１セグメンテーションアルゴリズムが、前記第１センサデータの色情報に基づいて、前記第１センサデータを処理することを含み、前記プロセッサが、前記第２セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理するよう少なくとも構成され、前記第２セグメンテーションアルゴリズムが、前記第１センサデータの物体情報に基づいて、前記第１センサデータを処理することを含む奥行き推定装置。
  3. 請求項１又は２に記載の奥行き推定装置であって、第１奥行き推定アルゴリズムを使用することにより、前記第１セグメンテーション結果と、前記同期化第２センサデータとを融合させて第１奥行き結果を生成する前に、前記プロセッサが、オクルージョン相関アルゴリズムを使用することにより、前記同期化第２センサデータを処理するよう更に構成され、前記オクルージョン相関アルゴリズムが、
    前記全てのセグメントを走査すること、
    前記複数の各セグメントにおける一連の点群を認識して、前記複数のセグメントの各部分におけるオクルード点及び複数の非オクルード点を見出すこと、
    前記オクルード点の奥行き値を、前記複数のセグメントの各部分における前記複数の非オクルード点の平均奥行き値で置き換えることを含む奥行き推定装置。
  4. 請求項１〜３の何れか一項に記載の奥行き推定装置であって、前記第１奥行き推定アルゴリズムが、
    前記複数のセグメントの各部分における前記複数の点群の平均奥行き値を計算すること、
    前記複数のセグメントの各部分に対応する平均奥行き値で、前記複数のセグメントの各部分における奥行値を埋めることを含む奥行き推定装置。
  5. 請求項１〜４の何れか一項に記載の奥行き推定装置であって、前記第２奥行き推定アルゴリズムが、
    前記複数の一連のセグメントを認識して、未規定奥行き値領域を見出すこと、
    前記複数のセグメントを走査して、前記複数のセグメントにおける、前記未規定奥行き値領域近傍の最小の奥行き値を見出すこと、
    前記未規定領域の奥行き値を、最小の奥行き値で埋めることを含む奥行き推定装置。
  6. 請求項１〜５の何れか一項に記載の奥行き推定装置であって、前記データ整列アルゴリズムが、
    変換行列を使用することにより、前記第２センサデータの空間パラメータを整列させて整列化第２センサデータを生成すること、
    時間整列アルゴリズムを使用することにより、前記第１セグメンテーション結果の時間パラメータと、前記整列化第２センサデータの時間パラメータとを整列させて同期化第２センサデータを生成することを含む奥行き推定装置。
  7. 請求項６に記載の奥行き推定装置であって、前記時間整列アルゴリズムが、前記第１セグメンテーション結果のサンプリングレートと、前記整列化第２センサデータのサンプリングレートとを同期させることを含む奥行き推定装置。
  8. 請求項１〜７の何れか一項に記載の奥行き推定装置であって、前記第１タイプのセンサが、前記第２タイプのセンサよりも低い設置箇所を有する奥行き推定装置。
  9. 請求項１〜８の何れか一項に記載の奥行き推定装置であって、前記第１タイプのセンサがカメラを含み、前記第２タイプのセンサがLiDARセンサを含む奥行き推定装置。
  10. 請求項１〜９の何れか一項に記載の奥行き推定装置であって、前記第１セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理して前記第１セグメンテーション結果を生成し、前記第２セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理して前記第２セグメンテーション結果を生成する前に、前記プロセッサが、画像修正アルゴリズムを使用することにより、前記第１センサデータを処理して前記第１センサデータの空間的歪みを除去するよう更に構成されている奥行き推定装置。
  11. 奥行き推定装置を備える自動運転車両であって、前記奥行き推定装置が、
    ・第１センサデータを生成するための第１タイプのセンサと、
    ・第２センサデータを生成するための第２タイプのセンサと、
    ・前記第１タイプのセンサ及び前記第２タイプのセンサに結合されたプロセッサとを備え、該プロセッサが、
    第１セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理して第１セグメンテーション結果を生成し、第２セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理して第２セグメンテーション結果を生成し、
    データ整列アルゴリズムを使用することにより、前記第１セグメンテーション結果のパラメータと、前記第２センサデータのパラメータとを同期させて複数のセグメントを含む同期化第２センサデータを生成し、前記複数のセグメントの一部が複数の点群を含み、
    第１奥行き推定アルゴリズムを使用することにより、前記第１セグメンテーション結果と、前記同期化第２センサデータとを融合させて第１奥行き結果を生成し、
    第２奥行き推定アルゴリズムを使用することにより、前記第２セグメンテーション結果と、前記第１奥行き結果とを融合させて第２奥行き結果を生成するよう少なくとも構成されている自動運転車両。
  12. 請求項１１に記載の自動運転車両であって、前記プロセッサが、前記第１セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理するよう少なくとも構成され、前記第１セグメンテーションアルゴリズムが、前記第１センサデータの色情報に基づいて、前記第１センサデータを処理することを含み、前記プロセッサが、前記第２セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理するよう少なくとも構成され、前記第２セグメンテーションアルゴリズムが、前記第１センサデータの物体情報に基づいて、前記第１センサデータを処理することを含む自動運転車両。
  13. 請求項１１又は１２に記載の自動運転車両であって、第１奥行き推定アルゴリズムを使用することにより、前記第１セグメンテーション結果と、前記同期化第２センサデータとを融合させて第１奥行き結果を生成する前に、前記プロセッサが、オクルージョン相関アルゴリズムを使用することにより、前記同期化第２センサデータを処理するよう更に構成され、前記オクルージョン相関アルゴリズムが、
    前記全てのセグメントを走査すること、
    前記複数の各セグメントにおける一連の点群を認識して、前記複数のセグメントの各部分におけるオクルード点及び複数の非オクルード点を見出すこと、
    前記オクルード点の奥行き値を、前記複数のセグメントの各部分における前記複数の非オクルード点の平均奥行き値で置き換えることを含む自動運転車両。
  14. 自動運転車両に使用する奥行き推定方法であって、該方法が、
    第１タイプのセンサを使用することにより、第１センサデータを生成するステップを含み、
    第２タイプのセンサを使用することにより、第２センサデータを生成するステップを含み、
    第１セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理して第１セグメンテーション結果を生成し、第２セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理して第２セグメンテーション結果を生成するステップを含み、
    データ整列アルゴリズムを使用することにより、前記第１セグメンテーション結果のパラメータと、前記第２センサデータのパラメータとを同期させて複数のセグメントを含む同期化第２センサデータを生成するステップを含み、前記複数のセグメントの一部が複数の点群を含み、
    第１奥行き推定アルゴリズムを使用することにより、前記第１セグメンテーション結果と、前記同期化第２センサデータとを融合させて第１奥行き結果を生成するステップを含み、
    第２奥行き推定アルゴリズムを使用することにより、前記第２セグメンテーション結果と、前記第１奥行き結果とを融合させて第２奥行き結果を生成するステップを含む奥行き推定方法。
  15. 請求項１４に記載の奥行き推定方法であって、前記プロセッサが、前記第１セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理するよう少なくとも構成され、前記第１セグメンテーションアルゴリズムが、前記第１センサデータの色情報に基づいて、前記第１センサデータを処理することを含み、前記プロセッサが、前記第２セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理するよう少なくとも構成され、前記第２セグメンテーションアルゴリズムが、前記第１センサデータの物体情報に基づいて、前記第１センサデータを処理することを含む奥行き推定方法。
  16. 請求項１４又は１５に記載の奥行き推定方法であって、第１奥行き推定アルゴリズムを使用することにより、前記第１セグメンテーション結果と、前記同期化第２センサデータとを融合させて第１奥行き結果を生成するステップの前に、前記奥行き推定方法が、オクルージョン相関アルゴリズムを使用することにより、同期化第２センサデータを処理するステップを更に含み、前記オクルージョン相関アルゴリズムが、
    前記全てのセグメントを走査すること、
    前記複数の各セグメントにおける一連の点群を認識して、前記複数のセグメントの各部分におけるオクルード点及び複数の非オクルード点を見出すこと、
    前記オクルード点の奥行き値を、前記複数のセグメントの各部分における前記複数の非オクルード点の平均奥行き値で置き換えることを含む奥行き推定方法。
  17. 請求項１４〜１６の何れか一項に記載の奥行き推定方法であって、前記第１奥行き推定アルゴリズムが、
    前記複数のセグメントの各部分における前記複数の点群の平均奥行き値を計算すること、
    前記複数のセグメントの各部分に対応する平均奥行き値で、前記複数のセグメントの各部分における奥行値を埋めることを含む奥行き推定方法。
  18. 請求項１４〜１７の何れか一項に記載の奥行き推定方法であって、前記第２奥行き推定アルゴリズムが、
    前記複数の一連のセグメントを認識して、未規定奥行き値領域を見出すこと、
    前記複数のセグメントを走査して、前記複数のセグメントにおける、前記未規定奥行き値領域近傍の最小の奥行き値を見出すこと、
    前記未規定領域の奥行き値を、最小の奥行き値で埋めることを含む奥行き推定方法。
  19. 請求項１４〜１８の何れか一項に記載の奥行き推定方法であって、前記データ整列アルゴリズムが、
    変換行列を使用することにより、前記第２センサデータの空間パラメータを整列させて整列化第２センサデータを生成すること、
    時間整列アルゴリズムを使用することにより、前記第１セグメンテーション結果の時間パラメータと、前記整列化第２センサデータの時間パラメータとを整列させて同期化第２センサデータを生成することを含む奥行き推定方法。
  20. 請求項１９に記載の奥行き推定方法であって、前記時間整列アルゴリズムが、前記第１セグメンテーション結果のサンプリングレートと、前記整列化第２センサデータのサンプリングレートとを同期させることを含む奥行き推定方法。
  21. 請求項１４〜２０の何れか一項に記載の奥行き推定方法であって、前記第１タイプのセンサが、前記第２タイプのセンサよりも低い設置箇所を有する奥行き推定方法。
  22. 請求項１４〜２１に記載の奥行き推定方法であって、前記第１セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理して前記第１セグメンテーション結果を生成し、前記第２セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理して前記第２セグメンテーション結果を生成するステップの前に、前記方法が、画像修正アルゴリズムを使用することにより、前記第１センサデータを処理して前記第１センサデータの空間的歪みを除去するステップを更に含む奥行き推定方法。
JP2018220031A 2018-10-09 2018-11-26 奥行き推定装置、奥行き推定装置を使用する自動運転車両、及び自動運転車両に使用する奥行き推定方法 Active JP6744900B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/154,738 US10699430B2 (en) 2018-10-09 2018-10-09 Depth estimation apparatus, autonomous vehicle using the same, and depth estimation method thereof
US16/154,738 2018-10-09

Publications (2)

Publication Number Publication Date
JP2020061114A true JP2020061114A (ja) 2020-04-16
JP6744900B2 JP6744900B2 (ja) 2020-08-19

Family

ID=70052214

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018220031A Active JP6744900B2 (ja) 2018-10-09 2018-11-26 奥行き推定装置、奥行き推定装置を使用する自動運転車両、及び自動運転車両に使用する奥行き推定方法

Country Status (3)

Country Link
US (1) US10699430B2 (ja)
JP (1) JP6744900B2 (ja)
TW (1) TWI709943B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023162497A1 (ja) * 2022-02-22 2023-08-31 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法及び画像処理プログラム

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11244464B2 (en) * 2018-03-09 2022-02-08 Samsung Electronics Co., Ltd Method and apparatus for performing depth estimation of object
US20200137380A1 (en) * 2018-10-31 2020-04-30 Intel Corporation Multi-plane display image synthesis mechanism
WO2020241954A1 (ko) * 2019-05-31 2020-12-03 엘지전자 주식회사 차량용 전자 장치 및 차량용 전자 장치의 동작 방법
US11151798B1 (en) * 2019-11-13 2021-10-19 Apple Inc. Depth rate up-conversion
CN111860425B (zh) * 2020-07-30 2021-04-09 清华大学 一种深度多模态跨层交叉融合方法、终端设备及存储介质
TWI812888B (zh) * 2020-10-14 2023-08-21 財團法人工業技術研究院 影像辨識方法及影像辨識系統
TWI802827B (zh) * 2020-12-01 2023-05-21 財團法人國家實驗研究院 校正異常點雲資料之方法
CN112632201B (zh) * 2020-12-12 2022-05-13 武汉中海庭数据技术有限公司 一种交通道路拓扑网构建方法及装置
CN112686204B (zh) * 2021-01-12 2022-09-02 昆明理工大学 一种基于稀疏像素点跟踪的视频测流方法及装置
US11909950B1 (en) * 2021-09-21 2024-02-20 Amazon Technologies, Inc. Three-dimensional (3D) sensor performance evaluation
TWI830363B (zh) * 2022-05-19 2024-01-21 鈺立微電子股份有限公司 用於提供三維資訊的感測裝置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012056686A1 (ja) * 2010-10-27 2012-05-03 パナソニック株式会社 ３次元画像補間装置、３次元撮像装置および３次元画像補間方法
JP2014106543A (ja) * 2012-11-22 2014-06-09 Canon Inc 画像処理装置、画像処理方法及びプログラム
JP2015096812A (ja) * 2013-11-15 2015-05-21 キヤノン株式会社 画像処理装置、撮像装置および距離補正方法
JP2018526641A (ja) * 2015-08-24 2018-09-13 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ レーザ深度マップサンプリングのためのシステム及び方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI225222B (en) 2003-10-22 2004-12-11 Leadtek Research Inc Robust face detection algorithm for real-time video sequence
EP2184713A1 (en) 2008-11-04 2010-05-12 Koninklijke Philips Electronics N.V. Method and device for generating a depth map
US8941597B2 (en) 2009-10-09 2015-01-27 Egalax—Empia Technology Inc. Method and device for analyzing two-dimension sensing information
US20130095920A1 (en) 2011-10-13 2013-04-18 Microsoft Corporation Generating free viewpoint video using stereo imaging
US9514522B2 (en) 2012-08-24 2016-12-06 Microsoft Technology Licensing, Llc Depth data processing and compression
TWI509560B (zh) 2012-08-31 2015-11-21 Egalax Empia Technology Inc 影像分割的方法與裝置
CN104346608B (zh) 2013-07-26 2017-09-08 株式会社理光 稀疏深度图稠密化方法和装置
US9275078B2 (en) * 2013-09-05 2016-03-01 Ebay Inc. Estimating depth from a single image
US9778363B2 (en) 2013-10-24 2017-10-03 Massachusetts Institute Of Technology Methods and apparatus for coded time-of-flight camera
US20150381972A1 (en) 2014-06-30 2015-12-31 Microsoft Corporation Depth estimation using multi-view stereo and a calibrated projector
WO2017014691A1 (en) 2015-07-17 2017-01-26 Heptagon Micro Optics Pte. Ltd. Generating a distance map based on captured images of a scene
CN106162147B (zh) 2016-07-28 2018-10-16 天津大学 基于双目Kinect深度相机系统的深度恢复方法
US9972067B2 (en) 2016-10-11 2018-05-15 The Boeing Company System and method for upsampling of sparse point cloud for 3D registration
CN107767357B (zh) 2017-09-14 2021-04-09 北京工业大学 一种基于多方向字典的深度图像超分辨率方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012056686A1 (ja) * 2010-10-27 2012-05-03 パナソニック株式会社 ３次元画像補間装置、３次元撮像装置および３次元画像補間方法
JP2014106543A (ja) * 2012-11-22 2014-06-09 Canon Inc 画像処理装置、画像処理方法及びプログラム
JP2015096812A (ja) * 2013-11-15 2015-05-21 キヤノン株式会社 画像処理装置、撮像装置および距離補正方法
JP2018526641A (ja) * 2015-08-24 2018-09-13 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ レーザ深度マップサンプリングのためのシステム及び方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023162497A1 (ja) * 2022-02-22 2023-08-31 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法及び画像処理プログラム

Also Published As

Publication number Publication date
US10699430B2 (en) 2020-06-30
TWI709943B (zh) 2020-11-11
US20200111225A1 (en) 2020-04-09
TW202014990A (zh) 2020-04-16
JP6744900B2 (ja) 2020-08-19

Similar Documents

Publication Publication Date Title
JP6744900B2 (ja) 奥行き推定装置、奥行き推定装置を使用する自動運転車両、及び自動運転車両に使用する奥行き推定方法
WO2019220622A1 (ja) 画像処理装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体
EP3438777B1 (en) Method, apparatus and computer program for a vehicle
JP7448485B2 (ja) ポイントクラウドの着色において使用される方法及びシステム
US9129435B2 (en) Method for creating 3-D models by stitching multiple partial 3-D models
WO2016199244A1 (ja) 物体認識装置及び物体認識システム
KR100953076B1 (ko) 객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치
CN112346073A (zh) 一种动态视觉传感器与激光雷达数据融合方法
JPWO2020179065A1 (ja) 画像処理装置、画像処理方法及びプログラム
CN110738731B (zh) 一种用于双目视觉的3d重建方法和系统
KR20080002409A (ko) 2차원 영상의 3차원 영상 변환 장치 및 방법
EP3832601A1 (en) Image processing device and three-dimensional measuring system
CN113711276A (zh) 尺度感知单目定位和地图构建
US9204130B2 (en) Method and system for creating a three dimensional representation of an object
Hahne et al. Depth imaging by combining time-of-flight and on-demand stereo
JP7184203B2 (ja) 画像処理装置、３次元計測システム、画像処理方法
US20220012905A1 (en) Image processing device and three-dimensional measuring system
KR20160146567A (ko) 가변적으로 빠르게 움직이는 객체를 검출하는 방법 및 장치
KR20210108283A (ko) 깊이영상 카메라로부터 획득된 3d 영상의 품질 향상 방법
JPH11248431A (ja) ３次元モデル生成装置および３次元モデル生成プログラムを記録したコンピュータ読取可能な記録媒体
CN111105449B (zh) 深度估计装置、自动驾驶车辆及其深度估计方法
JP2016004382A (ja) 動き情報推定装置
JP2015033047A (ja) 複数カメラを用いた奥行き推定装置
KR101668649B1 (ko) 주변 환경 모델링 방법 및 이를 수행하는 장치
Tong et al. Dual-band stereo vision based on heterogeneous sensor networks

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200526

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200616

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200707

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200731

R150 Certificate of patent or registration of utility model

Ref document number: 6744900

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250