JP2020034559A - 動的障害物の位置校正方法、装置、機器、及び記憶媒体 - Google Patents

動的障害物の位置校正方法、装置、機器、及び記憶媒体 Download PDF

Info

Publication number
JP2020034559A
JP2020034559A JP2019157032A JP2019157032A JP2020034559A JP 2020034559 A JP2020034559 A JP 2020034559A JP 2019157032 A JP2019157032 A JP 2019157032A JP 2019157032 A JP2019157032 A JP 2019157032A JP 2020034559 A JP2020034559 A JP 2020034559A
Authority
JP
Japan
Prior art keywords
obstacle
dimensional scene
scene map
frame data
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019157032A
Other languages
English (en)
Other versions
JP6830137B2 (ja
Inventor
フェイロン ヤン,
Feilong Yan
フェイロン ヤン,
ジン ファン,
Jin Fang
ジン ファン,
トントン チャオ,
Tongtong Zhao
トントン チャオ,
リャン ワン,
Liang Wang
リャン ワン,
ユウ マ,
Yu Ma
ユウ マ,
ルイガン ヤン,
Ruigang Yang
ルイガン ヤン,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Original Assignee
Baidu Online Network Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu Online Network Technology Beijing Co Ltd filed Critical Baidu Online Network Technology Beijing Co Ltd
Publication of JP2020034559A publication Critical patent/JP2020034559A/ja
Application granted granted Critical
Publication of JP6830137B2 publication Critical patent/JP6830137B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/207Analysis of motion for motion estimation over a hierarchy of resolutions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/02Non-photorealistic rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/579Depth or shape recovery from multiple images from motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Instructional Devices (AREA)

Abstract

【課題】動的障害物の位置校正方法、装置、機器、及び記憶媒体を提供する。【解決手段】動的障害物の位置校正方法は、静的障害物のみが含まれる三次元シーンマップを取得し、取得した三次元シーンマップと関連付けられた少なくとも一つのフレームの点群データを静的障害物と動的障害物とが同時に含まれる目標の単一フレームデータとして選択するステップ101と、目標の単一フレームデータに含まれる動的障害物の、三次元シーンマップが位置している座標系における姿勢情報を、決定するステップ102と、目標の単一フレームデータを三次元シーンマップにレジストレーションし、レジストレーションの結果に基づいて、目標の単一フレームデータの座標系における姿勢のオフセット情報を決定するステップ103と、姿勢のオフセット情報に基づいて、動的障害物の姿勢情報を校正した後、動的障害物を三次元シーンマップに追加するステップ104とを含む。【選択図】図1

Description

本発明は、点群データ処理技術に関し、特に、動的障害物の位置校正方法、装置、機器、及び記憶媒体に関する。
点群データシミュレーションは、目標シーンの点群データおよびコンピュータ補助設計モデルに基づいて、高現実の仮想点群データを生成する技術であり、大規模なシーンの構築に使用できる。たとえば、様々な道路情景を構築して、無人運転の三次元感知モジュールの訓練に使用される。一般的に、点群データシミュレーションは、三次元シーンマップの生成、障害物の状態のミュレーション、および、センサ動作原理のミュレーションのような、三つの主なモジュールを備える。障害物状態は、一般的に、障害物のある時点における位置および向きを意味する。
従来技術において、障害物の環境における位置および向きを取得する方法は、実際の道路走行データから障害物を大体に検出し、その後、これらの障害物の分布を位置決め情報により三次元シーンマップに変換させることである。
しかしながら、従来技術の方法を採用して取得した障害物の位置および向き情報は、実際の障害物の位置および向き情報と比較すると、横方向、縦方向および垂直方向である三つの方向で数メートルさらには数十メートルのオフセット誤差が発生することがある同時に、ピッチ角、ロール角およびヨー角の三つの角度にも、異なる程度の誤差がある。そのため、従来技術で取得した障害物位置決め情報には誤差がより大きい。
本発明は、動的障害物の位置校正方法、装置、機器、及び記憶媒体を提供して、点群データシミュレーションを行う際の、障害物の位置と向き情報に対する矯正を実現する。
本発明の第1態様として、動的障害物の位置校正方法を提供する。動的障害物の位置校正方法は、静的障害物のみが含まれる三次元シーンマップを取得し、取得した該三次元シーンマップと関連付けられた少なくとも一つのフレームの点群データを前記静的障害物と動的障害物とが同時に含まれる目標の単一フレームデータとして選択するステップと、前記目標の単一フレームデータに含まれる前記動的障害物の、前記三次元シーンマップが位置している座標系における姿勢情報を決定するステップと、前記目標の単一フレームデータを前記三次元シーンマップにレジストレーションし、レジストレーションの結果に基づいて、前記目標の単一フレームデータの前記座標系における姿勢のオフセット情報を決定するステップと、前記姿勢のオフセット情報に基づいて、前記動的障害物の前記姿勢情報を校正した後、前記動的障害物を前記三次元シーンマップに追加するステップとを含む。
本発明の第2態様として、動的障害物の位置校正装置をさらに提供する。動的障害物の位置校正装置は、静的障害物のみが含まれる三次元シーンマップを取得し、取得した該三次元シーンマップと関連付けられた少なくとも一つのフレームの点群データを前記静的障害物と動的障害物とが同時に含まれる目標の単一フレームデータとして選択するデータ取得モジュールと、前記目標の単一フレームデータに含まれる前記動的障害物の、前記三次元シーンマップが位置している座標系における姿勢情報を決定する第1の情報決定モジュールと、前記目標の単一フレームデータを前記三次元シーンマップにレジストレーションし、レジストレーションの結果に基づいて、前記目標の単一フレームデータの前記座標系における姿勢のオフセット情報を決定する第2の情報決定モジュールと、前記姿勢のオフセット情報に基づいて、前記動的障害物の前記姿勢情報を校正した後、前記動的障害物を前記三次元シーンマップに追加する障害物追加モジュールとを備える。
本発明の第3態様として、機器をさらに提供する。機器は、少なくとも一つのプロセッサと、少なくとも一つのプログラムを記憶する記憶装置とを備え、少なくとも一つの前記プログラムが少なくとも一つのプロセッサによって実行されると、少なくとも一つの前記プロセッサが、上記の動的障害物の位置校正方法を実現する。
本発明の第4態様として、コンピュータ読み取り可能な記憶媒体をさらに提供する。記憶媒体には、コンピュータプログラムが記憶されており、前記コンピュータプログラムがプロセッサによって実行される場合に、上記の動的障害物の位置校正方法が実現される。
本発明においては、三次元シーンマップと関連付けられた少なくとも一つのフレームの点群データを目標の単一フレームデータとして選択する。このとき、三次元シーンマップには、静的障害物のみが含まれ、目標の単一フレームデータには、静的障害物と動的障害物とが同時に含まれる。そして、目標の単一フレームデータを三次元シーンマップにレジストレーションし、レジストレーションの結果に基づいて目標の単一フレームデータの座標系における姿勢のオフセット情報を決定し、その後、姿勢のオフセット情報に基づいて、目標の単一フレームデータに含まれた動的障害物の、三次元シーンマップが位置している座標系における姿勢情報を校正する。これにより、点群データシミュレーションを行う際に、障害物の位置と向き情報を矯正して、誤差を減少させ、データ精度を向上させることができる。
本発明の実施例1によって提供される動的障害物の位置校正方法を示すフローチャートである。 本発明の実施例2によって提供される動的障害物の位置校正方法を示すフローチャートである。 本発明の実施例3によって提供される動的障害物の位置校正方法を示すフローチャートである。 本発明の実施例4によって提供される動的障害物の位置校正方法を示すフローチャートである。 本発明の実施例5によって提供される動的障害物の位置校正装置を示す構成模式図である。 本発明の実施例6によって提供される機器を示す構成模式図である。
以下、添付図面および実施例を参考して、本発明に対してさらに詳細に説明する。ここで説明する具体的な実施例は、本発明を解釈するためだけに用いられ、本発明を限定するものではないことを理解することができる。また、説明の便利のために、添付図面には、すべての内容を示すことではなく、本発明に関連される部分のみを示すことを、さらに説明する必要がある。
実施例1
図1は、本発明の実施例1によって提供される動的障害物の位置校正方法を示すフローチャートである。本実施例は、動的障害物の位置を校正する場合に適用でき、動的障害物の位置校正方法は、動的障害物の位置校正装置によって実行される。
動的障害物の位置校正装置は、ソフトウェアおよび/又はハードウェアの方式を採用して実現される。
動的障害物の位置校正装置は、コンピュータ機器に配置されてもよい。
図1に示されるように、動的障害物の位置校正方法は、具体的には以下のステップを含む。
ステップ101は、三次元シーンマップを取得し、取得した三次元シーンマップと関連付けられた少なくとも一つのフレームの点群データを目標の単一フレームデータとして選択する。ここで、三次元シーンマップには静的障害物のみが含まれ、目標の単一フレームデータには静的障害物と動的障害物とが同時に含まれる。
この場合、三次元シーンマップは、三次元レーザスキャナを利用して実際のシーンを走査して取得した各フレームの点群データに基づいて生成した三次元マップである。
静的障害物は、シーン内の移動不可能物体である。たとえば、ゴミ箱および電柱は、静的障害物である。
動的障害物は、シーン内の移動可能物体である。たとえば、車両および歩行者は、動的障害物である。
三次元シーンマップは、道路や壁面などのシーン内の移動不可能物体に基づいて生成したマップであり、シーン内の移動可能物体を含まない。三次元シーンマップには、静的障害物のみが含まれる。三次元シーンマップと関連付けられた少なくとも一つのフレームの点群データは、三次元シーンマップを生成するための生データであるか、又は、三次元シーンマップを生成するための実際のシーンを走査して取得した少なくとも一つのフレームの点群データであり、少なくとも一つのフレームの点群データのそれぞれのフレームデータには、静的障害物と動的障害物とが同時に含まれる。また、少なくとも一つのフレームの点群データを取得する方式は、三次元シーンマップの構成データを取得する方式と同一であってもよいし、異なってもよい。たとえば、三次元シーンマップの構成データは、任意の収集機器により収集して取得してもよいし、少なくとも一つのフレームの点群データは、道路走行スキャナにより収集して取得してもよい。
ステップ102は、目標の単一フレームデータに含まれた動的障害物の、三次元シーンマップが位置している座標系における姿勢情報を決定する。
この場合、三次元シーンマップが位置している座標系はグローバル座標系であり、座標の回転およびシフトによって目標の単一フレームデータを三次元シーンマップが位置している座標系中に変換させる。すなわち、目標の単一フレームデータにおける静的障害物および動的障害物を三次元シーンマップが位置している座標系中に変換させる。
目標の単一フレームデータに含まれた動的障害物の、三次元シーンマップが位置している座標系における姿勢情報を決定する。姿勢情報は、物体の座標系における位置および向きである。位置は、動的障害物の横方向、縦方向および垂直方向であるである三つの方向の座標情報である。向きは、動的障害物のピッチ角、ロール角およびヨー角の三つの角度上の角度情報である。
目標の単一フレームデータに含まれる動的障害物は、座標の回転およびシフトによって三次元シーンマップが位置している座標系中に変換される。決定された目標の単一フレームデータに含まれる動的障害物の、三次元シーンマップが位置している座標系における姿勢情報を、実際の障害物の位置および向き情報と比較すると、横方向、縦方向および垂直方向である三つの方向で0〜30メートルのオフセット誤差がある可能があり、同時に、ピッチ角、ロール角およびヨー角の三つの角度上でも異なる程度の誤差がある。したがって、変換後に決定された動的障害物の姿勢情報を使用する前に、矯正される必要がある。
ステップ103は、目標の単一フレームデータを三次元シーンマップにレジストレーション(registration)し、レジストレーションの結果に基づいて、目標の単一フレームデータの座標系における姿勢のオフセット情報を決定する。
この場合、三次元シーンマップには、静的障害物のみが含まれ、目標の単一フレームデータには、静的障害物と動的障害物とが同時に含まれる。三次元シーンマップには、目標の単一フレームデータにおける動的障害物に対応する動的障害物がない。三次元シーンマップには、静的障害物が含まれ、目標の単一フレームデータにも、同様に、静的障害物が含まれる。目標の単一フレームデータにおける静的障害物と動的障害物とは同一の座標系に位置し、相対的位置が固定されている。したがって、目標の単一フレームデータにおける静的障害物の座標系における姿勢のオフセット情報が、目標の単一フレームデータにおける動的障害物の座標系における姿勢のオフセット情報であり、それを目標の単一フレームデータの座標系における姿勢のオフセット情報とすることができる。
目標の単一フレームデータにおける静的障害物を参考障害物として取得する。参考障害物とマッチングされる静的障害物の座標系における姿勢情報および目標の単一フレームデータにおける参考障害物の座標系における姿勢情報に基づいて、目標の単一フレームデータを三次元シーンマップにレジストレーションする。具体的に、参考障害物を、参考障害物とマッチングされる静的障害物と位置合せ、参考障害物の姿勢情報を、マッチングされる静的障害物の姿勢情報と一致するように、レジストレーションする。レジストレーションされた目標の単一フレームデータにおける参考障害物の姿勢情報を取得する。
目標の単一フレームデータにおける静的障害物の座標系における姿勢のオフセット情報は、レジストレーションされた参考障害物の座標系における姿勢情報の、座標変換後に決定された参考障害物の姿勢情報に対する、オフセット情報である。レジストレーションされた目標の単一フレームデータにおける参考障害物の姿勢情報を取得した後、レジストレーションされた参考障害物の座標系における姿勢情報および座標変換後に決定された参考障害物の姿勢情報に基づいて、目標の単一フレームデータの座標系における姿勢のオフセット情報を決定する。
具体的には、姿勢のオフセット情報は、レジストレーションされた参考障害物の座標系における姿勢情報の、横方向、縦方向および垂直方向である三つの方向で、座標変換後に決定された参考障害物の姿勢情報に対する、位置のオフセット情報であってもよい。姿勢のオフセット情報は、レジストレーションされた参考障害物の座標系における姿勢情報の、ピッチ角、ロール角およびヨー角の三つの角度上で、座標変換後に決定された参考障害物の姿勢情報に対する、角度のオフセット情報であってもよい。
ステップ104は、姿勢のオフセット情報に基づいて、動的障害物の姿勢情報を校正した後、動的障害物を三次元シーンマップに追加する。
この場合、目標の単一フレームデータにおける静的障害物の座標系における姿勢のオフセット情報は、即ち目標の単一フレームデータにおける動的障害物の座標系における姿勢のオフセット情報である。したがって、目標の単一フレームデータにおける静的障害物の座標系における姿勢のオフセット情報に基づいて、変換後に決定された動的障害物の姿勢情報に対して、姿勢校正を行ってもよい。
具体的には、位置のオフセット情報に基づいて変換後に決定された動的障害物の位置を校正し、角度のオフセット情報に基づいて変換後に決定された動的障害物の向きを校正する。その後、校正後の姿勢情報に基づいて動的障害物を三次元シーンマップに追加する。
本実施例は、動的障害物の位置校正方法を提供する。動的障害物の位置校正方法は、三次元シーンマップと関連付けられた少なくとも一つのフレームの点群データを目標の単一フレームデータとして選択する。ここで、三次元シーンマップには、静的障害物のみが含まれ、目標の単一フレームデータには、静的障害物と動的障害物とが同時に含まれる。目標の単一フレームデータを三次元シーンマップにレジストレーションし、レジストレーションの結果に基づいて目標の単一フレームデータの座標系における姿勢のオフセット情報を決定する。その後、姿勢のオフセット情報に基づいて、目標の単一フレームデータに含まれた動的障害物の、三次元シーンマップが位置している座標系における姿勢情報を校正することによって、点群データシミュレーションを行う際に、障害物の位置と向き情報を矯正して、誤差を減少させ、データ精度を向上させることができる。
実施例2
図2は、本発明の実施例2によって提供される動的障害物の位置校正方法を示すフローチャートであり、本実施例は、上記の実施例を基に具体化されたものである。本実施例において、目標の単一フレームデータを三次元シーンマップにレジストレーションするステップは、目標の単一フレームデータにおける静的障害物を参考障害物として取得し、参考障害物を三次元シーンマップに含まれた静的障害物とペアリングし、ペアリング結果に基づいて目標の単一フレームデータを三次元シーンマップに初期レジストレーションし、初期レジストレーションされた目標の単一フレームデータに含まれた静的障害物を所定のサイズの正方形を使用して分割して、所定の粒度の特徴点を形成するステップと、取得された特徴点に基づいて、三次元シーンマップに目標の単一フレームデータを第1プレシジョンレジストレーションするステップとを含んでいる。
図2に示されるように、動的障害物の位置校正方法は、具体的には以下のステップを含む。
ステップ201は、三次元シーンマップを取得し、取得した三次元シーンマップと関連付けられた少なくとも一つのフレームの点群データを目標の単一フレームデータとして選択する。ここで、三次元シーンマップには、静的障害物のみが含まれ、目標の単一フレームデータには、静的障害物と動的障害物とが同時に含まれる。
ステップ202は、目標の単一フレームデータに含まれる動的障害物の、三次元シーンマップが位置している座標系における姿勢情報を決定する。
ステップ203は、目標の単一フレームデータにおける静的障害物を参考障害物として取得し、取得した参考障害物を三次元シーンマップに含まれた静的障害物とペアリングし、ペアリング結果に基づいて目標の単一フレームデータを三次元シーンマップに初期レジストレーションする。
この場合、障害物検出アルゴリズムにより三次元シーンマップにおいて、特定の語意情報を有する静的障害物を識別する。たとえば、地面、電柱、木および壁面などの、語意情報を有する物体を、識別する。障害物検出アルゴリズムにより目標の単一フレームデータの中で、同様に、特定の語意情報を有する静的障害物を識別する。
目標の単一フレームデータから識別された特定の語意情報を有する静的障害物を参考障害物とする。参考障害物を三次元シーンマップに含まれた静的障害物とペアリングして、三次元シーンマップにおいて参考障害物とマッチングされる静的障害物を決定し、ペアリング結果に基づいて目標の単一フレームデータを三次元シーンマップに初期レジストレーションする。具体的には、参考障害物を、参考障害物とマッチングされる静的障害物と位置合せ、参考障害物の姿勢情報を、マッチングされる静的障害物の姿勢情報と一致するように、レジストレーションする。
ステップ204は、初期レジストレーションされた目標の単一フレームデータに含まれた静的障害物を所定のサイズの正方形により分割して、所定の粒度の特徴点を形成する。
この場合、目標の単一フレームデータを三次元シーンマップにもう一層プレシジョンにレジストレーションするために、初期レジストレーションされた目標の単一フレームデータに含まれるそれぞれの一つの静的障害物を、所定のサイズの正方形により分割して、所定の粒度の特徴点を形成する。たとえば、20cm×20cm×20cmの正方形を利用する。これに応じて、初期レジストレーションされた三次元シーンマップ内の参考障害物とマッチングされるそれぞれの一つの静的障害物を、所定のサイズの正方形により分割して、所定の粒度の特徴点を形成する。
ステップ205は、取得された特徴点に基づいて、目標の単一フレームデータを三次元シーンマップにおいて第1プレシジョンレジストレーションする。
この場合、第1プレシジョンレジストレーションは、ランダムサンプルアルゴリズム(RANSAC:Random sample consensus)を利用して、分割後に取得された特徴点に基づいて、参考障害物と、参考障害物とマッチングされる静的障害物とに対してさらに位置合せを行って、初期レジストレーションされた目標の単一フレームデータ三次元をシーンマップにもう一層プレシジョンにレジストレーションする処理である。第1プレシジョンレジストレーションの誤差は、一般的に、1m未満である。
変形例として、取得された特徴点に基づいて、目標の単一フレームデータを三次元シーンマップにおいて第1プレシジョンレジストレーションするステップの後に、ポイントツーポイントレジストレーション技術を使用して、第1プレシジョンレジストレーションを行った後の目標の単一フレームデータを三次元シーンマップにおいて第2プレシジョンレジストレーションするステップをさらに含んでいてもよい。
この場合、第2プレシジョンレジストレーションは、ポイントツーポイントレジストレーション技術を使用して、それぞれの一つの参考障害物の点群データにおけるそれぞれの一つの点の所定の距離範囲において、たとえば1mにおいて、一つの点と同一のタイプの最も近い点を検索する。その後、それぞれの一つの点と一つの点に対応される最も近い点とに対して最小二乗変換を行い、参考障害物と、参考障害物とマッチングされる静的障害物とに対してさらに位置合せを行い、すなわち点群データにおけるそれぞれの一つの点に基づいて第1プレシジョンレジストレーションを行った後の目標の単一フレームデータを三次元シーンマップにおいてもっとプレシジョンにレジストレーションする。
ステップ206は、レジストレーションの結果に基づいて、目標の単一フレームデータの座標系における姿勢のオフセット情報を決定する。
ステップ207は、姿勢のオフセット情報に基づいて、動的障害物の姿勢情報を校正した後、動的障害物を三次元シーンマップに追加する。
本実施例は、動的障害物の位置校正方法を提供する。動的障害物の位置校正方法は、通過参考障害物を三次元シーンマップに含まれた静的障害物とペアリングし、ペアリング結果に基づいて目標の単一フレームデータを三次元シーンマップに初期レジストレーションする。その後、初期レジストレーションされた目標の単一フレームデータに含まれた静的障害物を所定のサイズの正方形により分割して、所定の粒度の特徴点を形成し、取得された特徴点に基づいて、目標の単一フレームデータを三次元シーンマップにおいて第1プレシジョンレジストレーションする。これにより、参考障害物、分割後の特徴点および点群データにおけるそれぞれの一つの点に基づいて、目標の単一フレームデータを三次元シーンマップにもう一層プレシジョンにレジストレーションすることができる。
実施例3
図3は、本発明の実施例3によって提供される動的障害物の位置校正方法を示すフローチャートである。本実施例は、上記の実施例を基に具体化されたものである。本実施例において、目標の単一フレームデータにおける静的障害物を参考障害物として取得し、取得した参考障害物を三次元シーンマップに含まれた静的障害物とペアリングし、ペアリング結果に基づいて目標の単一フレームデータを三次元シーンマップに初期レジストレーションするステップは、目標の単一フレームデータにおける参考障害物の座標系における姿勢情報に基づいて、座標系中で少なくとも一つの検索領域を決定するステップと、検索領域に基づいて、三次元シーンマップにおいて、参考障害物とマッチングされる少なくとも一つの静的障害物を校正障害物として検索するステップと、少なくとも一つの校正障害物の座標系における姿勢情報および参考障害物の座標系における姿勢情報に基づいて、目標の単一フレームデータを三次元シーンマップに初期レジストレーションするステップとを含んでいる。
図3に示されるように、動的障害物の位置校正方法は、具体的には以下のステップを含む。
ステップ301は、三次元シーンマップを取得し、取得した三次元シーンマップと関連付けられた少なくとも一つのフレームの点群データを目標の単一フレームデータとして選択する。ここで、三次元シーンマップには、静的障害物のみが含まれ、目標の単一フレームデータには、静的障害物と動的障害物とが同時に含まれる。
ステップ302は、目標の単一フレームデータに含まれた動的障害物の、三次元シーンマップが位置している座標系における姿勢情報を決定する。
ステップ303は、目標の単一フレームデータにおける静的障害物を参考障害物として取得し、目標の単一フレームデータにおける参考障害物の座標系における姿勢情報に基づいて、座標系の中で少なくとも一つの検索領域を決定する。
この場合、姿勢情報は、物体の座標系における位置および向きである。参考障害物の位置座標系の中で、少なくとも一つの検索領域を決定する。変形例として、参考障害物の位置を原点として、予め設定された距離に従って決定された領域によって、少なくとも一つの検索領域を設定してもよい。たとえば、参考障害物の位置を原点とし、100メートルを半径として、一つの輪を決定する。輪内部の領域が検索領域である。
変形例として、目標の単一フレームデータにおける参考障害物の座標系における姿勢情報に基づいて、座標系中で少なくとも一つの検索領域を決定するステップの前に、目標の単一フレームデータに含まれる動的障害物を削除するステップをさらに含んでいてもよい。
この場合、本実施例は、目標の単一フレームデータにおける静的障害物を参考障害物として取得し、取得した参考障害物とマッチングされる静的障害物の座標系における姿勢情報および目標の単一フレームデータにおける参考障害物の座標系における姿勢情報に基づいて、目標の単一フレームデータを三次元シーンマップにレジストレーションする必要がある。したがって、レジストレーションする前に、目標の単一フレームデータに含まれる動的障害物を削除して、目標の単一フレームデータにおける静的障害物のみを保持することによって、上記の動的障害物の後続のレジストレーション過程に対する干渉を減らして、レジストレーションの精度をもう一層確保した。
ステップ304は、検索領域に基づいて、三次元シーンマップにおいて、参考障害物とマッチングされる少なくとも一つの静的障害物を校正障害物として検索する。
この場合、三次元シーンマップにおける検索領域において、参考障害物とマッチングされる少なくとも一つの静的障害物を校正障害物として検索する。目標の単一フレームデータから識別された特定の語意情報を有する静的障害物を参考障害物とする。静的障害物は、地面、電柱、木および壁面を含んでいてもよい。参考障害物を三次元シーンマップに含まれた静的障害物とペアリングし、三次元シーンマップにおいて参考障害物とマッチングされる静的障害物を決定する。参考障害物をとマッチングされる少なくとも一つの静的障害物を校正障害物とする。校正障害物の姿勢情報は、参考障害物の理想的な姿勢情報である。
ステップ305は、少なくとも一つの校正障害物の座標系における姿勢情報および参考障害物の座標系における姿勢情報に基づいて、目標の単一フレームデータを三次元シーンマップに初期レジストレーションする。
この場合、初期レジストレーションは、少なくとも一つの校正障害物の座標系における姿勢情報および参考障害物の座標系における姿勢情報に基づいて、参考障害物を校正障害物と位置合せさせ、参考障害物の姿勢情報を、校正障害物の姿勢情報と一致するように、レジストレーションする。
ステップ306は、初期レジストレーションされた目標の単一フレームデータに含まれた静的障害物を所定のサイズの正方形により分割して、所定の粒度の特徴点を形成する。
ステップ307は、取得された特徴点に基づいて、目標の単一フレームデータを三次元シーンマップにおいて第1プレシジョンレジストレーションする。
ステップ308は、レジストレーションの結果に基づいて、目標の単一フレームデータの座標系における姿勢のオフセット情報を決定する。
ステップ309は、姿勢のオフセット情報に基づいて、動的障害物の姿勢情報を校正した後、動的障害物を三次元シーンマップに追加する。
本実施例は、動的障害物の位置校正方法を提供する。動的障害物の位置校正方法は、参考障害物の座標系における姿勢情報に基づいて、座標系中で少なくとも一つの検索領域を決定する。その後、検索領域に基づいて、三次元シーンマップにおいて、参考障害物とマッチングされる少なくとも一つの静的障害物を校正障害物として検索して、少なくとも一つの校正障害物の座標系における姿勢情報および参考障害物の座標系における姿勢情報に基づいて、目標の単一フレームデータを三次元シーンマップに初期レジストレーションする。これにより、検索領域を設定して、参考障害物とマッチングされる静的障害物を素早く取得し、計算量を減らすことができる。
実施例4
図4は、本発明の実施例4によって提供される動的障害物の位置校正方法を示すフローチャートである。本実施例は、上記の実施例を基に具体化されたものである。本実施例において、在姿勢のオフセット情報に基づいて、動的障害物の姿勢情報を校正した後、動的障害物を三次元シーンマップに追加するステップの後に、三次元シーンマップにおいて、動的障害物と関連付けられた平面を接着平面として検索し、三次元シーンマップ内の動的障害物の底面を接着平面と接着させるステップをさらに含んでいる。
図4に示されるように、動的障害物の位置校正方法は、具体的には以下のステップを含む。
ステップ401は、三次元シーンマップを取得し、取得した三次元シーンマップと関連付けられた少なくとも一つのフレームの点群データを目標の単一フレームデータとして選択する。ここで、三次元シーンマップには、静的障害物のみが含まれ、目標の単一フレームデータには、静的障害物と動的障害物とが同時に含まれる。
ステップ402は、目標の単一フレームデータに含まれる動的障害物の、三次元シーンマップが位置している座標系における姿勢情報を決定する。
ステップ403は、目標の単一フレームデータを三次元シーンマップにレジストレーションし、レジストレーションの結果に基づいて、目標の単一フレームデータの座標系における姿勢のオフセット情報を決定する。
ステップ404は、姿勢のオフセット情報に基づいて、動的障害物の姿勢情報校正した後、動的障害物を三次元シーンマップに追加する。
ステップ405は、三次元シーンマップにおいて、動的障害物と関連付けられた平面を接着平面として検索する。
この場合、目標の単一フレームデータにはある程度の歪曲収差がある可能があり、たとえば、動的障害物の底面がいずれの一つの平面とも接着していなく、吊り下げ状態にある可能がある。したがって、動的障害物を三次元シーンマップに追加する後に、三次元シーンマップにおいて、動的障害物と関連付けられた平面を接着平面として検索する必要がある。
変形例として、それぞれの一つの動的障害物の下方で、一つの最も接近の平面を、接着平面として検索してもよい。
変形例として、三次元シーンマップにおいて、動的障害物と関連付けられた平面を接着平面として検索するステップは、三次元シーンマップにおいて、同一の動的障害物と関連付けられた設定領域に少なくとも二つの平面が含まれている場合、三次元シーンマップと関連付けられた道路情報取得装置の運動軌跡を取得するステップと、道路情報取得装置の運動軌跡に基づいて、設定領域に含まれる少なくとも二つの平面の中で接着平面を決定するステップとを含んでいてもよい。
この場合、三次元シーンマップにおいて、同一の動的障害物と関連付けられた設定領域に、少なくとも二つの平面が含まれていてもよい。たとえば、動的障害物が高架橋又は他の交差点のような道路状況にある。三次元シーンマップと関連付けられた道路情報取得装置の運動軌跡を取得した後に、少なくとも二つの平面の中で、道路情報取得装置の運動軌跡の下面と最も近い平面を検索し、平面を道路情報取得装置の運動軌跡とマッチングされる路面とし、すなわち動的障害物に対応する接着平面とする。
ステップ406は、三次元シーンマップ内の動的障害物の底面を接着平面と接着させる。
この場合、動的障害物の底面を、対応される接着平面と接着させることにより、動的障害物が吊り下げ状態にならない。
本実施例は、動的障害物の位置校正方法を提供する。動的障害物の位置校正方法は、三次元シーンマップにおいて、動的障害物と関連付けられた平面を接着平面として検索し、三次元シーンマップ内の動的障害物の底面を接着平面と接着させる。これにより、動的障害物をさらに微調整して、それぞれの一つの動的障害物の底面とそれに対応する平面が接着し、吊り下げ状態にならない。
実施例5
図5は、本発明の実施例5によって提供される動的障害物の位置校正装置を示す構成模式図である。図5に示されるように、動的障害物の位置校正装置は、コンピュータ機器に配置されてもよく、データ取得モジュール501と、第1の情報決定モジュール502と、第2の情報決定モジュール503と、障害物追加モジュール504とを備えている。
この場合、データ取得モジュール501は、三次元シーンマップを取得し、取得した三次元シーンマップと関連付けられた少なくとも一つのフレームの点群データを目標の単一フレームデータとして選択する。ここで、三次元シーンマップには、静的障害物のみが含まれ、目標の単一フレームデータには、静的障害物と動的障害物とが同時に含まれる。
第1の情報決定モジュール502は、目標の単一フレームデータに含まれる動的障害物の、三次元シーンマップが位置している座標系における姿勢情報を決定する。
第2の情報決定モジュール503は、目標の単一フレームデータを三次元シーンマップにレジストレーションし、レジストレーションの結果に基づいて、目標の単一フレームデータの座標系における姿勢のオフセット情報を決定する。
障害物追加モジュール504は、姿勢のオフセット情報に基づいて、動的障害物の姿勢情報を校正した後、動的障害物を三次元シーンマップに追加する。
本実施例は、動的障害物の位置校正装置を提供する。動的障害物の位置校正装置は、三次元シーンマップと関連付けられた少なくとも一つのフレームの点群データを目標の単一フレームデータとして選択する。ここで、三次元シーンマップには、静的障害物のみが含まれ、目標の単一フレームデータには、静的障害物と動的障害物とが同時に含まれる。そして、目標の単一フレームデータを三次元シーンマップにレジストレーションし、レジストレーションの結果に基づいて目標の単一フレームデータの座標系における姿勢のオフセット情報を決定する。その後、姿勢のオフセット情報に基づいて、目標の単一フレームデータに含まれた動的障害物の、三次元シーンマップが位置している座標系における姿勢情報を校正することによって、点群データシミュレーションを行う際に、障害物の位置と向き情報を矯正することによって、誤差を減少させ、データ精度を向上させることができる。
上記の各実施例において、第2の情報決定モジュール503は、目標の単一フレームデータにおける静的障害物を参考障害物として取得し、取得した参考障害物を三次元シーンマップに含まれた静的障害物とペアリングし、ペアリング結果に基づいて目標の単一フレームデータを三次元シーンマップに初期レジストレーションする初期レジストレーションユニットと、初期レジストレーションされた目標の単一フレームデータに含まれた静的障害物を所定のサイズの正方形により分割して、所定の粒度の特徴点を形成する障害物分割ユニットと、取得された特徴点に基づいて、目標の単一フレームデータを三次元シーンマップにおいて第1プレシジョンレジストレーションする第1プレシジョンレジストレーションユニットとを有していてもよい。
上記の各実施例において、第2の情報決定モジュール503は、ポイントツーポイントレジストレーション技術を使用して、第1プレシジョンレジストレーションを通じた後の目標の単一フレームデータを三次元シーンマップにおいて第2プレシジョンレジストレーションする第2のプレシジョンレジストレーションユニットをさらに有していてもよい。
上記の各実施例において、初期レジストレーションユニットは、目標の単一フレームデータにおける参考障害物の座標系における姿勢情報に基づいて、座標系中で少なくとも一つの検索領域を決定する領域決定サブユニットと、検索領域に基づいて、三次元シーンマップにおいて、参考障害物とマッチングされる少なくとも一つの静的障害物を校正障害物として検索する障害物検索サブユニットと、少なくとも一つの校正障害物の座標系における姿勢情報および参考障害物の座標系における姿勢情報に基づいて、目標の単一フレームデータを三次元シーンマップに初期レジストレーションする初期レジストレーションサブユニットとを有していてもよい。
上記の各実施例において、初期レジストレーションユニットは、目標の単一フレームデータに含まれた動的障害物を削除する障害物削除サブユニットをさらに有していてもよい。
上記の各実施例において、三次元シーンマップにおいて、動的障害物と関連付けられた平面を接着平面として検索する接着平面検索モジュールと、三次元シーンマップ内の動的障害物の底面を接着平面と接着させる底面接着モジュールとをさらに有していてもよい。
上記の各実施例において、接着平面検索モジュールは、三次元シーンマップにおいて、同一の動的障害物と関連付けられた設定領域に少なくとも二つの平面が含まれていると、三次元シーンマップと関連付けられた道路情報取得装置の運動軌跡を取得する運動軌跡取得ユニットと、道路情報取得装置の運動軌跡に基づいて、少なくとも二つの平面の中で接着平面を決定する接着平面決定ユニットとを有していてもよい。
本実施例において提供される動的障害物の位置校正装置は、本発明に係る任意の実施例によって提供される動的障害物の位置校正方法を実行することができ、動的障害物の位置校正方法の実行に対応される機能モジュールおよび有益な効果を有する。
実施例6
図6は、本発明の実施例6によって提供される機器を示す構成模式図である。図6は、本発明の実施方式の実現に適当な例示的な機器612のブロック図を示している。図6に示す機器612は、一例に過ぎず、本発明の実施例の機能および使用範囲を限定するものではない。
図6に示されるように、機器612は、汎用計算装置の形で具体化されている。機器612の構成要素は、少なくとも一つのプロセッサ又は処理ユニット616、システムメモリ628、及びシステム構成要素(システムメモリ628と処理ユニット616とを有する)を接続するバス618を備えるが、これらに限定されない。
バス618は、メモリバス又はメモリコントローラ、周辺バス、アクセラレーテッドグラフィックスポート、プロセッサ又は多様なバス構造のいずれかのバス構造を使用するローカルバスを含む、いくつかのタイプのバス構造のうちの少なくとも一つを表す。例えば、これらのアーキテクチャは、インダストリスタンダードアーキテクチャ(Industry Standard Architecture、以下ISAと略する)バス、マイクロチャネルアーキテクチャ(Micro Channel Architecture、以下MCAと略する)バス、拡張ISAバス、ビデオエレクトロニクススタンダーズアソシエーション(Video Electronics Standards Association、以下VESAと略する)ローカルバス、及びペリフェラルコンポーネントインターコネクト(Peripheral Component Interconnection、以下PCIと略する)バスを含むが、これらに限定されない。
機器612は、通常、複数種類のコンピュータシステム読み取り可能な媒体を含む。これらの媒体は、揮発性媒体及び不揮発性媒体、リムーバブル媒体及びノンリムーバブル媒体を含む、機器612によってアクセスされ得る任意の使用可能な媒体であってもよい。
システムメモリ628は、ランダムアクセスメモリ(Random Access Memory、以下RAMと略する)630及び/又はキャッシュメモリ632のような揮発性メモリの形態のコンピュータシステム読み取り可能な媒体を含んでいてもよい。機器612は、他のリムーバブル/ノンリムーバブル、揮発性/不揮発性コンピュータシステム記憶媒体をさらに含んでいてもよい。一例として、ストレージシステム634は、ノンリムーバブル、不揮発性磁気媒体(図6に図示せず、通常「ハードディスクドライブ」と称される)に対して読み出し及び書き込みをするために用いてもよい。図6に示されていないが、リムーバブル不揮発性磁気ディスク(例えば、「フロッピーディスク」)に対して読み出し及び書き込みをするための磁気ディスクドライブ、及びリムーバブル不揮発性光学ディスク(例えば、シーディーロム(Compact Disc Read Only Memory、以下CD−ROMと略する)、ディーブイディーロム(Digital Video Disc Read Only Memory、以下DVD−ROMと略する)又は他の光学媒体)に対して読み出し及び書き込みをするための光ディスクドライブを提供することができる。これらの場合、各ドライブは、少なくとも一つのデータメディアインターフェイスを介してバス618に接続することができる。システムメモリ628は、本発明の各実施例に記載の機能を実行するように構成される1セット(例えば、少なくとも一つ)のプログラムモジュールを有する少なくとも一つのプログラム製品を含んでいてもよい。
1セット(少なくとも一つ)のプログラムモジュール642を有するプログラム/ユーティリティ640は、例えば、システムメモリ628に記憶されてもよく、このようなプログラムモジュール642は、オペレーティングシステム、少なくとも一つのアプリケーションプログラム、他のプログラムモジュール及びプログラムデータを含むが、これらに限定されない。これらの例のそれぞれ又はある組み合わせには、ネットワーキング環境の実装が含まれる可能性がある。プログラムモジュール642は、通常、本発明に記載の実施例における機能及び/又は方法を実行する。
機器612は、少なくとも一つの外部機器614(例えば、キーボード、ポインティング機器、ディスプレイ624など)、ユーザが機器612とインタラクションすることを可能にする少なくとも一つの機器、及び/又は、少なくとも一つの他のコンピューティング機器と通信することを可能にする任意の機器(例えば、ネットワークカード、モデムなど)と通信することができる。このような通信は、入力/出力(I/O)インターフェース622を介して行うことができる。また、機器612は、ネットワークアダプタ620を介して、少なくとも一つのネットワーク(例えば、ローカルエリアネットワーク(Local Area Network、以下LANと略する)、ワイドエリアネットワーク(Wide Area Network、以下WANと略する)、及び/又はパブリックネットワーク、例えば、インターネット)と通信することができる。図に示すように、ネットワークアダプタ620は、バス618を介して機器612の他のモジュールと通信する。なお、図示されていないが、マイクロコード、機器ドライバ、冗長化処理ユニット、外部ディスクドライブアレイ、RAIDシステム、テープドライバ及びデータバックアップストレージシステムなどを含むが、これらに限定されない他のハードウェア及び/又はソフトウェアモジュールを機器612と組み合わせて使用することができる。
機器612は、端末機器であってもよい。機器612の処理ユニット616は、システムメモリ628に記憶されているプログラムを実行することによって、たとえば本発明の実施例によって提供される動的障害物の位置校正方法のような、様々な機能アプリケーションおよびデータ処理を実行する。動的障害物の位置校正方法は、具体的には、静的障害物のみが含まれる三次元シーンマップを取得し、取得した三次元シーンマップと関連付けられた少なくとも一つのフレームの点群データを静的障害物と動的障害物とが同時に含まれる目標の単一フレームデータとして選択するステップと、目標の単一フレームデータに含まれる動的障害物の、三次元シーンマップが位置している座標系における姿勢情報を決定するステップと、目標の単一フレームデータを三次元シーンマップにレジストレーションし、レジストレーションの結果に基づいて、目標の単一フレームデータの座標系における姿勢のオフセット情報を決定するステップと、姿勢のオフセット情報に基づいて、動的障害物の姿勢情報を校正した後、動的障害物を三次元シーンマップに追加するステップとを含んでいてもよい。
実施例7
本発明の実施例7は、コンピュータ読み取り可能な記憶媒体をさらに提供する。記憶媒体には、コンピュータプログラムが記憶されており、コンピュータプログラムがプロセッサによって実行される場合に、上記の動的障害物の位置校正方法が実現される。動的障害物の位置校正方法は、具体的には、静的障害物のみが含まれる三次元シーンマップを取得し、取得した三次元シーンマップと関連付けられた少なくとも一つのフレームの点群データを静的障害物と動的障害物とが同時に含まれる目標の単一フレームデータとして選択するステップと、目標の単一フレームデータに含まれる動的障害物の、三次元シーンマップが位置している座標系における姿勢情報を決定するステップと、目標の単一フレームデータを三次元シーンマップにレジストレーションし、レジストレーションの結果に基づいて、目標の単一フレームデータの座標系における姿勢のオフセット情報を決定するステップと、姿勢のオフセット情報に基づいて、動的障害物の姿勢情報を校正した後、動的障害物を三次元シーンマップに追加するステップとを含んでいてもよい。
本実施例のコンピュータ記憶媒体は、少なくとも一つのコンピュータ読み取り可能な媒体の任意の組み合わせを採用してもよい。コンピュータ読み取り可能な媒体は、コンピュータ読み取り可能な信号媒体又はコンピュータ読み取り可能な記憶媒体であってもよい。コンピュータ読み取り可能な記憶媒体は、例えば、電子、磁気、光、電磁気、赤外線、半導体のシステム、装置、機器、あるいはこれらの任意の組み合わせであってもよいが、これらに限定されない。コンピュータ読み取り可能な記憶媒体のより具体的な一例(非網羅的リスト)には、少なくとも一つのワイヤを有する電気接続、携帯式コンピュータ磁気ディスク、ハードディスク、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、消去可能プログラマブル読み出し専用メモリ(EPROM又はフラッシュメモリ)、光ファイバ、携帯用コンパクトディスク読み出し専用メモリ(CD−ROM)、光記憶装置、磁気記憶装置又は上記の任意の適切な組み合わせが含まれる。本発明においては、コンピュータ読み取り可能な記憶媒体は、プログラムを含む又は記憶することができる任意の有形の媒体であってもよい。プログラムは、命令実行システム、装置又は機器によって使用されるか、又は、これらと結びつけて使用されてもよい。
コンピュータ読み取り可能な信号媒体は、コンピュータ読み取り可能なプログラムコードを搬送するための、ベースバンドにおいて伝搬されるか又は搬送波の一部として伝搬されるデータ信号を含んでいてもよい。このように伝搬されるデータ信号は、電磁気信号、光信号又は上記の任意の適切な組み合わせなどの様々な形態を含むが、これらに限定されない。コンピュータ読み取り可能な信号媒体は、命令実行システム、装置又は機器によって使用されるか、又はこれらと結びつけて使用されるためのプログラムを送信、伝搬又は伝送することができる、コンピュータ読み取り可能な記憶媒体以外の任意のコンピュータ読み取り可能な媒体であってもよい。
コンピュータ読み取り可能な媒体に含まれたプログラムコードは、無線、ワイヤ、光ファイバケーブル、RFなど、又は上記の任意の適切な組み合わせを含むがこれらに限定されない任意の適切な媒体によって伝送してもよい。
本発明の動作を実行するためのコンピュータプログラムコードは、少なくとも一つのプログラミング言語又はそれらの組み合わせでコーディングしてもよい。プログラミング言語は、Java(登録商標)、SmalltalK、C++などのオブジェクト指向プログラミング言語を含み、また、「C」言語又は類似のプログラミング言語などの従来の手続き型プログラミング言語も含む。プログラムコードは、完全にユーザコンピュータ上で実行されるか、一部がユーザコンピュータ上で実行されるか、一つの単独のソフトウェアパッケージとして実行されるか、一部がユーザコンピュータ上で実行され、もう一部分がリモートコンピュータ上で実行されるか、又は、完全にリモートコンピュータ又はサーバ上で実行されてもよい。リモートコンピュータの場合、リモートコンピュータは、ローカルエリアネットワーク(LAN)又はワイドエリアネットワーク(WAN)を含む任意の種類のネットワークを介してユーザコンピュータに接続してもよいし、又は、(例えば、インターネットを介して接続するインターネットサービスプロバイダを使用して)外部コンピュータに接続してもよい。
上記は、ただ、本発明のより好ましい実施例および運用された技術原理のみであることが理解できる。当業者であれば、本発明は上記の特定の実施例に限定されず、当業者にとっては本発明の保護範囲を離脱しない範囲で、様々な明らかな変化、再度の調整および切り替えを行うことができることが理解できる。したがって、上記の実施例を通じて本発明をより詳細に説明したが、本発明は上記の実施例に限定されず、本発明の思想を離脱しない前提下で、もっと多くの他の実施例を含むことができるが、本発明の範囲は添付の特許請求の範囲によって決定される。

Claims (10)

  1. 静的障害物のみが含まれる三次元シーンマップを取得し、取得した該三次元シーンマップと関連付けられた少なくとも一つのフレームの点群データを前記静的障害物と動的障害物とが同時に含まれる目標の単一フレームデータとして選択するステップと、
    前記目標の単一フレームデータに含まれる前記動的障害物の、前記三次元シーンマップが位置している座標系における姿勢情報を決定するステップと、
    前記目標の単一フレームデータを前記三次元シーンマップにレジストレーションし、レジストレーションの結果に基づいて、前記目標の単一フレームデータの前記座標系における姿勢のオフセット情報を決定するステップと、
    前記姿勢のオフセット情報に基づいて、前記動的障害物の前記姿勢情報を校正した後、前記動的障害物を前記三次元シーンマップに追加するステップとを含む動的障害物の位置校正方法。
  2. 前記目標の単一フレームデータを前記三次元シーンマップにレジストレーションするステップは、
    前記目標の単一フレームデータにおける前記静的障害物を参考障害物として取得し、該参考障害物を前記三次元シーンマップに含まれる前記静的障害物とペアリングし、ペアリング結果に基づいて前記目標の単一フレームデータを前記三次元シーンマップにおいて初期レジストレーションするステップと、
    前記初期レジストレーションされた前記目標の単一フレームデータに含まれる前記静的障害物を所定のサイズの正方形により分割して、所定の粒度の特徴点を形成するステップと、
    取得された前記特徴点に基づいて、前記目標の単一フレームデータを前記三次元シーンマップにおいて第1プレシジョンレジストレーションするステップとを含む請求項1に記載の動的障害物の位置校正方法。
  3. 取得された前記特徴点に基づいて、前記目標の単一フレームデータを前記三次元シーンマップにおいて第1プレシジョンレジストレーションするステップの後に、
    ポイントツーポイントレジストレーション技術により、第1プレシジョンレジストレーションを行った後の前記目標の単一フレームデータを前記三次元シーンマップにおいて第2プレシジョンレジストレーションするステップをさらに含む請求項2に記載の動的障害物の位置校正方法。
  4. 前記参考障害物を前記三次元シーンマップに含まれる前記静的障害物とペアリングし、ペアリング結果に基づいて前記目標の単一フレームデータを前記三次元シーンマップにおいて初期レジストレーションするステップは、
    前記目標の単一フレームデータにおける前記参考障害物の前記座標系における前記姿勢情報に基づいて、前記座標系において少なくとも一つの検索領域を決定するステップと、
    前記検索領域に基づいて、前記三次元シーンマップにおいて、前記参考障害物とマッチングされる少なくとも一つの前記静的障害物を校正障害物として検索するステップと、
    少なくとも一つの前記校正障害物の前記座標系における姿勢情報および前記参考障害物の前記座標系における前記姿勢情報に基づいて、前記目標の単一フレームデータを前記三次元シーンマップにおいて初期レジストレーションするステップとを含む請求項2又は請求項3に記載の動的障害物の位置校正方法。
  5. 前記目標の単一フレームデータにおける前記参考障害物の前記座標系における前記姿勢情報に基づいて、前記座標系において少なくとも一つの前記検索領域を決定するステップの前に、
    前記目標の単一フレームデータに含まれる前記動的障害物を削除するステップをさらに含む請求項4に記載の動的障害物の位置校正方法。
  6. 前記姿勢のオフセット情報に基づいて、前記動的障害物の前記姿勢情報を校正した後、前記動的障害物を前記三次元シーンマップに追加するステップの後に、
    前記三次元シーンマップにおいて、前記動的障害物と関連付けられた平面を接着平面として検索するステップと、
    前記三次元シーンマップにおける前記動的障害物の底面を前記接着平面に接着させるステップとをさらに含む請求項1に記載の動的障害物の位置校正方法。
  7. 前記三次元シーンマップにおいて、前記動的障害物と関連付けられた平面を前記接着平面として検索するステップは、
    前記三次元シーンマップにおいて、同一の前記動的障害物と関連付けられた設定領域に少なくとも二つの平面が含まれている場合、前記三次元シーンマップと関連付けられた道路情報取得装置の運動軌跡を取得するステップと、
    前記道路情報取得装置の前記運動軌跡に基づいて、前記設定領域に含まれる少なくとも二つの平面の中で前記接着平面を決定するステップとを含む請求項6に記載の動的障害物の位置校正方法。
  8. 静的障害物のみが含まれる三次元シーンマップを取得し、取得した該三次元シーンマップと関連付けられた少なくとも一つのフレームの点群データを前記静的障害物と動的障害物とが同時に含まれる目標の単一フレームデータとして選択するデータ取得モジュールと、
    前記目標の単一フレームデータに含まれる前記動的障害物の、前記三次元シーンマップが位置している座標系における姿勢情報を決定する第1の情報決定モジュールと、
    前記目標の単一フレームデータを前記三次元シーンマップにレジストレーションし、レジストレーションの結果に基づいて、前記目標の単一フレームデータの前記座標系における姿勢のオフセット情報を決定する第2の情報決定モジュールと、
    前記姿勢のオフセット情報に基づいて、前記動的障害物の前記姿勢情報を校正した後、前記動的障害物を前記三次元シーンマップに追加する障害物追加モジュールとを備える動的障害物の位置校正装置。
  9. 少なくとも一つのプロセッサと、
    少なくとも一つのプログラムを記憶する記憶装置とを備え、
    少なくとも一つの前記プログラムが少なくとも一つの前記プロセッサによって実行されると、少なくとも一つの前記プロセッサが、請求項1から請求項7のいずれかに記載の動的障害物の位置校正方法を実現する機器。
  10. コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、
    前記コンピュータプログラムがプロセッサによって実行される場合に、請求項1から請求項7のいずれかに記載の動的障害物の位置校正方法が実現されるコンピュータ読み取り可能な記憶媒体。
JP2019157032A 2018-08-30 2019-08-29 動的障害物の位置校正方法、装置、機器、及び記憶媒体 Active JP6830137B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811002588.9A CN109146938B (zh) 2018-08-30 2018-08-30 动态障碍物的位置校准方法、装置、设备及存储介质
CN201811002588.9 2018-08-30

Publications (2)

Publication Number Publication Date
JP2020034559A true JP2020034559A (ja) 2020-03-05
JP6830137B2 JP6830137B2 (ja) 2021-02-17

Family

ID=64829466

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019157032A Active JP6830137B2 (ja) 2018-08-30 2019-08-29 動的障害物の位置校正方法、装置、機器、及び記憶媒体

Country Status (4)

Country Link
US (1) US11087474B2 (ja)
EP (1) EP3617997A1 (ja)
JP (1) JP6830137B2 (ja)
CN (1) CN109146938B (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112162297A (zh) * 2020-09-24 2021-01-01 燕山大学 一种剔除激光点云地图中动态障碍伪迹的方法
KR20210042274A (ko) * 2020-05-20 2021-04-19 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. 장애물을 탐지하는 방법, 장치, 전자 기기, 저장 매체 및 프로그램
JP2022050689A (ja) * 2021-05-20 2022-03-30 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド レーダ点群データの処理方法、装置、電子デバイス、記憶媒体、及びプログラム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110210280B (zh) * 2019-03-01 2024-04-19 北京纵目安驰智能科技有限公司 一种超视距感知方法、系统、终端和存储介质
CN111694903B (zh) * 2019-03-11 2023-09-12 北京地平线机器人技术研发有限公司 地图构建方法、装置、设备以及可读存储介质
CN111339996B (zh) * 2020-03-20 2023-05-09 北京百度网讯科技有限公司 静态障碍物的检测方法、装置、设备及存储介质
CN113763438B (zh) * 2020-06-28 2024-04-19 北京京东叁佰陆拾度电子商务有限公司 一种点云配准方法、装置、设备及存储介质
CN111858979B (zh) * 2020-07-23 2021-12-14 北京京东乾石科技有限公司 障碍物识别方法和装置、电子设备和自动驾驶车辆
CN112597895B (zh) * 2020-12-22 2024-04-26 阿波罗智联(北京)科技有限公司 基于偏移量检测的置信度确定方法、路侧设备及云控平台
CN113074748B (zh) * 2021-03-29 2022-08-26 北京三快在线科技有限公司 一种无人驾驶设备的路径规划方法及装置
CN116088503B (zh) * 2022-12-16 2024-06-25 深圳市普渡科技有限公司 动态障碍物检测方法和机器人

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016045330A (ja) * 2014-08-22 2016-04-04 株式会社Ihi 3次元点群データの位置合わせ方法と装置及びその移動体システム
KR20180041176A (ko) * 2015-09-09 2018-04-23 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 고정밀 지도 데이터 처리 방법, 장치, 저장 매체 및 기기
WO2018072630A1 (zh) * 2016-10-17 2018-04-26 杭州海康威视数字技术股份有限公司 一种三维场景模型构建方法及装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7317456B1 (en) * 2002-12-02 2008-01-08 Ngrain (Canada) Corporation Method and apparatus for transforming point cloud data to volumetric data
US8473144B1 (en) * 2012-10-30 2013-06-25 Google Inc. Controlling vehicle lateral lane positioning
CN103047943B (zh) * 2012-12-31 2016-04-06 吉林大学 基于单投射编码结构光的车门外板形状尺寸检测方法
US10412368B2 (en) * 2013-03-15 2019-09-10 Uber Technologies, Inc. Methods, systems, and apparatus for multi-sensory stereo vision for robotics
US10249030B2 (en) * 2015-10-30 2019-04-02 Hand Held Products, Inc. Image transformation for indicia reading
CN108267141B (zh) * 2016-12-30 2023-01-10 法法汽车(中国)有限公司 道路点云数据处理系统
CN106681331A (zh) * 2017-02-24 2017-05-17 王红军 一种基于测地线理论的栅格路径规划方法
CN107192350B (zh) * 2017-05-19 2019-07-12 中国人民解放军信息工程大学 一种三维激光扫描仪内参数标定方法及装置
US10535161B2 (en) * 2017-11-09 2020-01-14 Samsung Electronics Co., Ltd. Point cloud compression using non-orthogonal projection

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016045330A (ja) * 2014-08-22 2016-04-04 株式会社Ihi 3次元点群データの位置合わせ方法と装置及びその移動体システム
KR20180041176A (ko) * 2015-09-09 2018-04-23 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 고정밀 지도 데이터 처리 방법, 장치, 저장 매체 및 기기
WO2018072630A1 (zh) * 2016-10-17 2018-04-26 杭州海康威视数字技术股份有限公司 一种三维场景模型构建方法及装置
EP3528211A1 (en) * 2016-10-17 2019-08-21 Hangzhou Hikvision Digital Technology Co., Ltd. Method and device for constructing 3d scene model
US20190272671A1 (en) * 2016-10-17 2019-09-05 Hangzhou Hikvision Digital Technology Co., Ltd. Method and device for constructing 3d scene model

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210042274A (ko) * 2020-05-20 2021-04-19 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. 장애물을 탐지하는 방법, 장치, 전자 기기, 저장 매체 및 프로그램
US11688099B2 (en) 2020-05-20 2023-06-27 Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. Method and apparatus for detecting obstacle
KR102581429B1 (ko) * 2020-05-20 2023-09-20 아폴로 인텔리전트 커넥티비티 (베이징) 테크놀로지 씨오., 엘티디. 장애물을 탐지하는 방법, 장치, 전자 기기, 저장 매체 및 프로그램
CN112162297A (zh) * 2020-09-24 2021-01-01 燕山大学 一种剔除激光点云地图中动态障碍伪迹的方法
CN112162297B (zh) * 2020-09-24 2022-07-19 燕山大学 一种剔除激光点云地图中动态障碍伪迹的方法
JP2022050689A (ja) * 2021-05-20 2022-03-30 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド レーダ点群データの処理方法、装置、電子デバイス、記憶媒体、及びプログラム
JP7312866B2 (ja) 2021-05-20 2023-07-21 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド レーダ点群データの処理方法、装置、電子デバイス、記憶媒体、及びプログラム
US11796670B2 (en) 2021-05-20 2023-10-24 Beijing Baidu Netcom Science And Technology Co., Ltd. Radar point cloud data processing method and device, apparatus, and storage medium

Also Published As

Publication number Publication date
EP3617997A1 (en) 2020-03-04
JP6830137B2 (ja) 2021-02-17
CN109146938B (zh) 2020-09-15
CN109146938A (zh) 2019-01-04
US20200074641A1 (en) 2020-03-05
US11087474B2 (en) 2021-08-10

Similar Documents

Publication Publication Date Title
JP6830137B2 (ja) 動的障害物の位置校正方法、装置、機器、及び記憶媒体
JP6918885B2 (ja) 相対的位置姿勢の標定方法、相対的位置姿勢の標定装置、機器及び媒体
CN109521403B (zh) 多线激光雷达的参数标定方法及装置、设备及可读介质
CN110322500B (zh) 即时定位与地图构建的优化方法及装置、介质和电子设备
CN109270545B (zh) 一种定位真值校验方法、装置、设备及存储介质
CN111174799B (zh) 地图构建方法及装置、计算机可读介质、终端设备
US20200089971A1 (en) Sensor calibration method and device, computer device, medium, and vehicle
JP2020035448A (ja) 3次元シーンマップの生成方法、生成装置、機器および記憶媒体
CN109931944B (zh) 一种ar导航方法、装置、车端设备、服务端及介质
CN110095752B (zh) 定位方法、装置、设备和介质
CN109116374B (zh) 确定障碍物距离的方法、装置、设备及存储介质
KR20220053513A (ko) 이미지 데이터 자동 라벨링 방법 및 장치
US20200088858A1 (en) Multi-sensor calibration method, multi-sensor calibration device, computer device, medium and vehicle
JP2020035441A (ja) 模擬点群データを生成する方法、装置、機器および記憶媒体
CN109613543B (zh) 激光点云数据的修正方法、装置、存储介质和电子设备
CN109931945B (zh) Ar导航方法、装置、设备和存储介质
CN111121754A (zh) 移动机器人定位导航方法、装置、移动机器人及存储介质
JP2020034554A (ja) インテリジェント路側ユニットの標定方法、装置および機器
CN111427061A (zh) 一种机器人建图方法、装置,机器人及存储介质
CN110349212B (zh) 即时定位与地图构建的优化方法及装置、介质和电子设备
CN112652062B (zh) 一种点云地图构建方法、装置、设备和存储介质
CN111784776B (zh) 视觉定位方法及装置、计算机可读介质和电子设备
CN111462029A (zh) 视觉点云与高精地图融合方法、装置和电子设备
JP2022050672A (ja) 地図データ処理方法及び装置
CN111368860B (zh) 重定位方法及终端设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200623

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200918

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210125

R150 Certificate of patent or registration of utility model

Ref document number: 6830137

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250