JP2020046427A - マルチセンサーのキャリブレーション方法とその装置、コンピュータ機器、媒体及び車両 - Google Patents

Abstract

【課題】従来のセンサーキャリブレーション方法でキャリブレーション精度が限られる問題を解決し、複数のセンサーが同時に採取したデータによりキャリブレーションを行うことを実現し、最大限に得られたマルチソース情報を利用し、センサーキャリブレーションの精度を向上させる。【解決手段】マルチセンサーのキャリブレーション方法とその装置、コンピュータ機器、媒体及び車両を開示する。当該方法は、車両の走行中に少なくとも三つのセンサーによって同一期間に採取されたデータをそれぞれ取得するステップＳ１１０と、少なくとも三つのセンサーによって採取されたデータのそれぞれに基いて、それぞれの軌跡を決定するステップＳ１２０と、少なくとも三つのセンサーそれぞれの軌跡を軌跡揃えて、少なくとも三つのセンサーの複合キャリブレーションを実現するステップＳ１３０と、を含む。【選択図】図１

Description

本発明の実施例は、コンピュータ技術分野に関し、特にマルチセンサーのキャリブレーション方法とその装置、コンピュータ機器、媒体及び車両に関する。

無人運転システムには、複数のセンサー、例えば長距離レーダ、レーザレーダ、短距離レーダ、カメラ、超音波、ＧＰＳやジャイロスコープ等を含み、マルチセンサーの融合により、車両制御モジュールが安全で正確な命令を出すことを確保することができる。その中、センサーのキャリブレーションは、センシングデータの精度に直接に影響を与えるため、センサーのキャリブレーションは、具体な適用中に、無視できない部分である。

目前、レーザレーダ、ＧＰＳ／ＩＭＵ（Ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ、慣性測定装置）、及びカメラの間のキャリブレーション過程中、一回キャリブレーション中には、一般的に二つのセンサーの間のキャリブレーションだけ、例えば、レーザレーダとＧＰＳ／ＩＭＵとの間のキャリブレーション、又は、カメラとレーザレーダとの間のキャリブレーション等を利用し、操作過程が複雑であり、時間がかかり、かつキャリブレーション精度が限られる。

本発明の実施例は、マルチセンサーのキャリブレーション方法とその装置、コンピュータ機器、媒体及び車両を提供することにより、センサーキャリブレーションの精度を向上させる。

第一形態では、本発明の実施例は、マルチセンサーのキャリブレーション方法を提供し、当該方法は、車両の走行中に少なくとも三つのセンサーによって同一期間に採取されたデータをそれぞれ取得するステップと、前記少なくとも三つのセンサーによって採取されたデータのそれぞれに基いて、それぞれの軌跡を決定するステップと、前記少なくとも三つのセンサーそれぞれの軌跡を軌跡揃えて、前記少なくとも三つのセンサーの複合キャリブレーションを実現するステップと、を含む。

第二形態では、本発明の実施例は、マルチセンサーのキャリブレーション装置をさらに提供し、当該装置は、車両の走行中に少なくとも三つのセンサーによって同一期間に採取されたデータをそれぞれ取得するためのデータ取得モジュールと、前記少なくとも三つのセンサーによって採取されたデータのそれぞれに基いて、それぞれの軌跡を決定するための軌跡決定モジュールと、前記少なくとも三つのセンサーそれぞれの軌跡を軌跡揃えて、前記少なくとも三つのセンサーの複合キャリブレーションを実現するためのキャリブレーションモジュールとを含む。

第三形態では、本発明の実施例は、コンピュータ機器をさらに提供し、前記機器は、一つ又は複数のプロセッサと、一つ又は複数のプログラムを記憶するための記憶装置とを含み、前記一つ又は複数のプログラムが前記一つ又は複数のプロセッサによって実行される場合に、前記一つ又は複数のプロセッサが本発明のいずれか一つの実施例に記載のマルチセンサーのキャリブレーション方法を実現する。

第四形態では、本発明の実施例は、コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体をさらに提供し、当該プログラムがプロセッサによって実行される場合に、本発明のいずれか一つの実施例に記載のマルチセンサーのキャリブレーション方法を実現する。

第五形態では、本発明の実施例は、車体を含む車両をさらに提供し、前記車両は、本発明の実施例に記載のコンピュータ機器と、前記車体上に設けられた少なくとも三つのセンサーと、をさらに含む。前記少なくとも三つのセンサーのタイプは、レーザレーダと、カメラと、位置決め機器とのうち少なくとも二つを含み、前記少なくとも三つのセンサーは、前記コンピュータ機器とそれぞれ通信する。

本発明の実施例は、まず、車両の走行中に少なくとも三つのセンサーによって同一期間に採取されたデータをそれぞれ取得した後、取得された少なくとも三つのセンサーによって採取されたデータのそれぞれに基いて、それぞれの軌跡を決定し、少なくとも三つのセンサーそれぞれの軌跡を軌跡揃えて、少なくとも三つのセンサーの複合キャリブレーションを実現することで、従来のセンサーキャリブレーション方法でキャリブレーション精度が限られる問題を解決し、複数のセンサーが同時に採取したデータによりキャリブレーションを行うことを実現し、得られたマルチソース情報を最大限に利用し、センサーキャリブレーションの精度を向上させる。

本発明の実施例１によって提供されるマルチセンサーのキャリブレーション方法のフローチャートである。 本発明の実施例２によって提供されるマルチセンサーのキャリブレーション方法のフローチャートである。 本発明の実施例３によって提供されるマルチセンサーのキャリブレーション装置の概略構成図である。 本発明の実施例４によって提供されるコンピュータ機器の概略構成図である。

以下に、図面を参照しながら本開示の実施例をさらに詳しく説明する。なお、本開示の図面及び実施例は、例示的な作用を奏し、本開示の保護範囲を限定するものと理解されてはならない。さらに、説明の便宜上、図面にはただ本発明に係る一部を示し、全部の構造ではない。

実施例１
図１は、本発明の実施例１によって提供されるマルチセンサーのキャリブレーション方法のフローチャートである。本実施は、複数のセンサーに対して同時にキャリブレーションする場合に適用でき、当該方法は、マルチセンサーのキャリブレーション装置によって実行されることができ、当該装置は、ソフトウェア及び／又はハードウェアとして実現されることができ、コンピュータ機器に集積れることができ、当該コンピュータ機器は、車両、例えば制御と算出能力を有する無人車両等に配置されることができる。図１に示すように、当該方法は、以下のステップＳ１１０〜ステップＳ１３０を含むことができる。

Ｓ１１０：車両の走行中に少なくとも三つのセンサーによって同一期間に採取されたデータをそれぞれ取得する。

ここで、少なくとも三つのセンサーは、少なくとも一つのタイプのセンサーを含み、即ち、センサーの数量がセンサーのタイプ数量以上であり、三つのセンサーを例として、それには三つのタイプのセンサーを含むことができ、各タイプは、それぞれ一つのセンサーに対応し、二つのタイプのセンサーを含むことができ、その中、一つのタイプは、二つのセンサーに対応すると、一つの他タイプは、一つのセンサーに対応し、さらに、同一のタイプに属する三つの異なるモデルのセンサーを含むことができる。各タイプが対応するセンサー数量について、本実施例では具体的に限定しなく、車両でのセンサー配置状況によって決定することができる。

車両行使中の同一期間に、複数のセンサーによって採取されたデータをそれぞれ取得する場合、異なるセンサーの利点を発揮して相補できるではなく、センサーキャリブレーション中に使用可能なリソース情報数量を増加することもでき、キャリブレーション精度の向上のために基礎を築き上げる。

Ｓ１２０：少なくとも三つのセンサーによって採取されたデータのそれぞれに基いて、それぞれの軌跡を決定する。

各センサーによって採取されたデータに基いて、各センサーそれぞれの軌跡を決定する。軌跡の具体な決定過程は、センサータイプに関連性がある。例えば、センサータイプがカメラであると、画像認識技術によりカメラの軌跡を決定することができ、センサータイプがレーザレーダであると、それが採取したレーザ点群によって三次元シーン構築を行い、レーザレーダの軌跡を決定することができ、センサータイプが位置決め機器、例えばＧＰＳ、ＩＭＵやＥｎｃｏｄｅｒ（エンコーダ）等であると、直接に車両の走行中に位置決め機器によって決定された位置決め軌跡を位置決め機器の軌跡とすることができる。ここで、周囲の物体を感知するためのセンサー、例えばカメラやレーザレーダ等について、センサーの軌跡とは、センサーが採取した周囲環境データ中、同一物体の移動軌跡をいう。

さらに、機器学習に基づいて、予めトレーニングされた、異なるセンサータイプの軌跡に対してモデル、例えばカメラ軌跡決定モデル、レーザレーダ軌跡決定モデルや位置決め機器軌跡決定モデル等を決定し、複数のセンサーの軌跡を決定することができる。

Ｓ１３０：少なくとも三つのセンサーそれぞれの軌跡を軌跡揃えて、少なくとも三つのセンサーの複合キャリブレーションを実現する。

異なるセンサーを車両の異なる位置に取付け、車両の行使に伴い、異なるセンサーによって採取されたデータのいずれも、それ自身の座標系に対するものであり、得られた異なるセンサーの軌跡は、それぞれ異なる座標系に対応する。しかしながら、異なるセンサーの軌跡形状のいずれも、車両の走行状態に関連し、類似性を有する。座標変換原理に基づいて、異なる座標系で軌跡の間の回転や並進等の変換操作により、異なる軌跡の揃えを実現し、即ち、複数の軌跡を同時に重なることができる。この時、異なる軌跡の間の座標変換パラメーターを抽出し、即ち、複数のセンサーの複合キャリブレーションを実現する。

本実施例に係る複合キャリブレーション過程は、一回キャリブレーション中に拘束方程に基づいて、少なくとも三つのセンサーの軌跡データを同時に利用し、解決して異なるセンサーの間の座標変換パラメーターを取得することに属すると考え、従来技術で一回キャリブレーション過程は、二つのセンサーによって採取されたデータだけを利用して座標変換パラメーターを解決し、本実施例は、キャリブレーション中のパラメーター解決条件への要求がより高いため、複数のセンサーのキャリブレーション精度がさらに高い。また、本実施例では、複数のセンサーにおいて二つの軌跡を順次に揃えるではなく、複数のセンサーの軌跡を同時に揃えるため、複数のセンサーをキャリブレーションする時のキャリブレーションフローを簡単化し、繰り返すキャリブレーション回数とキャリブレーション操作を減少し、さらに、コンピュータ機器のキャリブレーション算出ストレスを減らすことができ、同時に、本実施例方案は、さらに、複数のセンサーのうち二つのセンサーをキャリブレーションすることによる誤差累積現象を回避し、キャリブレーションの精度を保証することができる。

任意に、少なくとも三つのセンサーそれぞれの軌跡を軌跡揃えて、少なくとも三つのセンサーの複合キャリブレーションを実現するステップは、少なくとも三つのセンサーそれぞれの軌跡中から一つのを目標軌跡として任意に選択し、他の軌跡を対象軌跡とするステップと、対象軌跡と目標軌跡とをそれぞれ軌跡揃え操作し、対象軌跡と目標軌跡とが同時に揃えた場合、少なくとも三つのセンサーそれぞれの外部パラメーターを決定するステップと、を含む。

目標軌跡を決定したところ、目標軌跡がある座標系を参考座標系として、残りの対象軌跡に対してその現在の座標システム一を参考座標系に変換し、目標軌跡に揃える。異なる対象軌跡のいずれも、目標軌跡に揃える場合に、異なる軌跡の間の座標変換パラメーター決定することができ、即ち異なるセンサーの外部パラメーターをキャリブレーションし、具体的に、回転行列と並進ベクトルを含むことができる。

本実施例の技術案は、先ず、車両の走行中に少なくとも三つのセンサーによって同一期間に採取されたデータをそれぞれ取得した後、取得された少なくとも三つのセンサーによって採取されたデータのそれぞれに基いて、それぞれの軌跡を決定し、少なくとも三つのセンサーそれぞれの軌跡を軌跡揃えて、少なくとも三つのセンサーの複合キャリブレーションを実現することで、従来のセンサーキャリブレーション方法でキャリブレーション精度が限られる問題を解決し、複数のセンサーが同時に採取したデータによりキャリブレーションを行うことを実現し、得られたマルチソース情報を最大限に利用し、センサーキャリブレーションの精度を向上させ、複数のセンサーをキャリブレーションする時のキャリブレーションフローを簡単化し、複数のセンサーのうち二つのセンサーをキャリブレーションすることによる誤差累積現象を回避する。

実施例２
図２は、本発明の実施例２によって提供されるマルチセンサーのキャリブレーション方法のフローチャートである。本実施例は、上述実施例に基づいてさらに適合化したものである。図２に示すように、当該方法は、ステップＳ２１０〜ステップＳ２５０を含むことができる。

Ｓ２１０：車両の走行中に少なくとも三つのセンサーによって同一期間に採取されたデータをそれぞれ取得し、少なくとも三つのセンサーは、少なくとも一つのレーザレーダと、少なくとも一つの位置決め機器と、少なくとも一つのカメラとを含む。

本実施例では、センサーが少なくともレーザレーダと、位置決め機器と、カメラとの三つのタイプを含むことを例として、複数のセンサーの複合キャリブレーションに対して例示的に説明する。

Ｓ２２０：レーザレーダによって異なる時点で採取された点群間の位置関係に基づいてレーザレーダの軌跡を決定し、少なくとも一つのレーザレーダの軌跡を順次に決定する。

レーザレーダは、連続して異なる時点で採取された、同一区域又は同一物体の点群データを含む点群データから、同一区域又は同一物体それぞれが異なる時点における点群での空間位置を決定し、時間関係に基づいてこれらの空間位置点を関連付け、これらの空間位置点の変化軌跡、即ちレーザレーダの軌跡を取得する。その後、類似する方法により、複数のレーザレーダの軌跡を順次に決定する。

任意に、レーザレーダの軌跡を決定するステップは、レーザレーダによって異なる時点で採取された複数の点群を順次に分析し、複数の点群の特徴を抽出し、特徴を揃えることによって、複数の点群のうち二つの点群間の位置関係を決定し、位置関係に基づいてレーザレーダの軌跡を確立するステップを含む。

具体的に、先ず、異なる時点で採取された点群を分析することにより、異なる点群に含まれる同一区域又はいずれか一つの同一物体を認識するとともに、当該同一区域又は同一物体それぞれの異なる点群での特徴を抽出し、例えば、同一区域又は同一物体のエッジ輪郭を抽出してもよく、同一区域又は同一物体での代表的な特徴点を抽出してもよく、その後、時間連続性によって、それぞれ隣接する時点で採取された点群での特徴に対して揃えを行い、順次に隣接する二つの点群での同一区域又は同一物体の特徴の間の位置変化量、例えば変位等を決定し、当該特徴位置の変化量は、異なる時点における点群位置変化量であり、ここで、隣接する点群とは、重なり区域を含み、重なり区域に対応する空間座標点の異なる点群での距離が点群距離閾値以下である点群をいい、当該点群距離閾値を対応的に設置することができ、最後に、時間関連性によって、得られた異なる点群の位置変化量を関連付け、レーザレーダの軌跡を決定する。

例示的に、レーザレーダが時点Ａ１で採取した点群には、同一物体での特徴点Ｂ１（ｘ１，ｙ１，ｚ１）を含み、最も近接するＡ２時点で、当該特徴点Ｂ１の座標がＢ２（ｘ２，ｙ２，ｚ２）に変化し、座標を揃え、当該同一物体での特徴点がＢ１（ｘ１，ｙ１，ｚ１）からＢ２（ｘ２，ｙ２，ｚ２）に変化する座標変化量を決定することにより、Ａ１時点とＡ２時点で採取された点群の位置変化量を決定することができる。このように、複数の点群のうち二つの点群間の位置変化を順次に決定し、レーザレーダの軌跡を取得する。類似する方法により、複数のレーザレーダの軌跡を順次に決定することができる。

Ｓ２３０：位置決め機器によって異なる時点で採取された複数の位置決め点に基づいて位置決め機器の軌跡を決定し、少なくとも一つの位置決め機器の軌跡を順次に決定する。

位置決め機器は、ＧＰＳ、ＩＭＵやＥｎｃｏｄｅｒ（エンコーダ）等を含み、その位置決め機能を利用し、車両の走行軌跡、即ち位置決め機器の軌跡を決定する。

Ｓ２４０：カメラによって異なる時点で採取された複数の画像の間の位置関係に基づいてカメラの軌跡を決定し、少なくとも一つのカメラの軌跡を順次に決定する。

カメラが連続して異なる時点で採取された画像データには、同一区域又は同一物体の画像データを含み、同一区域又は同一物体が異なる時点における画像データでの空間位置を決定し、時間関係に基づいてこれらの空間位置点を関連付け、これらの空間位置点の変化軌跡、即ちカメラの軌跡を取得する。その後、類似する方法により、複数のカメラの軌跡を順次に決定することができる。

任意に、カメラの軌跡を決定するステップは、カメラによって異なる時点で採取された複数の画像を順次に画像分析し、各画像における複数の特徴点のカメラ座標系での座標を決定するステップと、特徴点を揃えることによって、複数の画像のうち二つの画像間の位置関係を決定し、位置関係に基づいてカメラの軌跡を決定するステップと、を含む。

具体的に、先ず、画像認識により、順次に隣接する時点で採取された画像中、画素値変化が画素閾値を超える区域を目標区域として決定し、ここで、隣接する時点で採取された画像とは、異なる画像中、目標区域がカメラ座標系でのベクトル距離がベクトル距離閾値である二つの画像をいい、画素閾値とベクトル距離閾値とのいずれも、対応的に設置することができ、その後、が異なる時点で採取された画像の目標区域から、それぞれ対応するコーナー点を各画像の特徴点として選択するとともに、特徴点の現在カメラ座標系での座標を決定し、隣接する時点で採取された画像における特徴点座標を順次に揃え操作し、特徴点の間の座標変化量、即ち、隣接する時点で採取された画像の間の位置変化量を決定し、ここで、対応するコーナー点が異なる画像の目標区域には、同一物体又は同一対象に対応するため、軌跡を決定する過程に、具体的に参考可能となり、最後に、時間関連性によって、異なる時点で採取された画像の間の位置変化を関連付け、カメラの軌跡を取得する。

任意に、カメラ軌跡を決定する過程において、さらに、隣接する時点で採取された画像に対する検証操作を含んでもよく、具体的に、画素変化によって目標区域を決定した後、それぞれ目標区域の現在画像座標系での位置ベクトルを決定し、その後、現在画像座標系とカメラ座標系との間の変換関係に基づいて、それぞれ目標区域を示す位置ベクトルをカメラ座標系に変換し、最後に、二つの画像中、目標区域の位置ベクトルの、カメラ座標系でのベクトル距離を算出し、当該ベクトル距離がベクトル距離閾値以下である場合に、二つの画像が隣接する時点で採取された画像である。

なお、操作Ｓ２２０〜Ｓ２４０は、決定された順番により実行することに限らず、本実施例を例として、レーザレーダと、カメラと、位置決め機器との軌跡を順次に決定するが、本実施例方案に具体的に限定するものではない。

Ｓ２５０：少なくとも一つのレーザレーダの軌跡と、少なくとも一つの位置決め機器の軌跡と、少なくとも一つのカメラの軌跡とを、同時に軌跡揃えし、少なくとも一つのレーザレーダと、少なくとも一つの位置決め機器と、少なくとも一つのカメラとの複合キャリブレーションを実現する。

本実施例の技術案は、レーザレーダと、位置決め機器と、カメラとの三つのタイプのセンサーによって採取されたデータにより、それぞれ少なくとも一つのレーザレーダの軌跡、少なくとも一つの位置決め機器の軌跡及び少なくとも一つのカメラの軌跡を決定し、その後、複数のセンサーの軌跡に対して同時に揃えを行い、三つのタイプの複数のセンサーによる複合キャリブレーションを実現し、従来のセンサーキャリブレーション方法でキャリブレーション精度が限られる問題を解決し、同時に異なるタイプの複数のセンサーによって採取されたデータに基いて、キャリブレーションすることを実現し、得られたマルチソース情報を最大限に利用し、センサーキャリブレーションの精度を向上させ、また、複数のセンサーをキャリブレーションする時のキャリブレーションフローを簡単化し、複数のセンサーのうち二つのセンサーをキャリブレーションすることによる誤差累積現象を回避する。

実施例３
図３は、本発明の実施例３によって提供されるマルチセンサーのキャリブレーション装置の概略構成図であり、本実施は、複数のセンサーに対して同時にキャリブレーションする場合に適用できる。当該装置は、ソフトウェア及び／又はハードウェアとして実現されることができ、コンピュータ機器に集積れることができ、当該コンピュータ機器は、車両、例えば制御と算出能力を有する車両等に配置されることができる。

図３に示すように、当該装置は、データ取得モジュール３１０、軌跡決定モジュール３２０及びキャリブレーションモジュール３３０を含む。
データ取得モジュール３１０は、車両の走行中に少なくとも三つのセンサーによって同一期間に採取されたデータをそれぞれ取得するためのものであり、軌跡決定モジュール３２０は、少なくとも三つのセンサーによって採取されたデータのそれぞれに基いて、それぞれの軌跡を決定するためのものであり、キャリブレーションモジュール３３０は、少なくとも三つのセンサーそれぞれの軌跡を軌跡揃えて、少なくとも三つのセンサーの複合キャリブレーションを実現するためのものである。

任意に、少なくとも三つのセンサーは、少なくとも一つのレーザレーダと、少なくとも一つの位置決め機器と、少なくとも一つのカメラとを含む。対応的に、軌跡決定モジュール３２０は、レーザレーによってが異なる時点で採取された点群間の位置関係に基づいて決定レーザレーダの軌跡、少なくとも一つのレーザレーダの軌跡を順次に決定するためのレーザレーダ軌跡決定ユニットと、位置決め機器によって異なる時点で採取された複数の位置決め点に基づいて位置決め機器の軌跡を決定し、少なくとも一つの位置決め機器の軌跡を順次に決定するための位置決め機器軌跡決定ユニットと、カメラによって異なる時点で採取された複数の画像の間の位置関係に基づいてカメラの軌跡を決定し、少なくとも一つのカメラの軌跡を順次に決定するためのカメラ軌跡決定ユニットと、を含む。

任意に、レーザレーダ軌跡決定ユニットは、具体的に、レーザレーダによって異なる時点で採取された複数の点群を順次に分析し、複数の点群の特徴を抽出し、特徴を揃えることによって、複数の点群のうち二つの点群間の位置関係を決定し、位置関係に基づいてレーザレーダの軌跡を確立するためのものである。

任意に、カメラ軌跡決定ユニットは、カメラによって異なる時点で採取された複数の画像を順次に画像分析し、各画像における複数の特徴点のカメラ座標系での座標を決定するための画像特徴点決定サブユニットと、特徴点を揃えることによって、複数の画像のうち二つの画像間の位置関係を決定し、位置関係に基づいてカメラの軌跡を決定するためのカメラ軌跡決定サブユニットと、を含む。

任意に、キャリブレーションモジュール３３０は、少なくとも三つのセンサーそれぞれの軌跡中から一つのを目標軌跡として任意に選択し、他の軌跡を対象軌跡とするための軌跡区分ユニットと、対象軌跡と目標軌跡とをそれぞれ軌跡揃え操作し、対象軌跡と目標軌跡とが同時に揃えた場合、少なくとも三つのセンサーそれぞれの外部パラメーターを決定するための外部パラメーター決定ユニットとを含む。

本発明の実施例によって提供されるマルチセンサーのキャリブレーション装置は、本発明の任意の実施例によって提供されるマルチセンサーのキャリブレーション方法を実行することができ、実行方法に対応する機能モジュール及び有益な効果を有する。

実施例４
図４は、本発明の実施例４によって提供されるコンピュータ機器の概略構成図である。図４は、本発明の実施形態の実現に適する例示的なコンピュータ機器４１２を示すブロック図である。図４に示されるコンピュータ機器４１２はただ１つの例で、本発明の実施例の機能及び使用範囲に何れの制限を与えるべきでない。

図４に示すように、コンピュータ機器４１２は、通用のコンピュータ機器の形式で表現される。コンピュータ機器４１２の構成要素は、１つ又は複数のプロセッサ４１６と、記憶装置４２８と、異なるシステム構成要素（記憶装置４２８及びプロセッサ４１６を含む）を接続するためのバス４１８とを含んでいてもよいが、これらに限定されない。

バス４１８は、複数種類のバス構造における１つ又は複数を示し、メモリバス又はメモリ制御器、外装バス、グラフィックス高速化ポート、プロセッサー又は複数種類のバス構造における何れのバス構造のローカルバスなどを含む。例えば、これらのアーキテクチャー構造は、工業基準体系構造（ＩＳＡ）バス、マイクロチャネルのアーキテクチャー（ＭＡＣ）バス、増強型ＩＳＡバス、ビデオ電子基準協会（ＶＥＳＡ）ローカルバス及び周辺コンポーネント相互接続（ＰＣＩ（ｐｅｒｉｐｈｅｒａｌ ｃｏｍｐｏｎｅｎｔ ｉｎｔｅｒｃｏｎｎｅｃｔ））バスなどを含んでいても良いが、これらに限定されない。

コンピュータ機器４１２は、代表的に複数のコンピュータシステム読み取り可能な媒体を含む。これらの媒体は、何れのコンピュータ機器４１２によって接続できる利用可能な媒体で、揮発性及び不揮発性媒体と、ポータブル又はアンポータブルな媒体を含んでいてもよい。

記憶装置４２８は、発揮性メモリ形式のコンピュータシステム読み取り可能な媒体、例えば、ランダムアクセスメモリ（ＲＡＭ）４３０及び／又は高速キャッシュメモリ４３２を含んでいてもよい。コンピュータ機器４１２は、さらに、他のポータブル又はアンポータブルな、揮発性／不揮発性コンピュータシステム記憶媒体を含んでいてもよい。ただ一例として、記憶システム４３４は、アンポータブルな、不揮発性磁気媒体（図４に示していない、通常に「ハードウェアドライバ」と呼ばれる）の読み書きに用いられてもよい。図４に示していないが、ポータブルな不揮発性磁気ディスク（例えば、「フロッピー（登録商標）ディスク））に読み書くことができる磁気ディスクドライバ、及びポータブルな不揮発性光ディスク（例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ又は他の光媒体）に読み書くことができる光ディスクドライバを提供しても良い。これらの場合、各ドライバは、１つ又は複数のデータ媒体インターフェースでバス４１８に接続してもよい。記憶装置４２８は、少なくとも１つのプログラム製品を含んでいてもよく、当該プログラム製品は、一組（例えば、少なくとも１つの）のプログラムモジュールを備えており、これらのプログラムモジュールは本発明の各実施例の機能を実行するように配置されている。

一組（少なくとも１つの）のプログラムモジュール４４２を有するプログラム／実用的なアプリ４４０は、例えば記憶装置４２８に記憶されていてもよく、このようなプログラムモジュール４４２は、操作システム、１つ又は複数のアプリケーションプログラム、他のプログラムモジュール及びプログラムデータを含んでいても良いが、これらに限定されない。これらの例示に於ける一種類毎又はある組合せにはネットワーク環境での実現を含んでいてもよい。プログラムモジュール４４２は、通常、本発明に記載した実施例における機能及び／又は方法を実行する。

コンピュータ機器４１２は、１つ又は複数の外部機器４１４（例えば、キーボード、ポインティング機器、ディスプレイ４２４等）と通信してもよく、ユーザーが当該コンピュータ機器４１２と対話できる１つ又は複数の機器と通信してもよく、及び／又は当該コンピュータ機器４１２が１つ又は複数の他のコンピュータ機器と通信できる何れの機器（例えば、ネットワークボード、モデム等）と通信してもよい。このような通信は、入力／出力（Ｉ／Ｏ）インターフェース４２２を通じて実行できる。また、コンピュータ機器４１２は、ネットワークアダプター４２０で１つ又は複数のネットワーク（例えば、ローカルネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）及び／又は公共ネットワーク、例えば、インターネットワーク）と通信してもよい。図に示すように、ネットワークアダプター４２０は、バス４１８でコンピュータ機器４１２の他のモジュールと通信する。図４に示していないが、コンピュータ機器４１２を結合して、マイクロコード、機器ドライバ、冗長処理手段、外部磁気ディスクドライバアレイ、ＲＡＩＤシステム、磁気テープドライバ及びデータバックアップ記憶システム等を含む他のハードウェア及び／又はソフトウェアモジュールを利用することができるが、これらに限定されない。

プロセッサ４１６は、記憶装置４２８に記憶されているプログラムを実行することにより、各種機能アプリおよびデータ処理を実行し、例えば本発明の任意の実施例によって提供されるマルチセンサーのキャリブレーション方法を実現し、当該方法は、車両の走行中に少なくとも三つのセンサーによって同一期間に採取されたデータをそれぞれ取得するステップと、前記少なくとも三つのセンサーによって採取されたデータのそれぞれに基いて、それぞれの軌跡を決定するステップと、前記少なくとも三つのセンサーそれぞれの軌跡を軌跡揃えて、前記少なくとも三つのセンサーの複合キャリブレーションを実現するステップとを含むことができる。

実施例５
本発明の実施例５は、コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体をさらに提供し、当該プログラムがプロセッサによって実行される場合に、本発明の任意の実施例によって提供されるマルチセンサーのキャリブレーション方法が実現され、当該方法は、車両の走行中に少なくとも三つのセンサーによって同一期間に採取されたデータをそれぞれ取得するステップと、前記少なくとも三つのセンサーによって採取されたデータのそれぞれに基いて、それぞれの軌跡を決定するステップと、前記少なくとも三つのセンサーそれぞれの軌跡を軌跡揃えて、前記少なくとも三つのセンサーの複合キャリブレーションを実現するステップとを含むことができる。

本発明の実施例に係るコンピュータ記憶媒体は、１つ又は複数のコンピュータ読み取り可能な媒体の何れの組み合わせを使用してもよい。コンピュータ読み取り可能な媒体は、コンピュータ読み取り可能な信号媒体、又はコンピュータ読み取り可能な記憶媒体であってもよい。コンピュータ読み取り可能な記憶媒体は、例えば、電気、磁気、光学、電磁、赤外線、又は半導体のシステム、装置又は機器、又はこれらの何れの組み合わせであってもよいが、これらに限定されない。コンピュータ読み取り可能な記憶媒体のより具体的な例（非汲尽くしのリスト）としては、１つ又は複数のリード線を有する電気的接続、携帯型コンピュータディスク、ハードディスク、ランダム・アクセス・メモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、イーピーロム（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、携帯コンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）、光記憶装置、磁気記憶装置、又はこれらの何れの適切な組み合わせを含む。本明細書において、コンピュータ読み取り可能な記憶媒体は、命令実行システム、装置又は機器によって利用でき又はこれらと組み合わせて利用できるプログラムを含み又は記憶している何れかの有形媒体であってもよい。

コンピュータ読み取り可能な信号媒体は、ベースバンドにおいて又はキャリヤーの一部として伝播するコンピュータ読み取り可能なプログラムコードを搭載したデータ信号を含んでいてもよい。このような伝播するデータ信号は、様々な形態をとることができ、電磁信号、光信号、又はこれらの何れの適切な組み合わせを含んでいてもよいが、これらに限定されない。コンピュータ読み取り可能な信号媒体は、コンピュータ読み取り可能な記憶媒体以外の何れかのコンピュータ読み取り可能な媒体であってもよく、当該コンピュータ読み取り可能な媒体は、命令実行システム、装置又は機器によって使用され又はこれらに結合されて使用されるプログラムを送信し、伝播し、送信することができる。

コンピュータ読み取り可能な媒体に含まれるプログラムコードは、無線、ワイヤ、ケーブル、ＲＦ等、又はこれらの何れかの適切な組み合わせの何れかの適切な媒体で送信されてもよいが、これらに限定されない。

１つ又は複数のプログラム設計言語又はこれらの組合せで、本発明の動作を実行するためのコンピュータプログラムコードを書き込むことができ、前記プログラム設計言語は、オブジェクト指向プログラミング言語、例えばＪａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋を含み、常用の過程式プログラム設計言語、例えば「Ｃ」言語又は類似なプログラム設計言語を含む。プログラムコードは、完全にユーザーのコンピュータ上で実行されてもよく、一部はユーザーのコンピュータで実行されて１つの独立したソフトウェアパッケージとして実行されてもよく、一部はユーザーのコンピュータで、一部はリモートコンピュータで実行されてもよく、又は、完全にリモートコンピュータ又はサーバーで実行されてもよい。リモートコンピュータに関するものの場合は、リモートコンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ）又はワイド・エリア・ネットワーク（ＷＡＮ）を含む何れの種類のネットワークを介して、ユーザコンピュータに接続されてもよく、あるいは、外部コンピュータ（例えば、インターネット・サービス・プロバイダを利用してインターネットを介して接続する）に接続してもよい。

実施例６
本発明の実施例６は、車体を含む車両をさらに提供し、前記車両は、本発明の実施例に記載のコンピュータ機器と、車体に設けられた少なくとも三つのセンサーと、をさらに含む。少なくとも三つのセンサーのタイプは、レーザレーダと、カメラと、位置決め機器とのうち少なくとも二つを含み、少なくとも三つのセンサーそれぞれは、コンピュータ機器に通信する。

センサーの車体での具体位置は、車両によって設置することができる。ここで、当該車両は、制御及び算出能力を有する無人車両等であってもよい。車両行使過程中、異なるセンサーがデータの採取を完成した後、データをコンピュータ機器に発信することにより、コンピュータ機器がデータ処理を行い、例えば異なるセンサーの複合キャリブレーション等を実行する。

なお、以上は本発明の好適な実施形態および応用技術の原理に過ぎない。本発明は、本明細書に記載の特定の実施形態に限定されるものではなく、本発明の範囲から逸脱しない限り、様々な明らかな変化、再調整、及び置換は、当業者にとって理解できるものである。そのため、以上、実施形態を挙げて本発明を詳細に説明したが、本発明は上記実施の形態に限定されるものではなく、本発明の範囲を逸脱することなく他の均等な実施形態を含むことができ、本発明の範囲は特許請求の範囲によって決定される。

Claims (13)

1. 車両の走行中に少なくとも三つのセンサーによって同一期間に採取されたデータをそれぞれ取得するステップと、
   前記少なくとも三つのセンサーによって採取されたデータのそれぞれに基いて、それぞれの軌跡を決定するステップと、
   前記少なくとも三つのセンサーそれぞれの軌跡を軌跡揃えて、前記少なくとも三つのセンサーの複合キャリブレーションを実現するステップと、を含む、
   ことを特徴とするマルチセンサーのキャリブレーション方法。
2. 前記少なくとも三つのセンサーは、少なくとも一つのレーザレーダと、少なくとも一つの位置決め機器と、少なくとも一つのカメラとを含み、
   対応的に、前記少なくとも一つのレーザレーダの軌跡は、前記レーザレーダによって異なる時点で採取された点群間の位置関係に基づいて決定された軌跡であり、
   前記少なくとも一つの位置決め機器の軌跡は、前記位置決め機器によって異なる時点で採取された複数の位置決め点に基づいて決定された軌跡であり、
   前記少なくとも一つのカメラの軌跡は、前記カメラによって異なる時点で採取された複数の画像間の位置関係に基づいて決定された軌跡である、
   ことを特徴とする請求項１に記載のマルチセンサーのキャリブレーション方法。
3. 前記レーザレーダの軌跡を決定するステップは、
   前記レーザレーダによって異なる時点で採取された複数の点群を順次に分析し、前記複数の点群の特徴を抽出し、特徴を揃えることによって、前記複数の点群のうち二つの点群間の位置関係を決定し、位置関係に基づいて前記レーザレーダの軌跡を確立するステップを含む、
   ことを特徴とする請求項２に記載のマルチセンサーのキャリブレーション方法。
4. 前記カメラの軌跡を決定するステップは、
   前記カメラによって異なる時点で採取された複数の画像を順次に画像分析し、各画像における複数の特徴点のカメラ座標系での座標を決定するステップと、
   特徴点を揃えることによって、前記複数の画像のうち二つの画像間の位置関係を決定し、前記位置関係に基づいて前記カメラの軌跡を決定するステップと、を含む、
   ことを特徴とする請求項２又は３に記載のマルチセンサーのキャリブレーション方法。
5. 前記少なくとも三つのセンサーそれぞれの軌跡を軌跡揃えて、前記少なくとも三つのセンサーの複合キャリブレーションを実現するステップは、
   前記少なくとも三つのセンサーそれぞれの軌跡からいずれかを目標軌跡として選択し、他の軌跡を対象軌跡とするステップと、
   前記対象軌跡と前記目標軌跡とをそれぞれ軌跡揃え操作し、前記対象軌跡と前記目標軌跡とが同時に揃えた場合、前記少なくとも三つのセンサーそれぞれの外部パラメーターを決定するステップと、を含む、
   ことを特徴とする請求項１〜４のいずれかに記載のマルチセンサーのキャリブレーション方法。
6. 車両の走行中に少なくとも三つのセンサーによって同一期間に採取されたデータをそれぞれ取得するためのデータ取得モジュールと、
   前記少なくとも三つのセンサーによって採取されたデータのそれぞれに基いて、それぞれの軌跡を決定するための軌跡決定モジュールと、
   前記少なくとも三つのセンサーそれぞれの軌跡を軌跡揃えて、前記少なくとも三つのセンサーの複合キャリブレーションを実現するためのキャリブレーションモジュールと、を含む、
   ことを特徴とするマルチセンサーのキャリブレーション装置。
7. 前記少なくとも三つのセンサーは、少なくとも一つのレーザレーダと、少なくとも一つの位置決め機器と、少なくとも一つのカメラとを含み、
   対応的に、前記軌跡決定モジュールは、
   前記レーザレーダによって異なる時点で採取された点群間の位置関係に基づいて前記レーザレーダの軌跡を決定するためのレーザレーダ軌跡決定ユニットと、
   前記位置決め機器によって異なる時点で採取された複数の位置決め点に基づいて前記位置決め機器の軌跡を決定するための位置決め機器軌跡決定ユニットと、
   前記カメラによって異なる時点で採取された複数の画像間の位置関係に基づいて前記カメラの軌跡を決定するためのカメラ軌跡決定ユニットと、を含む、
   ことを特徴とする請求項６に記載のマルチセンサーのキャリブレーション装置。
8. 前記レーザレーダ軌跡決定ユニットは、具体的に、
   前記レーザレーダによって異なる時点で採取された複数の点群を順次に分析し、前記複数の点群の特徴を抽出し、特徴を揃えることによって、前記複数の点群のうち二つの点群間の位置関係を決定し、位置関係に基づいて前記レーザレーダの軌跡を確立する、
   ことを特徴とする請求項７に記載のマルチセンサーのキャリブレーション装置。
9. 前記カメラ軌跡決定ユニットは、
   前記カメラによって異なる時点で採取された複数の画像を順次に画像分析し、各画像における複数の特徴点のカメラ座標系での座標を決定するための画像特徴点決定サブユニットと、
   特徴点を揃えることによって、前記複数の画像のうち二つの画像間の位置関係を決定し、前記位置関係に基づいて前記カメラの軌跡を決定するためのカメラ軌跡決定サブユニットと、を含む、
   ことを特徴とする請求項７又は８に記載のマルチセンサーのキャリブレーション装置。
10. 前記キャリブレーションモジュールは、
    前記少なくとも三つのセンサーそれぞれの軌跡からいずれかを目標軌跡として選択し、他の軌跡を対象軌跡とするための軌跡区分ユニットと、
    前記対象軌跡と前記目標軌跡とをそれぞれ軌跡揃え操作し、前記対象軌跡と前記目標軌跡とが同時に揃えた場合、前記少なくとも三つのセンサーそれぞれの外部パラメーターを決定するための外部パラメーター決定ユニットと、を含む、
    ことを特徴とする請求項６〜９のいずれかに記載のマルチセンサーのキャリブレーション装置。
11. 一つ又は複数のプロセッサと、
    一つ又は複数のプログラムを記憶するための記憶装置と、を含み、
    前記一つ又は複数のプログラムが前記一つ又は複数のプロセッサによって実行される場合、前記一つ又は複数のプロセッサが請求項１〜６のいずれかに記載のマルチセンサーのキャリブレーション方法を実現する、
    ことを特徴とするコンピュータ機器。
12. コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、
    当該プログラムがプロセッサによって実行される場合、請求項１〜５のいずれかに記載のマルチセンサーのキャリブレーション方法を実現する、
    ことを特徴とするコンピュータ読み取り可能な記憶媒体。
13. 車体を含む車両であって、
    請求項１１に記載のコンピュータ機器と、
    前記車体に設けられた少なくとも三つのセンサーと、をさらに含み、
    前記少なくとも三つのセンサーのタイプは、レーザレーダと、カメラと、位置決め機器とのうち少なくとも二つを含み、
    前記少なくとも三つのセンサーは、前記コンピュータ機器とそれぞれ通信する、
    ことを特徴とする車両。

Images