JP2020042028A - コレクターの相対パラメータのキャリブレーション方法、装置、機器及び媒体 - Google Patents

コレクターの相対パラメータのキャリブレーション方法、装置、機器及び媒体 Download PDF

Info

Publication number
JP2020042028A
JP2020042028A JP2019160978A JP2019160978A JP2020042028A JP 2020042028 A JP2020042028 A JP 2020042028A JP 2019160978 A JP2019160978 A JP 2019160978A JP 2019160978 A JP2019160978 A JP 2019160978A JP 2020042028 A JP2020042028 A JP 2020042028A
Authority
JP
Japan
Prior art keywords
collector
target image
coordinate system
image
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019160978A
Other languages
English (en)
Other versions
JP6811296B2 (ja
Inventor
ユェンファン・シェ
Yuanfan Xie
シュン・ヂョウ
Xun Zhou
シールイ・リ
Shirui Li
リャン・ワン
Liang Wang
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Original Assignee
Baidu Online Network Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu Online Network Technology Beijing Co Ltd filed Critical Baidu Online Network Technology Beijing Co Ltd
Publication of JP2020042028A publication Critical patent/JP2020042028A/ja
Application granted granted Critical
Publication of JP6811296B2 publication Critical patent/JP6811296B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

【課題】コレクターの相対パラメータのキャリブレーション方法、装置、機器及び媒体を提供する。【解決手段】キャリブレーション方法は、目標画像コレクターが各目標画像を収集するときのキャリブレーション座標系における目標位置・姿勢の情報と、３次元シーン点群の空間点のキャリブレーション座標系における位置情報と、空間点の各目標画像における投影点位置情報とを決定し、各目標画像に対応する目標位置・姿勢の情報、３次元シーン点群の空間点のキャリブレーション座標系における位置情報、及び空間点の各目標画像における投影点位置情報に基づいて、前記目標画像コレクターと前記基準コレクターとの間の相対位置・姿勢を決定する。【選択図】図１

Description

本発明の実施例は、コンピュータビジョン技術分野に関し、特にコレクターの相対パラメータのキャリブレーション方法、装置、機器及び媒体に関する。
例えば、カメラとカメラとの間の相対位置・姿勢をキャリブレーションするなどのような複数のコレクター間の外部パラメータキャリブレーションは、複数のコレクターシステムが効率的かつ信頼できる作業を行うには欠かせない重要なステップである。現在、一般的に使用されている複数のコレクターの外部パラメータキャリブレーション方法は、シーンにキャリブレーション対象を設置することによって、重なる視野を有する複数のコレクターが、同時にキャリブレーション対象が設置されているシーンに対して画像収集を行い、各コレクターによって収集されたキャリブレーション対象を含むシーン画像に基づいて異なるコレクター間の相対位置・姿勢を決定する。
しかしながら、自動運転システムには、重ならない視野を有する複数のコレクターが取付けられ、各コレクターがキャリブレーション対象を同時に収集することができないため、重ならない視野を有する複数のコレクター間の外部パラメータキャリブレーションをどのように実現することが非常に重要である。
本発明の実施例には、コレクターの相対パラメータのキャリブレーション方法、装置、機器及び媒体が提供され、重ならない視野を有する複数のカメラ間の外部パラメータキャリブレーションを実現する。
第１の側面において、本発明の実施例には、コレクターの相対パラメータのキャリブレーション方法が提供され、当該キャリブレーション方法は、
目標画像コレクターが少なくとも二つの目標画像を収集するときの基準コレクターのキャリブレーション座標系における基準位置・姿勢の情報、及び基準コレクターと目標画像コレクターとの間の相対位置・姿勢の変数に基づいて、目標画像コレクターが各目標画像を収集するときのキャリブレーション座標系における目標位置・姿勢の情報を決定するステップと、
収集された各目標画像に基づいて３次元シーンを再構築し、３次元シーン点群の空間点のキャリブレーション座標系における位置情報、及び空間点の各目標画像における投影点位置情報を決定するステップと、
各目標画像に対応する目標位置・姿勢の情報、３次元シーン点群の空間点のキャリブレーション座標系における位置情報、及び空間点の各目標画像における投影点位置情報に基づいて、前記目標画像コレクターと前記基準コレクターとの間の相対位置・姿勢を決定するステップと、を含む。
第２の側面において、本発明の実施例には、コレクターの相対パラメータのキャリブレーション装置がさらに提供され、当該キャリブレーション装置は、
目標画像コレクターが少なくとも二つの目標画像を収集するときの基準コレクターのキャリブレーション座標系における基準位置・姿勢の情報、及び基準コレクターと目標画像コレクターとの間の相対位置・姿勢の変数に基づいて、目標画像コレクターが各目標画像を収集するときのキャリブレーション座標系における目標位置・姿勢の情報を決定するための目標位置情報決定モジュールと、
収集された各目標画像に基づいて３次元シーンを再構築し、３次元シーン点群の空間点のキャリブレーション座標系における位置情報、及び空間点の各目標画像における投影点位置情報を決定するための空間点位置情報決定モジュールと、
各目標画像に対応する目標位置・姿勢の情報、３次元シーン点群の空間点のキャリブレーション座標系における位置情報、及び空間点の各目標画像における投影点位置情報に基づいて、前記目標画像コレクターと前記基準コレクターとの間の相対位置・姿勢を決定するための相対位置・姿勢決定モジュールと、を含む。
第３の側面において、本発明の実施例には、電子機器がさらに提供され、当該電子機器は、
一つ又は複数のプロセッサと、
一つ又は複数のプログラムを記憶するための記憶装置と、を含み、
前記一つ又は複数のプログラムが前記一つ又は複数のプロセッサによって実行される場合に、前記一つ又は複数のプロセッサが、本発明の実施例のいずれかに記載のコレクターの相対パラメータのキャリブレーション方法を実現する。
第４の側面において、本発明の実施例には、コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体がさらに提供され、当該プログラムがプロセッサによって実行される場合に、本発明の実施例のいずれかに記載のコレクターの相対パラメータのキャリブレーション方法が実現される。
本発明の実施例では、コレクターの相対パラメータのキャリブレーション方法が提供され、当該方法は、目標画像コレクターが少なくとも二つの目標画像を収集するときの基準コレクターのキャリブレーション座標系における基準位置・姿勢の情報、及び基準コレクターと目標画像コレクターとの間の相対位置・姿勢の変数に基づいて、目標画像コレクターが各目標画像を収集するときキャリブレーション座標系における目標位置・姿勢の情報を決定するステップと、収集された各目標画像に基づいて３次元シーンを再構築し、３次元シーン点群の空間点のキャリブレーション座標系における位置情報、及び空間点の各目標画像における投影点位置情報を決定するステップと、各目標画像に対応する目標位置・姿勢の情報、３次元シーン点群の空間点のキャリブレーション座標系における位置情報、及び空間点の各目標画像における投影点位置情報に基づいて、前記目標画像コレクターと前記基準コレクターとの間の相対位置・姿勢を決定するステップと、を含む。本発明の実施例の技術案は、新しい相対位置・姿勢キャリブレーション方法を提供し、重ならない視野を有する複数のカメラ間の外部パラメータキャリブレーションを実現することができ、シーンにキャリブレーション対象を設置する必要がなく、複数のカメラ間の外部パラメータキャリブレーションの便利性を向上させる。
本発明の実施例１が提供するコレクターの相対パラメータのキャリブレーション方法のフローチャートである。 本発明の実施例２が提供するコレクターの相対パラメータのキャリブレーション方法のフローチャートである。 本発明の実施例３が提供するコレクターの相対パラメータのキャリブレーション装置の概略構成図である。 本発明の実施例４が提供する電子機器の概略構成図である。
以下、図面と実施例とを組み合わせて、本発明についてさらに詳しく説明する。なお、ここで説明される具体的な実施例は、単に本発明を解釈するためのものであり、本発明を限定するものではない。また、説明の便宜上、図面には、すべての構成ではなく、本発明に係る部分だけが示されている。
（実施例１）
図１は、本発明の実施例１が提供するコレクターの相対パラメータのキャリブレーション方法のフローチャートである。本実施例は、重ならない視野を有する（視野内で重ならない）複数のカメラ間の外部パラメータをキャリブレーションする場合に適用することができ、例えば、複数のカメラ間の相対位置・姿勢キャリブレーションのシーンである。当該方法は、コレクターの相対パラメータのキャリブレーション装置によって実行されることができ、当該装置は、ソフトウェア及び／又はハードウェアの形式で実現することができ、ネットワーク通信機能を有する任意の電子機器に統合することができる。
図１に示すように、本発明の実施例におけるコレクターの相対パラメータのキャリブレーション方法は、以下のステップＳ１０１〜ステップＳ１０３を含むことができる。
ステップＳ１０１：目標画像コレクターが少なくとも二つの目標画像を収集するときの基準コレクターのキャリブレーション座標系における基準位置・姿勢の情報（基準位置・姿勢情報）、及び基準コレクターと目標画像コレクターとの間の相対位置・姿勢の変数（相対位置・姿勢変数）に基づいて、目標画像コレクターが各目標画像を収集するときのキャリブレーション座標系における目標位置・姿勢の情報（目標位置・姿勢情報）を決定する。
本発明の実施例では、目標画像コレクターは、シーンに対して画像収集を行って、少なくとも二つの目標画像を取得することができる。したがって、目標画像コレクターが少なくとも二つの目標画像における各目標画像をそれぞれに収集した場合、基準コレクターのキャリブレーション座標系におけるそれぞれの基準位置・姿勢情報を決定することができる。目標画像コレクターが毎回一つの目標画像を収集する場合、目標画像コレクターが当該目標画像の当前時刻に基準コレクターのキャリブレーション座標系における基準位置・姿勢情報を収集することを相応して決定することができる。その中、位置・姿勢の情報（位置・姿勢情報）は、位置情報と姿勢情報を含むことができ、位置は、平行移動行列Ｔによって表示されることができ、姿勢は、回転行列Ｒによって表示されることができ、位置・姿勢情報は、六つの自由度に関連することができ、そのパラメータは、それぞれＸ、Ｙ、Ｚ、α、β、及びγである。目標画像コレクターは、カメラ又はビデオカメラなどのカメラであってもよい。基準コレクターは、カメラ又はビデオカメラなどのカメラであってもよいし、慣性ナビゲーション装置であってもよい。選択可能に、複数のカメラシステムに慣性ナビゲーション装置が存在する場合、複数のカメラシステムにおける慣性ナビゲーション装置を直接に基準コレクターとすることができ、複数のカメラシステムにおけるカメラは、それぞれの目標画像コレクターとすることができる。複数のカメラシステムに慣性ナビゲーション装置が存在しない場合、複数のカメラシステムから任意のカメラを基準コレクターとして選択することができ、複数のカメラシステムの残りの他のカメラは、それぞれに目標画像コレクターとすることができる。
本発明の実施例では、基準コレクターと目標画像コレクターとの間の相対位置・姿勢を決定するために、基準コレクターと目標画像コレクターとの間の相対関係に基づいて基準コレクターと目標画像コレクターとの間の相対位置・姿勢変数を初期の相対位置・姿勢変数として予め設置することができ、すなわち基準コレクターと目標画像コレクターとの間の相対位置・姿勢変化を予め設置することができる。なお、当該初期の相対位置・姿勢変数は、一つの不正確な相対パラメータであり、本発明の実施例のコレクターの相対パラメータのキャリブレーション方式によって、予め設置された相対位置・姿勢変数に対して連続的に最適化を行って、最終の目標画像コレクターと基準コレクターとの間の相対位置・姿勢を取得することができる。すなわち、コレクターの相対パラメータをキャリブレーションするプロセスを実現する。
本発明の実施例では、目標画像コレクターは、複数の目標画像を収集することができ、それに応じて、複数の基準コレクターのキャリブレーション座標系における基準位置・姿勢情報を含むことができ、説明を簡単にするため、以下に、目標画像コレクターが、その中のいずれかの一つの目標画像を収集するときの基準コレクターのキャリブレーション座標系における基準位置・姿勢情報を例として例示的に説明する。例示的に、目標コレクターがｊ番目の目標画像を収集するときの基準コレクターのキャリブレーション座標系における基準位置・姿勢情報をＴｊ Ｇとし、基準コレクターと目標画像コレクターとの間の相対位置・姿勢変数をＴＧ Ｃとした場合、Ｔｊ ＧとＴＧ Ｃに基づいて目標画像コレクターがｊ番目の目標画像を収集するときの目標画像コレクターのキャリブレーション座標系におけるｊ番目の目標位置・姿勢情報Ｔｊ Ｃを取得することができる。つまり、基準コレクターのキャリブレーション座標系における基準位置・姿勢情報を決定した後、基準コレクターと目標画像コレクターとの間の相対関係に基づいて、目標画像コレクターのキャリブレーション座標系における目標位置・姿勢情報を決定することができる。目標画像コレクターがｊ番目の目標画像を収集するときの目標画像コレクターのキャリブレーション座標系におけるｊ番目の目標位置・姿勢情報Ｔｊ Ｃを計算する上記の方式に基づいて、目標画像コレクターが各目標画像を収集するときのキャリブレーション座標系における目標位置・姿勢情報の集合を順次的に取得することができる。
ステップＳ１０２：収集された各目標画像に基づいて３次元シーンを再構築し、３次元シーン点群の空間点のキャリブレーション座標系における位置情報、及び空間点の各目標画像における投影点位置情報を決定する。
具体的には、例えば、スケール不変特徴変換（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ，ＳＩＦＴ）アルゴリズムなどの３次元シーンを再構築するアルゴリズムに基づいて、収集した各目標画像から３次元シーンによって再構築を行って、３次元シーンモデルを取得することができる。
本発明の実施例の選択可能な方式では、収集された各目標画像に基づいて３次元シーンを再構築し、３次元シーン点群の空間点のキャリブレーション座標系における位置情報、及び空間点の各目標画像における投影点位置情報を決定するステップは、ステップＳ１０２１とステップＳ１０２２とを含むことができる。
ステップＳ１０２１：目標画像コレクターが異なる時刻に収集した各目標画像に対して特徴点マッチングを行い、シーンにおける空間点の各目標画像における投影点位置情報を決定する。
ステップＳ１０２２：目標画像コレクターの各目標画像の収集時刻における相対位置・姿勢、及び空間点の各目標画像における投影点位置情報に基づいて３次元シーンを再構築し、空間点のキャリブレーション座標系における位置情報を決定する。
本実施形態では、目標画像コレクターが収集した各目標画像について、当該目標画像に対して特徴点抽出を行い、当該目標画像における少なくとも一つの特徴点を取得することができる。その中、当該特徴点は、目標画像において、明確な特徴を有し、当該目標画像の本質的な特徴を反映可能な画素点であると理解することができる。例えば、当該特徴点は、目標画像におけるコーナー、テクスチャ及びエッジの画素点である。当該特徴点は、明確な特徴を有し、画像の本質的な特徴を効果的に反映する、目標画像における目標対象物を識別できる画素点である。上記の操作に基づいて、目標画像コレクターが異なる時刻に収集した各目標画像の少なくとも一つの特徴点をそれぞれに抽出して取得することができる。さらに、目標画像コレクターが異なる時刻に収集した各目標画像に対して特徴点マッチングを行うことにより、３次元シーンにおける空間点の各目標画像における投影点位置情報を決定することができる。その中、３次元シーンにおける空間点は、目標画像の特徴点のキャリブレーション座標系における実際の位置として理解することができる。例えば、３次元シーンにおける空間点は、特徴点のワールド（世界）座標系又はローカル座標系における実際の座標位置である。
本実施形態では、選択可能に、特徴点マッチングを行う各目標画像間の差が大きい場合、スケール不変特徴変換（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ，ＳＩＦＴ）アルゴリズムが、回転、スケール、透視に対して良好なロバスト性を有するという特性を顧慮して、ＳＩＦＴアルゴリズムを用いて、収集された各目標画像における特徴点を抽出することができる。特徴点マッチングを行う各目標画像間の差が小さい場合、ＳＵＲＦ（Ｓｐｅｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅ）アルゴリズムとＯＲＢ（Ｏｒｉｅｎｔｅｄ ＦＡＳＴ ａｎｄ Ｒｏｔａｔｅｄ ＢＲＩＥＦ）アルゴリズムの抽出速度が速い特性を考慮して、ＳＵＲＦアルゴリズム又はＯＲＢアルゴリズムを用いて、収集された各目標画像における特徴点を抽出することができる。もちろん、目標画像の特徴点の抽出方式は、上記のＳＩＦＴアルゴリズム、ＳＵＲＦアルゴリズムとＯＲＢアルゴリズムを含むが、これらに限定されない。
本実施形態では、２Ｄー２Ｄカメラの位置・姿勢の推定原理に基づいて、目標画像コレクター（例えば、カメラ）によって収集された二つの目標画像の特徴点に基づいて、目標画像コレクターの自身の座標系の空間における相対的な運動状況を取得することができる。また、目標画像コレクターは、異なる時刻に各目標画像の収集時刻の目標画像を収集して取得することができ、目標画像から少なくとも一つの特徴点を抽出して取得することができる。上記の原理に基づいて、目標画像コレクターの任意の二つの目標画像の特徴点を抽出して取得した後、２Ｄー２Ｄカメラの位置・姿勢の推定原理で二つの目標画像に対して特徴点マッチングを行うことにより、目標画像コレクターの相対運動を決定し、目標画像コレクターの相対回転情報と相対位置情報を推定して取得することができる。すなわち、目標画像コレクターの各目標画像の収集時刻における相対位置・姿勢を取得することができる。例えば、目標画像コレクターが第１のフレーム画像を収集するときの位置を参照位置として、目標画像コレクターの第１のフレーム画像と第２のフレーム画像の二つの画像の特徴点マッチング結果に基づいて、目標画像コレクターが第２のフレーム画像を収集するときの目標画像コレクターの相対位置・姿勢を取得することができ、すなわち、目標画像コレクターの自身の座標系の空間における相対位置・姿勢である。三角測量の原理に基づいて、目標画像コレクターの各目標画像の収集時刻における相対位置・姿勢及び空間点の各目標画像における投影点位置情報に基づいて、３次元シーン点群を再構築することができ、３次元シーンの再構築結果により、空間点のキャリブレーション座標系における位置情報を決定することができる。その中、３次元シーンにおける空間点は、目標画像の特徴点のキャリブレーション座標系における実際の位置として理解することができる。
ステップＳ１０３：各目標画像に対応する目標位置・姿勢の情報（目標位置・姿勢情報）、３次元シーン点群の空間点のキャリブレーション座標系における位置情報、及び空間点の各目標画像における投影点位置情報に基づいて、目標画像コレクターと基準コレクターとの間の相対位置・姿勢を決定する。
本発明の実施例の選択可能な実施形態では、目標画像コレクターと基準コレクターとの間の相対位置・姿勢を決定した後、
基準コレクターと異なる目標画像コレクターとの間の相対位置・姿勢に基づいて、異なる目標画像コレクター間の相対位置・姿勢を取得するステップをさらに含む。
本実施形態では、位置・姿勢は、位置と姿勢を含むことができ、位置は、平行移動行列Ｔによって表示されることができ、姿勢は、回転行列Ｒによって表示されることができ、位置・姿勢は、六つの自由度に関連することができ、そのパラメータは、それぞれＸ、Ｙ、Ｚ、α、β、及びγである。基準コレクターＯ、目標画像コレクターＡと目標コレクターＢを例とすると、基準コレクターＯと目標画像コレクターＡとの間の相対位置・姿勢１は、（Ｘ１、Ｙ１、Ｚ１、α１、β１、γ１）であり、基準コレクターＯと目標画像コレクターＢとの間の相対位置・姿勢２は、（Ｘ２、Ｙ２、Ｚ２、α２、β２、γ２）であり、この時、相対位置・姿勢１（Ｘ１、Ｙ１、Ｚ１、α１、β１、γ１）と相対位置・姿勢２（Ｘ２、Ｙ２、Ｚ２、α２、β２、γ２）に対してベクトル計算を行うことができる。すなわち、目標画像コレクターＡと目標画像コレクターＢとの間の相対位置・姿勢３（Ｘ３、Ｙ３、Ｚ３、α３、β３、γ３）を取得することができる。もちろん、複数の目標画像コレクターが存在することができるが、上記の目標画像コレクターＡと目標画像コレクターＢに限定されず、異なる目標画像コレクター間の相対位置・姿勢は、目標画像コレクターＡと目標画像コレクターＢとの間の相対位置・姿勢３の上記計算方式を参照することができる。
本発明の実施例には、コレクターの相対パラメータのキャリブレーション方法が提供され、当該方法は、目標画像コレクターが少なくとも二つの目標画像を収集するときの基準コレクターのキャリブレーション座標系における基準位置情報、及び基準コレクターと目標画像コレクターとの間の相対位置・姿勢変数に基づいて、目標画像コレクターが各目標画像を収集するときキャリブレーション座標系における目標位置情報を決定するステップと、収集された各目標画像に基づいて３次元シーンを再構築し、３次元シーン点群の空間点のキャリブレーション座標系における位置情報、及び空間点の各目標画像における投影点位置情報を決定するステップと、各目標画像に対応する目標位置情報、３次元シーン点群の空間点のキャリブレーション座標系における位置情報、及び空間点の各目標画像における投影点位置情報に基づいて、前記目標画像コレクターと前記基準コレクターとの間の相対位置・姿勢を決定するステップと、を含む。本発明の実施例の技術案は、新しい相対位置・姿勢キャリブレーション方法を提供し、重ならない視野を有する複数のカメラ間の外部パラメータキャリブレーションを実現することができ、シーンにキャリブレーション対象を設置する必要がなく、複数のカメラ間の外部パラメータキャリブレーションの便利性を向上させる。
（実施例２）
図２は、本発明の実施例２が提供するコレクターの相対パラメータのキャリブレーション方法のフローチャートである。本実施例は、上記の実施例に基づいてさらに最適化され、本発明の実施例は、上記の一つ又は複数の実施例における各選択可能な方案と組み合わせることができる。
図２に示すように、本発明の実施例におけるコレクターの相対パラメータのキャリブレーション方法は、下記のステップＳ２０１〜ステップＳ２０４を含むことができる。
ステップＳ２０１：目標画像コレクターが少なくとも二つの目標画像を収集するときの基準コレクターのキャリブレーション座標系における基準位置・姿勢の情報（基準位置・姿勢情報）、及び基準コレクターと目標画像コレクターとの間の相対位置・姿勢の変数（相対位置・姿勢変数）に基づいて、目標画像コレクターが各目標画像を収集するときのキャリブレーション座標系における目標位置・姿勢の情報（目標位置・姿勢情報）を決定する。
本発明の実施例の選択可能な方式では、基準コレクターが慣性ナビゲーション装置である場合、直接に慣性ナビゲーション装置から、慣性ナビゲーション装置によって収集された慣性ナビゲーション装置のワールド座標系における位置・姿勢情報を直接読み取って、目標画像コレクターが少なくとも二つの目標画像を収集するときの基準コレクターのキャリブレーション座標系における基準位置・姿勢情報とする。
一般的に、慣性ナビゲーション装置により慣性ナビゲーション装置のワールド座標系における位置・姿勢情報を直接読み取って、基準コレクターのキャリブレーション座標系における基準位置・姿勢情報とすることができるが、基準画像コレクターは、基準画像コレクターのワールド座標系における位置・姿勢情報を直接読み取ることができない。
本発明の実施例の選択可能な方式では、基準コレクターが、慣性ナビゲーション装置ではなく、カメラなどのような基準画像コレクターを使用する場合、目標画像コレクターが少なくとも二つの目標画像を収集するときの基準コレクターのキャリブレーション座標系における基準位置・姿勢情報は、以下のステップａ１〜ステップａ３の操作で決定することができる。
ステップａ１：目標画像コレクターが少なくとも二つの目標画像を収集するときに基準コレクターにより収集された各基準画像を取得する。
ステップａ２：各基準画像から、一つの基準画像を基準キャリブレーション画像として選択し、基準キャリブレーション画像の収集時刻の基準コレクターの座標系をキャリブレーション座標系とする。
本実施形態では、目標画像コレクターは、シーンに対して画像収集を行って、少なくとも二つの目標画像を取得することができ、目標画像コレクターが目標画像を収集するとき、基準コレクターも、基準画像を同期的に収集することができる。そのため、目標画像コレクターが少なくとも二つの目標画像を収集するときに基準コレクターにより収集された各基準画像を先に取得することができる。基準コレクターにより収集された各基準画像から任意の基準画像を基準キャリブレーション画像として選択し、基準コレクターが当該基準キャリブレーション画像を収集するときの当該基準コレクターの座標系を決定して、キャリブレーション座標系とする。
ステップａ３：他の基準画像の収集時刻における他の基準座標系とキャリブレーション座標系と間の相対位置・姿勢を決定して、他の基準画像の収集時刻における基準コレクターのキャリブレーション座標系における基準位置・姿勢の情報（基準位置・姿勢情報）とする。
本実施形態では、基準キャリブレーション画像、キャリブレーション座標系及び複数の他の基準画像を決定した後、基準コレクターが他の基準画像を収集するときの基準コレクターの座標系を決定することができ、他の基準座標系として記録することができる。その中、他の基準画像は、基準コレクターにより収集された各基準画像において、基準キャリブレーション画像以外の基準画像と理解することができる。さらに、キャリブレーション座標系と他の基準座標系に基づいて、当該キャリブレーション座標系と他の基準座標系との間の相対位置・姿勢を決定し、決定された相対位置・姿勢を他の基準画像の収集時刻における基準コレクターのキャリブレーション座標系における基準位置・姿勢情報とするため、目標画像コレクターが少なくとも二つの目標画像を収集するときの基準コレクターのキャリブレーション座標系における基準位置・姿勢情報を決定することができる。
本実施形態では、他の基準画像の収集時刻における他の基準座標系とキャリブレーション座標系と間の相対位置・姿勢を決定するステップは、具体的に、以下のステップａ３１〜ステップａ３４の操作を含むことができる。
ステップａ３１：第１の他の基準画像と基準キャリブレーション画像との間の特徴点マッチング結果に基づいて、第１の他の基準コレクターの座標系とキャリブレーション座標系との間の基準相対位置・姿勢を決定する。
ステップａ３２：基準キャリブレーション画像と第１の他の基準画像との特徴点マッチング結果、基準相対位置・姿勢及び基準画像コレクターの内部パラメータに基づいて、基準シーン点群を構築する。
ステップａ３３：基準シーン点群と第２の他の基準画像との間の特徴点マッチング結果に基づいて、第２の他の基準コレクターの座標系とキャリブレーション座標系との間の基準相対位置・姿勢を決定し、基準シーン点群を更新する。
ステップａ３４：第２の他の基準画像を新しい第１の他の基準画像とし、新しい第２の他の基準画像を決定し、（戻して、）第１の他の基準画像と基準キャリブレーション画像との間の特徴点マッチング結果に基づいて、第１の他の基準コレクターの座標系とキャリブレーション座標系との間の基準相対位置・姿勢を決定する。
具体的には、上記のステップａ３１〜ステップａ３４の操作において、ステップａ１とステップａ２の操作によって基準キャリブレーション画像、キャリブレーション座標系及び複数の他の基準画像を決定することができる。基準画像コレクターが基準画像を収集する頻度が速いことを考慮すると、基準画像コレクターにより収集された隣接する二つのフレームの基準画像の部分的な内容は、同じであるため、隣接する二つのフレームの基準画像に対応される特徴点の間にも一定の対応関係が存在する。２Ｄー２Ｄカメラの位置・姿勢の推定原理で、第１の他の基準画像と基準キャリブレーション画像との間に対応される特徴点に対して特徴点マッチングを行って、第１の他の基準画像と基準キャリブレーション画像との間の特徴点対応関係を取得することができる。第１の他の基準画像と基準キャリブレーション画像との間の特徴点マッチング結果に基づいて、第１の他の基準画像と基準キャリブレーション画像との間の相対的な運動状況を決定し、基準画像コレクターが第１の他の基準画像を収集するときの座標系と、基準画像コレクターが基準キャリブレーション画像を収集するときの座標系との間の基準相対位置・姿勢を推定して取得する。すなわち、第１の他の基準コレクターの座標系とキャリブレーション座標系との間の基準相対位置・姿勢を取得する。
具体的には、三角測量の原理に基づいて、基準キャリブレーション画像と第１の他の基準画像との特徴点マッチング結果、基準相対位置・姿勢及び基準画像コレクターの内部パラメータに基づいて、基準シーン点群を構築することができる。その中、基準シーン点群によって基準キャリブレーション画像と第１の他の基準画像との特徴点の３次元実シーンにおける位置情報を決定することができる。基準シーン点群の構築が完了され、第２の他の基準画像が収集された場合、３Ｄ−２Ｄカメラの位置・姿勢推定の原理で、基準シーン点群と第２の他の基準画像との間の特徴点に対して特徴点マッチングを行うことができる。さらに、基準シーン点群と第２の他の基準画像との間の特徴点マッチング結果に基づいて、基準画像コレクターが第２の他の基準画像を収集するときの座標系と、基準画像コレクターが基準キャリブレーション画像を収集するときの座標系との間の基準相対位置・姿勢を決定することができる。すなわち、第２の他の基準コレクターの座標系とキャリブレーション座標系との間の基準相対位置・姿勢を決定する同時に、基準シーン点群を更新する。
ステップａ３１〜ステップａ３４の操作において、第１の他の基準画像と基準キャリブレーション画像の隣接する二つのフレームの基準画像との間の各特徴点対応関係に不良な特徴点が存在する可能性があり、例えば、隣接する二つのフレーム画像において、各フレーム画像には、必ず別のフレーム画像にはない特徴点が存在し、第１の他の基準画像と基準キャリブレーション画像に対して特徴点マッチングを行う場合、異常な対応関係が生じる可能性があるため、隣接する二つのフレーム画像における不良な特徴点に対して除去することを理解することができる。また、基準画像コレクターは、異なる時間で各基準画像を収集して取得することができ、相応される特徴点のマッチングは、すべての時間、及びすべての基準画像コレクターにより収集された各基準画像の間で行われる。
ステップＳ２０２：収集された各目標画像に基づいて３次元シーンを再構築し、３次元シーン点群の空間点のキャリブレーション座標系における位置情報、及び空間点の各目標画像における投影点位置情報を決定する。
本発明の実施例では、収集された各目標画像に基づいて３次元シーンを再構築し、３次元シーン点群の空間点のキャリブレーション座標系における位置情報、及び空間点の各目標画像における投影点位置情報を決定するステップは、目標画像コレクターが異なる時刻に収集した各目標画像に対して特徴点マッチングを行い、シーンにおける空間点の各目標画像における投影点位置情報を決定するステップと、目標画像コレクターの各目標画像の収集時刻における相対位置・姿勢、及び空間点の各目標画像における投影点位置情報に基づいて３次元シーンを再構築し、空間点のキャリブレーション座標系における位置情報を決定するステップと、を含むことができる。
ステップＳ２０３：各目標画像に対応する目標位置・姿勢の情報（目標位置・姿勢情報）、３次元シーン点群の空間点のキャリブレーション座標系における位置情報、及び空間点の各目標画像における投影点位置情報に基づいて、コスト関数を構築する。
本発明の実施例では、本実施例のＳ２０３及びＳ２０４は、実施例１におけるステップＳ１０３に対してさらに最適化されている。選択可能に、各目標画像に対応する目標位置・姿勢情報、３次元シーン点群の空間点のキャリブレーション座標系における位置情報、及び空間点の各目標画像における投影点位置情報に基づいて、以下のコスト関数（数式１）を構築するステップを含む。
Figure 2020042028
 ただし、Ｐｒｏｊは、空間点ｉを目標画像ｊに投影することを指し、Ｘｉは、３次元シーン点群の空間点ｉのキャリブレーション座標系における位置情報であり、Ｔｊ ＧＴＧ Ｃは、目標画像コレクターＣが目標画像ｊを収集するときの目標画像コレクターＣのキャリブレーション座標系における目標位置・姿勢の情報であり、Ｔｊ Ｇは、目標画像コレクターＣが目標画像ｊを収集するときの基準コレクターのキャリブレーション座標系における基準位置・姿勢の情報であり、ＴＧ Ｃは、基準コレクターと目標画像コレクターとの間の相対位置・姿勢であり、Ｍｉｊは、空間点ｉの目標画像ｊにおける投影点の投影点位置情報である。
本発明の実施例では、Ｔｊ ＧＴＧ Ｃは、目標画像コレクターＣがｊ番目の目標画像を収集するときの目標画像コレクターＣのキャリブレーション座標系における目標位置・姿勢情報である。その中、基準コレクターが慣性ナビゲーション装置である場合、当該キャリブレーション座標系は、ワールド座標系として理解することができ、基準コレクターが基準画像コレクターである場合、当該キャリブレーション座標系は、ステップａ２を参照するように、ローカル座標系として理解することができ、各基準画像から、一つの基準画像を基準キャリブレーション画像として選択し、基準キャリブレーション画像の収集時刻の基準コレクターの座標系をキャリブレーション座標系とする。このとき、基準コレクターが基準キャリブレーション画像を収集するときの基準コレクターの座標系をキャリブレーション座標系とする。
本発明の実施例では、基準コレクターが慣性ナビゲーション装置である場合、Ｔｊ Ｇは、目標画像コレクターＣが目標画像ｊを収集するときの基準コレクターのワールド座標系における基準位置・姿勢情報として理解することができる。基準コレクターがカメラなどの基準画像コレクターである場合、Ｔｊ Ｇは、目標画像コレクターＣが目標画像ｊを収集するときの基準コレクターのローカル座標系における基準位置・姿勢情報として理解することができる。
ステップＳ２０４：コスト関数に対して最小化を行い、反復停止条件を満たす場合、目標画像コレクターと基準コレクターとの間の相対位置・姿勢を取得する。
本発明の実施例では、ＴＧ Ｃは、基準コレクターと目標画像コレクターとの間の相対位置・姿勢として理解することができ、当該初期の相対位置・姿勢変数は、一つの不正確な相対パラメータであり、本実施例のコスト関数に対して最小化を行うことによって、目標画像コレクターと基準コレクターとの間の相対位置・姿勢ＴＧ Ｃに対して継続的に最適化することができる。反復停止条件を満たす場合、最適化されている目標画像コレクターと基準コレクターとの間の相対位置・姿勢ＴＧ Ｃを取得することを示す。
（実施例３）
図３は、本発明の実施例３が提供するコレクターの相対パラメータのキャリブレーション装置の概略構成図である。本実施例は、重ならない視野を有する複数のカメラ間の外部パラメータをキャリブレーションする場合に適用することができ、例えば、複数のカメラ間の相対位置・姿勢キャリブレーションのシーンである。当該装置は、ソフトウェア及び／又はハードウェアの形式で実現することができ、ネットワーク通信機能を有する任意の電子機器に統合することができる。
図３に示すように、本発明の実施例におけるコレクターの相対パラメータのキャリブレーション装置は、目標位置情報決定モジュール３０１と、空間点位置情報決定モジュール３０２と、相対位置・姿勢決定モジュール３０３と、を含むことができる。
その中、目標位置情報決定モジュール３０１は、目標画像コレクターが少なくとも二つの目標画像を収集するときの基準コレクターのキャリブレーション座標系における基準位置・姿勢の情報、及び基準コレクターと目標画像コレクターとの間の相対位置・姿勢の変数に基づいて、目標画像コレクターが各目標画像を収集するときのキャリブレーション座標系における目標位置・姿勢の情報を決定する。
空間点位置情報決定モジュール３０２は、収集された各目標画像に基づいて３次元シーンを再構築し、３次元シーン点群の空間点のキャリブレーション座標系における位置情報、及び空間点の各目標画像における投影点位置情報を決定する。
相対位置・姿勢決定モジュール３０３は、各目標画像に対応する目標位置・姿勢の情報、３次元シーン点群の空間点のキャリブレーション座標系における位置情報、及び空間点の各目標画像における投影点位置情報に基づいて、前記目標画像コレクターと前記基準コレクターとの間の相対位置・姿勢を決定する。
本発明の実施例の選択可能な方式では、前記空間点位置情報決定モジュール３０２は、
目標画像コレクターが異なる時刻に収集した各目標画像に対して特徴点マッチングを行い、シーンにおける空間点の各目標画像における投影点位置情報を決定するための第１の位置情報決定ユニットと、
目標画像コレクターの各目標画像の収集時刻における相対位置・姿勢、及び空間点の各目標画像における投影点位置情報に基づいて３次元シーンを再構築し、空間点のキャリブレーション座標系における位置情報を決定するための第２の位置情報決定ユニットと、を含むことができる。
本発明の実施例の選択可能な方式では、前記相対位置・姿勢決定モジュール３０３は、
各目標画像に対応する目標位置・姿勢の情報、３次元シーン点群の空間点のキャリブレーション座標系における位置情報、及び空間点の各目標画像における投影点位置情報に基づいて、コスト関数を構築するためのコスト関数構築ユニットと、
前記コスト関数を最小化し、反復停止条件を満たす場合、前記目標画像コレクターと前記基準コレクターとの間の相対位置・姿勢を取得するための相対位置・姿勢決定ユニットと、を含むことができる。
本発明の実施例の選択可能な方式では、前記コスト関数構築ユニットは、具体的に、以下のコスト関数（数式１）を構築する。
Figure 2020042028
 ただし、Ｐｒｏｊは、空間点ｉを目標画像ｊに投影することを指し、Ｘｉは、３次元シーン点群の空間点ｉのキャリブレーション座標系における位置情報であり、Ｔｊ ＧＴＧ Ｃは、目標画像コレクターＣが目標画像ｊを収集するときの目標画像コレクターＣのキャリブレーション座標系における目標位置・姿勢の情報であり、Ｔｊ Ｇは、目標画像コレクターＣが目標画像ｊを収集するときの基準コレクターのキャリブレーション座標系における基準位置・姿勢の情報であり、ＴＧ Ｃは、基準コレクターと目標画像コレクターとの間の相対位置・姿勢であり、Ｍｉｊは、空間点ｉの目標画像ｊにおける投影点の投影点位置情報である。
本発明の実施例の選択可能な方式では、基準コレクターが基準画像コレクターである場合、本発明の実施例におけるコレクターの相対パラメータのキャリブレーション装置は、基準画像取得モジュール３０４と、キャリブレーション座標系決定モジュール３０５と、及び基準位置情報決定モジュール３０６と、を含むこともできる。
その中、基準画像取得モジュール３０４は、目標画像コレクターが少なくとも二つの目標画像を収集するときに基準コレクターにより収集された各基準画像を取得する。
キャリブレーション座標系決定モジュール３０５は、一つの基準画像を基準キャリブレーション画像として選択し、基準キャリブレーション画像の収集時刻の基準コレクターの座標系をキャリブレーション座標系とする。
基準位置情報決定モジュール３０６は、他の基準画像の収集時刻における他の基準座標系と前記キャリブレーション座標系との間の相対位置・姿勢を決定して、他の基準画像の収集時刻における基準コレクターのキャリブレーション座標系における基準位置・姿勢の情報とする。
本発明の実施例の選択可能な方式では、前記基準位置情報決定モジュール３０６は、
第１の他の基準画像と基準キャリブレーション画像との間の特徴点マッチング結果に基づいて、第１の他の基準コレクターの座標系と前記キャリブレーション座標系との間の基準相対位置・姿勢を決定するための第１の基準相対位置・姿勢決定ユニットと、
前記基準キャリブレーション画像と第１の他の基準画像の特徴点マッチング結果、基準相対位置・姿勢及び基準画像コレクターの内部パラメータに基づいて、基準シーン点群を構築するための基準シーン点群構築ユニットと、
基準シーン点群と第２の他の基準画像との間の特徴点マッチング結果に基づいて、第２の他の基準コレクターの座標系と前記キャリブレーション座標系との間の基準相対位置・姿勢を決定し、基準シーン点群を更新するための基準シーン点群更新ユニットと、
第２の他の基準画像を新しい第１の他の基準画像とし、新しい第２の他の基準画像を決定し、（戻して、）第１の他の基準画像と基準キャリブレーション画像との間の特徴点マッチング結果に基づいて、第１の他の基準コレクターの座標系と前記キャリブレーション座標系との間の基準相対位置・姿勢を決定するための基準相対位置・姿勢反復処理ユニットと、を含むことができる。
本発明の実施例の選択可能な方式では、本発明の実施例におけるコレクターの相対パラメータのキャリブレーション装置は、基準コレクターと異なる目標画像コレクターとの間の相対位置・姿勢に基づいて、異なる目標画像コレクター間の相対位置・姿勢を取得するための相対位置・姿勢取得モジュール３０７をさらに含むことができる。
本発明の実施例で提供するコレクターの相対パラメータのキャリブレーション装置は、上記の本発明の任意の実施例によって提供されるコレクターの相対パラメータのキャリブレーション方法を実行することができ、当該コレクターの相対パラメータのキャリブレーション装置に対応する機能モジュールを実行し、有益な効果を有する。
（実施例４）
図４は、本発明の実施例４が提供する電子機器の概略構成図である。図４は、本発明の実施形態を実現するのに適する例示的な電子機器４１２のブロック図である。図４に示される電子機器４１２は、単なる一つの例であり、本発明の実施例の機能及び使用範囲を一切制限しない。
図４に示すように、電子機器４１２のコンポーネントは、一つ又は複数のプロセッサ４１６又は記憶装置４２８と、異なるシステムコンポーネント（記憶装置４２８とプロセッサ４１６とを含む）を接続するバス４１８と、を含むことができるが、これらに限定されない。
バス４１８は、記憶装置バス又は記憶装置コントローラ、周辺バス、アクセラレーテッドグラフィックスポート、プロセッサ又は多様なバス構造のうち任意のバス構造を使用するローカルバスを含む、複数種のバス構造のうち一つ又は複数のものを表す。例をあげると、これらのアーキテクチャは、インダストリスタンダードアーキテクチャ（Ｉｎｄｕｓｔｒｙ Ｓｕｂｖｅｒｓｉｖｅ Ａｌｌｉａｎｃｅ、ＩＳＡ）バス、マイクロチャネルアーキテクチャ（Ｍｉｃｒｏ Ｃｈａｎｎｅｌ Ａｒｃｈｉｔｅｃｔｕｒｅ、ＭＡＣ）バス、拡張ＩＳＡバス、ビデオエレクトロニクススタンダーズアソシエーション（Ｖｉｄｅｏ Ｅｌｅｃｔｒｏｎｉｃｓ Ｓｔａｎｄａｒｄｓ Ａｓｓｏｃｉａｔｉｏｎ、ＶＥＳＡ）ローカルバス、及びペリフェラルコンポーネントインターコネクト（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ、ＰＣＩ）バスを含むが、これらに限定されない。
電子機器４１２は、典型的には、多種類のコンピュータシステム読み取り可能な媒体を含む。これらの媒体は、電子機器４１２がアクセスすることができる任意の使用可能な媒体であってもよく、揮発性媒体及び不揮発性媒体、リムーバブル媒体及びノンリムーバブル媒体を含む。
記憶装置４２８は、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）４３０及び／又はキャッシュメモリ４３２などの揮発性メモリの形態のコンピュータシステム読み取り可能な媒体を含んでもよい。電子機器４１２は、他のリムーバブル／ノンリムーバブル、揮発性／不揮発性コンピュータシステム記憶媒体をさらに含んでもよい。単なる一例として、ストレージシステム４３４は、ノンリムーバブル、不揮発性磁気媒体（図４に示されていないが、通常「ハードドライブ」と呼ぶ）に対して読み出し及び書き込みをするために用いることができる。図４に示されていないが、リムーバブル、不揮発性磁気ディスク（例えば、「フロッピーディスク」）に対して読み出し及び書き込みをするための磁気ディスクドライブ、及びリムーバブル、不揮発性光学ディスク（例えば、コンパクトディスク読み取り専用メモリ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ、ＣＤ−ＲＯＭ）、デジタルビデオディスク読み取り専用メモリ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ、ＤＶＤ−ＲＯＭ）又は他の光学媒体）に対して読み出し及び書き込みをするための光学ディスクドライブを提供することができる。この場合、各ドライブは、一つ又は複数のデータメディアインターフェイスを介してバス４１８に接続することがきる。記憶装置４２８は、本発明の各実施例に記載の機能を実行するように構成されるワンセットのプログラムモジュール（例えば、少なくとも一つ）を有する少なくとも一つのプログラム製品を含んでもよい。
一組のプログラムモジュール４４２（少なくとも一つ）を有するプログラム／ユーティリティ４４０は、例えば、記憶装置４２８に記憶されてもよく、このようなプログラムモジュール４４２は、オペレーティングシステム、一つ又は複数のアプリケーションプログラム、他のプログラムモジュール、及びプログラムデータを含むことができるがこれらに限定されない。これらの例のそれぞれ又は何らかの組み合わせには、ネットワーク環境の実装が含まれる可能性がある。プログラムモジュール４４２は、通常本発明に記載の実施例における機能及び／又は方法を実行する。
電子機器４１２は、一つ又は複数の外部機器４１４（例えば、キーボード、ポインティング端末、ディスプレイ４２４など）と通信することができるし、ユーザが電子機器４１２とインタラクションすることを可能にする一つ又は複数の端末と通信することもでき、及び／又は電子機器４１２が一つ又は複数の他のコンピューティングデバイスと通信することを可能にする任意の端末（例えば、ネットワークカード、モデムなど）と通信することができる。そのような通信は、入力／出力（Ｉ／Ｏ）インターフェイス４２２を介して行うことができる。また、電子機器４１２は、ネットワークアダプタ４２０を介して、一つ又は複数のネットワーク（例えば、ローカルエリアネットワーク（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ、ＬＡＮ）、ワイドエリアネットワーク（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ、ＷＡＮ）、及び／又はパブリックネットワーク、例えば、インターネット）と通信することができる。図４に示すように、ネットワークアダプタ４２０は、バス４１８を介して、電子機器４１２の他のモジュールと通信する。なお、図示されていないが、マイクロコードや端末ドライブ、冗長プロセッサ、外部ディスクドライブアレイ、ディスクアレイ（Ｒｅｄｕｎｄａｎｔ Ａｒｒａｙｓ ｏｆ Ｉｎｄｅｐｅｎｄｅｎｔ Ｄｉｓｋｓ、ＲＡＩＤ）システム、テープドライバ、及びデータバックアップストレージシステムなどを含むがこれらに限定されない他のハードウェア及び／又はソフトウェアモジュールを、電子機器４１２と組み合わせて使用することができる。
プロセッサ４１６は、記憶装置４２８に記憶されるプログラムを実行することにより、多様な機能アプリケーション及びデータ処理を実行し、例えば、本発明の実施例が提供するコレクターの相対パラメータのキャリブレーション方法を実現する。当該方法は、
目標画像コレクターが少なくとも二つの目標画像を収集するときの基準コレクターのキャリブレーション座標系における基準位置・姿勢の情報、及び基準コレクターと目標画像コレクターとの間の相対位置・姿勢の変数に基づいて、目標画像コレクターが各目標画像を収集するときのキャリブレーション座標系における目標位置・姿勢の情報を決定するステップと、
収集された各目標画像に基づいて３次元シーンを再構築し、３次元シーン点群の空間点のキャリブレーション座標系における位置情報、及び空間点の各目標画像における投影点位置情報を決定するステップと、
各目標画像に対応する目標位置・姿勢の情報、３次元シーン点群の空間点のキャリブレーション座標系における位置情報、及び空間点の各目標画像における投影点位置情報に基づいて、前記目標画像コレクターと前記基準コレクターとの間の相対位置・姿勢を決定するステップと、を含むことができる。
（実施例５）
本発明の実施例５は、コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体をさらに提供する。当該プログラムがプロセッサによって実行される場合、本発明の実施例のいずれかに記載のコレクターの相対パラメータのキャリブレーション方法を実現する。当該方法は、
目標画像コレクターが少なくとも二つの目標画像を収集するときの基準コレクターのキャリブレーション座標系における基準位置・姿勢の情報、及び基準コレクターと目標画像コレクターとの間の相対位置・姿勢の変数に基づいて、目標画像コレクターが各目標画像を収集するときのキャリブレーション座標系における目標位置・姿勢の情報を決定するステップと、
収集された各目標画像に基づいて３次元シーンを再構築し、３次元シーン点群の空間点のキャリブレーション座標系における位置情報、及び空間点の各目標画像における投影点位置情報を決定するステップと、
各目標画像に対応する目標位置・姿勢の情報、３次元シーン点群の空間点のキャリブレーション座標系における位置情報、及び空間点の各目標画像における投影点位置情報に基づいて、前記目標画像コレクターと前記基準コレクターとの間の相対位置・姿勢を決定するステップと、を含むことができる。
本発明の実施例に係るコンピュータ記憶媒体は、一つ又は複数のコンピュータ読み取り可能な媒体の任意の組み合わせを採用することができる。コンピュータ読み取り可能な媒体は、コンピュータ読み取り可能な信号媒体、或いはコンピュータ読み取り可能な記憶媒体であってもよい。コンピュータ読み取り可能な媒体は、例えば、電子、磁気、光、電磁気、赤外線、又は半導体のシステム、装置又はデバイス、或いは上記の任意の組み合わせであってもよいがこれらに限定されない。コンピュータ読み取り可能な記憶媒体のより具体的な例（非網羅的なリスト）は、一つ又は複数の配線を備える電気接続部、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ-ＲＯＭ）、光記憶装置、磁気記憶装置、又は上記の任意の適切な組み合わせを含む。この文書において、コンピュータ読み取り可能な記憶媒体は、命令実行システム、装置又はデバイスにより使用され、或いはそれらと組み合わせて使用されることが可能であるプログラムを含む又は記憶する任意の有形の媒体であってもよい。
コンピュータ読み取り可能な信号媒体は、ベースバンドにおける、又は搬送波の一部として伝播するデータ信号を含むことができ、その中にはコンピュータ読み取り可能なプログラムコードが搭載される。この伝播するデータ信号は様々な形式を採用することができ、電磁信号、光信号又は上記の任意の適切な組み合わせを含むがこれらに限定されない。コンピュータ読み取り可能な信号媒体は、さらに、コンピュータ読み取り可能な記憶媒体以外の任意のコンピュータ読み取り可能な媒体であってもよく、当該コンピュータ読み取り可能な媒体は、命令実行システム、装置又はデバイスにより使用され、或いはそれらと組み合わせて使用されるプログラムを送信、伝播又は伝送することができる。
コンピュータ読み取り可能な媒体に含まれるプログラムコードは、無線、有線、光ケーブル、ＲＦなど、又は上記の任意の適切な組み合わせを含むがこれらに限定されない任意の適切な媒体によって伝送することができる。
一つ又は複数のプログラミング言語又はそれらの組み合わせで本発明の動作を実行するためのコンピュータプログラムコードを作成することができ、前記プログラミング言語は、Ｊａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのプロジェクト指向のプログラミング言語を含み、さらに、「Ｃ」言語又は同様のプログラミング言語といった従来の手続き型プログラミング言語をも含む。プログラムコードは、完全にユーザーコンピュータで実行されてもよいし、部分的にユーザーコンピュータに実行されてもよいし、スタンドアロンソフトウェアパッケージとして実行されてもよいし、部分的にユーザーコンピュータで、部分的にリモートコンピュータで実行されてもよいし、又は完全にリモートコンピュータ又はサーバーで実行してもよい。リモートコンピュータで実行する場合、リモートコンピュータは、ローカルネットワーク（ＬＡＮ）又は広域ネットワーク（ＷＡＮ）を含む任意種類のインターネットを介して、ユーザーコンピュータに接続することができ、或いは、外部コンピュータ（例えば、インターネットサービスプロバイダを利用してインターネットを介して接続可能なもの）に接続することもできる。
なお、以上は、本発明の好ましい実施例及び運用される技術的原理に過ぎない。当業者は、本発明が、ここで記載される特定の実施例に限定されないことを理解することができる。当業者であれば、本発明の保護範囲を逸脱することはなく、種々の明らかな変化、新たな調整及び取り換えを行うことができる。したがって、上記実施例により本発明について比較的詳細に説明したが、本発明は、上記実施例のみに限定されず、本発明の構想を逸脱しない場合、より多くの他の効果同等な実施例をさらに含むことができ、本発明の範囲は、特許請求の範囲によって决定される。

Claims (16)

  1. コレクターの相対パラメータのキャリブレーション方法であって、
    目標画像コレクターが少なくとも二つの目標画像を収集するときの基準コレクターのキャリブレーション座標系における基準位置・姿勢の情報、及び前記基準コレクターと前記目標画像コレクターとの間の相対位置・姿勢の変数に基づいて、前記目標画像コレクターが各目標画像を収集するときの前記キャリブレーション座標系における目標位置・姿勢の情報を決定するステップと、
    収集された各目標画像に基づいて３次元シーンを再構築し、３次元シーン点群の空間点の前記キャリブレーション座標系における位置情報、及び空間点の各目標画像における投影点位置情報を決定するステップと、
    各目標画像に対応する目標位置・姿勢の情報、３次元シーン点群の空間点の前記キャリブレーション座標系における位置情報、及び空間点の各目標画像における投影点位置情報に基づいて、前記目標画像コレクターと前記基準コレクターとの間の相対位置・姿勢を決定するステップと、を含む、
    ことを特徴とするコレクターの相対パラメータのキャリブレーション方法。
  2. 収集された各目標画像に基づいて３次元シーンを再構築し、３次元シーン点群の空間点の前記キャリブレーション座標系における位置情報、及び空間点の各目標画像における投影点位置情報を決定するステップは、
    前記目標画像コレクターが異なる時刻に収集した各目標画像に対して特徴点マッチングを行い、シーンにおける空間点の各目標画像における投影点位置情報を決定するステップと、
    前記目標画像コレクターの各目標画像の収集時刻における相対位置・姿勢、及び空間点の各目標画像における投影点位置情報に基づいて３次元シーンを再構築し、空間点のキャリブレーション座標系における位置情報を決定するステップと、を含む、
    ことを特徴とする請求項１に記載のコレクターの相対パラメータのキャリブレーション方法。
  3. 各目標画像に対応する目標位置・姿勢の情報、３次元シーン点群の空間点のキャリブレーション座標系における位置情報、及び空間点の各目標画像における投影点位置情報に基づいて、前記目標画像コレクターと前記基準コレクターとの間の相対位置・姿勢を決定するステップは、
    各目標画像に対応する目標位置・姿勢の情報、３次元シーン点群の空間点の前記キャリブレーション座標系における位置情報、及び空間点の各目標画像における投影点位置情報に基づいて、コスト関数を構築するステップと、
    前記コスト関数を最小化し、反復停止条件を満たす場合に、前記目標画像コレクターと前記基準コレクターとの間の相対位置・姿勢を取得するステップと、を含む、
    ことを特徴とする請求項１に記載のコレクターの相対パラメータのキャリブレーション方法。
  4. 各目標画像に対応する目標位置・姿勢の情報、３次元シーン点群の空間点のキャリブレーション座標系における位置情報、及び空間点の各目標画像における投影点位置情報に基づいて、前記コスト関数を構築するステップは、
    以下のコスト関数（数式１）を構築するステップを含み、
    Figure 2020042028
     ただし、Ｐｒｏｊは、空間点ｉを目標画像ｊに投影することを指し、Ｘｉは、３次元シーン点群の空間点ｉの前記キャリブレーション座標系における位置情報であり、Ｔｊ ＧＴＧ Ｃは、目標画像コレクターＣが目標画像ｊを収集するときの目標画像コレクターＣの前記キャリブレーション座標系における目標位置・姿勢の情報であり、Ｔｊ Ｇは、目標画像コレクターＣが目標画像ｊを収集するときの前記基準コレクターの前記キャリブレーション座標系における基準位置・姿勢の情報であり、ＴＧ Ｃは、前記基準コレクターと前記目標画像コレクターとの間の相対位置・姿勢であり、Ｍｉｊは、空間点ｉの目標画像ｊにおける投影点の投影点位置情報である、
    ことを特徴とする請求項３に記載のコレクターの相対パラメータのキャリブレーション方法。
  5. 前記基準コレクターが基準画像コレクターである場合、前記目標画像コレクターが少なくとも二つの目標画像を収集するときの前記基準コレクターの前記キャリブレーション座標系における基準位置・姿勢の情報は、
    前記目標画像コレクターが少なくとも二つの目標画像を収集するときに前記基準コレクターにより収集された各基準画像を取得するステップと、
    一つの基準画像を基準キャリブレーション画像として選択し、前記基準キャリブレーション画像の収集時刻の前記基準コレクターの座標系を前記キャリブレーション座標系とするステップと、
    他の基準画像の収集時刻における他の基準座標系と前記キャリブレーション座標系との間の相対位置・姿勢を決定して、他の基準画像の収集時刻における前記基準コレクターの前記キャリブレーション座標系における基準位置・姿勢の情報とするステップと、によって決定される、
    ことを特徴とする請求項１に記載のコレクターの相対パラメータのキャリブレーション方法。
  6. 他の基準画像の収集時刻における他の基準座標系と前記キャリブレーション座標系との間の相対位置・姿勢を決定するステップは、
    第１の他の基準画像と前記基準キャリブレーション画像との間の特徴点マッチング結果に基づいて、第１の他の基準コレクターの座標系と前記キャリブレーション座標系との間の基準相対位置・姿勢を決定するステップと、
    前記基準キャリブレーション画像と第１の他の基準画像との間の特徴点マッチング結果、基準相対位置・姿勢及び前記基準画像コレクターの内部パラメータに基づいて、基準シーン点群を構築するステップと、
    基準シーン点群と第２の他の基準画像との間の特徴点マッチング結果に基づいて、第２の他の基準コレクターの座標系と前記キャリブレーション座標系との間の基準相対位置・姿勢を決定し、基準シーン点群を更新するステップと、
    第２の他の基準画像を新しい第１の他の基準画像とし、新しい第２の他の基準画像を決定し、第１の他の基準画像と基準キャリブレーション画像との間の特徴点マッチング結果に基づいて、第１の他の基準コレクターの座標系と前記キャリブレーション座標系との間の基準相対位置・姿勢を決定するステップと、を含む、
    ことを特徴とする請求項５に記載のコレクターの相対パラメータのキャリブレーション方法。
  7. 前記目標画像コレクターと前記基準コレクターとの間の相対位置・姿勢を決定した後、
    前記基準コレクターと異なる目標画像コレクターとの間の相対位置・姿勢に基づいて、異なる目標画像コレクター間の相対位置・姿勢を取得するステップをさらに含む、
    ことを特徴とする請求項１に記載のコレクターの相対パラメータのキャリブレーション方法。
  8. コレクターの相対パラメータのキャリブレーション装置であって、
    目標画像コレクターが少なくとも二つの目標画像を収集するときの基準コレクターのキャリブレーション座標系における基準位置・姿勢の情報、及び前記基準コレクターと前記目標画像コレクターとの間の相対位置・姿勢の変数に基づいて、前記目標画像コレクターが各目標画像を収集するときの前記キャリブレーション座標系における目標位置・姿勢の情報を決定するための目標位置情報決定モジュールと、
    収集された各目標画像に基づいて３次元シーンを再構築し、３次元シーン点群の空間点の前記キャリブレーション座標系における位置情報、及び空間点の各目標画像における投影点位置情報を決定するための空間点位置情報決定モジュールと、
    各目標画像に対応する目標位置・姿勢の情報、３次元シーン点群の空間点の前記キャリブレーション座標系における位置情報、及び空間点の各目標画像における投影点位置情報に基づいて、前記目標画像コレクターと前記基準コレクターとの間の相対位置・姿勢を決定するための相対位置・姿勢決定モジュールと、を含む、
    ことを特徴とするコレクターの相対パラメータのキャリブレーション装置。
  9. 前記空間点位置情報決定モジュールは、
    前記目標画像コレクターが異なる時刻に収集した各目標画像に対して特徴点マッチングを行い、シーンにおける空間点の各目標画像における投影点位置情報を決定するための第１の位置情報決定ユニットと、
    前記目標画像コレクターの各目標画像の収集時刻における相対位置・姿勢、及び空間点の各目標画像における投影点位置情報に基づいて３次元シーンを再構築し、空間点のキャリブレーション座標系における位置情報を決定するための第２の位置情報決定ユニットと、を含む、
    ことを特徴とする請求項８に記載のコレクターの相対パラメータのキャリブレーション装置。
  10. 前記相対位置・姿勢決定モジュールは、
    各目標画像に対応する目標位置・姿勢の情報、３次元シーン点群の空間点の前記キャリブレーション座標系における位置情報、及び空間点の各目標画像における投影点位置情報に基づいて、コスト関数を構築するためのコスト関数構築ユニットと、
    前記コスト関数を最小化し、反復停止条件を満たす場合に、前記目標画像コレクターと前記基準コレクターとの間の相対位置・姿勢を取得するための相対位置・姿勢決定ユニットと、を含む、
    ことを特徴とする請求項８に記載のコレクターの相対パラメータのキャリブレーション装置。
  11. 前記コスト関数構築ユニットは、
    以下のコスト関数（数式１）を構築し、
    Figure 2020042028
     ただし、Ｐｒｏｊは、空間点ｉを目標画像ｊに投影することを指し、Ｘｉは、３次元シーン点群の空間点ｉの前記キャリブレーション座標系における位置情報であり、Ｔｊ ＧＴＧ Ｃは、目標画像コレクターＣが目標画像ｊを収集するときの目標画像コレクターＣの前記キャリブレーション座標系における目標位置・姿勢の情報であり、Ｔｊ Ｇは、目標画像コレクターＣが目標画像ｊを収集するときの前記基準コレクターの前記キャリブレーション座標系における基準位置・姿勢の情報であり、ＴＧ Ｃは、前記基準コレクターと前記目標画像コレクターとの間の相対位置・姿勢であり、Ｍｉｊは、空間点ｉの目標画像ｊにおける投影点の投影点位置情報である、
    ことを特徴とする請求項１０に記載のコレクターの相対パラメータのキャリブレーション装置。
  12. 前記基準コレクターが基準画像コレクターである場合、前記目標画像コレクターが少なくとも二つの目標画像を収集するときの前記基準コレクターの前記キャリブレーション座標系における基準位置・姿勢の情報は、
    前記目標画像コレクターが少なくとも二つの目標画像を収集するときに前記基準コレクターにより収集された各基準画像を取得するための基準画像取得モジュールと、
    一つの基準画像を基準キャリブレーション画像として選択し、前記基準キャリブレーション画像の収集時刻の基準コレクターの座標系を前記キャリブレーション座標系とするためのキャリブレーション座標系決定モジュールと、
    他の基準画像の収集時刻における他の基準座標系と前記キャリブレーション座標系との間の相対位置・姿勢を決定して、他の基準画像の収集時刻における基準コレクターの前記キャリブレーション座標系における基準位置・姿勢の情報とするための基準位置情報決定モジュールと、によって決定される、
    ことを特徴とする請求項８に記載のコレクターの相対パラメータのキャリブレーション装置。
  13. 前記基準位置情報決定モジュールは、
    第１の他の基準画像と前記基準キャリブレーション画像との間の特徴点マッチング結果に基づいて、第１の他の基準コレクターの座標系と前記キャリブレーション座標系との間の基準相対位置・姿勢を決定するための第１の基準相対位置・姿勢決定ユニットと、
    前記基準キャリブレーション画像と第１の他の基準画像との間の特徴点マッチング結果、基準相対位置・姿勢及び前記基準画像コレクターの内部パラメータに基づいて、基準シーン点群を構築するための基準シーン点群構築ユニットと、
    基準シーン点群と第２の他の基準画像との間の特徴点マッチング結果に基づいて、第２の他の基準コレクターの座標系と前記キャリブレーション座標系との間の基準相対位置・姿勢を決定し、基準シーン点群を更新するための基準シーン点群更新ユニットと、
    第２の他の基準画像を新しい第１の他の基準画像とし、新しい第２の他の基準画像を決定し、第１の他の基準画像と基準キャリブレーション画像との間の特徴点マッチング結果に基づいて、第１の他の基準コレクターの座標系と前記キャリブレーション座標系との間の基準相対位置・姿勢を決定するための基準相対位置・姿勢反復処理ユニットと、を含む、
    ことを特徴とする請求項１２に記載のコレクターの相対パラメータのキャリブレーション装置。
  14. 前記基準コレクターと異なる目標画像コレクターとの間の相対位置・姿勢に基づいて、異なる目標画像コレクター間の相対位置・姿勢を取得するための相対位置・姿勢取得モジュールをさらに含む、
    ことを特徴とする請求項８に記載のコレクターの相対パラメータのキャリブレーション装置。
  15. 電子機器であって、
    一つ又は複数のプロセッサと、
    一つ又は複数のプログラムを記憶するための記憶装置と、を含み、
    前記一つ又は複数のプログラムが前記一つ又は複数のプロセッサによって実行される場合に、前記一つ又は複数のプロセッサが、請求項１〜７のいずれかに記載のコレクターの相対パラメータのキャリブレーション方法を実現する、
    ことを特徴とする電子機器。
  16. コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、
    前記コンピュータプログラムがプロセッサによって実行される場合に、請求項１〜７のいずれかに記載のコレクターの相対パラメータのキャリブレーション方法が実現される、
    ことを特徴とするコンピュータ読み取り可能な記憶媒体。

JP2019160978A 2018-09-07 2019-09-04 コレクターの相対パラメータのキャリブレーション方法、装置、機器及び媒体 Active JP6811296B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811043273.9A CN109242913B (zh) 2018-09-07 2018-09-07 采集器相对参数的标定方法、装置、设备和介质
CN201811043273.9 2018-09-07

Publications (2)

Publication Number Publication Date
JP2020042028A true JP2020042028A (ja) 2020-03-19
JP6811296B2 JP6811296B2 (ja) 2021-01-13

Family

ID=65060205

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019160978A Active JP6811296B2 (ja) 2018-09-07 2019-09-04 コレクターの相対パラメータのキャリブレーション方法、装置、機器及び媒体

Country Status (4)

Country Link
US (1) US10984556B2 (ja)
EP (1) EP3621034B1 (ja)
JP (1) JP6811296B2 (ja)
CN (1) CN109242913B (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109218562B (zh) * 2018-09-07 2021-04-27 百度在线网络技术（北京）有限公司 时钟同步方法、装置、设备、存储介质和车辆
CN109360243B (zh) * 2018-09-28 2022-08-19 安徽爱观视觉科技有限公司 一种多自由度可动视觉系统的标定方法
CN110361005B (zh) * 2019-06-26 2021-03-26 达闼机器人有限公司 定位方法、定位装置、可读存储介质及电子设备
JP7313998B2 (ja) * 2019-09-18 2023-07-25 株式会社トプコン 測量データ処理装置、測量データ処理方法および測量データ処理用プログラム
CN112837227B (zh) * 2019-11-22 2023-07-04 杭州海康威视数字技术股份有限公司 一种参数校正方法、装置、系统、电子设备及存储介质
CN110929669B (zh) * 2019-11-29 2023-10-10 阿波罗智能技术(北京)有限公司 数据标注方法及装置
CN113034603B (zh) * 2019-12-09 2023-07-14 百度在线网络技术（北京）有限公司 用于确定标定参数的方法和装置
CN113554710A (zh) * 2020-04-24 2021-10-26 西门子(深圳)磁共振有限公司 医学影像系统中3d相机的标定方法、系统和存储介质
CN111862180B (zh) * 2020-07-24 2023-11-17 盛景智能科技(嘉兴)有限公司 一种相机组位姿获取方法、装置、存储介质及电子设备
CN112308931B (zh) * 2020-11-02 2021-09-17 深圳市泰沃德技术有限公司 相机的标定方法、装置、计算机设备和存储介质
CN112381886B (zh) * 2020-11-16 2024-04-09 深圳市洲明科技股份有限公司 基于多相机的三维场景重建方法、存储介质及电子设备
CN112489113B (zh) * 2020-11-25 2024-06-11 深圳地平线机器人科技有限公司 相机外参标定方法、装置及相机外参标定系统
CN113091769A (zh) * 2021-03-30 2021-07-09 Oppo广东移动通信有限公司 姿态校准方法、装置、存储介质及电子设备
CN113095184B (zh) * 2021-03-31 2023-01-31 上海商汤临港智能科技有限公司 定位方法、行驶控制方法、装置、计算机设备及存储介质
CN113242421A (zh) * 2021-04-02 2021-08-10 青岛小鸟看看科技有限公司 相机校准方法、装置及虚拟现实设备
CN113345026A (zh) * 2021-05-13 2021-09-03 北京三快在线科技有限公司 一种相机参数的标定方法、装置、存储介质及电子设备
CN114565677B (zh) * 2022-01-14 2023-07-28 浙江大华技术股份有限公司 一种定位纠偏方法、监控设备和计算机可读存储介质
US11887338B2 (en) * 2022-06-16 2024-01-30 Motional Ad Llc Maintaining calibration of an IBIS camera
CN115661493B (zh) * 2022-12-28 2023-07-04 航天云机(北京)科技有限公司 一种对象位姿的确定方法及装置、设备及存储介质
CN117278735B (zh) * 2023-09-15 2024-05-17 山东锦霖智能科技集团有限公司 一种沉浸式图像投影设备
CN117948885B (zh) * 2024-03-27 2024-06-11 中科慧远人工智能(烟台)有限公司 基于生产线的位姿测量方法、装置和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003279315A (ja) * 2002-01-16 2003-10-02 Advanced Telecommunication Research Institute International カメラの自動校正方法
JP2008146024A (ja) * 2006-11-07 2008-06-26 Fujifilm Corp 撮影装置及び撮影方法
JP2014101075A (ja) * 2012-11-21 2014-06-05 Fujitsu Ltd 画像処理装置、画像処理方法及びプログラム
US20160012588A1 (en) * 2014-07-14 2016-01-14 Mitsubishi Electric Research Laboratories, Inc. Method for Calibrating Cameras with Non-Overlapping Views

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103049912B (zh) * 2012-12-21 2015-03-11 浙江大学 一种基于任意三面体的雷达-相机系统外部参数标定方法
US10234270B2 (en) * 2016-10-13 2019-03-19 Sportsmedia Technology Corporation Estimating tracking sensor parametrization using known surface constraints
CN107067437B (zh) * 2016-12-28 2020-02-21 中国航天电子技术研究院 一种基于多视几何和光束法平差的无人机定位系统及方法
CN108288294A (zh) * 2018-01-17 2018-07-17 视缘(上海)智能科技有限公司 一种3d相机群的外参标定方法
CN108447097B (zh) * 2018-03-05 2021-04-27 清华-伯克利深圳学院筹备办公室 深度相机标定方法、装置、电子设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003279315A (ja) * 2002-01-16 2003-10-02 Advanced Telecommunication Research Institute International カメラの自動校正方法
JP2008146024A (ja) * 2006-11-07 2008-06-26 Fujifilm Corp 撮影装置及び撮影方法
JP2014101075A (ja) * 2012-11-21 2014-06-05 Fujitsu Ltd 画像処理装置、画像処理方法及びプログラム
US20160012588A1 (en) * 2014-07-14 2016-01-14 Mitsubishi Electric Research Laboratories, Inc. Method for Calibrating Cameras with Non-Overlapping Views

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CARRERA, GERARDO: ""SLAM-based automatic extrinsic calibration of a multi-camera rig"", 2011 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION, JPN6020026126, 9 May 2011 (2011-05-09), pages 2652 - 2659, XP032034115, ISSN: 0004310159, DOI: 10.1109/ICRA.2011.5980294 *
PAGEL, FRANK: ""Calibration of non-overlapping cameras in vehicles"", 2010 IEEE INTELLIGENT VEHICLES SYMPOSIUM, JPN6020026124, 2010, pages 1178 - 1183, XP031732152, ISSN: 0004310158 *
ZHU, CHEN, ET AL.: ""Robust Plane-Based Calibration of Multiple Non-Overlapping Cameras"", 2016 FOURTH INTERNATIONAL CONFERENCE ON 3D VISION, JPN6020026123, 25 October 2016 (2016-10-25), pages 658 - 664, ISSN: 0004310157 *

Also Published As

Publication number Publication date
CN109242913A (zh) 2019-01-18
US10984556B2 (en) 2021-04-20
EP3621034A1 (en) 2020-03-11
EP3621034B1 (en) 2021-12-29
JP6811296B2 (ja) 2021-01-13
US20200082571A1 (en) 2020-03-12
CN109242913B (zh) 2020-11-10

Similar Documents

Publication Publication Date Title
JP6811296B2 (ja) コレクターの相対パラメータのキャリブレーション方法、装置、機器及び媒体
CN110163903B (zh) 三维图像的获取及图像定位方法、装置、设备和存储介质
JP6745328B2 (ja) 点群データを復旧するための方法及び装置
CN109521403B (zh) 多线激光雷达的参数标定方法及装置、设备及可读介质
CN108805917B (zh) 空间定位的方法、介质、装置和计算设备
CN107888828B (zh) 空间定位方法及装置、电子设备、以及存储介质
JP2020035448A (ja) ３次元シーンマップの生成方法、生成装置、機器および記憶媒体
CN109887003B (zh) 一种用于进行三维跟踪初始化的方法与设备
CN106846497B (zh) 应用于终端的呈现三维地图的方法和装置
CN109191554B (zh) 一种超分辨图像重建方法、装置、终端和存储介质
CN111127422A (zh) 图像标注方法、装置、系统及主机
CN110163087B (zh) 一种人脸姿态识别方法及系统
US20170024930A1 (en) Consistent tessellation via topology-aware surface tracking
JP2018026064A (ja) 画像処理装置、画像処理方法、システム
CN111868738B (zh) 跨设备监控计算机视觉系统
WO2021185036A1 (zh) 点云数据的生成及实时显示方法、装置、设备及介质
CN113673400A (zh) 基于深度学习的实景三维语义重建方法、装置及存储介质
CN113763478A (zh) 无人车相机标定方法、装置、设备、存储介质及系统
CN113888566B (zh) 目标轮廓曲线确定方法、装置、电子设备以及存储介质
CN108304578B (zh) 地图数据的处理方法、介质、装置和计算设备
CN114863061A (zh) 一种远程监护医学图像处理的三维重建方法及系统
WO2022147655A1 (zh) 定位方法、空间信息获取方法、装置、拍摄设备
CN113034582A (zh) 位姿优化装置及方法、电子设备及计算机可读存储介质
CN114820953B (zh) 一种数据处理方法、装置、设备以及存储介质
CN113781653B (zh) 对象模型生成方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190904

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200721

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201008

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201214

R150 Certificate of patent or registration of utility model

Ref document number: 6811296

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250