JP2016167229A - 座標変換パラメータ決定装置、座標変換パラメータ決定方法及び座標変換パラメータ決定用コンピュータプログラム - Google Patents

座標変換パラメータ決定装置、座標変換パラメータ決定方法及び座標変換パラメータ決定用コンピュータプログラム Download PDF

Info

Publication number
JP2016167229A
JP2016167229A JP2015047453A JP2015047453A JP2016167229A JP 2016167229 A JP2016167229 A JP 2016167229A JP 2015047453 A JP2015047453 A JP 2015047453A JP 2015047453 A JP2015047453 A JP 2015047453A JP 2016167229 A JP2016167229 A JP 2016167229A
Authority
JP
Japan
Prior art keywords
marker
feature points
image
coordinate
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015047453A
Other languages
English (en)
Other versions
JP6507730B2 (ja
Inventor
厚憲 茂木
Atsunori Mogi
厚憲 茂木
山口　伸康
Nobuyasu Yamaguchi
伸康 山口
松田　高弘
Takahiro Matsuda
高弘 松田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2015047453A priority Critical patent/JP6507730B2/ja
Priority to US15/053,670 priority patent/US10147192B2/en
Priority to EP16157310.0A priority patent/EP3067861B1/en
Publication of JP2016167229A publication Critical patent/JP2016167229A/ja
Application granted granted Critical
Publication of JP6507730B2 publication Critical patent/JP6507730B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Abstract

【課題】特徴点の三次元座標をカメラ座標系と世界座標系との間で座標変換する際の座標変換精度を向上できる座標変換パラメータ決定装置を提供する。
【解決手段】座標変換パラメータ決定装置は、第１の画像及び第２の画像のそれぞれからマーカの複数の特徴点を検出するマーカ検出部１１と、マーカの複数の特徴点のそれぞれについて、その特徴点についての第１の画像上の位置と第２の画像上の位置とから第１の地点を基準とするカメラ座標系の三次元座標を算出する三次元位置決定部１４と、マーカの複数の特徴点のそれぞれのカメラ座標系の三次元座標を、座標変換パラメータを用いて座標変換して得られる世界座標系の三次元座標と、実空間でのマーカの複数の特徴点のうちの対応する特徴点の世界座標系での三次元座標との誤差の絶対値の和が最小となるように、座標変換パラメータを算出する座標変換パラメータ決定部１５とを有する。
【選択図】図３

Description

本発明は、カメラ座標系と世界座標系との座標変換のパラメータを算出する座標変換パラメータ決定装置、座標変換パラメータ決定方法及び座標変換パラメータ決定用コンピュータプログラムに関する。
近年、ユーザの作業の支援を行うために、カメラによって撮影した画像に、様々な情報を重畳表示させる、いわゆる拡張現実感（Augmented Reality, AR）に関する研究が行われている。
ARを実現するシステムにおいては、カメラで撮影された画像上の適切な位置に情報を重畳するために、仮想空間が実空間に正確に位置合わせされることが求められる。そのために、予め設置された既知のマーカの画像上の位置及び形状から、カメラの位置及び姿勢を推定する技術が提案されている（例えば、非特許文献１を参照）。また、任意の２地点から対象物が写る二つの画像を撮影し、各画像から特徴点を抽出し、画像間で対応する特徴点の三次元座標を各画像上の特徴点の座標に基づいて三角測量の原理によって算出する技術も提案されている（例えば、非特許文献２を参照）。
しかしながら、撮影条件によっては、画像上でマーカを正確に検出することが困難なことがある。また、カメラの撮影範囲からマーカが外れ、その結果として画像上にマーカが写っていないこともある。このような場合、マーカに基づいてカメラの姿勢を推定することは困難である。そこで、マーカを用いてカメラのワールド座標系におけるカメラ位置と回転を表すカメラポーズの推定結果が得られなかった場合、ワールド座標系における３次元座標が既知の点を用いてカメラポーズを推定する技術が提案されている（例えば、特許文献１を参照）。
特開２０１４−９２９８４号公報
加藤他、「マーカー追跡に基づく拡張現実感システムとそのキャリブレーション」、日本バーチャルリアリティ学会論文誌、4(4)、pp.607-616、1999年12月 山田他、「２画像からの３次元復元の最新アルゴリズム」、情報処理学会研究報告、vol. 2009-CVIM-168-15、pp.1-8、 2009年
画像を生成するカメラの撮影範囲から既知の形状のマーカが外れてしまうと、カメラはマーカに基づいてカメラの位置及び姿勢を推定できない。そのため、カメラの位置及び姿勢を推定するために、カメラは、例えばマーカ以外の自然特徴点を利用する。この場合、カメラは、座標変換パラメータに基づいて、自然特徴点のカメラ座標系の三次元座標を世界座標系の三次元座標に座標変換する。そしてカメラは、座標変換した自然特徴点の世界座標系の三次元座標に基づいてカメラの位置及び姿勢を推定する。ここで、自然特徴点のカメラ座標系の三次元座標に誤差が生じてしまうと、推定されたカメラの位置及び姿勢にも誤差が生じてしまう。
そこで、本明細書は、特徴点の三次元座標をカメラ座標系と世界座標系との間で座標変換する際の座標変換精度を向上できる座標変換パラメータ決定装置を提供することを目的とする。
一つの実施形態によれば、座標変換パラメータ決定装置が提供される。この座標変換パラメータ決定装置は、予め設置され、位置及び形状が既知のマーカを第１の地点において撮影した第１の画像と、第１の地点とは異なる第２の地点においてマーカを撮影した第２の画像とを生成する撮像部と、第１の画像及び第２の画像のそれぞれからマーカの複数の特徴点を検出するマーカ検出部と、マーカの複数の特徴点のそれぞれについて、その特徴点についての第１の画像上の位置と第２の画像上の位置とから第１の地点を基準とするカメラ座標系の三次元座標を算出する三次元位置決定部と、マーカの複数の特徴点のそれぞれのカメラ座標系の三次元座標を、座標変換パラメータを用いて座標変換して得られる世界座標系の三次元座標と、実空間でのマーカの複数の特徴点のうちの対応する特徴点の世界座標系での三次元座標との誤差の絶対値の和が最小となるように、座標変換パラメータを算出する座標変換パラメータ決定部とを有する。
本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を限定するものではないことを理解されたい。
本明細書に開示された座標変換パラメータ決定装置は、特徴点の三次元座標をカメラ座標系と世界座標系との間で座標変換の座標変換精度を向上できる。
座標変換パラメータ決定装置の一つの実施形態である携帯端末のハードウェア構成図を示す図である。 マーカの一例を示す図である。 撮像部の位置及び姿勢推定に関する制御部の機能ブロック図を示す図である。 第１の地点と第２の地点の位置関係の一例を示す図である。 対応点情報テーブルの一例を示す図である。 自然特徴点情報テーブルの一例を示す図である。 座標変換の概要を示す図である。 初期マップの一例を示す図である。 自然特徴点ベースの姿勢推定処理の概念図を示す図である。 携帯端末の制御部により実行される、座標変換パラメータ決定処理の動作フローチャートを示す図である。 変形例による、撮像部の位置及び姿勢推定に関する制御部の機能ブロック図を示す図である。 （ａ）は、マーカの右側に市松模様が設定される一例を示す図であり、（ｂ）は、歪みがない場合の三次元座標を立体的に表示された一例を示す図であり、（ｃ）は、歪みがある場合の三次元座標を立体的に表示された一例を示す図である。 他の変形例による、撮像部の位置及び姿勢推定に関する制御部の機能ブロック図を示す図である。 マーカの四隅の三次元座標の補正の概要図を示す図である。 さらに他の変形例による、撮像部の位置及び姿勢推定に関する制御部の機能ブロック図を示す図である。
以下、図を参照しつつ、座標変換パラメータ決定装置について説明する。この座標変換パラメータ決定装置は、撮像部によって異なる撮影位置で生成された二つの画像のそれぞれからマーカの複数の特徴点を検出する。この座標変換パラメータ決定装置は、マーカの複数の特徴点のそれぞれについて、各画像上での位置に基づいてカメラ座標系の三次元座標を求める。座標変換パラメータ決定装置は、マーカの複数の特徴点のカメラ座標系の三次元座標を、座標変換パラメータを用いて変換した世界座標系の三次元座標と実空間で対応する特徴点の三次元座標との誤差の絶対値和が最小となるよう、座標変換パラメータを算出する。この座標変換パラメータ決定装置は、座標変換パラメータに応じて、得られたマーカ以外の複数の特徴点のカメラ座標系の三次元座標を、世界座標系の三次元座標に座標変換する。そしてこの座標変換パラメータ決定装置は、座標変換されたマーカ以外の複数の特徴点の世界座標系の三次元座標を初期マップとして記憶部に記憶する。
図１は、座標変換パラメータ決定装置の一つの実施形態である携帯端末のハードウェア構成図である。携帯端末１は、ユーザインターフェース部２と、撮像部３と、記憶媒体アクセス装置４と、記憶部５と、制御部６とを有する。ユーザインターフェース部２、撮像部３、記憶媒体アクセス装置４、記憶部５及び制御部６は、筐体７内に配置される。なお、携帯端末１は、例えば、携帯電話機、携帯情報端末またはタブレット型コンピュータである。さらに携帯端末１は、携帯端末１を他の機器に接続するための通信インターフェース回路（図示せず）を有していてもよい。なお図１は、携帯端末１が有する構成要素を説明するための図であり、携帯端末１の各構成要素の実際の配置を表した図ではないことに留意されたい。
携帯端末１は、撮像部３が所定の撮影周期ごとに周囲を撮影して得られた画像に写っているマーカまたは自然特徴点に基づいて、撮像部３の位置及び姿勢を推定する。そしてこの携帯端末１は、その位置及び姿勢の推定結果を利用して、画像上に様々な情報を重畳することで、ARをユーザに提供してもよい。
ユーザインターフェース部２は、例えば、液晶ディスプレイ、あるいは有機エレクトロルミネッセンスディスプレイを有し、ユーザインターフェース部２の表示画面が、筐体７の正面に対向するユーザを向くように配置される。そしてユーザインターフェース部２は、撮像部３により生成された画像など、ユーザに対して様々な情報を表示する。またユーザインターフェース部２は、タッチパネルディスプレイを有してもよい。この場合、ユーザインターフェース部２は、例えば、様々なアイコンまたは操作ボタン（例えば、初期マップ生成開始ボタン又は初期マップ生成指示ボタン）を、制御部６からの制御信号に応じて表示する。そしてユーザインターフェース部２は、表示されたアイコンまたは操作ボタンの位置にユーザが触れた場合に、その位置に応じた操作信号を生成し、その操作信号を制御部６へ出力する。
撮像部３は、例えば、２次元アレイ状に配置された固体撮像素子を有するイメージセンサと、そのイメージセンサ上に被写体の像を結像する撮像光学系とを有する。
撮像部３は、所定の撮影周期ごとに携帯端末１の周囲を撮影することで、その撮影周期ごとに画像を生成する。また、撮像部３は、ユーザによりボタンを押す等の操作がなされる度にも画像を生成する。なお、生成される画像は、RGB表色系により表されるカラー画像であってもよく、あるいは、グレー画像であってもよい。そして撮像部３は、画像を生成する度に、生成した画像を制御部６へ出力する。なお、撮影周期は、例えば、33msecである。
記憶媒体アクセス装置４は、例えば、半導体メモリカードといった記憶媒体８にアクセスする装置である。記憶媒体アクセス装置４は、例えば、記憶媒体８に記憶された、制御部６上で実行されるコンピュータプログラムを読み込み、制御部６に渡す。また、制御部６が座標変換パラメータ決定装置としての機能を実現するコンピュータプログラムを実行する場合には、記憶媒体アクセス装置４は、記憶媒体８から座標変換パラメータ決定用コンピュータプログラムを読み込んで、制御部６に渡してもよい。
記憶部５は、例えば、読み書き可能な不揮発性の半導体メモリと、読み書き可能な揮発性の半導体メモリとを有する。そして記憶部５は、制御部６上で実行される各種のアプリケーションプログラム及び各種のデータを記憶する。また記憶部５は、座標変換パラメータ決定処理に利用される各種のデータを記憶する。例えば、記憶部５は、直近の一定期間（例えば、数フレーム〜数十フレームに相当する期間）に取得された画像から推定された撮像部３の位置及び姿勢を表す情報を記憶する。
さらに記憶部５は、実空間に設定された三次元の世界座標系における、マーカの三次元座標と、複数の自然特徴点のそれぞれについての三次元座標とが格納された初期マップを記憶する。
図２は、マーカの一例を示す図である。マーカ２００は、識別用パターン２０１と、識別用パターン２０１を囲む正方形パターン２０２とを有する。識別用パターン２０１は、例えば、マーカ２００が設置された場所の周囲の模様との区別が付き易いパターンであればよい。本実施形態では、座標変換パラメータを算出するために、正方形パターン２０２の外周の四隅２０３の位置が特徴点として画像上で検出される。なお、マーカは、図２に示されたものに限られず、マーカが設置された場所の周囲の模様との区別が付き易いものであればよい。例えば、マーカの外周は、三角形、長方形、又は五角形であってもよい。また、座標変換パラメータの算出に、マーカの他の位置が検出されてもよい。
なお、本実施形態では、実空間に設定される世界座標系では、簡単化のために、マーカの中心を原点とする。そしてマーカが含まれる平面にX軸及びY軸が設定され、マーカが含まれる平面の法線がZ軸に設定される。
制御部６は、一つまたは複数のプロセッサ及びその周辺回路を有する。そして制御部６は、携帯端末１の各部と信号線を介して接続されており、携帯端末１全体を制御する。
また制御部６は、撮像部３から画像を受け取る度に、その画像に写っているマーカまたは自然特徴点に基づいて撮像部３の位置及び姿勢を推定する。
なお、以下では、自然特徴点に基づく撮像部３の位置及び姿勢の推定処理を、自然特徴点ベースの姿勢推定処理と呼ぶ。
図３は、撮像部３の位置及び姿勢推定に関する制御部６の機能ブロック図である。制御部６は、マーカ検出部１１と、自然特徴点検出部１２と、自然特徴点追跡部１３と、三次元位置決定部１４と、座標変換パラメータ決定部１５と、座標変換部１６と、登録部１７と、自然特徴点ベース姿勢推定部１８とを有する。制御部６が有するこれらの各部は、例えば、制御部６上で実行されるコンピュータプログラムにより実現される。なお、制御部６が有するこれらの各部は、制御部６が有するプロセッサとは別個に、これらの各部の機能を実現する集積回路として、携帯端末１に実装されてもよい。
マーカ検出部１１は、互いに異なる位置でマーカを撮影することにより得られた二つの画像からマーカの複数の特徴点を検出する。本実施形態では、マーカ検出部１１は、第１の画像及び第２の画像のそれぞれからマーカの四隅の座標をそれぞれ特徴点として検出する。上述したように、マーカは、設置された場所の周囲の模様との区別が付き易い既知のパターンであるため、マーカ検出部１１は、画像上でマーカの位置を正確に検出できる。異なる位置からマーカを撮影して生成された二つの画像に基づいて座標変換パラメータを求めるため、ユーザが一回目のボタン（例えば、初期マップ生成開始ボタン）を押すと初期マップ生成が開始され、ユーザが二回目のボタンを押すと初期マップ生成が指示される。そこで、マーカ検出部１１は、ユーザにより二回目のボタン（例えば、初期マップ生成指示ボタン）を押す等の操作がなされたときに、撮像部３から得られた、マーカが写った二つの画像のそれぞれからマーカの複数の特徴点の座標を検出する。そしてマーカ検出部１１は、一方の画像上の検出されたマーカの複数の特徴点と他方の画像上の検出されたマーカの複数の特徴点を対応付ける。例えば、マーカの複数の特徴点は、マーカの四隅である。あるいは、マーカの複数の特徴点は、マーカの他の特徴点であってもよい。以下では、ユーザにより一回目のボタン（例えば、初期マップ生成開始ボタン）を押す等の操作がなされたときの撮像部３の位置を第１の地点と呼ぶ。また、ユーザにより二回目のボタン（例えば、初期マップ生成指示ボタン）を押す等の操作がなされたときの撮像部３の位置を第２の地点と呼ぶ。
図４は、第１の地点４０１と第２の地点４０２の位置関係の一例を示す図である。本実施形態では、携帯端末１は、所定位置に仮想的な画像をＡＲによって重畳表示する。そのために、ユーザは第１の地点４０１において、マーカ４００を撮影範囲として、携帯端末１に対して初期マップ生成開始ボタンを押す等の操作を行う。すると、撮像部３は、マーカ４００が写った画像４０３を第１の地点において生成する。以下では、第１の地点において生成された画像を第１の画像と呼ぶ。また、ユーザは第１の地点４０１から離れた第２の地点４０２において、マーカ４００を撮影範囲として、携帯端末１に対して初期マップ生成指示ボタンを押す等の操作を行う。すると、撮像部３は、マーカ４００が写った画像４０４を第２の地点において生成する。以下では、第２の地点において生成された画像を第２の画像と呼ぶ。マーカ検出部１１は、例えば、様々な方向から見たマーカのパターンを表した複数のテンプレートを用いて画像に対するテンプレートマッチングを行うことにより、画像上のマーカを検出する。
その際、マーカ検出処理を高速化するために、マーカ検出部１１は、画像の各画素について、輝度値が所定の閾値以上か否かによって２値化してもよい。例えば、図２に示されたマーカ２００の正方形パターン２０２及び正方形パターン内部の識別用パターン２０１は、その周囲よりも黒いので、画像上でも、それらのパターンに対応する画素の輝度値は、その周囲の画素の輝度値よりも低くなる。したがって、２値化画像上では、マーカ２００に含まれるパターンに対応する画素と、その他の画素とは、異なる画素値を持つ。例えば、マーカ検出部１１は、所定の閾値以上の輝度値を持つ画素に対応する２値化画像上の画素の輝度値を相対的に高くし、その閾値未満の輝度値を持つ画素に対応する２値化画像上の画素の輝度値を相対的に低くする。したがって、マーカに含まれるパターンに対応する画素は相対的に低い輝度値となる。以下、２値化画像上で相対的に低い輝度値を持つ画素を、便宜上黒画素と呼ぶ。
マーカ検出部１１は、黒画素の集合に対してラベリング処理を実行することで、黒画素同士が連結された領域である、１以上の黒画素領域を求める。そしてマーカ検出部１１は、各黒画素領域に対して輪郭線追跡を行って、各黒画素領域の輪郭線を求める。さらに、マーカ検出部１１は、各輪郭線に対して折れ線近似を行って、４本の線分で輪郭線を近似できた黒画素領域をマーカ候補領域とする。マーカ検出部１１は、マーカ候補領域とテンプレートとの間でテンプレートマッチングを行って、例えば、マーカ候補領域とテンプレート間の正規化相互相関値を次式に従って算出する。
ここでT(i,j)は、テンプレートの画素(i,j)の輝度値であり、I(i,j)は、マーカ候補領域中の画素(i,j)の輝度値である。そしてTavは、テンプレートの輝度平均値であり、Iavは、マーカ候補領域の輝度平均値である。
マーカ検出部１１は、正規化相互相関値の最大値がマーカ検出用閾値（例えば、0.8）以上となる場合、その正規化相互相関値の最大値に対応するマーカ候補領域にマーカが写っていると判定する。そしてマーカ検出部１１は、そのマーカ候補領域の四隅の座標を、画像上でのマーカの座標とする。
一方、正規化相互相関値の最大値がマーカ検出用閾値未満である場合、マーカ検出部１１は、マーカ候補領域にマーカは写っていないと判定する。
マーカ検出部１１は、画像上でのマーカの四隅の座標を求める度に、各座標を、対応する画像の取得順序が分かるように、記憶部５の対応点情報テーブルに記憶する。
図５は、対応点情報テーブル５００の一例を示す図である。対応点情報テーブル５００の各行には、それぞれ、第１の画像上の座標と、第２の画像上の座標と、マーカ上の特徴点か自然特徴点かを表す種別フラグ（自然特徴点：ｆ、マーカ：ｍ）が記憶される。この例では、１行目〜３２８行目には、例えば、各自然特徴点の第１の画像上の座標などが記憶されている。これらの各自然特徴点についての詳細は、後述する。また、３２９行目〜３３２行目には、例えば、第１の画像上のマーカの特徴点の座標と、第１の画像上のマーカの特徴点に対応する第２の画像上のマーカの特徴点の座標などが記憶されている。
自然特徴点検出部１２は、制御部６が自然特徴点ベースの姿勢推定処理を実行している間、撮像部３から所定の撮影周期ごとに画像が得られる度に、その画像から自然特徴点を検出する。また、自然特徴点検出部１２は、ユーザにより初期マップ生成開始ボタンを押す等の操作がなされたときに、第１の画像から自然特徴点を検出する。
まず、自然特徴点検出部１２が自然特徴点を検出する処理について説明する。自然特徴点検出部１２は、画像の各画素に対して、例えば、FAST(Features from Accelerated Segment Test)による自然特徴点のコーナー検出処理を行って、画素ごとに自然特徴点を表す特徴量を算出し、自然特徴点を検出する。そして自然特徴点検出部１２は、検出された自然特徴点を自然特徴点追跡部１３に渡す。なお、FASTによる自然特徴点のコーナー検出に関しては、例えば、Edward Rosten and Tom Drummond, 「Machine learning for high-speed corner detection」, in Proc European Conference on Computer Vision, vol.1, pp.430-443, 2006年を参照されたい。あるいは、特徴点の検出方法としては、FASTによる方法に限られず、例えば、Harris特徴検出法、"Good Features To Track"と呼ばれる方法などのコーナーを特徴点とする方法を用いてもよい。あるいはまた、特徴点の検出方法としては、ＳＩＦＴ（Scale-Invariant Feature Transform）やＳＵＲＦ（Speeded Up Robust Features）に代表される局所特徴量を検出する方法を用いてもよい。
自然特徴点追跡部１３は、制御部６が自然特徴点ベースの姿勢推定処理を実行している間、撮像部３から所定の撮影周期ごとに画像が得られる度に、その画像において、自然特徴点を追跡する。また、自然特徴点追跡部１３は、ユーザにより初期マップ生成指示ボタンを押す等の操作がなされたときに、追跡された自然特徴点のうち、第１の画像から検出された自然特徴点に対応する第２の画像から検出された自然特徴点を対応付ける。
自然特徴点追跡部１３が撮像部３から所定の撮影周期ごとに画像が得られる度に、その画像において、自然特徴点を追跡する処理について説明する。自然特徴点は、マーカ上の複数の特徴点とは異なり、既知の形状を有していないため、自然特徴点追跡部１３が複数の画像のうちの一方の画像から検出された自然特徴点と他方の画像から検出された自然特徴点が同一の自然特徴点か否かを判断することが困難である。したがって、自然特徴点追跡部１３は、第１の画像から検出された各自然特徴点について、その後に画像が得られる度に画像上のどの位置に移動しているかを追跡する必要がある。そこで、自然特徴点追跡部１３は、例えば、LK（Lucas-Kanade）オプティカルフローを用いて自然特徴点を追跡し、追跡結果を自然特徴点情報テーブルに登録する。LKオプティカルフローでは、前に得られた画像の各画素が個別の「移動ベクトル(フローベクトル)」により独立に移動し、後に得られた画像上で検出された自然特徴点の各画素値が前に得られた画像での輝度値と同じ値のままになっていると仮定する。この「移動前後の画素値が一定」という拘束条件式をテイラー展開で近似する、微分画像上の画素値の関係式を「Luca-Kanade方程式」と呼ぶ。自然特徴点追跡部１３は、検出された自然特徴点の画素ごとに用意するLucas-Kanade方程式を、小領域N(例えば5×5画素)の移動前後においては、合計5×5＝25個の式を拘束式として用意する。そして自然特徴点追跡部１３は、これら25画素での誤差の絶対値の和が最小になる時のパラメータを最小二乗法で求めることで、領域N全体のオプティカルフローを最終的に推定する。なお、LKオプティカルフローを用いた追跡手法に関しては、例えば、B.D.Lucas and T.Kanade, 「An iterative image registration technique with an application to stereo vision」, in Proc Imaging Understanding Workshop, pp.121-130, 1981年を参照されたい。
図６は、自然特徴点情報テーブルの一例を示す図である。自然特徴点情報テーブル６００の各行には、それぞれ、第１の画像上の自然特徴点の座標と、後続画像上の自然特徴点の座標と、追跡されているか否かを表す追跡フラグ（追跡中:True、追跡不可:False）が記憶される。後続画像とは、ユーザにより初期マップ生成開始ボタンを押す等の操作がなされた後、第１の画像の後に撮像部３によって所定の撮影周期ごとに生成される画像である。
自然特徴点追跡部１３は、ユーザにより初期マップ生成開始ボタンを押す等の操作がなされ、第１の画像から自然特徴点が検出されると、検出された各自然特徴点に対応する第１の画像上の座標を自然特徴点情報テーブル６００に登録する。その後、自然特徴点追跡部１３は、撮像部３によって所定の撮影周期ごとに生成される後続画像が得られる度に、得られた後続画像に対して自然特徴点を追跡し、自然特徴点情報テーブル６００における後続画像上の座標と追跡フラグを更新する。第１の画像内の自然特徴点に対応する自然特徴点が後続画像からも検出された場合、自然特徴点追跡部１３は、検出された特徴点の座標を後続画像上の座標に登録するとともに、対応する追跡フラグを"True"にする。一方、第１の画像内の自然特徴点に対応する自然特徴点が後続画像から検出されなかった場合、自然特徴点追跡部１３は、後続画像上の座標を空欄（例えば、null）にするとともに、対応する追跡フラグを"False"にする。
自然特徴点追跡部１３が、追跡された自然特徴点のうち、第１の画像から検出された自然特徴点に対応する第２の画像から検出された自然特徴点を対応付ける。そのため、自然特徴点追跡部１３は、初期マップ生成指示ボタンを押す等の操作がなされると、自然特徴点テーブルを参照し、自然特徴点ごとに、追跡フラグが"True"の最新の後続画像上の座標を読み込む。そして自然特徴点追跡部１３は、自然特徴点ごとの追跡フラグが"True"の最新の後続画像を第２の画像として、第１の画像から検出された自然特徴点に対応する第２の画像から検出された自然特徴点の第２の画像上の座標を対応付けて対応点情報テーブルに記憶する。例えば、図５の対応点情報テーブル５００の１行目〜３２８行目には、第１の画像から検出された自然特徴点の第１の画像上の座標と、第１の画像から検出された自然特徴点に対応する第２の画像から検出された自然特徴点の第２の画像上の座標が記憶されている。
三次元位置決定部１４は、第１の画像及び第２の画像上の各自然特徴点とマーカの四隅について、カメラ座標系の三次元座標を算出する。その際、三次元位置決定部１４は、異なる位置から同一の対象（各自然特徴点とマーカの四隅）を撮影した第１の画像及び第２の画像間における幾何学的関係を表すエピポーラ幾何をもとに、カメラ座標系での各自然特徴点とマーカの四隅の三次元座標を算出できる。三次元位置決定部１４は、第１の地点の撮像部３と第２の地点の撮像部３との間の基礎行列Ｆの算出、第１の地点の撮像部３と第２の地点の撮像部３との間の透視投影行列Pprの算出、自然特徴点とマーカの四隅について、三次元座標の算出という３つの処理を行う。
三次元位置決定部１４は、次のような手順で基礎行列Ｆを算出する。まず、三次元位置決定部１４は、三次元空間上の各自然特徴点とマーカの四隅を第１の地点の第１の画像及び第２の地点の第２の画像に投影したときの各画像上の座標を、それぞれ（u, v）（u', v'）とする。座標(u, v)と座標(u', v')は、次のエピポーラ拘束と呼ばれる式を満たす。
ここで、ｆ１１〜ｆ１３，ｆ２１〜ｆ２３，ｆ３１〜ｆ３３という９つの成分を含む３行３列の行列が、上記の基礎行列Ｆである。
基礎行列Ｆの成分は９個であるが、基礎行列Ｆには定数倍の不定性が存在するため、実質的な未知数は８個となる。そのため、三次元位置決定部１４は、第１の画像及び第２の画像間で最低８個の対応する点が得られれば、基礎行列Ｆを決定できる。三次元位置決定部１４は、第１の画像と第２の画像とから８個の自然特徴点又はマーカの四隅の各画像上の座標から、例えば、８点アルゴリズムと呼ばれる方法により、基礎行列Ｆを算出する。なお、８点アルゴリズムにより、基礎行列Ｆを算出する手法に関しては、例えば、Richard I. Hartley, 「In Defense of the Eight-Point Algorithm」, IEEE Transaction on Pattern Analysis and Machine Intelligence, Vol.19, No.6, pp.580-593, 1997年を参照されたい。
三次元位置決定部１４は、次のような手順で、第１の地点の撮像部３と第２の地点の撮像部３との間の透視投影行列Pprを算出する。まず、三次元位置決定部１４は、基礎行列Ｆと行列Ａとを用いて、第１の地点の撮像部３及び第２の地点の撮像部３間の基本行列Ｅを次式に従って算出する。
ここで、行列Ａは撮像部３の内部パラメータである。この内部パラメータは、予め求めることができる。なお、内部パラメータを求める手法に関しては、例えば、Zhengyou Zhang, 「A flexible new technique for camera calibration」, IEEE Transactions on Pattern Analysis and Machine Intellignece, Vol.22, No.11, pp.1330-1334, 2000年を参照されたい。
三次元位置決定部１４は、基本行列Ｅを、次式に従って特異値分解する。
三次元位置決定部１４は、得られた行列Uを用いて、カメラ座標系への回転移動成分を表すRrを次式に従って算出する。なお、Rrは、Rr1とRr2の２種類算出される。Rr1とRr2は、第１の地点の撮像部３と第２の地点の撮像部３の中心を結ぶ線に対して線対称の鏡像関係にある。
そして三次元位置決定部１４は、透視投影行列Ｐprを次式に従って４種類算出する。
なお、行列（Ｒx｜ｔ）は、３行３列の行列Ｒxと行列ｔとを結合した３行４列の行列を意味する。また、透視投影行列Ｐprが四種類あるのは、第１の地点の撮像部３と第２の地点の撮像部３の前方と後方の組合せ（前方及び前方、前方及び後方、後方及び前方、並びに後方及び後方）に鏡像解があるためである。
三次元位置決定部１４は、次のような手順で対応特徴点の三次元座標を算出する。
上記の透視投影行列Ｐprは、次式のようにｐ11〜ｐ14，ｐ21〜ｐ24，ｐ31〜ｐ34の成分で表される。
そして三次元位置決定部１４は、次式で表される三次元座標（Ｘ，Ｙ，Ｚ）に関する連立方程式の最小二乗解を、透視投影行列Ｐpr1〜Ｐpr4のそれぞれについて解く。
三次元位置決定部１４は、各自然特徴点及びマーカの四隅がともに撮像部３の前方にあるという条件を用い、上記で得られた四種類の解から最適な一つの解を算出する。三次元位置決定部１４は、このような計算を全ての各自然特徴点及びマーカの四隅について繰り返し、第１の画像及び第２の画像上の各自然特徴点及びマーカの四隅の三次元座標を算出する。そして三次元位置決定部１４は、第１の画像及び第２の画像上の各自然特徴点及びマーカの四隅の三次元座標を記憶部５に記憶する。なお、このような手順で得られた三次元座標は、第１の地点を基準とするカメラ座標系の三次元座標であり、第１の地点の撮像部３の位置が原点となる。ここでは、三次元位置決定部１４が、第１の画像及び第２の画像上の各自然特徴点及びマーカの四隅の三次元座標を算出する。しかしながら、三次元位置決定部１４は、第２の画像に代えて、自然特徴点追跡中のうちの任意の後続画像及び第１の画像から各自然特徴点の三次元座標を算出してもよい。
座標変換部１６は、カメラ座標系の三次元座標から世界座標系の三次元座標へ座標変換する。カメラ座標系の三次元座標(Xc,Yc,Zc)から、世界座標系における三次元座標(Xm,Ym,Zm)への座標変換は、例えば、次式に従って実行される。
ここで、sは、座標変換前と座標変換後のスケール変化を表す。Rは、３行３列の回転移動成分を表す行例である。Tは、平行移動成分を表す行列である。座標変換パラメータ決定部１５は、誤差が最小となるように座標変換パラメータを算出する。
図７は、座標変換の概要を示す図である。マーカの四隅を左上、右上、右下、左下の順に特徴点A,B,C,Dと呼ぶ。三次元位置決定部１４により、マーカの四隅に対応する各特徴点ABCDのカメラ座標系の三次元座標は算出されている。
ここで、座標変換部１６によってマーカの四隅の三次元座標をカメラ座標系から世界座標系に座標変換した場合、各特徴点ABCDのカメラ座標系の三次元座標が座標変換されるべき各特徴点A’B’C’D’の世界座標系の三次元座標は、既定の値となる。実空間に設定される世界座標系は、マーカの中心を原点としたため、特徴点A’B’C’D’の重心は世界座標系の原点に一致する。したがって、例えばマーカ１辺の実空間での大きさを例えば50mmとすると、各特徴点A’B’C’D’の座標は以下のとおりとなる。A’は例えば(-25mm, 25mm, 0mm)、B’は(25mm, 25mm, 0mm)、C’は(25mm, -25mm, 0mm)、D’は(-25mm, -25mm, 0mm)となる。そこで、座標変換パラメータ決定部１５は、カメラ座標系の各特徴点ABCDの三次元座標を世界座標系に変換後の三次元座標と、各特徴点A’B’C’D’の三次元座標との誤差の絶対値の和が最小となるような座標変換パラメータを算出する。そのため、座標変換パラメータ決定部１５は、前述の（９）式を用いて次式で表される評価値Eを最小にする座標変換パラメータを求める。
ここで、座標変換パラメータ決定部１５は、カメラ座標系でのマーカの四隅の特徴点ABCDの各座標をXi(1≦i≦4)とする。そして座標変換パラメータ決定部１５は、座標変換後に各特徴点ABCDのあるべき場所の特徴点A’B’C’D’の世界座標系での各座標をXi'(1≦i≦4)とする。また、評価値Eは、各特徴点ABCDのカメラ座標系の三次元座標を座標変換した世界座標系の三次元座標と、座標変換された各特徴点ABCDが本来存在すべき各特徴点A’B’C’D’の距離の和であるから、誤差の絶対値の和の大きさを表す。回転移動成分を表す行列Rmin及び平行移動成分を表すTminは、各特徴点ABCDの三次元座標をカメラ座標系から世界座標系に変換後の三次元座標と、各特徴点A’B’C’D’の三次元座標との誤差の絶対値の和が最小となる行列を表す。例えば、座標変換パラメータ決定部１５は、特異値分解に基づいて、その誤差の絶対値の和が最小となる、座標変換前と座標変換後のスケール変化を表すs、座標変換パラメータRmin及びTminを求める。
まず、座標変換パラメータ決定部１５は、特徴点ABCD, 特徴点A’B’C’D’のそれぞれの四点に関して重心ABCDG, A'B'C'D'Gを求める。そして座標変換パラメータ決定部１５は、特徴点ABCD, 特徴点A’B’C’D’の四点のそれぞれの三次元座標から重心ABCDG, A'B'C'D'Gを減算した三次元座標を改めてXi(1≦i≦4), Xi'(1≦i≦4)とする。そして座標変換パラメータ決定部１５は、共分散行列Cを次式に従って算出する。
ここで、共分散行列Cは(3行4列)×(4行3列)=(3行3列)行列となる。座標変換パラメータ決定部１５は、共分散行列Cを次式に従って特異値分解する。
座標変換パラメータ決定部１５は、回転移動成分を表す行列Rminを次式に従って求める。
ここで、det()は行列の行列式を求める関数である。座標変換パラメータ決定部１５は、座標変換前と座標変換後のスケール変化sを次式に従って求める。
なお、tr()は行列のトレースを求める関数である。座標変換パラメータ決定部１５は、平行移動成分を表す行列Tminを次式に従って求める。
回転移動成分を表す行例Rmin、スケール変化ｓ、及び平行移動成分を表す行列Tminが座標変換パラメータとなる。座標変換パラメータ決定部１５は、回転移動成分を表す行例Rmin、スケール変化ｓ、及び平行移動成分を表す行列Tminを含む座標変換パラメータを座標変換部１６に渡す。
座標変換部１６は、座標変換パラメータ決定部１５により求められた、Rmin, Tmin, sに基づいて、第１の画像及び第２の画像上の各自然特徴点及びマーカの四隅の三次元座標について、座標変換後の世界座標系の座標Xi''を次式に従って求める。
登録部１７は、求めた全ての自然特徴点とマーカの四隅の世界座標系の三次元座標を初期マップに記憶する。
図８は、初期マップの一例を示す図である。初期マップ８００の各行には、それぞれ、自然特徴点またはマーカの外周の四隅の何れかの世界座標系の三次元座標と、マーカ上の特徴点か自然特徴点かを表す種別フラグ（自然特徴点：f、マーカ：m）が記憶される。この例では、１行目〜３２８行目には、例えば、各自然特徴点の世界座標系の三次元座標などが記憶されている。また、３２９行目〜３３２行目には、マーカの四隅の世界座標系の三次元座標などが記憶されている。
自然特徴点ベース姿勢推定部１８は、初期マップ生成指示ボタンを押す等の操作がなされた直後から、カメラ座標系から世界座標系への座標変換パラメータ及び登録された初期マップに基づいて撮像部３の位置及び姿勢を推定する。そのために、自然特徴点ベース姿勢推定部１８は、例えば、座標変換パラメータ決定部１５によってカメラ座標系から世界座標系への座標変換パラメータを逆変換し、世界座標系からカメラ座標系への座標変換パラメータを初期値として求める。
ここで、(Xc,Yc,Zc)は、世界座標系における三次元座標(Xm,Ym,Zm)の点に対応するカメラ座標系の三次元座標を表す。また、行列Rは、回転移動成分を表し、行列Tは、平行移動成分を表す。
図９は、初期マップ生成指示ボタンを押す等の操作がなされた直後の自然特徴点ベースの姿勢推定処理の概念図である。カメラ座標系と、撮像部３により生成される画像上の座標系との関係は、透視変換モデルに従って次式に従って表される。
ここで、(xc,yc)は、カメラ座標系上の三次元座標(Xc,Yc,Zc)の点に対応する、画像上の座標を表す。自然特徴点ベース姿勢推定部１８は、前述の二つの（１７）式及び（１８）式に従って、初期マップに登録された各自然特徴点９０１を画像平面９００に投影して、各自然特徴点の世界座標系の座標に対応する画像平面９００上の投影点９０２の座標を求める。そして自然特徴点ベース姿勢推定部１８は、各自然特徴点について、投影点９０２と、画像から検出された、対応する自然特徴点９０３間の距離の二乗和を評価値として算出する。
自然特徴点ベース姿勢推定部１８は、例えば、最急降下法に従って、回転移動成分及び平行移動成分の各要素を修正しつつ、評価値を求める。そして自然特徴点ベース姿勢推定部１８は、評価値が最小となるときの回転移動成分及び平行移動成分に従って、撮像部３の位置及び姿勢の推定値を求める。
このように、本実施形態では、自然特徴点ベース姿勢推定部１８は、マーカの複数の特徴点に基づいて座標変換パラメータを算出する。その座標変換パラメータに応じた撮像部３の位置及び姿勢の初期値は、実際の撮像部３の位置及び姿勢に近い可能性が高い。そのため、自然特徴点ベース姿勢推定部１８は、位置及び姿勢を推定する際に評価値がローカルミニマムに陥らずに、評価値が最小値となる位置及び姿勢を求めることができる可能性が高い。したがって、自然特徴点ベース姿勢推定部１８は、撮像部３の位置及び姿勢の推定精度を向上できる。
図１０は、携帯端末１の制御部６により実行される、座標変換パラメータ決定処理の動作フローチャートである。制御部６は、ユーザにより初期マップ生成指示ボタンが操作される度に、下記の動作フローチャートに従って座標変換パラメータ決定処理を実行する。
マーカ検出部１１は、第１の画像及び第２の画像のそれぞれからマーカの四隅を検出し、第１の画像から検出されたマーカの四隅と第２の画像から検出されたマーカの四隅の座標を、対応付けて対応点情報テーブルに記憶する（ステップＳ１０１）。自然特徴点検出部１２は、第１の画像及び第２の画像のそれぞれから自然特徴点を検出する（ステップＳ１０２）。自然特徴点追跡部１３は、自然特徴点を追跡し、追跡された自然特徴点のうち、第１の画像から検出された自然特徴点に対応する第２の画像から検出された自然特徴点を対応付けて対応点情報テーブルに記憶する（ステップＳ１０３）。三次元位置決定部１４は、各自然特徴点とマーカの四隅のそれぞれについて、カメラ座標系の三次元座標を算出する（ステップＳ１０４）。座標変換パラメータ決定部１５は、マーカ四隅のカメラ座標系の三次元座標を、座標変換パラメータを用いて座標変換した世界座標系の三次元座標と実空間での三次元座標との誤差の絶対値の和が最小となるよう、座標変換パラメータを求める（ステップＳ１０５）。座標変換部１６は、座標変換パラメータを用いて、各自然特徴点及びマーカの四隅の三次元座標をカメラ座標系から世界座標系に座標変換した三次元座標を算出する。そして登録部１７は、各自然特徴点及びマーカの四隅の世界座標系の三次元座標を初期マップとして記憶部５に記憶する（ステップＳ１０６）。
以上に説明してきたように、この座標変換パラメータ決定装置は、カメラ座標系のマーカの四隅の三次元座標を座標変換した三次元座標と実空間の三次元座標との誤差の絶対値の和が最小となるように座標変換パラメータを算出する。そして座標変換パラメータ決定装置は、座標変換パラメータを用いて、各自然特徴点及びマーカの四隅のカメラ座標系の三次元座標から世界座標系の三次元座標に座標変換する。したがって、この座標変換パラメータ決定装置は、各自然特徴点及びマーカの四隅の三次元座標をカメラ座標系から世界座標系に座標変換する際に、座標変換精度を向上できる。
なお、三次元位置決定部１４によって算出された各自然特徴点及びマーカの複数の特徴点のカメラ座標系の三次元座標を座標変換した世界座標系の三次元座標と実空間の三次元座標との誤差が大きくなってしまう場合がある。これは、第１の地点及び第２の地点が十分に空間的に離れていない場合、若しくは自然特徴点が平面の場合に計算の過程で次元数が足りなくなるため発生する。そこで、変形例によれば、三次元座標歪み判定部が、三次元位置決定部１４によって算出されたマーカの複数の特徴点の三次元座標を結んだ形状が以下の所定の許容範囲を満たすか否か判定してもよい。三次元座標歪み判定部がマーカの複数の特徴点の三次元座標を結んだ形状が許容範囲を満たしていないと判定した場合、座標変換パラメータ決定部１５は、座標変換パラメータの算出を行わない。
図１１は、この変形例による、撮像部３の位置及び姿勢推定に関する制御部６１の機能ブロック図である。制御部６１は、マーカ検出部１１と、自然特徴点検出部１２と、自然特徴点追跡部１３と、三次元位置決定部１４と、座標変換パラメータ決定部１５と、座標変換部１６と、登録部１７と、自然特徴点ベース姿勢推定部１８と、三次元座標歪み判定部１９とを有する。この変形例による制御部６１は、上記の実施形態による制御部６と比較して、三次元座標歪み判定部１９を有する点で異なる。そこで以下では、三次元座標歪み判定部１９と、その関連部分について説明する。制御部６１が有するその他の構成要素の詳細については、上記の実施形態における対応する構成要素の説明を参照されたい。
図１２（ａ）は、マーカ１２００の右側に市松模様１２０１が設定される一例を示す図である。図１２（ｂ）は、初期マップに歪みがない場合の三次元座標を立体的に表示された一例を示す図である。図１２（ｃ）は、初期マップに歪みがある場合の三次元座標を立体的に表示された一例を示す図である。初期マップに歪みがない場合、図１２（ａ）の市松模様１２０１は、一定間隔で整列しているため、図１２（ｂ）のマーカの右側の市松模様から検出される自然特徴点も一定間隔で整列している。また、図１２（ｂ）において、三次元位置決定部１４によって算出されたカメラ座標系の三次元座標のマーカの四隅１２０２は、画像上のマーカの四隅とほぼ一致している。しかしながら、初期マップに歪みがある場合、図１２（ｃ）のマーカの右側の市松模様から検出される自然特徴点の列が歪んでいる。また、図１２（ｃ）において、三次元位置決定部１４によって算出された三次元座標のマーカの四隅１２０３は、画像上のマーカの四隅からずれてしまっている。
そこで、三次元座標歪み判定部１９は、マーカの四隅の三次元座標を結んだ形状が複数の特徴点を結んだ形状らしいか否か判定することにより、初期マップに歪みが生じているか否かを判定する。本変形例では、複数の特徴点はマーカの四隅であるから、複数の特徴点を結んだ形状は正方形である。例えば、三次元座標歪み判定部１９は、以下の三つの基準でマーカの四隅のカメラ座標系の三次元座標を結んで得られる形状が正方形らしいか否か判定する。三次元座標歪み判定部１９は、三つの基準が全て所定の許容範囲を満たしている場合のみ、マーカの四隅の三次元座標を結んだ形状が正方形らしいと判定し、座標変換パラメータ決定部１５が座標変換パラメータの算出を行う。
一方、三つの基準のうち一つでも所定の許容範囲を満たしていない場合、三次元座標歪み判定部１９は、マーカの四隅の三次元座標を結んだ形状が正方形ではないと判定し、三次元座標を結んだ形状が歪んでいる旨のエラー表示を行い、処理を終了する。この場合、座標変換パラメータ決定部１５は、座標変換パラメータの算出を行わない。なお、処理終了後、制御部６１は、再び第１の画像及び第２の画像を取得するようにユーザに促すメッセージをユーザインターフェース部に表示してもよい。以下にマーカの四隅の三次元座標を結んだ形状が正方形らしいか否か判定する三つの基準について説明する。
第１の基準により、三次元座標歪み判定部１９は、三次元位置決定部１４によって算出されたカメラ座標系のマーカの四隅の三次元座標を結んだ形状が正方形ではなくひし形か否か判定する。例えば、マーカの四隅の各角度と直角との差の二乗和平均が所定の許容範囲（例えば、１０度）以上である場合、三次元座標歪み判定部１９は、マーカの四隅の三次元座標を結んだ形状が正方形ではなくひし形と判定する。一方、マーカの四隅の各角度と直角との差の二乗和平均が所定の許容範囲（例えば、１０度）未満である場合、三次元座標歪み判定部１９は、マーカの四隅の三次元座標を結んだ形状が正方形らしいと判定する。
第２の基準により、三次元座標歪み判定部１９は、三次元位置決定部１４によって算出されたカメラ座標系のマーカの四隅の三次元座標を結んだ形状が正方形ではなく長方形か否か判定する。マーカの四隅の四角形の各辺の長さとマーカの四隅の正方形の実空間での既定の辺の長さMとの差の二乗和平均が所定の許容範囲（例えば、M×0.2=1mm）以上である場合、三次元座標歪み判定部１９は、マーカの四隅の三次元座標を結んだ形状が正方形と判定する。なお、マーカの四隅の正方形の実空間での既定の辺の長さMは、例えば、50mmとする。一方、マーカの四隅の四角形の各辺の長さとマーカの四隅の正方形の実空間での既定の辺の長さMとの差の二乗和平均が所定の許容範囲未満である場合、三次元座標歪み判定部１９は、マーカの四隅の三次元座標を結んだ形状が正方形らしいと判定する。
第３の基準により、三次元座標歪み判定部１９は、三次元位置決定部１４によって算出されたカメラ座標系のマーカの四隅の三次元座標を結んだ形状が歪んでいるか否か判定する。例えば、マーカの四隅のうちの任意の三点からなる平面と残りの一点との距離が所定の許容範囲（例えば、M×0.2mm=1mm）以上である場合、三次元座標歪み判定部１９は、マーカの四隅の三次元座標を結んだ形状が平面の正方形ではなく歪んでいると判定する。一方、マーカの四隅のうちの任意の三点からなる平面と残りの一点との距離が所定の許容範囲（例えば、M×0.2=1mm）未満である場合、三次元座標歪み判定部１９は、マーカの四隅の三次元座標を結んだ形状が歪んでいない平面の正方形らしいと判定する。
以上説明してきたように、三次元座標歪み判定部１９が、マーカの四隅のカメラ座標系の三次元座標を結んだ形状が正方形ではないと判定した場合、座標変換パラメータの算出を行わず、処理を終了するため、演算量は軽減される。
また、上記の通り、三次元位置決定部１４により算出されたマーカの複数の特徴点のカメラ座標系の三次元座標を結んだ形状が実空間でのマーカの複数の特徴点を結んで得られる形状と判定された場合でも、所定の許容範囲を超えない範囲で誤差は存在する。より正確な座標変換パラメータを算出するためには、マーカ座標補正部がカメラ座標系のマーカの複数の特徴点を結んだ形状を実空間でのマーカの複数の特徴点を結んで得られる形状にできるだけ近づけておくことが好ましい。そこで、他の変形例によれば、マーカ座標補正部が三次元位置決定部１４により算出されたマーカの複数の特徴点のカメラ座標系の三次元座標を結んだ形状を実空間でのマーカの複数の特徴点を結んで得られる形状と一致するように補正してもよい。
図１３は、他の変形例による、撮像部３の位置及び姿勢推定に関する制御部６２の機能ブロック図である。制御部６２は、マーカ検出部１１と、自然特徴点検出部１２と、自然特徴点追跡部１３と、三次元位置決定部１４と、座標変換パラメータ決定部１５と、座標変換部１６と、登録部１７と、自然特徴点ベース姿勢推定部１８とを有する。さらに制御部６２は、三次元座標歪み判定部１９と、マーカ座標補正部２０とを有する。他の変形例による制御部６２は、上記の変形例による制御部６１と比較して、マーカ座標補正部２０を有する点で異なる。そこで以下では、マーカ座標補正部２０と、その関連部分について説明する。制御部６２が有するその他の構成要素の詳細については、上記の実施形態及び変形例における対応する構成要素の説明を参照されたい。
マーカ座標補正部２０は、本実施形態では、マーカは正方形であり、複数の特徴点はマーカの四隅であるため、マーカの四隅のカメラ座標系の三次元座標が形成する四つの特徴点のうち、固定する複数の特徴点の組を、組み合わせを変えながら四つ作成する。マーカ座標補正部２０は、固定する複数の特徴点の組のそれぞれごとに、マーカの複数の特徴点のそれぞれのカメラ座標系の三次元座標を結んだ形状が実空間でのマーカの複数の特徴点を結んだ形状となるよう、固定する複数の特徴点以外の特徴点の位置を補正する。
図１４は、マーカの四隅の三次元座標の補正の概要図である。マーカ座標補正部２０は、マーカの四隅を各特徴点A,B,C,Dとし、特徴点A,Bを固定する複数の特徴点とし、特徴点C,Dを固定する特徴点以外の補正対象の二つの特徴点とする。そしてマーカ座標補正部２０は、固定する特徴点A,Bを補正せず、固定する特徴点以外の特徴点C,Dを補正して、四つの特徴点のカメラ座標系の三次元座標を結んだ形状を正方形にする。そのため、マーカ座標補正部２０は、特徴点C,Dを、線分ABを中心とする半径|AB|の円柱の円周１４００上の特徴点P,Qに補正すべきである。マーカ座標補正部２０は、特徴点Cから線分ABを中心とする円柱の円周１４０１上に垂線CHを下ろし、線分BHと円周１４００との交点を特徴点Pとする。マーカ座標補正部２０は、特徴点PからベクトルBAと平行にベクトルBAの長さだけ移動した点を特徴点Qとする。二重線CP及び二重線DQの長さは、それぞれ、補正前の特徴点の三次元座標と補正後の特徴点の三次元座標とのずれの距離を示す。したがって、二重線CP及び二重線DQの長さをそれぞれ算出するために、マーカ座標補正部２０は、垂線CHの長さを次式に従って算出する。
マーカ座標補正部２０は、二重線CPの長さを次式に従って算出する。
マーカ座標補正部２０は、二重線DQの長さを次式に従って算出する。
ここで、Oは座標変換前の世界座標の原点とし、||はベクトルの距離を意味する。マーカ座標補正部２０は、二重線CPと二重線DQの長さの和を、補正前の二つの特徴点の三次元座標と補正後の残りの二つの特徴点の三次元座標との距離の和として算出する。
マーカ座標補正部２０は他の三つの組について、マーカの四隅の三次元座標を結んだ形状が正方形となるように、マーカの四隅のうちの固定する複数の特徴点以外の補正対象の二つの特徴点を補正する。そしてマーカ座標補正部２０は他の三つの組について、補正前の二つの特徴点の三次元座標と補正後の二つの特徴点の三次元座標との距離の和を算出する。マーカ座標補正部２０は、マーカの四隅の三次元座標を結んだ形状が正方形となるように、補正前の二つの特徴点の三次元座標と補正後の二つの特徴点の三次元座標との距離の和が最小となる組に含まれる固定する二つの特徴点以外の特徴点を補正する。例えば、マーカ座標補正部２０は、補正後の二つの特徴点P,Qを次式に従って求める。
マーカ座標補正部２０は、補正前の二つの特徴点と補正後の二つの特徴点の三次元座標の距離の和が最小となる組に含まれる固定する二つの特徴点と、補正後の二つの特徴点の三次元座標を座標変換パラメータ決定部１５に渡す。座標変換パラメータ決定部１５は、固定する二つの特徴点と、補正後の二つの特徴点のカメラ座標系の三次元座標を用いて、三次元座標変換パラメータを算出する。
以上に説明してきたように、マーカ座標補正部２０は、補正前後の二つの特徴点の三次元座標との距離の和が最小となる組に含まれる固定する二つの特徴点以外の二つの特徴点のマーカの四隅の三次元座標を結んだ形状が正方形となるように補正する。座標変換パラメータ決定部１５は、補正されたマーカの複数の特徴点のカメラ座標系の三次元座標を用いて、三次元座標変換パラメータを算出する。これにより、座標変換部１６は、特徴点の三次元座標をカメラ座標系と世界座標系との間で座標変換の座標変換精度を向上できる。
また固定する複数の特徴点以外の補正対象の二つの特徴点をマーカの複数の特徴点の三次元座標を結んだ形状が実空間でのマーカの複数の特徴点を結んで得られる形状となるよう補正した場合でも、座標変換後に本来あるべき位置に座標変換されているとは限らない。すなわち、三次元位置決定部１４により算出されたマーカの複数の特徴点のカメラ座標系の三次元座標を結んだ形状が三次元的に歪んでいる場合がある。この場合、マーカ座標補正部２０がマーカの複数の特徴点の三次元座標を結んだ形状が実空間でのマーカの複数の特徴点を結んで得られる形状となるよう、固定する複数の特徴点以外の二つの特徴点を補正した場合でも、座標変換結果に誤差が生じる可能性がある。そこで、さらに他の変形例によれば、座標変換パラメータ再推定判定部が、多大な誤差がある場合に、座標変換が失敗と判定し、固定する複数の特徴点の組の残りの他の三つについて、座標変換パラメータを再度推定してもよい。
図１５は、さらに他の変形例による、撮像部３の位置及び姿勢推定に関する制御部６３の機能ブロック図である。制御部６３は、マーカ検出部１１と、自然特徴点検出部１２と、自然特徴点追跡部１３と、三次元位置決定部１４と、座標変換パラメータ決定部１５と、座標変換部１６と、登録部１７と、自然特徴点ベース姿勢推定部１８とを有する。さらに、制御部６３は、三次元座標歪み判定部１９と、マーカ座標補正部２０と、座標変換パラメータ再推定判定部２１とを有する。この変形例による制御部６３は、上記の他の変形例による制御部６２と比較して、座標変換パラメータ再推定判定部２１を有する点で異なる。そこで以下では、座標変換パラメータ再推定判定部２１と、その関連部分について説明する。制御部６３が有するその他の構成要素の詳細については、上記の実施形態、変形例及び他の変形例における対応する構成要素の説明を参照されたい。
座標変換パラメータ再推定判定部２１は、本実施形態ではマーカは正方形であり複数の特徴点はマーカの四隅であるため、座標変換部１６により世界座標系の三次元座標に座標変換されたマーカの四隅の重心とマーカの四隅の世界座標系の重心との距離Dを算出する。距離Dが多大な誤差であることを表す所定の許容範囲（例えば、M×5=250mm）未満であると、座標変換パラメータ再推定判定部２１は、座標変換が成功であると判定する。
一方、距離Dが多大な誤差であることを表す所定の許容範囲（例えば、M×5=250mm）以上であると、座標変換パラメータ再推定判定部２１は、座標変換が失敗であると判定する。そうすると、マーカ座標補正部２０は、固定する複数の特徴点の組の残りの他の三つ、それぞれごとに、マーカの四隅の三次元座標を結んだ形状が正方形となるように、固定する複数の特徴点以外の補正対象の二つの特徴点の位置を補正する。座標変換パラメータ決定部１５は、固定する複数の特徴点の組の残りの他の三つそれぞれごとに、固定する二つの特徴点と補正後の複数の特徴点の三次元座標に基づいて座標変換パラメータの候補を算出する。座標変換部１６は、固定する複数の特徴点の組の残りの他の三つ、それぞれごとに、求めた座標変換パラメータの候補を用いて、マーカの四隅のカメラ座標系の三次元座標を世界座標系の三次元座標に座標変換する。座標変換パラメータ再推定判定部２１は、固定する複数の特徴点の残りの他の三つそれぞれごとに、世界座標系の三次元座標に座標変換されたマーカの四隅の重心とマーカの世界座標系の重心との距離Dを算出する。
座標変換パラメータ再推定判定部２１は、以上の処理をマーカの四隅のうち固定する複数の特徴点の組の残りの他の三つに対してそれぞれ実行する。そして座標変換パラメータ再推定判定部２１は、距離Dが最小となるときの固定する複数の特徴点の組の座標変換パラメータの候補を座標変換パラメータとして求める。座標変換パラメータ再推定判定部２１は、求められた座標変換パラメータを座標変換部１６に渡す。
以上説明してきたように、座標変換パラメータ再推定判定部２１は、固定する複数の特徴点の組の残りの他の三つのうち、最終的な座標変換結果の誤差が最小となる固定する複数の特徴点の組の場合の座標変換パラメータを求める。そのため、座標変換部１６は、特徴点の三次元座標をカメラ座標系から世界座標系に座標変換する際に、座標変換精度を向上できる。
さらに、他の変形例によれば、三次元位置決定部１４は、第２の地点を基準としてカメラ座標系の三次元座標を算出してもよい。この場合、三次元位置決定部１４は前述の（２）式において各自然特徴点とマーカの四隅の第２の画像上の座標を(u, v)とし、各自然特徴点とマーカの四隅の第１の画像上の座標を(u', v')として、各自然特徴点とマーカの四隅のカメラ座標系の三次元座標を求める。この場合、カメラ座標系の三次元座標は、第２の地点の撮像部３の位置が原点となる。
上記の実施形態または変形例による座標変換パラメータ決定装置の制御部が有する各機能をコンピュータに実現させるコンピュータプログラムは、コンピュータによって読取り可能な媒体、例えば、磁気記録媒体、光記録媒体、または半導体メモリに記憶された形で提供されてもよい。
ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。
１ 携帯端末（座標変換パラメータ決定装置）
２ ユーザインターフェース部
３ 撮像部
４ 記憶媒体アクセス装置
５ 記憶部
６ 制御部
７ 筐体
１１ マーカ検出部
１２ 自然特徴点検出部
１３ 自然特徴点追跡部
１４ 三次元位置決定部
１５ 座標変換パラメータ決定部
１６ 座標変換部
１７ 登録部
１８ 自然特徴点ベース姿勢推定部
１９ 三次元座標歪み判定部
２０ マーカ座標補正部
２１ 座標変換パラメータ再推定判定部

Claims (8)

  1. 予め設置され、位置及び形状が既知のマーカを第１の地点において撮影した第１の画像と、前記第１の地点とは異なる第２の地点において前記マーカを撮影した第２の画像とを生成する撮像部と、
    前記第１の画像及び前記第２の画像のそれぞれから前記マーカの複数の特徴点を検出するマーカ検出部と、
    前記マーカの前記複数の特徴点のそれぞれについて、当該特徴点についての前記第１の画像上の位置と前記第２の画像上の位置とから前記第１の地点を基準とするカメラ座標系の三次元座標を算出する三次元位置決定部と、
    前記マーカの前記複数の特徴点のそれぞれの前記カメラ座標系の三次元座標を、座標変換パラメータを用いて座標変換して得られる世界座標系の三次元座標と、実空間での前記マーカの前記複数の特徴点のうちの対応する特徴点の世界座標系での三次元座標との誤差の絶対値の和が最小となるように、前記座標変換パラメータを算出する座標変換パラメータ決定部と、
    を有する座標変換パラメータ決定装置。
  2. 前記第１の画像とは異なる第３の画像と、前記第１の画像とのそれぞれから前記マーカ以外の複数の特徴点を検出する自然特徴点検出部と、
    前記マーカ以外の前記複数の特徴点のそれぞれについて、当該特徴点についての前記第１の画像上の位置と前記第３の画像上の位置とから前記第１の地点を基準として算出されたカメラ座標系の三次元座標を、前記座標変換パラメータに応じて前記世界座標系の三次元座標に座標変換する座標変換部と、
    前記マーカ以外の前記複数の特徴点の前記世界座標系の三次元座標を記憶部に記憶する登録部と、
    をさらに有する、請求項１に記載の座標変換パラメータ決定装置。
  3. 前記マーカの前記複数の特徴点のうち、固定する複数の特徴点の組を、組み合わせを変えながら複数作成し、
    前記固定する複数の特徴点の組のそれぞれごとに、前記マーカの前記複数の特徴点のそれぞれの前記カメラ座標系の三次元座標を結んだ形状が実空間での前記マーカの前記複数の特徴点を結んで得られる形状となるように、前記マーカの前記複数の特徴点のうちの前記固定する複数の特徴点以外の特徴点の位置を補正したときに、当該固定する複数の特徴点以外の特徴点についての補正前後のカメラ座標系での三次元座標の距離の和が最小となるように前記マーカの前記複数の特徴点のカメラ座標系の三次元座標を補正するマーカ座標補正部をさらに有し、
    前記座標変換パラメータ決定部は、補正された前記マーカの前記複数の特徴点のカメラ座標系の三次元座標を用いて、前記座標変換パラメータを算出する、請求項１に記載の座標変換パラメータ決定装置。
  4. 前記マーカの前記複数の特徴点のうち、固定する複数の特徴点の組を、組み合わせを変えながら複数作成し、
    前記固定する複数の特徴点の組のそれぞれごとに、前記マーカの前記複数の特徴点のそれぞれの前記カメラ座標系の三次元座標を結んだ形状が実空間での前記マーカの前記複数の特徴点を結んで得られる形状となるように、前記マーカの前記複数の特徴点のうちの前記固定する複数の特徴点以外の特徴点の位置を補正することで、前記マーカの前記複数の特徴点のカメラ座標系の三次元座標を補正するマーカ座標補正部と、
    前記固定する複数の特徴点の組のそれぞれごとに、補正された前記マーカの前記複数の特徴点のカメラ座標系の三次元座標を用いて算出された前記座標変換パラメータの候補
    のうち、当該座標変換パラメータの候補に応じて、当該組について補正された前記マーカの前記複数の特徴点の前記カメラ座標系の三次元座標を前記世界座標系の三次元座標に座標変換して得られた前記複数の特徴点の重心と前記マーカの前記複数の特徴点の世界座標系の重心との距離が最小となるときの座標変換パラメータの候補を前記座標変換パラメータとする座標変換パラメータ再推定部と、
    をさらに有する、請求項１に記載の座標変換パラメータ決定装置。
  5. 前記座標変換パラメータ再推定部は、前記固定する複数の特徴点の組のうち、補正前後のカメラ座標系での三次元座標の距離の和が最小となる組について算出された前記座標変換パラメータの候補に応じて、当該組について補正された前記マーカの前記複数の特徴点の前記カメラ座標系の三次元座標を前記世界座標系の三次元座標に座標変換して得られた前記複数の特徴点の重心と前記マーカの前記複数の特徴点の世界座標系の重心との距離が所定の許容範囲未満である場合、当該組についての前記座標変換パラメータの候補を前記座標変換パラメータとする、請求項４に記載の座標変換パラメータ決定装置。
  6. 前記マーカは、正方形であり、
    前記マーカの前記複数の特徴点は、前記マーカの四隅である、請求項１〜５の何れか一項に記載の座標変換パラメータ決定装置。
  7. 予め設置され、位置及び形状が既知のマーカを第１の地点において撮影した第１の画像と、前記第１の地点とは異なる第２の地点において前記マーカを撮影した第２の画像とを生成し、
    前記第１の画像及び前記第２の画像のそれぞれから前記マーカの複数の特徴点を検出し、
    前記マーカの前記複数の特徴点のそれぞれについて、当該特徴点についての前記第１の画像上の位置と前記第２の画像上の位置とから前記第１の地点を基準とするカメラ座標系の三次元座標を算出し、
    前記マーカの前記複数の特徴点のそれぞれの前記カメラ座標系の三次元座標を、座標変換パラメータを用いて座標変換して得られる世界座標系の三次元座標と、実空間での前記マーカの前記複数の特徴点のうちの対応する特徴点の世界座標系での三次元座標との誤差の絶対値の和が最小となるように、前記座標変換パラメータを算出する、
    ことを含む座標変換パラメータ決定方法。
  8. 予め設置され、位置及び形状が既知のマーカを第１の地点において撮影した第１の画像と、前記第１の地点とは異なる第２の地点において前記マーカを撮影した第２の画像とを生成し、
    前記第１の画像及び前記第２の画像のそれぞれから前記マーカの複数の特徴点を検出し、
    前記マーカの前記複数の特徴点のそれぞれについて、当該特徴点についての前記第１の画像上の位置と前記第２の画像上の位置とから前記第１の地点を基準とするカメラ座標系の三次元座標を算出し、
    前記マーカの前記複数の特徴点のそれぞれの前記カメラ座標系の三次元座標を、座標変換パラメータを用いて座標変換して得られる世界座標系の三次元座標と、実空間での前記マーカの前記複数の特徴点のうちの対応する特徴点の世界座標系での三次元座標との誤差の絶対値の和が最小となるように、前記座標変換パラメータを算出する、
    ことをコンピュータに実行させるための座標変換パラメータ決定用コンピュータプログラム。
JP2015047453A 2015-03-10 2015-03-10 座標変換パラメータ決定装置、座標変換パラメータ決定方法及び座標変換パラメータ決定用コンピュータプログラム Expired - Fee Related JP6507730B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015047453A JP6507730B2 (ja) 2015-03-10 2015-03-10 座標変換パラメータ決定装置、座標変換パラメータ決定方法及び座標変換パラメータ決定用コンピュータプログラム
US15/053,670 US10147192B2 (en) 2015-03-10 2016-02-25 Coordinate-conversion-parameter determination apparatus, coordinate-conversion-parameter determination method, and non-transitory computer readable recording medium having therein program for coordinate-conversion-parameter determination
EP16157310.0A EP3067861B1 (en) 2015-03-10 2016-02-25 Determination of a coordinate conversion parameter

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015047453A JP6507730B2 (ja) 2015-03-10 2015-03-10 座標変換パラメータ決定装置、座標変換パラメータ決定方法及び座標変換パラメータ決定用コンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2016167229A true JP2016167229A (ja) 2016-09-15
JP6507730B2 JP6507730B2 (ja) 2019-05-08

Family

ID=55650037

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015047453A Expired - Fee Related JP6507730B2 (ja) 2015-03-10 2015-03-10 座標変換パラメータ決定装置、座標変換パラメータ決定方法及び座標変換パラメータ決定用コンピュータプログラム

Country Status (3)

Country Link
US (1) US10147192B2 (ja)
EP (1) EP3067861B1 (ja)
JP (1) JP6507730B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107966155A (zh) * 2017-12-25 2018-04-27 北京地平线信息技术有限公司 对象定位方法、对象定位系统和电子设备
JP2019217625A (ja) * 2018-06-15 2019-12-26 广州大学 軸類パーツの加工装置

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2551970B (en) * 2016-06-29 2021-10-27 Sony Europe Bv Determining the position of an object in a scene
JP2018005091A (ja) * 2016-07-06 2018-01-11 富士通株式会社 表示制御プログラム、表示制御方法および表示制御装置
US10922836B2 (en) * 2016-11-15 2021-02-16 Carl Zeiss Industrielle Messtechnik Gmbh Method and system for determining a 3D position of an object in space
US10489651B2 (en) * 2017-04-14 2019-11-26 Microsoft Technology Licensing, Llc Identifying a position of a marker in an environment
CN107678440A (zh) * 2017-11-16 2018-02-09 苏州艾吉威机器人有限公司 一种辅助定位构件，包含其的自律移动装置及定位方法
CN108062776B (zh) * 2018-01-03 2019-05-24 百度在线网络技术（北京）有限公司 相机姿态跟踪方法和装置
CN108416810A (zh) * 2018-02-05 2018-08-17 北京邦天信息技术有限公司 相机标定中相机坐标系到世界坐标系的转换方法和装置
CN108734744B (zh) * 2018-04-28 2022-02-18 国网山西省电力公司电力科学研究院 一种基于全站仪的远距离大视场双目标定方法
CN110555358B (zh) * 2018-06-01 2023-09-12 苹果公司 用于检测和识别ar/vr场景中的特征部的方法和设备
CN109285190B (zh) * 2018-09-06 2021-06-04 广东天机工业智能系统有限公司 对象定位方法、装置、电子设备和存储介质
CN110248148B (zh) 2018-09-25 2022-04-15 浙江大华技术股份有限公司 一种确定定位参数的方法及装置
US11215462B2 (en) * 2018-10-26 2022-01-04 Here Global B.V. Method, apparatus, and system for location correction based on feature point correspondence
DE102018219602A1 (de) * 2018-11-15 2020-05-20 Robert Bosch Gmbh Verfahren zum Erkennen von Kartenfehlern
CN111508027B (zh) * 2019-01-31 2023-10-20 杭州海康威视数字技术股份有限公司 摄像机外参标定的方法和装置
US11380011B2 (en) * 2019-04-23 2022-07-05 Kreatar, Llc Marker-based positioning of simulated reality
CN110148185B (zh) * 2019-05-22 2022-04-15 北京百度网讯科技有限公司 确定成像设备坐标系转换参数的方法、装置和电子设备
JP2020197497A (ja) * 2019-06-05 2020-12-10 株式会社ソニー・インタラクティブエンタテインメント 三次元計測装置、三次元計測方法およびプログラム
CN111380502B (zh) * 2020-03-13 2022-05-24 商汤集团有限公司 标定方法、位置确定方法、装置、电子设备及存储介质
CN111833396B (zh) * 2020-06-05 2024-03-29 哈工大机器人(中山)无人装备与人工智能研究院 一种采血装置相机坐标系到世界坐标系的转换方法及系统
CN111681285B (zh) * 2020-06-09 2024-04-16 商汤集团有限公司 一种标定方法、装置、电子设备及存储介质
CN111652946A (zh) * 2020-06-17 2020-09-11 Oppo广东移动通信有限公司 显示标定方法及装置、设备、存储介质
CN112556614B (zh) * 2020-09-30 2023-06-27 深圳中科飞测科技股份有限公司 转换关系的获取方法、测量方法及测量系统
US11657568B2 (en) * 2021-04-30 2023-05-23 Verizon Patent And Licensing Inc. Methods and systems for augmented reality tracking based on volumetric feature descriptor data
CN113506337B (zh) * 2021-05-17 2024-04-16 南京理工大学 一种基于EPnP的双目相机位姿估计方法
CN113781575B (zh) * 2021-08-09 2024-01-12 上海奥视达智能科技有限公司 一种相机参数的标定方法、装置、终端和存储介质
CN115880415A (zh) * 2021-09-28 2023-03-31 中国电子科技集团公司第三十八研究所 三维重建方法、装置、电子设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013127783A (ja) * 2011-12-12 2013-06-27 Canon Inc 並列追跡及びマッピングのためのキーフレーム選択

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003036384A2 (en) * 2001-10-22 2003-05-01 University Of Southern Extendable tracking by line auto-calibration
JP2005031044A (ja) 2003-07-11 2005-02-03 Olympus Corp 三次元誤差測定装置
US7565029B2 (en) * 2005-07-08 2009-07-21 Seiko Epson Corporation Method for determining camera position from two-dimensional images that form a panorama
JP4926817B2 (ja) * 2006-08-11 2012-05-09 キヤノン株式会社 指標配置情報計測装置および方法
JP5285619B2 (ja) * 2006-12-18 2013-09-11 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ カメラシステムのキャリブレーション
CN100580370C (zh) * 2007-05-30 2010-01-13 北京航空航天大学 基于双面靶标的流动式三维视觉测量拼接方法
US20090296980A1 (en) * 2008-06-02 2009-12-03 Steven Yi System and Method for Producing a Geometric Model of the Auditory Canal
US20100045701A1 (en) * 2008-08-22 2010-02-25 Cybernet Systems Corporation Automatic mapping of augmented reality fiducials
WO2011139734A2 (en) * 2010-04-27 2011-11-10 Sanjay Nichani Method for moving object detection using an image sensor and structured light
CN101975588B (zh) * 2010-08-20 2012-07-11 北京航空航天大学 一种多传感器视觉测量系统的刚性杆全局校准方法及装置
CN103635935B (zh) * 2011-03-18 2016-10-12 苹果公司 3d街道
US8810640B2 (en) * 2011-05-16 2014-08-19 Ut-Battelle, Llc Intrinsic feature-based pose measurement for imaging motion compensation
US9392992B2 (en) * 2012-02-28 2016-07-19 Siemens Medical Solutions Usa, Inc. High intensity focused ultrasound registration with imaging
WO2014002849A1 (ja) * 2012-06-29 2014-01-03 富士フイルム株式会社 ３次元測定方法、装置及びシステム、並びに画像処理装置
JP5988368B2 (ja) 2012-09-28 2016-09-07 Kddi株式会社 画像処理装置及び方法
JP5878454B2 (ja) 2012-11-05 2016-03-08 日本電信電話株式会社 推定装置、推定方法及びコンピュータプログラム
US9704232B2 (en) * 2014-03-18 2017-07-11 Arizona Board of Regents of behalf of Arizona State University Stereo vision measurement system and method
US9641830B2 (en) * 2014-04-08 2017-05-02 Lucasfilm Entertainment Company Ltd. Automated camera calibration methods and systems

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013127783A (ja) * 2011-12-12 2013-06-27 Canon Inc 並列追跡及びマッピングのためのキーフレーム選択

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HIROKAZU KATO ET AL.: "Marker Tracking and HMD Calibration for a Video-based Augmented Reality Conferencing System", PROCEEDINGS 2ND IEEE AND ACM INTERNATIONAL WORKSHOP ON AUGMENTED REALITY, JPN6018049535, 20 October 1999 (1999-10-20), US, pages 85 - 94 *
RUI YU ET AL.: "Real-Time Camera Pose Estimation Based on Multiple Planar Markers", 2009 FIFTH INTERNATIONAL CONFERENCE ON IMAGE AND GRAPHICS, JPN6018049533, 20 September 2009 (2009-09-20), US, pages 640 - 645, XP031652834 *
一刈 良介、外５名: ""マーカレス・カメラ・トラッキングを強化するリハーサル・パス法とその実世界運用"", 日本バーチャルリアリティ学会論文誌, vol. 17, no. 3, JPN6018049532, 30 September 2012 (2012-09-30), JP, pages 241 - 252 *
佐藤 智和、外２名: ""複数動画像からの全方位型マルチカメラシステムの位置・姿勢パラメータの推定"", 電子情報通信学会論文誌, vol. Vol.J88-D-II, No.2, JPN6018049530, 1 February 2005 (2005-02-01), JP, pages 347 - 357 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107966155A (zh) * 2017-12-25 2018-04-27 北京地平线信息技术有限公司 对象定位方法、对象定位系统和电子设备
JP2019217625A (ja) * 2018-06-15 2019-12-26 广州大学 軸類パーツの加工装置

Also Published As

Publication number Publication date
EP3067861A3 (en) 2016-10-12
EP3067861B1 (en) 2019-01-09
US20160267661A1 (en) 2016-09-15
US10147192B2 (en) 2018-12-04
EP3067861A2 (en) 2016-09-14
JP6507730B2 (ja) 2019-05-08

Similar Documents

Publication Publication Date Title
JP6507730B2 (ja) 座標変換パラメータ決定装置、座標変換パラメータ決定方法及び座標変換パラメータ決定用コンピュータプログラム
US10964049B2 (en) Method and device for determining pose of camera
JP6237326B2 (ja) 姿勢推定装置、姿勢推定方法及び姿勢推定用コンピュータプログラム
Wöhler 3D computer vision: efficient methods and applications
JP6464934B2 (ja) カメラ姿勢推定装置、カメラ姿勢推定方法およびカメラ姿勢推定プログラム
JP3735344B2 (ja) キャリブレーション装置、キャリブレーション方法、及びキャリブレーション用プログラム
JP5122948B2 (ja) タッチ面に対応するポインタを検出するための装置及び方法
JP6338021B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP6503906B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP6067175B2 (ja) 位置測定装置及び位置測定方法
WO2006082825A1 (ja) 指標配置計測方法、位置姿勢推定方法、指標配置計測装置、位置姿勢推定装置
JP2002024807A (ja) 物体運動追跡手法及び記録媒体
JP2017146938A (ja) 書籍検出装置、書籍検出方法及び書籍検出用コンピュータプログラム
CN110490943B (zh) 4d全息捕捉系统的快速精确标定方法、系统及存储介质
CN110926330A (zh) 图像处理装置和图像处理方法
CN109613974B (zh) 一种大场景下的ar家居体验方法
CN112184811A (zh) 单目空间结构光系统结构校准方法及装置
JP2019020778A (ja) 情報処理装置、情報処理方法
JP2008309595A (ja) オブジェクト認識装置及びそれに用いられるプログラム
CN111784775A (zh) 一种标识辅助的视觉惯性增强现实注册方法
McIlroy et al. Kinectrack: 3d pose estimation using a projected dense dot pattern
JP5988364B2 (ja) 画像処理装置及び方法
CN112070844A (zh) 结构光系统的校准方法及装置、校准工具图、设备及介质
JP6486083B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN114511637A (zh) 一种基于构造强特征的弱特征物体图像三维重建系统及方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180115

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190305

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190318

R150 Certificate of patent or registration of utility model

Ref document number: 6507730

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees