JP2014095553A - カメラポーズ推定装置、及びカメラポーズ推定プログラム - Google Patents
カメラポーズ推定装置、及びカメラポーズ推定プログラム Download PDFInfo
- Publication number
- JP2014095553A JP2014095553A JP2012245319A JP2012245319A JP2014095553A JP 2014095553 A JP2014095553 A JP 2014095553A JP 2012245319 A JP2012245319 A JP 2012245319A JP 2012245319 A JP2012245319 A JP 2012245319A JP 2014095553 A JP2014095553 A JP 2014095553A
- Authority
- JP
- Japan
- Prior art keywords
- template
- camera pose
- camera
- feature point
- feature points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】カメラポーズ推定装置は、一連の画像データにおける特徴点の変化を追跡し、ワールド座標系における特徴点の三次元座標及びカメラポーズを取得する三次元座標・カメラポーズ取得部と、被写体の一部分を含む複数のテンプレート画像と類似する領域を画像データにおいて検出するテンプレート検出部と、検出された領域内に含まれる特徴点を抽出する特徴点抽出部と、抽出された特徴点のうち外れ値を除去し、除去されなかった特徴点に基づいてテンプレート画像の三次元位置を推定するテンプレート位置推定部と、テンプレート位置推定部が推定した三次元位置に基づいてワールド座標系から被写体を基準にした被写体座標系への変換行列を推定し、該変換行列に基づいて画像データを取得したカメラの被写体に対するカメラポーズを推定するカメラポーズ推定部とを備える。
【選択図】図1
Description
カメラで撮影された動画像から各フレームにおいて特徴的な点(以下、特徴点という。)を追跡することで、カメラの三次元空間中の位置及び姿勢と、特徴点の三次元位置とを同時に算出するvSLAM(visual Simultaneous Localization and Mapping)という方法が検討されている(例えば、非特許文献1)。
画像入力部11は、各時刻に撮影された画像データを取得する。例えば、画像入力部11には、デジタルカメラやビデオカメラ等の画像センサを有する撮像装置が用いられる。なお、画像入力部11は、映像データを構成する一連の画像データを取得できればよく、予め撮影された映像データを取得する装置などであってもよい。
特徴点三次元座標記憶部13は、三次元座標・カメラポーズ取得部12が取得した特徴点の三次元座標を記憶する。
カメラポーズ推定処理が開始されると、カメラポーズ推定装置10において、画像入力部11がカメラにより撮影された画像データImを入力する(ステップS101)。
なお、特徴点の三次元座標(X,Y,Z)やカメラポーズ(Tx、Ty,Tz,φ、θ、ψ)を取得する処理は、vSLAMと呼ばれており、例えば、非特許文献1に記載された方法により取得することができる。
ステップS103において行う処理は、予め用意した3つのテンプレート画像と類似している部分を画像データImにおいて検出することにより実現できる。例えば、2画像の輝度値の差分の絶対値を示すSAD関数などの評価関数を用いて一番類似度の高い部分を検出結果とし、各テンプレート画像に対する検出結果を示す領域をTm1、Tm2、Tm3とする。
特徴点の画像データIm上へ投影する投影計算は、次式(1)により計算することができる。
式(1)を用いて算出した画像データIm上の投影座標は、行列mの第三成分で第一成分及び第二成分を除算した(u,v)=(x/z,y/z)として得られる。この座標(u,v)のうち、テンプレート検出により得られた領域Tm1、Tm2、Tm3に含まれる特徴点を集合FP1、FP2、FP3として取得する。
なお、ステップS105における詳細な処理については後述する。
ステップS106における変換行列の算出は、非特許文献2に記載されているように、被写体座標系の原点をテンプレート画像1の位置として定義し、変換行列の並進成分を求める。また、3つのテンプレート画像1〜テンプレート画像3の各位置で構成される平面における平面法線ベクトルと、テンプレート画像1とテンプレート画像2とで構成される直線ベクトルを利用して回転成分を求めることができる。
テンプレート位置推定部16は、特徴点抽出部15が集合FP1、FP2、PF3を取得すると、集合FP1、FP2、PF3ごとにN回の反復処理を行うことにより、テンプレート画像の三次元位置の推定を行う。以下の説明において、テンプレート画像に含まれる特徴点をFPという。
テンプレート位置推定部16は、集合FPからランダムにいずれか一つの特徴点を選択し、選択した特徴点の三次元座標を一時パラメータ(Xt,Yt,Zt)とし、パラメータnの値を「1」増加させる(ステップS202)。
例えば信頼度としては、三次元座標・カメラポーズ取得部12が特徴点の三次元座標を取得する際の追跡において、移動距離が大きい特徴点に対する信頼度を小さくし、移動距離が小さい特徴点に対する信頼度を大きくする。
テンプレート位置推定部16は、ステップS203において算出した距離Diを大きさ順でソートして、距離Diの中間値を選択した特徴点に対するスコアStとして算出する(ステップS204)。
具体的には、現在の仮パラメータのスコアScと、直前のステップS204において算出したスコアStとを比較し、スコアStがスコアScより小さい場合には一時パラメータを仮パラメータに採用し、スコアStを新たなスコアScとして更新する。一方、スコアStがスコアSc以上である場合には一時パラメータを破棄して仮パラメータに採用しない。
一方、N回の反復が終わっている場合(ステップS206:YES)、テンプレート位置推定部16は処理をステップS207に進める。
具体的には、テンプレート位置推定部16は、テンプレート画像の位置を表していなかったり、ノイズと考えられたりする三次元座標値を除去するための基準を仮パラメータのスコアScを利用して設定する。この基準は、次式(3)を用いて算出する。
テンプレート位置推定部16は、この基準σを用いて仮パラメータから2.5σ以上の距離にある三次元座標値はテンプレートの位置を示していないと考え、アウトライヤとして除去する。
このように、テンプレート位置推定部16は、予め用意された3つのテンプレート画像に対応する各領域に含まれる特徴点に基づいて、各テンプレート画像の位置を推定する。
入力された画像データからカメラポーズと特徴点を取得する(ステップS102)。図5は、図3のステップS102において取得された特徴点の一例を示す図である。図5(A)は、入力された画像データに特徴点を重畳した画像である。図5(B)は取得した特徴点とカメラポーズとを三次元座標上に示した画像である。
カメラポーズ推定装置10は、各テンプレート画像の領域に含まれる特徴点からアウトライヤを除去し、テンプレート画像の三次元位置を精度よく推定する(ステップS105)。図7は、2つめのテンプレート画像に含まれる特徴点の分布を示す図である。同図に示すように、特徴点の分布は多峰性を有しており、テンプレート画像の正確な位置を推定するにはアウトライヤの除去が必要なことがわかる。
以上の処理により、被写体座標系におけるカメラポーズを精度よく推定することができるので、図8に示すように、被写体に仮想情報を精度よく重畳表示することができる。図8は、通信機器を撮影した画像データに作業位置を示す仮想情報が重畳表示されている一例を示す図である。
11 画像入力部
12 三次元座標・カメラポーズ取得部
13 特徴点三次元座標記憶部
14 テンプレート検出部
15 特徴点抽出部
16 テンプレート位置推定部
17 カメラポーズ推定部
Claims (4)
- 被写体に対するカメラポーズを推定するカメラポーズ推定装置であって、
一連の画像データを入力する画像入力部と、
前記一連の画像データにおける特徴点の変化を追跡し、ワールド座標系における特徴点の三次元座標及びカメラポーズを取得する三次元座標・カメラポーズ取得部と、
予め用意された複数のテンプレート画像であって前記被写体の一部分を含むテンプレート画像と類似する領域を前記画像データにおいて検出するテンプレート検出部と、
前記テンプレート検出部が検出した領域内に含まれる前記特徴点を抽出する特徴点抽出部と、
前記特徴点抽出部が抽出した前記特徴点のうち外れ値を除去し、除去されなかった前記特徴点に基づいてテンプレート画像の三次元位置を推定するテンプレート位置推定部と、
前記テンプレート位置推定部が推定した三次元位置に基づいてワールド座標系から被写体を基準にした被写体座標系への変換行列を推定し、該変換行列に基づいて前記画像データを取得したカメラの前記被写体に対するカメラポーズを推定するカメラポーズ推定部と、
を備えることを特徴とするカメラポーズ推定装置。 - 請求項1に記載のカメラポーズ推定装置であって、
前記テンプレート位置推定部は、
前記特徴点抽出部が抽出した前記特徴点から一つの特徴点をランダムに選択し、選択した特徴点と他の特徴点との距離を算出し、算出した距離に基づいて前記特徴点に含まれる外れ値を除去する
ことを特徴とするカメラポーズ推定装置。 - 請求項2に記載のカメラポーズ推定装置であって、
前記テンプレート位置推定部は、
前記特徴点抽出部が抽出した前記特徴点から一つの特徴点をランダムに選択する際に、各特徴点に対して信頼度に応じた重み付けした選択を行う
ことを特徴とするカメラポーズ推定装置。 - 請求項1から請求項3のいずれか一項に記載のカメラポーズ推定装置としてコンピュータを動作させるためのカメラポーズ推定プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012245319A JP5965293B2 (ja) | 2012-11-07 | 2012-11-07 | カメラポーズ推定装置、及びカメラポーズ推定プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012245319A JP5965293B2 (ja) | 2012-11-07 | 2012-11-07 | カメラポーズ推定装置、及びカメラポーズ推定プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014095553A true JP2014095553A (ja) | 2014-05-22 |
JP5965293B2 JP5965293B2 (ja) | 2016-08-03 |
Family
ID=50938753
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012245319A Expired - Fee Related JP5965293B2 (ja) | 2012-11-07 | 2012-11-07 | カメラポーズ推定装置、及びカメラポーズ推定プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5965293B2 (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016199605A1 (ja) * | 2015-06-12 | 2016-12-15 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
KR101763307B1 (ko) * | 2016-03-30 | 2017-08-04 | (주)이누크리에이티브앤미디어 | 모바일디바이스 센서를 이용한 카메라 제어 시스템 |
US9846043B2 (en) | 2015-01-07 | 2017-12-19 | Ricoh Company, Ltd. | Map creation apparatus, map creation method, and computer-readable recording medium |
KR20190030474A (ko) * | 2017-09-14 | 2019-03-22 | 삼성전자주식회사 | 신뢰도에 기초하여 깊이 맵을 산출하는 방법 및 장치 |
CN111862180A (zh) * | 2020-07-24 | 2020-10-30 | 三一重工股份有限公司 | 一种相机组位姿获取方法、装置、存储介质及电子设备 |
JP2021531524A (ja) * | 2019-06-14 | 2021-11-18 | 高麗大学校産学協力団Korea University Research And Business Foundation | 3次元仮想空間モデルを利用したユーザポーズ推定方法および装置 |
JP2022039689A (ja) * | 2020-08-28 | 2022-03-10 | 株式会社豊田自動織機 | 自律走行車 |
US11915449B2 (en) | 2019-06-14 | 2024-02-27 | Korea University Research And Business Foundation | Method and apparatus for estimating user pose using three-dimensional virtual space model |
WO2024195086A1 (ja) * | 2023-03-23 | 2024-09-26 | 本田技研工業株式会社 | 情報処理装置、情報処理方法、およびプログラム |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7451456B2 (ja) | 2021-03-22 | 2024-03-18 | 株式会社東芝 | 運動推定装置及びそれを用いた運動推定方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008309671A (ja) * | 2007-06-15 | 2008-12-25 | Ihi Corp | 物体認識方法および装置 |
JP2010540036A (ja) * | 2007-09-21 | 2010-12-24 | プレイデータ エルエルシー | 物体の位置及び運動検出システム、及び方法 |
JP2011237296A (ja) * | 2010-05-11 | 2011-11-24 | Nippon Telegr & Teleph Corp <Ntt> | 3次元形状計測方法、3次元形状計測装置、及びプログラム |
-
2012
- 2012-11-07 JP JP2012245319A patent/JP5965293B2/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008309671A (ja) * | 2007-06-15 | 2008-12-25 | Ihi Corp | 物体認識方法および装置 |
JP2010540036A (ja) * | 2007-09-21 | 2010-12-24 | プレイデータ エルエルシー | 物体の位置及び運動検出システム、及び方法 |
JP2011237296A (ja) * | 2010-05-11 | 2011-11-24 | Nippon Telegr & Teleph Corp <Ntt> | 3次元形状計測方法、3次元形状計測装置、及びプログラム |
Non-Patent Citations (1)
Title |
---|
JPN7015003624; 島村潤、他2名: '設備保守支援向けARのための部分テンプレート検出とvSLAMの併用によるオブジェクト座標系へのレジス' 画像の認識・理解シンポジウム(MIRU2011)論文集 Vol.2011, 20110720, pp.1370-1376, 一般社団法人情報処理学会 * |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9846043B2 (en) | 2015-01-07 | 2017-12-19 | Ricoh Company, Ltd. | Map creation apparatus, map creation method, and computer-readable recording medium |
US10636168B2 (en) | 2015-06-12 | 2020-04-28 | Sony Corporation | Image processing apparatus, method, and program |
WO2016199605A1 (ja) * | 2015-06-12 | 2016-12-15 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
KR101763307B1 (ko) * | 2016-03-30 | 2017-08-04 | (주)이누크리에이티브앤미디어 | 모바일디바이스 센서를 이용한 카메라 제어 시스템 |
KR102472767B1 (ko) | 2017-09-14 | 2022-12-01 | 삼성전자주식회사 | 신뢰도에 기초하여 깊이 맵을 산출하는 방법 및 장치 |
KR20190030474A (ko) * | 2017-09-14 | 2019-03-22 | 삼성전자주식회사 | 신뢰도에 기초하여 깊이 맵을 산출하는 방법 및 장치 |
JP2021531524A (ja) * | 2019-06-14 | 2021-11-18 | 高麗大学校産学協力団Korea University Research And Business Foundation | 3次元仮想空間モデルを利用したユーザポーズ推定方法および装置 |
JP7138361B2 (ja) | 2019-06-14 | 2022-09-16 | 高麗大学校産学協力団 | 3次元仮想空間モデルを利用したユーザポーズ推定方法および装置 |
US11915449B2 (en) | 2019-06-14 | 2024-02-27 | Korea University Research And Business Foundation | Method and apparatus for estimating user pose using three-dimensional virtual space model |
CN111862180A (zh) * | 2020-07-24 | 2020-10-30 | 三一重工股份有限公司 | 一种相机组位姿获取方法、装置、存储介质及电子设备 |
CN111862180B (zh) * | 2020-07-24 | 2023-11-17 | 盛景智能科技(嘉兴)有限公司 | 一种相机组位姿获取方法、装置、存储介质及电子设备 |
JP2022039689A (ja) * | 2020-08-28 | 2022-03-10 | 株式会社豊田自動織機 | 自律走行車 |
JP7415853B2 (ja) | 2020-08-28 | 2024-01-17 | 株式会社豊田自動織機 | 自律走行車 |
WO2024195086A1 (ja) * | 2023-03-23 | 2024-09-26 | 本田技研工業株式会社 | 情報処理装置、情報処理方法、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP5965293B2 (ja) | 2016-08-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5965293B2 (ja) | カメラポーズ推定装置、及びカメラポーズ推定プログラム | |
JP5620343B2 (ja) | 物体座標系変換装置、物体座標系変換方法、及び物体座標系変換プログラム | |
JP6503906B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
US20030012410A1 (en) | Tracking and pose estimation for augmented reality using real features | |
JP6515039B2 (ja) | 連続的な撮影画像に映り込む平面物体の法線ベクトルを算出するプログラム、装置及び方法 | |
US20120162220A1 (en) | Three-dimensional model creation system | |
US9613404B2 (en) | Image processing method, image processing apparatus and electronic device | |
KR102001636B1 (ko) | 이미지 센서와 대상 객체 사이의 상대적인 각도를 이용하는 깊이 영상 처리 장치 및 방법 | |
JP7162079B2 (ja) | 頭部のジェスチャーを介してディスプレイ装置を遠隔制御する方法、システムおよびコンピュータプログラムを記録する記録媒体 | |
WO2016025328A1 (en) | Systems and methods for depth enhanced and content aware video stabilization | |
JP4938748B2 (ja) | 画像認識装置及びプログラム | |
JP6196562B2 (ja) | 被写体情報重畳装置、被写体情報重畳方法及びプログラム | |
CN105809664B (zh) | 生成三维图像的方法和装置 | |
JP2018113021A (ja) | 情報処理装置およびその制御方法、プログラム | |
JP4631973B2 (ja) | 画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム | |
CN111192308A (zh) | 图像处理方法及装置、电子设备和计算机存储介质 | |
JP2015184773A (ja) | 画像処理装置および3次元物体トラッキング方法 | |
JP5937977B2 (ja) | 変換行列推定装置、変換行列推定方法、及びプログラム | |
JP6228239B2 (ja) | プリミティブの組を用いてデータをレジストレーションする方法 | |
US10122996B2 (en) | Method for 3D multiview reconstruction by feature tracking and model registration | |
JP2013069026A (ja) | 被写体の3次元形状を復元する装置、方法およびプログラム | |
JP5728399B2 (ja) | 計測装置、方法及びプログラム | |
JP5478533B2 (ja) | 全方位画像生成方法、画像生成装置およびプログラム | |
Thangarajah et al. | Vision-based registration for augmented reality-a short survey | |
JP2019220032A (ja) | 原画像を目標画像に基づいて変形した表示画像を生成するプログラム、装置及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150203 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151218 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160105 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160212 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160628 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160701 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5965293 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |