JP2003281504A - Image pickup portion position and attitude estimating device, its control method and composite reality presenting system - Google Patents

Image pickup portion position and attitude estimating device, its control method and composite reality presenting system

Info

Publication number
JP2003281504A
JP2003281504A JP2002081251A JP2002081251A JP2003281504A JP 2003281504 A JP2003281504 A JP 2003281504A JP 2002081251 A JP2002081251 A JP 2002081251A JP 2002081251 A JP2002081251 A JP 2002081251A JP 2003281504 A JP2003281504 A JP 2003281504A
Authority
JP
Japan
Prior art keywords
position
orientation
imaging unit
image
estimation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002081251A
Other languages
Japanese (ja)
Inventor
Kazuki Takemoto
Shinji Uchiyama
晋二 内山
和樹 武本
Original Assignee
Canon Inc
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc, キヤノン株式会社 filed Critical Canon Inc
Priority to JP2002081251A priority Critical patent/JP2003281504A/en
Publication of JP2003281504A publication Critical patent/JP2003281504A/en
Application status is Pending legal-status Critical

Links

Abstract

<P>PROBLEM TO BE SOLVED: To provide a image pickup portion position and attitude estimating device and its control method capable of dynamically changing over between a plurality of position and attitude estimating methods. <P>SOLUTION: In the image pickup portion position and attitude estimating device, a position and attitude of an image pickup means positioned in three- dimensional space are estimated, and they are outputted as position and attitude information. It is provided with two or more estimating means for estimating the position and attitude of the image pickup means by mutually different methods, and a selecting means for dynamically selecting an estimating means. An estimation result of the estimating means selected by the selecting means is outputted as the position and attitude information. <P>COPYRIGHT: (C)2004,JPO

Description

【発明の詳細な説明】 【0001】 【発明の属する技術分野】本発明は、例えばHMDに取り付けられ、3次元空間中を移動する撮像装置の位置姿勢を推定する撮像部位置姿勢推定装置及びその制御方法に関する。 BACKGROUND OF THE INVENTION [0001] [Technical Field of the Invention The present invention is, for example, attached to the HMD, the image pickup unit position and orientation estimation apparatus and estimates the position and orientation of the image sensing device that moves in three-dimensional space a control method. 【0002】 【従来の技術】現実空間を撮像する撮像部(ビデオカメラ等)の外部パラメータ(位置姿勢)を計測、決定する方法において、 【0003】(1)画像情報のみによる推定方法(例えば、加藤,Mark,浅野,橘:「マーカ追跡に基づく拡張現実感システムとそのキャリブレーション」,日本バーチャルリアリティ学会論文集 Vol.4No. [0002] measure the external parameters (position and orientation) of the prior art image pickup unit for imaging the real space (video camera), in determining how to, [0003] (1) image information only by Estimation Method (e.g., Kato, Mark, Asano, Tachibana: "Augmented reality system and its calibration based on the marker track", Transactions of the Virtual reality Society of Japan collection Vol.4No.
4, pp.607-616,1999に記載。 4, described in pp.607-616,1999. 以下第1文献と呼ぶ)、 (2)6自由度位置姿勢センサと画像とのハイブリッドな推定方法【0004】(例えば特開平11−136706号公報、特開2000−347128号公報に記載) (3)画像と加速度センサのハイブリッドな推定方法(例えば、横小路,菅原,吉川:「画像と加速度計を用いたHMD上での映像の正確な重ね合わせ」, 日本バーチャルリアリティ学会論文集 Vol.4 No.4, pp.589-5 Hereinafter referred to as first document), (2) 6-DOF position and orientation sensor and hybrid estimation method [0004] (e.g., JP-11-136706 discloses the image, described in JP-2000-347128) (3 ) image and a hybrid method of estimating the acceleration sensor (for example, Yokoshoji, Sugawara, Yoshikawa: "the exact overlay of the video on the HMD using the image and accelerometer", Transactions of the Virtual reality Society of Japan collection Vol.4 No .4, pp.589-5
98,1999) (4)ジャイロセンサと画像とのハイブリッドな位置合わせなどの推定方法(例えば、藤井,神原,岩佐,竹村,横矢:「拡張現実のためのジャイロセンサを併用したステレオカメラによる位置合わせ」, 信学技報 PRMU99-192, January 20 98,1999) (4) estimation method, such as a hybrid alignment between the gyro sensor and the image (e.g., Fujii, Kanbara, Iwasa, Takemura, Yokoya: "aligned by the stereo camera in combination with a gyro sensor for Augmented Reality "IEICE PRMU99-192, January 20
00、以下第2文献と呼ぶ)等が知られている。 00, the second referred to as a reference) and the like are known or less. また、画像による位置合わせや、6自由度センサと画像のハイブリッドな方法では、さらに手法の異なる様々な方法がある。 Further, image registration and by, 6 degree of freedom sensors and hybrid method of the image, there are more different ways with different approaches. 【0005】 【発明が解決しようとする課題】しかし、上に挙げた従来の方法は、それぞれ得意とする環境や場面が異なり、 [0005] The object of the invention is to be Solved However, the conventional methods listed above, a different environment and a scene that specializes respectively,
ある特定の環境内においても、場面によっては相補的な関係にある場合がありえる。 Even within a particular environment, there can be cases in complementary relationship with the scene. しかし、それぞれの方法は独立した処理を前提としており、場面に応じて様々な手法を動的に切り替えて用いることは想定されていなかった。 However, each method has assumed independent processing, using dynamically switch between different approaches according to the scene has not been contemplated. 具体的な例を挙げれば、(2)の、6自由度センサの1種である磁気センサと画像情報とのハイブリッドな推定方法を使用する場合に、計測対象である撮像部が磁気センサの計測範囲外に出た場合には、画像情報のみによる推定方法に切り替えるような処理ができない、という状況が挙げられる。 By way of specific example, (2) of, when using the hybrid method of estimating the magnetic sensor and the image information is six one degree of freedom sensors, measuring imaging unit of the magnetic sensor to be measured when exiting out of range, the image information processing can not be designed to be changed in the estimation method using only the situation like that. 【0006】本発明は、このように、場面に応じて様々な推定方法を動的に切り替えることができないという従来技術の問題点に鑑みてなされたものであり、位置姿勢の計測対象である撮像部が存在する状況に応じて、複数の位置姿勢推定方法を動的に切り替え可能な撮像部位置姿勢推定装置及びその制御方法を提供することを目的とする。 [0006] The present invention thus has been made in view of the problems of the prior art can not be dynamically switched various estimation methods in accordance with the scene to be measured of the position and orientation imaging depending on the context in which parts are present, and to provide a plurality of position and orientation estimation method dynamically switchable imaging unit position and orientation estimation apparatus and a control method. 本発明を用いれば、その場その場で望ましい推定方法をユーザが能動的に選択する、または装置が状況に応じて自動的に選択することが可能になり、従来よりも広範囲な空間において撮像部の位置姿勢を推定することが可能である。 With the present invention, in situ the desired estimation method on the spot the user selects actively, or device it is possible to select automatically depending on the situation, the imaging unit in a wide space than conventional it is possible to estimate the position and orientation. 本発明において選択対象となる方法は、 The method to be selected in the present invention,
カメラの位置姿勢を推定する方法であれば、如何なる方法であっても良い。 As long as it is a method for estimating the position and orientation of the camera may be any method. 【0007】 【課題を解決するための手段】すなわち、本発明の要旨は、3次元空間内に位置する撮像手段の位置姿勢を推定し、位置姿勢情報として出力する撮像部位置姿勢推定装置であって、撮像手段の位置姿勢を互いに異なる方法で推定する、2つ以上の推定手段と、推定手段を動的に選択する選択手段とを備え、選択手段で選択された推定手段による推定結果を位置姿勢情報として出力することを特徴とする撮像部位置姿勢推定装置に存する。 [0007] Means for Solving the Problems That is, the gist of the present invention estimates the position and orientation of the image sensing means located within the three-dimensional space, there by the imaging unit position and orientation estimation apparatus for outputting a position and orientation information Te is estimated at different ways the position and orientation of the imaging means, the position and two or more estimation means, and selecting means for dynamically selecting the estimating means, the estimation result by the selected estimation means with selection means existing in the imaging unit position and orientation estimation apparatus and outputs as the posture information. 【0008】また、本発明の別の要旨は、請求項1乃至請求項9のいずれか1項に記載の撮像部位置姿勢推定装置と、撮像部位置姿勢推定装置から得られる位置姿勢情報を用いて仮想空間画像を生成し、撮像部が撮像した画像と合成して複合現実感画像を生成する複合現実感画像生成手段と、複合現実感画像を撮像部を装着するユーザに提示する提示手段を有することを特徴とする複合現実感提示システムに存する。 [0008] Still another subject matter of the present invention uses an imaging unit position and orientation estimation apparatus according to any one of claims 1 to 9, the position and orientation information obtained from the imaging unit position and orientation estimation apparatus generating a virtual space image Te, the mixed reality image generation means by the imaging unit generates a mixed reality image by combining the images captured, the presenting means for presenting to the user mounting the imaging unit mixed reality image It consists in mixed reality presentation system, comprising. 【0009】また、本発明の別の要旨は、3次元空間内に位置する撮像手段の位置姿勢を、互いに異なる方法で推定する2つ以上の推定手段を選択的に用いて推定し、 [0009] Another aspect of the present invention, the position and orientation of the image sensing means located within the three-dimensional space, estimated using selectively two or more estimation means for estimating at different methods,
位置姿勢情報として出力する撮像部位置姿勢推定装置の制御方法であって、推定手段を動的に選択する選択ステップと、選択ステップで選択された推定手段による推定結果を位置姿勢情報として出力する出力ステップとを有することを特徴とする撮像部位置姿勢推定装置の制御方法に存する。 The control method of the image pickup unit position and orientation estimation apparatus for outputting a position and orientation information, a selection step of dynamically selecting the estimating means, an output for outputting the estimation result by the estimating means selected by the selection step as the position and orientation information It consists in the control method of the image pickup unit position and orientation estimation apparatus characterized by a step. 【0010】また、本発明の別の要旨は、本発明の撮像部位置姿勢推定装置の制御方法をコンピュータ装置に実行させることを特徴とするコンピュータプログラムに存する。 [0010] Still another subject matter of the present invention resides in a computer program, characterized in that to execute a control method of the image pickup unit position and orientation estimation apparatus of the present invention in the computer. 【0011】また、本発明の別の要旨は、本発明のコンピュータプログラムを格納したことを特徴とするコンピュータ装置読みとり可能な記憶媒体に存する。 [0011] Another aspect of the present invention resides in a computer device readable storage medium characterized by storing a computer program of the present invention. 【0012】 【発明の実施の形態】<第1の実施形態>以下、添付図面を参照して、本発明をその好適な実施形態に基づき詳細に説明する。 DETAILED DESCRIPTION OF THE INVENTION <First Embodiment> Hereinafter, with reference to the accompanying drawings, the present invention will be described in detail based on its preferred embodiments. 以下の説明においては、ビデオシースルー(Video See-Through)型のヘッドマウントディスプレイ(HMD)を用いた複合現実感提示システムに、本発明の実施形態に係る撮像部位置姿勢推定装置を適用した場合について説明する。 In the following description, the mixed reality presentation system using video see-through (Video See-Through) type head mounted display (HMD), the case of applying the imaging unit position and orientation estimation apparatus according to an embodiment of the present invention explain. 【0013】本発明の撮像部位置姿勢推定装置により、 [0013] The imaging unit position and orientation estimation apparatus of the present invention,
ビデオシースルー型のHMDに取り付けた撮像部(以降、特に断らない限り「撮像部」という言葉は左右一対のカメラをまとめて表す)の位置姿勢を推定することにより、ユーザが複合現実感(Mixed Reality:MR)空間をより広範囲な空間において体験できる。 By imaging unit attached to the video see-through HMD (hereinafter, which is the term "imaging unit" unless otherwise specified collectively represent a pair of left and right cameras) for estimating the position and orientation of the user Mixed Reality (Mixed Reality : MR) can be experienced in a more extensive space to space. 【0014】複合現実感提示システムとは、現実空間の画像とコンピュータグラフィックス等の非現実空間(仮想空間)画像を合成した複合現実空間(MR空間)を、 [0014] The mixed reality presentation system, the non-real space of the image and the computer graphics and the like of the real space (virtual space) mixed reality space (MR space) were synthesized image,
ユーザ(観察者)に提示するシステムである。 Is a system to be presented to the user (observer). なお、M In addition, M
R技術についての情報は、例えばhttp://www.mr-syste Information about the R technology, for example http: //www.mr-syste
m.co.jp/whatsmr/index_j.html/から得ることができる。 It can be obtained from the m.co.jp/whatsmr/index_j.html/. 【0015】MR空間を表現するためには、現実空間を撮像する撮像部の現実空間上での位置姿勢を推定することが不可欠である。 [0015] In order to express the MR space, it is essential to estimate the position and orientation on the real space of the imaging unit that captures an image of a real space. これは、仮想物体(仮想空間画像) This is a virtual object (virtual space image)
を現実空間上の位置に合わせて描画するには、撮像部の現実空間上での位置姿勢から見た仮想物体の画像を生成しなければならないからである。 To draw in accordance with the position on the physical space, because must generate an image of the virtual object as seen from the position and orientation on the real space of the imaging unit. 仮想物体は世界座標系上で定義されているために、ビューイング変換行列と呼ばれる変換行列により、世界座標系から撮像部を中心とする座標系であるカメラ座標系に変換する必要がある。 For virtual object defined on the world coordinate system, the transformation matrix called viewing transformation matrix, it is necessary to convert the world coordinate system to the camera coordinate system is a coordinate system centered on the imaging unit.
カメラ座標系に変換された仮想物体を描画することによって現実空間の位置と合った画像を生成できる。 An image matching the position of the real space by drawing the transformed virtual object to the camera coordinate system can be generated. つまり、撮像部の位置姿勢を表すビューイング変換行列を推定できれば、この撮像部によって撮像した現実空間の画像と、推定したビューイング変換行列を用いて生成した仮想空間画像とを合成することにより、適切なMR空間を表現する複合現実感映像(画像)を生成することができる。 In other words, if estimated viewing transformation matrix representing the position and orientation of the image sensing unit, by combining an image of the physical space captured by the imaging unit, and a virtual space image generated using the estimated viewing transformation matrix, it is possible to generate a mixed reality image to represent appropriate MR space (image). 【0016】本実施形態に係る撮像部位置姿勢推定装置では、従来の技術で挙げた第1文献(画像情報のみから推定する方法)、第2文献(画像とジャイロセンサを利用して推定する方法)、特開平11−136706号公報(画像と6自由度センサを利用して推定する方法)にて述べられている具体的な推定方法を、撮像部の存在する状況に応じて切り替えて用いることにより、これら推定方法を単独で利用するよりも広範囲な領域において適切なMR空間画像を生成可能とした例を説明する。 [0016] In the image pickup unit position and orientation estimation apparatus according to this embodiment, (a method of estimating only the image information) first documents cited in the prior art, a method of estimating by utilizing the second document (image and a gyro sensor ), the specific estimating method described in JP-a 11-136706 discloses (image and 6 a method of estimating by utilizing the degree of freedom sensor), the use of switched according to the situation that exists in the image pickup unit by, an example which enables generate the appropriate MR-space image in a wide region than to use these estimation methods alone. なお、上で述べたように、本発明に係る撮像部位置姿勢推定装置は、任意数かつ任意の推定方法を選択的に切り替えて使用することが可能であり、以下に説明する実施形態はその一例に過ぎない。 Incidentally, as mentioned above, embodiments imaging unit position and orientation estimation apparatus according to the present invention can be used by switching selectively an arbitrary number and any estimation method, to be described below the not only an example. 【0017】まず、本実施形態に係る撮像部位置姿勢推定装置が用いる3つの撮像部の位置姿勢推定方法について順に説明し、その後、切り替えに係る構成及び処理について説明する。 [0017] First, described in the order for the position and orientation estimation method of the three imaging unit imaging unit position and orientation estimation apparatus according to the present embodiment is used, then, the configuration and processing according to the switching. なお、以下に説明する推定方法の詳細については、それぞれ、第1文献、第2文献、特開平1 The details of the estimation method described below, respectively, the first document, the second document, JP-1
1−136706公報を参照されたい。 1-136706 see publication. 【0018】<方法1:6自由度位置姿勢センサと画像とのハイブリッドな推定方法>はじめに、特開平11− [0018] <Method 1: hybrid method of estimating the six-degree-of-freedom position and orientation sensor and image> at the beginning, JP-A-11-
136706号公報に記載される、6自由度位置姿勢センサと画像情報とを用いてハイブリッドに撮像部の位置姿勢を推定する方法について、図4、図7を用いて説明する。 Described in 136706 JP, method for estimating the position and orientation of the imaging unit in the hybrid using the 6 degree-of-freedom position and orientation sensor and the image information, FIG. 4 will be described with reference to FIG. 【0019】ここで、6自由度位置姿勢センサとは、Po [0019] Here, the six-degree-of-freedom position and orientation sensor, Po
lhemus社の3SPCACE FASTRAKやAssension Technology社のFlock of Birdsなどの磁気センサ、または、Northern lhemus company 3SPCACE FASTRAK and Assension Technology Co., a magnetic sensor, such as Flock of Birds of, or, Northern
Digital社のOPTOTRAKなどの光学式センサなど、計測対象の位置と姿勢を計測する機器を指す。 Such as Digital's optical sensor such as OPTOTRAK of refers to a device for measuring the position and orientation of the measurement object. この6自由度位置姿勢センサは、HMDに固定されている。 The 6-DOF position and orientation sensor is fixed to the HMD. また撮像部もHMDに固定して取り付けられていることから、6自由度センサの計測値から撮像部の位置姿勢が計測できる。 Also because it is fixedly attached to the imaging unit also HMD, can measure the position and orientation of the imaging unit from 6 measured values ​​of the degrees of freedom sensors. この撮像部の位置姿勢からビューイング変換行列を生成して現実空間画像と仮想空間画像を合成した場合、 When synthesized the virtual space image and physical space image from the position and orientation of the imaging unit and generates the viewing transformation matrix,
センサの誤差が原因となって画像上での位置ずれが生じる。 Error of the sensor positional deviation in the image occurs caused. 例えば、磁気センサを用いた6自由度位置姿勢センサの測定値は周囲の磁場に影響されるので、計測部近辺に金属物質があると誤差が大きくなり、結果として画像の位置ずれ量も増える。 For example, the measured value of the 6-DOF position and orientation sensor using the magnetic sensor is affected around the magnetic field, the near measurement portion is metallic material error increases, resulting in increases the positional deviation amount of the image. 【0020】このような状況に鑑みて特開平11−13 [0020] Japanese Patent Laid-Open 11-13 in view of such a situation
6706号公報では、画像情報を用いて、6自由度センサ誤差を補正する方法を述べている。 In 6706 JP, using the image information, describes a method for correcting the 6 DOF sensor error. この方法では、現実空間にマーカと呼ばれる、画像処理によって検出しやすい特定の色や形状を有する物体、例えばシールを、現実空間中の物体に貼り付けてランドマーク(絶対位置基準)として利用する。 In this method, it referred to as the marker in the real space, using an object having a specific color or shape that easily detected by image processing, such as sealing, as landmarks adhered to an object in the real space (absolute position reference). また、マーカとしては特別に配置したもの以外にも、現実空間中の特徴的な物体や点を利用することも可能である。 As the marker besides those specially arranged, it is possible to use the characteristic objects and points in real space. 【0021】図4は画像と6自由度センサを用いた撮像部位置姿勢推定部170Aの構成例を示すブロック図である。 [0021] FIG. 4 is a block diagram showing a configuration example of an imaging unit position and orientation estimation unit 170A using the image and 6-freedom sensor. 位置姿勢計測部410は、ユーザ頭部に装着されたHMD100に組み込まれた左右一対のカメラからなる撮像部110の位置姿勢を計測する6自由度センサの計測値の受信処理を行う。 Position and orientation measurement unit 410 performs the reception processing of 6 measured values ​​of the degrees of freedom sensor for measuring the position and orientation of the imaging unit 110 comprising a pair of left and right cameras incorporated in HMD100 attached to the user's head. 一方で、マーカ検出部420 On the other hand, the marker detecting unit 420
では、撮像画像の取得部150から撮像部110で撮像した画像を取得し、その画像からマーカ220Aを検出して、観測座標での2次元位置(x0,y0)を得る。 In, it acquires an image captured by the imaging unit 110 from the acquisition unit 150 of the captured image, and detects the marker 220A from the image to obtain a two-dimensional position of the observation coordinate (x0, y0).
マーカ220Aの検出方法は特に限らないが、例えば以下のような例が挙げられる。 Detection method of the marker 220A is not particularly limited but include those exemplified as exemplified below. 現実空間に赤色マーカ22 Red in real space marker 22
0Aを配置し、それを撮像部110によって撮像した画像から検出する場合は、画像中の注目画素値(R,G, The 0A arranged, it the case of detecting the image of the captured by the imaging unit 110 the target pixel value in the image (R, G,
B)の特徴量l Sをl S =R/((G+B)/2) The feature quantity l S l S = R / of B) ((G + B) / 2)
(式1)として求め、特徴量Isがあらかじめ指定した閾値を超えた場合は、注目画素がマーカ領域内であると判定する。 Determines that the calculated as (Equation 1), when the feature quantity Is exceeds a threshold specified in advance, the target pixel is within the marker area. これを、画像中の全画素に対して適応し、検出されたマーカ領域は、個々にラベル付けされる。 This was adapted for all pixels in the image, the detected marker regions are individually labeled. ラベル付けされた領域の重心位置をマーカ220Aの2次元位置とし、観測座標のマーカ位置(x0,y0)が算出される。 The center of gravity of the labeled area are two-dimensional position of the marker 220A, the marker position of the observation the coordinates (x0, y0) as is calculated. このようにして得られたマーカ220Aの2次元位置と撮像部110の位置姿勢計測値を位置姿勢推定部430に入力する。 Inputting a two-dimensional position and position and orientation measurement value of the imaging unit 110 of the marker 220A obtained in this manner to the position and orientation estimating section 430. 【0022】図7は位置姿勢推定部430で行われる処理の概要を示す図である。 FIG. 7 is a diagram showing an outline of processing performed by the position and orientation estimating section 430. まず、位置姿勢計測部410 First, the position and orientation measurement unit 410
より入力された計測値から、カメラ(撮像部110)のビューイング変換行列M Cを生成する(ステップS70 From a more input measured values, the camera generates a viewing transformation matrix M C for (imaging unit 110) (step S70
0)。 0). さらに、ビューイング変換座標M Cと既知である世界座標系上での各マーカの3次元位置と、撮像部11 Furthermore, the three-dimensional position of each marker on the world coordinate system is known and viewing transformation coordinate M C, the imaging unit 11
0の理想的透視変換行列から、各マーカの観測座標予測値を算出する(ステップS710)。 From the ideal perspective transformation matrix 0, and it calculates the observation coordinate predicting values ​​for each marker (step S710). 【0023】そして、ステップS720において、マーカ検出部420から渡されたマーカ位置情報(2次元観測座標)に基づいて、現在観測しているマーカ、すなわち補正の基準となるマーカを判別する。 [0023] Then, in step S720, on the basis of the marker position information passed from the marker detecting unit 420 (two-dimensional observation coordinates), being observed to have a marker, i.e. to determine the marker as a reference of correction. ステップS73 Step S73
0では、ステップS710で演算されたマーカの観測座標予測値とマーカ検出部420が検出したマーカの2次元観測座標値との差異に基づいて、位置姿勢計測部41 In 0, based on the difference between the two-dimensional observation coordinate value of the marker observed coordinate predicting value of the computed marker and the marker detection section 420 has detected at step S710, the position and orientation measurement unit 41
0によって得られた撮像部110の位置姿勢を表すビューイング変換行列M Cを補正するための補正行列ΔM Cを求める。 Obtaining a correction matrix .DELTA.M C for correcting the viewing transformation matrix M C representing the position and orientation of the imaging unit 110 obtained by 0. さらに、ステップS740において、ステップS730で求めた補正行列ΔM CとステップS700で求めた計測値からのカメラのビューイング変換行列M C Further, in step S740, the camera viewing transformation matrix from the measurement values obtained by the correction matrix .DELTA.M C and step S700 obtained in step S730 M C
を積算することにより、補正後の視点のビューイング変換行列M C1を得ることができる。 By integrating, it is possible to obtain a viewing transformation matrix M C1 of the corrected viewpoint. すなわち、 M C1 In other words, M C1 =
ΔM C・M Cである。 Is a ΔM C · M C. 【0024】最後に、世界座標系で定義された仮想物体の3次元データを、補正されたビューイング変換行列M [0024] Finally, the 3-dimensional data of the virtual object defined in the world coordinate system, corrected viewing transformation matrix M
C1を用いてカメラ座標系に変換することで、HMDを装着したユーザの視点位置から見た仮想物体の画像を生成できる。 By converting to a camera coordinate system by using the C1, it can generate an image of the virtual object as seen from the viewpoint position of the user who wears the HMD. そして、撮像部110から入力される現実空間の映像と仮想物体画像とを合成し、複合現実映像(以降、MR画像と呼ぶ)を生成する。 Then, by synthesizing the virtual object image with the picture of the real space is input from the imaging unit 110, it generates a mixed reality image (hereinafter, referred to as MR image). なお、仮想物体に関するデータは不図示の外部メモリに格納されているものとする。 The data about the virtual object is assumed to be stored in the external memory (not shown). 生成されたMR画像は、HMD内の表示部(図示せず)に出力される。 The generated MR image is output to the display unit in the HMD (not shown). このようして得られたMR画像をHMD100を介してユーザに提示することにより、 By presenting the MR images obtained this way by the user via the HMD 100,
ユーザはMR空間を認識することができる。 The user can recognize the MR space. 【0025】この手法においては、6自由度センサの計測範囲内では高い精度にて現実空間と仮想空間の位置合わせが行われるが、計測対象であるHMD100に装着された撮像部110がセンサの計測範囲を超えた場合(例えば、センサが撮像部近傍に取り付けられた発信機と離れた位置にある受信機とから構成され、その距離が所定の範囲を超えた場合など)は、センサの誤差が許容値を越えるため、マーカの判別処理に問題が生じ、正確な位置合わせはできない。 [0025] In this approach, 6 although freedom positioning of the real space and virtual space with high accuracy in the measurement range of the sensor is performed, the imaging unit 110 mounted on a measurement target HMD100 the sensor measurement exceeding the range (e.g., the sensor is composed of a receiver at a position apart from the transmitters mounted near the imaging unit, such as when the distance exceeds a predetermined range), the error of the sensor for exceeding the allowable value, a problem with the determination process of the marker occurs can not accurate alignment. このようなことから、特開平11−136706号公報では、予め定めた測定範囲内でセンサを使用することを前提としている。 For this reason, in JP-A 11-136706 and JP-assumes the use of a sensor within the measurement range set in advance. 【0026】なお、撮像部位置姿勢推定部170Aは例えば汎用のコンピュータ装置から構成され、各部はソフトウェアを実行するCPU又は専用のハードウェアによって実現される。 [0026] The imaging unit position and orientation estimation unit 170A is constituted, for example, a general-purpose computer system, each unit is implemented by a CPU or dedicated hardware executing software. 【0027】<方法2:画像情報のみによる推定方法> [0027] <Method 2: image information only by Estimation Method>
次に、第1文献に記載されるような、撮影画像中の特徴的な画像から撮像部の位置姿勢を求める方法について、 Then, as described in the first document, a method of obtaining the position and orientation of the imaging unit from the characteristic image in the captured image,
図5及び図8を用いて説明する。 It will be described with reference to FIGS. 5 and 8. 図5は、画像を用いた撮像部位置姿勢推定部170Bの構成例を示すブロック図である。 Figure 5 is a block diagram showing a configuration example of an imaging unit position and orientation estimation unit 170B using the image. 基本的には、図4の構成から6自由度センサ120Aと位置姿勢計測部410を除いた構成を有する。 Basically, with a structure other than the structure of the 6-DOF sensor 120A and the position and orientation measurement unit 410 of FIG. また、使用するマーカ220Bとして、第1文献では白色のカード上に書かれた一辺80mmの黒色正方形で、その内部に各マーカを識別するための40mm四方のパターンが与えられたものを例示している。 Further, as a marker 220B to be used, in the first document in black squares of a side 80mm written on a white card, it illustrates what 40mm square pattern for identifying each marker therein is given there. 各マーカ220B内部のパターンにより、複数のマーカの取り扱いを可能にしている。 By the markers 220B inside the pattern, which enables the handling of a plurality of markers. 【0028】撮像画像の取得部150から、マーカ22 [0028] from the acquisition unit 150 of the captured image, the marker 22
0Bを含む撮像画像を受け、画像処理用マーカ検出部5 Receiving a captured image including a 0B, image processing marker detector 5
10にてマーカ220Bの検出を行い、マーカ220B It performs detection of marker 220B at 10, the marker 220B
の各頂点の観測座標系位置、テンプレートマッチング用の画像を算出する。 Observation coordinate system position of each vertex of the calculated images for template matching. そして、それらの出力を位置姿勢推定部520に入力し、撮像部110の位置姿勢を推定する。 Then, enter their output to the position and orientation estimating section 520 estimates the position and orientation of the imaging unit 110. 【0029】撮像部110の位置姿勢を推定する処理手順を以下で述べる。 [0029] The procedure for estimating the position and orientation of the imaging unit 110 described below. まず、マーカ220Bを撮像部11 First, the imaging unit 11 of the marker 220B
0により撮像することで、まずマーカ220Bの3次元位置姿勢が推定され、マーカ座標系の位置が求まり、マーカ220Bからの撮像部110の推定位置姿勢が算出される。 0 By be to image is first estimated three-dimensional position and orientation of the marker 220B is Motomari the position of the marker coordinate system, the estimated position and orientation of the image capturing unit 110 from the marker 220B is calculated. ここで、マーカ座標系と世界座標系の位置関係が既知であるとすると、世界座標系上での撮像部110 Here, the positional relationship between the marker coordinate system and the world coordinate system are known, the imaging unit on the world coordinate system 110
の位置姿勢を推定することが可能となる。 It is possible to estimate the position and orientation. つまりは、マーカ220Bの3次元位置姿勢が求められれば、撮像部110の位置姿勢を推定することが可能である。 That is, as long required three-dimensional position and orientation of the marker 220B, it is possible to estimate the position and orientation of the imaging unit 110. 【0030】前述のマーカ220Bの3次元位置姿勢推定は、マーカ座標系からカメラ座標系への変換行列T cm The three-dimensional position and orientation estimation of the aforementioned marker 220B is the transformation matrix T cm from the marker coordinate system into the camera coordinate system
を推定する問題である。 Is a problem of estimating the. cmは回転移動成分R 3x3と平行移動成分T 3x1から構成される。 T cm consists movement component T 3x1 parallel to the rotational movement component R 3x3. よって、回転移動成分R 3x3と平行移動成分T 3x1を求めることが必要となる。 Therefore, it is necessary to obtain the translation component T 3x1 and the rotation movement component R 3x3. 【0031】図8は図5の画像処理用マーカ検出部51 [0031] Figure 8 is an image processing marker detector 51 of FIG. 5
0と位置姿勢推定部520の処理を説明するフローチャートである。 0 is a flowchart illustrating processing of the position and orientation estimating section 520. まず、画像処理用マーカ検出部510では、マーカ220Bが撮像された画像を2値化処理し、 First, the image processing marker detecting unit 510, an image marker 220B is captured binarized,
マーカ220Bが撮像されている領域(外接長方形)の抽出を行う(ステップS800)。 Marker 220B is to extract the area (circumscribed rectangle) being imaged (step S800). また、ステップS8 In addition, step S8
00において、抽出領域内のテンプレートマッチング用の撮像パターン画像を保存しておく。 In 00, keep the template captured pattern image for matching the extraction region. 【0032】次に、抽出された領域情報からマーカ22 [0032] Then, from the extracted area information marker 22
0Bの各辺に対応する輪郭線データに最小2乗法で直線当てはめを行い、各辺の線分に当てはまる直線の式を算出する(ステップS810)。 Performs fitting straight line least squares method in the contour line data corresponding to each side of 0B, it calculates the equation of a straight line fit to the line segment of each side (step S810). ステップS820において、ステップS810にて算出した4つの直線の各交点を求め、マーカ220Bの頂点の画像座標系上での2次元座標値とする。 In step S820, it obtains the intersections of the four straight lines calculated in step S810, a two-dimensional coordinate values ​​on the image coordinate system of the vertices of the marker 220B. 画像処理用マーカ検出部510は、以上の処理で得られたマーカ220Bの頂点座標値とテンプレートマッチング用撮像パターン画像を位置姿勢推定部520へ受け渡す。 Image processing marker detecting unit 510, the above process passes resulting received vertex coordinate values ​​and the template matching captured pattern image of the marker 220B to the position and orientation estimating section 520. 【0033】位置姿勢推定部520は、ステップS83 The position and orientation estimation unit 520, step S83
0において、画像処理用マーカ検出部510がステップS800にて求めたテンプレートマッチング用の撮像パターン画像と、あらかじめ用意してあるテンプレートマッチング用の画像を比較し、マーカ識別と、画像上におけるマーカ220Bの向きの判別を行う。 At 0, the imaging pattern image for template matching image processing marker detecting unit 510 is determined at step S800, compares the image of the template matching are prepared in advance, the marker identification, of markers 220B on the image It discriminates orientation. 【0034】ステップS840において、判別したマーカ220Bの回転移動成分R 3x3を求める。 [0034] In step S840, it obtains the rotational movement component R 3x3 of discriminated markers 220B. まず、マーカ220Bの4頂点(画像上の2次元位置)から、向かい合う2辺の2直線の方程式が得られる、これらの2つの直線とカメラの理想的透視変換行列とを用いて、カメラ座標系上(3次元空間)での対応する2平面の式が得られる。 First, the four vertices of the marker 220B (2-dimensional position on the image), 2 linear equations 2 opposing sides are obtained, using the ideal perspective transformation matrix of these two straight lines and the camera, the camera coordinate system expression of the corresponding two planes of above (3 dimensional space) is obtained. この2平面はカメラ座標系上のマーカ220B The two planes are markers on the camera coordinate system 220B
の対応する辺(3次元空間中の線分)をそれぞれの平面内に一つずつ含む。 Including the corresponding edge (the line segment in the three-dimensional space), one for each plane. マーカ220Bの向かい合う2辺は平行なのでその方向ベクトルは一致し、前述の2平面の面内方向となる。 Since 2 opposing sides of the marker 220B is parallel the direction vector coincides, the plane direction of the two planes described above. そして、もう一組の平行2辺においても同様の処理を行うことで、マーカ220Bの隣り合う2辺の方向ベクトルを求められる。 By performing similar processing also in the other pair of two parallel sides, determined direction vectors of two sides adjacent markers 220B. この一対の3次元ベクトルと、テンプレートマッチングの結果から、回転移動成分R 3x3を求める(詳細については、第1文献の2.3.1節を参照)。 The pair of three-dimensional vector, the results of the template matching, obtaining the rotational movement component R 3x3 (for details, see section 2.3.1 of the first document). 【0035】さらにステップS850において、ステップS840の回転移動成分R 3x3と、マーカ4頂点のマーカ座標系での3次元座標値と、カメラの理想的透視変換行列後の2次元座標値を与えると、平行移動成分T [0035] In yet step S850, the rotational movement component R 3x3 step S840, the three-dimensional coordinate values in the marker four vertices of the marker coordinate system, given a 2-dimensional coordinate value after ideal perspective transformation matrix of the camera, translation component T
3x1が得られる(詳細については、第1文献の2.3. 3x1 is obtained (for more information, the first document 2.3.
2節を参照)。 See Section 2). 【0036】以上の結果から、変換行列T cmが求められ、既知であるマーカ座標系と世界座標系との位置関係から、世界座標系からカメラ座標系への変換行列、つまりビューイング変換行列M C2を得る(ステップS86 [0036] From the above results, the transformation matrix T cm is determined from the positional relationship between the marker coordinate system and the world coordinate system is known, a transformation matrix from the world coordinate system to the camera coordinate system, i.e. viewing transformation matrix M obtain a C2 (step S86
0)。 0). 【0037】このようにして得られたビューイング変換行列M C2から撮像部110の位置姿勢を推定した後は、上述の6自由度センサを用いる場合と同様に仮想物体の映像を生成し、撮像部110から入力される現実空間の映像と合成し、MR画像を生成する。 [0037] Thus, after estimating the position and orientation of the imaging unit 110 from viewing transformation matrix M C2 obtained, the generating the image of the same virtual object in the case of using the 6 degree-of-freedom sensor described above, imaging synthesized with the picture of the real space is input from the section 110, to generate an MR image. 【0038】この手法により、画像情報のみから撮像部の位置姿勢110を求められる。 [0038] This approach, determined the position and orientation 110 of the imaging unit from the image information only. しかし、マーカ220 However, the marker 220
Bを常に撮像部110において撮像し、さらにマーカ2 Captured at all times the imaging unit 110 B, further marker 2
20Bの内部の識別用パターンが認識可能な程度に近い距離から撮像していなければ、撮像部110の位置姿勢の推定は不可能である。 If not captured from a close distance to the extent inside the identification pattern is recognizable in 20B, the estimation of the position and orientation of the image sensing unit 110 is not possible. これは、マーカ220Bに完全に依存した方法であり、見回す範囲内にマーカ220B This is entirely dependent manner to marker 220B, markers within the Look 220B
を検出できない状態、または、マーカ220Bから離れてパターンが認識不可能な状態では、この推定方法が使用できないことを意味する。 State can not be detected, or the unrecognizable state pattern is away from the marker 220B, which means that the estimation method is not available. 【0039】<方法3:ジャイロセンサと画像とのハイブリッドな推定方法>次にジャイロセンサと画像情報を用いてハイブリッドに撮像部の位置姿勢を推定する方法について、図6、図9を用いて説明する。 [0039]: a method for estimating the position and orientation of the imaging unit in the hybrid with <Method 3 hybrid method of estimating a gyro sensor and the image> then the gyro sensor and the image information, FIG. 6, with reference to FIG. 9 described to. 【0040】図6は、ジャイロセンサと画像情報を用いた撮像部位置姿勢推定部170Cの構成例を示すブロック図である。 [0040] Figure 6 is a block diagram showing a configuration example of an imaging unit position and orientation estimation unit 170C using a gyro sensor and image information. 撮像部位置姿勢推定部170Cは、HMD Imaging unit position and orientation estimation unit 170C includes, HMD
に取り付けられ、その姿勢を計測するジャイロセンサ1 Mounted on, the gyro sensor 1 for measuring the position
20Cの計測値を受ける姿勢計測部620、撮像部11 Orientation measuring unit 620 receives the measurement value of 20C, the imaging unit 11
0(ステレオカメラ)からの画像を取得するとともに、 0 acquires the image from the (stereo camera),
撮影画像からマーカ220Aの3次元位置を検出する機能を持つ撮像画像取得部150、撮像画像取得部150 Captured image acquisition unit 150 from the captured image having a function of detecting a three-dimensional position of the marker 220A, the captured image acquisition unit 150
及び姿勢計測部620からの情報に基づき撮像部110 And the imaging unit 110 based on the information from the orientation measurement unit 620
の位置姿勢を推定する位置姿勢推定部610から構成される。 Composed of position and orientation estimation unit 610 for estimating the position and orientation. 【0041】まず、撮像部110の位置姿勢を推定する処理を行う前に、基準マーカと呼ばれるマーカ220A [0041] First, before processing for estimating the position and orientation of the image sensing unit 110, the marker 220A called reference marker
を撮像して、第1フレームの初期カメラ位置姿勢を求める必要がある。 By imaging the need to determine the initial camera position and orientation of the first frame. なお、フレームとは撮像された単位画像のことを指す。 Incidentally, refer to the captured unit image is a frame. この基準マーカは世界座標系上での3次元位置が既知であり、かつ同一直線上にない3つのマーカ220Aである。 The fiducial marker three-dimensional position on the world coordinate system is known and is a three markers 220A not collinear. さらに、初期カメラ位置姿勢を求めるときに、この3つのマーカ220Aが左右のカメラに撮像されていなければならない。 Further, when determining the initial camera position and orientation, the three markers 220A must have been captured in the left and right cameras. 【0042】まず、ステレオカメラである撮像部110 [0042] First, the imaging unit 110 is a stereo camera
で3つの基準マーカ220Aを同時に撮像し、エピポーラ拘束により左右画像中のマーカの対応付けを行う。 In simultaneously imaging the three reference markers 220A, to associate the marker in the left and right images by epipolar constraint. この対応付けを行ったマーカと既知であるマーカの3次元位置を利用して、撮像部110の初期位置姿勢を算出する(詳細については、神原,岩佐,竹村,横矢: 「マーカの切替え追跡による広範囲位置合わせ可能なビデオシースルー型拡張現実感」,信学会技報, PRMU99-19 Using the three-dimensional position of this association is known as a marker of performing the marker, for calculating (details the initial position and orientation of the image sensing unit 110, Kanbara, Iwasa, Takemura, Yokoya: by the "marker switching track wide range alignable video see-through augmented reality ", IEICE Technical report, PRMU99-19
9,pp. 51-56, Jan, 2000.を参照)。 9, pp. 51-56, Jan, referring to 2000.). このようにして得られた初期カメラ位置姿勢を基に、マーカ追跡を行って第2フレーム以降のカメラ位置姿勢を求める。 Based Thus the initial camera position and orientation can be obtained by: obtaining the camera position and orientation of the second and subsequent frames by performing a marker tracking. また、マーカ追跡を行っている間は、常に1つ以上のマーカが撮像され、かつマーカとして認識されていなければならない。 Further, while performing a marker tracking is always one or more markers are captured, and must be recognized as a marker. 【0043】図9はマーカ追跡処理中の位置姿勢推定部610の処理を説明するフローチャートである。 [0043] FIG. 9 is a flowchart illustrating processing of the position and orientation estimating section 610 in the marker tracking process. まず、 First of all,
撮像部110の回転成分の推定については、姿勢計測部620からの計測値を受ける(ステップS900)。 For estimation of the rotational component of the imaging unit 110, receives the measured value from the orientation measurement unit 620 (step S900). 次に、ステップS910で、撮像部110の平行移動成分を推定する。 Next, in step S910, to estimate the translation component of the imaging unit 110. この推定は、ステップS940により格納した前フレームのマーカ3次元位置と、現フレームから得られるマーカ3次元位置と、ステップS900で得られた回転移動成分とから、行うことができる(第2文献の2.2節を参照)。 This estimate is the marker three-dimensional position of the previous frame stored in step S940, the marker three-dimensional position obtained from the current frame, and a resulting rotary movement component in step S900, may be performed (the second document see Section 2.2). 【0044】ステップS930では、ステップS900 [0044] In step S930, step S900
で得られた回転成分の推定値とステップS910で得られた平行移動成分の推定値を基に、現在のフレームにおける画像上のマーカ位置を予測し、予測した範囲においてマーカ検出処理を行う。 Based on the estimates of the translation component obtained by the estimated value and the step S910 of the obtained rotational component predicts the marker position on the image in the current frame, performing marker detection processing in the predicted range. このマーカ検出処理は、図4 The marker detection process, Figure 4
のマーカ検出部420の処理と同様の処理である。 A process similar to the process of the marker detection section 420. 【0045】ステップS930において、ステップS9 [0045] In step S930, step S9
00で得られた回転成分の推定値とステップS910で得られた平行移動成分の推定値を基に、ビューイング変換行列M C3を算出する。 Based on the estimates of the translation component obtained by the estimated value and the step S910 of the obtained rotational component 00, calculates the viewing transformation matrix M C3. さらに、次フレームのマーカ検出のためのマーカ3次元位置を現在の撮像部110の位置姿勢を基にステレオカメラによって求め、ステップS940において保存しておく。 Further, it determined by the stereo camera based on the current position and orientation of the image sensing unit 110 of the marker 3-dimensional position for the marker detection of the next frame, keep in step S940. 【0046】このようにして得られたビューイング変換行列M C3から、撮像部110の位置姿勢を推定し、< [0046] Thus from viewing transformation matrix M C3 obtained in, estimating the position and orientation of the image sensing unit 110, <
方法1>、<方法2>と同様に仮想物体の映像を生成する。 Method 1>, to generate an image of the virtual object in the same manner as <Method 2>. さらに、撮像部110から入力される現実空間の映像と仮想物体の映像とを合成し、MR画像を生成してH Furthermore, by combining the image of the image and the virtual object in the real space is input from the imaging unit 110 generates an MR image H
MD100の表示部を介してユーザに提示する。 It is presented to the user via the display unit of the MD100. 【0047】この手法では、HMDに取り付けられたジャイロセンサを利用することにより、広範囲に移動し、 [0047] In this method, by using the gyro sensor attached to HMD, move extensively,
見回すことが可能である。 It is possible to look around. しかし、マーカが撮像されていない状態で一定の距離を移動すると平行移動成分が推定できなくなり、撮像部110の位置姿勢推定処理は継続できなくなる。 However, the marker will not be able to estimate translation component when moving the predetermined distance in a state of not being captured, position and orientation estimation processing of the imaging unit 110 is unable to continue. 【0048】以上、本実施形態に係る撮像部位置姿勢推定装置で切り替えて使用する3つの撮像部位置姿勢推定方法の概要と性質について述べた。 [0048] have been described above summary and the nature of the three imaging unit position and orientation estimation method used by switching the imaging unit position and orientation estimation apparatus according to the present embodiment. 以下では、これらの方法を切り替えて使用するための具体的な構成及び動作について説明する。 The following describes specific configuration and operation for use by switching these methods. 【0049】<複合現実感提示システム>図1は、本発明の実施形態に係る撮像部位置姿勢推定装置を適用した複合現実感提示システムの構成例を示すブロック図である。 [0049] <MR presentation system> FIG. 1 is a block diagram showing a configuration example of a mixed reality presentation system to which the imaging unit position and orientation estimation apparatus according to an embodiment of the present invention. 【0050】複合現実感提示システムは、ユーザにMR The mixed reality presentation system, MR to the user
空間画像を提示するHMD100と、HMD100に装着された撮像部110から得られる現実空間の画像を受ける撮像画像の取得部150と、撮影画像の取得部15 And HMD 100 for presenting the spatial image, the acquisition unit 150 of the captured image subjected to image in real space obtained from the imaging unit 110 mounted on HMD 100, the photographed image acquisition section 15
0から得られる撮像部110の画像をそのまま表示する現実空間の描画部180と、本発明の実施形態に係る撮像部位置姿勢推定装置200と、撮像部位置姿勢推定装置200から出力される撮像部110の位置姿勢情報を用いて仮想空間画像を描画し、現実空間の描画部180 A drawing unit 180 of the real space is displayed as it is an image of the imaging unit 110 obtained from the 0, an imaging unit position and orientation estimation apparatus 200 according to an embodiment of the present invention, an imaging unit that is output from the imaging unit position and orientation estimation unit 200 using the position and orientation information of 110 draws a virtual space image, in real space rendering unit 180
から得られる現実空間映像と合成する仮想空間の融合描画部190とから構成されている。 And a fusion rendering unit 190. of the virtual space is combined with the real space image obtained from. 【0051】本実施形態の複合現実感提示システムにおいて用いるHMD100はビデオシースルーHMDであり、現実空間を撮像するステレオカメラである撮像部1 [0051] HMD100 used in a mixed reality presentation system of the present embodiment is a video see-through HMD, the image pickup unit 1 is a stereo camera for imaging the real space
10と、撮像部110の位置姿勢推定に利用する6自由度位置姿勢センサ120と、同じく撮像部110の位置姿勢推定に利用するジャイロセンサ125と、現実空間と仮想空間の融合画像(MR画像)を提示するための、 10, the 6-DOF position and orientation sensor 120 to be used for position and orientation estimation of the imaging unit 110, as in the gyro sensor 125 to be used for position and orientation estimation of the imaging unit 110, a fusion image of the real space and the virtual space (MR image) for presenting,
例えばLCDからなる表示部130とから構成されている。 For example and a display unit 130. consisting LCD. さらに、撮像部110、6自由度センサ120A、 Further, the imaging unit 110,6-freedom sensor 120A,
ジャイロセンサ120C、表示部130はHMD100 Gyro sensor 120C, the display unit 130 HMD100
に固定されている。 It has been fixed. なお、HMD100に設けられるセンサは、撮像部位置姿勢推定装置200が切り替えて使用する推定方法に応じて適宜加除されることに留意されたい。 The sensor provided in HMD100 It should be noted that the insertion and deletion appropriately according to the estimation method used by switching the imaging unit position and orientation estimation apparatus 200. 【0052】本実施形態において、撮像部位置姿勢推定装置200は、<方法1>で説明した位置姿勢推定部1 [0052] In this embodiment, the imaging unit position and orientation estimation apparatus 200, <Method 1> position and orientation estimation unit 1 described in the
70A(図4)、<方法2>で説明した位置姿勢推定部170B(図5)及び、<方法3>で説明した位置姿勢推定部170C(図6)と同等の位置姿勢推定部170 70A (FIG. 4), <Method 2> described position and orientation estimation unit 170B (FIG. 5) and, <Method 3> position and orientation estimation unit 170C as described in (6) the equivalent position and posture estimation unit 170
A〜170Cと、これら位置姿勢推定部170A〜17 And A~170C, these position and orientation estimation unit 170A~17
0Cを動的に切り替える推定方法の選択部160A、1 Selector 160A of dynamically switching estimating method 0C, 1
60Bと、使用する推定方法(すなわち、位置姿勢推定部)を指定する推定方法指定部195から構成される。 And 60B, the estimation method to be used (i.e., position and orientation estimation unit) consists of estimating method specifying unit 195 to specify.
なお、本実施形態において使用する推定方法はユーザが決定し、推定方法指定部195に指示することによって使用する位置姿勢推定部が切り替えられる。 Incidentally, the estimation method used in the present embodiment the user is determined, is switched by the position and orientation estimation unit used by instructing the estimation method specifying unit 195. また、推定方法指定部195は例えばワイヤード又はワイヤレスリモコンとしてユーザが手元で使用できるように構成することが好ましい。 Also, estimating method specifying unit 195 is preferable to be configured for use with hand the user as a wired or wireless remote control, for example. 【0053】図2は、図1における複合現実感提示システムの使用時の状態を説明する図である。 [0053] Figure 2 is a diagram for explaining the state of use of the mixed reality presentation system in FIG. 本実施形態では、6自由度位置姿勢センサ120Aとして、Polhemus In the present embodiment, as 6 degrees of freedom position and orientation sensor 120A, Polhemus
社の3SPCACE FASTRAK(以下、FASTRAK)、ジャイロセンサ120Cとして、InterSense社のIS-300(以下、IS-300) Company of 3SPCACE FASTRAK (hereinafter, FASTRAK), as a gyro sensor 120C, InterSense's IS-300 (hereinafter, IS-300)
を用いている。 It is used. また、FASTRAKセンサは、トランスミッタから発生する磁界をレシーバが受け、レシーバが接続されているFASTRAKセンサのコントローラ(不図示)によってレシーバの位置と姿勢を出力する構成を有するため、FASTRAKセンサのトランスミッタ210をテーブル240Aに、FASTRAKセンサのレシーバ(ステーション)120AをHMD100に配置した。 Further, FASTRAK sensor, since it has a structure subjected to a magnetic field generated from the transmitter the receiver, the receiver to output the position and orientation of the receiver by a controller (not shown) of FASTRAK sensors connected, the transmitter 210 of FASTRAK sensor in table 240A, it was placed receiver (station) 120A of FASTRAK sensor HMD 100. また、図1に示すように、6自由度センサ120A(正確にはFASTRE Further, as shown in FIG. 1, 6-freedom sensor 120A (to be exact FASTRE
AKのコントローラ)の出力は位置姿勢推定部170A内部の位置姿勢計測部410へ入力される。 The output of AK controller) is input to the position and orientation estimation unit 170A inside the position and orientation measurement unit 410. また、送受信機の組み合わせからなることから、FASTREAKセンサの測定範囲は有限であり、図2の215にその測定範囲を示す。 Moreover, since composed of a combination of a transceiver, measuring range of FASTREAK sensor is finite, showing the measurement range 215 of FIG. 【0054】もちろん、6自由度センサやジャイロセンサなどは前述した製品に限るものではなく、それぞれ< [0054] Of course, such as the six-degree-of-freedom sensor and a gyro sensor is not limited to the products mentioned above, each <
方法1>、<方法3>の実施が可能な任意のセンサを利用可能であり、使用するセンサに応じて具体的な実装方法は変化する。 Method 1>, available any sensor capable of implementation in <Method 3>, a specific implementation in accordance with the sensors used may vary. 【0055】図2の220A、220Bは現実空間に配置されたマーカを表している。 [0055] in FIG. 2 220A, 220B represents the markers placed in real space. 本実施形態では、220 In the present embodiment, 220
Aはテーブル240A上に配置され、220Bはテーブル240Bに配置されている。 A is placed on a table 240A, 220B are arranged on the table 240B. マーカ220Aは位置姿勢推定部170A及び170Cを利用するときに使用するマーカであり、現実空間を撮像した撮像画像から色でマーカ220Aを抽出できるよう、テーブル240Aとは異なる色、本実施形態では赤色を有するシール状のものを利用している。 Marker 220A is a marker to be used when using the position and orientation estimation unit 170A and 170C, so that the marker 220A can extract physical space in color from the captured image captured by the color different from the table 240A, red in this embodiment It utilizes those seals like having. 【0056】マーカ220Bは位置姿勢推定部170B [0056] marker 220B is the position and orientation estimation unit 170B
を利用するときに使用するマーカを表し、<方法2>で説明したマーカ220Bと同様の、内部に白地に黒い線分などで表された識別パターンを有する黒の正方形マーカである。 It represents a marker to be used when using a black square marker with the same markers 220B as described in <Method 2>, the identification pattern represented in such a black line on a white background in the interior. また、個々のマーカ220A、220Bの世界座標系230上での位置はあらかじめ計測しておき、 Further, each marker 220A, position on the world coordinate system 230 of 220B is measured in advance,
それぞれの位置姿勢推定処理を行うときの入力データとする。 The input data when performing a respective position and orientation estimation processing. なお、本実施形態において、マーカ種は220 In the present embodiment, the marker species 220
A、220Bのようなマーカに限るものではなく、<方法1>、<方法2>、<方法3>においてマーカとして取り扱え、撮像部110の位置姿勢推定処理が可能であれば任意のマーカが適応可能である。 A, is not limited to a marker, such as 220B, <Method 1>, <Method 2>, handled as markers in <Method 3>, any marker adapted if possible position and orientation estimation processing of the imaging unit 110 possible it is. また、切り替えて使用される位置姿勢推定処理の全てで共用可能なマーカを用いることも可能である。 It is also possible to use a shared marker at every position and orientation estimation processing used by switching. 具体的には220Bの枠部分の色を赤くしたマーカをマーカ220Aとして配置してもよい。 Specifically it may be arranged in red with marker color of the frame portion of 220B as a marker 220A. 【0057】図2中のA、B、Cの場所にあるHMD1 [0057] There A in FIG. 2, B, in place of the C HMD 1
00は同一のHMD100がA→B→Cの順番で移動した状態を表している。 00 shows a state in which the same HMD100 moves in the order of A → B → C. なお、HMD100はユーザ(不図示)が装着しているものとする。 Incidentally, HMD 100 is assumed that the user (not shown) is wearing. 図2中のHMD10 HMD10 in FIG. 2
0は、図1で示したHMD100と同じ構成である。 0 has the same configuration as HMD100 shown in FIG. 位置Aは、6自由度センサ120Aの計測範囲215内にある場所を示し、位置Bは、6自由度センサ120Aの計測範囲215内から出て、6自由度センサ120Aの計測値に大幅な誤差が生じる場所を指している。 Position A shows the location of the six degrees of freedom sensors 120A in the measurement range 215, position B, out of the 6 DOF sensor 120A of the measurement range within 215, 6 significantly the measurement value of the DOF sensor 120A errors pointing to the location to occur. さらに、位置Cはテーブル240Bの台上を間近に見られる場所を指している。 Furthermore, the position C is pointing to the location seen in close on base table 240B. 【0058】位置Aにユーザが装着したHMD100が位置する場合には、FASTRAKセンサのトランスミッタ2 [0058] When the HMD100 the user wears is located at the position A, the FASTRAK sensor transmitter 2
10から近く、計測範囲215の内部であるので、ユーザは位置姿勢推定部170Aを選択する。 Near to 10, since the inside of the measurement range 215, the user selects the position and orientation estimation unit 170A. 【0059】次に、ユーザが装着するHMD100が位置Aから位置Bに移動した場合は、FASTRAKセンサの計測範囲215内から出てしまったので、ユーザに提示されるMR画像は、FASTRAKセンサ誤差から現実空間と仮想物体の位置が大幅にずれている画像となっている。 Next, if the HMD100 worn by the user has moved from position A to position B, so had out of FASTRAK sensor measurement range within 215, MR image presented to the user, from FASTRAK sensor error position of the real space and the virtual object is in the image are shifted greatly. そこでユーザは、例えば3つの位置姿勢推定部の各々を直接指定するスイッチ又は、押下される毎に順次使用する位置姿勢推定部を巡回的に切り替えるスイッチからなる推定方法指定部195を用いて選択部160A,160 Where the user, for example, a switch or specifies each of the three position and orientation estimation unit directly, the selection unit using the estimated method specifying unit 195 consisting of a switch for switching the position and orientation estimation unit that sequentially used each time it is pressed cyclically 160A, 160
Bを切り替え、位置姿勢推定部170Bを利用して撮像部110の位置姿勢を推定するように選択する。 Switching the B, and selected so as to estimate the position and orientation of the imaging unit 110 by using the position and orientation estimation unit 170B. 【0060】この時点で、位置姿勢推定部は170Bに切り替えられ、ジャイロセンサ120Cと画像情報から撮像部110の位置姿勢を推定する。 [0060] At this point, the position and orientation estimation unit is switched to 170B, to estimate the position and orientation of the imaging unit 110 from the gyro sensor 120C and the image information. なお、位置姿勢推定部170Bに切り替える時には、左右の撮像部110 Incidentally, when switching the position and orientation estimation unit 170B includes right and left imaging units 110
L、110Rに同一直線上にない3つ以上のマーカ22 L, not on the same straight line to the 110R 3 or more of the marker 22
0Aが撮像されていなければならないが、位置Bでは、 Although 0A must have been picked up, in the position B,
テーブル240Aから離れた位置であるので、テーブル240Aを注目していれば、マーカ220Aを3つ以上撮像することは容易である。 Since at a position away from the table 240A, if the target table 240A, it is easy to image the markers 220A 3 or more. 切り替え後の第1フレームで初期カメラ位置姿勢を求めた後は、マーカ追跡処理によりマーカ220Aは左右の撮像部110L、110R After obtaining the initial camera position and orientation in the first frame after switching the marker 220A by the marker tracking process right and left imaging units 110L, 110R
が同一のマーカ220Aを1つ撮像していれば、撮像部110の位置姿勢を推定できる。 There if the one image the same marker 220A, can estimate the position and orientation of the imaging unit 110. 【0061】次に、ユーザが位置Cに移った場合、テーブル240Bにはマーカ220Bのみしか設置されておらず、マーカ220Aは撮像されない状態になる。 Next, if the user has moved to the position C, not been installed only a marker 220B is a table 240B, the marker 220A is in a state that is not captured. マーカ220Aが撮像されていない場合、位置姿勢推定部1 If the marker 220A is not captured, the position and orientation estimating section 1
70Cは撮像部110の推定に必要な平行移動成分が得られず、MR画像において現実空間と仮想物体の位置にずれが生じる。 70C is translation component can not be obtained necessary for the estimation of the imaging unit 110, deviation occurs in the position of the real space and the virtual object in the MR images. ここで、ユーザはマーカ220Bに対応した推定方法である位置姿勢推定部170Cを選択することでこのずれを解消することができる。 Here, the user is able to eliminate the deviation by selecting the position and orientation estimation unit 170C is estimation method corresponding to the marker 220B. このとき、位置姿勢推定部170Cはマーカ220Bの画像情報から撮像部110の位置姿勢を推定している。 At this time, the position and orientation estimation unit 170C are estimating the position and orientation of the imaging unit 110 from the image information of the marker 220B. 【0062】図3は、本実施形態における撮像部位置姿勢推定装置200の動作を説明するフローチャートである。 [0062] Figure 3 is a flow chart for explaining the operation of the imaging unit position and orientation estimation apparatus 200 in this embodiment. まずステップS300において、撮像部110で撮影した現実空間画像を、撮像画像の取得部150を介して取得する。 First, in step S300, the physical space image captured by the imaging unit 110 obtains via the acquisition unit 150 of the captured image. 【0063】次にステップS310において、ユーザが指定した推定方法指定部195の指示が位置姿勢推定部170Aかどうかを判定する。 [0063] Next determined in step S310, the whether instruction position and orientation estimation unit 170A estimates method specifying unit 195 designated by the user. 推定方法指定部195が170Aを指定していた場合は、ステップS330に移る。 If estimating method specifying unit 195 has specified the 170A proceeds to step S330. もし、指定していなかった場合は、ステップS32 If, If you did not specify, step S32
0に移る。 It goes to 0. 【0064】ステップS320では、ステップS310 [0064] In step S320, step S310
と同様に、位置姿勢推定部170Bが指定されているかどうかを判定する。 And similarly, it determines whether the position and orientation estimation unit 170B is designated. 選択されていた場合はステップS3 Step S3, if it has been selected
40へ、選択されていなかった場合は、ステップS35 To 40, in the case that has not been selected, step S35
0に移る。 It goes to 0. 【0065】ステップS330においては、<方法1> [0065] In step S330, <Method 1>
で説明した、位置姿勢推定部170A(図4)を用いて撮像部の位置姿勢推定処理を行う(処理のフローチャートは図7)。 In the description, the position and orientation estimation unit 170A (FIG. 4) performs the position and orientation estimation processing of the imaging unit by using a (flowchart of processing Figure 7). この処理では、撮像部110にて撮像されたマーカ220Aの2次元位置と対応するマーカ220 In this process, the marker 220 and the corresponding two-dimensional positions of the markers 220A captured by the imaging unit 110
Aの3次元位置とを利用して、6自由度センサ120A Using the three-dimensional position of A, 6-freedom sensor 120A
であるFASTRAKセンサの計測値を補正し、撮像部110 Correcting the measured value of FASTRAK sensor is, the imaging unit 110
の位置姿勢を推定する。 To estimate the position and orientation. なお、位置姿勢推定部170A It should be noted that the position and orientation estimation section 170A
のマーカの検出部420においては、赤色マーカを検出するための特徴量Isを算出する式として、上述の式1 In the detection unit 420 of the marker, as an expression for calculating a feature quantity Is to detect the red marker, the above equation 1
を利用する。 Use the to. 【0066】ステップS360において、求めた撮像部110の位置姿勢推定値(ビューイング変換行列M C1 )を仮想空間の融合描画部190に出力する。 [0066] In step S360, it outputs the position and orientation estimates of the image pickup unit 110 obtained the (viewing transformation matrix M C1) fusion rendering unit 190 of the virtual space. ステップS340においては、<方法2>で説明した、位置姿勢推定部170B(図5)を用いて撮像部の位置姿勢推定処理を行う(処理のフローチャートは図8)。 In step S340, as described in <Method 2>, position and orientation estimation unit 170B performs the position and orientation estimation processing of the imaging unit by using (Fig. 5) (the flow chart of the process Figure 8). この処理によって撮像された画像からマーカ220Bを抽出し、撮像部110の位置姿勢である、ビューイング変換行列M C2を求める。 Extracting the marker 220B from the image picked up by this process, the position and orientation of the imaging unit 110 obtains a viewing transformation matrix M C2. 【0067】ステップS350においては、<方法3> [0067] In step S350, <Method 3>
で説明した、位置姿勢推定部170C(図6)を用いて撮像部の位置姿勢推定処理を行う(処理のフローチャートは図9)。 In the description, the position and orientation estimation unit 170C performs the position and orientation estimation processing of the imaging unit with reference to (Figure 6) (the flow chart of the process Figure 9). この処理では、IS-300センサを撮像部11 In this process, the imaging unit 11 to IS-300 sensor
0の姿勢検出手段とマーカ検出時の予測手段として利用し、撮像部110の回転移動成分と平行移動成分を求め、最終的な撮像部110の位置姿勢であるビューイング変換行列M C3を求める。 Used as 0 of the posture detection means and the marker detection when the prediction means obtains a rotational movement component and the translation component of the imaging unit 110 obtains a viewing transformation matrix M C3 is the position and orientation of the final imaging unit 110. 【0068】仮想空間の融合描画部190は、世界座標系で定義されている仮想物体データを選択部160Bから得られるビューイング変換行列(M C1 、M C2 、M [0068] Fusion rendering unit 190 of the virtual space is obtained the virtual object data defined in the world coordinate system from the selection section 160B viewing transformation matrix (M C1, M C2, M
C3 )を用いてカメラ座標系上の値に変換することにより、ユーザの視点位置から見た仮想物体の画像を描画し、現実空間の画像と合成することでMR画像を生成する。 By converting the values on the camera coordinate system using C3), it draws an image of the virtual object as seen from the user's viewpoint position, and generates an MR image by combining the image in real space. 生成されたMR画像は、HMD100の表示部13 The generated MR image, the display unit 13 of HMD100
0を介してユーザに提示される。 It is presented to the user via the 0. 【0069】なお、撮像画像の取得部150、撮像画像の描画部180、仮想空間の融合描画部190及び撮像部位置姿勢同定装置200はいずれも、CPU、RA [0069] The acquisition unit 150 of the captured image, the captured image of the drawing unit 180, any fusion rendering unit 190 and the imaging unit position and orientation identification apparatus 200 in the virtual space, CPU, RA
M、ROM、外部記憶装置(HDD、CD−ROM M, ROM, an external storage device (HDD, CD-ROM
等)、ディスプレイ、キーボード(マウス等のポインティングデバイスをふくむ)等を有する汎用コンピュータ装置を用いてそれぞれの機能を実現可能なソフトウェアモジュールを実行することにより実現することが可能である。 Etc.), a display can be realized by executing a software module capable of implementing the respective functions by using a general purpose computer system having a keyboard (including a pointing device such as a mouse) or the like. もちろん、必要な処理速度を得るため、処理の一部又は全部を専用のハードウェアによって実行することも可能である。 Of course, to obtain the required processing speed, it is also possible to perform some of the processing or the whole by dedicated hardware. 【0070】<第2の実施形態>上述の第1の実施形態においては、各位置姿勢推定処理部170A〜170C [0070] In the <Second Embodiment> In the first embodiment described above, the position and orientation estimation processing unit 170A~170C
を、状況によってユーザが能動的に切り替える構成を説明した。 A user description actively switched configuration depending on the situation. 本実施形態においては、使用する位置姿勢推定部をユーザが切り替えるのではなく、6自由度センサ1 In the present embodiment, instead of the position and orientation estimation unit used in the user switches, 6-freedom sensor 1
20Aの位置情報、撮像画像取得部150の撮像画像内に撮像されているマーカの情報などの情報を基に自動的に切り替えることを特徴とする。 20A position information, characterized by automatically switching on the basis of information such as information of the marker being captured in the captured image of the captured image acquisition unit 150. 【0071】図11は、本実施形態に係る撮像部位置姿勢同定装置201を用いた複合現実感提示システムの構成例を示すブロック図である。 [0071] Figure 11 is a block diagram showing a configuration example of a mixed reality presentation system using the imaging unit position and orientation identification apparatus 201 according to this embodiment. 推定方法の選択部160 Selection of the estimation method 160
Bにおいて、6自由度センサ120Aの位置情報、各位置姿勢推定処理部170A〜170Cから得られるマーカ情報などに基づき、現在の状況に適した推定方法を自動的に選択し、選択した推定方法を推定方法指定部19 In B, the position information of the 6 DOF sensor 120A, based on such marker information obtained from the position and orientation estimation processing unit 170a to 170c, automatically selects the estimation method suitable for the current situation, the estimation method selected estimation method specifying unit 19
5に指示する。 It instructs the 5. そして、推定方法指定部195が、この指示に基づいて選択部160Aを切り替え、使用する位置姿勢推定部を変更する。 The estimating method specifying unit 195 switches the selection unit 160A on the basis of this instruction, changes the position and orientation estimation unit used. 【0072】図10は、本実施形態に係る選択部160 [0072] Figure 10, the selection unit 160 according to the embodiment
Bの動作例を説明するフローチャートである。 Is a flowchart illustrating an exemplary operation of B. ここでは、まずHMD100が6自由度センサ120Aの測定範囲215内にあるか判定し(ステップS101)、内部に位置する場合は位置姿勢推定処理部170Aを選択する(ステップS104)。 Here, first HMD100 it is determined whether the 6 within the measurement range 215 degrees of freedom sensors 120A (step S101), when located inside selecting the position and orientation estimation processing unit 170A (step S104). 一方、測定範囲215の外と判定されると、選択部160Aを用いて位置姿勢推定処理部170Bにも撮像画像を一時的に供給し、撮像された画像中に直線上にないマーカ220Aを3つ以上撮影しているか否かを判定する(ステップS102)。 On the other hand, if it is determined that the outside of the measurement range 215, also temporarily supply a captured image to the position and orientation estimation processing unit 170B using the selection section 160A, a marker 220A is not in a straight line in the captured image 3 one or more judges whether or not the photographing (step S102). 条件を満たす場合には位置姿勢推定処理部170Bを選択する(ステップS105)。 Selects the position and orientation estimation processing unit 170B in the case conditions are satisfied (step S105). 条件を満たさない場合にはステップS103で、選択部160Aを用いて位置姿勢推定処理部170Cにも撮像画像を一時的に供給し、撮像された画像中にマーカ220Bが撮像されているか否かを判定する(ステップS103)。 In step S103, if the condition is not satisfied, even temporarily supply a captured image to the position and orientation estimation processing unit 170C using the selection portion 160A, whether the marker 220B in the captured image is captured determining (step S103). 条件を満たす場合には位置姿勢推定処理部170Cを選択する(ステップS106)。 Selects the position and orientation estimation processing unit 170C if condition is satisfied (step S106). 条件を満たさない場合には最後に推定されたビューイング変換行列を用いる(ステップS10 If the condition is not satisfied using last estimated the viewing transformation matrix (step S10
7)。 7). 現在使用している位置姿勢推定処理部の測定誤差が所定範囲外になった場合には(ステップS108)再度選択処理を行う。 If the measurement error in the position and orientation estimation processing unit currently in use is out of the predetermined range is carried out again selecting process (step S108). 【0073】このような自動選択処理を行うことにより、図2において位置Aの場所から位置Bの場所に移動する場合、位置Aの場所では、6自由度センサ120A [0073] By performing such automatic selection process, when moving to the location of the position B from the location of the position A in FIG. 2, at the location of the position A, 6-freedom sensor 120A
の計測値は、計測範囲215よりも内側の位置を示しているので、位置姿勢推定部170Aを自動的に選択する。 The measurements, it indicates an inner position than the measurement range 215 automatically selects the position and orientation estimation unit 170A. さらに、位置Bに移動する場合に、計測範囲215 Furthermore, when moving to the position B, the measurement range 215
の外に出るので、計測誤差が増加する。 Because out of the, measurement error increases. ここで、計測誤差が既定の閾値を越えた場合に、選択処理をおこない、 Here, if the measurement error exceeds a predetermined threshold, it makes a selection process,
左右の撮像部110が直線上にない3つのマーカ220 The right and left imaging units 110 are three not on a straight line marker 220
Aを同時に撮像されている場合は、位置姿勢推定部17 If it is captured simultaneously A, position and orientation estimation unit 17
0Bを選択する。 To select the 0B. もし、上記の条件に適合するマーカ2 If compatible with the above conditions marker 2
20Aを撮像できていない場合は撮像画像取得部150 Imaging If 20A to not been captured image acquisition unit 150
の画像からマーカ220Bの検出処理を行い、検出できた場合は位置姿勢推定部170Cを選択する。 Image performs detection processing of markers 220B from, if it can be detected to select a position and orientation estimation unit 170C. さらに、 further,
マーカ220Bが検出されない場合は、最後に推定できた撮像部110の位置姿勢を継続して利用する。 If the marker 220B is not detected, the continued use of the position and orientation of the imaging unit 110 which can last estimate. 【0074】この自動切り替えを行う条件としては、計測誤差が所定値を超えた場合に限るものではなく、ユーザに提示するMR画像における、現実空間と仮想物体の位置のずれがなるべく最小になるように判定できるものであれば適応可能である。 [0074] The condition for this automatic switching is not limited when the measurement error exceeds a predetermined value, in the MR images to be presented to the user, real space and to shift the position of the virtual object becomes possible minimum it is adaptable so long as it can be determined to. また、マーカ220A、22 In addition, the marker 220A, 22
0Bが撮像されているか否かについては、各位置姿勢推定処理部170A〜170Cを用いずに選択部160B 0B is whether being imaged, the selection section 160B without using the position and orientation estimation processing unit 170A~170C
が取得部150から画像を取得して判定することも可能である。 There can also be determined by obtaining the image from the acquisition unit 150. この場合、現在使用している位置姿勢推定処理部170A〜170Cの測定誤差が所定値を超えなくとも、マーカの検出状況に応じて切り替え処理を行っても良い。 In this case, even the measurement error of the position and orientation estimation processing unit 170A~170C currently used does not exceed the predetermined value, it may be performed switching process according to the detection status of the marker. 【0075】<第3の実施形態>上記実施形態においては、推定方法指定部195によって選択部160Aを切り替え、いずれか1つの位置姿勢推定処理部170A〜 [0075] In the <Third Embodiment> In the above embodiment, switching the selector 160A by estimating method specifying unit 195, any one of a position and orientation estimation processing unit 170A~
170Cにのみ撮像画像取得部150からの撮像画像を供給していた。 It has been supplied a captured image from the captured image acquisition unit 150 only 170C. 本実施形態では、撮像画像取得部150 In this embodiment, the captured image acquisition unit 150
からの撮像画像を特定の位置姿勢推定処理部ではなく、 Rather than a specific position and orientation estimation processing unit the captured image from,
全ての位置姿勢推定処理部170A〜170Cに供給するとともに、同時に推定処理を行い、各位置姿勢推定処理部170A〜170Cの推定処理結果である3つの撮像部110の位置姿勢に基づき、1つの推定処理結果の選出、または3つの推定処理結果からの合成を行い、最適な撮像部110の位置姿勢を求めることを特徴とする。 Supplies all of the position and orientation estimation processing unit 170a to 170c, simultaneously performs estimation processing based on the position and orientation of the three imaging unit 110 is an estimated result of processing the position and orientation estimation processing unit 170a to 170c, 1 single putative selection of processing results, or perform a combination of the three putative processing results, and obtains the optimal position and orientation of the image sensing unit 110. 【0076】図12は、本実施形態に係る撮像部位置姿勢同定装置202を用いた複合現実感提示システムの構成例を示すブロック図である。 [0076] Figure 12 is a block diagram showing a configuration example of a mixed reality presentation system using the imaging unit position and orientation identification apparatus 202 according to this embodiment. また、図13は図12における複合現実感提示システムの使用時の状態を説明する図である。 Further, FIG. 13 is a diagram for explaining the state of use of the mixed reality presentation system in FIG. 図13に示すように、本実施形態においては常に3つの位置姿勢推定処理部170A〜170Cを用いた推定処理を行うため、テーブル240A以外の床、壁にも位置姿勢推定処理部170A、170Bが用いるマーカ220Aが、またテーブル240Aに位置姿勢推定処理部170C用のマーカ220Bが配置されている。 As shown in FIG. 13, for performing all times estimation processing using the three position and orientation estimation processing unit 170A~170C in the present embodiment, the floor other than the table 240A, the position in the wall and orientation estimation processing unit 170A, the 170B marker 220A is used, but also a marker 220B for position and orientation estimation processing unit 170C to the table 240A is disposed. 【0077】全ての位置姿勢推定部170A、170 [0077] All of the position and orientation estimation section 170A, 170
B、170Cに撮像画像取得部150からの撮像画像が入力され、同時に推定処理を行う。 B, 170C captured image from the captured image acquisition unit 150 is input to the estimation process is performed at the same time. 全ての推定処理が完了した時点で推定結果の合成部160Cにおいて処理結果の比較が行われる。 Comparison as the result of the synthesis section 160C of the estimation results when all estimation process has been completed is performed. 処理結果の比較は、それぞれの推定処理結果に撮像部110の推定結果信頼度Rを設定し、Rによる推定結果の重み付け平均を算出する。 Comparison of processing results, set the estimation result reliability R of the imaging unit 110 to each of the estimation processing result, it calculates the weighted average of the estimated result by R. C ”=R ・M C1 +R ・M C2 +R ・M C3 (式2) 但し、R +R +R =1である。M C1 、M C2 、M M C "= R 1 · M C1 + R 2 · M C2 + R 3 · M C3 ( Formula 2) where it is R 1 + R 2 + R 3 = 1 .M C1, M C2, M
C3はそれぞれ、位置姿勢推定処理部170A〜170 Each C3, position and orientation estimation processing unit 170A~170
Cが出力する推定処理結果である撮像部の位置姿勢を表すビューイング変換行列である。 C is a viewing transformation matrix representing the position and orientation of the imaging unit is the estimation processing result output. 【0078】各位置姿勢推定処理部170A〜170C [0078] each position and orientation estimation processing unit 170A~170C
に対する推定結果信頼度R 、R 、R の設定方法の例を以下に示す。 An example of a method of setting the estimation result reliability R 1, R 2, R 3 below for. 位置姿勢推定部170Aにおけるセンサ計測誤差に関する関数fからr1、撮像画像上におけるマーカ220Bの外接長方形が占める面積率に関する関数gからr2(ただし、外接長方形の4頂点すべてが撮像画面上に存在すること)、図9のステップS910 Position and orientation estimation unit r1 from the function f with respect to sensor measurement error in 170A, r2 (although the function g related to the circumscribed rectangle area ratio of the markers 220B on the captured image, that all four vertices of a circumscribed rectangle is present on the imaging screen ), the steps of FIG. 9 S910
で求められる平行移動量に関する関数hからr3を求める。 Request r3 from the function h and translation amount sought. errはセンサ計測誤差、tはマーカ検出時に現在の計測誤差でマーカを検出できる範囲を示す閾値を表す。 S err sensor measurement error, t represents the threshold indicating the range capable of detecting markers in the current measurement error upon marker detection. jは撮像画像上におけるマーカ220Bの外接長方形が占める面積率、kはマーカ220Bのパターンが識別可能な最低の面積率とする。 j is an area fraction of an circumscribed rectangular markers 220B on the captured image, k is the pattern of the marker 220B is a distinct minimum area ratio. r3=h(u) h(u)=1−u (0≦u≦1) uは平行移動量を表す。 r3 = h (u) h (u) = 1-u (0 ≦ u ≦ 1) u represents an amount of translation. 【0079】さらに、r1、r2、r3の比率を求め、 [0079] In addition, determine the ratio of r1, r2, r3,
、R 、R を設定する。 Setting the R 1, R 2, R 3 . また、各位置姿勢推定処理部170A〜170Cに対する重み付けは前述の設定方法に限るものではなく、各位置姿勢推定処理部170 Further, weighting for each position and orientation estimation processing unit 170A~170C is not limited to the above-described setting method, the position and orientation estimation processing unit 170
A〜170Cで行われる推定処理の内容や、適用条件等を考慮して任意に設定可能である。 The contents of the estimation process and performed in A~170C, be arbitrarily set in consideration of application conditions. 【0080】 【他の実施形態】上述の第1の実施形態においては、1 [0080] [Other embodiments] In the first embodiment described above, 1
つの位置姿勢推定処理部170A〜170Cを選択して用いる場合のみ説明したが、推定処理選択手段195によって複数の位置姿勢推定処理部を選択し、第2の実施形態及び第3の実施形態における選択処理の候補となる位置姿勢推定処理部を指定するように構成することも可能である。 One only has been described when used in selecting the position and orientation estimation processing unit 170a to 170c, and selects a plurality of position and orientation estimation processing unit by estimating the processing selecting means 195, selection of the second embodiment and the third embodiment it is also possible to configure so as to specify the position and orientation estimation processing unit that are candidates for treatment. 【0081】上述の実施形態においては、3つの異なる位置姿勢推定処理を切り替える場合のみを説明したが、 [0081] In the above embodiment has been described only for switching the three different position and orientation estimation processing,
2つ又は4つ以上の処理を切り替えて使用することも可能である。 It is also possible to use two or switch four or more processing. また、切り替えて使用する位置姿勢推定処理方法についても、上述した手法以外の方法を用いることも可能である。 As for the position and orientation estimation processing method of switching with use, it is also possible to use a method other than the method described above. 【0082】上述の実施形態においては、1つの機器から構成される撮像部位置姿勢同定装置についてのみ説明したが、本発明の撮像部位置姿勢同定装置と同等の機能を複数の機器から構成されるシステムによって実現しても良い。 [0082] In the above embodiment has been described only the imaging unit position and orientation identification apparatus consists of a single device, and the imaging unit position and orientation identification apparatus equivalent to the functions of the present invention a plurality of devices it may be realized by the system. 【0083】尚、前述した実施形態の機能を実現するソフトウェアのプログラム(実施形態で説明したフローチャートに対応したプログラム)を、記録媒体から直接、 [0083] Incidentally, the software program for realizing the functions of the aforementioned embodiments (a program corresponding to the flowcharts described in the embodiment), directly from a recording medium,
或いは有線/無線通信を用いて当該プログラムを実行可能なコンピュータを有するシステム又は装置に供給し、 Or to a system or apparatus having a computer capable of executing the program using wired / wireless communication,
そのシステム或いは装置のコンピュータが該供給されたプログラムを実行することによって同等の機能が達成される場合も本発明に含む。 If a computer of the system or apparatus equivalent functions are achieved by executing a program that is the feed also includes the present invention. 【0084】従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。 [0084] Therefore, in order to realize the functional processing of the present invention by the computer, supplied to the computer, it realizes the program code itself present invention to be installed. つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。 In other words, the computer program itself for realizing the functional processing of the present invention are also included in the present invention. 【0085】その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等、プログラムの形態を問わない。 [0085] In this case, the form of program can be any one of object code, a program executed by an interpreter, and script data supplied to an OS, and the form of the program. 【0086】プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記録媒体、MO、CD−RO [0086] As a recording medium for supplying the program are a floppy disk, a hard disk, a magnetic recording medium such as a magnetic tape, MO, CD-RO
M、CD−R、CD−RW、DVD−ROM、DVD− M, CD-R, CD-RW, DVD-ROM, DVD-
R、DVD−RW等の光/光磁気記憶媒体、不揮発性の半導体メモリなどがある。 R, optical / magneto-optical storage medium such as a DVD-RW, and a nonvolatile semiconductor memory. 【0087】有線/無線通信を用いたプログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイル等、クライアントコンピュータ上で本発明を形成するコンピュータプログラムとなりうるデータファイル(プログラムデータファイル)を記憶し、接続のあったクライアントコンピュータにプログラムデータファイルをダウンロードする方法などが挙げられる。 [0087] As the method of supplying the program using wired / wireless communication, file or the like including an automatic installation function is a computer program itself or a compressed, forming the present invention to a server on a computer network, the present invention on a client computer forming storing data files which can be a computer program (program data file) that, a method of downloading and the like of the program data file to a connected client computer. この場合、プログラムデータファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに配置することも可能である。 In this case, divide the program data file into a plurality of segment files, it is also possible to arrange the segment files in different servers. 【0088】つまり、本発明の機能処理をコンピュータで実現するためのプログラムデータファイルを複数のユーザに対してダウンロードさせるサーバ装置も本発明に含む。 [0088] That is, including the present invention a server device that downloads program data files for implementing the functional processing of the present invention by computer to multiple users. 【0089】また、本発明のプログラムを暗号化してC [0089] In addition, to encrypt the program of the present invention C
D−ROM等の記憶媒体に格納してユーザに配布し、所定の条件を満たしたユーザに対して暗号化を解く鍵情報を、例えばインターネットを介してホームページからダウンロードさせることによって供給し、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。 Distributed to users and stored in a storage medium such as D-ROM, supplied by download key information for decryption to the user who satisfies a predetermined condition, for example, from a website via the Internet, the key It can be realized by installing in the computer to execute the encrypted program by using the information. 【0090】また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。 [0090] The computer that executes the readout program, in addition to functions of the above-described embodiments are realized, based on an instruction of the program, an OS or the like running on the computer, the actual processing It performs part or all of the functions of the foregoing embodiments can be implemented by this processing. 【0091】さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、 [0091] Furthermore, the program read out from the recording medium are written in a memory of a function expansion unit connected to a function expansion board inserted into the computer or, based on instructions of the program,
その機能拡張ボードや機能拡張ユニットに備わるCPU CPU of the function expansion board or function expansion unit
などが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。 Running on the computer performs part or all of the actual processing so that the functions of the foregoing embodiments can be implemented by this processing. 【0092】 【発明の効果】以上説明したように、本発明によれば、 [0092] As has been described in the foregoing, according to the present invention,
複数の位置姿勢推定処理のうち適切な処理を選択して使用可能になるため、従来よりも広い範囲で撮像部の位置姿勢を高精度に推定可能となり、結果として広範囲でユーザに位置ずれのないMR画像を提示することができる。 To become available by selecting the appropriate processing of the plurality of position and orientation estimation processing, it can be estimated and becomes a high precision the position and orientation of the imaging unit in a wider range than the conventional, with no positional deviation to the user in a wide range as a result it is possible to present the MR image.

【図面の簡単な説明】 【図1】本発明の第1の実施形態に係る撮像部位置姿勢推定装置を適用した複合現実感提示システムの構成例を示すブロック図である。 It is a block diagram showing a configuration example of a mixed reality presentation system first employing an imaging unit position and orientation estimation apparatus according to an embodiment of the BRIEF DESCRIPTION OF THE DRAWINGS [Figure 1] present invention. 【図2】図1における複合現実感提示システムの使用時の状態を説明する図である。 2 is a diagram for explaining the state of use of the mixed reality presentation system in FIG. 【図3】第1の実施形態における撮像部位置姿勢推定装置200の動作を説明するフローチャートである。 3 is a flowchart for explaining the operation of the imaging unit position and orientation estimation apparatus 200 in the first embodiment. 【図4】画像と6自由度センサを用いた撮像部位置姿勢推定部170Aの構成例を示すブロック図である。 4 is a block diagram showing a configuration example of an imaging unit position and orientation estimation unit 170A using images and 6 degrees of freedom sensors. 【図5】画像を用いた撮像部位置姿勢推定部170Bの構成例を示すブロック図である。 5 is a block diagram showing a configuration example of an imaging unit position and orientation estimation unit 170B using the image. 【図6】ジャイロセンサと画像情報を用いた撮像部位置姿勢推定部170Cの構成例を示すブロック図である。 6 is a block diagram showing a configuration example of an imaging unit position and orientation estimation unit 170C using a gyro sensor and image information. 【図7】図4における位置姿勢推定部430で行われる処理の概要を示す図である。 7 is a diagram showing an outline of processing performed by the position and orientation estimating section 430 in FIG. 4. 【図8】図5の画像処理用マーカ検出部510と位置姿勢推定部520の処理を説明するフローチャートである。 8 is a flowchart describing the processing of the image processing marker detecting unit 510 of FIG. 5 position and orientation estimation unit 520. 【図9】図6の位置姿勢推定部610の処理を説明するフローチャートである。 9 is a flowchart illustrating processing of the position and orientation estimating section 610 in FIG. 6. 【図10】本発明の第2の実施形態における選択部16 Selection in the second embodiment of the present invention; FIG 16
0Bの動作例を説明するフローチャートである。 Is a flowchart illustrating an exemplary operation of 0B. 【図11】本発明の第2の実施形態に係る撮像部位置姿勢推定装置を適用した複合現実感提示システムの構成例を示すブロック図である。 11 is a block diagram showing an exemplary configuration of a mixed reality presentation system to which the imaging unit position and orientation estimation apparatus according to a second embodiment of the present invention. 【図12】本発明の第3の実施形態に係る撮像部位置姿勢推定装置を適用した複合現実感提示システムの構成例を示すブロック図である。 12 is a block diagram showing a configuration example of a mixed reality presentation system according to the third image pickup unit position and orientation estimation apparatus according to an embodiment of the present invention. 【図13】図12における複合現実感提示システムの使用時の状態を説明する図である。 13 is a diagram for explaining the state of use of the mixed reality presentation system in FIG.

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl. 7識別記号 FI テーマコート゛(参考) G06T 17/40 G06T 17/40 E H04N 5/262 H04N 5/262 Fターム(参考) 2F065 AA04 AA37 BB28 CC00 EE00 FF04 FF05 FF61 FF65 FF67 JJ03 JJ05 JJ26 QQ00 QQ04 QQ17 QQ18 QQ23 QQ24 QQ25 QQ27 QQ28 QQ39 QQ42 5B050 AA00 BA08 BA09 DA02 DA04 EA24 EA28 FA02 FA05 5B057 AA20 BA02 DA07 DB03 DB06 DB09 DC08 DC25 DC33 5C023 AA11 AA37 AA38 BA11 CA03 5L096 AA09 CA02 FA03 FA06 FA67 FA69 GA32 JA03 JA09 ────────────────────────────────────────────────── ─── of the front page continued (51) Int.Cl. 7 identification mark FI theme Court Bu (reference) G06T 17/40 G06T 17/40 E H04N 5/262 H04N 5/262 F -term (reference) 2F065 AA04 AA37 BB28 CC00 EE00 FF04 FF05 FF61 FF65 FF67 JJ03 JJ05 JJ26 QQ00 QQ04 QQ17 QQ18 QQ23 QQ24 QQ25 QQ27 QQ28 QQ39 QQ42 5B050 AA00 BA08 BA09 DA02 DA04 EA24 EA28 FA02 FA05 5B057 AA20 BA02 DA07 DB03 DB06 DB09 DC08 DC25 DC33 5C023 AA11 AA37 AA38 BA11 CA03 5L096 AA09 CA02 FA03 FA06 FA67 FA69 GA32 JA03 JA09

Claims (1)

  1. 【特許請求の範囲】 【請求項1】 3次元空間内に位置する撮像手段の位置姿勢を推定し、位置姿勢情報として出力する撮像部位置姿勢推定装置であって、 前記撮像手段の位置姿勢を互いに異なる方法で推定する、2つ以上の推定手段と、 前記推定手段を動的に選択する選択手段とを備え、 前記選択手段で選択された推定手段による推定結果を前記位置姿勢情報として出力することを特徴とする撮像部位置姿勢推定装置。 Estimating the position and orientation of the Claims 1 imaging means located within the three-dimensional space, an imaging unit position and orientation estimation apparatus for outputting a position and orientation information, the position and orientation of the image pickup means estimated by different methods, and two or more estimation means, and selecting means for dynamically selecting said estimating means, and outputs the estimation result by the estimating means selected by said selecting means as said position and orientation information imaging unit position and orientation estimation apparatus characterized by. 【請求項2】 前記推定手段の少なくとも1つが、前記撮像部が撮像した画像を用いて前記推定を行うことを特徴とする請求項1記載の撮像部位置姿勢推定装置。 At least one of wherein said estimating means, but the imaging unit position and orientation estimation apparatus according to claim 1, wherein said imaging unit and performs the estimation using a captured image. 【請求項3】 前記撮像部が撮像した画像を用いる前記推定手段が、前記画像中に含まれる、3次元位置が既知である物体の画像を用いて前記推定を行うことを特徴とする請求項2記載の撮像部位置姿勢推定装置。 Claims wherein said estimating means using an image in which the imaging unit is imaging, the included in the image, and performs the estimation using an image of the object 3-dimensional position is known 2 imaging unit position and orientation estimation apparatus according. 【請求項4】 前記推定手段の少なくとも1つが、前記撮影部が撮像した画像を用いずに前記推定を行うことを特徴とする請求項1乃至請求項3のいずれか1項に記載の撮像部位置姿勢推定装置。 Wherein at least one of the estimating means, the image pickup unit according to any one of claims 1 to 3 wherein the imaging unit and performing the estimation without using the image captured position and orientation estimation apparatus. 【請求項5】 前記撮影部が撮像した画像を用いずに前記推定を行う前記推定手段が、前記撮像部又はその近傍に設けられた計測手段による計測結果を用いて前記推定を行うことを特徴とする請求項4記載の撮像部位置姿勢推定装置。 Wherein said estimating means said imaging unit performs the estimation without using the image captured is characterized in that said estimated using the measurement result by the measuring means provided in the imaging unit or the vicinity thereof imaging unit position and orientation estimation apparatus according to claim 4,. 【請求項6】 前記推定手段の少なくとも1つが、前記撮像部が撮像した画像と、前記撮像部又はその近傍に設けられた計測手段による計測結果を用いて前記推定を行うことを特徴とする請求項1乃至請求項5のいずれか1 6. at least one of said estimating means, wherein said imaging unit and performs the image captured, the estimated using the measurement result by the measuring means provided in the imaging unit or the vicinity thereof any of claims 1 to 5 1
    項に記載の撮像部位置姿勢推定装置。 Imaging unit position and orientation estimation apparatus according to claim. 【請求項7】 前記選択手段が、外部からの選択指示により前記推定手段を選択することを特徴とする請求項1 Wherein said selecting means, according to claim 1, characterized by selecting said estimating means by the selection instruction from the outside
    乃至請求項6のいずれか1項に記載の撮像部位置姿勢推定装置。 To the imaging unit position and orientation estimation apparatus according to any one of claims 6. 【請求項8】 前記選択手段が、現在選択されている前記推定手段の測定誤差、前記位置姿勢情報又は前記撮像部が撮像した画像に基づく情報の少なくとも1つに基づいて、前記複数の推定手段のうち1つを選択することを特徴とする請求項1乃至請求項6のいずれか1項に記載の撮像部位置姿勢推定装置。 Wherein said selecting means, the measurement error of the estimating means which is currently selected, the position and orientation information or the imaging unit based on at least one of information based on the images captured, the plurality of estimation means imaging unit position and orientation estimation apparatus according to any one of claims 1 to 6, characterized in that selecting one of the. 【請求項9】 複数の前記推定手段の推定結果を受け取り、前記複数の推定結果のうち1つ、あるいは2つ以上の推定結果に基づいて生成した合成推定結果を前記位置姿勢情報として出力する選択合成手段を更に有することを特徴とする請求項1乃至請求項6のいずれか1項に記載の撮像部位置姿勢推定装置。 Receives 9. estimation results of the plurality of said estimating means, selecting and outputting one of said plurality of estimation results, or two or more estimation results of the synthesized estimate result generated on the basis as the position and orientation information imaging unit position and orientation estimation apparatus according to any one of claims 1 to 6, characterized by further comprising combining means. 【請求項10】 請求項1乃至請求項9のいずれか1項に記載の撮像部位置姿勢推定装置と、 前記撮像部位置姿勢推定装置から得られる前記位置姿勢情報を用いて仮想空間画像を生成し、前記撮像部が撮像した画像と合成して複合現実感画像を生成する複合現実感画像生成手段と、 前記複合現実感画像を前記撮像部を装着するユーザに提示する提示手段を有することを特徴とする複合現実感提示システム。 10. generator and the imaging unit position and orientation estimation apparatus according to any one of claims 1 to 9, the virtual space image using the position and orientation information obtained from the imaging unit position and orientation estimation apparatus and, a mixed reality image generation means for said imaging unit to generate a mixed reality image by combining the images captured, in that it has presentation means for presenting the mixed reality image to the user mounting the imaging unit mixed reality presentation system which is characterized. 【請求項11】 3次元空間内に位置する撮像手段の位置姿勢を、互いに異なる方法で推定する2つ以上の推定手段を選択的に用いて推定し、位置姿勢情報として出力する撮像部位置姿勢推定装置の制御方法であって、 前記推定手段を動的に選択する選択ステップと、 前記選択ステップで選択された推定手段による推定結果を前記位置姿勢情報として出力する出力ステップとを有することを特徴とする撮像部位置姿勢推定装置の制御方法。 11. The three-dimensional position and orientation of the image sensing means located in the space, estimated using two or more estimation means for estimating differently selectively each other, the imaging unit position and orientation output as position and orientation information a control method for estimating apparatus, characterized in that it comprises a selection step of dynamically selecting the estimating means, and an output step of outputting the estimation result by the estimating means selected by the selecting step as the position and orientation information the method of the image pickup unit position and orientation estimation apparatus according to. 【請求項12】 前記推定手段の少なくとも1つが、前記撮像部が撮像した画像を用いて前記推定を行うことを特徴とする請求項11記載の撮像部位置姿勢推定装置の制御方法。 12. at least one of said estimation means, the control method of the image pickup unit position and orientation estimation apparatus according to claim 11, wherein said imaging unit and performs the estimation using a captured image. 【請求項13】 前記撮像部が撮像した画像を用いる前記推定手段が、前記画像中に含まれる、3次元位置が既知である物体の画像を用いて前記推定を行うことを特徴とする請求項12記載の撮像部位置姿勢推定装置の制御方法。 Claims wherein said estimating means using an image in which the imaging unit is imaging, the included in the image, and performs the estimation using an image of the object 3-dimensional position is known the method of the image pickup unit position and orientation estimation apparatus according 12. 【請求項14】 前記推定手段の少なくとも1つが、前記撮影部が撮像した画像を用いずに前記推定を行うことを特徴とする請求項11乃至請求項13のいずれか1項に記載の撮像部位置姿勢推定装置の制御方法。 14. at least one of said estimating means, the imaging unit according to any one of claims 11 to 13 wherein the imaging unit and performing the estimation without using the image captured the method of the position and orientation estimation apparatus. 【請求項15】 前記撮影部が撮像した画像を用いずに前記推定を行う前記推定手段が、前記撮像部又はその近傍に設けられた計測手段による計測結果を用いて前記推定を行うことを特徴とする請求項14記載の撮像部位置姿勢推定装置の制御方法。 15. characterized in that said estimation means performs the estimation without using the image which the imaging unit is imaging performs the estimation using the measurement result by the measuring means provided in the imaging unit or the vicinity thereof the method of the image pickup unit position and orientation estimation apparatus according to claim 14, wherein the. 【請求項16】 前記推定手段の少なくとも1つが、前記撮像部が撮像した画像と、前記撮像部又はその近傍に設けられた計測手段による計測結果を用いて前記推定を行うことを特徴とする請求項11乃至請求項15のいずれか1項に記載の撮像部位置姿勢推定装置の制御方法。 16. at least one of said estimating means, wherein said imaging unit and performs the image captured, the estimated using the measurement result by the measuring means provided in the imaging unit or the vicinity thereof the method of the image pickup unit position and orientation estimation apparatus according to any one of claim 11 through claim 15. 【請求項17】 前記選択ステップが、外部からの選択指示により前記推定手段を選択することを特徴とする請求項11乃至請求項16のいずれか1項に記載の撮像部位置姿勢推定装置の制御方法。 17. The selecting step, control of the imaging unit position and orientation estimation apparatus according to any one of claims 11 to 16, characterized in that selects said estimating means by the selection instruction from the outside Method. 【請求項18】 前記選択ステップが、現在選択されている前記推定手段の測定誤差、前記位置姿勢情報又は前記撮像部が撮像した画像に基づく情報の少なくとも1つに基づいて、前記複数の推定手段のうち1つを選択することを特徴とする請求項11乃至請求項16のいずれか1項に記載の撮像部位置姿勢推定装置の制御方法。 18. The selecting step, the measurement error of the estimating means which is currently selected, the position and orientation information or the imaging unit based on at least one of information based on the images captured, the plurality of estimation means the method of the image pickup unit position and orientation estimation apparatus according to any one of claims 11 to 16 and selects one of the. 【請求項19】 複数の前記推定手段の推定結果を受け取り、前記複数の推定結果のうち1つ、あるいは2つ以上の推定結果に基づいて生成した合成推定結果を前記位置姿勢情報として出力する選択合成ステップを更に有することを特徴とする請求項11乃至請求項16のいずれか1項に記載の撮像部位置姿勢推定装置の制御方法。 Receive 19. estimation results of the plurality of said estimating means, selecting and outputting one of said plurality of estimation results, or two or more estimation results of the synthesized estimate result generated on the basis as the position and orientation information the method of the image pickup unit position and orientation estimation apparatus according to any one of claims 11 to 16, further comprising a synthesis step. 【請求項20】 請求項11乃至請求項19のいずれか1項に記載の撮像部位置姿勢推定装置の制御方法をコンピュータ装置に実行させることを特徴とするコンピュータプログラム。 20. The method of claim 11 or a computer program, characterized in that to execute a control method of the image pickup unit position and orientation estimation apparatus according to the computer device in any one of claims 19. 【請求項21】 請求項20記載のコンピュータプログラムを格納したことを特徴とするコンピュータ装置読みとり可能な記憶媒体。 21. A computer device readable storage medium characterized by storing a computer program according to claim 20, wherein.
JP2002081251A 2002-03-22 2002-03-22 Image pickup portion position and attitude estimating device, its control method and composite reality presenting system Pending JP2003281504A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002081251A JP2003281504A (en) 2002-03-22 2002-03-22 Image pickup portion position and attitude estimating device, its control method and composite reality presenting system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002081251A JP2003281504A (en) 2002-03-22 2002-03-22 Image pickup portion position and attitude estimating device, its control method and composite reality presenting system

Publications (1)

Publication Number Publication Date
JP2003281504A true JP2003281504A (en) 2003-10-03

Family

ID=29229963

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002081251A Pending JP2003281504A (en) 2002-03-22 2002-03-22 Image pickup portion position and attitude estimating device, its control method and composite reality presenting system

Country Status (1)

Country Link
JP (1) JP2003281504A (en)

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005293141A (en) * 2004-03-31 2005-10-20 Canon Inc Method and device for detecting marker, and method for estimating position and attitude
JP2005326282A (en) * 2004-05-14 2005-11-24 Canon Inc Position and attitude measurement method and system
JP2005326274A (en) * 2004-05-14 2005-11-24 Canon Inc Arrangement information inferring method and information processor
JP2006313549A (en) * 2005-05-03 2006-11-16 Seac02 Srl Augmented reality system for identifying real marker object
JP2007187524A (en) * 2006-01-12 2007-07-26 Shimadzu Corp Magnetic mapping device
JP2007525663A (en) * 2004-01-30 2007-09-06 エレクトロニック・スクリプティング・プロダクツ・インコーポレイテッドElectronic Scripting Products, Inc. Processing method and apparatus for orientation data obtained from the orientation of the object elongate
JP2007271563A (en) * 2006-03-31 2007-10-18 Canon Inc Position and attitude measuring method and device
JP2008046750A (en) * 2006-08-11 2008-02-28 Canon Inc Image processor and image processing method
JP2008209142A (en) * 2007-02-23 2008-09-11 Nintendo Co Ltd Information processing program and information processor
JP2009085805A (en) * 2007-10-01 2009-04-23 Shimadzu Corp Motion tracker apparatus
JP2010515189A (en) * 2007-01-05 2010-05-06 トタル イメルシオン Using data from the actual scene being represented by an image, a method for inserting a virtual object in real-time image stream and apparatus
JP2010532465A (en) * 2007-05-22 2010-10-07 メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツング The camera pose estimation apparatus and method for augmented reality image
JP2010257461A (en) * 2009-04-26 2010-11-11 Ailive Inc Method and system for creating shared game space for networked game
JP2011134343A (en) * 2011-02-24 2011-07-07 Nintendo Co Ltd Image processing program, image processing apparatus, image processing system, and image processing method
JP2012212460A (en) * 2012-06-22 2012-11-01 Nintendo Co Ltd Image processing program, image processing apparatus, image processing system, and image processing method
JP2013134538A (en) * 2011-12-26 2013-07-08 Sony Corp Information processing terminal, information processing method, and program
JP2013534616A (en) * 2010-05-17 2013-09-05 コミシリア ア レネルジ アトミック エ オ エナジーズ オルタネティヴズ Method and system for fusing data resulting from the image sensor and motion or position sensor
US8571266B2 (en) 2011-02-24 2013-10-29 Nintendo Co., Ltd. Computer-readable storage medium, image processing apparatus, image processing system, and image processing method
US8625898B2 (en) 2011-02-24 2014-01-07 Nintendo Co., Ltd. Computer-readable storage medium, image recognition apparatus, image recognition system, and image recognition method
US8705868B2 (en) 2011-02-24 2014-04-22 Nintendo Co., Ltd. Computer-readable storage medium, image recognition apparatus, image recognition system, and image recognition method
US8705869B2 (en) 2011-02-24 2014-04-22 Nintendo Co., Ltd. Computer-readable storage medium, image recognition apparatus, image recognition system, and image recognition method
US8718325B2 (en) 2011-02-24 2014-05-06 Nintendo Co., Ltd. Computer-readable storage medium, image processing apparatus, image processing system, and image processing method
JP2014167786A (en) * 2012-10-31 2014-09-11 Boeing Co Automated frame-of-reference calibration for augmented reality
JP2014170483A (en) * 2013-03-05 2014-09-18 Nintendo Co Ltd Information processing system, information processor, information processing method and program for information processing
JP2014216813A (en) * 2013-04-25 2014-11-17 日本放送協会 Camera attitude estimation device and program therefor
WO2015045834A1 (en) * 2013-09-30 2015-04-02 独立行政法人産業技術総合研究所 Marker image processing system
JP2015158461A (en) * 2014-02-25 2015-09-03 富士通株式会社 Attitude estimation device, attitude estimation method and attitude estimation computer program
JP2015528936A (en) * 2012-06-14 2015-10-01 クアルコム,インコーポレイテッド Adaptive switching between the vision support inertia camera pose estimation and vision-based only camera pose estimation of
JP2015532077A (en) * 2012-09-27 2015-11-05 メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツングmetaio GmbH Position and direction process of determining the device associated with the image capturing apparatus for capturing at least one image
JP2015225014A (en) * 2014-05-29 2015-12-14 日本電信電話株式会社 Position estimation device, position estimating method, and program
WO2016017121A1 (en) * 2014-07-28 2016-02-04 パナソニックIpマネジメント株式会社 Augmented reality display system, terminal device and augmented reality display method
US9710967B2 (en) 2011-08-31 2017-07-18 Nintendo Co., Ltd. Information processing program, information processing system, information processing apparatus, and information processing method, utilizing augmented reality technique

Cited By (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4809778B2 (en) * 2004-01-30 2011-11-09 エレクトロニック・スクリプティング・プロダクツ・インコーポレイテッドElectronic Scripting Products, Inc. Processing method and apparatus for orientation data obtained from the orientation of the object elongate
JP2007525663A (en) * 2004-01-30 2007-09-06 エレクトロニック・スクリプティング・プロダクツ・インコーポレイテッドElectronic Scripting Products, Inc. Processing method and apparatus for orientation data obtained from the orientation of the object elongate
JP4537104B2 (en) * 2004-03-31 2010-09-01 キヤノン株式会社 Marker detection method, the marker detection apparatus, position and orientation estimation method, and the MR space presentation method
JP2005293141A (en) * 2004-03-31 2005-10-20 Canon Inc Method and device for detecting marker, and method for estimating position and attitude
JP2005326282A (en) * 2004-05-14 2005-11-24 Canon Inc Position and attitude measurement method and system
JP4593968B2 (en) * 2004-05-14 2010-12-08 キヤノン株式会社 Position and orientation measuring method and apparatus
JP2005326274A (en) * 2004-05-14 2005-11-24 Canon Inc Arrangement information inferring method and information processor
JP4532982B2 (en) * 2004-05-14 2010-08-25 キヤノン株式会社 Placement information estimating method and an information processing apparatus
JP2006313549A (en) * 2005-05-03 2006-11-16 Seac02 Srl Augmented reality system for identifying real marker object
JP2007187524A (en) * 2006-01-12 2007-07-26 Shimadzu Corp Magnetic mapping device
JP2007271563A (en) * 2006-03-31 2007-10-18 Canon Inc Position and attitude measuring method and device
JP2008046750A (en) * 2006-08-11 2008-02-28 Canon Inc Image processor and image processing method
JP2010515189A (en) * 2007-01-05 2010-05-06 トタル イメルシオン Using data from the actual scene being represented by an image, a method for inserting a virtual object in real-time image stream and apparatus
JP2008209142A (en) * 2007-02-23 2008-09-11 Nintendo Co Ltd Information processing program and information processor
JP2010532465A (en) * 2007-05-22 2010-10-07 メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツング The camera pose estimation apparatus and method for augmented reality image
JP2013178252A (en) * 2007-05-22 2013-09-09 Metaio Gmbh Camera pose estimation apparatus and method for augmented reality imaging
US10033985B2 (en) 2007-05-22 2018-07-24 Apple Inc. Camera pose estimation apparatus and method for augmented reality imaging
US8452080B2 (en) 2007-05-22 2013-05-28 Metaio Gmbh Camera pose estimation apparatus and method for augmented reality imaging
JP2009085805A (en) * 2007-10-01 2009-04-23 Shimadzu Corp Motion tracker apparatus
JP2010257461A (en) * 2009-04-26 2010-11-11 Ailive Inc Method and system for creating shared game space for networked game
JP2013534616A (en) * 2010-05-17 2013-09-05 コミシリア ア レネルジ アトミック エ オ エナジーズ オルタネティヴズ Method and system for fusing data resulting from the image sensor and motion or position sensor
US8705869B2 (en) 2011-02-24 2014-04-22 Nintendo Co., Ltd. Computer-readable storage medium, image recognition apparatus, image recognition system, and image recognition method
US8718325B2 (en) 2011-02-24 2014-05-06 Nintendo Co., Ltd. Computer-readable storage medium, image processing apparatus, image processing system, and image processing method
US8571266B2 (en) 2011-02-24 2013-10-29 Nintendo Co., Ltd. Computer-readable storage medium, image processing apparatus, image processing system, and image processing method
US8625898B2 (en) 2011-02-24 2014-01-07 Nintendo Co., Ltd. Computer-readable storage medium, image recognition apparatus, image recognition system, and image recognition method
US8699749B2 (en) 2011-02-24 2014-04-15 Nintendo Co., Ltd. Computer-readable storage medium, image processing apparatus, image processing system, and image processing method
US8705868B2 (en) 2011-02-24 2014-04-22 Nintendo Co., Ltd. Computer-readable storage medium, image recognition apparatus, image recognition system, and image recognition method
JP2011134343A (en) * 2011-02-24 2011-07-07 Nintendo Co Ltd Image processing program, image processing apparatus, image processing system, and image processing method
US9710967B2 (en) 2011-08-31 2017-07-18 Nintendo Co., Ltd. Information processing program, information processing system, information processing apparatus, and information processing method, utilizing augmented reality technique
JP2013134538A (en) * 2011-12-26 2013-07-08 Sony Corp Information processing terminal, information processing method, and program
JP2015528936A (en) * 2012-06-14 2015-10-01 クアルコム,インコーポレイテッド Adaptive switching between the vision support inertia camera pose estimation and vision-based only camera pose estimation of
JP2012212460A (en) * 2012-06-22 2012-11-01 Nintendo Co Ltd Image processing program, image processing apparatus, image processing system, and image processing method
JP2015532077A (en) * 2012-09-27 2015-11-05 メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツングmetaio GmbH Position and direction process of determining the device associated with the image capturing apparatus for capturing at least one image
JP2014167786A (en) * 2012-10-31 2014-09-11 Boeing Co Automated frame-of-reference calibration for augmented reality
JP2014170483A (en) * 2013-03-05 2014-09-18 Nintendo Co Ltd Information processing system, information processor, information processing method and program for information processing
JP2014216813A (en) * 2013-04-25 2014-11-17 日本放送協会 Camera attitude estimation device and program therefor
WO2015045834A1 (en) * 2013-09-30 2015-04-02 独立行政法人産業技術総合研究所 Marker image processing system
US10262429B2 (en) 2013-09-30 2019-04-16 National Institute Of Advanced Industrial Science Marker image processing system
JPWO2015045834A1 (en) * 2013-09-30 2017-03-09 国立研究開発法人産業技術総合研究所 Marker image processing system
JP2015158461A (en) * 2014-02-25 2015-09-03 富士通株式会社 Attitude estimation device, attitude estimation method and attitude estimation computer program
JP2015225014A (en) * 2014-05-29 2015-12-14 日本電信電話株式会社 Position estimation device, position estimating method, and program
WO2016017121A1 (en) * 2014-07-28 2016-02-04 パナソニックIpマネジメント株式会社 Augmented reality display system, terminal device and augmented reality display method
US10152826B2 (en) 2014-07-28 2018-12-11 Panasonic Intellectual Property Mangement Co., Ltd. Augmented reality display system, terminal device and augmented reality display method

Similar Documents

Publication Publication Date Title
US9013550B2 (en) Online reference generation and tracking for multi-user augmented reality
JP4859205B2 (en) The information processing apparatus, information processing method, and program
US6621921B1 (en) Image processing apparatus
US7825948B2 (en) 3D video conferencing
EP2208021B1 (en) Method of and arrangement for mapping range sensor data on image sensor data
EP1596329B1 (en) Marker placement information estimating method and information processing device
KR100912715B1 (en) Method and apparatus of digital photogrammetry by integrated modeling for different types of sensors
JP5290864B2 (en) Position and orientation estimation apparatus and method
CN1320423C (en) Image display apparatus and method
US7773799B2 (en) Method for automatic stereo measurement of a point of interest in a scene
KR100879324B1 (en) A method for compressing video information and a recording medium readable by a computer, reading thereof
JP5362189B2 (en) The image processing apparatus and processing method
EP2328125B1 (en) Image splicing method and device
Teller et al. Calibrated, registered images of an extended urban area
US8520931B2 (en) Position and orientation measurement apparatus and method thereof
US7783443B2 (en) Information processing apparatus, information processing method, and calibration Jig
US7613356B2 (en) Position and orientation detection method and apparatus
US7928977B2 (en) Image compositing method and apparatus for superimposing a computer graphics image on an actually-sensed image
EP1870856B1 (en) Information-processing method and apparatus for calculating information regarding measurement target on the basis of captured images
US9325969B2 (en) Image capture environment calibration method and information processing apparatus
CN101162524B (en) Image-processing apparatus and method
JP5612916B2 (en) Position and orientation measuring apparatus, a processing method thereof, a program, a robot system
EP0899690A2 (en) Apparatus and method for presenting mixed virtual reality shared among operators
JP5013961B2 (en) Position and orientation measuring apparatus and control method thereof
JP6002126B2 (en) Method and apparatus for image-based positioning

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070105

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070427