JP2002090118A - Three-dimensional position and attitude sensing device - Google Patents

Three-dimensional position and attitude sensing device

Info

Publication number
JP2002090118A
JP2002090118A JP2000284318A JP2000284318A JP2002090118A JP 2002090118 A JP2002090118 A JP 2002090118A JP 2000284318 A JP2000284318 A JP 2000284318A JP 2000284318 A JP2000284318 A JP 2000284318A JP 2002090118 A JP2002090118 A JP 2002090118A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
marker
position
orientation
dimensional position
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000284318A
Other languages
Japanese (ja)
Other versions
JP4282216B2 (en )
Inventor
Yuichiro Akatsuka
Akito Saito
Takao Shibazaki
明人 斉藤
隆男 柴▲崎▼
祐一郎 赤塚
Original Assignee
Olympus Optical Co Ltd
オリンパス光学工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Abstract

PROBLEM TO BE SOLVED: To provide a three-dimensional position and attitude sensing device capable of performing a measurement in a wide range when analyzing the photographed image of a known marker whose position and attitude relation with an object is known and determining the relative position and attitude relation between the marker and a photographic means to determine the position and attitude of the object. SOLUTION: In this three-dimensional position and attitude sensing device, the image of one code marker 5 of a plurality of code markers 5 photographed in an image photographic part 1 is analyzed, and the relative position and attitude relation between the code marker 5 and the image photographic part 1 is determined to determine the three-dimensional position and attitude relation between the object 4 and the image photographic part 1.

Description

【発明の詳細な説明】 DETAILED DESCRIPTION OF THE INVENTION

【0001】 [0001]

【発明の属する技術分野】本発明は、画像撮影装置を利用して対象物を撮影し、当該対象物の相対的な3次元位置姿勢を計測する3次元位置姿勢センシング装置に関する。 The present invention relates photographs an object by using an image capturing apparatus, a three-dimensional position and orientation sensing device for measuring the relative three-dimensional position and orientation of the object.

【0002】 [0002]

【従来の技術】従来、所定形状の指標たるマーカを撮影した画像を解析することで、該マーカに対する画像入力手段の位置や姿勢を求める技術が知られている。 Conventionally, by analyzing an image obtained by photographing the indicator serving marker having a predetermined shape, technique for determining the position and orientation of the image input means it is known for the marker.

【0003】例えば、「VRインターフェースのための単眼による長方形マーカ位置・姿勢の高密度実時間推定方法」(3D Image Conference 96 予稿集 pp167 For example, "monocular high density real time estimation method of the rectangular marker position and orientation due for VR Interface" (3D Image Conference 96 Proceedings pp167
-172高橋章、石井郁夫、牧野秀夫、中野真 1996) -172 Akira Takahashi, Ikuo Ishii, Hideo Makino, Shin Nakano 1996)
には、位置座標が予め判っている長方形マーカを撮影して、当該長方形マーカの四隅の撮影画像上の位置から当該長方形マーカと撮影カメラの相対的位置姿勢関係を求め、該撮影カメラの位置及び姿勢を計算する技術が開示されている。 The, by photographing the rectangular marker position coordinates are known in advance, we obtain the relative position and orientation relationship between the rectangular markers and shoot camera from a position on the photographed image of the four corners of the rectangular marker position and the photographing camera technology to calculate the attitude has been disclosed.

【0004】 [0004]

【発明が解決しようとする課題】しかしながら、上述した従来技術では、カメラとマーカとが遠く離れている場合には、当該マーカの四隅の画像上での離間距離が小さくなり、検出精度が悪くなるという問題があり、ゆえに検出可能な範囲が限られていた。 [SUMMARY OF THE INVENTION However, in the prior art described above, when the camera and the marker is far away, the distance on the image of the four corners of the marker is reduced, the detection accuracy is deteriorated There is a problem that, because the detectable range is limited.

【0005】これを回避するため、複数のマーカをカメラが撮影する可能性のある空間領域にある程度の密度で配置しておき、カメラの撮影範囲にあるマーカのうち、 [0005] To avoid this, should be placed in a plurality of markers at a certain density in the space region that could camera shooting, of the markers in the shooting range of the camera,
ある程度近い距離のマーカを使って、このカメラとマーカの相対的位置姿勢を求めるようにすることもできる。 Using some short distance marker can be to obtain the relative position and orientation of the camera and the marker.
しかしながら、このように複数のマーカを用いた場合には、上述した従来技術のように単純な図形を用いた場合において、どのマーカに対しての相対的位置なのかを知ることが困難であった。 However, when used in this manner a plurality of markers, in case of using the simple shapes as in the prior art described above, it is difficult to know relative positions with respect to which the marker .

【0006】本発明は、上記問題に鑑みてなされたもので、その目的とするところは、対象物との位置姿勢関係が既知のマーカを撮影した画像を解析して、当該マーカと撮影手段との相対的位置姿勢関係を求め、これをもって当該対象物の位置及び姿勢を求める場合に、比較的広い領域で測定可能な3次元位置姿勢センシング装置を提供することにある。 [0006] The present invention has been made in view of the above problems, it is an object by analyzing the image position and orientation relationship between the object is photographed known markers, and the marker and the imaging means obtains the relative position and orientation relationship, when obtaining the position and orientation of the object with this invention is to provide a three-dimensional position and orientation sensing device capable of measuring in a relatively wide area.

【0007】 [0007]

【課題を解決するための手段】上記目的を達成するために、本発明の第1の態様では、撮影装置で撮影した画像より、対象物と撮影装置の相対的な3次元位置姿勢関係を計測する装置であって、上記対象物と3次元位置姿勢関係が既知のマーカとを上記撮影装置で撮影した画像を入力する画像入力手段と、上記画像入力手段より入力された画像において、上記マーカを当該マーカの幾何学的特徴を用いて同定する同定手段と、上記同定手段により同定された複数のマーカのうちの1つのマーカの画像を解析して、該マーカと上記撮影装置の相対的位置姿勢関係を求め、上記対象物と上記撮影装置との3次元位置姿勢関係を求める、単一マーカによる位置姿勢検出手段と、を有することを特徴とする3次元位置姿勢センシング装置が提供される To achieve the above object, according to the solution to ## with a first aspect of the present invention, from the image photographed by the photographing device, measuring the relative three-dimensional position and orientation relationship of the object and imaging device an apparatus for an image input means for inputting an image in which the object and the three-dimensional position and orientation relationship has taken a known marker in the photographing apparatus, the image input from the image input means, the marker and identifying means for identifying with the geometric characteristics of the marker, and analyzing the image of one marker of a plurality of markers identified by the identifying means, the relative position and orientation of the marker and the imaging apparatus obtained relation, obtains a three-dimensional position and orientation relationship between the object and the photographing device, the three-dimensional position and orientation sensing apparatus is provided which is characterized by having a position and orientation detector with a single marker

【0008】第2の態様では、上記第1の態様において、上記同定手段で同定された複数のマーカの画像上の位置に基づいて、該マーカと上記撮影装置の相対的な位置姿勢関係を求めて、上記対象物と上記撮影装置の3次元位置姿勢関係を求める、複数マーカによる位置姿勢検出手段と、上記単一マーカによる位置姿勢検出手段と上記複数マーカによる位置姿勢検出手段を択一的に切換える切換手段と、を更に有することを特徴とする3次元位置姿勢センシング装置が提供される。 [0008] In a second aspect, in the first aspect, based on the position on the image of a plurality of markers identified above identification means obtains the relative position and orientation relationship of the marker and the imaging apparatus Te, obtaining the three-dimensional position and orientation relationship of the object and the photographing device, alternatively the position and orientation detection means of a plurality markers, the position and orientation detection means of the position and orientation detection means and said plurality markers by the single marker 3-dimensional position and orientation sensing apparatus is provided, characterized by further comprising a switching means, the switching.

【0009】第3の態様では、上記第2の態様において、上記切換手段は、画像上のマーカの視野角に基づいて、上記単一マーカによる位置姿勢検出手段と上記複数のマーカによる位置姿勢検出手段を切換えることを特徴とする3次元位置姿勢センシング装置が提供される。 [0009] In a third aspect, in the second embodiment, the switching means, based on the viewing angle of the marker on the image, the position and orientation detection of the position and orientation detecting means and the plurality of markers by the single marker 3-dimensional position and orientation sensing apparatus is provided, wherein the switching means.

【0010】第4の態様では、上記第1の態様において、上記単一マーカによる位置姿勢検出手段は、上記1 [0010] In a fourth aspect, in the first aspect, the position and orientation detection means by the single marker, the 1
つのマーカの画像より複数の特徴部位を検出し、上記特徴部位の画像上での位置関係と上記特徴部位の実際のマーカ上での位置関係とを比較して、上記マーカと上記撮影装置の相対的位置姿勢関係を求めるものであることを特徴とする3次元位置姿勢センシング装置が提供される。 One of detecting a plurality of characteristic portions from the images of the markers is compared with the positional relationship on the actual marker positional relationship and the feature portion on the image of the feature portion, relative to the marker and the imaging apparatus 3-dimensional position and orientation sensing apparatus is provided for, characterized in that to determine the position and orientation relationship.

【0011】第5の態様では、上記第4の態様において、上記マーカの形状は4角形以上の多角形であり、上記単一マーカによる位置姿勢検出手段は、この多角形の頂点を上記特徴部位として検出することを特徴とする3 [0011] In a fifth aspect, in the fourth aspect, the shape of the marker is square or polygonal, the position and orientation detection means by the single markers, the feature portion vertices of this polygon 3 and detecting as
次元位置姿勢センシング装置が提供される。 Dimension position and orientation sensing apparatus is provided. 第6の態様では、上記第1の態様において、上記マーカは、当該マーカの大きさを表わす情報を含むことを特徴とする3次元位置姿勢センシング装置が提供される。 In a sixth aspect, in the first aspect, the marker is 3-dimensional position and orientation sensing apparatus, characterized in that it contains data indicating the size of the marker is provided.

【0012】第7の態様では、上記第1の態様において、上記マーカは、当該マーカの場所の属性を表わす情報を含むことを特徴とする3次元位置姿勢センシング装置が提供される。 [0012] In a seventh aspect, in the first aspect, the marker is 3-dimensional position and orientation sensing apparatus, characterized in that it contains data indicating the attributes of the location of the marker is provided. 第8の態様では、上記第1の態様において、上記マーカは、自発光型材料で形成されていることを特徴とする3次元位置姿勢センシング装置が提供される。 In an eighth aspect, in the first aspect, the marker is 3-dimensional position and orientation sensing apparatus, characterized by being formed by self-luminous material is provided. 第9の態様では、上記第8の態様において、上記自発光型材料が用いられたマーカは、非常災害時の緊急灯と同期して点灯することを特徴とする3次元位置姿勢センシング装置が提供される。 In a ninth aspect, in the eighth aspect, the marker emissive material is used, three-dimensional position and orientation sensing apparatus characterized by lights in synchronization with an emergency lamp emergency disaster provided It is.

【0013】第10の態様では、上記第1の態様において、上記マーカは、入射光を反射して入射光路を逆進させる再帰性材料により形成されていることを特徴とする3次元位置姿勢センシング装置が提供される。 [0013] In a tenth aspect, in the first aspect, the marker is 3-dimensional position and orientation sensing, characterized in that it is formed by a recursive material for reversing the incident light path to reflect incident light apparatus is provided. 第11の態様では、上記第1の態様において、上記マーカは、蛍光材料で形成されていることを特徴とする3次元位置姿勢センシング装置が提供される。 In an eleventh aspect, in the first aspect, the marker is 3-dimensional position and orientation sensing apparatus is provided which is characterized in that it is formed with a fluorescent material.

【0014】上記第12の態様では、上記第1の態様において、上記マーカは、人間の目には不可視であることを特徴とする3次元位置姿勢センシング装置が提供される。 [0014] In the twelfth aspect, in the first aspect, the marker is 3-dimensional position and orientation sensing apparatus, characterized in that the human eye is not visible is provided. 上記第13の態様では、上記第1の態様において、 It said In a thirteenth aspect, in the first aspect,
上記マーカは、投影機で投影されたものであることを特徴とする3次元位置姿勢センシング装置が提供される。 The marker is 3-dimensional position and orientation sensing apparatus is provided which is characterized in that which has been projected by the projector.

【0015】上記第1乃至第13の態様によれば以下の作用が奏される。 [0015] the following operations according to the embodiment of the first to 13 are obtained.

【0016】即ち、本発明の第1の態様では、画像入力手段により上記対象物と3次元位置姿勢関係が既知のマーカとを撮影装置で撮影した画像が入力され、同定手段により上記画像入力手段より入力された画像において、 [0016] That is, in a first aspect of the present invention, said object by the image input means and the three-dimensional position and orientation relationship image photographed by the photographing device and a known marker is input, the image input unit by the identification means in more input images,
上記マーカが当該マーカの幾何学的特徴を用いて同定され、単一マーカによる位置姿勢検出手段により上記同定手段により同定された複数のマーカのうちの1つのマーカの画像が解析されて、該マーカと上記撮影装置の相対的位置姿勢関係が求められ、上記対象物と上記撮影装置との3次元位置姿勢関係が求められる。 The marker is identified using geometric characteristics of the marker, is image analysis of one marker of a plurality of markers identified by the identifying means by the position and orientation detection means with a single marker, said marker the relative position and orientation relationship between the imaging device is determined to the three-dimensional position and orientation relationship between the object and the photographing device is required.

【0017】第2の態様では、上記第1の態様において、複数マーカによる位置姿勢検出手段により、上記同定手段で同定された複数のマーカの画像上の位置に基づいて、該マーカと上記撮影装置の相対的な位置姿勢関係が求められて、上記対象物と上記撮影装置の3次元位置姿勢関係が求められ、切換手段により上記単一マーカによる位置姿勢検出手段と上記複数マーカによる位置姿勢検出手段とが択一的に切換えられる。 [0017] In a second aspect, the in the first aspect, the position and orientation detection means of a plurality markers, based on the position on the image of a plurality of markers identified above identifying means, the marker and the imaging apparatus It sought relative position and orientation relationship is, three-dimensional position and orientation relationship of the object and the photographing device is found, the position by the single marker by switching means posture detecting means and said plurality markers by the position and orientation detection means door is switched to alternative.

【0018】第3の態様では、上記第2の態様において、上記切換手段により、画像上のマーカの視野角に基づいて、上記単一マーカによる位置姿勢検出手段と上記複数のマーカによる位置姿勢検出手段が切換えられる。 [0018] In a third aspect, in the above-described second embodiment, by the switching means, based on the viewing angle of the marker on the image, the position and orientation detection of the position and orientation detecting means and the plurality of markers by the single marker means is switched.

【0019】第4の態様では、上記第1の態様において、上記単一マーカによる位置姿勢検出手段により、上記1つのマーカの画像より複数の特徴部位が検出され、 [0019] In a fourth aspect, in the first aspect, the position and orientation detection means by the single marker, a plurality of characteristic portions from the image of the one marker is detected,
上記特徴部位の画像上での位置関係と上記特徴部位の実際のマーカ上での位置関係とが比較されて、上記マーカと上記撮影装置の相対的位置姿勢関係を求められる。 Is positional relationship and comparisons on the actual marker positional relationship and the feature portion on the image of the characteristic part is determined the relative position and orientation relationship between the marker and the imaging device.

【0020】第5の態様では、上記第4の態様において、上記マーカは4角形以上の多角形で構成されており、上記単一マーカによる位置姿勢検出手段により、この多角形の頂点が上記特徴部位として検出される。 [0020] In a fifth aspect, in the above-described fourth aspect, the marker is composed of square or polygonal, the position and orientation detection means by the single marker, apex above feature of this polygon It is detected as the site.

【0021】そして、第6の態様では、上記第1の態様において、上記マーカには、当該マーカの大きさを表わす情報を含められている。 [0021] In a sixth aspect, in the first aspect, the above markers, are included information indicating the size of the marker. 第7の態様では、上記第1の態様において、上記マーカには、当該マーカの場所の属性を表わす情報を含められている。 In a seventh aspect, in the first aspect, the above markers, are included information indicating the attributes of the location of the marker. 第8の態様では、上記第1の態様において、上記マーカは、自発光型材料で形成されている。 In an eighth aspect, in the first aspect, the marker is formed of a self-luminous material. 第9の態様では、上記第8の態様において、上記自発光型材料が用いられたマーカは、非常災害時の緊急灯と同期して点灯する。 In a ninth aspect, in the eighth aspect, the marker emissive material is used, lights in synchronization with an emergency lamp emergency disaster. 第10の態様では、 In a tenth aspect,
上記第1の態様において、上記マーカは、入射光を反射して入射光路を逆進させる再帰性材料により形成されている。 In the first embodiment, the marker is formed by a recursive material for reversing the incident light path to reflect incident light. 第11の態様では、上記第1の態様において、上記マーカは、蛍光材料で形成されている。 In an eleventh aspect, in the first aspect, the marker is formed with a fluorescent material.

【0022】上記第12の態様では、上記第1の態様において、上記マーカは、人間の目には不可視である。 [0022] In the twelfth aspect, in the first aspect, the marker is the human eye is invisible. 上記第13の態様では、上記第1の態様において、上記マーカは、投影機で投影されたものである。 It said In a thirteenth aspect, in the first aspect, the marker is one that has been projected by the projector.

【0023】 [0023]

【発明の実施の形態】以下、図面を参照して、本発明の実施の形態について説明する。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, with reference to the drawings will be described embodiments of the present invention.

【0024】先ず、本発明の第1の実施の形態について説明する。 [0024] First, a description will be given of a first embodiment of the present invention.

【0025】図1は本発明の第1の実施の形態に係る3 [0025] Figure 1 according to a first embodiment of the present invention 3
次元位置姿勢センシング装置の構成を示す機能ブロック図である。 It is a functional block diagram showing a configuration of a dimensional position and orientation sensing apparatus. 以下、同図を参照して詳述する。 The following will be described in detail with reference to FIG.

【0026】この図1に示されるように、3次元位置姿勢を推定すべき対象物4或いはその付近には、幾何学的に固有の特徴を持った複数の固有マーカ5(以下、コードマーカと称する)が配置されている。 [0026] As shown in FIG. 1, in the vicinity of the object 4 or the to be estimated a three-dimensional position and orientation, geometrically more specific markers 5 having unique characteristics (hereinafter, the code markers referred) is arranged.

【0027】そして、画像撮影部1は当該コードマーカ5を撮影し、その画像をコンピュータ2に転送する。 [0027] Then, the image capturing unit 1 is shooting the code marker 5, and transfers the image to the computer 2. 上記画像撮影部1としては、一般的なTVカメラやディジタルビデオカメラ等を採用することができる。 As the image capturing unit 1, it can be employed a general TV camera or a digital video camera or the like. また、上記画像撮影部1から転送された画像を受けるコンピュータ2としては、通常のパーソナルコンピュータや特殊な画像処理演算装置等を採用することができる。 As the computer 2 receives the image transferred from the image capturing unit 1, may be employed conventional personal computer or a special image processing operation apparatus or the like.

【0028】上記画像撮影部1がTVカメラでありアナログ信号を出力する場合には、上記コンピュータ2内には、当該アナログ信号をディジタル化する装置やユニットが含まれる。 [0028] When the image capturing unit 1 for outputting a and analog signals in TV camera, within the computer 2 includes a device or unit for digitizing the analog signals. また、上記画像撮影部1がディジタルカメラやディジタルビデオカメラ等である場合には、ディジタル信号をコンピュータ2に直接的に転送し、当該コンピュータ2にてディジタル信号を処理することになる。 Further, when the image capturing unit 1 is a digital camera or a digital video camera or the like, directly transfers the digital signal to the computer 2 will process the digital signal by the computer 2.

【0029】このように、コンピュータ2が、画像撮影部1で撮影されたコードマーカ5に係る画像を受け、ディジタル信号に変換し、該ディジタル信号を処理することで画像内のコードマーカ5を認識し、該コードマーカ5の画像内位置と予め登録されているコードマーカ5の3次元位置とを利用することで、対象物4の画像撮影部1に対する3次元位置姿勢を推定する。 [0029] Thus, the computer 2 receives the image of the code markers 5 taken by the image capturing unit 1 is converted into a digital signal, recognizes the code markers 5 in the image by processing the digital signal and, by using the three-dimensional position of the code markers 5 registered in advance with the image position of the code markers 5, it estimates a three-dimensional position and orientation with respect to the image capturing unit 1 of the object 4. このコードマーカ5の3次元位置は、コンピュータ2内のメモリに予め格納されている。 Three-dimensional position of the code marker 5 is previously stored in a memory in the computer 2.

【0030】さらに、図2に示されるように、カメラパラメータ検出部3を構成に取込めば、画像撮影部1たるカメラのレンズ焦点距離や歪値などの情報を当該カメラパラメータ検出部3よりコンピュータ2に転送し、当該コンピュータ2において、これらの情報を加味した上で3次元位置姿勢の推定がされる。 Furthermore, as shown in FIG. 2, if Kome preparative camera parameter detection unit 3 to the configuration, the computer information such as an image capturing unit 1 serving as a camera lens focal length and the distortion value than the camera parameter detection section 3 transferred to 2, in the computer 2, the estimation of the three-dimensional position and orientation upon adding the information.

【0031】先ず、少なくとも3個以上のコードマーカ5が同定できた場合において、対象物4の位置姿勢を推定する方法に関して解説する。 [0031] First, at least three code markers 5 in the case where could be identified, which explains about a method of estimating the position and orientation of the object 4.

【0032】以下、画像と座標変換に関する基本的な扱いに関して説明する。 [0032] Hereinafter, will be described a basic treatment to an image and the coordinate transformation.

【0033】基本的に対象物4と画像撮影部1は、それぞれ固有の座標系を有しており、画像撮影部1が撮影する画像は、カメラ画像面として定義される。 [0033] Basically the object 4 and the image capturing unit 1, respectively have a specific coordinate system, images the image capturing unit 1 captures is defined as the camera image plane.

【0034】図3は、上記カメラ画像面と画像撮影部1 [0034] Figure 3, the camera image plane and the image capturing unit 1
のカメラ座標系、及びオブジェクト座標系の関係を示した図である。 Of the camera coordinate system, and is a diagram showing the relationship between the object coordinate system.

【0035】対象物4が規定するオブジェクト座標系はその原点をOm 、その3次元座標を(xm ,ym ,zm The object coordinate system in which the object 4 is provision Om its origin, the three-dimensional coordinates (xm, ym, zm
)とする。 ) To. 一方、画像撮影部1が規定するカメラ座標系は、その原点をOc 、その3次元座標を(xc ,yc On the other hand, the camera coordinate system image capturing unit 1 is defined by this, Oc its origin, the three-dimensional coordinates (xc, yc
,zc )とする。 , Zc) to.

【0036】カメラ画像面は、その軸がu軸とv軸により構成され、u軸はカメラ座標系のxc軸と平行に、v The camera image plane is the axis is constituted by the u-axis and v-axis, parallel to the xc axis of u-axis camera coordinate system, v
軸はyc軸に平行に取られ、カメラ座標系を規定するzc Axis is taken parallel to the yc axis, zc defining the camera coordinate system
軸が画像撮影部1の光学系の光軸と一致し、その光軸とカメラ画像面が交わる点(カメラ画像面の中心)が、 Axis coincides with the optical axis of the optical system of the image capturing unit 1, that the optical axis and the camera image plane intersects (center of the camera image plane),
(u0 ,v0 )で定義される。 It is defined by (u0, v0).

【0037】画像撮影部1に相対する対象物の3次元位置姿勢を推定する問題は、カメラ座標系に対するオブジェクト座標系の位置姿勢を推定する問題、換言すれば、 The problem of estimating the three-dimensional position and orientation of the relative object in the image capturing unit 1, the problem of estimating the position and orientation of the object coordinate system relative to the camera coordinate system, in other words,
オブジェクト座標系からカメラ座標系への座標変換パラメータ、又はカメラ座標系からオブジェクト座標系への座標変換パラメータを算出する問題に帰着される。 Is resulting from the object coordinate system coordinate transformation parameters to the camera coordinate system, or the problem of calculating the coordinate conversion parameter to the object coordinate system from the camera coordinate system.

【0038】これを数学的に記述すると、斉次変換行列 [0038] When this is mathematically described, homogeneous transformation matrix
cHm 又は mHc を利用して、 Using the cHm or mHc,

【0039】 [0039]

【数1】 [Number 1]

【0040】と定義することができる。 [0040] and can be defined. ここに、R= Here, R =
(rij),R′=(r′ij)は3×3の回転行列を示し、t=(tx ,ty ,tz ),t′=(t′x ,t′ (Rij), R '= (r'ij) represents the rotation matrix of 3 × 3, t = (tx, ty, tz), t' = (t'x, t '
y ,t′z)は3次元並進べクトルを示している。 y, t'z) shows a three-dimensional translational base vector.

【0041】以下に詳述するマーカ群{Mi ;i=1, The marker groups detailed below {Mi; i = 1,
2,…,m}は、予めオブジェクト座標系での3次元位置が計測されており、それらを(xi m ,yi m ,zi m )で表現する。 2, ..., m} is previously measured three-dimensional position of an object coordinate system, their (xi m, yi m, zi m) is expressed by. また、その画像内位置を(ui ,vi )で記述する。 Further, describing the image position (ui, vi).

【0042】すると、画像撮影部1をピンホールカメラモデルで近似したとき、それらの座標間には、以下の関係が成立する。 [0042] Then, when approximating the image capturing unit 1 in the pinhole camera model, between their coordinates, the following relationship is established.

【0043】 [0043]

【数2】 [Number 2]

【0044】ここに、(u0 ,v0 )は画像内の中心、 [0044] Here, (u0, v0) is the center of the image,
(αu ,αv )はu方向とv方向の拡大率を表し、画像撮影部1に関するカメラ内部パラメータであり、カメラキャリブレーションにより推定できる値である。 (.alpha.u, .alpha.v) represents the magnification of the u direction and the v direction, a camera internal parameter relating to image capturing unit 1, a value which can be estimated by camera calibration.

【0045】以下、図7のフローチャートを参照して、 [0045] Hereinafter, with reference to the flowchart of FIG. 7,
コンピュータ2が画像を入力した後に、対象物4の3次元位置姿勢を推定する動作の流れを説明する。 After the computer 2 enters the image, the flow of operation for estimating a three-dimensional position and orientation of the object 4.

【0046】先ず、画像を受け取ったコンピュータ2 [0046] First, the computer 2 that has received the image
は、その画像の中からコードマーカ5に対応する領域と推定される候補領域を抽出する(ステップS1)。 Extracts candidate region that is estimated to a region corresponding to the code markers 5 from the image (step S1).

【0047】続いて、このステップS1にて抽出された候補領域内を詳細に解析し、その中からコードマーカ5 [0047] Then, to analyze the candidate region extracted in step S1 in detail, code markers 5 from its
のコードに対応する幾何学的特徴を抽出し、そのコードが認識された場合には、その領域をマーカ領域として、 Code to extract the corresponding geometric features, if the code is recognized, that region as the marker area,
その画像内位置とコードとを登録する(ステップS To register its image position and the code (step S
2)。 2). そして、この登録された画像から抽出されたコードマーカ5の画像内2次元位置と対象物に相対する3次元位置とを利用することで画像撮影部1に対応する対象物の位置を算出する(ステップS3)。 Then, to calculate the position of the object corresponding to the image capturing unit 1 by utilizing the relative three-dimensional position in the image in the two-dimensional position and the object code marker 5 extracted from the registered image ( step S3).

【0048】以下、図7の上記ステップS1乃至S3について更に詳述する。 [0048] Hereinafter, will be described in more detail above steps S1 to S3 in FIG.

【0049】(ステップS1)第1の実施の形態では、 [0049] In (step S1) the first embodiment,
画像撮影部1がカラー画像を生成するものとして、コードマーカ5としては、図4乃至図6に示したものを想定する。 As an image capturing unit 1 generates a color image, the code markers 5, it is assumed that shown in FIGS. 4 to 6.

【0050】コードマーカ5の外枠は単色から成立しているので、その単色に敏感な色フィルタをアルゴリズム内に導入する。 [0050] Since the outer frame of code markers 5 are satisfied from monochrome to introduce sensitive color filters in the algorithm that monochromatic.

【0051】具体的には、画像面(u,v)で定義される画像点に関して、カラー画像を構成するフィルタの計測値R(赤),G(緑),B(青)から、 i=(R+G+B)/3 r=R/(R+G+B) g=G/(R+G+B) に対応する3個のベクトルを算出する。 [0051] Specifically, with respect to the image point defined by the image plane (u, v), from the measured values ​​of the filter constituting the color image of R (red), G (green), B (blue), i = (R + G + B) / 3 r = calculates the three vectors corresponding to R / (R + G + B) g = G / (R + G + B).

【0052】そして、コードマーカ5が取り得る画像内での色パターンの許容値が、 imin <i<imax rmin <r<rmax gmin <g<gmax を満たす画像領域を抽出する。 [0052] Then, the allowable value of the color pattern in the image of the code marker 5 can take extracts an image area that satisfies imin <i <imax rmin <r <rmax gmin <g <gmax. ここで、imin ,imax Here, imin, imax
,rmin ,rmax ,gmin ,gmax 等の値は、予め設定しておく。 , Rmin, rmax, gmin, the value of such gmax is set in advance.

【0053】次いで、画像領域内の穴埋めを行うことにより、コードマーカ5に対応する領域を決定する。 [0053] Then, by performing the filling in the image region, determines a region corresponding to the code markers 5.

【0054】(ステップS2)次に抽出された領域がマーカの像であるかを判定する。 [0054] (Step S2) then extracted region is determined whether the image of the marker.

【0055】例えば、パターンマッチングを用い、予め登録しておいたマーカ像と比較を行うことでマーカの判定ができる。 [0055] For example, using a pattern matching may determine a marker by performing the comparison with the pre-registered by the marker image had.

【0056】(ステップS3)上記ステップ2で同定されたコードマーカ5の画像内位置(ui ,vi )(i= [0056] (Step S3) image position of the code marker 5 identified in step 2 (ui, vi) (i =
1,2,3,…)とオブジェクト座標系における3次元マーカ位置(xi m ,yi m ,zi m )が与えられたとき、いかにして先に示した式(3)で定義される斉次変換行列 1,2,3, ... When) and 3-dimensional marker position in the object coordinate system (xi m, yi m, zi m) is given, defined by the equation (3) shown above how to homogeneous transformation matrix
cHm を算出するが、本ステップ4の課題である。 Calculating the cHm, but the subject of this step 4.

【0057】これは基本的に文献(MAFischler and [0057] This is basically the literature (MAFischler and
RCBolles, “Random sample consensus : A paradigm RCBolles, "Random sample consensus: A paradigm
for model fitting with applications to image anal for model fitting with applications to image anal
ysisand automated cartography,”Communications of ysisand automated cartography, "Communications of
the ACM, Vol.24, No.6, June 1981, pp.381-395)で示される方法を以下の如く変更しながら行う。 the ACM, Vol.24, do No.6, June 1981, while changing as follows the method shown in pp.381-395).

【0058】この文献で紹介されている方法では、同定されたマーカ群の中から一直線上にない任意の3個のマーカを選択し、その3個のコードマーカを利用してカメラ座標系とオブジェクト座標系間の座標変換パラメータ解の候補を算出する。 [0058] In the method introduced in this document, select any three markers not in a straight line from the identified marker group, the camera coordinate system and the object by utilizing the three code markers It calculates a candidate coordinate transformation parameters solutions between coordinate systems.

【0059】しかしながら、その座標変換パラメータとしては、最大4種類の解が存在することが判っているので、その4種類の各解に対して、選択されなかったマーカ群を利用して解の検証を行うことにより、解の絞り込みを行うと共に、その解を初期値として、全てのコードマーカを利用して解の更新を行うものである。 [0059] However, examples of the coordinate conversion parameter, since it has been found that up to four solutions exist, the verification of the solution for each solution of the four, by using the markers that are not selected by performing, performs narrowing of solution, the solution as an initial value, and performs updating of the solution using all of the code markers.

【0060】以下、その方法に関して簡単に説明する。 [0060] will be briefly described below with respect to its method.

【0061】同定されたマーカ群の中から、ある選択基準に従って画像内で一直線上にない3個のコードマーカを選択する。 [0061] From among the identified marker groups selects three code markers not on a straight line in the image in accordance with some selection criterion. この選択基準としては、カメラ画像面で3 As the selection criterion, 3 camera image plane
個のコードマーカを頂点とする3角形の面積が最大となる3個のコードマーカを選択する方法やカメラ画像面で3個のコードマーカを頂点とする3角形の面積が最小となる3個のマーカを選択する方法等が考えられる。 As vertices number of code markers triangular area up to the three three code markers in the methods and the camera image plane to select the code markers of the triangle whose vertices area three which minimizes comprising How to select a marker or the like can be considered.

【0062】このようにして得られたコードマーカをM [0062] The code markers obtained in this way M
i (i=1,2,3)とする。 i and (i = 1,2,3).

【0063】次に、これら3個のコードマーカMi (そのモデル座標系における3次元位置をPi(xim,yi Next, these three code markers Mi (a three-dimensional position in the model coordinate system Pi (xim, yi
m,zim)、画像内位置をQi (ui ,vi )とする) m, zim), the image position Qi (ui, vi) to)
に関して、図8に示されるような3個の3角形ΔOc M Regard, three triangles DerutaOc M as shown in FIG. 8
i Mj (i,j=1,2,3;iとjは等しくない)を考える。 i Mj (i, j = 1,2,3; i and j are not equal) think.

【0064】これらの3個の3角形に関して、カメラ画像径の原点Oc から各マーカMi までの距離をdi とし、マーカMi ,Mj とカメラ座標系原点Oc がなす角度θijとする。 [0064] For these three triangles, the distance from the origin Oc of the camera image size to each of the markers Mi and di, markers Mi, an angle θij formed by Mj and the camera coordinate system origin Oc. また、マーカMi ,Mj 間の距離をRij In addition, the marker Mi, the distance between the Mj Rij
とする。 To.

【0065】このとき、距離R12,R23,R31と角度θ [0065] At this time, the distance R12, R23, R31 and the angle θ
12,θ23,θ31は既知の値となるが、d1 ,d2 ,d3 12, θ23, θ31 is a known value, d1, d2, d3
は未知の値となる。 Is the unknown value. 逆に言えば、距離d1 ,d2 ,d3 Conversely, the distance d1, d2, d3
を算出することができれば、オブジェクト座標系からカメラ座標系への座標変換パラメータを算出することができる。 If it is possible to calculate the can calculate the coordinate transformation parameters from the object coordinate system to the camera coordinate system.

【0066】以下、この点に関して解説する。 [0066] In the following, the explanation in this regard.

【0067】(1)距離R12,R23,R31の算出方法 R12は点P1 と点P2 間のユークリッド距離として算出される。 [0067] (1) Distance R12, R23, R31 method for calculating the R12 is calculated as the Euclidean distance between points P1 and P2. 同様に、R23,R31はそれぞれ、点P2 とP3 Likewise, R23, R31 are each, the point P2 P3
、点P3 とP1 間のユークリッド距離として算出される。 , Point P3 and is calculated as the Euclidean distance between P1.

【0068】(2)角度θ12,θ23,θ31の算出方法 マーカM1 ,M2 とカメラ座標系の原点Ocとがなす角度θijは以下のように算出することができる。 [0068] (2) the angle θ12, θ23, the angle θij formed between the origin Oc of the calculation method the marker M1, M2 and the camera coordinate system θ31 can be calculated as follows.

【0069】先ず、 [0069] First of all,

【0070】 [0070]

【数3】 [Number 3]

【0071】を(ui ,vi )の正規化された座標値とすると、 [0071] The (ui, vi) When normalized coordinate values,

【0072】 [0072]

【数4】 [Number 4]

【0073】が成立する。 [0073] is satisfied. この正規化された画像点 The normalized image point

【0074】 [0074]

【数5】 [Number 5]

【0075】は、カメラ座標系でzc =1に対応する(xc ,yc )に対応することから、 [0075], since corresponding to the corresponding to zc = 1 in the camera coordinate system (xc, yc),

【0076】 [0076]

【数6】 [6]

【0077】が成立する。 [0077] is satisfied.

【0078】このようにして、3個の角度をその余弦より算出することができる。 [0078] In this way, it can be calculated from the cosine three angles.

【0079】 (3)距離di (i=1,2,3)の算出方法 3角形のOc M1 M2 ,Oc M2 M3 ,Oc M3 M1 に対して第2余弦定理を適用すれば、 R12=d1 2 +d2 2 −2d1 d2 cosθ12 R23=d2 2 +d3 2 −2d2 d3 cosθ23 R31=d3 2 +d1 2 −2d3 d1 cosθ31 が導かれる。 [0079] (3) Distance di (i = 1, 2, 3) of the By applying the second cosine theorem with respect to the calculation method triangular Oc M1 M2, Oc M2 M3, Oc M3 M1, R12 = d1 2 + d2 2 -2d1 d2 cosθ12 R23 = d2 2 + d3 2 -2d2 d3 cosθ23 R31 = d3 2 + d1 2 -2d3 d1 cosθ31 is derived.

【0080】これら3式において、未知数はd1 ,d2 [0080] In these three equations, the unknowns d1, d2
,d3 の3個であり、制約式も3個であるので、理論的には上式を満たす解{(d1(k),d2(k),d3 A three d3, since constraint is also three, solution that satisfies the above equation theoretically {(d1 (k), d2 (k), d3
(k))}:k=1,2,3,4}が存在する。 (K))}: k = 1,2,3,4} is present.

【0081】その解法に関しては、文献(MAFischler [0081] With respect to the solution, the literature (MAFischler
and RCBolles, “Random sampleconsensus : A para and RCBolles, "Random sampleconsensus: A para
digm for model fitting with applications to image digm for model fitting with applications to image
analysis and automated cartography,”Communication analysis and automated cartography, "Communication
s of the ACM, Vol.24, No.6, June 1981, pp.381-39 s of the ACM, Vol.24, No.6, June 1981, pp.381-39
5)で詳しく述べられているように、この方程式には最大4個の解が存在することが分かっており、その解が4 Details as stated in 5), has been found to up to four solutions exist in this equation, the solution of 4
次方程式の解として数値解析的に解くことが可能である。 It is possible to solve numerical analysis to as a solution of the following equation.

【0082】 (4)解(d1 ,d2 ,d3 )の検証と最適解の選択 基本的には、最大4個の解の中で1個だけが正しい解を与えるものである。 [0082] (4) solution (d1, d2, d3) verification and in the selection of basic optimal solution of one in which only one in up to four of the solution gives the correct solution.

【0083】上記の解の中でどの解が正しいかを検証するのが、本段階である。 [0083] to verify what the solution in the above solution is correct, it is this stage.

【0084】各解(d1 ,d2 ,d3 )について、カメラ座標系Cでのマーカ位置(xi c ,yi c ,zi c )を算出する方法について解説する。 [0084] For each solution (d1, d2, d3), the marker position in the camera coordinate system C (xi c, yi c, zi c) to explain how to calculate a.

【0085】カメラ座標系原点Cからマーカまでの距離がdi であり、その画像内位置(ui ,vi )であり、 [0085] The distance from the camera coordinate system origin C until the marker is di, and its image position (ui, vi),

【0086】 [0086]

【数7】 [Equation 7]

【0087】と書くことができる。 It can be written as [0087].

【0088】いま、オブジェクト座標系でのマーカ位置を(xi m ,yi m ,zi m )とすれば、オブジェクト座標系Om からカメラ座標系Oc への変換は、 [0088] Now, the marker position in the object coordinate system (xi m, yi m, zi m) if, transformation from the object coordinate system Om to the camera coordinate system Oc is

【0089】 [0089]

【数8】 [Equation 8]

【0090】と書かれる。 It is written as [0090].

【0091】ここにRは回転行列を表し、tは並進ベクトルを表す。 [0091] wherein R represents a rotation matrix, t denotes the translation vector.

【0092】いま、両座標系でのマーカ群の重心ベクトルを[xmean c ,ymean c ,zmean cT ,[xmean m ,y [0092] Now, [xmean c, ymean c, zmean c] centroid vectors of the markers in the two coordinate systems T, [xmean m, y
mean m ,zmean mTとすると、 mean m, and the zmean m] T,

【0093】 [0093]

【数9】 [Equation 9]

【0094】が成立し、並進ベクトルと回転行列を別々の式で算出することができる。 [0094] is satisfied, it is possible to calculate the rotation matrix and translation vector in separate formulas.

【0095】i=1,2,3に対して、上記方程式を解く方法としては、quaternion法(四元数法)がある。 [0095] For i = 1, 2, 3, as a method for solving the above equation, there is a quaternion method (quaternion method). この方法の詳細は文献(BKPHorn, “Closed-form solu For more information on this method literature (BKPHorn, "Closed-form solu
tionof absolute orientation using unitquaternion tionof absolute orientation using unitquaternion
s,”Journal of Optical Society of America A, Vol. s, "Journal of Optical Society of America A, Vol.
4, No.4, 1987, pp.629-642.)に述べられているので、 4, No.4, 1987, since the stated pp.629-642.),
その詳細はここでは省略する。 The details are omitted here.

【0096】このようにR,tが算出されると、斉次変換行列 cHm は式(1,2)により計算することができる。 [0096] When the R, t is calculated as, homogeneous transformation matrix cHm can be calculated by the equation (1). 以上のことを4個の解に対して繰り返し、 cHm Repeated for four of the solution to the above, cHm
(1), cHm(2), cHm(3), cHm(4)の4個の解を算出することができる。 (1), cHm (2), cHm (3), can be calculated four solutions of cHm (4).

【0097】さて、同定されたコードマーカのうち最初の選択されなかったコードマーカをM4 ,M5 ,…,M [0097] Now, the code marker that has not been the first choice of the identification code marker M4, M5, ..., M
m とする。 And m.

【0098】各斉次変換行列 cHm(k)(k=1,2, [0098] KakuHitoshitsugi transformation matrix cHm (k) (k = 1,2,
3,4)に対して、解として最もふさわしい解を、これらM4 ,M5 ,…,Mm を利用して決定する方法を説明する。 Against 3,4), the most appropriate solution as a solution, they M4, M5, ..., illustrating a method of determining by use of Mm.

【0099】各解 cHm(k)に対する評価関数dist(k) [0099] evaluation function dist for each solution cHm (k) (k)
を最小にするkを、以下のステップで算出する。 The k for the minimizing is calculated in the following steps.

【0100】各解 cHm(k)(k=1,2,3,4)に関して以下の方法により、dist(k)を算出する。 [0101] The following methods for each solution cHm (k) (k = 1,2,3,4), calculates the dist (k).

【0101】a)dist(k):=0と評価関数を初期化する。 [0101] a) dist (k): initializing a = 0 and evaluation function.

【0102】b)同定されたが最初の3個に選択されなかったマーカMj (j=4,5,…,m)について、そのオブジェクト座標系における3次元位置(xj m ,y [0102] b) marker Mj (j = 4,5 were identified that were not selected in the first three, ..., for m), 3-dimensional position in the object coordinate system (xj m, y
j m ,zj m )を cHm(k)を利用してカメラ画像面に変換する。 j m, converts the zj m) in the camera image plane by utilizing cHm (k). その投影画像点を(uj′,vj′)とする。 The projected image point and (uj ', vj'). これは、 this is,

【0103】 [0103]

【数10】 [Number 10]

【0104】により算出することができる。 It can be calculated by [0104].

【0105】続いて、マーカMj の実際に画像内で測定された2次元位置(uj ,vj )と投影画像点(uj′,v [0105] Then, actual measured two-dimensional position in the image of the marker Mj (uj, vj) and the projected image point (uj ', v
j′)との2乗誤差ej を算出する。 To calculate the square error ej with j ').

【0106】ej は以下のように算出できる。 [0106] ej can be calculated as follows.

【0107】 [0107]

【数11】 [Number 11]

【0108】dist(k)が最小となる斉次変換行列の解 [0108] the solution of the homogeneous transformation matrix that dist (k) is minimized
cHm(k)を選択する。 To select the cHm (k).

【0109】要約すると、上記のステップで求められる最適解 cHm(k)は、コードマーカM1 ,M2 ,M3 から生成される解のうち、他のマーカM4 ,M5 ,…,Mm [0109] In summary, the above optimal solution cHm obtained in step (k) is code markers M1, M2, M3 of the solution generated from, other markers M4, M5, ..., Mm
が最も支持する解を選択するものである。 There is for selecting the solution that best support.

【0110】(5)解の更新 上記(4)で選択された解 cHm(k)は、コードマーカM [0110] (5) the solution of updating the (4) in selected solutions cHm (k) is code markers M
1 ,M2 ,M3 から推定されたものであり、他のマーカM4 ,M5 ,…,Mm に対する測定値を利用したものではない。 1, M2, M3 has been estimated from other markers M4, M5, ..., not using the measured values ​​for the Mm. 本ステップでは、上記(4)で算出された解 c In this step, the solution c calculated in the above (4)
Hm(k)を初期推定値 cHm(0)として、全てのコードマーカMi (i=1,2,…,m)によりこの解の更新を行う。 Hm (k) is an initial estimate cHm (0), all code markers Mi (i = 1,2, ..., m) by updating the solution. すなわち、 cHm を角度成分(roll(φz )−pitc That, cHm the angle component (roll (φz) -pitc
h(φy)−yaw(φx )角)と並進成分(tx ,ty , h (φy) -yaw (φx) corner) and the translation component (tx, ty,
tz )に展開して、6次元未知変数p=(φx ,φy , Expand to tz), 6-dimensional unknown variables p = (φx, φy,
φz ;tx ,ty ,tz )とし、その初期推定値をp (0 φz; tx, ty, and tz), the initial estimate p (0
) =(φx (0) ,φy (0) ,φz (0) ;tx (0) ,ty (0) ,tz ) = (Φx (0), φy (0), φz (0); tx (0), ty (0), tz
(0) )と定義する。 (0)) to define.

【0111】具体的には、 [0111] More specifically,

【0112】 [0112]

【数12】 [Number 12]

【0113】により定義される。 It is defined by the [0113].

【0114】これをオブジェクト座標系でのマーカ3次元位置(xi m ,yi m ,zi m )と、そのカメラ画像面での位置(ui ,vi )の関係を利用しながら、6次元位置姿勢パラメータp=(φx ,φy ,φz ;tx ,ty ,t [0114] and this marker three-dimensional position of an object coordinate system (xi m, yi m, zi m), position in the camera image plane (ui, vi) while utilizing the relationship, six-dimensional position and orientation parameters p = (φx, φy, φz; tx, ty, t
z )を更新することを考える。 I think that you update the z).

【0115】オブジェクト座標系でのマーカ3次元位置(xi m ,yi m ,zi m )と、そのカメラ画像面での位置 [0115] Marker 3-dimensional position in the object coordinate system (xi m, yi m, zi m) and the position at the camera image plane
(ui ,vi )の関係は、 (Ui, vi) the relationship is,

【0116】 [0116]

【数13】 [Number 13]

【0117】により与えられる。 It is given by [0117]. この式を整理すると、 If you organize this formula,
各マーカMi (i=1,2,…,m)に関して、 Each marker Mi (i = 1,2, ..., m) with respect to,

【0118】 [0118]

【数14】 [Number 14]

【0119】なる2次制約式によって表現され、6次元パラメータの初期推定値p (0) =(φx [0119] is represented by the quadratic constraint made the initial estimate p (0) of the 6-dimensional parameter = (.phi.x (0) ,φy (0) ,φz (0), φy (0) , φz
(0) ;tx (0) ,ty (0) ,tz (0) )を用いて、6次元パラメータp=(φx ,φy ,φz ;tx ,ty ,tz )を推定する問題となる。 (0); tx (0) , ty (0), with tz (0)), 6-dimensional parameter p = (φx, φy, φz ; tx, ty, the problem of estimating the tz).

【0120】この問題はよく知られた非線形方程式問題であり、多くの著書がその解法を紹介しているので、ここではその詳細を述べない。 [0120] This problem is a well-known non-linear equation problem, because many of the book is to introduce the solution, here is not to mention the details.

【0121】このようにして6次元パラメータは、全てのマーカの測定値を利用して更新され、オブジェクト座標系からカメラ座標系への座標変換パラメータが算出される。 [0121] 6-dimensional parameters in this way, is updated using the measured values ​​of all of the marker, the coordinate transformation parameters from the object coordinate system to the camera coordinate system is calculated. すなわち、対象物4と画像撮影部1の間の位置関係を算出することができる。 That is, it is possible to calculate the positional relationship between the object 4 and the image capturing unit 1.

【0122】以上説明したように、第1の実施の形態によれば、マーカ群の一部が遮蔽されて検出できなかった場合でも、検出されたマーカだけから対象物4と画像撮影部1の間の3次元位置関係を算出することができる。 [0122] As described above, according to the first embodiment, even if some of the markers can not be detected is blocked, detected marker only from the object 4 and the image capturing unit 1 it can be calculated three-dimensional position relation between.

【0123】また、マーカの検出に際しては、マーカ固有のコードを利用することにより、マーカ同定の信頼性が従来例に比べて極度に向上させることができるので、 [0123] Further, upon detection of the marker, by using the marker-specific code, because the reliability of the marker identification can be extremely improved as compared with the conventional example,
より安定な位置姿勢計測を実現することができる。 It is possible to realize a more stable position and orientation measurement.

【0124】前述のように、マーカの検出に際しては、 [0124] As described above, upon detection of the marker,
最低3個を検出する必要があるが、4個以上検出できれば、更に信頼性が高くなる。 It is necessary to detect the three lowest, if detected four or more, further increased reliability.

【0125】ここで、先にも述べたように、図4乃至図6は、幾何学的特徴を持ったコードマーカ5の一例を表したものである。 [0125] Here, as described above, FIGS. 4 to 6 each illustrate an example of code marker 5 having geometrical features.

【0126】各コードマーカ5は幾何学的特徴を有しており、それがコードマーカ5にラベルを付加するに足るコードを生成できる点は重要である。 [0126] have a respective code markers 5 geometric feature, it is important that it can generate a code sufficient to add a label to the code markers 5.

【0127】図4は1つのマーカ画像を解析して4点の特徴点を認識する場合に好適なコードマーカの形状を示しており、図4(a),(b)は正方形、図4(c)は台形、図4(d)はコの字形、図4(e),(f)は円形、図4(g)は星型のコードマーカの構成例を示している。 [0127] Figure 4 shows the shape of a suitable code markers when recognizing characteristic points of the four points by analyzing one marker image, FIG. 4 (a), (b) a square, Fig. 4 ( c) is trapezoidal, FIG. 4 (d) U-shaped, FIG. 4 (e), (f) is circular, FIG. 4 (g) shows a configuration example of a star-shaped code markers.

【0128】すなわち、1つのマーカを解析することで、前出のコードマーカ4つの代替となる4つの位置の既知な特徴点の情報を得ることができるわけである。 [0128] That is, by analyzing the single marker is not able to obtain the information of the known feature points of the four positions as the preceding code markers four alternatives.

【0129】図4(a)のコードマーカでは、マーカの検出は外枠内外の色を変え、その違いを検出することで行い、外枠を微分、細線化などすることでその4隅を位置の既知な特徴点として認識する。 [0129] In the code markers of FIG. 4 (a), the detection of the marker to change the color of the outer frame and out performed by detecting the difference, differentiating the outer frame, position the four corners by such thinning recognized as a known feature points of.

【0130】さらに、向きは下側の横線(外枠内側)を検出することで認識し、情報は外枠内部の8点(中央の1点は位置認識用)を検出することで取得する。 [0130] In addition, the orientation is recognized by detecting the lower horizontal line (outer frame inside) information 8 point inside the outer frame (1 point central for recognition position) acquired by detecting. チェックデジットについては、外枠内側左右の2点(2点→2 For the check digit, outer frame inside the right and left of the two points (2 points → 2
bit)を用いる。 bit) is used.

【0131】図4(h)はコードマーカ(図4(a)) [0131] FIG. 4 (h) the code marker (FIG. 4 (a))
の特徴点が検出された様子を示す。 It shows how the feature points is detected. 外枠の左下端のオブジェクト座標における座標値を(u1,v1)、更に右下端、右上端、左上端の順にそれぞれ(u2,v2)、(u3,v The coordinate values ​​in the object coordinates of the lower left corner of the outer frame (u1, v1), further the lower right end, upper right end, respectively in order of the upper left end (u2, v2), (u3, v
3)、(u4,v4)とする。 3), and (u4, v4). これら4つの座標値を前出の説明におけるM1からM4に当てはめ、対象物の位置姿勢の認識が可能になる。 Fitting these four coordinates from M1 in the description supra to M4, it is possible to recognize the position and orientation of the object.

【0132】図4(b)のコードマーカでは、特徴点検出を外枠内側四隅にある4点の検出により実現される以外は図4(a)と同様である。 [0132] In the code markers of FIG. 4 (b), except that is realized by the detection of four points in the feature point detection in the outer frame inside corner is the same as FIG. 4 (a). この他、図4(c), In addition, FIG. 4 (c), the
(d)のコードマーカについても、基本的には図4 For even code markers of (d), it is basically 4
(a),(b)と同様である。 (A), it is the same as (b).

【0133】図4(e)のコードマーカでは、マーク検出は外枠内外の色を変え、その違いを検出することで行い、4点検出については、外枠の内側四隅にある4点の検出により実現する。 [0133] In the code marker in FIG. 4 (e), mark detection is change the color of the outer frame inside and outside, carried out by detecting the difference, 4 for point detection is, of four points on the inside four corners of the outer frame detection realized by. さらに、向きは下側の横線(外枠内側)を検出することで認識し、情報は外枠内部の8点(中央の1点は位置認識用)を検出することで取得する。 Furthermore, orientation recognized by detecting the lower horizontal line (outer frame inside) information 8 point inside the outer frame (1 point central for recognition position) acquired by detecting. また、チェックデジットについては、外枠内側左右の2点(2点→2bit)を用いる。 Also, the check digit, two points of the outer frame inside right and left (2 points → 2bit) used. 図4(f)のコードマーカでは、4点検出を外枠外側四隅にある4点の検出により実現する以外は図4(e)と同様である。 The code markers in FIG. 4 (f), except that realized by the detection of the four points in the 4-point detection on the outer frame outer corners is similar to FIG. 4 (e). この他、図4(g)のコードマーカについても、図4(a) In addition, for the code markers of FIG. 4 (g), the FIGS. 4 (a)
乃至(f)と同様である。 Or is the same as (f).

【0134】図5は8bitの情報を格納する外枠内部のコードの形状のバリエーションを示したものである。 [0134] FIG. 5 shows the variations of the shape of the outer frame internal code that stores information on 8bit.
すなわち、図5(a)は円形のコード、図5(b)は三角形のコード、図5(c),(d)は四角形のコード、 That is, FIG. 5 (a) is a circular code, FIG. 5 (b) triangular code, FIG. 5 (c), (d) is a square code,
図5(e)は文字コード、図5(f)は線形コード、図5(g)は渦巻き状のコード、により8bitの情報が格納される。 Figure 5 (e) is a character code, FIG. 5 (f) is a linear code, FIG. 5 (g) is spiral code information of 8bit is stored by. 但し、これらの形状に限定されないことは勿論である。 However, it is of course not limited to these shapes.

【0135】図6は斜め方向から撮影された場合にも、 [0135] Even if 6 taken from an oblique direction,
認識率が高い例としてシンメトリー/立体マーク(半球、ピラミット形状)の例を示している。 Symmetry / solid mark (hemispherical, pyramidal shape) as a recognition rate is high example shows an example of. 図6(a)は斜視図であり、図6(b)は上面図、図6(c)は側面図である。 6 (a) is a perspective view, FIG. 6 (b) top view, FIG. 6 (c) is a side view.

【0136】以上によりマーカが複数あり、その中の単一のマーカを解析することにより位置姿勢が検出できる。 [0136] There are multiple markers the above, can be detected by the position and orientation by analyzing the single marker therein.

【0137】マーカの種類を、複数用意しておくことにより、例えばマーカの大きさなどのマーカの種類、建物の部屋番号や部屋、廊下、階段などの場所の属性を表わす情報、として用いることができる。 [0137] the type of marker, by previously preparing a plurality of, for example, the type of marker such as the size of the marker, the building of the room number and the room, corridor, information representing the attribute of the location, such as stairs, be used as a it can. また、マーカをL In addition, the marker L
EDやLCDなど自発光型材料で構成することにより、 By constructing a self-luminous material such as ED or LCD,
その自発光型材料を制御することや、投影機によりマーカを必要に応じて投影することによりすれば、静的ではなく場合に応じて変更ができる動的なマーカを構築することができる。 And controlling the self-luminous material, if by projecting optionally a marker by projector, it is possible to construct a dynamic marker which can be changed depending on the case not static. 更に、これら自発光型材料が非常災害時の緊急灯と同期し、災害発生時に点灯するようにしておけば、災害時の自動誘導灯として用いることが可能になる。 Further, these self-luminous material synchronized with emergency lights emergency disaster, if so as to light up in the event of a disaster, it is possible to use as an automatic guide light disaster.

【0138】道路などでコーナーキューブとして使われているような再帰性材料で構築すれば、撮影装置に取り付けた僅かな光源を利用して動作ができる。 [0138] When constructed of recursive material such as is used as a corner cube with roads, can operate utilizing a small light source attached to the imaging apparatus.

【0139】蛍光材料によりマーカを構成すれば、照明などが無い状態でも動作することができる。 [0139] If constituted by the fluorescent material of the marker, it is possible to work with lighting without such conditions. 更に、投影装置には感度のある赤外や紫外の波長でマーカを構築すれば、人間の目には不可視な状態で景観を損なわずに動作が可能になる。 Furthermore, the projection apparatus be constructed a marker at wavelengths outside the infrared or ultraviolet having sensitivity allows operation without loss of landscapes in an invisible state to the human eye.

【0140】次に第2の実施の形態について説明する。 [0140] Next, a second embodiment will be described.

【0141】前述した第1の実施の形態に係る3次元位置姿勢センシング装置では、複数のマーカの内の1つのマーカを解析したが、第2の実施の形態では、複数または単数のマーカによる位置姿勢センシングを切り換える手段を備える。 [0141] In the three-dimensional position and orientation sensing apparatus according to the first embodiment described above has been analyzed for one marker of the plurality of markers, in the second embodiment, the position by the marker of the plural or singular comprising means for switching the posture sensing.

【0142】図9は第2の実施の形態を説明する図で、 [0142] Figure 9 is a diagram for explaining a second embodiment,
解析するマーカ数の切り替え手段21を有している。 And a marker number of the switching means 21 to be analyzed. 切り替え手段21が1つのマーカによる位置姿勢センシング指示する場合には、例えば複数見つかっているマーカ5の内の、画面の中で最も左上に位置するマーカ5を解析し、その外枠から検出された特徴点の座標を位置姿勢推定手段22に渡す。 When the switching means 21 is positioned and orientation sensing indication by one marker, for example a plurality Found by of the markers 5 are analyzes marker 5 located closest to the upper left in the screen, is detected from the outer frame passing the coordinates of the feature point to the position and orientation estimation means 22. また、複数のマーカによる位置姿勢センシングを指示する場合には、同定されたマーカ5 Also, marker 5 when instructing the position and orientation sensing with a plurality of markers, which are identified
の座標を位置姿勢推定手段22に渡す。 Passing coordinate the position and orientation estimation means 22. 位置姿勢推定手段22の動作については、第1の実施の形態の中で詳述しているので、ここでは省略する。 The operation of a position and orientation estimation means 22, since the detailed in the first embodiment is omitted here.

【0143】次に第3の実施の形態について説明する。 [0143] Next, a third embodiment will be described.

【0144】第3の実施の形態においては、第2の実施の形態における解析するマーカ数の切り替え手段21 [0144] In the third embodiment, the marker number of switching means for analysis in the second embodiment 21
が、マーカの画面内における視野角により動作をする。 But, to the operation by the viewing angle in the screen of the marker.
ここで、画面の水平画角に占めるマーカの角度を視野角と呼ぶ。 Here, it referred to as the angle of the marker, which accounts to a horizontal angle of view of the screen and the viewing angle.

【0145】図10にマーカが画像入力された画面を示す。 [0145] marker in Figure 10 shows a screen on which the image is input.

【0146】水平方向の画面画角が40度、その中に占めるマーカ30から33のそれぞれの水平方向の視野角が15度、3度、5度、5度の場合を示している。 [0146] 40 degrees horizontal direction of the screen angle, the viewing angle of each of the horizontal direction of the marker 30 from 33 occupied therein indicates a 15 °, 3 °, 5 °, in the case of 5 degrees. マーカの中で最大の視野角を持つマーカ30の視野角により単一のマーカでの位置姿勢センシングか、画面内の4つのマーカによるセンシングかを切り替える。 The position and orientation sensing of a single marker with the viewing angle of the marker 30 with the largest viewing angle in the marker, switching between the sensing by four markers in the screen. いま、10 Now, 10
度をセンシング切り替えの閾値とする。 Degrees and the threshold value of the sensing switch. 図10の場合は最大の視野角のマーカ30が10度を超えているため単一のマーカによるセンシングを行う。 In the case of FIG. 10 performs sensing by single marker for marker 30 of the largest viewing angle is greater than 10 degrees. 全てのマーカが1 All of the marker 1
0度以下の視野角の場合には複数マーカによるセンシングを行う。 Performing sensing by multiple markers in the case of 0 degrees or less viewing angle. また、全てのマーカが10度以下で、しかもマーカの個数が3個以下の場合にはセンシングエラーとする。 Also, all of the markers are at 10 degrees or less, yet if the number of markers of 3 or less is a sensing error. ここでは視野角が水平方向の場合を示したが、垂直方向、またその両方を掛け合わせた画像内に占める面積で判定を行うことも可能である。 Here the viewing angle showed the case of the horizontal direction, but it is also possible to judge the vertical direction, and in the area occupied in the image obtained by multiplying both.

【0147】次に、本発明の第4の実施の形態について説明する。 [0147] Next explained is the fourth embodiment of the present invention.

【0148】これは、画像撮影部1以外と対象物4間の3次元位置姿勢を推定する方法に関するものである。 [0148] This relates to a method for estimating a three-dimensional position and orientation between the non-image photographing unit 1 and the object 4. 今まで説明してきた実施例では、対象物4と画像撮影部1 In the embodiment described up to now, the object 4 and the image capturing unit 1
間の位置関係を計測する例を説明したきた。 've been described an example of measuring the positional relationship between. より実際的な例の場合には図1に示される画像撮影部1とコンピュータ2は、対象物4の位置姿勢を推定する位置センサとして利用される場合がある。 If a more practical example the image capturing unit 1 and the computer 2 shown in FIG. 1 may be utilized as a position sensor for estimating the position and orientation of the object 4. この際には、該位置センサを含むシステム内に別の装置があり、その別の装置が規定する座標系をシステムが基準とするシステム座標系と考えることが多い。 At this time, there is another device in the system including the position sensor, it is often considered a system coordinate system with the coordinate system on which that another device defines the system reference.

【0149】この場合、コンピュータ2は画像撮影部1 [0149] In this case, the computer 2 is the image photographing unit 1
が規定するカメラ座標系から別の装置が規定する基準座標系への座標変換パラメータをあらかじめ格納しており、その座標変換パラメータを利用して、コンピュータ2は、オブジェクト座標系から該基準座標系への座標変換パラメータを算出する。 There stores a coordinate transformation parameters from the camera coordinate system for defining the reference coordinate system by another device is defined in advance, by utilizing the coordinate transformation parameters, the computer 2, to the reference coordinate system from the object coordinate system calculating the coordinate transformation parameters. そして、基準座標系のおける対象物4の3次元位置姿勢を推定する。 Then, to estimate the three-dimensional position and orientation of the object 4 which definitive reference coordinate system.

【0150】第4の実施の形態によれば、本発明の手段を別の装置のための位置姿勢センサとして利用することも可能である。 [0150] According to the fourth embodiment, it is also possible to utilize the means of the present invention as a position and orientation sensor for another device.

【0151】以上、本発明の実施の形態について説明したが、本発明はこれに限定されることなく、その趣旨を逸脱しない範囲で種々の改良・変更が可能である。 [0151] Having described embodiments of the present invention, the present invention is not limited thereto, but various improvements and modifications within a range not departing from its gist.

【0152】最後に、請求項記載の画像入力手段は画像撮影部1に包含される概念であり、同定手段、単一マーカによる位置姿勢検出手段、複数マーカによる位置姿勢検出手段、切換手段は、コンピュータ2に包含される概念である。 [0152] Finally, the image input unit according to claim is a concept included in the image capturing unit 1, the identification means, the position and orientation detection means using a single marker, the position and orientation detection means of a plurality markers, switching means, is a concept to be encompassed in the computer 2.

【0153】 [0153]

【発明の効果】以上詳述したように、本発明によれば、 As described above in detail, according to the present invention,
対象物との位置姿勢関係が既知のマーカを撮影した画像を解析して、当該マーカと撮影手段との相対的位置姿勢関係を求め、これをもって当該対象物の位置及び姿勢を求める場合に、比較的広い領域で測定可能な3次元位置姿勢センシング装置を提供することができる。 It analyzes the image position and orientation relationship between the object is photographed known markers, determined the relative position and orientation relationship between the marker and the imaging means, in the case of obtaining the position and orientation of the object with this, Comparative it is possible to provide a three-dimensional position and orientation sensing device capable of measuring in target a wide area.

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

【図1】第1の実施の形態に係る3次元位置姿勢センシング装置の構成を示す機能ブロック図である。 1 is a functional block diagram of a three-dimensional position and orientation sensing apparatus according to the first embodiment.

【図2】第1の実施の形態に係る3次元位置姿勢センシング装置の改良例の構成を示す機能ブロック図である。 2 is a functional block diagram showing a configuration of a refinement of the three-dimensional position and orientation sensing apparatus according to the first embodiment.

【図3】カメラ画像面と画像撮影部のカメラ座標系、及びオブジェクト座標系の関係を示した図である。 [3] The camera image plane and the image capturing unit camera coordinate system, and is a diagram showing the relationship between the object coordinate system.

【図4】幾何学的特徴を持ったコードマーカの一例を表したものである。 Is [4] illustrates an example of the code markers having geometric features.

【図5】幾何学的特徴を持ったコードマーカの一例を表したものである。 [5] illustrates an example of code markers having geometric features.

【図6】幾何学的特徴を持ったコードマーカの一例を表したものである。 6 illustrates an example of code markers having geometric features.

【図7】第1の実施の形態において、対象物の3次元位置姿勢を推定する動作の流れを説明するフローチャートである。 [7] In the first embodiment, it is a flowchart illustrating a flow of operations for estimating a three-dimensional position and orientation of the object.

【図8】3個のコードマーカMiに関して3個の3角形ΔOc Mi Mj (i,j=1,2,3;iとjは不等) [8] Three code markers Mi three triangles ΔOc Mi Mj with respect to (i, j = 1,2,3; i and j are unequal)
を示した図である。 It is a diagram showing a.

【図9】第2の実施の形態に係る3次元位置姿勢センシング装置の構成図である。 9 is a configuration diagram of a three-dimensional position and orientation sensing apparatus according to the second embodiment.

【図10】マーカが画像入力された画面の一例を示す図である。 [10] the marker is a view showing an example of a screen on which an image is input.

【符号の説明】 DESCRIPTION OF SYMBOLS

1 画像撮影部 2 コンピュータ 3 カメラパラメータ検出部 4 対象物 5 コードマーカ 1 image photographing unit 2 computer 3 camera parameter detection unit 4 object 5 code markers

───────────────────────────────────────────────────── フロントページの続き (72)発明者 柴▲崎▼ 隆男 東京都渋谷区幡ヶ谷2丁目43番2号 オリ ンパス光学工業株式会社内 Fターム(参考) 2F065 AA04 AA20 AA37 BB27 BB28 BB29 BB30 EE05 FF04 JJ03 JJ26 LL16 QQ18 QQ21 QQ29 QQ31 5B057 AA20 BA02 BA29 CA01 CA16 CB01 CB16 CD02 CD03 CD20 CE06 DA07 DB03 DB06 DC04 DC33 ────────────────────────────────────────────────── ─── front page of the continuation (72) inventor Shiba ▲ Saki ▼ Takao Shibuya-ku, Tokyo Hatagaya 2-chome No. 43 No. 2 Olympus optical industry Co., Ltd. in the F-term (reference) 2F065 AA04 AA20 AA37 BB27 BB28 BB29 BB30 EE05 FF04 JJ03 JJ26 LL16 QQ18 QQ21 QQ29 QQ31 5B057 AA20 BA02 BA29 CA01 CA16 CB01 CB16 CD02 CD03 CD20 CE06 DA07 DB03 DB06 DC04 DC33

Claims (13)

    【特許請求の範囲】 [The claims]
  1. 【請求項1】 撮影装置で撮影した画像より、対象物と撮影装置の相対的な3次元位置姿勢関係を計測する装置であって、 上記対象物と3次元位置姿勢関係が既知のマーカとを上記撮影装置で撮影した画像を入力する画像入力手段と、 上記画像入力手段より入力された画像において、上記マーカを当該マーカの幾何学的特徴を用いて同定する同定手段と、 上記同定手段により同定された複数のマーカのうちの1 Than 1. A image photographed by the photographing device, a device for measuring the relative three-dimensional position and orientation relationship of the object with the imaging device, the object and the three-dimensional position and orientation relationship between known markers identification and image input means for inputting an image captured by the photographing apparatus, the image input from the image input means, the marker and identifying means for identifying with the geometric characteristics of the marker, by the identification means one of the plurality of markers are
    つのマーカの画像を解析して、該マーカと上記撮影装置の相対的位置姿勢関係を求め、上記対象物と上記撮影装置との3次元位置姿勢関係を求める、単一マーカによる位置姿勢検出手段と、を有することを特徴とする3次元位置姿勢センシング装置。 One of analyzing the images of the markers determines the relative position and orientation relationship between the marker and the imaging device to determine the three-dimensional position and orientation relationship between the object and the photographing device, and the position and orientation detection means with a single marker , 3-dimensional position and orientation sensing apparatus, comprising a.
  2. 【請求項2】 上記同定手段で同定された複数のマーカの画像上の位置に基づいて、該マーカと上記撮影装置の相対的な位置姿勢関係を求めて、上記対象物と上記撮影装置の3次元位置姿勢関係を求める、複数マーカによる位置姿勢検出手段と、上記単一マーカによる位置姿勢検出手段と上記複数マーカによる位置姿勢検出手段を択一的に切換える切換手段と、を更に有することを特徴とする請求項1に記載の3次元位置姿勢センシング装置。 2. Based on the position on the image of a plurality of markers identified above identification means, seek the relative position and orientation relationship of the marker and the imaging device, 3 of the object and the photographing device wherein determining the dimension position and orientation relationship, and the position and orientation detection means of a plurality markers, and switching means for switching the position and orientation detection means of the position and orientation detection means and said plurality markers by the single marker Alternatively, further comprising a 3-dimensional position and orientation sensing apparatus according to claim 1,.
  3. 【請求項3】 上記切換手段は、画像上のマーカの視野角に基づいて、上記単一マーカによる位置姿勢検出手段と上記複数のマーカによる位置姿勢検出手段を切換えることを特徴とする請求項2に記載の3次元位置姿勢センシング装置。 Wherein said switching means based on the viewing angle of the marker on the image, according to claim 2, characterized in that switching the position and orientation detection means of the position and orientation detection means and the plurality of markers by the single marker 3-dimensional position and orientation sensing apparatus according to.
  4. 【請求項4】 上記単一マーカによる位置姿勢検出手段は、上記1つのマーカの画像より複数の特徴部位を検出し、上記特徴部位の画像上での位置関係と上記特徴部位の実際のマーカ上での位置関係とを比較して、上記マーカと上記撮影装置の相対的位置姿勢関係を求めるものであることを特徴とする請求項1に記載の3次元位置姿勢センシング装置。 Wherein said single marker according to the position and orientation detection means, said one of detecting a plurality of characteristic portions from the images of the markers, the actual marker positional relationship and the feature portion on the image of the characteristic part by comparing the positional relationship in the three-dimensional position and orientation sensing apparatus according to claim 1, characterized in that to determine the relative position and orientation relationship between the marker and the imaging device.
  5. 【請求項5】 上記マーカの形状は4角形以上の多角形であり、上記単一マーカによる位置姿勢検出手段は、この多角形の頂点を上記特徴部位として検出することを特徴とする請求項4に記載の3次元位置姿勢センシング装置。 Shape according to claim 5 wherein the marker is a quadrangle or a polygon, the position and orientation detection means by the single marker, claim 4, characterized in that to detect the apex of the polygon as the feature portion 3-dimensional position and orientation sensing apparatus according to.
  6. 【請求項6】 上記マーカは、当該マーカの大きさを表わす情報を含むことを特徴とする請求項1に記載の3次元位置姿勢センシング装置。 Wherein said marker is 3-dimensional position and orientation sensing apparatus according to claim 1, characterized in that it comprises an information representative of the size of the marker.
  7. 【請求項7】 上記マーカは、当該マーカの場所の属性を表わす情報を含むことを特徴とする請求項1に記載の3次元位置姿勢センシング装置。 7. The marker, three-dimensional position and orientation sensing apparatus according to claim 1, characterized in that it comprises an information representing the attributes of the location of the marker.
  8. 【請求項8】 上記マーカは、自発光型材料で形成されていることを特徴とする請求項1に記載の3次元位置姿勢センシング装置。 8. The markers, three-dimensional position and orientation sensing apparatus according to claim 1, characterized in that it is formed by self-luminous material.
  9. 【請求項9】 上記自発光型材料が用いられたマーカは、非常災害時の緊急灯と同期して点灯することを特徴とする請求項8に記載の3次元位置姿勢センシング装置。 9. The marker emissive material is used, three-dimensional position and orientation sensing apparatus according to claim 8, characterized in that lit in synchronization with an emergency lamp emergency disaster.
  10. 【請求項10】 上記マーカは、入射光を反射して入射光路を逆進させる再帰性材料により形成されていることを特徴とする請求項1に記載の3次元位置姿勢センシング装置。 10. The marker is 3-dimensional position and orientation sensing apparatus according to claim 1, characterized in that it is formed by a recursive material for reversing the incident light path to reflect incident light.
  11. 【請求項11】 上記マーカは、蛍光材料で形成されていることを特徴とする請求項1に記載の3次元位置姿勢センシング装置。 11. The marker is 3-dimensional position and orientation sensing apparatus according to claim 1, characterized in that it is formed with a fluorescent material.
  12. 【請求項12】 上記マーカは、人間の目には不可視であることを特徴とする請求項1に記載の3次元位置姿勢センシング装置。 12. The marker is 3-dimensional position and orientation sensing apparatus according to claim 1, characterized in that the human eye is invisible.
  13. 【請求項13】 上記マーカは、投影機で投影されたものであることを特徴とする請求項1に記載の3次元位置姿勢センシング装置。 13. The marker is 3-dimensional position and orientation sensing apparatus according to claim 1, characterized in that projected by projector.
JP2000284318A 2000-09-19 2000-09-19 3-dimensional position and orientation sensing apparatus Active JP4282216B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000284318A JP4282216B2 (en) 2000-09-19 2000-09-19 3-dimensional position and orientation sensing apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2000284318A JP4282216B2 (en) 2000-09-19 2000-09-19 3-dimensional position and orientation sensing apparatus
US09951873 US6697761B2 (en) 2000-09-19 2001-09-13 Three-dimensional position/orientation sensing apparatus, information presenting system, and model error detecting system

Publications (2)

Publication Number Publication Date
JP2002090118A true true JP2002090118A (en) 2002-03-27
JP4282216B2 JP4282216B2 (en) 2009-06-17

Family

ID=18768545

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000284318A Active JP4282216B2 (en) 2000-09-19 2000-09-19 3-dimensional position and orientation sensing apparatus

Country Status (1)

Country Link
JP (1) JP4282216B2 (en)

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007206807A (en) * 2006-01-31 2007-08-16 Nippon Hoso Kyokai <Nhk> Image composing device and image composing program
WO2007108101A1 (en) * 2006-03-20 2007-09-27 Olympus Corporation Information terminal device
JP2007271563A (en) * 2006-03-31 2007-10-18 Canon Inc Position and attitude measuring method and device
JP2007271564A (en) * 2006-03-31 2007-10-18 Canon Inc Position and attitude measurement method, position and attitude measuring instrument
JP2008058204A (en) * 2006-08-31 2008-03-13 Fuji Xerox Co Ltd Position measuring system
JP2008064735A (en) * 2006-08-11 2008-03-21 Canon Inc Method and apparatus for image processing
JP2008116373A (en) * 2006-11-06 2008-05-22 Canon Inc Position and attitude-measuring method and instrument
JP2008134161A (en) * 2006-11-28 2008-06-12 Canon Inc Position attitude measuring method, and position attitude measuring device
WO2008143614A1 (en) 2007-05-21 2008-11-27 Snap-On Incorporated Method and apparatus for wheel alignment
JP2008304269A (en) * 2007-06-06 2008-12-18 Sony Corp Information processor, information processing method, and computer program
JP2009521671A (en) * 2005-12-23 2009-06-04 ジーコデール システムズ アクチボラゲット Positioning pattern
JP2009134677A (en) * 2007-02-28 2009-06-18 Fuji Xerox Co Ltd Gesture interface system, wand for gesture input, application control method, camera calibration method, and control program
JP2009211666A (en) * 2008-02-29 2009-09-17 Ind Technol Res Inst Zone identification system
US7676079B2 (en) 2003-09-30 2010-03-09 Canon Kabushiki Kaisha Index identification method and apparatus
JP2010160051A (en) * 2009-01-08 2010-07-22 Mitsutoyo Corp Correcting pattern for image devices
US7769430B2 (en) 2001-06-26 2010-08-03 Varian Medical Systems, Inc. Patient visual instruction techniques for synchronizing breathing with a medical procedure
JP2010530253A (en) * 2007-05-14 2010-09-09 ヴァリアン メディカル システムズ インコーポレイテッド Marker systems and methods of use thereof
US7808524B2 (en) 2004-07-30 2010-10-05 Industry-University Cooperation Foundation Hanyang University Vision-based augmented reality system using invisible marker
US7930834B2 (en) 2005-09-28 2011-04-26 Hunter Engineering Company Method and apparatus for vehicle service system optical target assembly
US7953247B2 (en) 2007-05-21 2011-05-31 Snap-On Incorporated Method and apparatus for wheel alignment
JP2012007942A (en) * 2010-06-23 2012-01-12 Fuji Xerox Co Ltd Position measurement device
JP2012103213A (en) * 2010-11-12 2012-05-31 Fujitsu Ltd Image processing program and image processing device
US8341848B2 (en) 2005-09-28 2013-01-01 Hunter Engineering Company Method and apparatus for vehicle service system optical target assembly
WO2013005244A1 (en) * 2011-07-01 2013-01-10 株式会社ベイビッグ Three-dimensional relative coordinate measuring device and method
JP2013185851A (en) * 2012-03-06 2013-09-19 Sumitomo Mitsui Construction Co Ltd Positioning apparatus, positioning system including the same, and positioning method
JP2014030093A (en) * 2012-07-31 2014-02-13 Casio Comput Co Ltd Photogenic subject detector, and method and program for detecting photogenic subject
WO2014069247A1 (en) 2012-11-02 2014-05-08 ソニー株式会社 Image processing device, image processing method, and program
JP2014102246A (en) * 2012-10-24 2014-06-05 National Institute Of Advanced Industrial & Technology Position and orientation detection system
CN104603635A (en) * 2012-09-07 2015-05-06 莱卡地球系统公开股份有限公司 Laser tracker with hybrid imaging method for extending the measuring range
US9119541B2 (en) 2005-08-30 2015-09-01 Varian Medical Systems, Inc. Eyewear for patient prompting
US20150262349A1 (en) * 2014-03-17 2015-09-17 Wistron Corporation Free space positioning method and system
US9232928B2 (en) 1998-10-23 2016-01-12 Varian Medical Systems, Inc. Method and system for predictive physiological gating

Cited By (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9232928B2 (en) 1998-10-23 2016-01-12 Varian Medical Systems, Inc. Method and system for predictive physiological gating
US8200315B2 (en) 2001-06-26 2012-06-12 Varian Medical Systems, Inc. Patient visual instruction techniques for synchronizing breathing with a medical procedure
US7769430B2 (en) 2001-06-26 2010-08-03 Varian Medical Systems, Inc. Patient visual instruction techniques for synchronizing breathing with a medical procedure
US7676079B2 (en) 2003-09-30 2010-03-09 Canon Kabushiki Kaisha Index identification method and apparatus
USRE45031E1 (en) 2004-07-30 2014-07-22 Industry-University Cooperation Foundation Hanyang University Vision-based augmented reality system using invisible marker
US7808524B2 (en) 2004-07-30 2010-10-05 Industry-University Cooperation Foundation Hanyang University Vision-based augmented reality system using invisible marker
US9119541B2 (en) 2005-08-30 2015-09-01 Varian Medical Systems, Inc. Eyewear for patient prompting
US7930834B2 (en) 2005-09-28 2011-04-26 Hunter Engineering Company Method and apparatus for vehicle service system optical target assembly
US8561307B2 (en) 2005-09-28 2013-10-22 Hunter Engineering Company Method and apparatus for vehicle service system optical target assembly
US8490290B2 (en) 2005-09-28 2013-07-23 Hunter Engineering Company Vehicle service system optical target assembly calibration
US9544545B2 (en) 2005-09-28 2017-01-10 Hunter Engineering Company Vehicle service system optical target assembly calibration
US8341848B2 (en) 2005-09-28 2013-01-01 Hunter Engineering Company Method and apparatus for vehicle service system optical target assembly
US8215023B2 (en) 2005-09-28 2012-07-10 Hunter Engineering Company Method and apparatus for vehicle service system optical target assembly
US8033028B2 (en) * 2005-09-28 2011-10-11 Hunter Engineering Company Method and apparatus for vehicle service system optical target assembly
US8875407B2 (en) 2005-09-28 2014-11-04 Hunter Engineering Company Vehicle service system optical target assembly calibration
JP2009521671A (en) * 2005-12-23 2009-06-04 ジーコデール システムズ アクチボラゲット Positioning pattern
JP2007206807A (en) * 2006-01-31 2007-08-16 Nippon Hoso Kyokai <Nhk> Image composing device and image composing program
WO2007108101A1 (en) * 2006-03-20 2007-09-27 Olympus Corporation Information terminal device
JP2007271563A (en) * 2006-03-31 2007-10-18 Canon Inc Position and attitude measuring method and device
JP2007271564A (en) * 2006-03-31 2007-10-18 Canon Inc Position and attitude measurement method, position and attitude measuring instrument
JP2008064735A (en) * 2006-08-11 2008-03-21 Canon Inc Method and apparatus for image processing
US8103127B2 (en) 2006-08-11 2012-01-24 Canon Kabushiki Kaisha Image processing method and image processing apparatus of calculating position and orientation of target objects located in image
JP2008058204A (en) * 2006-08-31 2008-03-13 Fuji Xerox Co Ltd Position measuring system
JP2008116373A (en) * 2006-11-06 2008-05-22 Canon Inc Position and attitude-measuring method and instrument
JP2008134161A (en) * 2006-11-28 2008-06-12 Canon Inc Position attitude measuring method, and position attitude measuring device
JP2009134677A (en) * 2007-02-28 2009-06-18 Fuji Xerox Co Ltd Gesture interface system, wand for gesture input, application control method, camera calibration method, and control program
JP2010530253A (en) * 2007-05-14 2010-09-09 ヴァリアン メディカル システムズ インコーポレイテッド Marker systems and methods of use thereof
EP2636989A1 (en) * 2007-05-21 2013-09-11 Snap-on Incorporated Method and apparatus for wheel alignment
WO2008143614A1 (en) 2007-05-21 2008-11-27 Snap-On Incorporated Method and apparatus for wheel alignment
US7953247B2 (en) 2007-05-21 2011-05-31 Snap-On Incorporated Method and apparatus for wheel alignment
JP2008304269A (en) * 2007-06-06 2008-12-18 Sony Corp Information processor, information processing method, and computer program
JP2009211666A (en) * 2008-02-29 2009-09-17 Ind Technol Res Inst Zone identification system
JP2010160051A (en) * 2009-01-08 2010-07-22 Mitsutoyo Corp Correcting pattern for image devices
JP2012007942A (en) * 2010-06-23 2012-01-12 Fuji Xerox Co Ltd Position measurement device
US8462359B2 (en) 2010-06-23 2013-06-11 Fuji Xerox Co., Ltd. Position measuring device
JP2012103213A (en) * 2010-11-12 2012-05-31 Fujitsu Ltd Image processing program and image processing device
WO2013005244A1 (en) * 2011-07-01 2013-01-10 株式会社ベイビッグ Three-dimensional relative coordinate measuring device and method
JP2013185851A (en) * 2012-03-06 2013-09-19 Sumitomo Mitsui Construction Co Ltd Positioning apparatus, positioning system including the same, and positioning method
JP2014030093A (en) * 2012-07-31 2014-02-13 Casio Comput Co Ltd Photogenic subject detector, and method and program for detecting photogenic subject
JP2015531478A (en) * 2012-09-07 2015-11-02 ライカ ジオシステムズ アクチエンゲゼルシャフトLeica Geosystems AG Laser tracker using hybrid imaging method for extending the measuring range
US9864062B2 (en) 2012-09-07 2018-01-09 Leica Geosystems Ag Laser tracker with hybrid imaging method for extending the measuring range
CN104603635A (en) * 2012-09-07 2015-05-06 莱卡地球系统公开股份有限公司 Laser tracker with hybrid imaging method for extending the measuring range
JP2014102246A (en) * 2012-10-24 2014-06-05 National Institute Of Advanced Industrial & Technology Position and orientation detection system
WO2014069247A1 (en) 2012-11-02 2014-05-08 ソニー株式会社 Image processing device, image processing method, and program
JPWO2014069247A1 (en) * 2012-11-02 2016-09-08 ソニー株式会社 Image processing apparatus and image processing method, and program
US9633279B2 (en) * 2014-03-17 2017-04-25 Wistron Corporation Free space positioning method and system
US20150262349A1 (en) * 2014-03-17 2015-09-17 Wistron Corporation Free space positioning method and system

Also Published As

Publication number Publication date Type
JP4282216B2 (en) 2009-06-17 grant

Similar Documents

Publication Publication Date Title
Sturm et al. Camera models and fundamental concepts used in geometric computer vision
Mouragnon et al. Generic and real-time structure from motion using local bundle adjustment
Kannala et al. A generic camera model and calibration method for conventional, wide-angle, and fish-eye lenses
US6031941A (en) Three-dimensional model data forming apparatus
Henry et al. RGB-D mapping: Using depth cameras for dense 3D modeling of indoor environments
US6724930B1 (en) Three-dimensional position and orientation sensing system
US7423666B2 (en) Image pickup system employing a three-dimensional reference object
US7430312B2 (en) Creating 3D images of objects by illuminating with infrared patterns
US6377700B1 (en) Method and apparatus for capturing stereoscopic images using image sensors
Micusik et al. Autocalibration & 3D reconstruction with non-central catadioptric cameras
Abraham et al. Fish-eye-stereo calibration and epipolar rectification
US20110090337A1 (en) Generation of aerial images
US6011558A (en) Intelligent stitcher for panoramic image-based virtual worlds
US7324670B2 (en) Face image processing apparatus and method
US20060017720A1 (en) System and method for 3D measurement and surface reconstruction
Gordon et al. What and where: 3D object recognition with accurate pose
US6195455B1 (en) Imaging device orientation information through analysis of test images
Micusik et al. Estimation of omnidirectional camera model from epipolar geometry
US6781618B2 (en) Hand-held 3D vision system
US20080123937A1 (en) Fast Three Dimensional Recovery Method and Apparatus
US7336814B2 (en) Method and apparatus for machine-vision
US6917702B2 (en) Calibration of multiple cameras for a turntable-based 3D scanner
Habib et al. Automatic calibration of low-cost digital cameras
Wöhler 3D computer vision: efficient methods and applications
Collins et al. Calibration of an outdoor active camera system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061215

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081024

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081111

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090224

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090317

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120327

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120327

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130327

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140327

Year of fee payment: 5

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350