JP2002236924A - Movement tracking method and its device or the like for three dimensional object using two dimensional continuous image - Google Patents
Movement tracking method and its device or the like for three dimensional object using two dimensional continuous imageInfo
- Publication number
- JP2002236924A JP2002236924A JP2001030865A JP2001030865A JP2002236924A JP 2002236924 A JP2002236924 A JP 2002236924A JP 2001030865 A JP2001030865 A JP 2001030865A JP 2001030865 A JP2001030865 A JP 2001030865A JP 2002236924 A JP2002236924 A JP 2002236924A
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- projection matrix
- dimensional object
- continuous
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
【0001】[0001]
【発明の属する技術分野】この発明は、2次元連続画像
から3次元物体の動きを分析して追跡する技術分野に属
する。The present invention belongs to the technical field of analyzing and tracking the movement of a three-dimensional object from a two-dimensional continuous image.
【0002】[0002]
【従来の技術】従来は複数の視点の異なる2次元画像又
は2次元連続画像から3次元物体の形状、向き等を求め
て3次元物体の動きを求めることが行われていた。しか
し、この方法は視点の異なる3次元物体を撮影した2次
元画像を必要とすることから、構成や装置が複雑化する
という問題点があった。本出願人はこの問題を解決した
方法及び装置に関する発明をし、現在出願中である(特
願2000−186013)。この出願中の発明におい
て、2次元画像で求めた目印点が正しい目印点の位置と
近似しない場合も起こり得た。このため、3次元物体の
動きを正しく求めることができない場合があった。2. Description of the Related Art Conventionally, the motion of a three-dimensional object has been obtained by obtaining the shape and orientation of the three-dimensional object from a two-dimensional image or a two-dimensional continuous image having different viewpoints. However, this method requires a two-dimensional image of a three-dimensional object having a different viewpoint, and thus has a problem in that the configuration and the apparatus are complicated. The present applicant has made an invention relating to a method and an apparatus that has solved this problem, and is currently filing a patent application (Japanese Patent Application No. 2000-1886013). In the invention of the present application, there may be a case where the mark point obtained in the two-dimensional image does not approximate the position of the correct mark point. For this reason, the movement of the three-dimensional object may not be obtained correctly.
【0003】[0003]
【発明が解決しようとする課題】この発明は、上述のよ
うな背景の下になされたもので、3次元物体の動きを正
しく追跡可能な方法、装置等を提供することを目的とし
ている。SUMMARY OF THE INVENTION The present invention has been made under the above-mentioned background, and has as its object to provide a method, an apparatus, and the like capable of correctly tracking the movement of a three-dimensional object.
【0004】[0004]
【課題を解決するための手段】上記課題を解決するため
に本発明は以下の手段を採用している。即ち、請求項1
記載の発明は、 連続する2次元画像を利用して3次元
物体の動きを追跡する方法において、3次元物体の目印
点と2次元連続画像における初期フレーム中の対応する
目印点を利用してキャリブレーションを行う第1ステッ
プと、該初期フレームの後の所定フレームにおける2次
元画像の射影行列を決定する第2ステップとを具備し、
該第2ステップにおける射影行列の決定は該射影行列に
より求められる2次元画像の目印点の配置が最適となる
ように決定することを特徴とする。The present invention employs the following means to solve the above-mentioned problems. That is, claim 1
The described invention is directed to a method for tracking the movement of a three-dimensional object using a continuous two-dimensional image, wherein the calibration is performed using a landmark point of the three-dimensional object and a corresponding landmark point in an initial frame in the two-dimensional continuous image. And a second step of determining a projection matrix of a two-dimensional image in a predetermined frame after the initial frame.
The determination of the projection matrix in the second step is characterized in that the arrangement of the landmark points of the two-dimensional image obtained by the projection matrix is determined to be optimal.
【0005】また、 請求項2記載の発明は、請求項1
に記載の発明において、前記3次元物体の目印点は3次
元物体の形状の特徴点又は色彩上の特徴点の中から6個
以上の点を選択した点であることを特徴とする。[0005] The invention according to claim 2 is based on claim 1.
In the invention described in (1), the landmark point of the three-dimensional object is a point in which six or more points are selected from characteristic points of the shape or color of the three-dimensional object.
【0006】また、請求項3記載の発明は、請求項1又
は請求項2の何れかに記載の発明において、前記3次元
物体から2次元連続画像における任意のフレームへの射
影行列は、前記第1ステップにおけるキャリブレーショ
ン用の3次元物体から前記連続画像の画像座標系への射
影行列であることを特徴とする。また、請求項4記載の
発明は、請求項1〜請求項3の何れかに記載の発明にお
いて、前記第2ステップにおける所定フレームへの射影
行列の決定は、探索手段により該所定フレームにおける
目印点を探索して求め、該探索により求めた目印点と該
射影行列によって得られる目印点の距離の総和又は距離
の自乗和等の評価関数が最小となるように該射影行列を
決定したことを特徴とする。According to a third aspect of the present invention, in the first aspect of the present invention, the projection matrix from the three-dimensional object to an arbitrary frame in a two-dimensional continuous image is the same as the first one. It is a projection matrix from a three-dimensional object for calibration in one step to an image coordinate system of the continuous image. According to a fourth aspect of the present invention, in the invention according to any one of the first to third aspects, the determination of the projection matrix for the predetermined frame in the second step is performed by a search unit. And the projection matrix is determined such that an evaluation function such as the sum of the distances or the square of the distance between the landmark points obtained by the search and the landmark points obtained by the projection matrix is minimized. And
【0007】また、請求項5記載の発明は、請求項4に
記載の発明において、前記探索手段はカルマンフィルタ
を利用して射影行列を予測し、予測した射影行列に基づ
いて探索の出発点を決定し、探索することを特徴とす
る。請求項6に記載の発明は、前記探索手段は、直前の
フレームにおいて求められた目印点を出発点とし、探索
すること特徴とする。According to a fifth aspect of the present invention, in the fourth aspect of the invention, the search means predicts a projection matrix using a Kalman filter, and determines a starting point of the search based on the predicted projection matrix. And searching. The invention according to claim 6 is characterized in that the search means performs a search by using the mark point obtained in the immediately preceding frame as a starting point.
【0008】また、請求項7記載の発明は、請求項1〜
請求項6の何れかに記載の発明において、前記探索によ
る目印点と前記の最適化した射影行列を利用して求めた
2次元画像の該フレームにおける目印点の距離又は距離
の自乗値が所定値よりも大きいときは該目印点を削除
し、該最適射影行列を決定することを特徴とする。[0008] The invention according to claim 7 is the first invention.
7. The method according to claim 6, wherein a distance or a square value of the distance between the landmark point in the frame of the two-dimensional image obtained by using the landmark point obtained by the search and the optimized projection matrix is a predetermined value. If it is larger than the above, the landmark point is deleted and the optimal projection matrix is determined.
【0009】請求項8記載の発明は、請求項1〜請求項
7の何れかに記載の発明において、3次元物体の動き追
跡方法において、追跡する3次元物体の対象が複数個存
在するときは、該複数の3次元物体の各々に対して最適
射影行列を求めることを特徴とする請求項9記載の発明
は、請求項1〜請求項8の何れか1に記載の追跡方法を
プログラムして、該プログラムを記録したことを特徴と
する。また、請求項10記載の発明は、連続する2次元
画像を利用して3次元物体の動きを追跡し、表示する装
置において、該装置は初期フレームの後の所定フレーム
における2次元画像の目印点への射影行列を最適決定す
る手段と、該射影行列を利用して前記3次元物体の目印
点を求めて3次元物体の位置、向き等の動きを表示する
表示手段とを具備することを特徴とする。According to an eighth aspect of the present invention, in the method according to any one of the first to seventh aspects, in the method for tracking the movement of a three-dimensional object, when a plurality of three-dimensional object to be tracked exist. The present invention according to claim 9, wherein an optimum projection matrix is obtained for each of the plurality of three-dimensional objects by programming the tracking method according to any one of claims 1 to 8. The program is recorded. According to a tenth aspect of the present invention, there is provided an apparatus for tracking and displaying the movement of a three-dimensional object using a continuous two-dimensional image, the apparatus comprising: Means for optimally determining a projection matrix for the three-dimensional object, and display means for obtaining a mark point of the three-dimensional object by using the projection matrix and displaying the movement of the three-dimensional object, such as its position and orientation. And
【0010】[0010]
【発明の実施形態】図1は本発明の実施形態である一方
法の流れを示したフローチャートである。図2は3次元
物体と連続画像との関係を示す図である。図3は本発明
の実施形態である装置を示す。以下、図面を参照してこ
の発明の実施形態について説明する。FIG. 1 is a flowchart showing the flow of a method according to an embodiment of the present invention. FIG. 2 is a diagram illustrating a relationship between a three-dimensional object and a continuous image. FIG. 3 shows an apparatus according to an embodiment of the present invention. Hereinafter, embodiments of the present invention will be described with reference to the drawings.
【0011】図2において、3次元物体10は剛体であ
り、形状を表す特徴点、色彩上の特徴点から全体形状が
定まるような複数個(20個程度)の目印点を選んで決
定する。座標系(Xb、Yb、Zb)12は物体座標系
で、物体10の存在する実3次元空間を表しており、こ
の3次元空間内で3次元物体10が回転、移動等の動き
をする。物体座標系12における3次元物体10の各目
印点の座標はキャリブレーション時に実測又はその他の
手段により与えられている。上段の図は離散時間{t=
0、・・・n、(n+1)}での3次元物体10の動き
を表している。なお、3次元物体10は剛体であるので
変形はしない。また、下段の図は離散時間{t=0、・
・・n、(n+1)}において、ビデオカメラで撮影し
た連続画像で、フレーム0(FLM(0)),フレーム
n(FLM(n))、及びフレーム(n+1)(FLM
(n+1))の画面が図示されている。画像面には画像
座標系(u,v)13が規定してある。In FIG. 2, the three-dimensional object 10 is a rigid body, and a plurality of (about 20) mark points are selected and determined so that the overall shape is determined from characteristic points representing the shape and characteristic points in color. A coordinate system (Xb, Yb, Zb) 12 is an object coordinate system, and represents a real three-dimensional space where the object 10 exists. In the three-dimensional space, the three-dimensional object 10 moves such as rotation and movement. The coordinates of each mark point of the three-dimensional object 10 in the object coordinate system 12 are given by actual measurement or other means at the time of calibration. The upper diagram shows the discrete time Δt =
0,... N, (n + 1)}. Since the three-dimensional object 10 is a rigid body, it is not deformed. The lower diagram shows the discrete time Δt = 0,
.. N, (n + 1)}, in a continuous image taken by a video camera, frame 0 (FLM (0)), frame n (FLM (n)), and frame (n + 1) (FLM
(N + 1)) is illustrated. An image coordinate system (u, v) 13 is defined on the image plane.
【0012】射影行列{Φ(0)、・・・Φ(n)、Φ
(n+1)}は離散時間{t=0、・・・n、(n+
1)}における物体座標系(Xb、Yb、Zb)12か
ら画像座標系(u,v)13への射影を表す射影行列で
ある。ただし、ここではビデオカメラを固定して設置す
る代わりに、3次元物体10を固定して相対的にビデオ
カメラ10を3次元物体10の周りで動かすものと考え
る。即ち、射影行列{Φ(0)、・・・Φ(n)、Φ
(n+1)}は3次元座標系12の時刻t=0(キャリ
ブレーション時)における座標空間から離散時間{t=
0、・・・n、(n+1)}における連続画像の画像座
標系(u,v)13への射影行列である。なお、動きを
追跡したい3次元物体が複数存在するときは、各3次元
物体毎に射影行列を決定する。Projection matrix 射 Φ (0),... Φ (n), Φ
(N + 1)} is a discrete time {t = 0,... N, (n +
1) A projection matrix representing the projection from the object coordinate system (Xb, Yb, Zb) 12 to the image coordinate system (u, v) 13 in}. Here, it is assumed that the three-dimensional object 10 is fixed and the video camera 10 is relatively moved around the three-dimensional object 10 instead of fixing and installing the video camera. That is, the projection matrix {Φ (0),... Φ (n), Φ
(N + 1)} is a discrete time {t = from the coordinate space of the three-dimensional coordinate system 12 at time t = 0 (at the time of calibration).
0,... N, (n + 1)} is a projection matrix of a continuous image onto the image coordinate system (u, v) 13. When there are a plurality of three-dimensional objects whose motions are to be tracked, a projection matrix is determined for each three-dimensional object.
【0013】上記の射影行列の仮定はビデオカメラを固
定して設置し、射影行列を離散時間{t=0、・・・
n、(n+1)}における物体座標系(Xb、Yb、Z
b)12から画像座標系(u,v)13への射影を表す
場合と等価である。即ち、射影行列{Φ(0)、・・・
Φ(n)、Φ(n+1)}を知ることにより、離散時間
{t=0、・・・n、(n+1)}における物体座標系
(Xb、Yb、Zb)12の3次元物体の動きを知るこ
とができる。The above assumption of the projection matrix is based on the assumption that the video camera is fixedly installed and the projection matrix is discrete time Δt = 0,.
n, (n + 1)} in the object coordinate system (Xb, Yb, Z
b) This is equivalent to the case where the projection from 12 to the image coordinate system (u, v) 13 is represented. That is, the projection matrix {Φ (0),.
By knowing Φ (n), Φ (n + 1)}, the motion of the three-dimensional object in the object coordinate system (Xb, Yb, Zb) 12 in the discrete time {t = 0,. You can know.
【0014】以下に、図1に示すフローチャートを利用
して射影行列Φ(i)(i=0,1,2・・)を求める
手順及び物体10の動きを追跡する方法について説明す
る。図1において、ステップ1ではキャリブレーション
を実行して射影行列Φ(0)の未知パラメータを求め
る。キャリブレーションの方法は公知であり、ここでも
従来技術を利用する。まず、3次元物体10に少なくと
も6個以上(20個程度が好ましい)の目印点を定め
る。目印点は形状の特徴点であってもよいし、色彩上の
特徴点であってもよい。次にこれらの目印点の物体座標
系12における座標値を決定する。次に、FLM(0)
の対応する目印点の座標を求め、これらの目印点の座標
との関係式を解くことにより射影行列Φ(0)の未知パ
ラメータを決定することができる。A procedure for obtaining the projection matrix Φ (i) (i = 0, 1, 2,...) And a method for tracking the movement of the object 10 will be described below with reference to the flowchart shown in FIG. In FIG. 1, in step 1, calibration is performed to obtain unknown parameters of the projection matrix Φ (0). Calibration methods are well known and again utilize conventional techniques. First, at least six or more (preferably about twenty) landmark points are determined on the three-dimensional object 10. The mark point may be a feature point of the shape or a feature point of color. Next, coordinate values of these landmark points in the object coordinate system 12 are determined. Next, FLM (0)
, The unknown parameters of the projection matrix Φ (0) can be determined by solving the relational expression with the coordinates of the mark points.
【0015】なお、関係式の解き方をプログラム化して
おいて画面上の操作で未知パラメータを決定することも
できる。即ち、3次元物体10の目印点を画像座標系に
直接表示するようにプログラム化しておいて、それらの
目印点を移動させてFLM(0)の目印点と一致させた
ときに射影行列Φ(0)の未知パラメータが決定できる
ようにプログラムすることもできる。この方法を利用す
れば、より簡単な操作で射影行列Φ(0)を決定でき
る。Incidentally, it is also possible to program the method of solving the relational expression and determine the unknown parameter by operation on the screen. That is, the landmark points of the three-dimensional object 10 are programmed so as to be directly displayed on the image coordinate system, and when these landmark points are moved to coincide with the landmark points of FLM (0), the projection matrix Φ ( It can be programmed so that the unknown parameter of 0) can be determined. Using this method, the projection matrix Φ (0) can be determined by a simpler operation.
【0016】次にステップS2では、フレームFLM
(n)で得られたデータを利用してフレームFLM(n
+1)の射影行列Φ(n+1)を求める手順について説
明する。まず、ステップS21で画像面における目印点
を効率的に探すための出発点の座標を予測する。この予
測には従来から使用されている方式を利用することがで
きる。例えば、フレームFLM(n)以前に求めた目印
点の位置、速度を利用して線形予測(1次式による予
測)、或いは3次元物体の動きが遅い場合には0次予測
(直前のフレームで得られた目印点を次のフレームにお
ける探索出発点とする予測)でもよい。又は、本出願人
が出願中の発明(特願2000−242565)におい
て説明しているように、カルマンフィルタを利用して射
影行列を推定し、それに基づいて目印点を予測し、その
点を探索の出発点としてもよい。適切な予測方法を利用
することにより、探索時間が短縮(探索回数の短縮)さ
れ、また正しい目印点の座標が得られる。Next, in step S2, the frame FLM
Using the data obtained in (n), the frame FLM (n
The procedure for obtaining the projection matrix Φ (n + 1) of (+1) will be described. First, in step S21, coordinates of a starting point for efficiently searching for a landmark point on an image plane are predicted. For this prediction, a conventionally used method can be used. For example, linear prediction (prediction by a linear expression) using the position and speed of the mark point obtained before the frame FLM (n), or 0-order prediction (movement of the immediately preceding frame) when the movement of the three-dimensional object is slow. The obtained landmark point may be a prediction starting point in the next frame). Alternatively, as described in the invention (Japanese Patent Application No. 2000-242565) filed by the present applicant, a projection matrix is estimated using a Kalman filter, a landmark point is predicted based on the projection matrix, and the point is searched for. It may be a starting point. By using an appropriate prediction method, the search time is reduced (the number of searches is reduced), and the coordinates of the correct landmark point can be obtained.
【0017】ステップS22ではステップS21で得ら
れた出発点から目印点の探索を行う。この探索は全ての
有効な目印点(リストから削除された目印点は省略す
る。)について行う。探索方法は、例えば(8x8)の
ビットマスクを利用して、このマスクを出発点から左右
前後に移動して直前のフレームFLM(n)で得られた
目印点におけるビットマスクのパターンと最も良く一致
する点をフレームFLM(n+1)における目印点と見
なし、その座標(u1,v1)を読みとる。これを繰り
返し行うことにより全ての目印点の座標が求められる。
なお、フレームFLM(n+1)に一致する目印点が存
在しない場合等において、それらの目印点はリストから
省略する。In step S22, a search for a landmark is performed from the starting point obtained in step S21. This search is performed for all the valid landmark points (the landmark points deleted from the list are omitted). The search method uses a (8 × 8) bit mask, for example, and moves this mask back and forth from left to right and back from the starting point, and matches the bit mask pattern at the mark point obtained in the immediately preceding frame FLM (n) best. Is regarded as a landmark point in the frame FLM (n + 1), and its coordinates (u1, v1) are read. By repeating this, the coordinates of all the mark points are obtained.
Note that, for example, when there are no landmark points that match the frame FLM (n + 1), those landmark points are omitted from the list.
【0018】探索によりフレームFLM(n+1)にお
ける全ての目印点の座標が求まると、ステップS23
で、以下のような手順で最適な射影行列Φ(n+1)を
求める。即ち、最適な射影行列Φ(n+1)が求められ
たとし、これを「Φm」とする。最適射影行列Φmを時
刻t=0における3次元物体の目印点に乗算するとフレ
ームFLM(n+1)における目印点の座標(u1m、
v1m)が得られる。探索によって得られた目印点の座
標(u1,v1)と上記の方法で得られた目印点の座標
(u1m、v1m)とが一致することが望ましい。そこ
で評価関数Jとして座標(u1m、v1m)と座標(u
1,v1)との自乗和(又は距離の総和)等を導入し、
評価関数Jが最小となるように射影行列Φ(n+1)の
各要素の値を求める。求める方法としては、従来から知
られている偏微分法による極値を求める方法や、山登り
法が適用できる。以上の方法により最適射影行列Φ(n
+1)が決定される。When the coordinates of all the mark points in the frame FLM (n + 1) are obtained by the search, step S23 is performed.
Then, an optimal projection matrix Φ (n + 1) is obtained by the following procedure. That is, it is assumed that the optimal projection matrix Φ (n + 1) has been obtained, and this is defined as “Φm”. By multiplying the landmark point of the three-dimensional object at time t = 0 by the optimal projection matrix Φm, the coordinates (u1m,
v1m) is obtained. It is desirable that the coordinates (u1, v1) of the landmark point obtained by the search match the coordinates (u1m, v1m) of the landmark point obtained by the above method. Therefore, the coordinates (u1m, v1m) and the coordinates (u
1, v1) and the sum of squares (or sum of distances)
The value of each element of the projection matrix Φ (n + 1) is determined so that the evaluation function J is minimized. As a calculation method, a method of obtaining an extreme value by a conventionally known partial differential method or a hill-climbing method can be applied. The optimal projection matrix Φ (n
+1) is determined.
【0019】ステップS24で最適射影行列Φ(n+
1)が真に最適な射影行列かどうかをチェックする。即
ち、前のステップS23で得られた射影行列Φ(n+
1)が大きな誤差を含んでいる場合がある。例えば、探
索により得られた目印点の座標(u1,v1)が真の目
印点の座標と著しく離れている場合等である。そこで、
個々の目印点について、探索によって得られた目印点の
座標(u1,v1)と上記の方法で得られた目印点の座
標(u1m、v1m)との距離(又は自乗)の値が所定
の値(例えば、10ピクセルに相当する距離)よりも大
きい場合はその目印点(u1,v1)は誤りの目印点と
見なし、目印点リストから削除する。或いは目印点の座
標(u1m、v1m)を出発点として再探索してもよ
い。このチェックを全ての目印点について行い、削除さ
れた目印点を除いた残りの目印点の座標関係から再度射
影行列Φ(n+1)を演算により求める(ステップS2
3)。In step S24, the optimal projection matrix Φ (n +
Check if 1) is a truly optimal projection matrix. That is, the projection matrix Φ (n +
1) may include a large error. For example, there are cases where the coordinates (u1, v1) of the landmark point obtained by the search are significantly apart from the coordinates of the true landmark point. Therefore,
For each landmark point, the value of the distance (or square) between the coordinates (u1, v1) of the landmark point obtained by the search and the coordinates (u1m, v1m) of the landmark point obtained by the above method is a predetermined value. If it is larger than (for example, a distance corresponding to 10 pixels), the landmark point (u1, v1) is regarded as an erroneous landmark point and is deleted from the landmark point list. Alternatively, the coordinates (u1m, v1m) of the mark point may be searched again as a starting point. This check is performed for all landmark points, and the projection matrix Φ (n + 1) is again calculated from the coordinate relationship of the remaining landmark points excluding the deleted landmark points (step S2).
3).
【0020】なお、最適射影行列Φ(n+1)を利用し
てフレームFLM(n+1)における目印点を乗算によ
り求め、この目印点の座標を出発点として再度探索によ
り目印点(u1,v1)を探索し、射影行列Φ(n+
1)を決定し、再度目印点(u2,v2)を求め、この
目印点をチェックするという一連のステップ(ステップ
S21〜ステップS24)を複数回繰り返して、最適化
された射影行列Φ(n+1)を求めるようにしてもよ
い。The landmark point in the frame FLM (n + 1) is obtained by multiplication using the optimal projection matrix Φ (n + 1), and the landmark point (u1, v1) is searched again by using the coordinates of the landmark point as a starting point. And the projection matrix Φ (n +
1) is determined, a landmark point (u2, v2) is obtained again, and a series of steps (steps S21 to S24) of checking the landmark point are repeated a plurality of times to obtain an optimized projection matrix Φ (n + 1). May be obtained.
【0021】次に、ステップS3で3次元物体の動きを
求める。ステップS2で最適射影行列Φ(n+1)が求
まり、ステップS1で射影行列Φ(0)が求まってい
る。時刻t=0における3次元物体の座標から時刻t=
i(i=1,2,・・・)の座標の変換行列を(Ti)
とすれば、関係式「 Ti*Φ(0)=Φ(i)、(i
=1,2,・・・) 」が成立する。これらの関係から
変換行列(Ti)を決定することができる。従って、物
体座標系12に配置された3次元物体10の時刻(t
i)の目印点の座標を求めることができる。これによ
り、物体座標系12における3次元物体の移動や、回転
等の動きも求められる。最後のステップS4では、3次
元物体の動きを画面に表示する。Next, the motion of the three-dimensional object is determined in step S3. In step S2, the optimal projection matrix Φ (n + 1) is obtained, and in step S1, the projection matrix Φ (0) is obtained. From the coordinates of the three-dimensional object at time t = 0, time t =
The transformation matrix of the coordinates of i (i = 1, 2,...) is (Ti)
Then, the relational expression “Ti * Φ (0) = Φ (i), (i
= 1, 2,...). The conversion matrix (Ti) can be determined from these relationships. Therefore, the time (t) of the three-dimensional object 10 placed in the object coordinate system 12
The coordinates of the landmark point of i) can be obtained. Thereby, movement such as movement or rotation of the three-dimensional object in the object coordinate system 12 is also obtained. In the last step S4, the movement of the three-dimensional object is displayed on the screen.
【0022】図3は本実施形態の方法を実施する装置の
ブロック図である。図3において、ビデオカメラ21か
ら撮影画像データが装置20に送出される。装置20は
処理部22、入力バッファ23a、23b、出力バッフ
ァ24、メモリ25等から構成されている。また、装置
20にはディスプレイ26、キーボード27、マウス2
8が接続されている。上記装置により前記フローチャー
トの操作が以下のように実行される。FIG. 3 is a block diagram of an apparatus for performing the method of the present embodiment. In FIG. 3, photographed image data is transmitted from the video camera 21 to the device 20. The device 20 includes a processing unit 22, input buffers 23a and 23b, an output buffer 24, a memory 25, and the like. The device 20 also includes a display 26, a keyboard 27, a mouse 2
8 are connected. The operation of the flowchart is executed as follows by the above device.
【0023】まず、ビデオカメラ21からの画像がオン
ラインで、或いはオフラインで装置20に取り込まれ、
メモリ25に記録される。メモリ25に記録されている
プログラムを開始すると、最初にキャリブレーション用
の画面がディスプレイ26に表示される。オペレータは
マウス28により画面操作をして、或いは、キーボード
27からデータを入力してキャリブレーションプログラ
ム(ステップS1のプログラム)を実行させる。次に、
探索プログラム、射影行列最適化プログラムを含んだス
テップS2のプログラムを実行させるとメモリ25から
取り込まれた画像データが処理されて射影行列Φが得ら
れる。First, an image from the video camera 21 is taken into the device 20 online or offline.
Recorded in the memory 25. When the program recorded in the memory 25 is started, first, a screen for calibration is displayed on the display 26. The operator operates the screen with the mouse 28 or inputs data from the keyboard 27 to execute the calibration program (the program in step S1). next,
When the program in step S2 including the search program and the projection matrix optimization program is executed, the image data fetched from the memory 25 is processed, and the projection matrix Φ is obtained.
【0024】得られた射影行列から動き決定プログラム
(ステップS3のプログラム)が3次元物体の座標変化
(移動や、回転等)を算出して、動きデータをディスプ
レイ26に送出し、3次元物体の動きが表示される。以
下、停止信号が入力されるまでステップS2〜ステップ
4が繰り返し実行される。A motion determination program (program of step S3) calculates a coordinate change (movement, rotation, etc.) of the three-dimensional object from the obtained projection matrix, sends the motion data to the display 26, and sends the motion data to the display 26. The movement is displayed. Hereinafter, steps S2 to S4 are repeatedly executed until a stop signal is input.
【0025】以上に述べた説明から理解できるように、
本実施形態のプログラムでは射影行列の最適化を行え、
この際に撮影画像内に存在しなくなった目印点や誤認識
されている目印点はリストから削除し、考慮しないよう
にしている。これによって、追跡が正確に行われると共
に、途中で計算が発散したりする不都合が生じないとい
う利点が得られる。また、また、目印点の探索は出発点
を予測し、全画面の探索を行っていない。このために、
計算時間の短縮が可能になるという利点がある。また、
3次元物体の表面に目印点を付けて3次元物体の動きを
把握するようにしているので形状全体を扱う場合に比べ
て処理が簡単になるという利点が得られる。As can be understood from the above description,
The program of the present embodiment can optimize the projection matrix,
At this time, mark points that are no longer present in the captured image or mark points that are erroneously recognized are deleted from the list and are not considered. This has the advantage that the tracking is performed accurately and that the calculation does not diverge on the way. In addition, the search for a landmark point predicts a starting point, and does not search the entire screen. For this,
There is an advantage that the calculation time can be reduced. Also,
Since the movement of the three-dimensional object is grasped by attaching the mark points to the surface of the three-dimensional object, there is an advantage that the processing is simplified as compared with the case where the entire shape is handled.
【0026】以上、この発明の実施形態、実施例を図面
により詳述してきたが、具体的な構成はこの実施例に限
られるものではなく、この発明の要旨を逸脱しない範囲
の設計の変更等があってもこの発明に含まれる。例え
ば、動きを追跡する3次元物体は1個の場合について説
明したが、複数個ある場合も同時に追跡することができ
る。また、本発明の方法をプログラム化したプログラム
を記録した記録媒体も本発明の技術的範囲に含まれる。The embodiments and examples of the present invention have been described in detail with reference to the drawings. However, the specific configuration is not limited to the examples, and changes in design and the like may be made without departing from the gist of the present invention. Even if there is, it is included in the present invention. For example, although the case where the number of three-dimensional objects for tracking motion is one has been described, the case where there are a plurality of three-dimensional objects can be tracked simultaneously. Further, a recording medium on which a program obtained by programming the method of the present invention is recorded is also included in the technical scope of the present invention.
【0027】[0027]
【発明の効果】以上説明したように、この発明の構成に
よれば、本発明(請求項1〜請求項10に記載の発明)
では射影行列を求める際に最適化をしているために、3
次元物体の正しい追跡が可能になるという効果が得られ
る。また、請求項4〜請求項6に記載の発明では、目印
点を探索して求める際に出発点を予測しているために、
探索回数を減らし、計算時間の短縮が可能になるという
効果も得られる。As described above, according to the structure of the present invention, the present invention (the invention as set forth in claims 1 to 10)
Since optimization is performed when obtaining the projection matrix, 3
An effect is obtained that correct tracking of a three-dimensional object becomes possible. In the inventions according to claims 4 to 6, since the starting point is predicted when the landmark point is searched for and found,
The effect of reducing the number of searches and shortening the calculation time is also obtained.
【図1】 本発明の実施形態のフローチャートを示
す。FIG. 1 shows a flowchart of an embodiment of the present invention.
【図2】 射影行列の関係を説明した図である。FIG. 2 is a diagram illustrating a relationship between projection matrices.
【図3】 本発明の実施形態の装置図を示す。FIG. 3 shows an apparatus diagram of an embodiment of the present invention.
10 3次元物体 12 物体座標系(3次元空間座標系) 13 画像座標系(2次元平面座標系) 20 処理装置 21 ビデオカメラ 26 ディスプレー(表示手段) DESCRIPTION OF SYMBOLS 10 3D object 12 Object coordinate system (3D space coordinate system) 13 Image coordinate system (2D plane coordinate system) 20 Processing device 21 Video camera 26 Display (display means)
───────────────────────────────────────────────────── フロントページの続き (72)発明者 市橋 敬男 東京都渋谷区広尾5−19−9広尾ONビル 株式会社ゲン・テック内 Fターム(参考) 2F065 AA04 AA09 BB05 BB15 DD06 FF01 FF04 FF28 JJ03 JJ26 MM02 QQ24 RR07 SS13 UU05 5B057 AA16 AA19 BA02 BA24 DA07 DB02 DC19 DC33 5L096 BA02 CA04 CA24 DA01 FA38 FA66 FA67 HA05 HA08 ──────────────────────────────────────────────────続 き Continuing on the front page (72) Inventor Takao Ichihashi 5-19-9 Hiroo, Shibuya-ku, Tokyo Hiroo ON Bldg. QQ24 RR07 SS13 UU05 5B057 AA16 AA19 BA02 BA24 DA07 DB02 DC19 DC33 5L096 BA02 CA04 CA24 DA01 FA38 FA66 FA67 HA05 HA08
Claims (10)
体の動きを追跡する方法において、3次元物体の目印点
と2次元連続画像における初期フレーム中の対応する目
印点を利用してキャリブレーションを行う第1ステップ
と、該初期フレームの後の所定フレームにおける2次元
画像の射影行列を決定する第2ステップとを具備し、該
第2ステップにおける射影行列の決定は該射影行列によ
り求められる2次元画像の目印点の配置が最適となるよ
うに決定することを特徴とする2次元連続画像を利用し
た3次元物体の動き追跡方法。1. A method of tracking the movement of a three-dimensional object using a continuous two-dimensional image, wherein the calibration is performed using a landmark point of the three-dimensional object and a corresponding landmark point in an initial frame of the two-dimensional continuous image. And a second step of determining a projection matrix of a two-dimensional image in a predetermined frame after the initial frame. The determination of the projection matrix in the second step is obtained by the projection matrix. A method for tracking the movement of a three-dimensional object using two-dimensional continuous images, characterized in that the arrangement of landmark points in the two-dimensional image is determined to be optimal.
形状の特徴点又は色彩上の特徴点の中から6個以上の点
を選択した点であることを特徴とする請求項1に記載の
連続2次元画像を利用した3次元物体の動き追跡方法。2. The method according to claim 1, wherein the landmarks of the three-dimensional object are points selected from six or more points out of characteristic points of the shape or color of the three-dimensional object. A motion tracking method for a three-dimensional object using the continuous two-dimensional image described above.
ける任意のフレームへの射影行列は、前記第1ステップ
におけるキャリブレーション用の3次元物体から前記連
続画像の画像座標系への射影行列であることを特徴とす
る請求項1又は請求項2の何れか1に記載の連続2次元
画像を利用した3次元物体の動き追跡方法。3. A projection matrix from the three-dimensional object to an arbitrary frame in a two-dimensional continuous image is a projection matrix from the three-dimensional object for calibration in the first step to an image coordinate system of the continuous image. The method for tracking the movement of a three-dimensional object using a continuous two-dimensional image according to any one of claims 1 and 2, characterized in that:
への射影行列の決定は、探索手段により該所定フレーム
における目印点を探索して求め、該探索により求めた目
印点と該射影行列によって得られる目印点の距離の総和
又は距離の自乗和等の評価関数が最小となるように該射
影行列を決定したことを特徴とする請求項1〜請求項3
の何れか1に記載の連続2次元画像を利用した3次元物
体の動き追跡方法。4. The step of determining a projection matrix for a predetermined frame in the second step is performed by searching for a landmark point in the predetermined frame by a search means, and the landmark point obtained by the search and a landmark obtained by the projection matrix are determined. 4. The projection matrix according to claim 1, wherein the projection matrix is determined such that an evaluation function such as a sum of distances of points or a sum of squares of distances is minimized.
A method for tracking the movement of a three-dimensional object using the continuous two-dimensional image according to any one of the above.
して射影行列を予測し、予測した射影行列に基づいて探
索の出発点を決定し、探索することを特徴とする請求項
4に記載の連続2次元画像を利用した3次元物体の動き
追跡方法。5. The continuous search method according to claim 4, wherein said search means predicts a projection matrix using a Kalman filter, determines a starting point of the search based on the predicted projection matrix, and performs a search. A method for tracking the movement of a three-dimensional object using a three-dimensional image.
て求められた目印点を出発点とし、探索すること特徴と
する請求項4に記載の連続2次元画像を利用した3次元
物体の動き追跡方法。6. The method according to claim 4, wherein the search means searches starting from a mark point obtained in the immediately preceding frame as a starting point. .
た射影行列を利用して求めた2次元画像の該フレームに
おける目印点の距離又は距離の自乗値が所定値よりも大
きいときは該目印点を削除し、該最適射影行列を決定す
ることを特徴とする請求項1〜請求項6の何れか1に記
載の連続2次元画像を利用した3次元物体の動き追跡方
法。7. When the distance or the square of the distance between the landmark point in the frame of the two-dimensional image obtained by using the landmark point obtained by the search and the optimized projection matrix is larger than a predetermined value, the landmark is displayed. The method for tracking the movement of a three-dimensional object using a continuous two-dimensional image according to any one of claims 1 to 6, wherein points are deleted and the optimal projection matrix is determined.
跡する3次元物体の対象が複数個存在するときは、該複
数の3次元物体の各々に対して最適射影行列を求めるこ
とを特徴とする請求項1〜請求項7の何れか1に記載の
連続2次元画像を利用した3次元物体の動き追跡方法。8. A three-dimensional object motion tracking method, wherein when there are a plurality of three-dimensional objects to be tracked, an optimum projection matrix is obtained for each of the plurality of three-dimensional objects. A method for tracking the movement of a three-dimensional object using a continuous two-dimensional image according to any one of claims 1 to 7.
追跡方法をプログラムして、該プログラムを記録したこ
とを特徴とする記録媒体。9. A recording medium on which the tracking method according to claim 1 is programmed and the program is recorded.
物体の動きを追跡し、表示する装置において、該装置は
初期フレームの後の所定フレームにおける2次元画像の
目印点への射影行列を最適決定する手段と、該射影行列
を利用して前記3次元物体の目印点を求めて3次元物体
の位置、向き等の動きを表示する表示手段とを具備する
ことを特徴とする2次元連続画像を利用した3次元物体
の動き追跡装置。10. An apparatus for tracking and displaying the movement of a three-dimensional object by using a continuous two-dimensional image, the apparatus comprising: a projection matrix for a landmark point of a two-dimensional image in a predetermined frame after an initial frame; Two-dimensional continuity comprising: means for optimally determining; and display means for obtaining a mark point of the three-dimensional object by using the projection matrix and displaying a movement of the three-dimensional object such as a position and an orientation. A three-dimensional object motion tracking device using images.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001030865A JP2002236924A (en) | 2001-02-07 | 2001-02-07 | Movement tracking method and its device or the like for three dimensional object using two dimensional continuous image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001030865A JP2002236924A (en) | 2001-02-07 | 2001-02-07 | Movement tracking method and its device or the like for three dimensional object using two dimensional continuous image |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2002236924A true JP2002236924A (en) | 2002-08-23 |
Family
ID=18895026
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001030865A Pending JP2002236924A (en) | 2001-02-07 | 2001-02-07 | Movement tracking method and its device or the like for three dimensional object using two dimensional continuous image |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2002236924A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015184773A (en) * | 2014-03-20 | 2015-10-22 | 日本ユニシス株式会社 | Image processor and three-dimensional object tracking method |
KR101624450B1 (en) | 2012-11-05 | 2016-05-25 | 가부시키가이샤 모르포 | Image processing device, image processing method, and storage medium |
-
2001
- 2001-02-07 JP JP2001030865A patent/JP2002236924A/en active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101624450B1 (en) | 2012-11-05 | 2016-05-25 | 가부시키가이샤 모르포 | Image processing device, image processing method, and storage medium |
US9639913B2 (en) | 2012-11-05 | 2017-05-02 | Morpho, Inc. | Image processing device, image processing method, image processing program, and storage medium |
JP2015184773A (en) * | 2014-03-20 | 2015-10-22 | 日本ユニシス株式会社 | Image processor and three-dimensional object tracking method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11295456B2 (en) | Visual-inertial odometry with an event camera | |
US7599548B2 (en) | Image processing apparatus and image processing method | |
KR100886439B1 (en) | Estimation system, estimation method, and estimation program for estimating object state | |
JP4672175B2 (en) | Position detection apparatus, position detection method, and position detection program | |
JP4985516B2 (en) | Information processing apparatus, information processing method, and computer program | |
JP2953712B2 (en) | Moving object detection device | |
JP4809291B2 (en) | Measuring device and program | |
JP4467838B2 (en) | Image recognition apparatus and image recognition method | |
KR100855657B1 (en) | System for estimating self-position of the mobile robot using monocular zoom-camara and method therefor | |
US20150379766A1 (en) | Generation of 3d models of an environment | |
JP2003346157A (en) | Object tracking device and object tracking method | |
JP6331517B2 (en) | Image processing apparatus, system, image processing method, and image processing program | |
JP2008275341A (en) | Information processor and processing method | |
JP2011022157A (en) | Position detection apparatus, position detection method and position detection program | |
JP2017134617A (en) | Position estimation device, program and position estimation method | |
US8036454B2 (en) | Information processing system | |
JP6922348B2 (en) | Information processing equipment, methods, and programs | |
WO2021230157A1 (en) | Information processing device, information processing method, and information processing program | |
JP5614118B2 (en) | Landmark detection method, robot and program | |
US9245343B1 (en) | Real-time image geo-registration processing | |
JP2002236924A (en) | Movement tracking method and its device or the like for three dimensional object using two dimensional continuous image | |
JP2001092978A (en) | Device for estimating attitude of figure image and recording medium stored with attitude estimation program for figure image | |
EP2507767B1 (en) | Camera movement estimation | |
JP7074694B2 (en) | Information terminal equipment and programs | |
JP2002008024A (en) | Method and device for forming composited image with image of three-dimensional object embedded in two- dimensional continuous image |