JP5973767B2 - Corresponding point search device, program thereof, and camera parameter estimation device - Google Patents
Corresponding point search device, program thereof, and camera parameter estimation device Download PDFInfo
- Publication number
- JP5973767B2 JP5973767B2 JP2012086200A JP2012086200A JP5973767B2 JP 5973767 B2 JP5973767 B2 JP 5973767B2 JP 2012086200 A JP2012086200 A JP 2012086200A JP 2012086200 A JP2012086200 A JP 2012086200A JP 5973767 B2 JP5973767 B2 JP 5973767B2
- Authority
- JP
- Japan
- Prior art keywords
- feature
- point
- current image
- image
- feature vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000013598 vector Substances 0.000 claims description 239
- 238000011156 evaluation Methods 0.000 claims description 81
- 238000004364 calculation method Methods 0.000 claims description 54
- 238000000605 extraction Methods 0.000 claims description 21
- 238000000034 method Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 description 10
- 238000007796 conventional method Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 101100126955 Arabidopsis thaliana KCS2 gene Proteins 0.000 description 1
- 244000260524 Chrysanthemum balsamita Species 0.000 description 1
- 235000005633 Chrysanthemum balsamita Nutrition 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
本発明は、被写体を撮影した現在画像と、現在画像より前の過去画像との間で対応点探索を行う対応点探索装置及びそのプログラム、並びに、カメラパラメータを推定するカメラパラメータ推定装置に関する。 The present invention relates to a corresponding point search device that performs a corresponding point search between a current image obtained by photographing a subject and a past image before the current image, a program thereof, and a camera parameter estimation device that estimates camera parameters.
カメラパラメータ推定や被写体の認識、追跡等の画像処理を行う際、ＳＩＦＴ（Scale Invariant Feature Transform）等の特徴量により各画像から特徴点を検出し（非特許文献１）、画像間での対応点探索が行われている。このとき、対応点の誤対応を防ぐための従来技術が提案されている。 When performing image processing such as camera parameter estimation, subject recognition, and tracking, feature points are detected from each image using feature quantities such as SIFT (Scale Invariant Feature Transform) (Non-Patent Document 1), and corresponding points between images A search is underway. At this time, a conventional technique for preventing an incorrect correspondence between corresponding points has been proposed.
例えば、従来技術として、特徴点を比較する際に、各特徴点の特徴ベクトルからユークリッド距離を算出し、そのユークリッド距離に対する閾値を設定し、ユークリッド距離が閾値以上で対応点でないと評価する誤対応防止手法が知られている。
この他、従来技術として、ＲＡＮＳＡＣのように、対応点の外れ値を除外する対応点誤対応除外手法も知られている（非特許文献２）。
For example, as a conventional technique, when comparing feature points, the Euclidean distance is calculated from the feature vector of each feature point, a threshold for the Euclidean distance is set, and the Euclidean distance is equal to or greater than the threshold and is evaluated as not a corresponding point Prevention techniques are known.
In addition, as a conventional technique, a corresponding point erroneous correspondence exclusion method that excludes outliers of corresponding points, such as RANSAC, is also known (Non-Patent Document 2).
しかし、前記した従来技術では、ＳＩＦＴ等で用いられるオリエンテーション（特徴点の方向）が誤差を含む場合、この誤差を補償することができない。
図８を参照して、ＳＩＦＴにおけるオリエンテーションの誤差について、説明する。
例えば、図８（ａ）に示すように、ＳＩＦＴにより、被写体９０の撮影画像から、３つの特徴点Ｋ１，Ｋ２，Ｋ３が検出されたこととする。この場合、ＳＩＦＴでは、特徴点Ｋ１，Ｋ２，Ｋ３のそれぞれで、オリエンテーションＯ１，Ｏ２，Ｏ３を算出する。
However, in the above-described conventional technology, when the orientation (direction of the feature point) used in SIFT or the like includes an error, this error cannot be compensated.
The orientation error in SIFT will be described with reference to FIG.
For example, as shown in FIG. 8A, it is assumed that three feature points K 1 , K 2 , and K 3 are detected from the captured image of the
ここで、図８（ｂ）に示すように、撮影画像で被写体９０が回転した場合、正しいオリエンテーションＯ１，Ｏ２，Ｏ３が算出されず、オリエンテーションＯａ１，Ｏａ２，Ｏａ３のように誤差が含まれることがある。このとき、オリエンテーションＯａ１，Ｏａ２，Ｏａ３の誤差が特徴ベクトルに反映され、図８（ａ）及び図８（ｂ）の画像間において、対応点探索が行えないことや対応点の誤対応を招く。その結果、カメラパラメータ推定の正確性が低下することになる。
Here, as shown in FIG. 8B, when the
なお、図８（ｂ）では、正しいオリエンテーションＯ１，Ｏ２，Ｏ３を実線で図示し、誤差を有するオリエンテーションＯａ１，Ｏａ２，Ｏａ３を破線で図示した。
また、図８（ｂ）では、被写体９０を撮影したカメラ（不図示）の光軸を回転中心として、被写体９０又はカメラ（不図示）の何れかが回転した状態を図示している。
In FIG. 8B, the correct orientations O 1 , O 2 , and O 3 are indicated by solid lines , and the orientations O a1 , O a2 , and O a3 having errors are indicated by broken lines .
FIG. 8B shows a state in which either the
そこで、本発明は、前記した問題を解決し、対応点を正確に探索できる対応点探索装置及びそのプログラム、並びに、カメラパラメータを正確に推定できるカメラパラメータ推定装置を提供することを課題とする。 Accordingly, an object of the present invention is to solve the above-described problems and provide a corresponding point search device and a program thereof that can accurately search corresponding points, and a camera parameter estimation device that can accurately estimate camera parameters.
本願発明者は、画像内の特徴点が同じように回転する傾向に着目し、画像内の各特徴点でオリエンテーションを個別に算出する代わりに、画像回転量を画像内の全特徴点で共通するオリエンテーションとして算出することで、前記課題を解決できることを見出し、本発明を完成させた。 The inventor of the present application pays attention to the tendency of the feature points in the image to rotate in the same way, and instead of calculating the orientation individually at each feature point in the image, the image rotation amount is common to all feature points in the image. The inventors have found that the above-mentioned problems can be solved by calculating the orientation, and have completed the present invention.
具体的には、本願第１発明に係る対応点探索装置は、被写体を撮影した現在画像と、前記現在画像より前の過去画像との間で対応点探索を行う対応点探索装置であって、データベースと、第１特徴ベクトル算出手段と、第１対応点探索手段と、画像回転量算出手段と、第２特徴ベクトル算出手段と、第２対応点探索手段と、対応点出力手段と、データベース書込手段とを備えることを特徴とする。 Specifically, the corresponding point search device according to the first invention of the present application is a corresponding point search device that performs a corresponding point search between a current image obtained by photographing a subject and a past image before the current image, Database, first feature vector calculating means, first corresponding point searching means, image rotation amount calculating means, second feature vector calculating means, second corresponding point searching means, corresponding point output means, database document And an insertion means.
かかる構成によれば、対応点探索装置は、データベースによって、被写体の特徴点として予め検出された初期特徴点の特徴ベクトルと、初期特徴点の３次元座標とを予め記憶する。また、データベースは、過去画像から検出された特徴点である過去画像特徴点の近似特徴ベクトルと、過去画像の算出済回転特徴ベクトルと、過去画像特徴点の算出済特徴ベクトルとが書き込まれる。 According to such a configuration, the corresponding point search device stores in advance the feature vector of the initial feature point detected in advance as the feature point of the subject and the three-dimensional coordinates of the initial feature point using the database. The database also stores approximate feature vectors of past image feature points, which are feature points detected from past images, calculated rotation feature vectors of past images, and calculated feature vectors of past image feature points.
また、対応点探索装置は、第１特徴ベクトル算出手段によって、ＳＩＦＴ、ＳＵＲＦ（Speeded Up Robust Features）等の局所特徴量算出手法により、現在画像の特徴点である現在画像特徴点を検出して特徴ベクトルを算出する。そして、第１特徴ベクトル算出手段は、算出した現在画像特徴点の特徴ベクトルを、現在画像より後の画像で対応点探索を行うときの過去画像特徴点の算出済特徴ベクトルとしてデータベースに書き込む。 Further, the corresponding point search device detects the current image feature point, which is a feature point of the current image, by the first feature vector calculation means by using a local feature amount calculation method such as SIFT, SURF (Speeded Up Robust Features). Calculate the vector. Then, the first feature vector calculating means writes the calculated feature vector of the current image feature point in the database as a calculated feature vector of the past image feature point when the corresponding point search is performed on an image after the current image.
また、対応点探索装置は、第１対応点探索手段によって、データベースを参照して、現在画像特徴点と初期特徴点との特徴ベクトル、及び、現在画像特徴点の特徴ベクトルと過去画像特徴点の近似特徴ベクトルとについて、最短距離と当該最短距離の次に短い距離との比である第１評価値を算出し、算出した第１評価値が最小になる特徴点の対を、現在画像−データベース対応点として探索する。つまり、第１対応点探索手段は、データベースに記憶された特徴点と、現在画像から検出された特徴点との対応点を求める。 Further, the corresponding point search device refers to the database by the first corresponding point search means, and the feature vector of the current image feature point and the initial feature point, and the feature vector of the current image feature point and the past image feature point. For the approximate feature vector, a first evaluation value that is a ratio between the shortest distance and the shortest distance after the shortest distance is calculated, and a pair of feature points at which the calculated first evaluation value is minimized is determined as a current image-database. Search as a corresponding point. That is, the first corresponding point search means obtains a corresponding point between the feature point stored in the database and the feature point detected from the current image.
また、対応点探索装置は、画像回転量算出手段によって、現在画像内の全特徴点が同じように回転するとみなし、位相限定相関法又はオリエンテーション算出法により、過去画像に対する現在画像の画像回転量を算出する。そして、対応点探索装置は、第２特徴ベクトル算出手段によって、局所特徴量算出手法を用いて、予め設定された基準角度を基準に画像回転量が現在画像から検出された全特徴点で共通するオリエンテーションとして反映されるように、現在画像特徴点の回転特徴ベクトルを算出する。さらに、第２特徴ベクトル算出手段は、算出した現在画像特徴点の回転特徴ベクトルを、現在画像より後の画像で対応点探索を行うときの過去画像の算出済回転特徴ベクトルとしてデータベースに書き込む。 Further, the corresponding point search device assumes that all feature points in the current image rotate in the same way by the image rotation amount calculation means, and calculates the image rotation amount of the current image with respect to the past image by the phase only correlation method or the orientation calculation method. calculate. In the corresponding point search device, the second feature vector calculation means uses the local feature amount calculation method, and the image rotation amount is common to all feature points detected from the current image with reference to a preset reference angle. The rotation feature vector of the current image feature point is calculated so as to be reflected as the orientation. Further, the second feature vector calculating means writes the calculated rotation feature vector of the current image feature point in the database as the calculated rotation feature vector of the past image when the corresponding point search is performed on the image after the current image.
また、対応点探索装置は、第２対応点探索手段によって、データベースを参照して、現在画像特徴点の回転特徴ベクトルと過去画像特徴点の算出済回転特徴ベクトルとについて、第１評価値を算出し、算出した第１評価値が最小になる特徴点の対を、現在画像−過去画像対応点として探索する。つまり、第２対応点探索手段は、過去画像から検出された特徴点と、現在画像の特徴点との対応点を求める。 Further, the corresponding point search device calculates a first evaluation value for the rotation feature vector of the current image feature point and the calculated rotation feature vector of the past image feature point by referring to the database by the second corresponding point search means. Then, the feature point pair that minimizes the calculated first evaluation value is searched for as the current image-past image correspondence point. That is, the second corresponding point search means obtains a corresponding point between the feature point detected from the past image and the feature point of the current image.
また、対応点探索装置は、対応点出力手段によって、現在画像−過去画像対応点に含まれ、かつ、現在画像−データベース対応点に含まれる現在画像特徴点について、現在画像特徴点の特徴ベクトル及び過去画像特徴点の算出済特徴ベクトルの距離と、現在画像特徴点及び初期特徴点の特徴ベクトルの距離との比である第２評価値が予め設定された第１閾値を超えるか否かを判定する。そして、対応点出力手段は、誤対応の可能性が低い方を正解の対応点とするために、第２評価値が第１閾値を超えるときに現在画像−データベース対応点を対応点として出力し、第２評価値が第１閾値を超えないときに現在画像−過去画像対応点を対応点として出力する。 In addition, the corresponding point search device uses the corresponding point output unit to calculate the current image feature point feature vector and the current image feature point corresponding to the current image-past image corresponding point and the current image-database corresponding point. It is determined whether or not the second evaluation value, which is the ratio of the distance between the calculated feature vector of the past image feature point and the feature vector distance between the current image feature point and the initial feature point, exceeds a preset first threshold value. To do. Then, the corresponding point output means outputs the current image-database corresponding point as the corresponding point when the second evaluation value exceeds the first threshold value, in order to make the one with the lower possibility of erroneous correspondence as the correct corresponding point. When the second evaluation value does not exceed the first threshold, the current image-past image corresponding point is output as the corresponding point.
ここで、撮影環境（例えば、カメラ位置・姿勢や照明の明暗）は、時間の経過と共に、徐々に変化する。そして、第２評価値が予め設定された第２閾値を超えるときに、データベースに予め記憶した初期特徴点の特徴ベクトルより、現在画像から検出した特徴点の特徴ベクトルの方が、撮影環境により近い状態で求められたものと言える。そこで、対応点探索装置は、データベース書込手段によって、撮影環境により近い状態で求められた現在画像特徴点の特徴ベクトルを、次の現在画像で対応点探索を行うときの過去画像特徴点の特徴ベクトルとしてデータベースに書き込む。 Here, the shooting environment (for example, the camera position / posture and the brightness of the illumination) gradually changes with time. When the second evaluation value exceeds the preset second threshold, the feature vector of the feature point detected from the current image is closer to the shooting environment than the feature vector of the initial feature point stored in advance in the database. It can be said that it was sought in the state. Therefore, the corresponding point search device uses the feature of the past image feature point when searching the corresponding point in the next current image for the feature vector of the current image feature point obtained in the state closer to the shooting environment by the database writing means. Write to the database as a vector.
また、本願第２発明に係る対応点探索装置は、対応点追加手段によって、現在画像特徴点と初期特徴点との特徴ベクトル、及び、現在画像特徴点の特徴ベクトルと過去画像特徴点の算出済特徴ベクトルとについて、第１評価値が予め設定された第３閾値未満であるか否かを判定し、第１評価値が第３閾値未満である特徴点の対を、対応点に追加する。
かかる構成によれば、対応点探索装置は、算出した画像回転量と異なる回転の特徴点が存在する場合でも、この特徴点が含まれる対応点を拾い上げることができる。
Further, the corresponding point search device according to the second invention of the present application has already calculated the feature vector of the current image feature point and the initial feature point and the feature vector of the current image feature point and the past image feature point by the corresponding point adding means. For the feature vector, it is determined whether or not the first evaluation value is less than a preset third threshold value, and a feature point pair whose first evaluation value is less than the third threshold value is added to the corresponding point.
According to such a configuration, the corresponding point search device can pick up the corresponding point including the feature point even when there is a feature point of rotation different from the calculated image rotation amount.
また、本願第３発明に係る対応点探索装置は、対応点出力手段が、第２評価値が第１閾値を超えるとき、現在画像−データベース対応点と共に、初期特徴点を出力することを特徴とする。
かかる構成によれば、対応点探索装置が初期特徴点を出力することで、被写体の認識や追跡等の画像処理が行い易くなり、対応点探索装置の利便性が向上する。
Further, the present third invention corresponding point searching apparatus according to the corresponding point output means, comes the second evaluation value exceeds the first threshold value, the current image - with the database corresponding point, to output the initial feature points Features.
According to such a configuration, the corresponding point search device outputs the initial feature points, so that it is easy to perform image processing such as subject recognition and tracking, and the convenience of the corresponding point search device is improved.
また、本願第４発明に係る対応点探索装置は、第１対応点探索手段が、算出した第１評価値が最小になり、かつ、予め設定された第４閾値を超える特徴点の対を、現在画像−データベース対応点として探索し、第２対応点探索手段が、算出した第１評価値が最小になり、かつ、予め設定された第５閾値を超える特徴点の対を、現在画像−過去画像対応点として探索することを特徴とする。
かかる構成によれば、対応点探索装置は、誤対応の可能性が高い特徴点の対を閾値処理で除外できるため、対応点を正確に探索することができる。
Further, in the corresponding point search device according to the fourth invention of the present application, the first corresponding point search means calculates a pair of feature points in which the calculated first evaluation value is minimum and exceeds a preset fourth threshold value. A search is made as a current image-database corresponding point, and the second corresponding point search means calculates a pair of feature points having the calculated first evaluation value minimum and exceeding a preset fifth threshold value as the current image-past. It is characterized by searching as an image corresponding point.
According to such a configuration, the corresponding point search device can exclude a pair of feature points that have a high possibility of erroneous correspondence by threshold processing, and therefore can search for a corresponding point accurately.
また、前記した課題に鑑みて、本願第５発明に係るカメラパラメータ推定装置は、本願第４発明に係る対応点探索装置を備え、カメラパラメータを推定するカメラパラメータ推定装置であって、３次元座標抽出手段と、カメラパラメータ推定手段とを備えることを特徴とする。 In view of the above-described problems, a camera parameter estimation device according to a fifth invention of the present application is a camera parameter estimation device that includes the corresponding point search device according to the fourth invention of the present application and estimates a camera parameter, and is a three-dimensional coordinate An extraction unit and a camera parameter estimation unit are provided.
かかる構成によれば、カメラパラメータ推定装置は、対応点探索装置の第１対応点探索手段によって、探索した前記現在画像−データベース対応点を、次の現在画像で対応点探索を行うときの過去画像−データベース対応点として一時記憶する。 According to such a configuration, the camera parameter estimation device uses the first corresponding point searching unit of the corresponding point searching device to search the current image-database corresponding point searched for the corresponding image in the next current image. -Temporarily store as database corresponding points.
また、カメラパラメータ推定装置は、３次元座標抽出手段によって、現在画像−過去画像対応点に含まれ、かつ、現在画像−データベース対応点に含まれない現在画像特徴点について、現在画像−過去画像対応点及び前記過去画像−データベース対応点に基づいて、データベースに記憶された初期特徴点の３次元座標を、現在画像特徴点の３次元座標として抽出する。そして、カメラパラメータ推定装置は、カメラパラメータ推定手段によって、対応点探索装置で探索された対応点と、３次元座標抽出手段で抽出された３次元座標とを用いて、カメラパラメータを推定する。 Further, the camera parameter estimation device uses a three-dimensional coordinate extraction unit to match a current image-past image corresponding to a current image-past image corresponding point that is included in the current image-past image corresponding point and not included in the current image-database corresponding point. Based on the points and the past image-database correspondence points, the three-dimensional coordinates of the initial feature points stored in the database are extracted as the three-dimensional coordinates of the current image feature points. Then, the camera parameter estimation device estimates the camera parameter by using the corresponding point searched by the corresponding point search device and the three-dimensional coordinate extracted by the three-dimensional coordinate extraction unit by the camera parameter estimation unit.
これによって、カメラパラメータ推定装置は、現在画像特徴点がデータベースの特徴点に対応せずに、現在画像特徴点の３次元座標が求められない場合でも、過去画像特徴点に紐付けて、データベースから３次元座標を抽出して、カメラパラメータを推定することができる。 Thus, the camera parameter estimation device associates the current image feature point with the past image feature point even if the current image feature point does not correspond to the feature point of the database and the three-dimensional coordinates of the current image feature point cannot be obtained. Camera parameters can be estimated by extracting three-dimensional coordinates.
なお、本願第１発明に係る対応点探索装置は、ＣＰＵ、データベース等のハードウェア資源を備える一般的なコンピュータを、前記した各手段として協調動作させる対応点探索プログラムによって実現することもできる。この対応点探索プログラムは、通信回線を介して配布しても良く、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。 Note that the corresponding point search device according to the first invention of the present application can also be realized by a corresponding point search program that causes a general computer having hardware resources such as a CPU and a database to operate in cooperation with each other as described above. This corresponding point search program may be distributed through a communication line, or may be distributed by writing in a recording medium such as a CD-ROM or a flash memory.
本発明によれば、以下のような優れた効果を奏する。
本願第１発明によれば、画像内の全特徴点が同じように回転するとみなし、全特徴点で共通するオリエンテーションを算出するため、各特徴点でオリエンテーションを個別に算出した場合に比べて、オリエンテーションの誤差が少なく、対応点を正確に探索することができる。
According to the present invention, the following excellent effects can be obtained.
According to the first invention of this application, since all the feature points in the image are assumed to rotate in the same way, and the orientation common to all the feature points is calculated, the orientation is compared with the case where the orientation is calculated individually for each feature point. Therefore, the corresponding points can be searched accurately.
本願第２発明によれば、算出した画像回転量と異なる回転の特徴点が存在する場合でも、この特徴点が含まれる対応点を拾い上げるため、対応点の数が減少し過ぎることで対応点探索が行えない事態を防止することができる。
本願第３発明によれば、現在画像−データベース対応点と共に初期特徴点を出力するため、被写体の認識や追跡等の画像処理が行い易くなり、対応点探索装置の利便性が向上する。
According to the second invention of the present application, even when a feature point of rotation different from the calculated image rotation amount exists, the corresponding point search is performed because the corresponding point including the feature point is picked up. It is possible to prevent the situation that cannot be performed.
According to the third aspect of the present invention, since the initial feature point is output together with the current image- database correspondence point, it is easy to perform image processing such as subject recognition and tracking, and the convenience of the corresponding point search device is improved.
本願第４発明によれば、誤対応の可能性が高い特徴点の組み合わせを閾値処理で除外するため、対応点をより正確に探索することができる。
本願第５発明によれば、データベースから現在画像の特徴点における３次元座標が抽出できない場合でも、過去画像の特徴点に紐付けて、データベースから３次元座標を取得できるため、カメラパラメータをより正確に推定することができる。
According to the fourth aspect of the present invention, combinations of feature points that have a high possibility of miscorresponding are excluded by threshold processing, so that corresponding points can be searched more accurately.
According to the fifth invention of the present application, even when the three-dimensional coordinates at the feature point of the current image cannot be extracted from the database, the three-dimensional coordinates can be obtained from the database by associating with the feature point of the past image. Can be estimated.
［本発明の概略］
図１，図２を参照して、本発明の実施形態に係る対応点探索装置１及びカメラパラメータ推定装置２の概略について、説明する（適宜図３参照）。
図１に示すように、動画像を撮影する一般的なカメラＣが、立方体状の物体である被写体９０を撮影する場合を考える。まず、カメラＣが、現在のフレームｔからｎフレーム前（０＜ｎ＜ｔ）、図１の符号Ｃｔ−ｎで図示したように、被写体９０に対して斜めに位置している。次に、カメラＣが、フレームｔにおいて、図１の符号Ｃｔで図示したように、被写体９０の正面まで移動したとする。この場合、時刻ｔ−ｎの画像９１ｔ−ｎと、時刻ｔの画像９１ｔとを比較すると、被写体９０は、カメラＣの移動に伴って画像内で回転することになる。
[Outline of the Invention]
With reference to FIG. 1 and FIG. 2, the outline of the corresponding
As shown in FIG. 1, a case where a general camera C that captures a moving image captures a subject 90 that is a cubic object is considered. First, the camera C is positioned at an angle with respect to the subject 90, as indicated by the symbol C tn in FIG. 1, n frames before the current frame t (0 <n <t). Next, the camera C is in frame t, as shown by reference numeral C t in FIG. 1, and moved to the front of the
以後、時刻ｔの画像９１ｔを現在画像と呼び、時刻ｔ−ｎの画像９１ｔ−ｎを過去画像と呼ぶ。
また、本実施形態では、ｎ＝１、つまり、過去画像が現在画像の１フレーム前の画像であることとする。
Hereinafter, the image 91 t at time t is referred to as a current image, and the image 91 t-n at time t−n is referred to as a past image.
In the present embodiment, n = 1, that is, the past image is an image one frame before the current image.
図２に示すように、対応点探索装置１は、現在画像９１ｔと、過去画像９１ｔ−ｎと、データベース１０との間で対応点探索を行う。
この図２では、説明を簡易にするため、特徴点が２個であることとする（“●”、“▲”で図示）。
As illustrated in FIG. 2, the corresponding
In FIG. 2, it is assumed that there are two feature points (illustrated by “●” and “▲”) in order to simplify the description.
対応点探索装置１が備えるデータベース１０には、初期特徴点Ｋ４，Ｋ５の特徴ベクトル（“●の特徴記述子Ａ”、“▲の特徴記述子Ａ”）と、初期特徴点Ｋ４，Ｋ５の３次元座標とが予め記憶されている。
なお、データベース１０は、特徴記述子Ａ以外も記憶するが、説明を簡易にするため、図２では省略した。
The
Although the
まず、対応点探索装置１は、過去画像９１ｔ−ｎと、データベース１０との間で、対応点探索を行う。ここでは、初期特徴点Ｋ４と特徴点Ｋ４ｔ−ｎとの対、及び、初期特徴点Ｋ５と特徴点Ｋ５ｔ−ｎとの対が、対応点として探索されたこととする（実線矢印で図示）。
First, the corresponding
また、対応点探索装置１は、現在画像９１ｔと、データベース１０との間で、対応点探索を行う。ここでは、初期特徴点Ｋ４と特徴点Ｋ４ｔとの対が、対応点として探索されたこととする。一方、初期特徴点Ｋ５と特徴点Ｋ５ｔとの対が、対応点として探索されなかったこととする（破線矢印で図示）。
In addition, the corresponding
そして、対応点探索装置１は、現在画像９１ｔと、過去画像９１ｔ−ｎとの間で、対応点探索を行う。このとき、各特徴点でオリエンテーションを個別に算出すると、オリエンテーションの誤差により、対応点探索の正確性が低下する。従って、対応点探索装置１は、過去画像９１ｔ−ｎの全特徴点Ｋ４ｔ−ｎ，Ｋ５ｔ−ｎで共通するオリエンテーションを算出する。また、対応点探索装置１は、現在画像９１ｔの全特徴点Ｋ４ｔ，Ｋ５ｔで共通するオリエンテーションを算出する。そして、対応点探索装置１は、過去画像９１ｔ−ｎと現在画像９１ｔとのオリエンテーションの差分を画像回転量として算出し、この画像回転量が反映された回転特徴ベクトルを記述する。その後、対応点探索装置１は、記述した回転特徴ベクトルを用いて、対応点探索を行う。ここでは、特徴点Ｋ４ｔと特徴点Ｋ４ｔ−ｎとの対、及び、特徴点Ｋ５ｔと特徴点Ｋ５ｔ−ｎとの対が、対応点として探索されたこととする。
Then, the corresponding
特徴点Ｋ４ｔは、現在画像９１ｔと過去画像９１ｔ−ｎとの間、及び、現在画像９１ｔとデータベース１０との間の両方で対応している。この場合、対応点探索装置１は、現在画像９１ｔと過去画像９１ｔ−ｎとの対応点、又は、現在画像９１ｔとデータベース１０との対応点の何れかを正解の対応点として出力する。
The feature point K 4t corresponds both between the current image 91 t and the past image 91 t-n and between the current image 91 t and the
一方、特徴点Ｋ５ｔは、現在画像９１ｔとデータベース１０との間で対応していないため、データベース１０から特徴点Ｋ５ｔの３次元座標を抽出できず、カメラパラメータの推定に好ましくない。そこで、カメラパラメータ推定装置２は、現在画像９１ｔと過去画像９１ｔ−ｎとの対応点を遡って、現在画像９１ｔの特徴点Ｋ５ｔに対応する過去画像９１ｔ−ｎの特徴点Ｋ５ｔ−ｎを求める。さらに、カメラパラメータ推定装置２は、過去画像９１ｔ−ｎとデータベース１０との対応点を遡って、過去画像９１ｔ−ｎの特徴点Ｋ５ｔ−ｎに対応するデータベース１０の初期特徴点Ｋ５を求める。さらに、カメラパラメータ推定装置２は、データベース１０から初期特徴点Ｋ５の３次元座標を、特徴点Ｋ５ｔの３次元座標として抽出する。
On the other hand, since the feature point K 5t does not correspond between the current image 91 t and the
その後、カメラパラメータ推定装置２は、対応点探索装置１で探索された対応点（Ｋ４ｔ，Ｋ４ｔ−ｎ），（Ｋ５ｔ，Ｋ５ｔ−ｎ）と、抽出した３次元座標とを用いて、カメラパラメータを推定する
Thereafter, the camera
［カメラパラメータ推定装置の構成］
図３を参照して、カメラパラメータ推定装置２の構成について、説明する。
図３に示すように、カメラパラメータ推定装置２は、カメラＣのカメラパラメータを推定するものであり、対応点探索装置１と、３次元座標抽出手段２１と、カメラパラメータ推定手段２２とを備える。
[Configuration of Camera Parameter Estimation Device]
The configuration of the camera
As shown in FIG. 3, the camera
対応点探索装置１は、現在画像と、過去画像と、データベース１０との間で対応点探索を行うものであって、データベース１０と、ＳＩＦＴ特徴ベクトル記述手段（第１特徴ベクトル算出手段）１１と、画像回転量算出手段１２と、回転特徴ベクトル記述手段（第２特徴ベクトル算出手段）１３と、対応点探索手段１４と、対応点出力手段１５と、対応点追加手段１６と、特徴記述子Ｂ書込手段（データベース書込手段）１７とを備える。
Corresponding
データベース１０は、外部から、被写体９０の特徴点として予め検出された初期特徴点の特徴ベクトルと、初期特徴点の３次元座標とが入力され、入力された初期特徴点及び３次元座標を対応付けて予め記憶するものである。
The
この初期特徴点の特徴ベクトルは、ＳＩＦＴ等の局所特徴量算出手法により、被写体９０の撮影画像から特徴点を検出して、特徴ベクトルを記述したものである。この初期特徴点及び初期特徴点の特徴ベクトルは、それぞれ、特徴点及び特徴ベクトルの初期値として扱われる。 The feature vector of the initial feature point is a feature vector described by detecting a feature point from a captured image of the subject 90 by a local feature amount calculation method such as SIFT. The initial feature point and the feature vector of the initial feature point are treated as initial values of the feature point and the feature vector, respectively.
初期特徴点は、図３のカメラＣの撮影画像から求めてもよく、図示を省略した他のカメラの撮影画像から求めてもよい。また、初期特徴点の特徴ベクトルは、特徴記述子Ａと呼ばれることがある。 The initial feature point may be obtained from a photographed image of the camera C in FIG. 3 or may be obtained from a photographed image of another camera not shown. In addition, the feature vector of the initial feature point may be referred to as a feature descriptor A.
初期特徴点の３次元座標は、例えば、位置関係が既知のステレオカメラで三角測量を行うことにより、初期特徴点の位置（座標）を求めたものである。また、初期特徴点の３次元座標は、被写体９０を撮影した大量の画像からＳＩＦＴで特徴ベクトルを求め、各画像間で対応点を探索し、その探索結果にバンドルアジャストメント等の最適化手法を適用し、求めてもよい。 The three-dimensional coordinates of the initial feature points are obtained by, for example, performing triangulation with a stereo camera whose positional relationship is known, thereby obtaining the positions (coordinates) of the initial feature points. The three-dimensional coordinates of the initial feature points are obtained from SIFT to obtain feature vectors from a large number of images obtained by photographing the subject 90, corresponding points are searched between the images, and an optimization method such as bundle adjustment is used for the search results. Apply and seek.
なお、バンドルアジャストメントは、例えば、ホームページ「http://phototour.cs.washington.edu/bundler/」に詳細に記載されている。
また、データベース１０に記憶させる初期特徴点の数は任意であり、対応点探索の正確性を向上させるために、初期特徴点の数を多くすることが好ましい。
The bundle adjustment is described in detail on the homepage “http://phototour.cs.washington.edu/bundler/”, for example.
The number of initial feature points stored in the
また、データベース１０は、後記する特徴記述子Ｂ書込手段１７から、初期特徴点の特徴ベクトルに対応付けて、過去画像特徴点の近似特徴ベクトルが書き込まれる。
この近似特徴ベクトルは、初期特徴点の特徴ベクトルよりも撮影環境により近似した状態で求められた特徴ベクトルであり、特徴記述子Ｂと呼ばれることがある。
また、過去画像特徴点とは、過去画像から検出された特徴点のことである。
Further, the approximate feature vector of the past image feature point is written in the
This approximate feature vector is a feature vector obtained in a state approximated by the shooting environment rather than the feature vector of the initial feature point, and may be referred to as a feature descriptor B.
The past image feature point is a feature point detected from the past image.
また、データベース１０は、後記する回転特徴ベクトル記述手段１３から、現在画像特徴点の回転特徴ベクトルと、過去画像特徴点の算出済回転特徴ベクトルとが書き込まれる。
この回転特徴ベクトルは、後記する画像回転量算出手段１２で算出された画像回転量がオリエンテーションとして反映された特徴ベクトルであり、特徴記述子Ｃと呼ばれることがある。
この算出済回転特徴ベクトルは、過去画像から繰り返し回転特徴ベクトルを算出することを防止するための回転特徴ベクトルであり、特徴記述子Ｃ’と呼ばれることがある。
In addition, the rotation feature vector of the current image feature point and the calculated rotation feature vector of the past image feature point are written in the
This rotation feature vector is a feature vector in which the image rotation amount calculated by the image rotation amount calculation means 12 described later is reflected as an orientation, and is sometimes referred to as a feature descriptor C.
This calculated rotation feature vector is a rotation feature vector for preventing repeated calculation of a rotation feature vector from a past image, and may be referred to as a feature descriptor C ′.
また、データベース１０は、後記するＳＩＦＴ特徴ベクトル記述手段１１から、過去画像特徴点の算出済特徴ベクトルが書き込まれる。
この算出済特徴ベクトルは、過去画像から繰り返し特徴ベクトルを算出することを防止するための特徴ベクトルであり、特徴記述子Ｔとよばれることがある。
Also, the
This calculated feature vector is a feature vector for preventing repeated calculation of feature vectors from past images, and is sometimes referred to as a feature descriptor T.
なお、データベース１０は、現在画像が先頭のフレーム画像の場合、特徴記述子Ｂ〜Ｔが書き込まれていない。
また、図３では、特徴記述子Ａ〜Ｔを記述子Ａ〜Ｔと略記した。
In the
In FIG. 3, the feature descriptors A to T are abbreviated as descriptors A to T.
ＳＩＦＴ特徴ベクトル記述手段１１は、カメラＣから現在画像が入力され、ＳＩＦＴ等の局所特徴量算出手法により、入力された現在画像から特徴点を検出して、特徴ベクトルを記述（算出）するものである。
以後、現在画像から検出された特徴点を現在画像特徴点と呼ぶ。
The SIFT feature vector description means 11 is for inputting a current image from the camera C, detecting a feature point from the input current image by a local feature amount calculation method such as SIFT, and describing (calculating) a feature vector. is there.
Hereinafter, the feature points detected from the current image are referred to as current image feature points.
そして、ＳＩＦＴ特徴ベクトル記述手段１１は、記述した現在画像特徴点の特徴ベクトルを、画像回転量算出手段１２と、対応点探索手段１４と、対応点出力手段１５と、対応点追加手段１６と、特徴記述子Ｂ書込手段１７と、３次元座標抽出手段２１とに出力する。
さらに、ＳＩＦＴ特徴ベクトル記述手段１１は、記述した現在画像特徴点の特徴ベクトルを、次の現在画像で対応点探索を行うときの過去画像特徴点の算出済特徴ベクトルとして、データベース１０に書き込む。
Then, the SIFT feature vector description unit 11 outputs the described feature vector of the current image feature point, the image rotation
Furthermore, the SIFT feature vector description unit 11 writes the feature vector of the described current image feature point in the
画像回転量算出手段１２は、ＳＩＦＴ特徴ベクトル記述手段１１から、現在画像特徴点の特徴ベクトルが入力され、データベース１０から過去画像特徴点の算出済特徴ベクトルを読み出す。そして、画像回転量算出手段１２は、入力された現在画像特徴点の特徴ベクトル及び過去画像特徴点の算出済特徴ベクトルを用いて、ＳＩＦＴのオリエンテーション算出法により、過去画像に対する現在画像の画像回転量を算出するものである。
The image rotation amount calculation means 12 receives the feature vector of the current image feature point from the SIFT feature vector description means 11 and reads the calculated feature vector of the past image feature point from the
＜画像回転量の算出＞
図４を参照して、画像回転量算出手段１２による画像回転量の算出について、具体的に説明する（適宜図３参照）。
画像回転量算出手段１２は、後記する現在画像−ＤＢ対応点探索手段１４ａと同様の手法で、現在画像特徴点の特徴ベクトルと過去画像特徴点の算出済特徴ベクトル（つまり、通常のＳＩＦＴで記述された特徴記述子Ｔ）との評価値Ｔ１を算出し、現在画像と過去画像との対応点に含まれる現在画像特徴点及び過去画像特徴点を全て求める。
<Calculation of image rotation amount>
With reference to FIG. 4, the calculation of the image rotation amount by the image rotation amount calculation means 12 will be specifically described (see FIG. 3 as appropriate).
The image rotation amount calculation means 12 is the same method as the current image-DB corresponding point search means 14a described later, and the feature vector of the current image feature point and the calculated feature vector of the past image feature point (that is, described by normal SIFT). The evaluation value T1 of the feature descriptor T) is calculated, and all current image feature points and past image feature points included in corresponding points between the current image and the past image are obtained.
そして、画像回転量算出手段１２は、図４（ａ）に示すように、対応点に含まれる過去画像特徴点Ｋｔ−ｎについて、その周辺領域を８×８の小領域に分割し、各小領域の輝度勾配方向を求める。この図４（ａ）では、矢印の向きが輝度勾配方向を示し、矢印の大きさが輝度勾配強度を示す。そして、図４（ｂ）に示すように、画像回転量算出手段１２は、輝度勾配方向を３６ビンのヒストグラムで表現し、そのピーク（最高値）を過去画像特徴点Ｋｔ−ｎのオリエンテーションＯとして算出する。さらに、画像回転量算出手段１２は、過去画像特徴点Ｋｔ−ｎと同様、対応点に含まれる現在画像特徴点ＫｔのオリエンテーションＯを算出する。 Then, as shown in FIG. 4A, the image rotation amount calculation means 12 divides the peripheral area of the past image feature points Kt-n included in the corresponding points into 8 × 8 small areas, The luminance gradient direction of the small area is obtained. In FIG. 4A, the direction of the arrow indicates the luminance gradient direction, and the size of the arrow indicates the luminance gradient intensity. Then, as shown in FIG. 4B, the image rotation amount calculation means 12 expresses the luminance gradient direction as a 36-bin histogram, and the peak (highest value) is the orientation O of the past image feature points K t−n . Calculate as Further, the image rotation amount calculation means 12 calculates the orientation O of the current image feature point K t included in the corresponding point, like the past image feature point K t−n .
そして、画像回転量算出手段１２は、対応点に含まれる過去画像特徴点Ｋｔ−ｎと現在画像特徴点Ｋｔとの全てについて、過去画像特徴点Ｋｔ−ｎのオリエンテーションと、現在画像特徴点Ｋｔのオリエンテーションとの差分平均値を画像回転量として算出する。その後、画像回転量算出手段１２は、算出した画像回転量を回転特徴ベクトル記述手段１３に出力する。
なお、画像回転量算出手段１２は、現在画像が先頭のフレーム画像の場合、何の処理を行わなくともよい。
Then, the image rotation amount calculation means 12 performs the orientation of the past image feature point K t-n and the current image feature for all of the past image feature point K t-n and the current image feature point K t included in the corresponding points. calculating a difference average value of the orientation of the point K t as image rotation amount. Thereafter, the image rotation
Note that the image rotation amount calculation means 12 does not need to perform any processing when the current image is the first frame image.
図３に戻り、対応点探索装置１の構成について、説明を続ける。
回転特徴ベクトル記述手段１３は、画像回転量算出手段１２から画像回転量が入力される。そして、回転特徴ベクトル記述手段１３は、ＳＩＦＴ等の局所特徴量算出手法によって、入力された画像回転量が全ての現在画像特徴点のオリエンテーションとして反映されるように、現在画像特徴点の回転特徴ベクトルを記述（算出）するものである。
Returning to FIG. 3, the description of the configuration of the corresponding
The rotation feature
＜回転特徴ベクトルの記述＞
図５を参照して、回転特徴ベクトル記述手段１３による回転特徴ベクトルの記述について、具体的に説明する。（適宜図３参照）。
回転特徴ベクトル記述手段１３は、予め設定された基準角度（例えば、水平を示す０°）を基準として、全ての現在画像特徴点について、現在画像特徴点の周辺領域を算出したオリエンテーションだけ、予め設定された回転方向（例えば、右回り）に回転させる。
<Description of rotation feature vector>
With reference to FIG. 5, the description of the rotation feature vector by the rotation feature vector description means 13 is demonstrated concretely. (See FIG. 3 as appropriate).
The rotation feature vector description means 13 sets in advance only the orientation in which the peripheral area of the current image feature point is calculated for all the current image feature points with reference to a preset reference angle (for example, 0 ° indicating horizontal). Rotate in the rotated direction (for example, clockwise).
そして、回転特徴ベクトル記述手段１３は、図５に示すように、回転後の周辺領域を４×４の合計１６ブロックに分割し、ブロックごとに、４５度間隔の８方向での輝度勾配方向のヒストグラムを作成する。このとき、回転特徴ベクトル記述手段１３は、８方向で１６ブロックのヒストグラムを作成したため、１６×８＝１２８次元の特徴ベクトルとして、現在画像特徴点の回転特徴ベクトルを記述する。その後、回転特徴ベクトル記述手段１３は、記述した現在画像特徴点の回転特徴ベクトルを、データベース１０に書き込む。
さらに、回転特徴ベクトル記述手段１３は、記述した現在画像特徴点の回転特徴ベクトルを、次の現在画像で対応点探索を行うときの過去画像特徴点の算出済回転特徴ベクトルとして、データベース１０に書き込む。
Then, as shown in FIG. 5, the rotation feature vector description means 13 divides the peripheral area after rotation into a total of 16 blocks of 4 × 4, and each block has a luminance gradient direction in 8 directions at 45 degree intervals. Create a histogram. At this time, since the rotation feature vector description means 13 created a histogram of 16 blocks in 8 directions, the rotation feature vector of the current image feature point is described as a feature vector of 16 × 8 = 128 dimensions. Thereafter, the rotation feature vector description means 13 writes the rotation feature vector of the described current image feature point in the
Further, the rotation feature vector description means 13 writes the rotation feature vector of the described current image feature point in the
なお、回転特徴ベクトル記述手段１３は、現在画像が先頭のフレーム画像の場合、何の処理を行わなくともよい。
また、ＳＩＦＴによるオリエンテーション算出及び回転特徴ベクトルの記述は、例えば、文献「“Gradientベースの特徴抽出-SIFTとHOG-”、藤吉他、情報処理学会 研究報告CVIM 160、pp.211-224,2007.」に詳細に記載されている。
The rotation feature
Also, the orientation calculation by SIFT and the description of the rotation feature vector are described in, for example, the document ““ Gradient-based feature extraction-SIFT and HOG- ”, Fujiyoshi et al., Information Processing Society of Japan Research Report CVIM 160, pp.211-224, 2007. Is described in detail.
図３に戻り、対応点探索装置１の構成について、説明を続ける。
対応点探索手段１４は、対応点探索を行うものであり、現在画像−ＤＢ対応点探索手段（第１対応点探索手段）１４ａと、現在画像−過去画像対応点探索手段（第２対応点探索手段）１４ｂとを備える。
Returning to FIG. 3, the description of the configuration of the corresponding
Corresponding point search means 14 performs corresponding point search, and present image-DB corresponding point searching means (first corresponding point searching means) 14a and current image-past image corresponding point searching means (second corresponding point searching). Means) 14b.
ここで、対応点探索手段１４は、ＳＩＦＴ特徴ベクトル記述手段１１から現在画像特徴点の特徴ベクトルが入力される。また、対応点探索手段１４は、データベース１０から、初期特徴点の特徴ベクトル（特徴記述子Ａ）と、過去画像特徴点の近似特徴ベクトル（特徴記述子Ｂ）と、現在画像特徴点の回転特徴ベクトル（特徴記述子Ｃ）と、過去画像特徴点の算出済特徴ベクトル（特徴記述子Ｔ）とを読み出す。 Here, the corresponding point search means 14 receives the feature vector of the current image feature point from the SIFT feature vector description means 11. Corresponding point search means 14 also retrieves from the database 10 a feature vector of initial feature points (feature descriptor A), an approximate feature vector of past image feature points (feature descriptor B), and a rotation feature of the current image feature point. A vector (feature descriptor C) and a calculated feature vector (feature descriptor T) of past image feature points are read out.
＜対応点の探索＞
対応点探索手段１４による対応点探索について、具体的に説明する。
現在画像−ＤＢ対応点探索手段１４ａは、現在画像特徴点と初期特徴点との特徴ベクトル、及び、現在画像特徴点の特徴ベクトルと過去画像特徴点の近似特徴ベクトルとについて、後記する評価値Ｔ１（第１評価値）を算出し、算出した評価値Ｔ１が最小になる特徴点の対を、現在画像−データベース対応点として探索するものである。
<Search for corresponding points>
The corresponding point search by the corresponding point searching means 14 will be specifically described.
The current image-DB correspondence
まず、現在画像−ＤＢ対応点探索手段１４ａは、現在画像特徴点の特徴ベクトルと、初期特徴点の特徴ベクトルとについて、以下の式（１）により、評価値Ｔ１を算出する。
Ｔ１＝ｌ１／ｌ２ ・・・式（１）
First, the current image-DB corresponding
T1 = l1 / l2 (1)
具体的には、現在画像−ＤＢ対応点探索手段１４ａは、現在画像特徴点ごとに、この現在画像特徴点の特徴ベクトルと、初期特徴点の特徴ベクトルとの全組み合わせのうち、最短のユークリッド距離ｌ１を算出する。また、現在画像−ＤＢ対応点探索手段１４ａは、現在画像特徴点ごとに、この現在画像特徴点の特徴ベクトルと、初期特徴点の特徴ベクトルと全組み合わせのうち、ユークリッド距離ｌ１の次に短いユークリッド距離ｌ２を算出する。そして、現在画像−ＤＢ対応点探索手段１４ａは、現在画像特徴点ごとに、最短のユークリッド距離ｌ１と、次に短いユークリッド距離ｌ２との比である評価値Ｔ１を算出する。
Specifically, the current image-DB correspondence point search means 14a, for each current image feature point, of the shortest Euclidean distance among all combinations of the feature vector of the current image feature point and the feature vector of the initial feature point. l1 is calculated. Further, the current image-DB correspondence point searching means 14a, for each current image feature point, among the combinations of the feature vector of the current image feature point and the feature vector of the initial feature point, the Euclidean next shortest after the Euclidean distance l1. The distance l2 is calculated. Then, the current image-DB corresponding
つまり、評価値Ｔ１は、現在画像特徴点の特徴ベクトルが、データベース１０に記憶された何れの特徴点ベクトルに近いかを評価するものである。また、この評価値Ｔ１は、最短のユークリッド距離ｌ１と、次に短いユークリッド距離ｌ２とが一定の値でならなければ、正解の対応点でなく、誤対応の可能性が高いことを示す。
That is, the evaluation value T1 evaluates which feature point vector stored in the
次に、現在画像−ＤＢ対応点探索手段１４ａは、現在画像特徴点の特徴ベクトルと過去画像特徴点の近似特徴ベクトルとについて、前記した式（１）で評価値Ｔ１を算出する。
なお、初期特徴点の特徴ベクトルの代わりに、過去画像特徴点の近似特徴ベクトルを用いる以外、評価値１を同様に算出できるため、説明を省略する。
Next, the current image-DB correspondence
Since the
そして、現在画像−ＤＢ対応点探索手段１４ａは、現在画像特徴点ごとに、現在画像特徴点と初期特徴点との全組み合わせ、及び、現在画像特徴点と過去画像特徴点との全組み合わせのうち、算出した評価値Ｔ１が最小になる特徴点の対を、現在画像−データベース対応点として探索する。このとき、現在画像−ＤＢ対応点探索手段１４ａは、誤対応を低減するため、評価値Ｔ１が最小になり、かつ、閾値α（第４閾値）を超える特徴点の対を、現在画像−データベース対応点として探索することが好ましい。この閾値αは、任意の値（例えば、０．５）で予め設定される。
Then, for each current image feature point, the current image-DB corresponding
なお、現在画像−ＤＢ対応点探索手段１４ａは、現在画像が先頭のフレーム画像の場合、過去画像特徴点の近似特徴ベクトルがデータベース１０に記憶されていないため、初期特徴点のみを探索対象とすればよい。
Note that the current image-DB correspondence
現在画像−過去画像対応点探索手段１４ｂは、現在画像特徴点の回転特徴ベクトルと過去画像特徴点の算出済回転特徴ベクトルとについて、前記した式（１）で評価値Ｔ１を算出し、算出した評価値Ｔ１が最小になる特徴点の対を、現在画像−過去画像対応点として探索するものである。
なお、現在画像−過去画像対応点探索手段１４ｂは、現在画像−ＤＢ対応点探索手段１４ａと同様に評価値Ｔ１を算出できるため、説明を省略する。
The current image-past image corresponding
Since the current image-past image corresponding
そして、現在画像−過去画像対応点探索手段１４ｂは、現在画像特徴点と、過去画像特徴点との全組み合わせのうち、算出した評価値Ｔ１が最小になる特徴点の対を現在画像−過去画像対応点として探索する。このとき、現在画像−過去画像対応点探索手段１４ｂは、誤対応を低減するため、評価値Ｔ１が最小になり、かつ、閾値α’（第５閾値）を超える特徴点の対を、現在画像−過去画像対応点として探索することが好ましい。この閾値α’は、閾値α以下の任意の値（例えば、０．１）で予め設定される。
Then, the current image-past image corresponding
その後、対応点探索手段１４は、現在画像−データベース対応点と、現在画像−過去画像対応点とを、対応点出力手段１５と、３次元座標抽出手段２１とに出力する。
また、対応点探索手段１４は、現在画像−過去画像対応点探索手段１４ｂで探索された現在画像−データベース対応点を一時記憶メモリ（不図示）に記憶する。そして、対応点探索手段１４は、現在画像より後の画像で対応点探索を行うとき、一時記憶メモリに一時記憶された現在画像−データベース対応点を、過去画像−データベース対応点として対応点出力手段１５に出力する。
Thereafter, the corresponding point search unit 14 outputs the current image-database corresponding point and the current image-past image corresponding point to the corresponding
The corresponding point searching means 14 stores the current image-database corresponding points searched by the current image-past image corresponding point searching means 14b in a temporary storage memory (not shown). When the corresponding point search unit 14 searches for the corresponding point in the image after the current image, the corresponding point output unit stores the current image-database corresponding point temporarily stored in the temporary storage memory as the past image-database corresponding point. 15 is output.
対応点出力手段１５は、ＳＩＦＴ特徴ベクトル記述手段１１から、現在画像特徴点の特徴ベクトルが入力される。また、対応点出力手段１５は、対応点探索手段１４から、現在画像−データベース対応点と、現在画像−過去画像対応点と、過去画像−データベース対応点とが入力される。さらに、対応点出力手段１５は、データベース１０から、過去画像特徴点の算出済特徴ベクトル（特徴記述子Ｔ）を読み出す。
The corresponding
この対応点出力手段１５は、入力された現在画像特徴点のそれぞれが、現在画像−過去画像対応点に含まれ、かつ、現在画像−データベース対応点に含まれるか否かを判定するものである。そして、対応点出力手段１５は、両対応点に含まれると判定された現在画像特徴点について、以下の式（２）により評価値τ（第２評価値）を算出する。
τ＝Ｌ１／Ｌ２ ・・・式（２）
The corresponding
τ = L1 / L2 Expression (2)
この距離比τは、その値が“１”で分母側と分子側の特徴ベクトル同士の類似度が等しいことを示し、“１”より増加するほど分母側の特徴ベクトル同士の類似度が高いことを示し、“１”から減少するほど分子側の特徴ベクトル同士の類似度が高いことを示す。 This distance ratio τ indicates that the value is “1” and the similarity between the denominator side and numerator side feature vectors is the same, and the degree of similarity between the denominator side feature vectors increases as the value increases from “1”. And the degree of similarity between the molecular side feature vectors increases as the value decreases from “1”.
具体的には、対応点出力手段１５は、現在画像−過去画像対応点に含まれる現在画像特徴点及び過去画像特徴点について、この現在画像特徴点の特徴ベクトルと、この過去画像特徴点の算出済特徴ベクトルとのユークリッド距離Ｌ１を算出する。また、対応点出力手段１５は、現在画像−データベース対応点に含まれる現在画像特徴点と初期特徴点とについて、特徴ベクトル同士のユークリッド距離Ｌ２を算出する。そして、対応点出力手段１５は、ユークリッド距離Ｌ１，Ｌ２の比を示す評価値τを算出する。
Specifically, the corresponding
さらに、対応点出力手段１５は、算出した評価値τが閾値β（第１閾値）を超えるか否かを判定する。
この閾値βは、被写体の絵柄や撮影環境を考慮して、任意の値（例えば、２）で予め設定される。
Further, the corresponding
This threshold value β is set in advance as an arbitrary value (for example, 2) in consideration of the pattern of the subject and the shooting environment.
評価値τが閾値βを超える場合、対応点出力手段１５は、現在画像−データベース対応点を、正解の対応点として対応点追加手段１６に出力する。このとき、対応点出力手段１５は、被写体の認識や追跡等の画像処理が行い易くするため、現在画像−データベース対応点と共に、初期特徴点を出力することが好ましい。
一方、評価値τが閾値β以下の場合、対応点出力手段１５は、現在画像−過去画像対応点を、正解の対応点として対応点追加手段１６に出力する。
When the evaluation value τ exceeds the threshold value β, the corresponding
On the other hand, when the evaluation value τ is equal to or less than the threshold value β, the corresponding
対応点追加手段１６は、ＳＩＦＴ特徴ベクトル記述手段１１から、現在画像特徴点の特徴ベクトルが入力され、対応点出力手段１５から、正解の対応点が入力される。また、対応点追加手段１６は、データベース１０から、初期特徴点の特徴ベクトル（特徴記述子Ａ）と、過去画像特徴点の算出済特徴ベクトル（特徴記述子Ｔ）とを読み出す。
Corresponding point adding means 16 receives the feature vector of the current image feature point from SIFT feature vector description means 11, and receives the correct corresponding point from corresponding point output means 15. Corresponding point adding means 16 reads the feature vector (feature descriptor A) of the initial feature point and the calculated feature vector (feature descriptor T) of the past image feature point from the
この対応点追加手段１６は、現在画像−ＤＢ対応点探索手段１４ａと同様、現在画像特徴点と初期特徴点との特徴ベクトル、及び、現在画像特徴点の特徴ベクトルと過去画像特徴点の近似特徴ベクトルとについて、前記した式（１）で評価値Ｔ１を算出する。 This corresponding point adding means 16 is similar to the current image-DB corresponding point searching means 14a, and the feature vector of the current image feature point and the initial feature point, and the approximate feature of the feature vector of the current image feature point and the past image feature point. For the vector, the evaluation value T1 is calculated by the above-described equation (1).
また、対応点追加手段１６は、現在画像特徴点と初期特徴点との対について、算出した評価値Ｔ１が閾値γ（第３閾値）未満であるか否かを判定する。そして、評価値Ｔ１が閾値γ未満の場合、対応点追加手段１６は、現在画像特徴点と初期特徴点との対を、正解の対応点として追加する。
この閾値γは、閾値α以下の任意の値（例えば、０．１）で予め設定される。
The corresponding point adding means 16 determines whether or not the calculated evaluation value T1 is less than the threshold γ (third threshold) for the pair of the current image feature point and the initial feature point. When the evaluation value T1 is less than the threshold value γ, the corresponding point adding unit 16 adds a pair of the current image feature point and the initial feature point as a corresponding point of the correct answer.
This threshold value γ is preset with an arbitrary value (for example, 0.1) that is equal to or smaller than the threshold value α.
さらに、対応点追加手段１６は、現在画像特徴点と過去画像特徴点との対についても、算出した評価値Ｔ１が閾値γ未満であるか否かを判定する。そして、評価値Ｔ１が閾値γ未満の場合、対応点追加手段１６は、現在画像特徴点と過去画像特徴点との対を、正解の対応点として追加する。 Further, the corresponding point adding means 16 determines whether or not the calculated evaluation value T1 is less than the threshold γ for the pair of the current image feature point and the past image feature point. When the evaluation value T1 is less than the threshold value γ, the corresponding point adding unit 16 adds a pair of the current image feature point and the past image feature point as a correct corresponding point.
その後、対応点追加手段１６は、追加した対応点をカメラパラメータ推定手段２２に出力する。これによって、対応点探索装置１は、画像回転量算出手段１２が算出した画像回転量と異なる回転の特徴点の対が存在する場合でも、この特徴点の対を対応点として拾うことができる。
なお、対応点追加手段１６は、追加しようとする対応点が、対応点出力手段１５から入力された対応点に既に含まれている場合、追加しなくともよい。
Thereafter, the corresponding point adding unit 16 outputs the added corresponding point to the camera
Note that the corresponding point adding unit 16 does not need to add the corresponding point to be added when the corresponding point to be added is already included in the corresponding point input from the corresponding
特徴記述子Ｂ書込手段１７は、ＳＩＦＴ特徴ベクトル記述手段１１から、現在画像特徴点の特徴ベクトルが入力される。また、特徴記述子Ｂ書込手段１７は、対応点探索手段１４から、現在画像−データベース対応点と、現在画像−過去画像対応点とが入力される。さらに、特徴記述子Ｂ書込手段１７は、データベース１０から、初期特徴点の特徴ベクトル（特徴記述子Ａ）を読み出す。
The feature descriptor
この特徴記述子Ｂ書込手段１７は、対応点出力手段１５と同様、入力された現在画像特徴点のそれぞれが、現在画像−過去画像対応点に含まれ、かつ、現在画像−データベース対応点に含まれるか否かを判定する。そして、特徴記述子Ｂ書込手段１７は、対応点出力手段１５と同様、両対応点に含まれると判定された現在画像特徴点について、前記した式（２）で評価値τを算出し、算出した評価値τが閾値δ（第２閾値）を超えるか否かを判定するものである。
この閾値δは、閾値α以下で任意の値（例えば、０．１）に設定することができる。
Similar to the corresponding
The threshold δ can be set to an arbitrary value (for example, 0.1) that is equal to or less than the threshold α.
ここで、評価値τが閾値δを超える場合、特徴記述子Ｂ書込手段１７は、入力された現在画像特徴点の特徴ベクトルを、初期特徴点の特徴ベクトルに対応付けて、過去画像特徴点の近似特徴ベクトル（特徴記述子Ｂ）として、データベース１０に書き込む。
Here, when the evaluation value τ exceeds the threshold δ, the feature descriptor
このように、対応点探索装置１は、過去画像特徴点の近似特徴ベクトルを利用することで、撮影環境が変化した場合でも、正確に対応点を探索できる。さらに、対応点探索装置１は、撮影環境が初期状態に急峻に戻った場合でも、初期特徴点の特徴ベクトルを利用することで、対応点探索の正確性を維持できる。
As described above, the corresponding
３次元座標抽出手段２１は、ＳＩＦＴ特徴ベクトル記述手段１１から、現在画像特徴点の特徴ベクトルが入力される。また、３次元座標抽出手段２１は、対応点探索手段１４から、現在画像−データベース対応点と、現在画像−過去画像対応点と、過去画像−データベース対応点とが入力される。さらに、３次元座標抽出手段２１は、データベース１０から、初期特徴点の特徴ベクトル（特徴記述子Ａ）と、３次元座標とを読み出す。
The three-dimensional coordinate
この３次元座標抽出手段２１は、入力された現在画像特徴点が、現在画像−過去画像対応点に含まれ、かつ、現在画像−データベース対応点に含まれる判定条件を満たすか否かを判定する。そして、３次元座標抽出手段２１は、この判定条件を満たす現在画像特徴点について、現在画像−過去画像対応点及び過去画像−データベース対応点に基づいて、初期特徴点に対応付けられた３次元座標を、現在画像特徴点の３次元座標として抽出するものである。
The three-dimensional coordinate
具体的には、３次元座標抽出手段２１は、現在画像−過去画像対応点を遡って、現在画像特徴点に対応する過去画像特徴点を求める。次に、３次元座標抽出手段２１は、過去画像−データベース対応点を遡って、過去画像特徴点に対応する初期特徴点を求める。最後に、３次元座標抽出手段２１は、データベース１０から、求めた初期特徴点の３次元座標を、現在画像特徴点の３次元座標として抽出する。その後、３次元座標抽出手段２１は、抽出した現在画像特徴点の３次元座標をカメラパラメータ推定手段２２に出力する。
Specifically, the three-dimensional coordinate
なお、３次元座標抽出手段２１は、現在画像−データベース対応点に含まれる現在画像特徴点について、この現在画像−データベース対応点を遡って、現在画像特徴点に対応する初期特徴点を求める。そして、３次元座標抽出手段２１は、求めた初期特徴点の３次元座標を、現在画像特徴点の３次元座標として抽出してもよい。
Note that the three-dimensional coordinate
カメラパラメータ推定手段２２は、対応点追加手段１６から対応点が入力され、３次元座標抽出手段２１から３次元座標が入力され、入力された対応点及び３次元座標を用いて、カメラパラメータ（例えば、カメラの位置、姿勢等の外部パラメータと、光学中心、レンズ歪等の内部パラメータ）を推定するものである。
The camera
例えば、カメラパラメータ推定手段２２は、３個以上の対応点からカメラパラメータを推定する。このとき、カメラパラメータ推定手段２２は、対応点に外れ値と呼ばれる誤対応点が含まれる場合があるため、ＲＡＮＳＡＣ、ＬＭｅｄＳ等のロバスト推定により外れ値を除外し、最適化によりカメラパラメータを推定する。このとき、カメラパラメータ推定手段２２は、最適化の評価関数として、仮定したカメラパラメータで特徴記述子Ａの３次元座標を画像に投影した座標と、対応点の座標との距離差の総和を用いることができる。この場合、カメラパラメータ推定手段２２は、最適化の評価関数の計算値が最小になるカメラパラメータを繰り返し処理で推定する。その後、カメラパラメータ推定手段２２は、推定したカメラパラメータを外部に出力する。
この他、カメラパラメータ推定手段２２は、ＯｐｅｎＣＶ（http://opencv.jp/）を用いて、カメラパラメータを推定することもできる。
For example, the camera
In addition, the camera parameter estimation means 22 can also estimate the camera parameters using OpenCV (http://opencv.jp/).
［カメラパラメータ推定装置の動作：先頭のフレーム画像］
図６，図７を参照して、カメラパラメータ推定装置２の動作について、説明する（適宜図３参照）。
なお、カメラパラメータ推定装置２は、現在画像が先頭のフレーム画像の場合と、２番目以降のフレーム画像の場合で動作が異なるため、それぞれ説明する。
また、カメラパラメータ推定装置２は、データベース１０に初期特徴点の特徴ベクトルと、初期特徴点の３次元座標とを記憶していることとする。
[Operation of Camera Parameter Estimation Device: First Frame Image]
The operation of the camera
The operation of the camera
The camera
図６に示すように、カメラパラメータ推定装置２は、カメラＣから、現在画像（先頭のフレーム画像）が入力される（ステップＳ１）。
ＳＩＦＴ特徴ベクトル記述手段１１は、ＳＩＦＴ等の局所特徴量算出手法により、現在画像から特徴点を検出して、特徴ベクトルを記述する（ステップＳ２）。
As shown in FIG. 6, the camera
The SIFT feature vector description means 11 detects a feature point from the current image by a local feature amount calculation method such as SIFT, and describes the feature vector (step S2).
現在画像−ＤＢ対応点探索手段１４ａは、データベース１０から初期特徴点（特徴記述子Ａ）を読み出して、現在画像特徴点と初期特徴点との特徴ベクトルについて、評価値Ｔ１を算出する（ステップＳ３）。
現在画像−ＤＢ対応点探索手段１４ａは、算出した評価値Ｔ１が最小になり、かつ、閾値αを超える特徴点の対を、現在画像−データベース対応点として探索する（ステップＳ４）。
The current image-DB correspondence
The current image-DB corresponding
３次元座標抽出手段２１は、現在画像−データベース対応点から、現在画像特徴点に対応する初期特徴点を求め、データベース１０から、求めた初期特徴点の３次元座標を抽出する。そして、カメラパラメータ推定手段２２は、現在画像−データベース対応点及び３次元座標を用いて、カメラパラメータを推定する（ステップＳ５）。
The three-dimensional coordinate extraction means 21 obtains an initial feature point corresponding to the current image feature point from the current image-database correspondence point, and extracts the obtained three-dimensional coordinate of the initial feature point from the
ＳＩＦＴ特徴ベクトル記述手段１１は、記述した現在画像特徴点の特徴ベクトルを、次の現在画像で対応点探索を行うときの過去画像特徴点の算出済特徴ベクトル（特徴記述子Ｔ）として、データベース１０に書き込む。
特徴記述子Ｂ書込手段１７は、評価値τが閾値δを超える場合、現在画像特徴点の特徴ベクトルを、初期特徴点の特徴ベクトルに対応付けて、過去画像特徴点の近似特徴ベクトル（特徴記述子Ｂ）として、データベース１０に書き込む（ステップＳ６）。
以上のように、カメラパラメータ推定装置２は、現在画像が先頭のフレームの場合、従来技術と同様の手法で対応点探索を行い、カメラパラメータを推定する。
The SIFT feature vector description unit 11 uses the feature vector of the described current image feature point as the calculated feature vector (feature descriptor T) of the past image feature point when the corresponding point search is performed on the next current image. Write to.
When the evaluation value τ exceeds the threshold δ, the feature descriptor
As described above, when the current image is the first frame, the camera
［カメラパラメータ推定装置の動作：２番目以降のフレーム画像］
図７に示すように、カメラパラメータ推定装置２は、カメラＣから現在画像（２番目以降のフレーム画像）が入力される（ステップＳ１１）。
ＳＩＦＴ特徴ベクトル記述手段１１は、ＳＩＦＴ等の局所特徴量算出手法により、現在画像から特徴点を検出して、特徴ベクトルを記述する（ステップＳ１２）。
[Operation of camera parameter estimation device: second and subsequent frame images]
As shown in FIG. 7, the camera
The SIFT feature vector description means 11 detects a feature point from the current image by a local feature amount calculation method such as SIFT, and describes the feature vector (step S12).
現在画像−ＤＢ対応点探索手段１４ａは、データベース１０から初期特徴点（特徴記述子Ａ）と近似特徴ベクトル（特徴記述子Ｂ）とを読み出して、現在画像特徴点と初期特徴点との特徴ベクトル、及び、現在画像特徴点の特徴ベクトルと過去画像特徴点の近似特徴ベクトルとについて、評価値Ｔ１を算出する（ステップＳ１３）。
The current image-DB correspondence
現在画像−ＤＢ対応点探索手段１４ａは、算出した評価値Ｔ１が最小になり、かつ、閾値αを超える特徴点の対を、現在画像−データベース対応点として探索する（ステップＳ１４）。
The current image-DB corresponding
画像回転量算出手段１２は、現在画像特徴点の特徴ベクトル及び過去画像特徴点の算出済特徴ベクトルを用いて、ＳＩＦＴのオリエンテーション算出法により、過去画像に対する現在画像の画像回転量を算出する（ステップＳ１５）。
回転特徴ベクトル記述手段１３は、ＳＩＦＴ等の局所特徴量算出手法によって、予め設定された基準角度を基準として、画像回転量が全ての現在画像特徴点のオリエンテーションとして反映されるように、現在画像特徴点の回転特徴ベクトル（特徴記述子Ｃ）を記述する（ステップＳ１６）。
The image rotation amount calculation means 12 calculates the image rotation amount of the current image with respect to the past image by the SIFT orientation calculation method using the feature vector of the current image feature point and the calculated feature vector of the past image feature point (step S15).
The rotation feature vector description means 13 uses a local feature amount calculation method such as SIFT so that the image rotation amount is reflected as the orientation of all current image feature points with reference to a preset reference angle. A point rotation feature vector (feature descriptor C) is described (step S16).
現在画像−過去画像対応点探索手段１４ｂは、データベース１０から算出済初期特徴点（特徴記述子Ｔ）を読み出して、現在画像特徴点の回転特徴ベクトルと過去画像特徴点の算出済特徴ベクトルとについて、評価値Ｔ１を算出する（ステップＳ１７）。
現在画像−過去画像対応点探索手段１４ｂは、算出した評価値Ｔ１が最小になり、かつ、閾値αを超える特徴点の対を、現在画像−過去画像対応点として探索する（ステップＳ１８）。
The current image-past image corresponding
The current image-past image corresponding
対応点出力手段１５は、現在画像特徴点が、現在画像−過去画像対応点に含まれ、かつ、現在画像−データベース対応点に含まれるか否かを判定する。そして、対応点出力手段１５は、両対応点に含まれると判定された現在画像特徴点について、評価値τを算出する（ステップＳ１９）。
対応点出力手段１５は、評価値τが閾値βを超えるか否かにより、現在画像−データベース対応点、又は、現在画像−過去画像対応点を、正解の対応点として出力する（ステップＳ２０）。
The corresponding point output means 15 determines whether or not the current image feature point is included in the current image-past image corresponding point and included in the current image-database corresponding point. Then, the corresponding
The corresponding point output means 15 outputs the current image-database corresponding point or the current image-past image corresponding point as a correct corresponding point depending on whether or not the evaluation value τ exceeds the threshold value β (step S20).
対応点追加手段１６は、現在画像特徴点と初期特徴点との特徴ベクトル、及び、現在画像特徴点の特徴ベクトルと過去画像特徴点の近似特徴ベクトルとについて、評価値Ｔ１を算出する（ステップＳ２１）。
対応点追加手段１６は、現在画像特徴点と初期特徴点との対について、評価値Ｔ１が閾値γ未満の場合、この特徴点の対を正解の対応点として追加する。また、対応点追加手段１６は、現在画像特徴点と過去画像特徴点との対について、評価値Ｔ１が閾値γ未満の場合、この特徴点の対を正解の対応点として追加する（ステップＳ２２）。
The corresponding point adding means 16 calculates the evaluation value T1 for the feature vector of the current image feature point and the initial feature point, and the feature vector of the current image feature point and the approximate feature vector of the past image feature point (step S21). ).
When the evaluation value T1 is less than the threshold value γ for the pair of the current image feature point and the initial feature point, the corresponding point addition unit 16 adds the feature point pair as a correct corresponding point. In addition, when the evaluation value T1 is less than the threshold γ for the pair of the current image feature point and the past image feature point, the corresponding point adding unit 16 adds the feature point pair as a correct corresponding point (step S22). .
３次元座標抽出手段２１は、前記した判定条件を満たす現在画像特徴点について、現在画像−過去画像対応点及び過去画像−データベース対応点に基づいて、初期特徴点に対応付けられた３次元座標を、現在画像特徴点の３次元座標として抽出する（ステップＳ２３）。
カメラパラメータ推定手段２２は、現在画像−データベース対応点及び３次元座標を用いて、カメラパラメータを推定する（ステップＳ２４）。
The three-dimensional coordinate
The camera parameter estimation means 22 estimates camera parameters using the current image-database correspondence point and the three-dimensional coordinates (step S24).
ＳＩＦＴ特徴ベクトル記述手段１１は、記述した現在画像特徴点の特徴ベクトルを、次の現在画像で対応点探索を行うときの過去画像特徴点の算出済特徴ベクトル（特徴記述子Ｔ）として、データベース１０に書き込む。
特徴記述子Ｂ書込手段１７は、評価値τが閾値δを超える場合、現在画像特徴点の特徴ベクトルを、初期特徴点の特徴ベクトルに対応付けて、過去画像特徴点の近似特徴ベクトル（特徴記述子Ｂ）として、データベース１０に書き込む（ステップＳ２５）。
The SIFT feature vector description unit 11 uses the feature vector of the described current image feature point as the calculated feature vector (feature descriptor T) of the past image feature point when the corresponding point search is performed on the next current image. Write to.
When the evaluation value τ exceeds the threshold δ, the feature descriptor
回転特徴ベクトル記述手段１３は、記述した現在画像特徴点の回転特徴ベクトルを、次の現在画像で対応点探索を行うときの過去画像特徴点の算出済回転特徴ベクトル（特徴記述子Ｃ’）として、データベース１０に書き込む（ステップＳ２６）。 The rotation feature vector description means 13 uses the rotation feature vector of the described current image feature point as the calculated rotation feature vector (feature descriptor C ′) of the past image feature point when the corresponding point search is performed on the next current image. The data is written in the database 10 (step S26).
以上のように、本発明の実施形態に係るカメラパラメータ推定装置２は、画像内の全特徴点が同じように回転するとみなし、全特徴点で共通するオリエンテーションを算出するため、各特徴点でオリエンテーションを個別に算出した場合に比べて、オリエンテーションの誤差が少なく、対応点を正確に探索することができる。
As described above, the camera
なお、カメラパラメータ推定装置２は、画像内での被写体９０の回転が制限されるものでない。
例えば、カメラＣをアフィンカメラと仮定し、現在画像と過去画像とが時間的に近い場合、被写体の動き（回転）が僅かになる。この場合、カメラパラメータ推定装置２は、全特徴点での画像回転量が同程度になるため、対応点を極めて正確に探索することができる。
The camera
For example, assuming that the camera C is an affine camera and the current image and the past image are close in time, the movement (rotation) of the subject is slight. In this case, the camera
なお、本実施形態では、ＳＩＦＴのオリエンテーションにより画像回転量を算出することとして説明したが、本発明は、これに限定されない。例えば、画像回転量算出手段１２は、位相限定相関法により画像回転量を算出してもよい。
この位相限定相関法は、例えば、文献「”１次元位相限定相関法に基づく画像の高精度回転計測アルゴリズムとその評価”,長嶋他、第20回 回路とシステム 軽井沢ワークショップ、http://www.aoki.ecei.tohoku.ac.jp/~ito/p173_Bd1-2-4.pdf」に詳細に記載されている。
In the present embodiment, the image rotation amount is calculated by SIFT orientation, but the present invention is not limited to this. For example, the image rotation
This phase-only correlation method is described, for example, in the document ““ High-precision rotation measurement algorithm for images based on the one-dimensional phase-only correlation method and its evaluation ”, Nagashima et al., 20th Circuit and System Karuizawa Workshop, http: // www .aoki.ecei.tohoku.ac.jp / ~ ito / p173_Bd1-2-4.pdf "is described in detail.
なお、本実施形態では、ＳＩＦＴを用いることとして説明したが、本発明は、これに限定されない。例えば、本発明は、ＳＵＲＦやＤＡＩＳＹのように、一定のルールに基づいてオリエンテーションを算出し、特徴ベクトルを記述する手法であれば、利用可能である。 Although the present embodiment has been described as using SIFT, the present invention is not limited to this. For example, the present invention can be used as long as it is a technique for calculating an orientation based on a certain rule and describing a feature vector, such as SURF or DAISY.
なお、本実施形態では、図５の手法で回転特徴ベクトルを記述することとして説明したが、本発明は、これに限定されない。例えば、回転特徴ベクトル記述手段１３は、２回目以降の処理の場合（現在画像が３番目以降のフレーム画像の場合）、基準角度と、算出済回転特徴ベクトルのオリエンテーションと、現在画像の画像回転量とを加えた角度を、現在画像のオリエンテーションとすることで、現在画像特徴点の回転特徴ベクトルを記述してもよい。
In the present embodiment, the rotation feature vector is described by the method of FIG. 5, but the present invention is not limited to this. For example, in the second and subsequent processing (when the current image is the third and subsequent frame images), the rotation feature
１ 対応点探索装置
１０ データベース
１１ ＳＩＦＴ特徴ベクトル記述手段（第１特徴ベクトル算出手段）
１２ 画像回転量算出手段
１３ 回転特徴ベクトル記述手段（第２特徴ベクトル算出手段）
１４ 対応点探索手段
１４ａ 現在画像−ＤＢ対応点探索手段（第１対応点探索手段）
１４ｂ 現在画像−過去画像対応点探索手段（第２対応点探索手段）
１５ 対応点出力手段
１６ 対応点追加手段
１７ 特徴記述子Ｂ書込手段（データベース書込手段）
２ カメラパラメータ推定装置
２１ ３次元座標抽出手段
２２ カメラパラメータ推定手段
1 Corresponding
12 image rotation amount calculation means 13 rotation feature vector description means (second feature vector calculation means)
14 Corresponding point searching means 14a Current image-DB corresponding point searching means (first corresponding point searching means)
14b Current image-past image corresponding point searching means (second corresponding point searching means)
15 Corresponding point output means 16 Corresponding point addition means 17 Feature descriptor B writing means (database writing means)
2 Camera
Claims (6)
前記被写体の特徴点として予め検出された初期特徴点の特徴ベクトルと、前記初期特徴点の３次元座標とを予め記憶し、過去画像から検出された特徴点である過去画像特徴点の近似特徴ベクトルと、前記過去画像の算出済回転特徴ベクトルと、前記過去画像特徴点の算出済特徴ベクトルとが書き込まれるデータベースと、
局所特徴量算出手法により、前記現在画像の特徴点である現在画像特徴点を検出して特徴ベクトルを算出し、算出した前記現在画像特徴点の特徴ベクトルを、前記現在画像より後の画像で対応点探索を行うときの過去画像特徴点の算出済特徴ベクトルとして前記データベースに書き込む第１特徴ベクトル算出手段と、
前記データベースを参照して、前記現在画像特徴点と前記初期特徴点との特徴ベクトル、及び、前記現在画像特徴点の特徴ベクトルと過去画像特徴点の近似特徴ベクトルとについて、最短距離と当該最短距離の次に短い距離との比である第１評価値を算出し、算出した当該第１評価値が最小になる特徴点の対を、現在画像−データベース対応点として探索する第１対応点探索手段と、
位相限定相関法又はオリエンテーション算出法により、前記過去画像に対する前記現在画像の画像回転量を算出する画像回転量算出手段と、
前記局所特徴量算出手法によって、予め設定された基準角度を基準に前記画像回転量がオリエンテーションとして反映されるように、前記現在画像特徴点の回転特徴ベクトルを算出し、算出した前記現在画像特徴点の回転特徴ベクトルを、前記現在画像より後の画像で対応点探索を行うときの前記過去画像の算出済回転特徴ベクトルとして前記データベースに書き込む第２特徴ベクトル算出手段と、
前記データベースを参照して、前記現在画像特徴点の回転特徴ベクトルと前記過去画像特徴点の算出済回転特徴ベクトルとについて、前記第１評価値を算出し、算出した当該第１評価値が最小になる特徴点の対を、現在画像−過去画像対応点として探索する第２対応点探索手段と、
前記現在画像−過去画像対応点に含まれ、かつ、前記現在画像−データベース対応点に含まれる現在画像特徴点について、当該現在画像特徴点の特徴ベクトル及び前記過去画像特徴点の算出済特徴ベクトルの距離と、当該現在画像特徴点及び前記初期特徴点の特徴ベクトルの距離との比である第２評価値が予め設定された第１閾値を超えるか否かを判定し、前記第２評価値が前記第１閾値を超えるときに前記現在画像−データベース対応点を前記対応点として出力し、前記第２評価値が前記第１閾値を超えないときに前記現在画像−過去画像対応点を前記対応点として出力する対応点出力手段と、
前記第２評価値が予め設定された第２閾値を超えるときに、前記現在画像特徴点の特徴ベクトルを、前記現在画像より後の画像で対応点探索を行うときの過去画像特徴点の近似特徴ベクトルとして前記データベースに書き込むデータベース書込手段と、
を備えることを特徴とする対応点探索装置。 A corresponding point search device for searching for corresponding points between a current image obtained by photographing a subject and a past image before the current image,
An approximate feature vector of a past image feature point that is a feature point detected from a past image by previously storing a feature vector of the initial feature point previously detected as a feature point of the subject and a three-dimensional coordinate of the initial feature point A database in which the calculated rotation feature vector of the past image and the calculated feature vector of the past image feature point are written;
A feature vector is calculated by detecting a current image feature point that is a feature point of the current image by a local feature amount calculation method, and the calculated feature vector of the current image feature point is supported by an image after the current image First feature vector calculation means for writing into the database as a calculated feature vector of a past image feature point when performing a point search;
Referring to the database, the shortest distance and the shortest distance for the feature vector of the current image feature point and the initial feature point, and the feature vector of the current image feature point and the approximate feature vector of the past image feature point The first corresponding point search means for calculating a first evaluation value that is a ratio to the next shortest distance after the first and searching for a pair of feature points that minimizes the calculated first evaluation value as a current image-database corresponding point When,
An image rotation amount calculating means for calculating an image rotation amount of the current image with respect to the past image by a phase only correlation method or an orientation calculation method;
The local feature amount calculation method calculates a rotation feature vector of the current image feature point so that the image rotation amount is reflected as an orientation based on a preset reference angle, and the calculated current image feature point Second feature vector calculation means for writing the rotation feature vector in the database as a calculated rotation feature vector of the past image when the corresponding point search is performed on an image after the current image.
Referring to the database, the first evaluation value is calculated for the rotation feature vector of the current image feature point and the calculated rotation feature vector of the past image feature point, and the calculated first evaluation value is minimized. Second corresponding point search means for searching for a pair of feature points as current image-past image corresponding points;
For the current image feature point included in the current image-past image correspondence point and included in the current image-database correspondence point, the feature vector of the current image feature point and the calculated feature vector of the past image feature point It is determined whether or not a second evaluation value that is a ratio between the distance and the distance between the current image feature point and the feature vector of the initial feature point exceeds a preset first threshold value, and the second evaluation value is When the first threshold is exceeded, the current image-database corresponding point is output as the corresponding point, and when the second evaluation value does not exceed the first threshold, the current image-past image corresponding point is the corresponding point. Corresponding point output means for outputting as
When the second evaluation value exceeds a preset second threshold value, the approximate feature of the past image feature point when a feature point search is performed on the feature vector of the current image feature point in an image after the current image. Database writing means for writing to the database as a vector;
A corresponding point search device comprising:
をさらに備えることを特徴とする請求項１に記載の対応点探索装置。 The first evaluation value is set in advance for the feature vector of the current image feature point and the initial feature point, and the feature vector of the current image feature point and the calculated feature vector of the past image feature point. A corresponding point adding means for determining whether or not the threshold value is less than 3, and adding a pair of feature points having the first evaluation value less than the third threshold value to the corresponding point;
The corresponding point search apparatus according to claim 1, further comprising:
前記第２対応点探索手段は、算出した前記第１評価値が最小になり、かつ、予め設定された第５閾値を超える特徴点の対を、前記現在画像−過去画像対応点として探索することを特徴とする請求項１から請求項３の何れか一項に記載の対応点探索装置。 The first corresponding point search means searches for a pair of feature points where the calculated first evaluation value is minimum and exceeds a preset fourth threshold as the current image-database corresponding point,
The second corresponding point search means searches for a pair of feature points in which the calculated first evaluation value is minimum and exceeds a preset fifth threshold as the current image-past image corresponding point. The corresponding point search device according to any one of claims 1 to 3, wherein
前記被写体の特徴点として予め検出された初期特徴点の特徴ベクトルと、前記初期特徴点の３次元座標とを予め記憶し、過去画像から検出された特徴点である過去画像特徴点の近似特徴ベクトルと、前記過去画像の算出済回転特徴ベクトルと、前記過去画像特徴点の算出済特徴ベクトルとが書き込まれるデータベースを備えるコンピュータを、
局所特徴量算出手法により、前記現在画像の特徴点である現在画像特徴点を検出して特徴ベクトルを算出し、算出した前記現在画像特徴点の特徴ベクトルを、前記現在画像より後の画像で対応点探索を行うときの過去画像特徴点の算出済特徴ベクトルとして前記データベースに書き込む第１特徴ベクトル算出手段、
前記データベースを参照して、前記現在画像特徴点と前記初期特徴点との特徴ベクトル、及び、前記現在画像特徴点の特徴ベクトルと過去画像特徴点の近似特徴ベクトルとについて、最短距離と当該最短距離の次に短い距離との比である第１評価値を算出し、算出した当該第１評価値が最小になる特徴点の対を、現在画像−データベース対応点として探索する第１対応点探索手段、
位相限定相関法又はオリエンテーション算出法により、前記過去画像に対する前記現在画像の画像回転量を算出する画像回転量算出手段、
前記局所特徴量算出手法によって、予め設定された基準角度を基準に前記画像回転量がオリエンテーションとして反映されるように、前記現在画像特徴点の回転特徴ベクトルを算出し、算出した前記現在画像特徴点の回転特徴ベクトルを、前記現在画像より後の画像で対応点探索を行うときの前記過去画像の算出済回転特徴ベクトルとして前記データベースに書き込む第２特徴ベクトル算出手段、
前記データベースを参照して、前記現在画像特徴点の回転特徴ベクトルと前記過去画像特徴点の算出済回転特徴ベクトルとについて、前記第１評価値を算出し、算出した当該第１評価値が最小になる特徴点の対を、現在画像−過去画像対応点として探索する第２対応点探索手段、
前記現在画像−過去画像対応点に含まれ、かつ、前記現在画像−データベース対応点に含まれる現在画像特徴点について、当該現在画像特徴点の特徴ベクトル及び前記過去画像特徴点の算出済特徴ベクトルの距離と、当該現在画像特徴点及び前記初期特徴点の特徴ベクトルの距離との比である第２評価値が予め設定された第１閾値を超えるか否かを判定し、前記第２評価値が前記第１閾値を超えるときに前記現在画像−データベース対応点を前記対応点として出力し、前記第２評価値が前記第１閾値を超えないときに前記現在画像−過去画像対応点を前記対応点として出力する対応点出力手段、
前記第２評価値が予め設定された第２閾値を超えるときに、前記現在画像特徴点の特徴ベクトルを、前記現在画像より後の画像で対応点探索を行うときの過去画像特徴点の近似特徴ベクトルとして前記データベースに書き込むデータベース書込手段、
として機能させるための対応点探索プログラム。 In order to perform a corresponding point search between a current image obtained by photographing a subject and a past image before the current image,
An approximate feature vector of a past image feature point that is a feature point detected from a past image by previously storing a feature vector of the initial feature point previously detected as a feature point of the subject and a three-dimensional coordinate of the initial feature point And a computer comprising a database in which the calculated rotation feature vector of the past image and the calculated feature vector of the past image feature point are written,
A feature vector is calculated by detecting a current image feature point that is a feature point of the current image by a local feature amount calculation method, and the calculated feature vector of the current image feature point is supported by an image after the current image First feature vector calculation means for writing into the database as a calculated feature vector of a past image feature point when performing a point search;
Referring to the database, the shortest distance and the shortest distance for the feature vector of the current image feature point and the initial feature point, and the feature vector of the current image feature point and the approximate feature vector of the past image feature point The first corresponding point search means for calculating a first evaluation value that is a ratio to the next shortest distance after the first and searching for a pair of feature points that minimizes the calculated first evaluation value as a current image-database corresponding point ,
An image rotation amount calculation means for calculating an image rotation amount of the current image with respect to the past image by a phase only correlation method or an orientation calculation method;
The local feature amount calculation method calculates a rotation feature vector of the current image feature point so that the image rotation amount is reflected as an orientation based on a preset reference angle, and the calculated current image feature point Second feature vector calculation means for writing the rotation feature vector in the database as a calculated rotation feature vector of the past image when searching for corresponding points in an image after the current image,
Referring to the database, the first evaluation value is calculated for the rotation feature vector of the current image feature point and the calculated rotation feature vector of the past image feature point, and the calculated first evaluation value is minimized. Second corresponding point searching means for searching for a pair of feature points as current image-past image corresponding points,
For the current image feature point included in the current image-past image correspondence point and included in the current image-database correspondence point, the feature vector of the current image feature point and the calculated feature vector of the past image feature point It is determined whether or not a second evaluation value that is a ratio between the distance and the distance between the current image feature point and the feature vector of the initial feature point exceeds a preset first threshold value, and the second evaluation value is When the first threshold is exceeded, the current image-database corresponding point is output as the corresponding point, and when the second evaluation value does not exceed the first threshold, the current image-past image corresponding point is the corresponding point. Corresponding point output means to output as
When the second evaluation value exceeds a preset second threshold value, the approximate feature of the past image feature point when a feature point search is performed on the feature vector of the current image feature point in an image after the current image. Database writing means for writing to the database as a vector;
Corresponding point search program to function as.
前記対応点探索装置は、
前記第１対応点探索手段が、探索した前記現在画像−データベース対応点を、前記現在画像より後の画像で対応点探索を行うときの過去画像−データベース対応点として一時記憶し、
前記カメラパラメータ推定装置は、
前記現在画像−過去画像対応点に含まれ、かつ、前記現在画像−データベース対応点に含まれない前記現在画像特徴点について、前記現在画像−過去画像対応点及び前記過去画像−データベース対応点に基づいて、前記データベースに記憶された前記初期特徴点の３次元座標を、当該現在画像特徴点の３次元座標として抽出する３次元座標抽出手段と、
前記対応点探索装置で探索された対応点と、前記３次元座標抽出手段で抽出された３次元座標とを用いて、前記カメラパラメータを推定するカメラパラメータ推定手段と、
を備えることを特徴とするカメラパラメータ推定装置。 A camera parameter estimation device comprising the corresponding point search device according to claim 4 for estimating a camera parameter,
The corresponding point search device includes:
The first corresponding point searching means temporarily stores the searched current image-database corresponding point as a past image-database corresponding point when performing a corresponding point search on an image after the current image,
The camera parameter estimation device includes:
Based on the current image-past image correspondence point and the past image-database correspondence point, the current image feature point included in the current image-past image correspondence point and not included in the current image-database correspondence point. Three-dimensional coordinate extraction means for extracting the three-dimensional coordinates of the initial feature points stored in the database as the three-dimensional coordinates of the current image feature points;
Camera parameter estimation means for estimating the camera parameters using the corresponding points searched by the corresponding point search device and the three-dimensional coordinates extracted by the three-dimensional coordinate extraction means;
A camera parameter estimation device comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012086200A JP5973767B2 (en) | 2012-04-05 | 2012-04-05 | Corresponding point search device, program thereof, and camera parameter estimation device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012086200A JP5973767B2 (en) | 2012-04-05 | 2012-04-05 | Corresponding point search device, program thereof, and camera parameter estimation device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013218396A JP2013218396A (en) | 2013-10-24 |
| JP5973767B2 true JP5973767B2 (en) | 2016-08-23 |
Family
ID=49590448
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012086200A Active JP5973767B2 (en) | 2012-04-05 | 2012-04-05 | Corresponding point search device, program thereof, and camera parameter estimation device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5973767B2 (en) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015132817A1 (en) * | 2014-03-05 | 2015-09-11 | 三菱電機株式会社 | Edge detection device, edge detection method, and program |
| KR101715649B1 (en) * | 2014-04-22 | 2017-03-15 | 위드로봇 주식회사 | Image recognition system using transformed images |
| JP6399518B2 (en) * | 2014-12-18 | 2018-10-03 | インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ | Processing device, processing method, and program |
| CN109271944B (en) * | 2018-09-27 | 2021-03-12 | 百度在线网络技术（北京）有限公司 | Obstacle detection method, obstacle detection device, electronic apparatus, vehicle, and storage medium |
| CN110070626B (en) * | 2019-03-15 | 2023-08-11 | 西安电子科技大学 | Three-dimensional object retrieval method based on multi-view classification |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011008687A (en) * | 2009-06-29 | 2011-01-13 | Sharp Corp | Image processor |
-
2012
- 2012-04-05 JP JP2012086200A patent/JP5973767B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2013218396A (en) | 2013-10-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9292937B2 (en) | Opt-keyframe reconstruction for robust video-based structure from motion | |
| US9177404B2 (en) | Systems and methods of merging multiple maps for computer vision based tracking | |
| CN107292949B (en) | Three-dimensional reconstruction method and device of scene and terminal equipment | |
| US9330471B2 (en) | Camera aided motion direction and speed estimation | |
| JP6215442B2 (en) | Client-server based dynamic search | |
| JP6464934B2 (en) | Camera posture estimation apparatus, camera posture estimation method, and camera posture estimation program | |
| KR101532864B1 (en) | Planar mapping and tracking for mobile devices | |
| KR102367361B1 (en) | Location measurement and simultaneous mapping method and device | |
| WO2015017539A1 (en) | Rolling sequential bundle adjustment | |
| WO2019125741A1 (en) | Graphical coordinate system transform for video frames | |
| JP5973767B2 (en) | Corresponding point search device, program thereof, and camera parameter estimation device | |
| JP2011008687A (en) | Image processor | |
| JP2012234257A (en) | Image processor, image processing method and program | |
| WO2018214086A1 (en) | Method and apparatus for three-dimensional reconstruction of scene, and terminal device | |
| JPWO2016208404A1 (en) | Information processing apparatus and method, and program | |
| CN112102404B (en) | Object detection tracking method and device and head-mounted display equipment | |
| JP6080424B2 (en) | Corresponding point search device, program thereof, and camera parameter estimation device | |
| WO2022174603A1 (en) | Pose prediction method, pose prediction apparatus, and robot | |
| JP6843552B2 (en) | Image processing equipment, image processing methods and programs. | |
| WO2013173383A1 (en) | Methods and apparatus for processing image streams | |
| CN111814869B (en) | Method and device for synchronous positioning and mapping, electronic equipment and storage medium | |
| WO2024084638A1 (en) | Marker location calculation device, marker location calculation method, and marker location calculation program | |
| Xu | Stereo Visual Odometry with Windowed Bundle Adjustment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20140326 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150302 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151214 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151222 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160209 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160621 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160715 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5973767 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |