JP2014112056A - Three-dimensional measurement method and system for subject shape - Google Patents

Three-dimensional measurement method and system for subject shape Download PDF

Info

Publication number
JP2014112056A
JP2014112056A JP2012266470A JP2012266470A JP2014112056A JP 2014112056 A JP2014112056 A JP 2014112056A JP 2012266470 A JP2012266470 A JP 2012266470A JP 2012266470 A JP2012266470 A JP 2012266470A JP 2014112056 A JP2014112056 A JP 2014112056A
Authority
JP
Japan
Prior art keywords
image
image set
camera
marker
feature points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012266470A
Other languages
Japanese (ja)
Inventor
Kosuke Hara
孝介 原
Koji Kamiya
孝二 神谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Wave Inc
Denso IT Laboratory Inc
Original Assignee
Denso Wave Inc
Denso IT Laboratory Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Wave Inc, Denso IT Laboratory Inc filed Critical Denso Wave Inc
Priority to JP2012266470A priority Critical patent/JP2014112056A/en
Publication of JP2014112056A publication Critical patent/JP2014112056A/en
Pending legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Abstract

PROBLEM TO BE SOLVED: To generate a point group which includes no marker as a three-dimensional shape measurement result.SOLUTION: A three-dimensional measurement method includes: a step S102 of obtaining an image set Φ photographed by a camera while a marker is arranged in an environment, and estimating a standard camera attitude by associating feature points with respect to the image set Φ; a step S107 of obtaining an image set Φphotographed by the camera while no marker is arranged in the environment, and extracting local feature points for calculating a camera attitude for each frame; a step S109 of associating feature points in images included in the image set Φwith each other from a set of feature points obtained as to the image set Φ, and associating feature points in the images included in the image set Φand feature points in images included in the image set Φ; a step S110 of estimating a camera attitude on the basis of a standard camera attitude as a fixed value; and a step S111 of generating a point groups using only the images included in the image set Φon the basis of the camera attitude of the image set Φ.

Description

本発明は、被写体の形状を３次元計測するための技術に関し、より詳細には、３次元形状の計測結果として得られる点群を、カメラ姿勢の推定に用いたマーカを含まない点群として生成する技術に関する。   The present invention relates to a technique for measuring the shape of a subject three-dimensionally. More specifically, a point cloud obtained as a measurement result of a three-dimensional shape is generated as a point cloud not including a marker used for camera posture estimation. Related to technology.

近年、スマートフォン等の高い演算能力を備えたモバイルデバイスが急速に普及してきている。これらの情報端末の殆どは撮像装置としてのカメラを備えており、単に音声情報や文字情報による通信機能のみならず、画像情報による通信機能を備えている。このようなモバイルデバイスの普及にともない、対象物体を端末のカメラで撮影すると当該対象物体に関する解説が画像に重畳して表示されるといったような拡張現実感（Augmented Reality: AR）と呼ばれる技術や撮影された画像から被写体の３次元形状を復元する技術が身近なものとなってきている。例えば、非特許文献１や非特許文献２には、ＲＧＢ−Ｄカメラを用いた３次元計測手法の報告がある。   In recent years, mobile devices having high computing power such as smartphones are rapidly spreading. Most of these information terminals are provided with a camera as an imaging device, and have not only a communication function based on voice information and character information but also a communication function based on image information. Along with the spread of mobile devices, a technology called Augmented Reality (AR) or photography, such as when a target object is photographed with a camera on a terminal, an explanation about the target object is displayed superimposed on the image. A technique for restoring the three-dimensional shape of the subject from the obtained image has become familiar. For example, Non-Patent Document 1 and Non-Patent Document 2 report a three-dimensional measurement method using an RGB-D camera.

このような技術では、２次元画像に映し出された環境の座標系と実環境の座標系の合わせ込みを行うが、その際、ユーザ（カメラ）の位置・姿勢を正確に把握することが必要となる。   In such a technique, the coordinate system of the environment projected on the two-dimensional image and the coordinate system of the real environment are combined, but at that time, it is necessary to accurately grasp the position and orientation of the user (camera). Become.

このため、ＡＲ技術の分野では、実環境に位置、形状、色が既知のマーカを予め配置させておき、これをカメラで撮影し、その画像を解析することでカメラの姿勢を推定する手法が提案されている。このようなマーカとしては、従来から、矩形のマーカがよく用いられる（例えば、非特許文献３を参照）。   For this reason, in the field of AR technology, there is a method in which a marker whose position, shape, and color are known is arranged in advance in a real environment, and this is taken with a camera, and the posture of the camera is estimated by analyzing the image. Proposed. Conventionally, rectangular markers are often used as such markers (see, for example, Non-Patent Document 3).

S. Lieberknecht, A. Huber, S. Ilic, S. Benhimane, RGB-D Camera-Based Parallel Tracking and Meshing, The 10th IEEE and ACM International Symposium on Mixed and Augmented Reality,, Oct. 26 - 29(2011).S. Lieberknecht, A. Huber, S. Ilic, S. Benhimane, RGB-D Camera-Based Parallel Tracking and Meshing, The 10th IEEE and ACM International Symposium on Mixed and Augmented Reality ,, Oct. 26-29 (2011). 原孝介、安倍満、佐藤育郎、神谷孝二、「KINECTを用いた３次元復元の産業用ロボット教示への応用」、研究報告コンピュータビジョンとイメージメディア、2012-CVIM-180.Kosuke Hara, Mitsuru Abe, Ikuo Sato, Koji Kamiya, “Application of 3D reconstruction to industrial robot teaching using KINECT”, Research Report Computer Vision and Image Media, 2012-CVIM-180. 加藤ら："マーカー追跡に基づく拡張現実感システムとそのキャリブレーション"、日本ＶＲ学会論文誌、Ｖｏｌ．４、Ｎｏ．４、ｐｐ．６０７−６１６（１９９９）．Kato et al .: “Augmented Reality System Based on Marker Tracking and Its Calibration”, Journal of the VR Society of Japan, Vol. 4, no. 4, pp. 607-616 (1999).

ＲＧＢ−Ｄカメラを用いて被写体を３次元計測する際、先ず、ユーザが手に持ったＲＧＢ−Ｄカメラを動かしながら種々のカメラ姿勢から被写体（計測対象物）を撮影する。そして、撮影された複数の画像をSLAM技術により自動的に張り合わせると、広範囲で被写体を３次元計測した結果を得ることができる（非特許文献１および２を参照）。   When three-dimensionally measuring a subject using an RGB-D camera, first, the subject (measurement target) is photographed from various camera postures while moving the RGB-D camera held by the user. When a plurality of captured images are automatically pasted together using the SLAM technique, a result of three-dimensional measurement of a subject can be obtained (see Non-Patent Documents 1 and 2).

このような被写体の３次元計測を行う際に、形状や配置が既知のマーカを利用するとカメラ姿勢の推定精度を向上させることができるが、その反面、マーカが３次元計測結果に写し出されてしまい計測対象物が部分的に隠されてしまい、その全体の３次元計測の障害となることがあるという問題がある。   When performing 3D measurement of such a subject, using a marker with a known shape and arrangement can improve the accuracy of camera posture estimation, but on the other hand, the marker is projected in the 3D measurement result. There is a problem in that the measurement object is partially hidden, which may hinder the entire three-dimensional measurement.

本発明は上述した問題に鑑みてなされたもので、その目的とするところは、３次元形状の計測結果として得られる点群を、カメラ姿勢の推定に用いたマーカを含まない点群として生成する方法および当該方法を実施するためのシステムを提供することにある。   The present invention has been made in view of the above-described problems, and an object thereof is to generate a point cloud obtained as a measurement result of a three-dimensional shape as a point cloud that does not include a marker used for camera posture estimation. It is to provide a method and a system for carrying out the method.

上述の課題を解決するために、本発明に係る被写体形状の３次元計測方法は、３次元形状の計測結果として得られる点群をカメラ姿勢の推定に用いたマーカを含まない点群として生成する方法であって、前記カメラは輝度画像と距離画像を取得可能なカメラであり、環境中にマーカを配置して前記カメラにより撮影された画像集合Φを得て、該画像集合Φに含まれる輝度画像と距離画像からフレーム毎にカメラ姿勢の計算のための局所的な特徴点を抽出して、該画像集合Φについての特徴点の対応付けにより標準カメラ姿勢を推定するステップと、環境中にマーカを配置せず前記カメラにより撮影された画像集合ΦCを得て、該画像集合ΦCに含まれる輝度画像と距離画像からフレーム毎にカメラ姿勢の計算のための局所的な特徴点を抽出するステップと、前記画像集合Φについて得られた特徴点の集合から前記マーカ自身のテクスチャにより検出された特徴点は削除した後に、前記画像集合ΦCに含まれる画像中の特徴点同士の対応付け、および、該画像集合ΦCに含まれる画像中の特徴点と前記画像集合Φに含まれる画像中の特徴点との対応付けを行うステップと、前記標準カメラ姿勢は固定値として前記画像集合ΦCにつきカメラ姿勢を推定するステップと、前記画像集合ΦCのカメラ姿勢に基づいて該画像集合ΦCに含まれる画像のみを用いて点群を生成するステップとを備えている、ことを特徴とする。 In order to solve the above-described problem, the subject shape three-dimensional measurement method according to the present invention generates a point cloud obtained as a result of measuring the three-dimensional shape as a point cloud not including a marker used for camera posture estimation. The camera is a camera that can acquire a luminance image and a distance image, obtains an image set Φ taken by the camera by arranging a marker in the environment, and includes the luminance included in the image set Φ. Extracting local feature points for calculating the camera posture for each frame from the image and the distance image, estimating a standard camera posture by associating the feature points with respect to the image set Φ, and a marker in the environment An image set Φ C photographed by the camera is obtained without arranging the image, and local feature points for camera posture calculation are extracted for each frame from the luminance image and the distance image included in the image set Φ C. The And-up, after the marker itself detected feature point by the texture from the set of obtained feature points on the image set [Phi is deleting, the association of feature points between in an image included in the image set [Phi C And associating a feature point in an image included in the image set Φ C with a feature point in an image included in the image set Φ, and the standard camera posture as a fixed value, the image set Φ estimating a camera pose per C, and a step of generating a point cloud by using only the image contained in the image set [Phi C based on the camera posture of the image set [Phi C, and characterized in that To do.

また、本発明に係る被写体形状の３次元計測システムは、本発明に係る方法を実行して被写体形状を３次元計測するためのシステムであって、平面マーカが配置された実環境を撮影するカメラと、該カメラにより撮影された画像の処理を行うコンピュータとを備え、前記カメラは輝度画像と距離画像を取得可能なカメラであり、前記コンピュータは、前記各ステップを実行する演算部を備えていることを特徴とする。   A subject shape three-dimensional measurement system according to the present invention is a system for performing three-dimensional measurement of a subject shape by executing the method according to the present invention, and is a camera for photographing a real environment in which a planar marker is arranged. And a computer that processes an image captured by the camera, wherein the camera is a camera that can acquire a luminance image and a distance image, and the computer includes a calculation unit that executes each of the steps. It is characterized by that.

本発明では、カメラ姿勢の推定精度を高めるための手段としてマーカを利用しつつ、計測結果である点群をマーカを含まない点群として生成する。点群の生成に際しては、マーカを配置せずに撮影された画像のみを用いる。マーカを配置せずに撮影された画像集合ΦCは、マーカを配置して撮影された画像集合Φ＝ΦA＋ΦBとの間で対応付けがなされる。 In the present invention, a point cloud that is a measurement result is generated as a point cloud that does not include a marker while using a marker as a means for improving the estimation accuracy of the camera posture. When generating a point cloud, only an image taken without placing a marker is used. The image set Φ C photographed without the marker is associated with the image collection Φ = Φ A + Φ B photographed with the marker.

なお、マーカ配置して撮影された画像集合Φ＝ΦA＋ΦBには、マーカ自身のテクスチャによって検出された特徴点が含まれているが、このような特徴点は、マーカ配置せずに撮影された画像集合ΦCに含まれる画像との対応付けとは本来無関係なものであるため、対応付けの対象から削除する。出力される点群にはマーカが含まれていないため、マーカが計測結果に写し出されてしまい計測対象物全体の形状計測の障害となることがない。 Note that the image set Φ = Φ A + Φ B photographed with the marker placement includes feature points detected by the texture of the marker itself, but such feature points are photographed without the marker placement. Since it is essentially irrelevant to the association with the images included in the image set Φ C , it is deleted from the association target. Since the output point group does not include a marker, the marker is not copied to the measurement result and does not hinder the shape measurement of the entire measurement object.

また、マーカを配置せずに撮影された画像のカメラ姿勢は、マーカを配置して撮影された画像との間で対応付けにより、マーカを利用せずに推定する場合に比べて高くなり、マーカを用いた計測に近い精度での被写体の３次元形状計測が可能となる。   In addition, the camera posture of an image captured without placing a marker is higher than that estimated without using a marker due to association with an image captured with a marker placed. It is possible to measure the three-dimensional shape of the subject with an accuracy close to that of measurement using the.

本発明に係る被写体形状の３次元計測方法の一例の各ステップを説明するフローチャートである。It is a flowchart explaining each step of an example of the three-dimensional measurement method of the subject shape according to the present invention. マーカを用いて得られたカメラ姿勢の座標点を重ね合わせ点群として再生した３次元計測画像である。It is the three-dimensional measurement image which reproduced | regenerated the coordinate point of the camera attitude | position obtained using the marker as a superimposition point group. ステップＳ１１０で求めたカメラ姿勢を用いて生成された点群から得られた３次元計測画像である。It is a three-dimensional measurement image obtained from the point cloud generated using the camera posture obtained in step S110.

以下に、図面を参照して本発明の被写体形状の３次元計測方法について説明する。   The subject shape three-dimensional measurement method of the present invention will be described below with reference to the drawings.

上述したように、被写体の３次元計測を行う際に形状や配置が既知のマーカを利用するとカメラ姿勢の推定精度を向上させることができるが、その反面、マーカが３次元計測結果に写し出されてしまい計測対象物が部分的に隠されてしまい、その全体の３次元計測の障害となることがあるという問題がある。   As described above, when a 3D measurement of a subject is performed, the use of a marker with a known shape and arrangement can improve the accuracy of camera posture estimation. In other words, there is a problem in that the measurement object is partially hidden and may hinder the entire three-dimensional measurement.

マーカを用いずにカメラ姿勢の推定を行えばこのような不都合は生じないが、その場合にはカメラ姿勢の推定精度が低下してしまう。   Such an inconvenience does not occur if the camera posture is estimated without using a marker, but in this case, the accuracy of camera posture estimation is reduced.

そこで、本発明では、カメラ姿勢の推定精度を高めるための手段としてマーカを利用しつつ、３次元形状の計測結果として得られる点群をマーカを含まない点群として生成するために、上記点群の生成に際してマーカを配置せずに撮影された画像のみを用いることとした。   Therefore, in the present invention, in order to generate a point group obtained as a measurement result of a three-dimensional shape as a point group not including a marker while using a marker as a means for improving the estimation accuracy of the camera posture, Only the image photographed without placing the marker is used when generating the image.

マーカを配置せずに撮影された画像は、マーカを配置して撮影された画像との間で対応付けがなされる。マーカを配置して撮影された画像のカメラ姿勢は高い精度で推定されているため、マーカを配置せずに撮影された画像のカメラ姿勢の推定精度は、マーカを利用せずに推定する場合に比べて高くなり、マーカを用いた計測に近い精度での被写体の３次元形状計測が可能となる。   An image shot without a marker is associated with an image shot with a marker. Since the camera posture of an image shot with a marker is estimated with high accuracy, the estimation accuracy of the camera posture of an image shot without a marker is estimated when the marker is not used. Compared to the measurement using the marker, the three-dimensional shape of the subject can be measured with an accuracy close to that of the measurement using the marker.

これに加え、出力される点群にはマーカが含まれていないため、マーカが計測結果に写し出されてしまい計測対象物全体の形状計測の障害となることがない。   In addition, since the marker is not included in the output point group, the marker is not copied to the measurement result and does not become an obstacle to the shape measurement of the entire measurement object.

図１は、本発明に係る被写体形状の３次元計測方法の一例の各ステップを説明するフローチャートである。以下では、各ステップ毎に処理の内容を説明する。   FIG. 1 is a flowchart for explaining each step of an example of a three-dimensional measurement method for a subject shape according to the present invention. Below, the content of a process is demonstrated for every step.

［マーカ配置撮影画像セットの入力］（Ｓ１０１）
先ず、マーカを配置した状態で異なるカメラ姿勢から複数枚の画像を撮影する。 [Input of marker arrangement photographed image set] (S101)
First, a plurality of images are taken from different camera postures with the marker placed.

なお、マーカは、画像からカメラ姿勢を正確に求めることができるものでありさえすれば良く特別な制限はないが、例えば、寸法が既知の矩形パターンが描かれたマーカを用いると、当該マーカに対するカメラの姿勢を高精度に求めることができる。また、上記既知パターンのマーカを環境中に配置し、環境中に定めた原点に対するマーカの位置姿勢を求めておくことで、環境中での位置を高精度に求めることができる。   The marker is not particularly limited as long as it can accurately determine the camera posture from the image. For example, if a marker having a rectangular pattern with a known dimension is used, The posture of the camera can be obtained with high accuracy. In addition, by arranging the marker of the known pattern in the environment and obtaining the position and orientation of the marker with respect to the origin defined in the environment, the position in the environment can be obtained with high accuracy.

以降の説明では、ＡＲでよく用いられる矩形マーカを想定する。また、環境中での矩形マーカの位置は別の手段によって求められているものとする。   In the following description, a rectangular marker often used in AR is assumed. Further, it is assumed that the position of the rectangular marker in the environment is obtained by another means.

ここで、上記撮影に用いるカメラは輝度画像と距離画像が取得可能なカメラであり、ここでは、ピクセル毎のＲＧＢ輝度情報と被写体までの距離情報が取得可能なＲＧＢ−Ｄカメラであるとする。つまり、この撮影により、マーカを配置して撮影された複数の画像から、ピクセル毎のＲＧＢ輝度情報と被写体までの距離情報を取得する。これらの画像の集合を下記Φとする。   Here, it is assumed that the camera used for the photographing is a camera capable of acquiring a luminance image and a distance image, and here, is an RGB-D camera capable of acquiring RGB luminance information for each pixel and distance information to a subject. That is, by this photographing, RGB luminance information for each pixel and distance information to the subject are acquired from a plurality of images photographed by arranging the markers. A set of these images is represented by the following Φ.

ＲＧＢ−Ｄカメラとしては、例えばKINECT（Microsoft）（登録商標）やXTION Pro LIVE(ASUS)（登録商標）がある。これらのカメラには、ＲＧＤカメラと距離カメラが固定されている。ＲＧＢカメラと距離カメラの相対的な位置姿勢のキャリブレーションがなされていると、ピクセルごとにＲＧＢの輝度値と被写体までの距離の情報が取得できる。   Examples of RGB-D cameras include KINECT (Microsoft) (registered trademark) and XTION Pro LIVE (ASUS) (registered trademark). In these cameras, an RGD camera and a distance camera are fixed. If the relative positions and orientations of the RGB camera and the distance camera are calibrated, RGB luminance values and information on the distance to the subject can be acquired for each pixel.

計測対象である被写体が置かれた環境中にマーカを配置して撮影すると、画像中に当該マーカが検出されるＮA枚の画像とマーカが検出されないＮB枚の画像が得られる。これらの画像集合をそれぞれ、下記ΦAおよびΦBとする。これらＮA枚の画像とＮB枚の画像の情報を、コンピュータに入力する。 When shooting by placing a marker on the environment in which the subject is placed to be measured, an image of N B Like N A images and marker the marker is detected in the image is not detected is obtained. Let these image sets be the following Φ A and Φ B respectively. The information of these N A images and N B images are input to the computer.

［マーカを用いたカメラ姿勢（標準カメラ姿勢）の推定］（Ｓ１０２）
画像集合ΦAに含まれる画像にはマーカが写し出されているから、これを利用することで当該画像を撮影した際のカメラ姿勢を、既存の手法により高い精度で求めることが可能である。そこで、ここでは、画像集合ΦAに含まれる画像ｋのカメラ姿勢（Ｒk，ｔk）は既知であるとする。なお、画像集合ΦAに含まれる画像ｋを下記のように表記する。 [Estimation of Camera Posture (Standard Camera Posture) Using Marker] (S102)
Since the marker is projected on the image included in the image set Φ A , it is possible to obtain the camera posture at the time of capturing the image with high accuracy by using an existing method. Therefore, here, it is assumed that the camera posture (R k , t k ) of the image k included in the image set Φ A is known. The image k included in the image set Φ A is expressed as follows.

［局所特徴の計算］（Ｓ１０３）
画像集合Φに含まれるＲＧＢ画像の中から、カメラ姿勢を求めるための局所特徴を計算する。このような局所特徴には、例えばSIFTやSURFがある。例えば、画像ｋに着目すると、Ｉk個の特徴点につき、その３次元位置ＭkおよびデスクリプタＤkが、下記のように得られる。つまり、上記複数の画像から、特徴点のＲＧＢ輝度情報と被写体までの距離情報を抽出する。 [Calculation of local features] (S103)
From the RGB images included in the image set Φ, a local feature for obtaining the camera posture is calculated. Such local features include, for example, SIFT and SURF. For example, focusing on the image k, the three-dimensional position M k and the descriptor D k are obtained as follows for I k feature points. That is, RGB luminance information of feature points and distance information to the subject are extracted from the plurality of images.

［マーカ配置撮影画像間の対応付け］（Ｓ１０４）
次いで、マーカを配置して撮影された複数の画像に含まれる特徴点同士の対応付けを行う。画像集合Φ内の画像ｋに含まれる特徴点ｉと画像ｈに含まれる特徴点ｊが、環境中の同一の点を指している場合には、上記ステップで計算された局所特徴のデスクリプタ間の距離Ｄ（ｄi k，ｄj k）は小さくなる。従って、このデスクリプタ間の距離Ｄを閾値処理することで、上記異なる画像中の特徴点同士の対応付けができる。なお、同一特徴点間および同一画像間での対応付けは行わない。 [Association between marker-arranged captured images] (S104)
Next, the feature points included in the plurality of images photographed by arranging the markers are associated with each other. When the feature point i included in the image k in the image set Φ and the feature point j included in the image h point to the same point in the environment, between the descriptors of the local features calculated in the above step The distance D (d i k , d j k ) becomes smaller. Therefore, the feature points in the different images can be associated by performing threshold processing on the distance D between the descriptors. Note that association between the same feature points and between the same images is not performed.

このような特徴点の対応付けで得られる集合には、画像集合ΦAに含まれる画像間の特徴点の対応付けで得られた集合ΨAA、画像集合ΦBに含まれる画像間の特徴点の対応付けで得られた集合ΨBB、画像集合ΦAに含まれる画像と画像集合ΦBに含まれる画像間の特徴点の対応付けで得られた集合ΨABの３つがある。 The set obtained by such feature point correspondence includes a set Ψ AA obtained by matching feature points between images included in the image set Φ A, and a feature point between images included in the image set Φ B. There are three sets Ψ BB obtained by the association, and the set Ψ AB obtained by the association of the feature points between the images included in the image set Φ A and the images included in the image set Φ B.

例えば、上記集合ΨABを下記のように置く。集合ΨAAおよび集合ΨBBについても同様である。 For example, the set Ψ AB is set as follows. The same applies to the set Ψ AA and the set Ψ BB .

例えば、画像集合ΦAに含まれる画像ｋの特徴点ｉと、画像集合ΦBに含まれる画像ｈの特徴点ｊの対応付けがなされたとすると、 For example, if the feature point i of the image k included in the image set Φ A and the feature point j of the image h included in the image set Φ B are associated,

と表記され、画像ｋに含まれる特徴点ｉと画像ｈに含まれる特徴点ｊの２つは、環境中の同一の点であることを意味する。   The feature point i included in the image k and the feature point j included in the image h mean that they are the same point in the environment.

［標準カメラ姿勢の計算］（Ｓ１０５）
画像ｋが撮影された際のカメラ姿勢を（Ｒk，ｔk）と置く。Ｒkは回転行列であり、ｔkは並進行列である。 [Calculation of standard camera posture] (S105)
The camera posture when the image k is taken is set as (R k , t k ). R k is a rotation matrix and t k is a parallel progression.

コスト関数（評価関数）Ｅを下記のように定義し、このコスト関数Ｅを最小化するように標準カメラ姿勢（Ｒk，ｔk）を求める。ここで、εij khは下記で定義される。 The cost function (evaluation function) E is defined as follows, and the standard camera posture (R k , t k ) is obtained so as to minimize the cost function E. Where ε ij kh is defined below.

ここでは、特徴点のカメラ座標系における位置を、カメラ姿勢を使って世界座標系に変換している。上記ｍi kはカメラ座標系、ｖi kは全ての画像で共通の座標系（世界座標系）に相当する。 Here, the position of the feature point in the camera coordinate system is converted into the world coordinate system using the camera posture. The above m i k corresponds to a camera coordinate system, and v i k corresponds to a common coordinate system (world coordinate system) for all images.

上記εij khは対応付けされた特徴点の座標間の差分である。従って、画像ｋを撮影したカメラ姿勢（Ｒk，ｔk）は、対応付けられた特徴点の座標間の差分から得られるコスト関数Ｅから推定されている。このようなカメラ姿勢の計算を全ての画像について実行する。 The above ε ij kh is the difference between the coordinates of the associated feature points. Accordingly, the camera posture (R k , t k ) that captured the image k is estimated from the cost function E obtained from the difference between the coordinates of the associated feature points. Such a camera posture calculation is executed for all images.

なお、コスト関数Ｅ最小化の計算は、非線形最適化手法により実行でき、例えばLevenberg-Marquardt法を利用できる。この計算時には、誤対応点を避けるためのＭ推定やRANSACなどのロバスト推定を導入するが、これらの手法は一般的なものであるため、ここでは説明を省略する。   The calculation of the cost function E minimization can be executed by a non-linear optimization method, and for example, the Levenberg-Marquardt method can be used. At the time of this calculation, robust estimation such as M estimation and RANSAC in order to avoid erroneous corresponding points is introduced. However, since these methods are general, description thereof is omitted here.

上述の計算の実行により得られるカメラ姿勢の集合は、画像集合ΦAに含まれる画像に対応付けられるカメラ姿勢と画像集合ΦBに含まれる画像に対応付けられるカメラ姿勢の集合となるが、画像集合ΦAに含まれる画像に対応付けられるカメラ姿勢はもともとマーカの利用により高精度に求められている。また、画像集合ΦBに含まれる画像に対応付けられるカメラ姿勢は、上記画像集合ΦAに含まれる画像の高精度で推定されたカメラ姿勢を利用して求められたものであるため、画像集合ΦBに含まれる画像に対応付けられるカメラ姿勢の精度も高くなる。 The set of camera postures obtained by executing the above calculation is a set of camera postures associated with images included in the image set Φ A and camera postures associated with images included in the image set Φ B. The camera postures associated with the images included in the set Φ A are originally obtained with high accuracy by using markers. Further, since the camera position associated with the images included in the image set [Phi B are those obtained by using the camera pose that is estimated with a high precision of the image included in the image set [Phi A, image set The accuracy of the camera posture associated with the image included in Φ B is also increased.

しかしながら、このようにして得られたカメラ姿勢に基づく３次元形状計測結果としての点群にはマーカが含まれているため、重ね合わせ点群を生成して画像として出力すると、図２に示したように、環境中に配置されたマーカ２０ａ〜ｃも写し出されてしまい、計測対象物１０が部分的に隠されてしまう。   However, since the point cloud as a result of the three-dimensional shape measurement based on the camera posture obtained in this way includes a marker, when the superimposed point cloud is generated and output as an image, it is shown in FIG. As described above, the markers 20a to 20c arranged in the environment are also copied, and the measurement target 10 is partially hidden.

そこで、本発明では、上述の標準カメラ姿勢の推定に続き、環境中にマーカを配置せずに種々のカメラ位置から撮影された複数の画像の集合Ｎに含まれる画像中の特徴点同士の対応付け、および、該集合Ｎに含まれる画像中の特徴点と上記集合Ｍに含まれる画像中の特徴点との対応付けを行い、マーカを配置せずに撮影された画像のカメラ姿勢の推定に、マーカを配置して撮影された画像の標準カメラ姿勢を利用して、マーカを用いた計測に近い精度でのカメラ姿勢の推定を行う。そして、マーカを配置せずに撮影された画像のみを用いて点群を生成し、３次元形状の計測結果を、マーカを含まない点群として得る。   Therefore, in the present invention, following estimation of the standard camera posture described above, correspondence between feature points in images included in a set N of a plurality of images photographed from various camera positions without placing a marker in the environment. In addition, the feature points in the images included in the set N are associated with the feature points in the images included in the set M, and the camera posture of the image captured without placing the marker is estimated. The camera posture is estimated with an accuracy close to the measurement using the marker using the standard camera posture of the image photographed with the marker. Then, a point cloud is generated using only the image photographed without arranging the marker, and a three-dimensional shape measurement result is obtained as a point cloud not including the marker.

［マーカ配置なしの撮影画像セットの入力］（Ｓ１０６）
先ず、マーカを配置しない状態で異なるカメラ姿勢から複数枚の画像を撮影する。得られたＮC枚の画像の集合を下記ΦCとし、コンピュータに画像情報を入力する。 [Input of Photographed Image Set Without Marker Arrangement] (S106)
First, a plurality of images are taken from different camera postures without a marker. A set of the obtained N C images is defined as Φ C below, and image information is input to the computer.

［局所特徴の計算］（Ｓ１０７）
既にステップＳ１０３で説明したのと同様の手順で、画像集合ΦCに含まれるＲＧＢ画像の中から、カメラ姿勢を求めるための局所特徴を計算する。つまり、上記ＮC枚の画像から、特徴点のＲＧＢ輝度情報と被写体までの距離情報を抽出する。 [Calculation of local features] (S107)
A local feature for obtaining the camera posture is calculated from the RGB images included in the image set Φ C in the same procedure as already described in step S103. That is, the RGB luminance information of feature points and the distance information to the subject are extracted from the N C images.

[マーカ領域内の局所特徴の削除]（Ｓ１０８）
マーカを配置して撮影された画像集合Φ＝ΦA＋ΦBに含まれるデスクリプタＤｋ，Ｄｈには、マーカ自身のテクスチャによって検出された特徴点が含まれている。しかし、マーカ自身のテクスチャによって検出された特徴点は、マーカ配置せずに撮影された画像集合ΦCに含まれる画像との対応付けとは本来無関係なものであり、寧ろ、対応付けの誤りの原因となり得る。そこで、マーカ自身のテクスチャによって検出された特徴点（マーカ領域内の局所特徴）は削除して上記デスクリプタＤｋ，Ｄｈを更新する。 [Delete local features in marker area] (S108)
The descriptors Dk and Dh included in the image set Φ = Φ A + Φ B photographed with the marker placed include feature points detected by the texture of the marker itself. However, the feature points detected by the texture of the marker itself are essentially irrelevant to the association with the images included in the image set Φ C taken without placing the marker. It can be a cause. Therefore, the feature points (local features in the marker area) detected by the texture of the marker itself are deleted and the descriptors Dk and Dh are updated.

［マーカ配置有り及びマーカ配置有無し撮影画像間の対応付け］（Ｓ１０９）
既にステップＳ１０４で説明したのと同様の手順で、マーカ配置無しで撮影されたＮC枚の画像に含まれる特徴点同士の対応付け、および、マーカ配置無しで撮影されたＮC枚の画像に含まれる特徴点とマーカ配置有りで撮影されたＮA枚の画像ならびにＮB枚の画像に含まれる特徴点との対応付けを行う。ここでも、同一特徴点間および同一画像間での対応付けは行わない。 [Association between photographed images with and without marker placement] (S109)
Already similar in procedure to that described in step S104, the association of feature points between which is included in the taken N C images without markers arranged, and, in N C images taken without marker arrangement the correspondence between the feature points included in the N a images and N B images taken with there feature point and the marker arrangements included performed. Again, the association between the same feature points and between the same images is not performed.

このような特徴点の対応付けで得られる集合には、画像集合ΦCに含まれる画像間の特徴点の対応付けで得られた集合ΨCC、画像集合ΦCに含まれる画像と画像集合ΦAに含まれる画像間の特徴点の対応付けで得られた集合ΨAC、画像集合ΦCに含まれる画像と画像集合ΦBに含まれる画像間の特徴点の対応付けで得られた集合ΨBCの３つがある。 The resulting set in correspondence of such feature points correspondence with the resulting set [psi CC of feature points between images included in the image set [Phi C, image and image set [Phi included in the image set [Phi C A set Ψ AC obtained by associating feature points between images included in A , and a set Ψ AC obtained by associating feature points between images included in image set Φ C and images included in image set Φ B There are three BCs .

［カメラ姿勢の計算］（Ｓ１１０）
既に計算で求められている画像集合ΦAに含まれる画像のカメラ姿勢（標準カメラ姿勢）と画像集合ΦBに含まれる画像のカメラ姿勢（標準カメラ姿勢）は固定とし、画像集合ΦCに含まれる画像のカメラ姿勢のみを計算により求める。 [Calculation of camera posture] (S110)
The camera posture (standard camera posture) of the images included in the image set Φ A that has already been calculated and the camera posture (standard camera posture) of the images included in the image set Φ B are fixed and included in the image set Φ C Only the camera pose of the image to be obtained is calculated.

ここでも、画像集合ΦCに含まれる画像ｋが撮影された際のカメラ姿勢を（Ｒk，ｔk）と置き、コスト関数Ｅを下記のように定義し、このコスト関数Ｅを最小化するようにカメラ姿勢（Ｒk，ｔk）を求める。 Again, the camera posture when the image k included in the image set Φ C is taken is set as (R k , t k ), the cost function E is defined as follows, and the cost function E is minimized. Thus, the camera posture (R k , t k ) is obtained.

ここでも、εij khは下記で定義される。 Again, ε ij kh is defined below.

上述したように、特徴点のカメラ座標系における位置を、カメラ姿勢を使って世界座標系に変換している。上記ｍi kはカメラ座標系、ｖi kは全ての画像で共通の座標系（世界座標系）に相当する。 As described above, the position of the feature point in the camera coordinate system is converted to the world coordinate system using the camera posture. The above m i k corresponds to a camera coordinate system, and v i k corresponds to a common coordinate system (world coordinate system) for all images.

［点群の生成］（Ｓ１１１）
画像集合ΦCに含まれる画像のカメラ姿勢を用い、画像集合ΦCに含まれる画像の距離情報（距離カメラ）から得られる３次元点群を世界座標系で重ね合わせて出力する。３次元形状の計測結果として得られる点群は、マーカを配置せずに撮影された画像集合ΦCのみを用いて生成されているため、マーカを含まない点群である。従って、重ね合わせ点群を画像として出力しても、当該画像中にマーカが写し出されることがない。 [Generation of Point Cloud] (S111)
Using a camera posture of images included in the image set [Phi C, the three-dimensional point group obtained from the distance information of the image contained in the image set [Phi C (distance camera) superimposed in the world coordinate system output. The point group obtained as a measurement result of the three-dimensional shape is a point group that does not include a marker because it is generated using only the image set Φ C photographed without arranging the marker. Therefore, even if the overlapping point group is output as an image, the marker is not copied in the image.

画像集合ΦCに含まれる画像ｋの距離画像の全ての３次元点Ｙkをｈm kと置く。 All the three-dimensional points Y k of the distance image of the image k included in the image set Φ C are set as h m k .

ステップＳ１１０で求めたカメラ姿勢を用い、ｆm kを下記のように定義して、画像間で共通の座標系に変換して点群を生成する。 Using the camera posture determined in step S110, f m k is defined as follows, and converted into a common coordinate system between images to generate a point cloud.

これらの点群は、マーカ自身のテクスチャによって検出された特徴点とは無関係であるため、図３に示したように、重ね合わせ点群として画像に再生してもマーカが映し出されることはなく、計測対象物１０が部分的に隠されてしまうことがない。   Since these point groups are not related to the feature points detected by the texture of the markers themselves, as shown in FIG. The measurement object 10 is not partially hidden.

しかも、画像集合ΦCのカメラ姿勢は、マーカを配置して撮影された画像集合ΦAおよびΦBとの間での対応付けにより、マーカを用いた計測に近い精度で推定されている。 Moreover, the camera posture of the image set Φ C is estimated with an accuracy close to that of the measurement using the marker by the association between the image sets Φ A and Φ B photographed by arranging the marker.

なお、撮影環境中に配置したマーカの数が多すぎる場合には、マーカを配置して撮影された画像ΦAおよびΦBと、マーカを用いずに撮影された画像ΦCとの間の食い違いが大きくなり、ステップＳ１０９でのマーカ配置有り及びマーカ配置有無し撮影画像間の対応付けが困難になるケースも生じ得る。 If there are too many markers placed in the shooting environment, there is a discrepancy between the images Φ A and Φ B shot with the markers placed and the image Φ C shot without using the markers. In some cases, it may be difficult to associate the captured images due to the presence of marker placement and the presence or absence of marker placement in step S109.

このような場合には、例えば、上記マーカの数を適当に減らして（例えば半分として）撮影した画像集合ΦDを準備し、画像集合ΦDと画像ΦAおよびΦBとの特徴点の対応付けを行い、更に、画像集合ΦDと画像ΦCとの特徴点の対応付けを行うようにしてもよい。この場合には、画像集合ΦDを介して、画像集合ΦCと画像ΦAおよびΦBとの特徴点の対応付けが行われる。 In such a case, for example, an image set Φ D is prepared by appropriately reducing the number of the markers (for example, half), and the correspondence between the feature points of the image set Φ D and the images Φ A and Φ B In addition, the feature points may be associated with the image set Φ D and the image Φ C. In this case, the feature points of the image set Φ C and the images Φ A and Φ B are associated via the image set Φ D.

上述した被写体形状の３次元計測は、被写体を撮影するカメラと、該カメラにより撮影された画像の処理を行うコンピュータとを備えたシステムを用い、上述の各ステップをコンピュータで演算処理することにより、高速に行うことができる。   The above-described three-dimensional measurement of the subject shape uses a system including a camera that captures a subject and a computer that processes an image captured by the camera, and performs the above-described steps by a computer. It can be done at high speed.

このようなシステムでは、画像集合ΦCの撮影中に、リアルタイムに画像集合ΦAおよびΦBとの特徴点の対応付けが可能か否かをモニタ表示するように構成することもでき、さらに、対応付けがされた画像の枚数をモニタ表示するようにしてもよい。 Such a system can also be configured to monitor whether or not the feature points can be associated with the image sets Φ A and Φ B in real time during the shooting of the image set Φ C , The number of images associated with each other may be displayed on the monitor.

画像集合ΦCと画像集合ΦAおよびΦBとの特徴点の対応付けはなるべく多くなされることが好ましい。当該対応付けが多くなされることは、マーカを用いないで撮影された画像中に、マーカを用いて撮影された画像中の視点と同一の視点が多く含まれていることを意味するから、画像集合ΦCに含まれる画像のカメラ姿勢を用いて得られた点群を重ね合わせて得られる３次元計測結果の精度が高くなる。 It is preferable to associate as many feature points as possible between the image set Φ C and the image sets Φ A and Φ B. The fact that the correspondence is made a lot means that the same viewpoint as the viewpoint in the image captured using the marker is included in the image captured without using the marker. The accuracy of the three-dimensional measurement result obtained by superimposing the point clouds obtained using the camera postures of the images included in the set Φ C is increased.

以上説明したように、本発明では、カメラ姿勢の推定精度を高めるための手段としてマーカを利用しつつ、計測結果である点群をマーカを含まない点群として生成する。点群の生成に際しては、マーカを配置せずに撮影された画像のみを用いる。マーカを配置せずに撮影された画像集合ΦCは、マーカを配置して撮影された画像集合Φ＝ΦA＋ΦBとの間で対応付けがなされる。なお、マーカ配置して撮影された画像集合Φ＝ΦA＋ΦBには、マーカ自身のテクスチャによって検出された特徴点が含まれているが、このような特徴点は、マーカ配置せずに撮影された画像集合ΦCに含まれる画像との対応付けとは本来無関係なものであるため、対応付けの対象から削除する。出力される点群にはマーカが含まれていないため、マーカが計測結果に写し出されてしまい計測対象物全体の形状計測の障害となることがない。 As described above, in the present invention, a point cloud as a measurement result is generated as a point cloud that does not include a marker while using a marker as a means for improving the estimation accuracy of the camera posture. When generating a point cloud, only an image taken without placing a marker is used. The image set Φ C photographed without the marker is associated with the image collection Φ = Φ A + Φ B photographed with the marker. Note that the image set Φ = Φ A + Φ B photographed with the marker placement includes feature points detected by the texture of the marker itself, but such feature points are photographed without the marker placement. Since it is essentially irrelevant to the association with the images included in the image set Φ C , it is deleted from the association target. Since the output point group does not include a marker, the marker is not copied to the measurement result and does not hinder the shape measurement of the entire measurement object.

また、マーカを配置せずに撮影された画像のカメラ姿勢は、マーカを配置して撮影された画像との間で対応付けにより、マーカを利用せずに推定する場合に比べて高くなり、マーカを用いた計測に近い精度での被写体の３次元形状計測が可能となる。   In addition, the camera posture of an image captured without placing a marker is higher than that estimated without using a marker due to association with an image captured with a marker placed. It is possible to measure the three-dimensional shape of the subject with an accuracy close to that of measurement using the.

本発明は、３次元形状計測結果である点群を、マーカを含まない点群として生成する技術を提供する。   The present invention provides a technique for generating a point cloud that is a three-dimensional shape measurement result as a point cloud that does not include a marker.

１０ 計測対象物
２０ａ〜ｃ マーカ 10 Measurement object 20a-c Marker

Claims (6)

３次元形状の計測結果として得られる点群をカメラ姿勢の推定に用いたマーカを含まない点群として生成して被写体形状を３次元計測する方法であって、
前記カメラは輝度画像と距離画像を取得可能なカメラであり、
環境中にマーカを配置して前記カメラにより撮影された画像集合Φを得て、該画像集合Φに含まれる輝度画像と距離画像からフレーム毎にカメラ姿勢の計算のための局所的な特徴点を抽出して、該画像集合Φについての特徴点の対応付けにより標準カメラ姿勢を推定するステップと、
環境中にマーカを配置せず前記カメラにより撮影された画像集合ΦCを得て、該画像集合ΦCに含まれる輝度画像と距離画像からフレーム毎にカメラ姿勢の計算のための局所的な特徴点を抽出するステップと、
前記画像集合Φについて得られた特徴点の集合から前記マーカ自身のテクスチャにより検出された特徴点は削除した後に、前記画像集合ΦCに含まれる画像中の特徴点同士の対応付け、および、該画像集合ΦCに含まれる画像中の特徴点と前記画像集合Φに含まれる画像中の特徴点との対応付けを行うステップと、
前記標準カメラ姿勢は固定値として前記画像集合ΦCにつきカメラ姿勢を推定するステップと、
前記画像集合ΦCのカメラ姿勢に基づいて該画像集合ΦCに含まれる画像のみを用いて点群を生成するステップとを備えている、
ことを特徴とする被写体形状の３次元計測方法。 A method of measuring a subject shape three-dimensionally by generating a point cloud obtained as a measurement result of a three-dimensional shape as a point cloud not including a marker used for camera posture estimation,
The camera is a camera capable of acquiring a luminance image and a distance image,
A marker is placed in the environment to obtain an image set Φ captured by the camera, and local feature points for calculating the camera posture are calculated for each frame from the luminance image and the distance image included in the image set Φ. Extracting and estimating a standard camera pose by matching feature points for the image set Φ;
Obtaining an image set Φ C photographed by the camera without placing a marker in the environment, and local features for calculating the camera posture for each frame from the luminance image and distance image included in the image set Φ C Extracting a point;
After deleting the feature points detected by the texture of the marker itself from the set of feature points obtained for the image set Φ, the correspondence between the feature points in the images included in the image set Φ C , and the Associating feature points in the images included in the image set Φ C with feature points in the images included in the image set Φ;
Estimating the camera posture for the image set Φ C as a fixed value of the standard camera posture;
And a step of generating a point cloud by using only the image contained in the image set [Phi C based on the camera posture of the image set [Phi C,
An object shape three-dimensional measurement method characterized by the above. 前記標準カメラ姿勢を推定するステップでは、
画像ｋが撮影された際のカメラ姿勢を（Ｒk，ｔk）と置き、評価関数Ｅを下記のように定義し、該評価関数Ｅを最小化するようにカメラ姿勢（Ｒk，ｔk）を求める、請求項１に記載の被写体形状の３次元計測方法。
ここで、ΨAAは前記画像集合Φのうちマーカが映し出されている画像集合ΦAに含まれる画像間の特徴点の対応付けで得られた集合、ΨBBは前記画像集合Φのうちマーカが映し出されていない画像集合ΦBに含まれる画像間の特徴点の対応付けで得られた集合、ΨABは前記画像集合ΦAに含まれる画像と前記画像集合ΦBに含まれる画像との間の特徴点の対応付けで得られた集合であり、ｍi kはカメラ座標系、ｖi kは世界座標系に相当する。 In the step of estimating the standard camera posture,
The camera posture when the image k is taken is set as (R k , t k ), the evaluation function E is defined as follows, and the camera posture (R k , t k is set so as to minimize the evaluation function E). 2) The object shape three-dimensional measurement method according to claim 1.
Here, Ψ AA is a set obtained by associating feature points between images included in the image set Φ A in which the marker is projected in the image set Φ, and Ψ BB is a marker in the image set Φ. during the set obtained in correspondence of feature points between images included in the displayed that is not image set [Phi B, the [psi AB between image included in the image set [Phi B and image included in the image set [Phi a a collection obtained in correspondence of feature points, m i k a camera coordinate system, v i k corresponds to the world coordinate system. 前記画像集合ΦCにつきカメラ姿勢を推定するステップでは、
前記画像集合ΦAに含まれる画像および画像集合ΦBに含まれる画像の標準カメラ姿勢は固定とし、前記画像集合ΦCに含まれる画像ｋが撮影された際のカメラ姿勢を（Ｒk，ｔk）と置き、評価関数Ｅを下記のように定義し、該評価関数Ｅを最小化するようにカメラ姿勢（Ｒk，ｔk）を求める、請求項２に記載の被写体形状の３次元計測方法。
ここで、集合ΨCCは画像集合ΦCに含まれる画像間の特徴点の対応付けで得られた集合、集合ΨACは前記画像集合Φのうちマーカが映し出されている画像集合ΦAに含まれる画像と画像集合ΦCに含まれる画像との間の特徴点の対応付けで得られた集合、集合ΨBCは前記画像集合Φのうちマーカが映し出されていない画像集合ΦBに含まれる画像と画像集合ΦCに含まれる画像との間の特徴点の対応付けで得られた集合であり、ｍi kはカメラ座標系、ｖi kは世界座標系に相当する。
In the step of estimating the camera posture for the image set Φ C ,
The standard camera postures of the images included in the image set Φ A and the images included in the image set Φ B are fixed, and the camera postures when the image k included in the image set Φ C is taken are (R k , t k) and placed, an evaluation function E is defined as follows, camera orientation to minimize the evaluation function E (R k, obtaining the t k), 3-dimensional measurement of an object shape according to claim 2 Method.
Here, the set Ψ CC is a set obtained by associating feature points between images included in the image set Φ C , and the set Ψ AC is included in the image set Φ A in which the marker is reflected in the image set Φ. Set Ψ BC is a set obtained by associating feature points between an image to be displayed and an image included in the image set Φ C , and a set Ψ BC is an image included in the image set Φ B in which no marker is projected in the image set Φ And a set obtained by associating feature points between images included in the image set Φ C , m i k corresponds to the camera coordinate system, and v i k corresponds to the world coordinate system.
前記画像集合ΦCに含まれる画像のみを用いて点群を生成するステップでは、
該画像集合ΦCに含まれる画像ｋの距離画像の全ての３次元点Ｙkをｈm kと置き、
前記画像集合ΦCのカメラ姿勢の推定結果を用いてｆm kを下記のように定義して画像間で共通の座標系に変換した点群を生成する、請求項３に記載の被写体形状の３次元計測方法。
In the step of generating a point cloud using only images included in the image set Φ C ,
All the three-dimensional points Y k of the distance image of the image k included in the image set Φ C are set as h m k ,
The point shape of the subject shape according to claim 3, wherein f m k is defined as follows using the camera posture estimation result of the image set Φ C to generate a point cloud converted into a common coordinate system between images. 3D measurement method.
請求項１乃至４の何れか１項に記載の方法を実行して被写体形状を３次元計測するためのシステムであって、
平面マーカが配置された実環境を撮影するカメラと、該カメラにより撮影された画像の処理を行うコンピュータとを備え、
前記カメラは輝度画像と距離画像を取得可能なカメラであり、
前記コンピュータは、前記各ステップを実行する演算部を備えている、
ことを特徴とする被写体形状の３次元計測システム。 A system for performing three-dimensional measurement of a subject shape by executing the method according to any one of claims 1 to 4,
A camera that captures an actual environment in which a planar marker is arranged, and a computer that processes an image captured by the camera;
The camera is a camera capable of acquiring a luminance image and a distance image,
The computer includes a calculation unit that executes the steps.
A three-dimensional measurement system for a subject shape. 前記コンピュータは、前記画像集合ΦCの撮影中にリアルタイムで前記画像集合Φとの特徴点の対応付けが可能か否かをモニタに表示する、請求項５に記載の被写体形状の３次元計測システム。 6. The subject shape three-dimensional measurement system according to claim 5, wherein the computer displays on a monitor whether or not feature points can be associated with the image set Φ in real time while the image set Φ C is captured. .
JP2012266470A 2012-12-05 2012-12-05 Three-dimensional measurement method and system for subject shape Pending JP2014112056A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012266470A JP2014112056A (en) 2012-12-05 2012-12-05 Three-dimensional measurement method and system for subject shape

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012266470A JP2014112056A (en) 2012-12-05 2012-12-05 Three-dimensional measurement method and system for subject shape

Publications (1)

Publication Number Publication Date
JP2014112056A true JP2014112056A (en) 2014-06-19

Family

ID=51169284

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012266470A Pending JP2014112056A (en) 2012-12-05 2012-12-05 Three-dimensional measurement method and system for subject shape

Country Status (1)

Country Link
JP (1) JP2014112056A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017011328A (en) * 2015-06-16 2017-01-12 富士通株式会社 Apparatus, method and program for image processing
JP2018091667A (en) * 2016-11-30 2018-06-14 キヤノン株式会社 Information processing device, method for controlling information processing device, and program
JP2021521460A (en) * 2018-07-18 2021-08-26 カール ツァイス オプトテクニック ゲーエムベーハーＣａｒｌ Ｚｅｉｓｓ Ｏｐｔｏｔｅｃｈｎｉｋ Ｇｍｂｈ Methods and devices for determining at least one of the dimensional and shape features of a large object to be measured

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017011328A (en) * 2015-06-16 2017-01-12 富士通株式会社 Apparatus, method and program for image processing
JP2018091667A (en) * 2016-11-30 2018-06-14 キヤノン株式会社 Information processing device, method for controlling information processing device, and program
US10510159B2 (en) 2016-11-30 2019-12-17 Canon Kabushiki Kaisha Information processing apparatus, control method for information processing apparatus, and non-transitory computer-readable storage medium
JP2021521460A (en) * 2018-07-18 2021-08-26 カール ツァイス オプトテクニック ゲーエムベーハーＣａｒｌ Ｚｅｉｓｓ Ｏｐｔｏｔｅｃｈｎｉｋ Ｇｍｂｈ Methods and devices for determining at least one of the dimensional and shape features of a large object to be measured

Similar Documents

Publication Publication Date Title
US10825198B2 (en) 3 dimensional coordinates calculating apparatus, 3 dimensional coordinates calculating method, 3 dimensional distance measuring apparatus and 3 dimensional distance measuring method using images
US10068344B2 (en) Method and system for 3D capture based on structure from motion with simplified pose detection
JP2014112055A (en) Estimation method for camera attitude and estimation system for camera attitude
JP6465789B2 (en) Program, apparatus and method for calculating internal parameters of depth camera
WO2018119889A1 (en) Three-dimensional scene positioning method and device
JP6503906B2 (en) Image processing apparatus, image processing method and image processing program
JP5538667B2 (en) Position / orientation measuring apparatus and control method thereof
CN107155341B (en) Three-dimensional scanning system and frame
JP6793151B2 (en) Object tracking device, object tracking method and object tracking program
CN104715479A (en) Scene reproduction detection method based on augmented virtuality
WO2021136386A1 (en) Data processing method, terminal, and server
CN112686877B (en) Binocular camera-based three-dimensional house damage model construction and measurement method and system
JP2011179907A (en) Device and method for measuring position and attitude, and program
JP2011198349A (en) Method and apparatus for processing information
JP2015203652A (en) Information processing unit and information processing method
CN109711472B (en) Training data generation method and device
KR101589167B1 (en) System and Method for Correcting Perspective Distortion Image Using Depth Information
WO2015068470A1 (en) 3d-shape measurement device, 3d-shape measurement method, and 3d-shape measurement program
CN106023307B (en) Quick reconstruction model method based on site environment and system
CN110866977A (en) Augmented reality processing method, device and system, storage medium and electronic equipment
JP6817742B2 (en) Information processing device and its control method
JP2019020778A (en) Information processing device and information processing method
JP2017092756A (en) Image processing system, image processing method, image projecting system and program
JP2014112056A (en) Three-dimensional measurement method and system for subject shape
JP6228239B2 (en) A method for registering data using a set of primitives