JP2018066655A - Specular surface information acquisition device, specular surface measurement method, and computer program - Google Patents

Specular surface information acquisition device, specular surface measurement method, and computer program Download PDF

Info

Publication number
JP2018066655A
JP2018066655A JP2016205443A JP2016205443A JP2018066655A JP 2018066655 A JP2018066655 A JP 2018066655A JP 2016205443 A JP2016205443 A JP 2016205443A JP 2016205443 A JP2016205443 A JP 2016205443A JP 2018066655 A JP2018066655 A JP 2018066655A
Authority
JP
Japan
Prior art keywords
mirror
mirror surface
cross
subject
interference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016205443A
Other languages
Japanese (ja)
Inventor
広太 竹内
Kota Takeuchi
広太 竹内
藤井 憲作
Kensaku Fujii
憲作 藤井
明 小島
Akira Kojima
明 小島
隆司 松山
Takashi Matsuyama
隆司 松山
章平 延原
Shohei Nobuhara
章平 延原
孝士 柏野
Takashi Kayano
孝士 柏野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Kyoto University NUC
Original Assignee
Nippon Telegraph and Telephone Corp
Kyoto University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp, Kyoto University NUC filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2016205443A priority Critical patent/JP2018066655A/en
Publication of JP2018066655A publication Critical patent/JP2018066655A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a specular surface information acquisition device and a specular surface information acquisition method for estimating a position and a posture of a specular surface.SOLUTION: A specular surface information acquisition device includes: a real image mirror image acquisition part for acquiring a feature point on a real image X in occurrence of interference between a direct light d2 directly applied from a TOF sensor 11 based on cross-correlation detection and reflected by a subject 30 and a reflection light obtained by reflection of a light d1 applied via a specular surface 20 by the subject, a feature point on a mirror image X', and an interference-time cross-correlation value in light emission and light reception of the TOF sensor; an initial value estimation part for estimating initial values of a position and a direction of a specular surface based on both the feature points; a real image acquisition part for acquiring a feature point on a real image and a non-interference-time cross-correlation value when interference does not occur; a position estimation part for estimating a position of a subject based on the non-interference-time cross-correlation value; and a specular surface information acquisition part for acquiring specular surface information for indicating a position and a direction of a specular surface based on an interference-time cross-correlation value, initial values of a position of a specular surface and a direction of a specular surface, and a position of a subject.SELECTED DRAWING: Figure 6

Description

本発明は、鏡などの反射物体を介して撮影された画像から、鏡面の位置及び姿勢を推定する技術に関する。   The present invention relates to a technique for estimating the position and orientation of a mirror surface from an image taken through a reflective object such as a mirror.

映像表現及び画像処理技術分野において、三次元形状を取得するための研究開発が古くから進められ、今なお重要な研究要素の一つとして広く認識されている。近年では安価なTOF(Time of Flight)センサが市場に登場したことにより、被写体表面の三次元形状を計測することが容易になった。しかし、TOFセンサ単体では被写体の前面の形状しか計測することができないため、被写体の全周囲の三次元形状を計測するためには、被写体の周囲に複数のTOFセンサを設置して撮影を行い、これら複数のTOFセンサによる三次元形状データを結合する必要がある。しかしながら、複数のTOFセンサを用いる方法では、設置コストがかさんでしまう。そこで、被写体の背後に鏡を設置し、当該鏡に映った鏡像を疑似的な複数のTOFセンサによって撮影された画像であるものと仮定することで、TOFセンサ単体で被写体の全周囲三次元形状を計測する方法が提案されている。   In the field of image expression and image processing technology, research and development for acquiring a three-dimensional shape has been advanced for a long time, and is still widely recognized as one of the important research elements. In recent years, inexpensive TOF (Time of Flight) sensors have appeared on the market, making it easy to measure the three-dimensional shape of the surface of the subject. However, since the TOF sensor alone can only measure the shape of the front surface of the subject, in order to measure the three-dimensional shape of the entire periphery of the subject, a plurality of TOF sensors are installed around the subject, and shooting is performed. It is necessary to combine the three-dimensional shape data from the plurality of TOF sensors. However, the method using a plurality of TOF sensors increases the installation cost. Therefore, by installing a mirror behind the subject and assuming that the mirror image reflected on the mirror is an image taken by a plurality of pseudo TOF sensors, the TOF sensor alone has a three-dimensional shape around the subject. A method has been proposed for measuring.

例えば、TOFセンサではなく一般的なカラーカメラと鏡を用いて、鏡像からの視体積交差法により被写体表面の三次元形状の計測を行う方法がある(非特許文献1参照)。当該方法を用いる場合には、カメラに対する鏡の位置及び姿勢を推定する必要がある。例えば、被写体を撮影する前に被写体の近傍にチェッカー柄が描かれたキャリブレーションボードを設置し、鏡像及び実像の双方から検出可能なチェッカー柄の格子点をそれぞれ計測することによって鏡の位置及び姿勢を推定することが可能である(非特許文献2参照)。   For example, there is a method of measuring a three-dimensional shape of a subject surface by a visual volume intersection method from a mirror image using a general color camera and a mirror instead of a TOF sensor (see Non-Patent Document 1). When using this method, it is necessary to estimate the position and orientation of the mirror relative to the camera. For example, before taking a picture of a subject, a calibration board with a checkered pattern is installed in the vicinity of the subject, and the position and orientation of the mirror are measured by measuring checkered lattice points that can be detected from both the mirror image and the real image. Can be estimated (see Non-Patent Document 2).

Forbes, Keith, et al. "Shape-from-Silhouette with Two Mirrors and an Uncalibrated Camera." Computer Vision-ECCV 2006. Springer Berlin Heidelberg, 2006. 165-178.Forbes, Keith, et al. "Shape-from-Silhouette with Two Mirrors and an Uncalibrated Camera." Computer Vision-ECCV 2006. Springer Berlin Heidelberg, 2006. 165-178. Takahashi, Kosuke, Shohei Nobuhara, and Takashi Matsuyama. "A New Mirror-based Extrinsic Camera Calibration Using an Orthogonality Constraint. "Computer Vision and Pattern Recognition (CVPR), 2012 IEEE Conference on. IEEE, 2012.Takahashi, Kosuke, Shohei Nobuhara, and Takashi Matsuyama. "A New Mirror-based Extrinsic Camera Calibration Using an Orthogonality Constraint." Computer Vision and Pattern Recognition (CVPR), 2012 IEEE Conference on.IEEE, 2012.

非特許文献1に記載の方法は、視体積交差法によって物体の表面形状を復元するため、物体の表面形状が複雑である場合には復元がしにくいという問題がある。また、非特許文献2に記載の方法において、カラーカメラをTOFセンサに置き換えただけでは、鏡の位置及び姿勢を推定することは難しい。なぜならば、TOFセンサは近赤外光を用いて距離を計測するため、鏡によって近赤外光が被写体に対し多重照射されることにより相互干渉が発生してしまうためである。そのため、鏡のキャリブレーション精度は著しく低下してしまう。   Since the method described in Non-Patent Document 1 restores the surface shape of the object by the visual volume intersection method, there is a problem that the restoration is difficult when the surface shape of the object is complicated. Moreover, in the method described in Non-Patent Document 2, it is difficult to estimate the position and orientation of the mirror only by replacing the color camera with a TOF sensor. This is because the TOF sensor measures the distance using near-infrared light, and mutual interference occurs due to multiple irradiation of near-infrared light onto the subject by the mirror. Therefore, the calibration accuracy of the mirror is significantly lowered.

また、TOFセンサと鏡を用いて被写体表面の三次元形状の計測を行うためには鏡の反射率を計算する必要があるが、非特許文献2に記載の方法では鏡の反射率を得ることはできない。鏡の反射率を事前に既知としておく方法も考えられるが、TOFセンサの製品ごとに異なる波長の赤外線が採用されているため、すべての波長についてそれぞれ反射率を事前に測定しておくことは困難である。また、事前に鏡の反射率を測定するよりも、鏡の位置及び姿勢の推定とあわせて反射率を推定するほうが、反射率の推定精度はより高くすることができる。   Further, in order to measure the three-dimensional shape of the surface of the object using the TOF sensor and the mirror, it is necessary to calculate the reflectance of the mirror, but the method described in Non-Patent Document 2 obtains the reflectance of the mirror. I can't. Although it is possible to make the reflectivity of the mirror known in advance, it is difficult to measure the reflectivity in advance for all wavelengths because different wavelengths of infrared are used for each TOF sensor product. It is. In addition, the reflectance estimation accuracy can be made higher when the reflectance is estimated together with the estimation of the position and orientation of the mirror than when the reflectance of the mirror is measured in advance.

本発明はこのような事情に鑑みてなされたものであり、鏡などの反射物体を介して撮影された画像を用いて、鏡面の位置及び姿勢を推定する技術の提供を目的としている。   The present invention has been made in view of such circumstances, and an object of the present invention is to provide a technique for estimating the position and orientation of a mirror surface using an image photographed through a reflecting object such as a mirror.

本発明の一態様は、相互相関検出に基づくTOFセンサから被写体へ直接照射され前記被写体によって反射された光である直接光と、前記相互相関検出に基づくTOFセンサから鏡面を介して前記被写体へ照射された光が前記被写体によって反射された光である反射光と、の干渉が発生している場合における、前記直接光に基づく画像である実像における前記被写体の特徴点である実像上特徴点と、前記反射光に基づく画像である鏡像における前記実像上特徴点に対応する前記被写体の特徴点である鏡像上特徴点と、前記相互相関検出に基づくTOFセンサの発光と受光における相互相関値を示す干渉時相互相関値と、を取得する実像鏡像取得部と、前記実像上特徴点と前記鏡像上特徴点とに基づいて前記鏡面の位置および前記鏡面の向きの初期値を推定する初期値推定部と、前記干渉が発生していない場合における、前記実像上特徴点と、前記相互相関値を示す非干渉時相互相関値と、を取得する実像取得部と、前記非干渉時相互相関値に基づいて前記被写体の位置を推定する位置推定部と、前記干渉時相互相関値と、前記鏡面の位置および前記鏡面の向きの前記初期値と、前記被写体の前記位置と、に基づいて前記鏡面の位置および前記鏡面の向きを示す鏡面情報を取得する鏡面情報取得部と、を備える鏡面情報取得装置である。   One embodiment of the present invention is directed to direct light, which is light that is directly irradiated to a subject from a TOF sensor based on cross-correlation detection and reflected by the subject, and to the subject via a mirror surface from the TOF sensor based on cross-correlation detection. A feature point on the real image that is a feature point of the subject in the real image that is an image based on the direct light when interference between the reflected light and the reflected light that is reflected by the subject occurs, Interference indicating a cross-correlation value in light emission and reception of the TOF sensor based on the cross-correlation detection, and a feature point on the mirror image corresponding to the feature point on the real image in the mirror image that is an image based on the reflected light A real image mirror image acquisition unit for acquiring a time cross-correlation value, a position of the mirror surface and a direction of the mirror surface based on the feature point on the real image and the feature point on the mirror image An initial value estimating unit for estimating a period value, a real image acquiring unit for acquiring the feature point on the real image when the interference does not occur, and a non-interference cross-correlation value indicating the cross-correlation value; A position estimation unit that estimates the position of the subject based on the cross-correlation value at the time of non-interference, the cross-correlation value at the time of interference, the initial value of the position of the mirror surface and the direction of the mirror surface, and the position of the subject And a mirror surface information acquisition unit that acquires mirror surface information indicating the position of the mirror surface and the direction of the mirror surface based on the mirror surface information acquisition device.

本発明の一態様は、上記の鏡面情報取得装置であって、前記鏡面情報取得部は、前記干渉時相互相関値と、前記鏡面の位置および前記鏡面の向きの前記初期値と、前記被写体の前記位置と、に基づいて、前記鏡面の反射率を取得する。   One aspect of the present invention is the above-described mirror surface information acquisition device, wherein the mirror surface information acquisition unit includes the cross-correlation value at the time of interference, the initial value of the position of the mirror surface and the direction of the mirror surface, and the subject. Based on the position, the reflectance of the mirror surface is acquired.

本発明の一態様は、相互相関検出に基づくTOFセンサから被写体へ直接照射され前記被写体によって反射された光である直接光と前記相互相関検出に基づくTOFセンサから鏡面を介して前記被写体へ照射された光が前記被写体によって反射された光である反射光との干渉が発生している場合における、前記直接光に基づく画像である実像における前記被写体の特徴点である実像上特徴点と、前記反射光に基づく画像である鏡像における前記実像上特徴点に対応する前記被写体の特徴点である鏡像上特徴点と、前記相互相関検出に基づくTOFセンサの発光と受光における相互相関値を示す干渉時相互相関値と、を取得する実像鏡像取得ステップと、前記実像上特徴点と前記鏡像上特徴点とに基づいて前記鏡面の位置および前記鏡面の向きの初期値を推定する初期値推定ステップと、前記干渉が発生していない場合における、前記実像上特徴点と、前記相互相関値を示す非干渉時相互相関値と、を取得する実像取得ステップと、前記非干渉時相互相関値に基づいて前記被写体の位置を推定する位置推定ステップと、前記干渉時相互相関値と、前記鏡面の位置および前記鏡面の向きの前記初期値と、前記被写体の前記位置と、に基づいて前記鏡面の位置および前記鏡面の向きを示す鏡面情報を取得する取得ステップと、を有する鏡面情報取得方法である。   According to one aspect of the present invention, direct light, which is light that is directly irradiated onto the subject from the TOF sensor based on cross-correlation detection and reflected by the subject, and the subject is irradiated on the subject via a mirror surface from the TOF sensor based on the cross-correlation detection. A feature point on the real image that is a feature point of the subject in the real image that is an image based on the direct light in a case where interference with the reflected light that is the light reflected by the subject occurs, and the reflection A mutual point at the time of interference indicating a cross-correlation value in light emission and light reception of the TOF sensor based on the cross-correlation detection and a feature point on the mirror image corresponding to the feature point on the subject in the mirror image that is an image based on light A real image mirror image acquisition step for acquiring a correlation value, and the position of the mirror surface and the direction of the mirror surface based on the feature point on the real image and the feature point on the mirror image An initial value estimating step for estimating an initial value; a real image obtaining step for obtaining a feature point on the real image when no interference occurs; and a non-interference cross-correlation value indicating the cross-correlation value; A position estimating step of estimating the position of the subject based on the cross-correlation value at the time of non-interference, the cross-correlation value at the time of interference, the initial value of the position of the mirror surface and the direction of the mirror surface, and the position of the subject And acquiring the mirror surface information indicating the position of the mirror surface and the direction of the mirror surface based on the mirror surface information acquisition method.

本発明の一態様は、上記の鏡面情報取得装置としてコンピュータを機能させるためのコンピュータプログラムである。   One embodiment of the present invention is a computer program for causing a computer to function as the mirror surface information acquisition apparatus.

本発明により、鏡などの反射物体を介して撮影された画像を用いて、鏡面の位置及び姿勢を推定することが可能となる。   According to the present invention, it is possible to estimate the position and orientation of a mirror surface using an image taken through a reflective object such as a mirror.

鏡面情報取得装置の構成を示すブロック図である。It is a block diagram which shows the structure of a mirror surface information acquisition apparatus. 実像鏡像取得部の構成を示す図である。It is a figure which shows the structure of a real image mirror image acquisition part. 実像取得部の構成を示す図である。It is a figure which shows the structure of a real image acquisition part. 実像鏡像取得部の詳細を説明するための図である。It is a figure for demonstrating the detail of a real image mirror image acquisition part. 鏡面情報取得部の詳細を説明するための図である。It is a figure for demonstrating the detail of a mirror surface information acquisition part. 鏡面情報取得部の詳細を説明するための図である。It is a figure for demonstrating the detail of a mirror surface information acquisition part. 鏡面情報取得部の詳細を説明するための図である。It is a figure for demonstrating the detail of a mirror surface information acquisition part. 鏡面情報取得装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of a mirror surface information acquisition apparatus. 鏡面情報取得装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of a mirror surface information acquisition apparatus.

(鏡面情報取得装置の構成)
図1は本実施形態における鏡面情報取得装置の構成を示すブロック図である。
鏡面情報取得装置10は、例えばコンピュータ装置によって構成され、図1に示すように、実像鏡像取得部101と、初期値推定部102と、実像取得部103と、位置推定部104と、鏡面情報取得部105と、を含んで構成される。また、鏡面情報取得装置10は、撮像部11と通信接続されている。撮像部11は、相互相関検出に基づくTOFセンサ(本稿では「相互相関検出に基づくTOFセンサ」を、単に「TOFセンサ」と称する)によって構成され、図1に示すように、発光部111と、受光部112と、を含んで構成される。なお、TOFセンサの測距原理は、一般的なFour bucket samplingを用いるものとする。
(Configuration of mirror surface information acquisition device)
FIG. 1 is a block diagram showing the configuration of the mirror surface information acquisition apparatus according to this embodiment.
The mirror surface information acquisition device 10 is configured by, for example, a computer device, and as shown in FIG. 1, a real image mirror image acquisition unit 101, an initial value estimation unit 102, a real image acquisition unit 103, a position estimation unit 104, and mirror surface information acquisition. Unit 105. In addition, the mirror surface information acquisition apparatus 10 is connected to the imaging unit 11 for communication. The imaging unit 11 is configured by a TOF sensor based on cross-correlation detection (in this paper, “TOF sensor based on cross-correlation detection” is simply referred to as “TOF sensor”), and as shown in FIG. And a light receiving unit 112. It should be noted that a general four bucket sampling is used as the distance measuring principle of the TOF sensor.

以下、実像鏡像取得部101による取得について、図2を参照しながら説明する。図2は実像鏡像取得部101による取得の概要を示す概略図である。   Hereinafter, acquisition by the real image mirror image acquisition unit 101 will be described with reference to FIG. FIG. 2 is a schematic diagram showing an outline of acquisition by the real image mirror image acquisition unit 101.

図2に示すように、実像鏡像取得部101を備える鏡面情報取得装置10と撮像部11(TOFセンサ)とは通信接続されている。撮像部11が備える発光部111及び受光部112は、鏡20とキャリブレーションボード30とが設置された方向へ向けられている。なお、鏡20の代わりに、これに類する鏡面(反射面)を有する他の物体(反射物体)、例えば、床面等が用いられてもよい。また、鏡面の形状は、既知の形状であれば平面でなくても構わない。   As shown in FIG. 2, the mirror surface information acquisition device 10 including the real image mirror image acquisition unit 101 and the imaging unit 11 (TOF sensor) are connected by communication. The light emitting unit 111 and the light receiving unit 112 included in the imaging unit 11 are directed in the direction in which the mirror 20 and the calibration board 30 are installed. Instead of the mirror 20, another object (reflective object) having a similar mirror surface (reflection surface), for example, a floor surface or the like may be used. Further, the shape of the mirror surface may not be a plane as long as it is a known shape.

鏡面情報取得装置10の実像鏡像取得部101は、鏡20による反射光の干渉を受ける状態で撮像部11によって撮影された輝度画像中に映り込んでいる実像X上のキャリブレーションボードの特徴座標群(u,v)と、鏡像X’上のキャリブレーションボードの特徴座標群(u,v)と、発光部111及び受光部112による相互相関値(干渉時相互相関値)とを取得する。 The real image mirror image acquisition unit 101 of the mirror surface information acquisition device 10 is a feature coordinate group of the calibration board on the real image X reflected in the luminance image captured by the imaging unit 11 in a state of receiving interference of reflected light from the mirror 20. (U R , v R ), a characteristic coordinate group (u M , v M ) of the calibration board on the mirror image X ′, and a cross-correlation value (cross-correlation value at the time of interference) by the light emitting unit 111 and the light receiving unit 112 get.

なお、鏡20とキャリブレーションボード30の配置については、撮像部11により、鏡20を介さず取得される実像X上のキャリブレーションボード30と、鏡20を介して取得される鏡像X’上のキャリブレーションボード30とが、双方とも取得可能な配置であるという条件が満たされているものとする。   In addition, regarding the arrangement of the mirror 20 and the calibration board 30, the calibration unit 30 on the real image X acquired by the imaging unit 11 without passing through the mirror 20 and the mirror image X ′ acquired through the mirror 20 are used. It is assumed that the condition that the calibration board 30 and the calibration board 30 are both obtainable is satisfied.

発光部111は、任意に設定された変調周波数fに基づいて発光を繰り返し、受光部112は、任意に設定された変調周波数fに基づいて受光を繰り返す。
受光部112は、発光部111が発行した光の波長を取得することができる受光素子を有する。なお、本実施形態のように、TOFセンサにおいて一般的に用いられている近赤外波長帯域によって取得が行われる場合には、例えば、発光部111として、近赤外光を一定間隔で照射することができる近赤外光ライトが用いられ、受光部112として、近赤外光を取得することができる近赤外光カメラが用いられる。また、可視光を用いて取得が行われる場合には、例えば、発光部111として、一般的なプロジェクタが用いられ、受光部112として、一般的なカラーカメラが用いられる。なお、撮像部11が撮影する画像の解像度は任意の解像度でよい。
The light emitting unit 111 repeats light emission based on an arbitrarily set modulation frequency f, and the light receiving unit 112 repeats light reception based on an arbitrarily set modulation frequency f.
The light receiving unit 112 includes a light receiving element that can acquire the wavelength of light emitted by the light emitting unit 111. In addition, when acquisition is performed by the near-infrared wavelength band generally used in the TOF sensor as in the present embodiment, for example, the light emitting unit 111 irradiates near-infrared light at regular intervals. A near infrared light capable of acquiring near infrared light is used as the light receiving unit 112. Further, when acquisition is performed using visible light, for example, a general projector is used as the light emitting unit 111, and a general color camera is used as the light receiving unit 112. The resolution of the image captured by the imaging unit 11 may be an arbitrary resolution.

なお、以下の説明においては、説明を簡略化するため、鏡面情報取得装置10が画素ひとつに対して行う処理について説明をするが、全画素のうちの一部の複数の画素、もしくは全ての画素を並行して処理するような構成であっても構わない。   In the following description, the processing performed by the mirror surface information acquisition apparatus 10 for one pixel will be described for the sake of simplification. However, some of all the pixels or all the pixels are included. May be configured to process the above in parallel.

再び図1を参照しながら説明する。実像鏡像取得部101は、特徴座標群(u,v)及び特徴座標群(u,v)を初期値推定部102へ出力する。また、実像鏡像取得部101は、干渉時相互相関値を、後述する鏡面情報取得部105へ出力する。 The description will be continued with reference to FIG. The real image mirror image acquisition unit 101 outputs the feature coordinate group (u R , v R ) and the feature coordinate group (u M , v M ) to the initial value estimation unit 102. The real image mirror image acquisition unit 101 outputs the cross-correlation value at the time of interference to a mirror surface information acquisition unit 105 described later.

初期値推定部102は、実像鏡像取得部101から、撮像部11によって撮影された輝度画像を示す情報を取得する。初期値推定部102は、当該輝度画像をもとに、鏡20の(鏡面の)法線ベクトルnと、鏡20と受光部112との距離dとを推定し、後述する鏡面情報取得部105における処理に用いるための初期値として、鏡面情報取得部105へ出力する。 The initial value estimation unit 102 acquires information indicating the luminance image captured by the imaging unit 11 from the real image mirror image acquisition unit 101. The initial value estimation unit 102 estimates the normal vector n 0 of the mirror 20 (the mirror surface) and the distance d 0 between the mirror 20 and the light receiving unit 112 based on the luminance image, and acquires mirror surface information described later. The initial value to be used for processing in the unit 105 is output to the specular information acquisition unit 105.

以下、実像取得部103による取得について、図3を参照しながら説明する。図3は実像取得部103による取得の概要を示す概略図である。   Hereinafter, the acquisition by the real image acquisition unit 103 will be described with reference to FIG. FIG. 3 is a schematic diagram showing an outline of acquisition by the real image acquisition unit 103.

図3に示すように、図2に示した構成とは異なり、鏡20の鏡面部分の前面には、鏡面を遮蔽するための遮蔽板40が設置されている。なお、遮蔽板40の代わりに、鏡面を遮蔽するための布等が用いられてもよい。   As shown in FIG. 3, unlike the configuration shown in FIG. 2, a shielding plate 40 for shielding the mirror surface is installed on the front surface of the mirror surface portion of the mirror 20. Instead of the shielding plate 40, a cloth or the like for shielding the mirror surface may be used.

鏡面情報取得装置10の実像取得部103は、鏡20による反射光の干渉を受けない状態で撮像部11によって撮影された輝度画像中に映り込んでいる実像X上のキャリブレーションボードの特徴座標群(u,v)と、発光部111及び受光部112による相互相関値(非干渉時相互相関値)とを取得する。 The real image acquisition unit 103 of the mirror surface information acquisition apparatus 10 is a characteristic coordinate group of the calibration board on the real image X that is reflected in the luminance image captured by the imaging unit 11 in a state where the reflected light from the mirror 20 is not interfered. (U R , v R ) and a cross-correlation value (non-interference cross-correlation value) by the light emitting unit 111 and the light receiving unit 112 are acquired.

再び図1を参照しながら説明する。実像取得部103は、非干渉時相互相関値を位置推定部104へ出力する。
位置推定部104は、実像取得部103から非干渉時相互相関値を取得し、当該非干渉時相互相関値を用いてキャリブレーションボード30の位置Xを推定する。位置推定部104は、推定した位置Xを後述する鏡面情報取得部105へと出力する。
The description will be continued with reference to FIG. The real image acquisition unit 103 outputs the non-interference cross-correlation value to the position estimation unit 104.
The position estimation unit 104 acquires a non-interference cross-correlation value from the real image acquisition unit 103, and estimates the position X of the calibration board 30 using the non-interference cross-correlation value. The position estimation unit 104 outputs the estimated position X to the mirror surface information acquisition unit 105 described later.

鏡面情報取得部105は、実像鏡像取得部101から干渉時相互相関値を取得し、初期値推定部102から初期値として鏡20の法線ベクトルnと鏡20と受光部112との距離dとを取得し、位置推定部104からキャリブレーションボード30の位置Xを取得する。鏡面情報取得部105は、取得した、干渉時相互相関値、法線ベクトルn0、距離d及び位置Xを用いて、鏡20の法線ベクトルn、鏡20と受光部112との距離d、鏡20の反射率ρを求める。 Specular information acquisition unit 105 acquires an interference when the cross-correlation value from the real mirror image acquisition unit 101, the distance from the initial value estimation unit 102 as an initial value and the normal vector n 0 and mirror 20 of the mirror 20 and the light receiving portion 112 d 0 is acquired, and the position X of the calibration board 30 is acquired from the position estimation unit 104. The mirror surface information acquisition unit 105 uses the acquired cross-correlation value at interference, normal vector n 0, distance d 0 and position X, and the normal vector n of the mirror 20 and the distance d between the mirror 20 and the light receiving unit 112. Then, the reflectance ρ of the mirror 20 is obtained.

(鏡面情報取得装置の動作)
以下、鏡面情報取得装置10の動作について説明する。図4及び図5は、図1に示す鏡面情報取得装置の動作を示すフローチャートである。
(Operation of mirror surface information acquisition device)
Hereinafter, the operation of the mirror surface information acquisition apparatus 10 will be described. 4 and 5 are flowcharts showing the operation of the mirror surface information acquisition apparatus shown in FIG.

まず始めに、実像鏡像取得部101は、取得に用いられるパラメータ(変調周波数及びサンプリング周期)の設定を行う(ステップS001)。実像鏡像取得部101は、上述したように、発光部111が発光する周波数及び受光部112が受光する周波数である変調周波数fの設定を行う。変調周波数fの値は任意であるが、例えば、実像鏡像取得部101は、変調周波数fの値を10MHz(メガヘルツ)に設定する。   First, the real image mirror image acquisition unit 101 sets parameters (modulation frequency and sampling period) used for acquisition (step S001). As described above, the real image mirror image acquisition unit 101 sets the frequency at which the light emitting unit 111 emits light and the modulation frequency f that is the frequency at which the light receiving unit 112 receives light. Although the value of the modulation frequency f is arbitrary, for example, the real image mirror image acquisition unit 101 sets the value of the modulation frequency f to 10 MHz (megahertz).

また、実像鏡像取得部101は、受光部112が取得を行う4つのサンプリング周期として、θ、θ、θ及びθの設定を行う。サンプリング周期θ、θ、θ及びθの値は任意であるが、実像鏡像取得部101は、例えば、サンプリング周期θ、θ、θ及びθの値を、π/2間隔でθ=0、θ=π/2、θ=πθ=3π/2に設定する。 In addition, the real image mirror image acquisition unit 101 sets θ 0 , θ 1 , θ 2, and θ 3 as the four sampling periods acquired by the light receiving unit 112. The values of the sampling periods θ 0 , θ 1 , θ 2, and θ 3 are arbitrary, but the real image mirror image acquisition unit 101 sets the values of the sampling periods θ 0 , θ 1 , θ 2, and θ 3 to π / 2, for example. At intervals, θ 0 = 0, θ 1 = π / 2, and θ 2 = πθ 3 = 3π / 2 are set.

次に、実像鏡像取得部101は直接光と反射光とが互いに干渉している状態における、発光部111と受光部112による相互相関値(干渉時相互相関値)を取得する(ステップS002)。   Next, the real image mirror image acquisition unit 101 acquires a cross-correlation value (inter-correlation cross-correlation value) between the light emitting unit 111 and the light receiving unit 112 in a state where the direct light and the reflected light interfere with each other (step S002).

以下、発光部111と受光部112による相互相関値の取得について、図6を参照しながら説明する。
図6は模式的に実像鏡像取得部101の構成を表しており、受光部112と発光部111は設定されたパラメータに従いFour bucket samplingに基づいた相互相関値の取得を画素毎に行う。
Hereinafter, acquisition of a cross-correlation value by the light emitting unit 111 and the light receiving unit 112 will be described with reference to FIG.
FIG. 6 schematically shows the configuration of the real image mirror image acquisition unit 101. The light receiving unit 112 and the light emitting unit 111 acquire a cross-correlation value based on four bucket sampling for each pixel according to the set parameters.

図示するように、発光部111から発光され、受光部112によって受光される近赤外光には、被写体(キャリブレーションボード30)に直接反射する光路である光路長dの光路と、鏡20に反射してから被写体(キャリブレーションボード30)に再度反射する光路である光路長dの光路と、2つの光路が存在する。以下、光路長dの光路を通る光のことを直接光と呼び、光路長dの光路を通る光のことを反射光と呼ぶ。 As shown in the figure, the near-infrared light emitted from the light emitting unit 111 and received by the light receiving unit 112 includes an optical path having an optical path length d 1 that is an optical path directly reflected on the subject (calibration board 30), and the mirror 20. And an optical path having an optical path length d 2 , which is an optical path reflected again to the subject (calibration board 30), and two optical paths. Hereinafter, the light passing through the optical path having the optical path length d 1 is referred to as direct light, and the light passing through the optical path having the optical path length d 2 is referred to as reflected light.

以下、ある時間τにおける直接光と反射光が干渉した状態で取得される相互相関値C(τ)を表す式を(1)式に示す。ここでA、Aはそれぞれ直接光と反射光の振幅の振幅、Ψ、Ψは式(2)であらわされる位相差である。式(2)において、cは光速である。 Hereinafter, an expression representing a cross-correlation value C (τ) acquired in a state where direct light and reflected light interfere with each other at a certain time τ is shown in Expression (1). Here, A 1 and A 2 are the amplitudes of the amplitudes of the direct light and the reflected light, respectively, and Ψ 1 and Ψ 2 are phase differences represented by the equation (2). In equation (2), c is the speed of light.

Figure 2018066655
Figure 2018066655

Figure 2018066655
Figure 2018066655

式(1)で表される相互相関関数は連続関数であり、すべての時刻における相互相関値Cを取得することは困難であるため、実像鏡像取得部101は、ステップS001において設定したサンプリング周期θ、θ、θ及びθにおいてのみ、相互相関値Cの取得を行う(すなわち、C、C、C及びCの取得が行われる)。ここで取得される相互相関値は、2πfτ=θ、2πfτ=θ、2πfτ=θ、2πfτ=θとして、以下に示す式(3)で表されるものである。 Since the cross-correlation function represented by Expression (1) is a continuous function and it is difficult to acquire the cross-correlation values C at all times, the real image mirror image acquisition unit 101 uses the sampling period θ set in step S001. The cross-correlation value C is acquired only at 0 , θ 1 , θ 2 and θ 3 (that is, C 0 , C 1 , C 2 and C 3 are acquired). The cross-correlation value obtained here is expressed by the following formula (3), assuming that 2πfτ 0 = θ 0 , 2πfτ 1 = θ 1 , 2πfτ 2 = θ 2 , 2πfτ 3 = θ 3 .

Figure 2018066655
Figure 2018066655

再び図4に戻って、鏡面情報取得装置10の動作について説明する。
次に、実像鏡像取得部101は、輝度画像の取得を行う(ステップS003)。実像鏡像取得部101は、一般的なTOFセンサと同様に、受光部112が画素毎に取得している光の振幅を画像化した情報を取得する。
Returning to FIG. 4 again, the operation of the mirror surface information acquisition apparatus 10 will be described.
Next, the real image mirror image acquisition unit 101 acquires a luminance image (step S003). The real image mirror image acquisition unit 101 acquires information obtained by imaging the amplitude of the light acquired by the light receiving unit 112 for each pixel, like a general TOF sensor.

次に、実像鏡像取得部101は、輝度画像中から特徴点検出を行う(ステップS004)。なお、当該特徴点検出は、実像Xと鏡像X’とに共通して撮影される画素のうちの一部の画素の対応関係を知るために行われる処理である。そのため、当該特徴点検出の方法は、画素の対応を取ることができる方法であれば、任意の方法でよい。例えば、当該特徴点検出は、一般的な自然特徴点であるHarrisやSIFT等によって行うことができる。   Next, the real image mirror image acquisition unit 101 performs feature point detection from the luminance image (step S004). Note that the feature point detection is a process that is performed in order to know the correspondence of some of the pixels captured in common with the real image X and the mirror image X ′. Therefore, the feature point detection method may be any method as long as it is a method capable of taking correspondence between pixels. For example, the feature point detection can be performed by Harris, SIFT, or the like, which are general natural feature points.

なお、説明の簡略化のため、本実施形態においては、キャリブレーションボード30に描かれた柄はチェッカー柄(市松模様)であるものとし、特徴点はチェッカー柄の格子点であるものとする。チェッカー柄の格子点検出については、一般的な検出方法を用いればよい。また、本実施形態においては、被写体はキャリブレーションボードとしたがこれに限られるものではなく、被写体は特徴点があるその他の任意の物体でもよい。   For simplification of description, in this embodiment, it is assumed that the pattern drawn on the calibration board 30 is a checker pattern (checkered pattern), and the feature points are checker pattern grid points. A general detection method may be used for detecting checkered lattice points. In this embodiment, the subject is a calibration board. However, the subject is not limited to this, and the subject may be any other object having a feature point.

実像鏡像取得部101は、輝度画像から実像X及び鏡像X’として映るチェッカー柄のすべての格子点を検出し、その座標をそれぞれ特徴点座標(u,v)、特徴点座標(u,v)とする。 The real image mirror image acquisition unit 101 detects all checker pattern lattice points appearing as the real image X and the mirror image X ′ from the luminance image, and the coordinates are the feature point coordinates (u R , v R ) and the feature point coordinates (u M , respectively). , V M ).

次に、実像鏡像取得部101は、全ての画素で取得されている相互相関値のうち、特徴点座標(u,v)および特徴点座標(u,v)の画素における相互相関値のみを抽出する(ステップS005)。特徴点座標(u,v)における各サンプリング周期の相互相関値を、それぞれC(u,v)、C(u,v)、C(u,v)、およびC(u,v)とし、特徴点座標(u,v)における各サンプリング周期の相互相関値を、それぞれC(u,v)C(u,v)、C(u,v)、およびC(u,v)とする。 Next, the real image mirror image acquisition unit 101 among the cross-correlation values acquired in all the pixels, the cross-correlation in the pixels of the feature point coordinates (u R , v R ) and the feature point coordinates (u M , v M ). Only the value is extracted (step S005). The cross-correlation values of the sampling periods in the feature point coordinates (u R , v R ) are respectively represented by C 0 (u R , v R ), C 1 (u R , v R ), C 2 (u R , v R ) , And C 3 (u R , v R ), and the cross-correlation value of each sampling period in the feature point coordinates (u M , v M ) is C 0 (u M , v M ) C 1 (u M , v M), C 2 (u M , v M), and C 3 (u M, v M ) to.

実像鏡像取得部101は、特徴点座標(u,v)と特徴点座標(u,v)とを初期値推定部102へ出力し、抽出された相互相関値C(u,v)、C(u,v)、C(u,v)、C(u,v)と、相互相関C(u,v)C(u,v)、C(u,v)、C(u,v)とを鏡面情報取得部105へ出力する(ステップS006)。 The real image mirror image acquisition unit 101 outputs the feature point coordinates (u R , v R ) and the feature point coordinates (u M , v M ) to the initial value estimation unit 102 and extracts the extracted cross-correlation value C 0 (u M , V M ), C 1 (u M , v M ), C 2 (u M , v M ), C 3 (u M , v M ), and cross-correlation C 0 (u M , v M ) C 1 ( u M , v M ), C 2 (u M , v M ), and C 3 (u M , v M ) are output to the mirror surface information acquisition unit 105 (step S006).

次に、初期値推定部102は、特徴点座標(u,v)及び特徴点座標(u,v)とキャリブレーションボード30の3次元形状情報とから、鏡20の法線ベクトルn、鏡20と受光部112との距離dの推定を行う(ステップS007)。 Next, the initial value estimation unit 102 calculates the normal vector of the mirror 20 from the feature point coordinates (u R , v R ), the feature point coordinates (u M , v M ), and the three-dimensional shape information of the calibration board 30. n 0 and the distance d 0 between the mirror 20 and the light receiving unit 112 are estimated (step S007).

なお、既知形状の物体表面上の3次元点座標と、当該3次元点座標を撮影した画像において対応する2次元点座標との双方が既知である場合に、カメラに対する既知形状物体の姿勢及び位置を推定する方法は多く知られており、例えば、Zhangの手法(Zhang, Z.: A Flexible New Technique for Camera Calibration, IEEE Trans.Pattern Anal. Mach. Intell., Vol. 22, No. 11, pp. 1330{1334 (2000).)を用いることができる。Zhangの手法を用いることにより、実像Xとしてのキャリブレーションボード30の(チェッカー柄の)位置と向き、鏡像X’としてのキャリブレーションボード30の(チェッカー柄の)位置と向きを求めることができる。   In addition, when both the three-dimensional point coordinates on the surface of the object having a known shape and the corresponding two-dimensional point coordinates in the image obtained by photographing the three-dimensional point coordinates are known, the posture and position of the known shape object with respect to the camera There are many known methods for estimating the value of, for example, the method of Zhang (Zhang, Z .: A Flexible New Technique for Camera Calibration, IEEE Trans.Pattern Anal. Mach. Intell., Vol. 22, No. 11, pp. 1330 {1334 (2000).) Can be used. By using the Zhang method, the position and orientation of the calibration board 30 as the real image X (checker pattern) and the position and orientation of the calibration board 30 as the mirror image X ′ can be obtained.

実像Xと鏡像X’とは、鏡20に対して対称となる位置関係にあるため、実像Xとしてのキャリブレーションボード30の(チェッカー柄の)位置と向き、鏡像X’としてのキャリブレーションボード30の(チェッカー柄の)位置と向きに基づいて、鏡20の位置と向きを求めることができる。さらに、鏡20の位置と向きが求まることにより、さらに鏡20の法線ベクトルnと、鏡20と受光部112との距離dとを求めることができる。 Since the real image X and the mirror image X ′ are symmetric with respect to the mirror 20, the position and orientation of the calibration board 30 (checker pattern) as the real image X and the calibration board 30 as the mirror image X ′. The position and orientation of the mirror 20 can be determined based on the position and orientation (of the checker pattern). Further, by the determined position and orientation of the mirror 20, further a normal vector n 0 of the mirror 20, it is possible to determine the distance d 0 between the mirror 20 and the light receiving portion 112.

初期値推定部102は、鏡20の法線ベクトルnと、鏡20と受光部112との距離dとを鏡面情報取得部105へ出力する。 The initial value estimation unit 102 outputs the normal vector n 0 of the mirror 20 and the distance d 0 between the mirror 20 and the light receiving unit 112 to the mirror surface information acquisition unit 105.

次に、実像取得部103は、直接光と反射光との干渉が発生していない状態での実像Xの取得を行い、相互相関値を取得する。   Next, the real image acquisition unit 103 acquires the real image X in a state where no interference between the direct light and the reflected light occurs, and acquires a cross-correlation value.

まず、鏡20、発光部111、受光部112、キャリブレーションボード30の位置を変えずに、鏡20が遮蔽板40等によって遮蔽される。遮蔽板40は、反射光と直接光との干渉を防ぐため設置されるので、発光部111が発光する光の波長成分を十分に吸収する色や素材であることが望ましい。なお、発光部111が発光する光の波長成分を十分に吸収できる物体であるならば板でなくてもよく、例えば、遮蔽板40の代わりに黒い布等が用いられてもよい。   First, the mirror 20 is shielded by the shielding plate 40 or the like without changing the positions of the mirror 20, the light emitting unit 111, the light receiving unit 112, and the calibration board 30. Since the shielding plate 40 is installed to prevent interference between the reflected light and the direct light, it is desirable that the shielding plate 40 be a color or material that sufficiently absorbs the wavelength component of the light emitted from the light emitting unit 111. In addition, if it is an object which can fully absorb the wavelength component of the light which the light emission part 111 light-emits, it may not be a board, For example, a black cloth etc. may be used instead of the shielding board 40. FIG.

次に、実像取得部103は、実像鏡像取得部101が行う取得と同様に、発光部111と受光部112による相互相関値の取得を行う(ステップS008)。なお、実像取得部103が取得すべき信号は実像鏡像取得部101が取得すべき信号と同じであるが、遮蔽板40により反射光が発生しないため、実像鏡像取得部101で取得される相互相関値とは異なる相互相関値が実像取得部103において取得される。   Next, the real image acquisition unit 103 acquires the cross-correlation value by the light emitting unit 111 and the light receiving unit 112, similarly to the acquisition performed by the real image mirror image acquisition unit 101 (step S008). The signal to be acquired by the real image acquisition unit 103 is the same as the signal to be acquired by the real image mirror image acquisition unit 101. However, since the reflected light is not generated by the shielding plate 40, the cross correlation acquired by the real image mirror image acquisition unit 101 is obtained. A cross-correlation value different from the value is acquired by the real image acquisition unit 103.

次に、実像取得部103は、実像鏡像取得部101から入力された特徴点座標(u,v)の画素における各サンプリング周期の相互相関値を抽出し、これらをC (u,v)、C (u,v)、C (u,v)及びC (u,v)とする(ステップS009)。 Next, the real image acquisition unit 103 extracts the cross-correlation value of each sampling period in the pixel of the feature point coordinates (u R , v R ) input from the real image mirror image acquisition unit 101, and extracts them as C 0 (u R , V R ), C 1 (u R , v R ), C 2 (u R , v R ), and C 3 (u R , v R ) (step S009).

実像取得部103は、抽出した相互相関値を非干渉時の相互相関値として、位置推定部104へ出力する(ステップS010)。   The real image acquisition unit 103 outputs the extracted cross-correlation value to the position estimation unit 104 as a cross-correlation value at the time of non-interference (step S010).

以下、図5を参照しながら、引き続き鏡面情報取得装置10の動作について説明する。
次に、位置推定部104は、キャリブレーションボード30の位置を推定する(ステップS011)。上述した初期値推定部102によって行われる処理において、初期値推定部102は、特徴点座標(u,v)及び特徴点座標(u,v)からキャリブレーションボード30の位置を求めることによって鏡20の位置を推定したが、位置推定部104は、相互相関値を用いることによってキャリブレーションボード30の位置をより高い精度で推定する。
Hereinafter, the operation of the mirror surface information acquisition apparatus 10 will be described with reference to FIG.
Next, the position estimation unit 104 estimates the position of the calibration board 30 (step S011). In the process performed by the initial value estimation unit 102 described above, the initial value estimation unit 102 obtains the position of the calibration board 30 from the feature point coordinates (u R , v R ) and the feature point coordinates (u M , v M ). Thus, the position of the mirror 20 is estimated, but the position estimation unit 104 estimates the position of the calibration board 30 with higher accuracy by using the cross-correlation value.

位置推定部104において推定されるのは、チェッカー柄の格子点の三次元位置(x,y,z)であり、これはすなわち特徴点座標(u,v)に対応する三次元点のことである。したがって、特徴点座標(u,v)における受光部112からチェッカー柄の格子点までの距離lを求めることにより、以下の式(4)から三次元位置(x,y,z)を算出することができる。式(4)において、Fは受光部112の焦点距離、座標(u,v)は画像中心座標を表している。 The position estimation unit 104 estimates the three-dimensional position (x, y, z) of the checker pattern lattice point, that is, the three-dimensional point corresponding to the feature point coordinates (u R , v R ). That is. Therefore, the three-dimensional position (x, y, z) is calculated from the following equation (4) by obtaining the distance l from the light receiving unit 112 to the checkered lattice point in the feature point coordinates (u R , v R ). can do. In Expression (4), F represents the focal length of the light receiving unit 112, and the coordinates (u 0 , v 0 ) represent the image center coordinates.

Figure 2018066655
Figure 2018066655

lを相互相関値C (u,v)、C (u,v)、C (u,v)、C (u,v)から求めるには、Four bucket samplingの原理に基づき、以下の式(5)、式(6)を用いて求めることができる。 l is obtained from the cross-correlation values C 0 (u R , v R ), C 1 (u R , v R ), C 2 (u R , v R ), C 3 (u R , v R ). Can be obtained using the following equations (5) and (6) based on the principle of four bucket sampling.

Figure 2018066655
Figure 2018066655

Figure 2018066655
Figure 2018066655

位置推定部104は、各特徴点座標(u,v)に対応する三次元座標(x,y,z)を真値Xとして、鏡面情報取得部105へと出力する。 The position estimation unit 104 outputs the three-dimensional coordinates (x, y, z) corresponding to each feature point coordinate (u R , v R ) as a true value X to the mirror surface information acquisition unit 105.

鏡面情報取得部105は、鏡20の法線ベクトルn0、鏡20と受光部112との距離dとを初期値として、キャリブレーションボード30の位置の真値Xとしての三次元座標(x,y,z)と干渉時相互相関値とから、鏡20の法線ベクトルn、鏡20と受光部との距離d及び反射率ρを計算する。 The mirror surface information acquisition unit 105 uses the normal vector n 0 of the mirror 20 and the distance d 0 between the mirror 20 and the light receiving unit 112 as initial values, and uses the three-dimensional coordinates (x , Y, z) and the cross-correlation value at the time of interference, the normal vector n of the mirror 20, the distance d between the mirror 20 and the light receiving unit, and the reflectance ρ are calculated.

以下、鏡20の法線ベクトルn、鏡20と受光部112との距離d、反射率ρを求めるために必要となる式(7)について説明する。式(7)は式(1)に対し、2πfτ=θ、2πfτ=θ、2πfτ=θ、2πfτ=θとして代入して得られる行列方程式であり、直接光と反射光が干渉を起こしている場合におけるFour bucket samplingの式となる。鏡面情報取得部105は、取得値C、C、C、C3、Ψ、Ψ、さらにこれらから算出されるA、A、Bを用いることにより、鏡20の法線ベクトルn、鏡20と受光部112との距離d、反射率ρを計算する。 Hereinafter, the expression (7) necessary for obtaining the normal vector n of the mirror 20, the distance d between the mirror 20 and the light receiving unit 112, and the reflectance ρ will be described. Equation (7) is a matrix equation obtained by substituting 2πfτ 0 = θ 0 , 2πfτ 1 = θ 1 , 2πfτ 2 = θ 2 , 2πfτ 3 = θ 3 with respect to equation (1), and direct light and reflection This is the formula of Four bucket sampling when light is causing interference. The mirror surface information acquisition unit 105 uses the acquired values C 0 , C 1 , C 2 , C 3, Ψ 1 , Ψ 2 , and A 1 , A 2 , and B calculated from these values to obtain the normal of the mirror 20. The vector n, the distance d between the mirror 20 and the light receiving unit 112, and the reflectance ρ are calculated.

Figure 2018066655
Figure 2018066655

式(7)からA、A、Bの値をそのまま求めるとランク落ちが発生するため、適切な解を得ることができない。そのため、鏡面情報取得部105は、まずはA、Aに制約を加える(ステップS012)。 If the values of A 1 , A 2 , and B are obtained as they are from Equation (7), rank drops occur, and therefore an appropriate solution cannot be obtained. Therefore, the mirror surface information acquisition unit 105 first places restrictions on A 1 and A 2 (step S012).

まず、A、Aについての制約として式(8)を与える。図7は式(8)に用いられるパラメータを図示したものである。この制約条件は、図7のように光路長の違いがある場合に、直接光による光路Aの光路長を光路長d、反射光の光路Bの光路長を光路長dとし、照射光の強さが光路長の2乗に反比例することに起因している。さらに鏡20の反射率ρによる光の減衰が発生する。加えて、キャリブレーションボード30への近赤外光の入射角の違いが存在する。以上を踏まえて、光路Aを通る光のキャリブレーションボード30への入射角をcosθ、光路Bを通る光のキャリブレーションボード30への入射角をcosθとして、キャリブレーションボード30が完全拡散面だと仮定した場合の制約条件が式(8)である。 First, Equation (8) is given as a constraint on A 1 and A 2 . FIG. 7 illustrates the parameters used in equation (8). This restriction condition is that when there is a difference in optical path length as shown in FIG. 7, the optical path length of the optical path A by direct light is the optical path length d 1 , the optical path length of the optical path B of the reflected light is the optical path length d 2 , and the irradiated light This is because the intensity of is inversely proportional to the square of the optical path length. Further, light attenuation occurs due to the reflectance ρ of the mirror 20. In addition, there is a difference in the incident angle of near infrared light to the calibration board 30. Based on the above, assuming that the incident angle of the light passing through the optical path A to the calibration board 30 is cos θ 1 and the incident angle of the light passing through the optical path B to the calibration board 30 is cos θ 2 , the calibration board 30 is a complete diffusion surface. The constraint condition when it is assumed that is is expression (8).

Figure 2018066655
Figure 2018066655

再び図5に戻って、鏡面情報取得装置10の動作について説明する。
次に、鏡面情報取得部105は、実像X側での行列方程式として式(9)の作成を行う(ステップS013)。Ψ 、Ψ は、図7に示した光路長d1、光路長dを用いて、Ψ =4πfd/c、Ψ =4πfd/cで表される。図8にその詳細を示す。発光部111から位置推定部104にて求めたキャリブレーションボード30の真値Xを経由して、受光部112の画素(u,v)に到達する光路長が光路長d、Xを鏡20の初期パラメータn、d折り返した位置をX’として、位置X’を経由する光路、つまり、発光部111から、鏡20、位置Xの順に経由して受光部112の画素(u,v)に到達する光路長が光路長dである。
Returning to FIG. 5 again, the operation of the mirror surface information acquisition apparatus 10 will be described.
Next, the mirror surface information acquisition unit 105 creates Expression (9) as a matrix equation on the real image X side (step S013). Ψ 1 R and ψ 2 R are expressed as ψ 1 R = 4πfd 1 / c and ψ 2 R = 4πfd 2 / c using the optical path length d 1 and the optical path length d 2 shown in FIG. The details are shown in FIG. The optical path length reaching the pixel (u R , v R ) of the light receiving unit 112 via the true value X of the calibration board 30 obtained from the light emitting unit 111 by the position estimating unit 104 is the optical path length d 1 , X. The initial parameters n 0 and d 0 of the mirror 20 are defined as X ′, and the optical path passing through the position X ′, that is, the pixel (u) of the light receiving unit 112 from the light emitting unit 111 through the mirror 20 and the position X in this order. The optical path length reaching R 1 , v R ) is the optical path length d 2 .

Figure 2018066655
Figure 2018066655

次に、鏡像側での行列方程式として式(10)の作成を行う(ステップS014)。Ψ 、Ψ は、図8の光路長d1、光路長dを用いて、Ψ =4πfd/c、Ψ =4πfd/cであらわされる。図9にその詳細を示す。発光部から鏡を介してパターン位置X’を経由して受光部の特徴点座標(u,v)の画素に到達する光路長が光路長d、発光部からX、鏡の順に経由して受光部の特徴点座標(u,v)の画素に到達する光路長が光路長dである。 Next, Formula (10) is created as a matrix equation on the mirror image side (step S014). Ψ 1 M and Ψ 2 M are expressed as Ψ 1 M = 4πfd 1 / c and Ψ 2 M = 4πfd 2 / c using the optical path length d 1 and the optical path length d 2 in FIG. The details are shown in FIG. The optical path length reaching the pixel of the feature point coordinates (u M , v M ) of the light receiving unit via the pattern position X ′ through the mirror from the light emitting unit is the optical path length d 1 , and passes from the light emitting unit to X and the mirror in this order. The optical path length reaching the pixel at the feature point coordinates (u M , v M ) of the light receiving unit is the optical path length d 2 .

Figure 2018066655
Figure 2018066655

次に、鏡面情報取得部105は、鏡20の法線ベクトルn、鏡20と受光部112との距離d、反射率ρの計算を行う。まず、式(9)において、制約条件として式(8)を用いて、A1、A2、Bの計算が行われる。これは、A1、A2、B以外のパラメータはすべて既知であるため、式(11)の行列を考え、これが一般化逆行列であると仮定すれば、式(12)を得ることができ、A1、A2、Bを解くことができる。しかし実際には、最初に仮定した鏡20の初期パラメータn、dに誤差が含まれているため、得られたA1、A2、Bを用いても、式(9)の左辺と右辺は等しくならない。式(10)においてもこれは同様である。 Next, the mirror surface information acquisition unit 105 calculates the normal vector n of the mirror 20, the distance d between the mirror 20 and the light receiving unit 112, and the reflectance ρ. First, in Expression (9), A1, A2, and B are calculated using Expression (8) as a constraint condition. This is because parameters other than A1, A2, and B are all known, so considering the matrix of equation (11) and assuming that this is a generalized inverse matrix, equation (12) can be obtained, and A1 , A2, B can be solved. However, in reality, since the initial parameters n 0 and d 0 of the mirror 20 assumed at the beginning include errors, the left side and the right side of the equation (9) can be obtained by using the obtained A1, A2, and B. Not equal. The same applies to equation (10).

Figure 2018066655
Figure 2018066655

Figure 2018066655
Figure 2018066655

そのため、式(9)、(10)の両方において、左辺と右辺の差を誤差とする誤差関数が最小になるような、鏡20の法線ベクトルn、鏡20と受光部112との距離d、反射率ρが求められる。これは一般的な制約付き最小化問題であるため、詳細な説明は省略する。鏡面情報取得部105は、得られた鏡20の法線ベクトルn、鏡20と受光部112との距離d、反射率ρを出力する(ステップS015)。   Therefore, in both formulas (9) and (10), the normal vector n of the mirror 20 and the distance d between the mirror 20 and the light receiving unit 112 such that the error function having the difference between the left side and the right side as an error is minimized. The reflectance ρ is obtained. Since this is a general constrained minimization problem, a detailed description is omitted. The mirror surface information acquisition unit 105 outputs the obtained normal vector n of the mirror 20, the distance d between the mirror 20 and the light receiving unit 112, and the reflectance ρ (step S015).

以上、説明したように、本実施形態に係る鏡面情報取得装置10は、鏡などの反射物体を介して撮影された画像を用いて、鏡面の位置及び姿勢を推定することができる。さらに、本実施形態に係る鏡面情報取得装置10は、鏡の位置及び姿勢の推定とあわせて鏡の反射率を推定することができる。   As described above, the mirror surface information acquisition apparatus 10 according to the present embodiment can estimate the position and orientation of a mirror surface using an image captured through a reflective object such as a mirror. Furthermore, the mirror surface information acquisition apparatus 10 according to the present embodiment can estimate the reflectance of the mirror together with the estimation of the position and orientation of the mirror.

上述した実施形態における鏡面情報取得装置10をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、FPGA(Field Programmable Gate Array)等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。   You may make it implement | achieve the mirror surface information acquisition apparatus 10 in embodiment mentioned above with a computer. In that case, a program for realizing this function may be recorded on a computer-readable recording medium, and the program recorded on this recording medium may be read into a computer system and executed. Here, the “computer system” includes an OS and hardware such as peripheral devices. The “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM and a CD-ROM, and a hard disk incorporated in a computer system. Furthermore, the “computer-readable recording medium” dynamically holds a program for a short time like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line. In this case, a volatile memory inside a computer system serving as a server or a client in that case may be included and a program held for a certain period of time. Further, the program may be a program for realizing a part of the above-described functions, and may be a program capable of realizing the functions described above in combination with a program already recorded in a computer system. You may implement | achieve using programmable logic devices, such as FPGA (Field Programmable Gate Array).

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。   The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes designs and the like that do not depart from the gist of the present invention.

10…鏡面情報取得装置、11…撮像部、20…鏡、30…キャリブレーションボード、101…実像鏡像取得部、102…初期値推定部、103…実像取得部、104…位置推定部、105…鏡面情報取得部、111…発光部、112…受光部 DESCRIPTION OF SYMBOLS 10 ... Mirror surface information acquisition apparatus, 11 ... Imaging part, 20 ... Mirror, 30 ... Calibration board, 101 ... Real image mirror image acquisition part, 102 ... Initial value estimation part, 103 ... Real image acquisition part, 104 ... Position estimation part, 105 ... Mirror surface information acquisition unit, 111 ... light emitting unit, 112 ... light receiving unit

Claims (4)

相互相関検出に基づくTOFセンサから被写体へ直接照射され前記被写体によって反射された光である直接光と、前記相互相関検出に基づくTOFセンサから鏡面を介して前記被写体へ照射された光が前記被写体によって反射された光である反射光と、の干渉が発生している場合における、前記直接光に基づく画像である実像における前記被写体の特徴点である実像上特徴点と、前記反射光に基づく画像である鏡像における前記実像上特徴点に対応する前記被写体の特徴点である鏡像上特徴点と、前記相互相関検出に基づくTOFセンサの発光と受光における相互相関値を示す干渉時相互相関値と、を取得する実像鏡像取得部と、
前記実像上特徴点と前記鏡像上特徴点とに基づいて前記鏡面の位置および前記鏡面の向きの初期値を推定する初期値推定部と、
前記干渉が発生していない場合における、前記実像上特徴点と、前記相互相関値を示す非干渉時相互相関値と、を取得する実像取得部と、
前記非干渉時相互相関値に基づいて前記被写体の位置を推定する位置推定部と、
前記干渉時相互相関値と、前記鏡面の位置および前記鏡面の向きの前記初期値と、前記被写体の前記位置と、に基づいて前記鏡面の位置および前記鏡面の向きを示す鏡面情報を取得する鏡面情報取得部と、
を備える鏡面情報取得装置。
Direct light, which is light that is directly irradiated on the subject from the TOF sensor based on cross-correlation detection and reflected by the subject, and light that is irradiated on the subject via a mirror surface from the TOF sensor based on cross-correlation detection are reflected by the subject. A feature point on the real image that is a feature point of the subject in the real image that is an image based on the direct light and an image based on the reflected light in the case where interference with the reflected light that is reflected light occurs. A feature point on the mirror image that is a feature point of the subject corresponding to the feature point on the real image in a mirror image, and a cross-correlation value at the time of interference indicating a cross-correlation value in light emission and light reception of the TOF sensor based on the cross-correlation detection. A real image mirror image acquisition unit to acquire;
An initial value estimating unit for estimating an initial value of the position of the mirror surface and the direction of the mirror surface based on the feature point on the real image and the feature point on the mirror image;
A real image acquisition unit for acquiring the feature points on the real image and the non-interference cross-correlation value indicating the cross-correlation value when the interference does not occur;
A position estimation unit that estimates the position of the subject based on the non-interference cross-correlation value;
Mirror surface for obtaining mirror surface information indicating the position of the mirror surface and the direction of the mirror surface based on the cross-correlation value at the time of interference, the initial value of the position of the mirror surface and the direction of the mirror surface, and the position of the subject. An information acquisition unit;
A mirror surface information acquisition apparatus.
前記鏡面情報取得部は、前記干渉時相互相関値と、前記鏡面の位置および前記鏡面の向きの前記初期値と、前記被写体の前記位置と、に基づいて、前記鏡面の反射率を取得する、請求項1に記載の鏡面情報取得装置。   The mirror surface information acquisition unit acquires the reflectance of the mirror surface based on the cross-correlation value at the time of interference, the initial value of the position of the mirror surface and the direction of the mirror surface, and the position of the subject. The mirror surface information acquisition apparatus according to claim 1. 相互相関検出に基づくTOFセンサから被写体へ直接照射され前記被写体によって反射された光である直接光と前記相互相関検出に基づくTOFセンサから鏡面を介して前記被写体へ照射された光が前記被写体によって反射された光である反射光との干渉が発生している場合における、前記直接光に基づく画像である実像における前記被写体の特徴点である実像上特徴点と、前記反射光に基づく画像である鏡像における前記実像上特徴点に対応する前記被写体の特徴点である鏡像上特徴点と、前記相互相関検出に基づくTOFセンサの発光と受光における相互相関値を示す干渉時相互相関値と、を取得する実像鏡像取得ステップと、
前記実像上特徴点と前記鏡像上特徴点とに基づいて前記鏡面の位置および前記鏡面の向きの初期値を推定する初期値推定ステップと、
前記干渉が発生していない場合における、前記実像上特徴点と、前記相互相関値を示す非干渉時相互相関値と、を取得する実像取得ステップと、
前記非干渉時相互相関値に基づいて前記被写体の位置を推定する位置推定ステップと、
前記干渉時相互相関値と、前記鏡面の位置および前記鏡面の向きの前記初期値と、前記被写体の前記位置と、に基づいて前記鏡面の位置および前記鏡面の向きを示す鏡面情報を取得する取得ステップと、
を有する鏡面情報取得方法。
Direct light, which is light that is directly irradiated onto the subject from the TOF sensor based on cross-correlation detection and reflected by the subject, and light that is irradiated on the subject via a mirror surface from the TOF sensor based on cross-correlation detection are reflected by the subject. In the case where interference with reflected light, which is reflected light, occurs, a feature point on the real image that is a feature point of the subject in a real image that is an image based on the direct light, and a mirror image that is an image based on the reflected light A feature point on the mirror image that is a feature point of the subject corresponding to the feature point on the real image and a cross-correlation value at the time of interference indicating a cross-correlation value in light emission and light reception of the TOF sensor based on the cross-correlation detection Real image mirror image acquisition step;
An initial value estimating step of estimating an initial value of the position of the mirror surface and the direction of the mirror surface based on the feature point on the real image and the feature point on the mirror image;
A real image acquisition step of acquiring the feature point on the real image and the cross-correlation value at the time of non-interference indicating the cross-correlation value when the interference does not occur;
A position estimating step for estimating the position of the subject based on the cross-correlation value at the time of non-interference;
Acquisition of acquiring mirror surface information indicating the position of the mirror surface and the direction of the mirror surface based on the cross-correlation value at the time of interference, the initial value of the position of the mirror surface and the direction of the mirror surface, and the position of the subject. Steps,
A method for acquiring mirror surface information.
請求項1又は2に記載の鏡面情報取得装置としてコンピュータを機能させるためのコンピュータプログラム。   A computer program for causing a computer to function as the mirror surface information acquisition apparatus according to claim 1.
JP2016205443A 2016-10-19 2016-10-19 Specular surface information acquisition device, specular surface measurement method, and computer program Pending JP2018066655A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016205443A JP2018066655A (en) 2016-10-19 2016-10-19 Specular surface information acquisition device, specular surface measurement method, and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016205443A JP2018066655A (en) 2016-10-19 2016-10-19 Specular surface information acquisition device, specular surface measurement method, and computer program

Publications (1)

Publication Number Publication Date
JP2018066655A true JP2018066655A (en) 2018-04-26

Family

ID=62087031

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016205443A Pending JP2018066655A (en) 2016-10-19 2016-10-19 Specular surface information acquisition device, specular surface measurement method, and computer program

Country Status (1)

Country Link
JP (1) JP2018066655A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110573833A (en) * 2017-07-11 2019-12-13 索尼半导体解决方案公司 Imaging device and monitoring device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110573833A (en) * 2017-07-11 2019-12-13 索尼半导体解决方案公司 Imaging device and monitoring device

Similar Documents

Publication Publication Date Title
US11002856B2 (en) Doppler time-of-flight imaging
US10234561B2 (en) Specular reflection removal in time-of-flight camera apparatus
US10571668B2 (en) Catadioptric projector systems, devices, and methods
CN104104941B (en) Acquiring three-dimensional images device and the method for generating depth image
Chow et al. Performance analysis of a low-cost triangulation-based 3D camera: Microsoft Kinect system
CN110573833B (en) Imaging device and monitoring device
JP5587137B2 (en) Measuring apparatus and measuring method
DK2993450T3 (en) Method and arrangement for recording acoustic and optical information as well as a corresponding computer program and a corresponding computer-readable storage medium
US10055881B2 (en) Video imaging to assess specularity
JP2016100698A (en) Calibration device, calibration method, and program
KR102114969B1 (en) Optical device and method for generating depth information
JPWO2017038659A1 (en) Motion detection device and three-dimensional shape measurement device using the same
Belhedi et al. Noise modelling in time‐of‐flight sensors with application to depth noise removal and uncertainty estimation in three‐dimensional measurement
WO2016135856A1 (en) Three-dimensional shape measurement system and measurement method for same
JP4379626B2 (en) Three-dimensional shape measuring method and apparatus
Islam et al. Interference mitigation technique for Time-of-Flight (ToF) camera
JP6573196B2 (en) Distance information correction apparatus, distance information correction method, and distance information correction program
EP3663801B1 (en) Time of flight sensor module, method, apparatus and computer program for determining distance information based on time of flight sensor data
JP6065670B2 (en) Three-dimensional measurement system, program and method.
JP2018066655A (en) Specular surface information acquisition device, specular surface measurement method, and computer program
Langmann Wide area 2D/3D imaging: development, analysis and applications
JP2018004544A (en) Three-dimensional shape measurement device, three-dimensional shape measurement method and three-dimensional shape measurement program
KR20200032664A (en) Device for 3D image reconstruction using rectangular grid projection
Ma et al. An inverse problem approach to computational active depth from defocus
Lejeune et al. Evaluation of pairwise calibration techniques for range cameras and their ability to detect a misalignment

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20161019