JP2019144183A - Three-dimensional coordinate measuring device and method - Google Patents

Three-dimensional coordinate measuring device and method Download PDF

Info

Publication number
JP2019144183A
JP2019144183A JP2018030405A JP2018030405A JP2019144183A JP 2019144183 A JP2019144183 A JP 2019144183A JP 2018030405 A JP2018030405 A JP 2018030405A JP 2018030405 A JP2018030405 A JP 2018030405A JP 2019144183 A JP2019144183 A JP 2019144183A
Authority
JP
Japan
Prior art keywords
light
dimensional coordinate
marker
photogrammetry
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018030405A
Other languages
Japanese (ja)
Inventor
一将 鈴木
Kazumasa Suzuki
一将 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IHI Corp
Original Assignee
IHI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IHI Corp filed Critical IHI Corp
Priority to JP2018030405A priority Critical patent/JP2019144183A/en
Publication of JP2019144183A publication Critical patent/JP2019144183A/en
Pending legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Abstract

To reduce an amount of work for three-dimensional coordinate measurement.SOLUTION: The three-dimensional coordinate measuring device 1 is disposed on a surface of an object 60 placed in an environment of natural light α, and includes six or more reflective markers 10 reflecting one monochrome light β contained in the natural light α, a light source 20 for irradiating the monochrome light β to the object 60, a filter 30 of which the transmittance of a wavelength of the monochrome light β is lower than the transmittance of other monochrome light contained in natural light 30, a camera 40 for photographing three or more images of the object 60 from different positions, respectively over the filter 30, and a three-dimensional coordinate extraction unit 50 for extracting the three-dimensional coordinates of the object 60 for performing photogrammetry at a position of the reflective marker 10 in three or more images, performing SfM using a feature point in the image excluding the result and the reflection marker 10 of the photographic measurement.SELECTED DRAWING: Figure 1

Description

本開示は、対象物の三次元座標を計測する三次元座標計測装置及びその方法に関する。   The present disclosure relates to a three-dimensional coordinate measuring apparatus and method for measuring three-dimensional coordinates of an object.

近年、複数枚の画像から3次元モデルを復元する画像計測技術であるSfM(Structure from Motion)が普及し始めている。SfMによる3次元モデル復元では、複数の画像間の類似度に基づいて、三次元空間中の三次元点が対象物上の点であることの信頼度を算出し、信頼度が高い三次元点を対象物上の点とすることで、三次元座標計測を行う。   In recent years, SfM (Structure from Motion), which is an image measurement technique for restoring a three-dimensional model from a plurality of images, has started to spread. In the three-dimensional model restoration by SfM, the reliability that the three-dimensional point in the three-dimensional space is a point on the object is calculated based on the similarity between a plurality of images, and the three-dimensional point with high reliability is calculated. By using as a point on the object, three-dimensional coordinate measurement is performed.

SfMは、画像を用いて三次元点の信頼度を算出するため、対象物のテクスチャによっては三次元点の信頼度の精度が悪くなる場合がある。そこで、レーザセンサを用いた距離計測とSfMを組み合わせて三次元座標計測の精度を高める方法が、例えば特許文献1に開示されている。   Since SfM calculates the reliability of a three-dimensional point using an image, the accuracy of the reliability of the three-dimensional point may deteriorate depending on the texture of the object. Therefore, for example, Patent Document 1 discloses a method of improving the accuracy of three-dimensional coordinate measurement by combining distance measurement using a laser sensor and SfM.

また、写真測量とSfMを組み合わせて三次元座標計測の計測精度を高める方法が例えば非特許文献1に開示されている。非特許文献1の方法では、基準点を得るための撮影(写真測量)と三次元座標を得るための撮影(SfM)を別々に行う。   Further, for example, Non-Patent Document 1 discloses a method for improving the measurement accuracy of three-dimensional coordinate measurement by combining photogrammetry and SfM. In the method of Non-Patent Document 1, shooting for obtaining a reference point (photogrammetry) and shooting for obtaining three-dimensional coordinates (SfM) are performed separately.

特開2015−49200号公報JP2015-49200A

S. Recker, M. M. Shashkov, M. Hess-Flores, C. Gribble, R. Baltrusch, M. A. Butkiewicz, K. I. Joy, "Hybrid Photogrammetry Structure-from-Motion Systems for Scene Measurement and Analysis." Coordinate Metrology Systems Conference, 2014.S. Recker, M. M. Shashkov, M. Hess-Flores, C. Gribble, R. Baltrusch, M. A. Butkiewicz, K. I. Joy, "Hybrid Photogrammetry Structure-from-Motion Systems for Scene Measurement and Analysis." Coordinate Metrology Systems Conference, 2014.

しかし、特許文献1の技術は、レーザセンサを用いた距離計測とSfMのための撮影を行う必要がある。また、非特許文献1の技術は写真測量用の撮影とSfM用の撮影を2回に分けて行う必要がある。つまり、従来の技術は、三次元座標計測のための作業量が多いという課題がある。   However, the technique of Patent Document 1 needs to perform distance measurement using a laser sensor and photographing for SfM. Further, the technique of Non-Patent Document 1 needs to perform photography for photogrammetry and photography for SfM in two steps. That is, the conventional technique has a problem that the amount of work for measuring three-dimensional coordinates is large.

本開示は上記課題に鑑み、少ない作業量で三次元座標計測が行える三次元座標計測装置及びその方法を提供することを目的としている。   This indication aims at providing the three-dimensional coordinate measuring device and its method which can perform three-dimensional coordinate measurement with a small work amount in view of the above-mentioned subject.

上記目的を達成するために、本開示の一態様に係る三次元座標計測装置は、自然光の環境下に置かれた対象物の表面に配置され、前記自然光に含まれる一つの単色光を反射する6個以上の反射マーカと、前記単色光を前記対象物に照射する光源と、前記単色光の波長の透過率が前記自然光に含まれる他の単色光の透過率よりも低いフィルターと、前記フィルター越しに前記対象物の3つ以上の画像をそれぞれ異なる位置から撮影するカメラと、3つ以上の前記画像内の前記反射マーカの位置で写真測量を実行し、該写真測量の結果と前記反射マーカを除いた前記画像内の特徴点を用いてSfMを実行し、前記対象物の三次元座標を抽出する三次元座標抽出部とを備える。
また、本開示の他の態様に係る三次元座標計測装置は、自然光の環境下に置かれた対象物の表面に配置され、前記自然光に含まれる一つの単色光を発光する6個以上の発光マーカと、前記単色光の波長の透過率が低く、且つ他の単色光の波長の透過率が高いフィルターと、前記フィルター越しに前記該対象物の3つ以上の画像をそれぞれ異なる位置から撮影するカメラと、3つ以上の前記画像内の前記発光マーカの位置で写真測量を実行し、該写真測量の結果と前記発光マーカを除いた前記画像内の特徴点を用いてSfMを実行し、前記対象物の三次元座標を抽出する三次元座標抽出部とを備える。
また、本開示の一態様に係る三次元座標計測方法は、三次元座標計測装置が実行する三次元座標計測方法であって、自然光の環境下に置かれた対象物の表面に、前記自然光に含まれる一つの単色光を反射する6個以上の反射マーカを配置し、単色光を前記対象物に照射し、前記対象物からの反射光を、前記単色光の波長の透過率が前記自然光に含まれる他の単色光の透過率よりも低いフィルターでフィルタリングし、前記フィルター越しに前記対象物の3つ以上の画像をそれぞれ異なる位置から撮影し、3つ以上の前記画像内の前記反射マーカの位置で写真測量を実行し、該写真測量の結果と前記反射マーカを除いた前記画像内の特徴点を用いてSfMを実行し、前記対象物の三次元座標を抽出する。
In order to achieve the above object, a three-dimensional coordinate measuring apparatus according to an aspect of the present disclosure is disposed on a surface of an object placed in a natural light environment and reflects one monochromatic light included in the natural light. Six or more reflective markers, a light source that irradiates the object with the monochromatic light, a filter having a transmittance of a wavelength of the monochromatic light lower than that of other monochromatic light included in the natural light, and the filter A camera that captures three or more images of the object from different positions, and photogrammetry at the positions of the reflective markers in the three or more images, and the photogrammetric results and the reflective markers And a three-dimensional coordinate extraction unit that executes SfM using the feature points in the image excluding and extracts the three-dimensional coordinates of the object.
Further, the three-dimensional coordinate measuring apparatus according to another aspect of the present disclosure is arranged on the surface of an object placed in a natural light environment, and emits six or more light emission units that emit one monochromatic light included in the natural light. A marker, a filter having a low transmittance of the wavelength of the monochromatic light and a high transmittance of the wavelength of the other monochromatic light, and three or more images of the object are photographed from different positions through the filter. Perform photogrammetry at the position of the light emitting marker in the three or more images with the camera, execute SfM using the photogrammetric result and the feature points in the image excluding the light emitting marker, A three-dimensional coordinate extraction unit that extracts the three-dimensional coordinates of the object.
Further, the three-dimensional coordinate measurement method according to one aspect of the present disclosure is a three-dimensional coordinate measurement method executed by a three-dimensional coordinate measurement apparatus, and the natural light is applied to the surface of an object placed in a natural light environment. Six or more reflective markers that reflect one monochromatic light contained therein are arranged, the monochromatic light is irradiated onto the object, and the reflected light from the object is transmitted to the natural light with the wavelength transmittance of the monochromatic light. Filter with a filter that is lower than the transmittance of the other monochromatic light included, and take three or more images of the object through the filter from different positions, and the three or more of the reflective markers in the images Photogrammetry is executed at the position, SfM is executed using the photogrammetry result and the feature points in the image excluding the reflection marker, and the three-dimensional coordinates of the object are extracted.

本開示によれば、画像上の反射マーカを用いて写真測量を行い、該反射マーカを除いた画像を用いてSfMを行うので1回の撮影で得た画像から三次元座標を抽出する。したがって、三次元座標計測のための作業量を少なくすることができる。   According to the present disclosure, photogrammetry is performed using a reflection marker on an image, and SfM is performed using an image excluding the reflection marker. Therefore, three-dimensional coordinates are extracted from an image obtained by one shooting. Therefore, it is possible to reduce the amount of work for measuring the three-dimensional coordinates.

本開示の第1実施形態に係る三次元座標計測装置の機能構成例を示すブロック図である。It is a block diagram showing an example of functional composition of a three-dimensional coordinate measuring device concerning a 1st embodiment of this indication. 図1に示す三次元座標計測装置の動作フローを示すフローチャートである。It is a flowchart which shows the operation | movement flow of the three-dimensional coordinate measuring apparatus shown in FIG. 図1に示すフィルターの透過特性を模式的に示す図である。It is a figure which shows typically the permeation | transmission characteristic of the filter shown in FIG. 図1に示す反射マーカの位置で写真測量を実行し、写真測量の結果と反射マーカを除いた画像内の特徴点を用いてSfMを実行する手順を概念的に示す図である。It is a figure which shows notionally the procedure which performs photogrammetry at the position of the reflective marker shown in FIG. 1, and performs SfM using the feature point in the image except the result of photogrammetry and the reflective marker. 三次元座標を、写真測量の結果で補正する様子を模式的に示す図である。It is a figure which shows typically a mode that a three-dimensional coordinate is correct | amended with the result of photogrammetry. 図1に示す反射マーカのコントラストと、反射マーカの中心位置検出精度の関係を説明するための概念図である。It is a conceptual diagram for demonstrating the relationship between the contrast of the reflective marker shown in FIG. 1, and the center position detection accuracy of a reflective marker. 反射マーカのコントラストと検出精度の関係をシミュレーションした結果を示す図である。It is a figure which shows the result of having simulated the relationship between the contrast of a reflective marker, and detection accuracy. 図1に示す光源とカメラの位置の関係を模式的に示す図である。It is a figure which shows typically the relationship between the light source shown in FIG. 1, and the position of a camera. 図6に示す角度と反射輝度の関係をシミュレーションした結果を示す図である。It is a figure which shows the result of having simulated the relationship between the angle shown in FIG. 6, and reflected luminance. 本開示の第2実施形態に係る三次元座標計測装置の機能構成例を示すブロック図である。It is a block diagram showing an example of functional composition of a three-dimensional coordinate measuring device concerning a 2nd embodiment of this indication.

以下に、本開示の実施形態に係る三次元座標計測装置の構成及び動作について説明する。   The configuration and operation of the three-dimensional coordinate measurement apparatus according to the embodiment of the present disclosure will be described below.

〔第1実施形態〕
図1は、本開示の第1実施形態に係る三次元座標計測装置の機能構成例を示すブロック図である。
[First Embodiment]
FIG. 1 is a block diagram illustrating a functional configuration example of the three-dimensional coordinate measurement apparatus according to the first embodiment of the present disclosure.

図1に示すように、第1実施形態に係る三次元座標計測装置1は、反射マーカ10、光源20、フィルター30、カメラ40、及び三次元座標抽出部50を備える。図1では、3台のカメラ40,40,40の例を示すが、カメラ40は1台でもよい。以降において各々を特定する必要の無い場合、カメラの参照符号は40と表記する。複数ある反射マーカ10についても同様である。 As illustrated in FIG. 1, the three-dimensional coordinate measuring apparatus 1 according to the first embodiment includes a reflective marker 10, a light source 20, a filter 30, a camera 40, and a three-dimensional coordinate extraction unit 50. Although FIG. 1 shows an example of three cameras 40 1 , 40 2 , and 40 3 , one camera 40 may be used. In the following, when it is not necessary to specify each, the reference numeral of the camera is expressed as 40. The same applies to a plurality of reflection markers 10.

図2は、三次元座標計測装置1の動作フローを示すフローチャートである。図1と図2を参照して三次元座標計測装置1の動作を説明する。   FIG. 2 is a flowchart showing an operation flow of the three-dimensional coordinate measuring apparatus 1. The operation of the three-dimensional coordinate measuring apparatus 1 will be described with reference to FIGS.

反射マーカ10は、自然光αの環境下に置かれた対象物60の表面に6個(10,10,…,10,…)以上配置され、自然光αに含まれる一つの単色光βを反射する。自然光αとは、太陽光などの自然に由来する光であり、屋内に配置される一般的な照明器具が発する光も含む。また、自然光αは、光の三原色(R,G,B)の波長を含む光である。なお反射マーカ10は、対象物60の表面であれば何れの位置に配置されてもよい(ステップS1)。 6 or more (10 1 , 10 2 ,..., 10 6 ,...) Are arranged on the surface of the object 60 placed in the environment of natural light α, and one monochromatic light β included in the natural light α. To reflect. The natural light α is light derived from nature such as sunlight, and also includes light emitted from a general lighting fixture arranged indoors. The natural light α is light including the wavelengths of the three primary colors (R, G, B) of light. The reflection marker 10 may be disposed at any position as long as it is the surface of the object 60 (step S1).

単色光βは、光の三原色の例えば青色のみの波長から成る光である。反射マーカ10は、赤色及び緑色の波長の光よりも、青色の波長の光を反射する。その反射量は、反射マーカ10を除く対象物60表面の他の波長の反射量よりも相対的に多ければ定量的にはどのような値であっても構わない。   The monochromatic light β is light having wavelengths of only the three primary colors of light, for example, blue. The reflective marker 10 reflects light having a blue wavelength rather than light having red and green wavelengths. The reflection amount may be any value quantitatively as long as it is relatively larger than the reflection amounts of other wavelengths on the surface of the object 60 excluding the reflection marker 10.

光源20は、単色光βを対象物60に照射する(ステップS2)。単色光βは、青色の波長以外の赤色又は緑色であってもよい。その場合、反射マーカ10は、該単色光の波長の光を反射する。また、反射マーカ10の反射特性は、例えば光源20がカメラ40に近い位置に配置される場合、再帰反射である方が好ましい。カメラ40と光源20の配置について詳しくは後述する。   The light source 20 irradiates the object 60 with the monochromatic light β (step S2). The monochromatic light β may be red or green other than the blue wavelength. In that case, the reflective marker 10 reflects light having the wavelength of the monochromatic light. Further, the reflection characteristic of the reflection marker 10 is preferably retroreflection when the light source 20 is disposed at a position close to the camera 40, for example. Details of the arrangement of the camera 40 and the light source 20 will be described later.

フィルター30は、単色光βの波長の透過率が自然光αに含まれる他の単色光の透過率よりも低いフィルターである。図3は、フィルター30の光の波長に対する透過率の特性例を模式的に示す図である。図3の横軸は光の波長、縦軸は透過率(%)である。波長の短い青色の光(破線)の透過率は低く、それ以外の緑色と赤色の波長の光の透過率は高い。フィルター30は、対象物60が反射する反射光γを例えば図3に実線で示す透過特性でフィルタリングする(ステップS3)。   The filter 30 is a filter whose transmittance of the wavelength of the monochromatic light β is lower than the transmittance of other monochromatic light included in the natural light α. FIG. 3 is a diagram schematically showing an example of the characteristic of the transmittance of the filter 30 with respect to the wavelength of light. The horizontal axis in FIG. 3 is the wavelength of light, and the vertical axis is the transmittance (%). The transmittance of blue light (dashed line) with a short wavelength is low, and the transmittance of other green and red wavelengths is high. The filter 30 filters the reflected light γ reflected by the object 60 with, for example, transmission characteristics indicated by a solid line in FIG. 3 (step S3).

カメラ40は、フィルター30越しに反射マーカ10を含む対象物60の3つ以上の画像をそれぞれ異なる位置から撮影する(ステップS4)。図1に示す例では、3つの画像を3台のカメラ40,40,40で同時に撮影する。なお、対象物60は、複数のカメラ40〜40で同時に撮影しなくてもよい。また、図1では、カメラ40,40,40がz軸方向に配列される例を示しているが、このようにカメラ40を規則的に配置する必要はない。それぞれのカメラ40,40,40の位置が異なっていればよい。 The camera 40 captures three or more images of the object 60 including the reflective marker 10 through the filter 30 from different positions (step S4). In the example shown in FIG. 1, three images are simultaneously captured by three cameras 40 1 , 40 2 , and 40 3 . Note that the object 60 may not be photographed simultaneously by the plurality of cameras 40 1 to 40 3 . 1 shows an example in which the cameras 40 1 , 40 2 , and 40 3 are arranged in the z-axis direction, it is not necessary to regularly arrange the cameras 40 in this way. It is only necessary that the positions of the respective cameras 40 1 , 40 2 , and 40 3 are different.

対象物60の正面から見て右側の画像、正面の画像、及び左側の画像の例えば3枚の画像を、1台のカメラ40の位置を変えて撮影してもよい。つまり、カメラ40は、フィルター30越しに対象物60の3つ以上の画像をそれぞれ異なる位置から撮影すればよい。   For example, three images of the right image, the front image, and the left image as viewed from the front of the object 60 may be taken by changing the position of one camera 40. That is, the camera 40 may shoot three or more images of the object 60 from different positions through the filter 30.

三次元座標抽出部50は、3つ以上の画像内の反射マーカ10の位置で写真測量を実行し、該写真測量の結果と反射マーカ10を除いた画像内の特徴点を用いてSfMを実行し、対象物60の三次元座標を抽出する(ステップS5)。ここで、写真測量とSfMは一般的な技術である。   The three-dimensional coordinate extraction unit 50 performs photogrammetry at the positions of the reflection markers 10 in three or more images, and executes SfM using the photogrammetry results and feature points in the image excluding the reflection markers 10. Then, the three-dimensional coordinates of the object 60 are extracted (step S5). Here, photogrammetry and SfM are general techniques.

三次元座標抽出部50は、例えばROM、RAM、CPU等からなるコンピュータで実現される。三次元座標抽出部50をコンピュータによって実現する場合、その処理内容はプログラムによって記述される。   The three-dimensional coordinate extraction unit 50 is realized by a computer including a ROM, a RAM, a CPU, and the like, for example. When the three-dimensional coordinate extraction unit 50 is realized by a computer, the processing content is described by a program.

写真測量は、2カ所以上から対象物60を撮影したステレオ画像から該対象物の三次元形状を計測する技術である。写真測量で対象物60上の点の座標(x,y,z)を得ることができる。なお、本実施形態においては、最適化の関係から3箇所以上から撮影した対象物60の画像が必要である。   Photogrammetry is a technique for measuring the three-dimensional shape of an object from stereo images obtained by capturing the object 60 from two or more locations. The coordinates (x, y, z) of the point on the object 60 can be obtained by photogrammetry. In the present embodiment, images of the object 60 photographed from three or more locations are necessary because of optimization.

なお、反射マーカ10が6個以上必要な理由は、カメラ40の位置と姿勢を求めるためである。つまり、カメラ40の三次元座標のx,y,zの3つの座標、及び三軸それぞれについての3つの角度の合計6つの未知数を求めるために6個以上の反射マーカ10が必要となる。   The reason why six or more reflective markers 10 are necessary is to obtain the position and orientation of the camera 40. That is, in order to obtain a total of six unknowns of the three coordinates x, y, and z of the three-dimensional coordinates of the camera 40 and three angles for each of the three axes, six or more reflective markers 10 are required.

SfMは、移動するカメラ40から得られる対象物60の画像から対象物60の三次元形状を復元する技術である。なお、カメラ40は移動させなくてもよい。図1に示すように3つ以上のそれぞれ異なる位置に配置されたカメラ40〜40で撮影された画像(静止画像)からでも、対象物60の三次元座標を求めることができる。 SfM is a technique for restoring the three-dimensional shape of the object 60 from the image of the object 60 obtained from the moving camera 40. The camera 40 may not be moved. As shown in FIG. 1, the three-dimensional coordinates of the object 60 can also be obtained from images (still images) taken by cameras 40 1 to 40 3 arranged at three or more different positions.

本実施形態に係る三次元座標計測装置1によれば、自然光αの環境下に置かれた対象物60に、例えば青色の波長の単色光βを照射し、該対象物60の画像をフィルター30越しに撮影する。つまり、この例では青色の光が多い環境下で、青色の光を反射する反射マーカ10が表面に配置された対象物60を撮影することになる。   According to the three-dimensional coordinate measuring apparatus 1 according to the present embodiment, the object 60 placed in the environment of natural light α is irradiated with, for example, monochromatic light β having a blue wavelength, and the image of the object 60 is filtered 30. Take a photo over. That is, in this example, in an environment where there is a lot of blue light, the object 60 on which the reflective marker 10 that reflects blue light is arranged is photographed.

そして、フィルター30は、例えば青色の波長の透過率が低く、且つその他の光の波長の透過率が高い。したがって、画像内の反射マーカ10とその他の部分の輝度のコントラストを大きくすることができる。   The filter 30 has, for example, low blue wavelength transmittance and high other wavelength transmittance. Therefore, it is possible to increase the brightness contrast between the reflective marker 10 and other portions in the image.

反射マーカ10とその他の部分の輝度のコントラストが大きいと、反射マーカ10の位置を正しく検出することが可能になる。つまり、反射マーカ10を用いた写真測量の計測精度を高めることができる。コントラストと反射マーカ10の検出精度との関係について詳しくは後述する。   If the brightness contrast between the reflective marker 10 and other portions is large, the position of the reflective marker 10 can be detected correctly. That is, the measurement accuracy of photogrammetry using the reflective marker 10 can be increased. The relationship between the contrast and the detection accuracy of the reflective marker 10 will be described in detail later.

図4は、対象物60の画像と、対象物60をフィルター30越しに撮影した画像の例を模式的に示す図である。画像41は、対象物60を自然光の環境下においてカメラ40で撮影した画像である。画像41内の対象物60は、例えば橋梁を支える柱の一部である。なお、画像41において反射マーカ10の表記は省略している。   FIG. 4 is a diagram schematically illustrating an example of an image of the object 60 and an image obtained by photographing the object 60 through the filter 30. The image 41 is an image obtained by photographing the object 60 with the camera 40 in a natural light environment. The object 60 in the image 41 is, for example, a part of a pillar that supports a bridge. In the image 41, the notation of the reflective marker 10 is omitted.

画像42は、フィルター30を通して青色成分を撮影した画像である。画像42内の白丸10(70)〜10(70)は、フィルター30でフィルタリングされた青色成分の少ない範囲である反射マーカ10又は後述する発光マーカ70の領域を表している。このように、例えば青色の光が多い環境下において、青色成分をフィルタリングした画像を撮影すると、反射マーカ10の位置を正確に識別できる。 The image 42 is an image obtained by photographing the blue component through the filter 30. White circles 10 1 (70 1 ) to 10 7 (70 7 ) in the image 42 represent regions of the reflective marker 10 or a light emitting marker 70 described later, which is a range with a small blue component filtered by the filter 30. Thus, for example, when an image obtained by filtering the blue component is captured in an environment where there is a lot of blue light, the position of the reflective marker 10 can be accurately identified.

画像43は、フィルター30越しに対象物60を撮影した画像である。フィルター30でフィルタリングされた青色成分の少ない赤色と緑色の光の成分から成る画像であっても対象物60の形状は識別可能である。つまり、画像43から対象物60の特徴点を見分けることができる。特徴点とは、対象物60を特徴つける形状のことである。   The image 43 is an image obtained by photographing the object 60 through the filter 30. The shape of the object 60 can be identified even in an image composed of red and green light components with a small blue component filtered by the filter 30. That is, the feature point of the object 60 can be identified from the image 43. A feature point is a shape that characterizes the object 60.

以上述べた本実施形態に係る三次元座標計測装置1は、自然光αの環境下に置かれた対象物60の表面に配置され、自然光αに含まれる一つの単色光βを反射する6個以上の反射マーカ10と、単色光βを対象物60に照射する光源20と、単色光βの波長の透過率が低く、且つその他の光の波長の透過率が高いフィルター30と、フィルター30越しに対象物60の3つ以上の画像をそれぞれ異なる位置から撮影するカメラ40と、3つ以上の画像内の反射マーカ10の位置で写真測量を実行し、該写真測量の結果と反射マーカ10を除いた画像内の特徴点を用いてSfMを実行し、対象物60の三次元座標を抽出する三次元座標抽出部50とを備える。   The three-dimensional coordinate measuring apparatus 1 according to the present embodiment described above is arranged on the surface of the object 60 placed in the environment of natural light α and reflects six or more pieces of single-color light β included in the natural light α. The reflection marker 10, the light source 20 that irradiates the object 60 with the monochromatic light β, the filter 30 having a low transmittance of the wavelength of the monochromatic light β and a high transmittance of the wavelength of the other light, and the filter 30. Photogrammetry is performed at the position of the camera 40 that captures three or more images of the object 60 from different positions and the reflective marker 10 in the three or more images, and the photogrammetric result and the reflective marker 10 are excluded. A three-dimensional coordinate extraction unit 50 that executes SfM using the feature points in the image and extracts the three-dimensional coordinates of the object 60.

また、三次元座標計測装置1が実行する三次元座標計測方法は、自然光αの環境下に置かれた対象物60の表面に、自然光αに含まれる一つの単色光βを反射する6個以上の反射マーカ10を配置し、単色光βを対象物60に照射し、対象物60からの反射光γを、単色光βの波長の透過率が低く、且つその他の光の波長の透過率が高いフィルター30でフィルタリングし、フィルター30越しに対象物60の3つ以上の画像をそれぞれ異なる位置から撮影し、3つ以上の画像内の反射マーカ10の位置で写真測量を実行し、該写真測量の結果と反射マーカ10を除いた画像内の特徴点を用いてSfMを実行し、対象物60の三次元座標を抽出する。   The three-dimensional coordinate measuring method executed by the three-dimensional coordinate measuring apparatus 1 includes six or more reflections of one monochromatic light β included in the natural light α on the surface of the object 60 placed in the environment of the natural light α. The reflection marker 10 is arranged to irradiate the object 60 with the monochromatic light β, and the reflected light γ from the object 60 is low in the transmittance of the wavelength of the monochromatic light β and the transmittance of the wavelengths of other light. Filter with the high filter 30, take three or more images of the object 60 through the filter 30 from different positions, perform photogrammetry at the position of the reflective marker 10 in the three or more images, and perform the photogrammetry The SfM is executed using the result of the above and the feature points in the image excluding the reflection marker 10, and the three-dimensional coordinates of the object 60 are extracted.

三次元座標計測装置1及びその方法によれば、例えば、青色の光が多い環境下で、青色の光を反射する反射マーカ10が表面に配置された対象物60を1回の撮影で取得した画像から、三次元座標計測の為の情報を取得する。つまり、従来技術では写真測量用の撮影とSfM用の撮影を2回に分けて行う必要があったのに対し、1回の撮影で取得した画像から三次元座標計測に必要な情報を取得することができる。よって、三次元座標計測のための作業量を少なくすることができる。   According to the three-dimensional coordinate measuring apparatus 1 and the method thereof, for example, in an environment where there is a lot of blue light, the object 60 in which the reflective marker 10 that reflects blue light is arranged on the surface is acquired by one shooting. Information for 3D coordinate measurement is acquired from the image. In other words, in the conventional technique, it is necessary to perform photography for photogrammetry and photography for SfM in two steps, whereas information necessary for three-dimensional coordinate measurement is acquired from an image acquired in one shooting. be able to. Therefore, the work amount for measuring the three-dimensional coordinates can be reduced.

また、三次元座標計測装置1及びその方法によれば、反射マーカ10とその他の部分の輝度のコントラストが大きい画像が撮影できるので、反射マーカ10を用いた写真測量の計測精度を高めることができる。つまり、精度の高い写真測量の結果と反射マーカ10を除いた画像内の特徴点を用いてSfMを実行するので、三次元座標計測を高精度化することができる。   In addition, according to the three-dimensional coordinate measuring apparatus 1 and the method thereof, an image with a high brightness contrast between the reflective marker 10 and other portions can be taken, so that the photogrammetry measurement accuracy using the reflective marker 10 can be increased. . That is, since the SfM is executed using the photogrammetry result with high accuracy and the feature points in the image excluding the reflection marker 10, the three-dimensional coordinate measurement can be made highly accurate.

図5は、SfMで抽出した三次元座標を破線で示し、写真測量で得られた(x,y,z)、(x,y,z)、及び(x,y,z)の3つの座標を実線で結んで示す。SfMは、対象物60の全体の形状に関する三次元座標を抽出するのに好適である。しかし、SfMで抽出した三次元座標は、対象物60の実物の形状から少しずつずれ、復元された対象物60の形状が歪む場合がある。 FIG. 5 shows the three-dimensional coordinates extracted by SfM by broken lines, and (x 1 , y 1 , z 1 ), (x 2 , y 2 , z 2 ), and (x 3 , y) obtained by photogrammetry. 3 , z 3 ) are shown connected by a solid line. SfM is suitable for extracting three-dimensional coordinates related to the entire shape of the object 60. However, the three-dimensional coordinates extracted by SfM are gradually shifted from the actual shape of the object 60, and the restored shape of the object 60 may be distorted.

そこで、写真測量で得られた(x,y,z)、(x,y,z)、及び(x,y,z)の3つの精度の高い座標と、反射マーカ10を除いた画像内の特徴点を用いてSfMを実行する。そうすることで、SfMで抽出した三次元座標(破線)を、実線で示す三次元座標に近づけることが可能である。 Therefore, three highly accurate coordinates (x 1 , y 1 , z 1 ), (x 2 , y 2 , z 2 ), and (x 3 , y 3 , z 3 ) obtained by photogrammetry, SfM is executed using the feature points in the image excluding the reflection marker 10. By doing so, it is possible to bring the three-dimensional coordinates (broken line) extracted by SfM closer to the three-dimensional coordinates indicated by the solid line.

なお、写真測量の結果と反射マーカ10を除いた画像内の特徴点を用いてSfMを実行する例で説明したが、SfMで抽出した三次元座標を、写真測量の結果で補正するように三次元座標抽出部50を変形してもよい。   In addition, although it demonstrated by the example which performs SfM using the feature point in the image except the result of photogrammetry and the reflective marker 10, it is tertiary so that the three-dimensional coordinate extracted by SfM may be corrected with the result of photogrammetry. The original coordinate extraction unit 50 may be modified.

三次元座標抽出部50を変形した三次元座標抽出部51(図示せず)は、3つ以上の対象物60の画像上の反射マーカ10を用いて写真測量を実行し、該反射マーカ10を除いた該画像を用いてSfMを実行し、該SfMで求めた三次元座標を、該写真測量で求めた座標を基準に補正した三次元座標を抽出する。変形した三次元座標抽出部51を備える三次元座標計測装置は、SfMのみで三次元座標を抽出する従来技術よりも三次元座標計測を高精度化することができる。   A three-dimensional coordinate extraction unit 51 (not shown), which is a modification of the three-dimensional coordinate extraction unit 50, performs photogrammetry using the reflection markers 10 on the images of three or more objects 60. SfM is executed using the removed image, and three-dimensional coordinates obtained by correcting the three-dimensional coordinates obtained by SfM with reference to the coordinates obtained by the photogrammetry are extracted. The three-dimensional coordinate measuring apparatus including the deformed three-dimensional coordinate extracting unit 51 can make the three-dimensional coordinate measurement more accurate than the conventional technique that extracts the three-dimensional coordinates using only SfM.

(コントラストと検出精度)
反射マーカ10のコントラストと、反射マーカ10の中心位置の検出精度の関係について検討を行った。図6は、画像中の反射マーカ10のコントラストと、反射マーカ10の中心位置の検出精度の関係を評価する方法を示す図である。
(Contrast and detection accuracy)
The relationship between the contrast of the reflective marker 10 and the detection accuracy of the center position of the reflective marker 10 was examined. FIG. 6 is a diagram illustrating a method for evaluating the relationship between the contrast of the reflective marker 10 in the image and the detection accuracy of the center position of the reflective marker 10.

図6に示す画像61は、反射マーカ10の画像をディジタル化するために、反射マーカ10の画像をメッシュで分割したものである。メッシュで分割した画像が全て反射マーカ10であれば、該メッシュに例えば数値1.00を付与する。メッシュで分割した画像に反射マーカ10で無い部分が含まれれば該メッシュにその割合に応じた数値(例えば0.23等)を付与する。   An image 61 shown in FIG. 6 is obtained by dividing the image of the reflective marker 10 with a mesh in order to digitize the image of the reflective marker 10. If all the images divided by the mesh are the reflection markers 10, for example, a numerical value 1.00 is assigned to the mesh. If a portion that is not the reflective marker 10 is included in the image divided by the mesh, a numerical value (for example, 0.23) corresponding to the ratio is given to the mesh.

図6に示す画像62は、上記のようにしてメッシュに付与した数値で反射マーカ10を、例えば8bitモノクロ画像でディジタル化した画像である。この画像62から反射マーカ10の中心座標を求めることができる。   An image 62 shown in FIG. 6 is an image obtained by digitizing the reflective marker 10 with, for example, an 8-bit monochrome image using the numerical values given to the mesh as described above. From this image 62, the center coordinates of the reflective marker 10 can be obtained.

図6に示す画像63と画像64は、反射マーカ10をディジタル化した画像に誤差を付加する様子を模式的に示す画像である。画像64は、画像63に標準偏差σ=3の正規分布の誤差を付加した画像である。誤差が付加されたことで反射マーカ10の輪郭がぼやけていることが分かる。   An image 63 and an image 64 shown in FIG. 6 are images schematically showing how an error is added to an image obtained by digitizing the reflective marker 10. The image 64 is an image obtained by adding a normal distribution error with a standard deviation σ = 3 to the image 63. It can be seen that the outline of the reflective marker 10 is blurred due to the added error.

このように反射マーカ10の中心座標を設定した後に、標準偏差σ=3の正規分布の誤差を付加した画像64を用意する。そして、画像64のコントラストを変化させた画像から、反射マーカ10の中心座標を計測する。   After setting the center coordinates of the reflective marker 10 in this way, an image 64 with a normal distribution error with a standard deviation σ = 3 is prepared. And the center coordinate of the reflective marker 10 is measured from the image in which the contrast of the image 64 is changed.

図6に示す画像65は、上記のように設定した反射マーカ10の中心座標(設定値)と、上記のように誤差を付加した画像から計測した反射マーカ10の計測位置(計測値)を示す画像である。画像64のコントラストを変化させて検出誤差の大きさを評価することで、反射マーカ10の位置を正確に検出するのに必要なコントラストを求めることができる。コントラストは、画像64内の輝度値の最大(Lmax)÷画像64内の輝度値の最小(Lmin)である。 An image 65 shown in FIG. 6 shows the center coordinates (set value) of the reflective marker 10 set as described above and the measurement position (measured value) of the reflective marker 10 measured from the image with an error added as described above. It is an image. By evaluating the magnitude of the detection error by changing the contrast of the image 64, the contrast necessary for accurately detecting the position of the reflective marker 10 can be obtained. The contrast is the maximum luminance value in the image 64 (L max ) ÷ the minimum luminance value in the image 64 (L min ).

図7は、コントラストを変化させて反射マーカ10の検出精度をシミュレーションした結果を示す図である。図7の横軸はコントラスト、縦軸は反射マーカ10の検出精度[pixel]である。   FIG. 7 is a diagram illustrating a result of simulating the detection accuracy of the reflective marker 10 by changing the contrast. The horizontal axis in FIG. 7 is the contrast, and the vertical axis is the detection accuracy [pixel] of the reflective marker 10.

図7に示すように、コントラストを上げるに従って検出精度は向上する特性を示す。コントラストを100以上にすることで、反射マーカ10の中心位置の検出精度は0.015[pixel]以下で安定する。   As shown in FIG. 7, the detection accuracy increases as the contrast increases. By setting the contrast to 100 or more, the detection accuracy of the center position of the reflective marker 10 is stabilized at 0.015 [pixel] or less.

このシミュレーション結果から、画像内の反射マーカ10の輝度と、反射マーカ10を除いた特徴点の輝度のコントラストは、100以上であることが好ましいことが分かる。つまり、画像内の反射マーカ10の輝度のコントラストは、100以上にすることで、より正確な写真測量を実行することができ三次元座標計測を高精度化することができる。   From this simulation result, it can be seen that the contrast between the brightness of the reflective marker 10 in the image and the brightness of the feature points excluding the reflective marker 10 is preferably 100 or more. That is, when the contrast of the brightness of the reflective marker 10 in the image is set to 100 or more, more accurate photogrammetry can be executed and three-dimensional coordinate measurement can be made highly accurate.

(カメラと光源の配置)
カメラ40と光源20がストロボの様に一体化された(双方が近い)場合、反射マーカ10の反射特性は再帰反射であることが好ましいことは既に述べた。しかし、カメラ40と光源20は、離れた位置に配置される場合も考えられる。そこで、カメラ40と光源20が離れて配置された場合に、反射マーカ10の反射強度がどのように変化するかについて検討を行った。
(Arrangement of camera and light source)
As described above, when the camera 40 and the light source 20 are integrated like a strobe (both are close to each other), the reflection characteristic of the reflection marker 10 is preferably retroreflection. However, the camera 40 and the light source 20 may be arranged at positions separated from each other. Then, when the camera 40 and the light source 20 were arrange | positioned away, it examined about how the reflection intensity of the reflective marker 10 changed.

図8は、カメラ40と光源20の位置を模式的に示す図である。図8に示すように、対象物60と光源20を結ぶ直線81と、対象物60とカメラ40を結ぶ直線82とが成す角度θを変化させた場合に、反射マーカ10の反射強度がどのように変化するかについて検討を行った。   FIG. 8 is a diagram schematically showing the positions of the camera 40 and the light source 20. As shown in FIG. 8, how the reflection intensity of the reflective marker 10 changes when the angle θ formed by the straight line 81 connecting the object 60 and the light source 20 and the straight line 82 connecting the object 60 and the camera 40 is changed. We examined whether to change.

図9は、角度θに対する反射マーカ10の反射強度の変化を示す図である。図9の横軸は角度θ[deg]、縦軸は反射強度である。図9に示す実線の特性(■)は反射マーカ10が拡散反射マーカの場合、破線の特性(●)は再帰反射マーカの場合である。   FIG. 9 is a diagram illustrating a change in the reflection intensity of the reflection marker 10 with respect to the angle θ. The horizontal axis in FIG. 9 is the angle θ [deg], and the vertical axis is the reflection intensity. The solid line characteristic (■) shown in FIG. 9 is for the case where the reflective marker 10 is a diffuse reflection marker, and the broken line characteristic (●) is for a retroreflection marker.

図9に示すように、拡散反射マーカの場合は、角度θを0〜70[deg]の範囲で変えても反射強度は一定である。一方、再帰反射マーカの場合は、角度θ=20[deg]以下の範囲で反射強度が拡散反射マーカよりも大きくなる特性を示す。   As shown in FIG. 9, in the case of the diffuse reflection marker, the reflection intensity is constant even if the angle θ is changed in the range of 0 to 70 [deg]. On the other hand, the retroreflective marker exhibits a characteristic that the reflection intensity is larger than that of the diffuse reflection marker in the range of the angle θ = 20 [deg] or less.

このように反射マーカ10を再帰反射マーカで構成した場合は、対象物60と光源20を結ぶ直線81と、対象物60とカメラ40を結ぶ直線82とが成す角度θは、20[deg]以下であると反射マーカ10の反射強度を大きくできることが分かる。逆に角度θが20[deg]以上の場合は、拡散反射マーカを用いるのがよい。   Thus, when the reflective marker 10 is configured by a retroreflective marker, the angle θ formed by the straight line 81 connecting the object 60 and the light source 20 and the straight line 82 connecting the object 60 and the camera 40 is 20 [deg] or less. It can be seen that the reflection intensity of the reflection marker 10 can be increased. Conversely, when the angle θ is 20 [deg] or more, it is preferable to use a diffuse reflection marker.

つまり、反射マーカ10は、再帰反射特性を持ち、対象物60と光源20を結ぶ直線81と、対象物60とカメラ40を結ぶ直線82とが成す角度θは、20[deg]以下である。これにより、反射マーカ10の位置を正確に検出することができ、三次元座標計測を高精度化することができる。なお、図9に示すθ=0[deg]の反射輝度は、対称物60からカメラ40と光源20を、θ=0[deg]線上の同じ距離に配置して計測(撮像)した。同一線上の同じ距離にカメラ40と光源20を配置するには、例えばリングライト(参考文献:http://www.nissin-japan.com/mf18.html)の様に光源20を構成することで容易に実現できる。また、再帰反射マーカでも反射光の反射方向は一定のバラツキを持つ。よって、θ=0[deg]線上でもカメラ40と光源20の平面を変えることで対象物60の撮像は可能である。   That is, the reflective marker 10 has retroreflection characteristics, and an angle θ formed by a straight line 81 connecting the object 60 and the light source 20 and a straight line 82 connecting the object 60 and the camera 40 is 20 [deg] or less. Thereby, the position of the reflective marker 10 can be accurately detected, and the three-dimensional coordinate measurement can be made highly accurate. Note that the reflection luminance at θ = 0 [deg] shown in FIG. 9 was measured (imaged) by arranging the camera 40 and the light source 20 from the symmetrical object 60 at the same distance on the θ = 0 [deg] line. To arrange the camera 40 and the light source 20 at the same distance on the same line, it is easy to configure the light source 20 like a ring light (reference: http://www.nissin-japan.com/mf18.html), for example. Can be realized. Further, even in retroreflective markers, the reflection direction of reflected light has a certain variation. Therefore, the object 60 can be imaged by changing the plane of the camera 40 and the light source 20 even on the line θ = 0 [deg].

〔第2実施形態〕
図10は、本開示の第2実施形態に係る三次元座標計測装置の機能構成例を示すブロック図である。
[Second Embodiment]
FIG. 10 is a block diagram illustrating a functional configuration example of the three-dimensional coordinate measurement apparatus according to the second embodiment of the present disclosure.

図10に示すように、第2実施形態に係る三次元座標計測装置2は、三次元座標計測装置1(図1)の反射マーカ10に代えて発光マーカ70を備える点で異なる。発光マーカ70は、自ら光を発光するので、三次元座標計測装置1が備えていた光源20は不要である。発光マーカ70と光源20を除いた他の構成は、三次元座標計測装置1と同じである。   As shown in FIG. 10, the 3D coordinate measuring apparatus 2 according to the second embodiment is different in that a light emitting marker 70 is provided instead of the reflective marker 10 of the 3D coordinate measuring apparatus 1 (FIG. 1). Since the light emitting marker 70 emits light by itself, the light source 20 provided in the three-dimensional coordinate measuring apparatus 1 is unnecessary. Other configurations except the light emitting marker 70 and the light source 20 are the same as those of the three-dimensional coordinate measuring apparatus 1.

三次元座標計測装置2は、自然光αの環境下に置かれた対象物60の表面に配置され、自然光αに含まれる一つの単色光βを発光する6個以上の発光マーカ70と、単色光βの波長の透過率が低く、且つ他の単色光の波長の透過率が高いフィルター30と、フィルター30越しに対象物60の3つ以上の画像をそれぞれ異なる位置から撮影するカメラ40と、3つ以上の画像内の発光マーカ70の位置で写真測量を実行し、該写真測量の結果と発光マーカ70を除いた画像内の特徴点を用いてSfMを実行し、対象物60の三次元座標を抽出する三次元座標抽出部50とを備える。   The three-dimensional coordinate measuring apparatus 2 is arranged on the surface of an object 60 placed in an environment of natural light α, and includes six or more light-emitting markers 70 that emit one monochromatic light β included in the natural light α, and monochromatic light. a filter 30 having a low transmittance for the wavelength of β and a high transmittance for the wavelength of other monochromatic light, and a camera 40 for taking three or more images of the object 60 through the filter 30 from different positions, 3 The photogrammetry is executed at the position of the light emitting marker 70 in one or more images, the SfM is executed using the photogrammetry result and the feature points in the image excluding the light emitting marker 70, and the three-dimensional coordinates of the object 60 And a three-dimensional coordinate extraction unit 50 for extracting.

本実施形態に係る三次元座標計測装置2によれば、1回の撮影で取得した1つの画像から三次元座標計測に必要な情報を取得することができる。よって、三次元座標計測のための作業量を少なくすることができる。また、発光マーカ70による精度の高い写真測量の結果と発光マーカ70を除いた画像内の特徴点を用いてSfMを実行するので、三次元座標計測を高精度化することができる。また、三次元座標計測装置1では必要であった光源20を不要にする効果も得られる。   According to the three-dimensional coordinate measuring apparatus 2 according to the present embodiment, information necessary for three-dimensional coordinate measurement can be acquired from one image acquired by one imaging. Therefore, the work amount for measuring the three-dimensional coordinates can be reduced. Moreover, since SfM is performed using the photogrammetry result with high accuracy by the light emitting marker 70 and the feature points in the image excluding the light emitting marker 70, the three-dimensional coordinate measurement can be made highly accurate. Moreover, the effect which makes the light source 20 required in the three-dimensional coordinate measuring device 1 unnecessary is also acquired.

なお、発光マーカ70は、均等拡散光源であると好ましい。均等拡散光源とは、どの方向から見ても輝度が概ね一定な光源のことである。これにより、三次元座標計測を高精度化することができる。   The light emitting marker 70 is preferably a uniform diffused light source. The uniform diffused light source is a light source having a substantially constant luminance when viewed from any direction. Thereby, three-dimensional coordinate measurement can be made highly accurate.

本実施形態において単色光βは、対象物60から発せられる。したがって、単色光βを含む対象物60からの反射光γを異なる位置から撮影するカメラ40にとって、発光マーカ70は均等拡散光源であることが好ましい。   In the present embodiment, the monochromatic light β is emitted from the object 60. Therefore, for the camera 40 that captures the reflected light γ from the object 60 including the monochromatic light β from different positions, the light emitting marker 70 is preferably a uniform diffused light source.

以上述べたように本実施形態に係る三次元座標計測装置1,2は、写真測量用の画像とSfM用の画像を1回の撮影で取得する。1回の撮影で取得した画像を構成する光の三原色の3つのチャネルの内の1つを反射マーカ10の検出用チャネルとする。   As described above, the three-dimensional coordinate measuring apparatuses 1 and 2 according to the present embodiment acquire an image for photogrammetry and an image for SfM by one shooting. One of the three channels of the three primary colors of light constituting an image acquired by one shooting is set as a detection channel of the reflective marker 10.

そして、その反射マーカ10の検出用チャネルの光を増加(照射又は発光)させた環境を作り、その環境下において対象物60を、該検出用チャネルの光をフィルタリングするフィルター30越しに撮影する。したがって、反射マーカ10の輝度とその他の対象物60の表面の輝度とのコントラストを高くすることができ、三次元座標計測を高精度化することができる。   Then, an environment in which the light of the detection channel of the reflection marker 10 is increased (irradiated or emitted) is created, and the object 60 is photographed through the filter 30 that filters the light of the detection channel in the environment. Therefore, the contrast between the brightness of the reflective marker 10 and the brightness of the surface of the other object 60 can be increased, and the three-dimensional coordinate measurement can be made highly accurate.

以上、各実施形態を用いて本開示を詳細に説明したが、本開示は本明細書中に説明した実施形態に限定されるものではない。例えば、フィルター30は1個の例を示したが、各カメラ40のレンズ部分に、それぞれフィルターを配置するようにしてもよい。   As mentioned above, although this indication was explained in detail using each embodiment, this indication is not limited to the embodiment explained in this specification. For example, although one example of the filter 30 is shown, a filter may be arranged in the lens portion of each camera 40.

また、青色の波長の単色光を照射する光源20の例で説明を行ったが本開示はこの例に限定されない。光源20は、赤色又は緑色の単色光を照射する光源であってもよい。その場合は、それぞれの単色光をフィルタリングするフィルター30を用いればよい。   Moreover, although the example of the light source 20 which irradiates the monochromatic light of a blue wavelength was demonstrated, this indication is not limited to this example. The light source 20 may be a light source that emits red or green monochromatic light. In that case, a filter 30 for filtering each monochromatic light may be used.

また、三次元座標抽出部50はコンピュータで実現する例で説明したが、専用のハードウェアで実現してもよい。このように、本開示は上記の実施形態に限定されない。本開示の範囲は、特許請求の範囲の記載及び特許請求の範囲の記載と均等の範囲により決定されるものである。   Further, although the three-dimensional coordinate extraction unit 50 has been described as an example realized by a computer, it may be realized by dedicated hardware. Thus, the present disclosure is not limited to the above embodiment. The scope of the present disclosure is determined by the description of the claims and the scope equivalent to the description of the claims.

1,2…三次元座標計測装置、10(10〜10)…反射マーカ、20…光源、30…フィルター、40(40〜40)…カメラ、50,51…三次元座標抽出部、60…対象物、70(70〜70)…発光マーカ、α…自然光、β…単色光、γ…反射光。 DESCRIPTION OF SYMBOLS 1 , 2 ... Three-dimensional coordinate measuring device, 10 (10 < 1 > -10 < 7 >) ... Reflection marker, 20 ... Light source, 30 ... Filter, 40 (40 < 1 > -40 < 3 >) ... Camera, 50, 51 ... Three-dimensional coordinate extraction part , 60 ... object, 70 (70 1 to 70 7 ) ... luminous marker, α ... natural light, β ... monochromatic light, γ ... reflected light.

Claims (5)

自然光の環境下に置かれた対象物の表面に配置され、前記自然光に含まれる一つの単色光を反射する6個以上の反射マーカと、
前記単色光を前記対象物に照射する光源と、
前記単色光の波長の透過率が前記自然光に含まれる他の単色光の透過率よりも低いフィルターと、
前記フィルター越しに前記対象物の3つ以上の画像をそれぞれ異なる位置から撮影するカメラと、
3つ以上の前記画像内の前記反射マーカの位置で写真測量を実行し、該写真測量の結果と前記反射マーカを除いた前記画像内の特徴点を用いてSfMを実行し、前記対象物の三次元座標を抽出する三次元座標抽出部と
を備えることを特徴とする三次元座標計測装置。
Six or more reflective markers that are arranged on the surface of an object placed in an environment of natural light and reflect one monochromatic light contained in the natural light,
A light source for irradiating the object with the monochromatic light;
A filter whose transmittance of the wavelength of the monochromatic light is lower than the transmittance of other monochromatic light included in the natural light;
A camera that captures three or more images of the object from different positions through the filter;
Perform photogrammetry at the position of the reflection marker in three or more of the images, perform SfM using the photogrammetry results and feature points in the image excluding the reflection marker, A three-dimensional coordinate measuring apparatus comprising: a three-dimensional coordinate extracting unit that extracts three-dimensional coordinates.
自然光の環境下に置かれた対象物の表面に配置され、前記自然光に含まれる一つの単色光を発光する6個以上の発光マーカと、
前記単色光の波長の透過率が低く、且つ他の単色光の波長の透過率が高いフィルターと、
前記フィルター越しに前記該対象物の3つ以上の画像をそれぞれ異なる位置から撮影するカメラと、
3つ以上の前記画像内の前記発光マーカの位置で写真測量を実行し、該写真測量の結果と前記発光マーカを除いた前記画像内の特徴点を用いてSfMを実行し、前記対象物の三次元座標を抽出する三次元座標抽出部と
を備えることを特徴とする三次元座標計測装置。
Six or more luminescent markers that are arranged on the surface of an object placed in a natural light environment and emit one monochromatic light contained in the natural light,
A filter having a low transmittance of the wavelength of the monochromatic light and a high transmittance of the wavelength of the other monochromatic light;
A camera for taking three or more images of the object through the filter from different positions;
Perform photogrammetry at the positions of the luminescent markers in three or more of the images, perform SfM using the photogrammetry results and feature points in the image excluding the luminescent markers, A three-dimensional coordinate measuring apparatus comprising: a three-dimensional coordinate extracting unit that extracts three-dimensional coordinates.
前記反射マーカは、
再帰反射特性を持ち、前記対象物と前記光源を結ぶ直線と、該対象物と前記カメラを結ぶ直線とが成す角度は、20度以下であることを特徴とする請求項1に記載の三次元座標計測装置。
The reflective marker is
2. The three-dimensional image according to claim 1, wherein an angle formed by a straight line having retroreflective properties and a line connecting the object and the light source and a line connecting the object and the camera is 20 degrees or less. 3. Coordinate measuring device.
前記発光マーカは、
均等拡散光源であることを特徴とする請求項2に記載の三次元座標計測装置。
The light emitting marker is
The three-dimensional coordinate measuring apparatus according to claim 2, wherein the three-dimensional coordinate measuring apparatus is a uniform diffusion light source.
三次元座標計測装置が実行する三次元座標計測方法であって、
自然光の環境下に置かれた対象物の表面に、前記自然光に含まれる一つの
単色光を反射する6個以上の反射マーカを配置し、
単色光を前記対象物に照射し、
前記対象物からの反射光を、前記単色光の波長の透過率が前記自然光に含まれる他の単色光の透過率よりも低いフィルターでフィルタリングし、
前記フィルター越しに前記対象物の3つ以上の画像をそれぞれ異なる位置から撮影し、
3つ以上の前記画像内の前記反射マーカの位置で写真測量を実行し、該写真測量の結果と前記反射マーカを除いた前記画像内の特徴点を用いてSfMを実行し、前記対象物の三次元座標を抽出する
ことを特徴とする三次元座標計測方法。
A three-dimensional coordinate measurement method executed by the three-dimensional coordinate measurement apparatus,
On the surface of an object placed in a natural light environment, six or more reflective markers that reflect one monochromatic light included in the natural light are arranged,
Irradiating the object with monochromatic light,
Filtering the reflected light from the object with a filter whose transmittance of the wavelength of the monochromatic light is lower than the transmittance of other monochromatic light included in the natural light,
Take three or more images of the object through the filter from different positions,
Perform photogrammetry at the position of the reflection marker in three or more of the images, perform SfM using the photogrammetry results and feature points in the image excluding the reflection marker, A three-dimensional coordinate measuring method characterized by extracting three-dimensional coordinates.
JP2018030405A 2018-02-23 2018-02-23 Three-dimensional coordinate measuring device and method Pending JP2019144183A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018030405A JP2019144183A (en) 2018-02-23 2018-02-23 Three-dimensional coordinate measuring device and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018030405A JP2019144183A (en) 2018-02-23 2018-02-23 Three-dimensional coordinate measuring device and method

Publications (1)

Publication Number Publication Date
JP2019144183A true JP2019144183A (en) 2019-08-29

Family

ID=67772316

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018030405A Pending JP2019144183A (en) 2018-02-23 2018-02-23 Three-dimensional coordinate measuring device and method

Country Status (1)

Country Link
JP (1) JP2019144183A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021156098A (en) * 2020-03-30 2021-10-07 株式会社奥村組 Anchor insertion hole finished shape management method in aseismatic reinforcement construction

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021156098A (en) * 2020-03-30 2021-10-07 株式会社奥村組 Anchor insertion hole finished shape management method in aseismatic reinforcement construction
JP7393276B2 (en) 2020-03-30 2023-12-06 株式会社奥村組 How to manage the finished shape of anchor insertion holes in seismic reinforcement work

Similar Documents

Publication Publication Date Title
US11869139B2 (en) System and method for three-dimensional scanning and for capturing a bidirectional reflectance distribution function
JP5648749B2 (en) Shape measuring apparatus and shape measuring method
CN106127745B (en) The combined calibrating method and device of structure light 3 D vision system and line-scan digital camera
WO2017041419A1 (en) Multi-line array laser three-dimensional scanning system, and multi-line array laser three-dimensional scanning method
JP3962588B2 (en) 3D image processing method, 3D image processing apparatus, 3D image processing system, and 3D image processing program
US20160134860A1 (en) Multiple template improved 3d modeling of imaged objects using camera position and pose to obtain accuracy
JP5365645B2 (en) Substrate inspection apparatus, substrate inspection system, and method of displaying screen for confirming substrate inspection result
CN107735645B (en) Three-dimensional shape measuring device
JP2011516849A (en) 3D imaging system
JP2010071782A (en) Three-dimensional measurement apparatus and method thereof
EP3069100B1 (en) 3d mapping device
CN105372259B (en) Measurement apparatus, base board checking device and its control method, storage media
WO2004044522A1 (en) Three-dimensional shape measuring method and its device
JP6519265B2 (en) Image processing method
JP2012215394A (en) Three-dimensional measuring apparatus and three-dimensional measuring method
JP2007171092A (en) Marker for three-dimensional measurement, and three-dimensional measurement method using the same
RU2604168C2 (en) System for machine vision, which enables to determine depth non-uniformity of image objects
EP3382645A2 (en) Method for generation of a 3d model based on structure from motion and photometric stereo of 2d sparse images
KR101624120B1 (en) System and method for illuminating pattern light of structured light for measuring 3d forming
JP2022177166A (en) Inspection method, program, and inspection system
JP6237032B2 (en) Color and three-dimensional shape measuring method and apparatus
CN107271445A (en) A kind of defect inspection method and device
JP2019144183A (en) Three-dimensional coordinate measuring device and method
JP7118776B2 (en) IMAGING DEVICE, IMAGE PROCESSING METHOD, IMAGE PROCESSING PROGRAM AND RECORDING MEDIUM
CN104034729A (en) Five-dimensional imaging system for circuit board separation and imaging method thereof