JP2018124224A - Three-dimensional shape measuring device and program - Google Patents
Three-dimensional shape measuring device and program Download PDFInfo
- Publication number
- JP2018124224A JP2018124224A JP2017018223A JP2017018223A JP2018124224A JP 2018124224 A JP2018124224 A JP 2018124224A JP 2017018223 A JP2017018223 A JP 2017018223A JP 2017018223 A JP2017018223 A JP 2017018223A JP 2018124224 A JP2018124224 A JP 2018124224A
- Authority
- JP
- Japan
- Prior art keywords
- dimensional shape
- transparent
- image
- marker
- transparent surface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
Description
本発明は、対象物の３次元形状を計測する技術に関する。 The present invention relates to a technique for measuring a three-dimensional shape of an object.
対象物の３次元形状を取得するツールは様々なものが提案されているが、近年ではカメラの解像度の向上と、コンピュータの計算性能が向上したことにより、三角測量技術を応用し、大量の画像から形状および表面のテクスチャを生成する手法が広く使われるようになってきた。この手法の特徴は、複数視点から撮影された多数の画像だけを入力して形状および表面のテクスチャを生成できることにあり、画像処理技術の向上により、レーザースキャナを用いた３次元形状測定装置よりも安定した計測ができるようになってきている。このような手法の一例が特許文献１に記載されている。 Various tools have been proposed to acquire the three-dimensional shape of an object, but in recent years, the improvement of camera resolution and the improvement of computer computing performance has led to the application of triangulation technology to produce a large amount of images. Techniques for generating shape and surface textures from have become widely used. The feature of this method is that only a large number of images taken from a plurality of viewpoints can be input to generate shapes and surface textures. Due to the improvement of image processing technology, it is better than a three-dimensional shape measurement device using a laser scanner. Stable measurement is now possible. An example of such a technique is described in Patent Document 1.
非接触で３次元形状を取得するセンサは光を使用するため、水槽のように光が屈折する物体に囲まれた対象物を計測することができない。即ち、水槽の中の対象物をカメラで撮影しても対象物の像は光の屈折によって歪みが生じるため、近年の画像ベースによる３次元形状のデジタル化技術も適用できない。 Since a sensor that acquires a three-dimensional shape in a non-contact manner uses light, it cannot measure an object surrounded by an object that refracts light, such as a water tank. That is, even if the object in the aquarium is photographed with a camera, the image of the object is distorted due to light refraction, so that the recent three-dimensional digitization technology based on the image base cannot be applied.
一方で、デジタルアーカイブのニーズの一つとして、劣化する対象物の、撮影時点での姿を記録することが求められる。劣化の原因としては、絵画に対する紫外線や、災害・事故による破損などの他、生体組織が腐ることもあげられる。現在は生体組織の保存としてホルマリンに代表される防腐液で封入されて保管されている。 On the other hand, as one of the needs for digital archiving, it is required to record the appearance of a deteriorated object at the time of shooting. Causes of deterioration include ultraviolet rays on paintings, damage caused by disasters and accidents, and the decay of living tissues. Currently, it is sealed and stored in an antiseptic solution typified by formalin for the preservation of living tissue.
このように、容器内に密閉された状態で保管されている対象物のデジタル化では、容器を開封して計測することができないため、容器内に密閉されたままで計測しなければならない。しかし、従来技術においては、槽の中の物体を測定するような場合、撮影された画像は水槽表面の光の屈折によって歪みが生じるため、三角測量の関係を満たさなくなり、その３次元形状を復元できないという問題があった。 As described above, in digitization of an object stored in a sealed state in a container, since the container cannot be opened and measured, the measurement must be performed while being sealed in the container. However, in the prior art, when measuring an object in a tank, the captured image is distorted due to the refraction of light on the surface of the tank, so that it does not satisfy the triangulation relationship, and its three-dimensional shape is restored. There was a problem that I could not.
本発明は、屈折により生じる画像の歪を除去し、対象物の３次元形状を計測することが可能な３次元形状計測装置を提供することを主な目的とする。 The main object of the present invention is to provide a three-dimensional shape measuring apparatus capable of removing the distortion of an image caused by refraction and measuring the three-dimensional shape of an object.
本発明の１つの観点では、マーカが付与されている透明体容器内に収容された対象物の３次元形状を計測する３次元形状計測装置は、複数の撮影位置において撮影された前記透明体容器の画像を取得する画像取得手段と、前記撮影画像に含まれる前記マーカの部分に基づいて、前記撮影位置を特定する撮影位置特定手段と、前記撮影位置及び前記マーカの部分に基づいて、前記透明体容器の透明面の位置を特定する透明面特定手段と、前記撮影位置と、前記透明面の位置とに基づいて、前記透明面により生じる歪を除去した対象物画像を生成する生成手段と、前記歪を除去した対象物画像に基づいて、前記対象物の３次元形状を計測する計測手段と、を備える。 In one aspect of the present invention, a three-dimensional shape measuring apparatus for measuring a three-dimensional shape of an object accommodated in a transparent container provided with a marker is the transparent container captured at a plurality of photographing positions. Image acquisition means for acquiring the image, imaging position specifying means for specifying the imaging position based on the marker portion included in the captured image, and the transparent based on the imaging position and the marker portion. A transparent surface specifying means for specifying the position of the transparent surface of the body container, a generating means for generating an object image from which distortion caused by the transparent surface is removed based on the photographing position and the position of the transparent surface; Measuring means for measuring a three-dimensional shape of the object based on the object image from which the distortion is removed.
上記の３次元形状計測装置は、まず、複数の撮影位置において撮影された透明体容器の画像を取得し、撮影画像に含まれるマーカの部分に基づいて、撮影位置を特定する。次に、撮影位置及びマーカの部分に基づいて、透明体容器の透明面の位置を特定し、撮影位置と、透明面の位置とに基づいて、透明面により生じる歪を除去した対象物画像を生成する。そして、歪を除去した対象物画像に基づいて、対象物の３次元形状を計測する。これにより、透明体容器内に液体などとともに収容された対象物の３次元形状を計測することができる。 The above three-dimensional shape measuring apparatus first acquires images of a transparent container photographed at a plurality of photographing positions, and specifies a photographing position based on a marker portion included in the photographed image. Next, the position of the transparent surface of the transparent body container is specified based on the shooting position and the marker portion, and the object image from which distortion caused by the transparent surface is removed based on the shooting position and the position of the transparent surface is obtained. Generate. Then, the three-dimensional shape of the object is measured based on the object image from which the distortion is removed. Thereby, the three-dimensional shape of the target object accommodated with the liquid etc. in the transparent body container can be measured.
上記の３次元形状計測装置の一態様では、前記透明面特定手段は、前記撮影位置に基づいて前記マーカの部分の形状を特定し、当該マーカの部分により規定される面を前記透明面と決定する。この態様では、透明面の形状を特定できるようにマーカを透明面に付与しておき、マーカの部分に基づいて透明面が決定される。 In one aspect of the above three-dimensional shape measuring apparatus, the transparent surface specifying unit specifies the shape of the marker portion based on the imaging position, and determines the surface defined by the marker portion as the transparent surface. To do. In this aspect, a marker is given to the transparent surface so that the shape of the transparent surface can be specified, and the transparent surface is determined based on the marker portion.
上記の３次元形状計測装置の他の一態様では、前記生成手段は、前記撮影位置と、前記透明面の位置と、前記透明面での屈折率とに基づいて、前記透明面での屈折による歪を除去した画像の撮影位置を再計算する手段と、前記撮影位置で撮影された画像を、前記再計算された撮影位置から見た画像に変換することにより前記歪を除去した対象物画像を生成する手段と、を備える。この態様では、透明面での屈折による歪を除去した画像の撮影位置を求めることにより、歪を除去した対象物画像を得る。 In another aspect of the above three-dimensional shape measurement apparatus, the generation unit is based on refraction at the transparent surface based on the photographing position, the position of the transparent surface, and the refractive index at the transparent surface. Means for recalculating the shooting position of the image from which distortion has been removed, and the object image from which the distortion has been removed by converting the image shot at the shooting position into an image viewed from the recalculated shooting position. Generating means. In this aspect, the object image from which the distortion is removed is obtained by obtaining the photographing position of the image from which the distortion due to refraction on the transparent surface is removed.
好適には、前記マーカは、前記透明面の外周に沿って設けられる。好適な例では、前記マーカは、前記透明体容器に貼付された不透明なテープである。 Preferably, the marker is provided along the outer periphery of the transparent surface. In a preferred example, the marker is an opaque tape affixed to the transparent container.
本発明の他の観点では、コンピュータを備え、マーカが付与されている透明体容器内に収容された対象物の３次元形状を計測する３次元形状計測装置により実行されるプログラムは、複数の撮影位置において撮影された前記透明体容器の画像を取得する画像取得手段、前記撮影画像に含まれる前記マーカの部分に基づいて、前記撮影位置を特定する撮影位置特定手段、前記撮影位置及び前記マーカの部分に基づいて、前記透明体容器の透明面の位置を特定する透明面特定手段、前記撮影位置と、前記透明面の位置とに基づいて、前記透明面により生じる歪を除去した対象物画像を生成する生成手段、前記歪を除去した対象物画像に基づいて、前記対象物の３次元形状を計測する計測手段、として前記コンピュータを機能させる。このプログラムをコンピュータで実行することにより、上記の３次元形状計測装置を実現することができる。 In another aspect of the present invention, a program executed by a three-dimensional shape measuring apparatus that measures a three-dimensional shape of an object that includes a computer and is accommodated in a transparent body container provided with a marker is a plurality of photographing. Image acquisition means for acquiring an image of the transparent container imaged at a position, imaging position specifying means for specifying the imaging position based on a portion of the marker included in the captured image, the imaging position, and the marker A transparent surface specifying means for specifying the position of the transparent surface of the transparent body based on the portion, and an object image from which distortion caused by the transparent surface is removed based on the photographing position and the position of the transparent surface. The computer is caused to function as generating means for generating and measuring means for measuring the three-dimensional shape of the object based on the object image from which the distortion is removed. By executing this program on a computer, the above three-dimensional shape measuring apparatus can be realized.
本発明のさらに他の観点では、マーカが付与されている透明体容器内に収容された対象物の３次元形状を計測する３次元形状計測装置は、複数の撮影位置において撮影された前記透明体容器の画像を取得する画像取得手段と、前記撮影画像に含まれる前記マーカの部分に基づいて、屈折による歪を除去した対象物画像を生成する生成手段と、前記歪を除去した対象物画像に基づいて、前記対象物の３次元形状を計測する計測手段と、を備える。 In still another aspect of the present invention, the three-dimensional shape measuring apparatus for measuring the three-dimensional shape of an object accommodated in a transparent container provided with a marker is the transparent body photographed at a plurality of photographing positions. An image acquisition unit that acquires an image of a container, a generation unit that generates a target image from which distortion due to refraction has been removed based on a portion of the marker included in the captured image, and a target image from which the distortion has been removed. And measuring means for measuring the three-dimensional shape of the object.
上記の３次元形状計測装置は、まず、複数の撮影位置において撮影された透明体容器の画像を取得し、撮影画像に含まれるマーカの部分に基づいて、屈折による歪を除去した対象物画像を生成する。そして、歪を除去した対象物画像に基づいて、対象物の３次元形状を計測する。これにより、透明体容器内に液体などとともに収容された対象物の３次元形状を計測することができる。 The above three-dimensional shape measuring apparatus first obtains images of transparent containers photographed at a plurality of photographing positions, and obtains an object image from which distortion due to refraction has been removed based on a marker portion included in the photographed image. Generate. Then, the three-dimensional shape of the object is measured based on the object image from which the distortion is removed. Thereby, the three-dimensional shape of the target object accommodated with the liquid etc. in the transparent body container can be measured.
以下、図面を参照しながら、本発明の実施の形態について説明する。
［構成］
図１は、実施例に係る３次元形状計測装置の構成を示す。３次元形状計測装置（以下、単に「計測装置」と呼ぶ。）２０は、透明体容器１０内に収容された対象物１２の３次元形状を計測し、テクスチャを取得する装置である。なお、計測装置２０は、例えば予め用意されたプログラムを実行するコンピュータ装置などにより構成することができる。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[Constitution]
FIG. 1 shows a configuration of a three-dimensional shape measuring apparatus according to an embodiment. The three-dimensional shape measuring device (hereinafter simply referred to as “measuring device”) 20 is a device that measures the three-dimensional shape of the object 12 accommodated in the transparent container 10 and acquires a texture. Note that the measuring device 20 can be configured by, for example, a computer device that executes a program prepared in advance.
計測装置２０は、異なる位置に設置された２つのカメラ３０ａ、３０ｂに接続されている。カメラ３０ａ、３０ｂは、それぞれ透明体容器１０の画像を撮影し、撮影画像Ｉａ、Ｉｂを計測装置２０へ供給する。計測装置２０は、カメラ３０ａ、３０ｂから取得した撮影画像Ｉａ、Ｉｂに対して画像処理を行い、透明体容器１０内の対象物１２の３次元形状を計測する。なお、図１では、説明の便宜上２つのカメラ３０ａ、３０ｂを図示しているが、実際には、１つ又は複数のカメラ３０により異なる撮影位置で撮影した複数の撮影画像を計測装置２０に供給すればよい。例えば、１つのカメラを固定配置し、透明体容器１０をターンテーブル上に配置してターンテーブルを回転させることにより、複数の撮影画像を撮影するようなシステム構成としてもよい。 The measuring device 20 is connected to two cameras 30a and 30b installed at different positions. The cameras 30 a and 30 b each capture an image of the transparent container 10 and supply the captured images Ia and Ib to the measuring device 20. The measuring device 20 performs image processing on the captured images Ia and Ib acquired from the cameras 30a and 30b, and measures the three-dimensional shape of the object 12 in the transparent body container 10. In FIG. 1, two cameras 30 a and 30 b are illustrated for convenience of explanation, but actually, a plurality of photographed images photographed at different photographing positions by one or a plurality of cameras 30 are supplied to the measuring device 20. do it. For example, a system configuration may be adopted in which one camera is fixedly arranged, the transparent container 10 is arranged on the turntable, and the turntable is rotated to take a plurality of photographed images.
上記の構成において、カメラ３０ａ、３０ｂは本発明における画像取得手段の一例であり、計測装置２０は本発明における撮影位置特定手段、透明面特定手段、生成手段及び計測手段の一例である。 In the above configuration, the cameras 30a and 30b are examples of image acquisition means in the present invention, and the measuring device 20 is an example of imaging position specifying means, transparent surface specifying means, generating means, and measuring means in the present invention.
図２は、透明体容器１０の構成を示す。透明体容器１０は、例えば１０ｃｍ角の立法体のガラスキューブであり、その中に水と対象物１２を充填したものである。なお、透明体容器１０は、ガラスの代わりに透明なアクリルなどで構成してもよい。本実施例では、対象物１２は、球形のボールとしている。対象物１２は透明体容器１０のほぼ中央に位置しているが、図２においては、透明体容器１０を構成するガラス面１４での屈折により、対象物１２は中央より少し下よりに位置しているように見えている。 FIG. 2 shows the configuration of the transparent body container 10. The transparent container 10 is, for example, a 10 cm square legitimate glass cube, which is filled with water and the object 12. In addition, you may comprise the transparent body container 10 with transparent acryl etc. instead of glass. In this embodiment, the object 12 is a spherical ball. Although the object 12 is located at the approximate center of the transparent body container 10, in FIG. 2, the object 12 is located slightly below the center due to refraction at the glass surface 14 constituting the transparent body container 10. It seems to be.
透明体容器１０の全ての辺には、例えば幅１ｃｍの不透明なマスキングテープ１３が貼り付けられている。マスキングテープ１３は、透明体容器１０のガラス面１４を特定するために設けられており、本発明におけるマーカの一例である。 For example, an opaque masking tape 13 having a width of 1 cm is attached to all sides of the transparent container 10. The masking tape 13 is provided to identify the glass surface 14 of the transparent body container 10, and is an example of a marker in the present invention.
［３次元形状計測方法］
次に、対象物１２の３次元形状の計測方法について説明する。図３は、３次元形状計測処理のフローチャートである。この処理は、計測装置２０により実行される。
[Three-dimensional shape measurement method]
Next, a method for measuring the three-dimensional shape of the object 12 will be described. FIG. 3 is a flowchart of the three-dimensional shape measurement process. This process is executed by the measuring device 20.
まず、計測装置２０は、複数のカメラ位置からの撮影画像を取得する（ステップＳ１０）。具体的には、計測装置２０は、２つのカメラ３０ａ、３０ｂから撮影画像Ｉａ、Ｉｂを取得する。 First, the measuring device 20 acquires captured images from a plurality of camera positions (step S10). Specifically, the measuring device 20 acquires the captured images Ia and Ib from the two cameras 30a and 30b.
次に、計測装置２０は、撮影画像中のマスキングテープ１３が貼付された部分（以下、「マスキングテープ部分」と呼ぶ。）の画素から、カメラ位置を計算する（ステップＳ１１）。図４（Ａ）は、２つのカメラ３０ａ、３０ｂで撮影された画像Ｉａ、Ｉｂの例を示す。透明体容器１０とカメラ３０ａ、３０ｂとの相対的な位置関係により、画像Ｉａ、Ｉｂでは対象物１２の位置が左右に少しずつずれている。計測装置２０は、まず、画像Ｉａ、Ｉｂからマスキングテープ部分の画素のみを取り出す。図４（Ｂ）は、マスキングテープ部分の画素のみを取り出した画像の例を示す。画像Ｉａからマスキングテープ部分の画素のみを取り出すと画像Ｉａ１が得られ、画像Ｉｂからマスキングテープ部分の画素のみを取り出すと画像Ｉｂ１が得られる。そして、計測装置２０は、複数の画像から３次元を復元する公知の技術を用いて、画像Ｉａ１及びＩｂ１から、これらの２枚の画像を撮影したカメラ３０ａ、３０ｂの位置と、マスキングテープ部分の形状とを計算により求める。図５（Ａ）は、得られたカメラ３０ａ、３０ｂの位置と、マスキングテープ部分の形状を空間上に模式的に示す。なお、この処理には、例えば市販ソフトウェア「ＰｈｏｔｏＳｃａｎ」などを用いることができる。 Next, the measuring device 20 calculates the camera position from the pixel of the portion where the masking tape 13 is affixed in the captured image (hereinafter referred to as “masking tape portion”) (step S11). FIG. 4A shows an example of images Ia and Ib taken by two cameras 30a and 30b. Due to the relative positional relationship between the transparent container 10 and the cameras 30a and 30b, the position of the object 12 is slightly shifted left and right in the images Ia and Ib. First, the measuring device 20 extracts only the pixels of the masking tape portion from the images Ia and Ib. FIG. 4B shows an example of an image obtained by extracting only the pixels of the masking tape portion. If only the pixels of the masking tape portion are extracted from the image Ia, the image Ia1 is obtained, and if only the pixels of the masking tape portion are extracted from the image Ib, the image Ib1 is obtained. Then, the measuring device 20 uses a known technique for restoring three dimensions from a plurality of images. From the images Ia1 and Ib1, the positions of the cameras 30a and 30b that took these two images and the masking tape portion Calculate the shape. FIG. 5A schematically shows the positions of the obtained cameras 30a and 30b and the shape of the masking tape portion in space. For this process, for example, commercially available software “PhotoScan” can be used.
次に、計測装置２０は、２つのカメラ位置とマスキングテープ部分の形状とを利用し、マスキングテープ部分の形状が同一平面であると仮定して平面フィッティングを行い、マスキングテープ部分により規定されるガラス面１４の位置を算出する（ステップＳ１２）。具体的には、計測装置２０は、マスキングテープ部分の形状を構成する点群に対して最小二乗近似平面を計算し、ガラス面１４の位置を求める。図５（Ｂ）は、得られたガラス面１４の位置を模式的に示す。 Next, the measuring device 20 uses the two camera positions and the shape of the masking tape portion to perform plane fitting on the assumption that the shape of the masking tape portion is the same plane, and the glass defined by the masking tape portion. The position of the surface 14 is calculated (step S12). Specifically, the measuring device 20 calculates a least square approximation plane with respect to the point group constituting the shape of the masking tape portion, and obtains the position of the glass surface 14. FIG. 5B schematically shows the position of the obtained glass surface 14.
こうして、ガラス面１４の位置が求められると、２つのカメラ位置とガラス面１４の位置とが定まるため、ガラス面１４に対するカメラ３０ａ、３０ｂの位置及び姿勢が決まる。よって、計測装置２０は、カメラ３０ａ、３０ｂから得られた画像Ｉａ、Ｉｂのそれぞれについて、マスキングテープ部分以外の領域における画像の歪を除去した対象物１２の画素から、カメラ位置を再計算する（ステップＳ１３）。以下、１つのカメラ位置に関する処理を説明する。 Thus, when the position of the glass surface 14 is obtained, the two camera positions and the position of the glass surface 14 are determined, so that the positions and postures of the cameras 30a and 30b with respect to the glass surface 14 are determined. Therefore, the measuring device 20 recalculates the camera position for each of the images Ia and Ib obtained from the cameras 30a and 30b from the pixels of the object 12 from which the distortion of the image in the region other than the masking tape portion is removed ( Step S13). Hereinafter, the process regarding one camera position is demonstrated.
図６は、カメラ位置Ｐｏ及びガラス面１４を上方から見た平面図である。カメラ位置Ｐｏからガラス面１４を撮影すると、撮影した画像は、撮像平面Ｓｏ上の複数の画素の集合として得られる。カメラ位置Ｐｏから出射して撮像平面Ｓｏ上の各画素の位置を通過したレイ（光線）Ｒｏはガラス面１４に至り、ガラス面１４の内側（透明体容器１０の内部）が水であるためにガラス面１４で屈折する。即ち、レイＲｏは、入射角αでガラス面１４に入射してガラス面１４で屈折し、出射角βで出射するレイＲｏ’となってガラス面１４の内側を進んで対象物１２に至る。ここで、ガラス面１４の内側におけるレイＲｏ’をその進行方向と反対方向に延長して線分Ｒｘを作ると、撮像平面Ｓｏ上の各画素の位置を通過した複数のレイＲｏに対応する複数の線分Ｒｘは、結像位置Ｐｘに集まる。この結像位置Ｐｘは、ガラス面１４で屈折が生じない場合に撮影画像と同一の画像が得られるカメラ位置に相当する。言い換えると、結像位置Ｐｘは、ガラス面１４での屈折による歪を除去した後の対象物１２の画像（以下、「対象物画像」と呼ぶ。）から再計算されたカメラ位置となる。 FIG. 6 is a plan view of the camera position Po and the glass surface 14 as viewed from above. When the glass surface 14 is photographed from the camera position Po, the photographed image is obtained as a set of a plurality of pixels on the imaging plane So. The ray (light ray) Ro that has exited from the camera position Po and passed through the position of each pixel on the imaging plane So reaches the glass surface 14, and the inside of the glass surface 14 (inside the transparent container 10) is water. Refraction occurs at the glass surface 14. That is, the ray Ro enters the glass surface 14 at the incident angle α, is refracted at the glass surface 14, becomes a ray Ro ′ that exits at the emission angle β, and travels inside the glass surface 14 to reach the object 12. Here, when a line segment Rx is formed by extending the ray Ro ′ on the inner side of the glass surface 14 in the direction opposite to its traveling direction, a plurality of rays corresponding to a plurality of rays Ro that have passed through the positions of the respective pixels on the imaging plane So. The line segment Rx gathers at the imaging position Px. The imaging position Px corresponds to a camera position where the same image as the captured image can be obtained when no refraction occurs on the glass surface 14. In other words, the imaging position Px is a camera position recalculated from an image of the object 12 after removing distortion due to refraction on the glass surface 14 (hereinafter referred to as “object image”).
具体的に、カメラ位置Ｐｏと、ガラス面１４の位置及び姿勢とはステップＳ１２で既知となっているので、計測装置２０は、撮像平面Ｓｏ上の各画素の位置を通るレイＲｘの方向を求め、レイＲｘとガラス面１４との交差点及び交差角（＝入射角α）を求める。ガラス面１４の内側の媒質が水であることからガラス面１４での屈折率は既知であるので、計測装置２０は、ガラス面１４での屈折率を用いて、入射角αから出射角βを求め、線分Ｒｘの方向を求める。計測装置２０は、この処理を撮影平面Ｓｏ上の全ての画素について行い、得られた複数の線分Ｒｘの交点を結像位置Ｐｘとして求める。こうして、計測装置２０は、再計算されたカメラ位置（結像位置）Ｐｘを得る。 Specifically, since the camera position Po and the position and orientation of the glass surface 14 are known in step S12, the measuring device 20 obtains the direction of the ray Rx that passes through the position of each pixel on the imaging plane So. Then, the intersection and the intersection angle (= incident angle α) between the ray Rx and the glass surface 14 are obtained. Since the refractive index at the glass surface 14 is known because the medium inside the glass surface 14 is water, the measuring device 20 uses the refractive index at the glass surface 14 to change the emission angle β from the incident angle α. Obtain the direction of the line segment Rx. The measuring apparatus 20 performs this process for all the pixels on the imaging plane So, and obtains the intersection of the obtained line segments Rx as the imaging position Px. In this way, the measuring device 20 obtains the recalculated camera position (imaging position) Px.
こうして再計算されたカメラ位置Ｐｘが得られると、計測装置２０は、ガラス面１４での屈折による歪を除去した対象物画像を生成する（ステップＳ１４）。具体的には、計測装置２０は、カメラ位置Ｐｏと再計算されたカメラ位置Ｐｘとの位置関係、及び、カメラ位置Ｐｏと撮像平面Ｓｏ上の各画素との位置関係に基づいて、撮像平面Ｓｏ上の各画素を、再計算されたカメラ位置Ｐｘに対応する撮像平面Ｓｘ上に移動して、撮像平面Ｓｘ上に対象物画像を生成する。なお、この際、計測装置２０は、撮影画像のうちマスキングテープ部分を除いた画像について対象物画像を生成する。 When the recalculated camera position Px is obtained in this way, the measuring device 20 generates an object image from which distortion due to refraction on the glass surface 14 is removed (step S14). Specifically, the measuring device 20 determines the imaging plane So based on the positional relationship between the camera position Po and the recalculated camera position Px and the positional relationship between the camera position Po and each pixel on the imaging plane So. Each upper pixel is moved onto the imaging plane Sx corresponding to the recalculated camera position Px to generate an object image on the imaging plane Sx. At this time, the measuring device 20 generates an object image for an image obtained by removing the masking tape portion from the captured image.
以上の処理が複数のカメラ位置について行われ、ガラス面１４での屈折による歪を除去した複数の対象物画像が得られると、計測装置２０は、得られた複数の対象物画像から、対象物１２の３次元形状とテクスチャを生成する（ステップＳ１５）。この処理は、前述のステップＳ１１で用いた複数の画像から３次元を復元する公知の技術を用いて行うことができる。 When the above processing is performed for a plurality of camera positions and a plurality of object images from which distortion due to refraction on the glass surface 14 is removed are obtained, the measuring device 20 can obtain the object from the plurality of object images obtained. Twelve three-dimensional shapes and textures are generated (step S15). This process can be performed using a known technique for restoring three dimensions from a plurality of images used in step S11 described above.
以上のように、本実施例の３次元形状計測処理では、透明体容器１０のガラス面１４での屈折による歪を除去した対象物画像を生成し、対象物１２の３次元形状及びテクスチャを得ることができる。これにより、ガラスケースやアクリルケースなどの透明なケース内に液体とともに封入された対象物をケース外部に取り出すことなく、その３次元形状及びテクスチャを取得することができる。例えば博物館などに収蔵されているホルマリン漬けサンプルや、水族館の水槽の中の魚介類などの対象物の３次元形状及びテクスチャを取得することが可能となる。 As described above, in the three-dimensional shape measurement process of the present embodiment, a target image from which distortion due to refraction on the glass surface 14 of the transparent container 10 is removed is generated, and the three-dimensional shape and texture of the target object 12 are obtained. be able to. Thereby, the three-dimensional shape and texture can be acquired without taking out the target object enclosed with the liquid in a transparent case such as a glass case or an acrylic case. For example, it is possible to acquire a three-dimensional shape and texture of a target object such as a formalin-immersed sample stored in a museum or a seafood in an aquarium tank.
［変形例］
上記の実施例では、ガラス面１４を特定するマーカとして、マスキングテープ１３をガラス面１４の全ての辺（１つのガラス面についてその４辺）に貼付しているが、マーカの付与方法はこれには限られない。例えば、ガラス面が平面であれば、１つのガラス面を特定するために、対象物１２と重ならない位置において最小で３か所にマーカを付与すれば、それらのマーカに基づいて１つのガラス面を特定することが可能である。
[Modification]
In the above embodiment, the masking tape 13 is affixed to all the sides of the glass surface 14 (four sides of one glass surface) as a marker for identifying the glass surface 14. Is not limited. For example, if the glass surface is a flat surface, in order to specify one glass surface, if a minimum of three markers are provided at positions that do not overlap with the object 12, one glass surface is based on those markers. Can be specified.
１０ 透明体容器
１２ 対象物
１３ マスキングテープ
１４ ガラス面
２０ ３次元形状計測装置
３０ａ、３０ｂ カメラ
DESCRIPTION OF SYMBOLS 10 Transparent container 12 Target object 13 Masking tape 14 Glass surface 20 3D shape measuring device 30a, 30b Camera
Claims (7)
複数の撮影位置において撮影された前記透明体容器の画像を取得する画像取得手段と、
前記撮影画像に含まれる前記マーカの部分に基づいて、前記撮影位置を特定する撮影位置特定手段と、
前記撮影位置及び前記マーカの部分に基づいて、前記透明体容器の透明面の位置を特定する透明面特定手段と、
前記撮影位置と、前記透明面の位置とに基づいて、前記透明面により生じる歪を除去した対象物画像を生成する生成手段と、
前記歪を除去した対象物画像に基づいて、前記対象物の３次元形状を計測する計測手段と、
を備えることを特徴とする３次元形状計測装置。 A three-dimensional shape measuring apparatus for measuring a three-dimensional shape of an object accommodated in a transparent body container provided with a marker,
Image acquisition means for acquiring images of the transparent container imaged at a plurality of imaging positions;
A shooting position specifying means for specifying the shooting position based on the marker portion included in the shot image;
A transparent surface specifying means for specifying the position of the transparent surface of the transparent container based on the photographing position and the marker portion;
Generating means for generating an object image from which distortion caused by the transparent surface is removed based on the photographing position and the position of the transparent surface;
Measuring means for measuring a three-dimensional shape of the object based on the object image from which the distortion is removed;
A three-dimensional shape measuring apparatus comprising:
前記撮影位置と、前記透明面の位置と、前記透明面での屈折率とに基づいて、前記透明面での屈折による歪を除去した画像の撮影位置を再計算する手段と、
前記撮影位置で撮影された画像を、前記再計算された撮影位置から見た画像に変換することにより前記歪を除去した対象物画像を生成する手段と、
を備えることを特徴とする請求項１又は２に記載の３次元形状計測装置。 The generating means includes
Means for recalculating the shooting position of the image from which distortion due to refraction on the transparent surface is removed based on the shooting position, the position of the transparent surface, and the refractive index of the transparent surface;
Means for generating an object image from which the distortion is removed by converting an image photographed at the photographing position into an image viewed from the recalculated photographing position;
The three-dimensional shape measuring apparatus according to claim 1, comprising:
複数の撮影位置において撮影された前記透明体容器の画像を取得する画像取得手段、
前記撮影画像に含まれる前記マーカの部分に基づいて、前記撮影位置を特定する撮影位置特定手段、
前記撮影位置及び前記マーカの部分に基づいて、前記透明体容器の透明面の位置を特定する透明面特定手段、
前記撮影位置と、前記透明面の位置とに基づいて、前記透明面により生じる歪を除去した対象物画像を生成する生成手段、
前記歪を除去した対象物画像に基づいて、前記対象物の３次元形状を計測する計測手段、
として前記コンピュータを機能させることを特徴とするプログラム。 A program comprising a computer and executed by a three-dimensional shape measuring apparatus for measuring a three-dimensional shape of an object accommodated in a transparent body container provided with a marker,
Image acquisition means for acquiring images of the transparent container imaged at a plurality of imaging positions;
A shooting position specifying means for specifying the shooting position based on a portion of the marker included in the shot image;
A transparent surface specifying means for specifying the position of the transparent surface of the transparent container based on the photographing position and the marker portion;
Generating means for generating an object image from which distortion caused by the transparent surface is removed based on the photographing position and the position of the transparent surface;
Measuring means for measuring a three-dimensional shape of the object based on the object image from which the distortion is removed;
A program for causing the computer to function as:
複数の撮影位置において撮影された前記透明体容器の画像を取得する画像取得手段と、
前記撮影画像に含まれる前記マーカの部分に基づいて、屈折による歪を除去した対象物画像を生成する生成手段と、
前記歪を除去した対象物画像に基づいて、前記対象物の３次元形状を計測する計測手段と、
を備えることを特徴とする３次元形状計測装置。 A three-dimensional shape measuring apparatus for measuring a three-dimensional shape of an object accommodated in a transparent body container provided with a marker,
Image acquisition means for acquiring images of the transparent container imaged at a plurality of imaging positions;
Generating means for generating an object image from which distortion due to refraction is removed based on a portion of the marker included in the captured image;
Measuring means for measuring a three-dimensional shape of the object based on the object image from which the distortion is removed;
A three-dimensional shape measuring apparatus comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017018223A JP6907566B2 (en) | 2017-02-03 | 2017-02-03 | 3D shape measuring device and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017018223A JP6907566B2 (en) | 2017-02-03 | 2017-02-03 | 3D shape measuring device and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018124224A true JP2018124224A (en) | 2018-08-09 |
| JP6907566B2 JP6907566B2 (en) | 2021-07-21 |
Family
ID=63108892
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017018223A Active JP6907566B2 (en) | 2017-02-03 | 2017-02-03 | 3D shape measuring device and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6907566B2 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006194705A (en) * | 2005-01-13 | 2006-07-27 | National Institute For Environmental Studies | Surface profile measurement method under liquid and its system |
| JP2014025748A (en) * | 2012-07-25 | 2014-02-06 | Kanazawa Univ | Dimension measuring program, dimension measuring instrument, and dimension measuring method |
| JP2014514543A (en) * | 2011-03-31 | 2014-06-19 | エーティーエス オートメーション ツーリング システムズ インコーポレイテッド | Three-dimensional light detection through optical media |
| JP2015230209A (en) * | 2014-06-04 | 2015-12-21 | 三菱重工業株式会社 | Image processor, appearance measuring system, image processing method and system |
-
2017
- 2017-02-03 JP JP2017018223A patent/JP6907566B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006194705A (en) * | 2005-01-13 | 2006-07-27 | National Institute For Environmental Studies | Surface profile measurement method under liquid and its system |
| JP2014514543A (en) * | 2011-03-31 | 2014-06-19 | エーティーエス オートメーション ツーリング システムズ インコーポレイテッド | Three-dimensional light detection through optical media |
| JP2014025748A (en) * | 2012-07-25 | 2014-02-06 | Kanazawa Univ | Dimension measuring program, dimension measuring instrument, and dimension measuring method |
| JP2015230209A (en) * | 2014-06-04 | 2015-12-21 | 三菱重工業株式会社 | Image processor, appearance measuring system, image processing method and system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6907566B2 (en) | 2021-07-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106056620B (en) | Line laser camera measurement system calibrating method | |
| KR100966592B1 (en) | Method for calibrating a camera with homography of imaged parallelogram | |
| US20150146032A1 (en) | Light field processing method | |
| CN110288642A (en) | Three-dimension object fast reconstructing method based on camera array | |
| EP3382645B1 (en) | Method for generation of a 3d model based on structure from motion and photometric stereo of 2d sparse images | |
| KR20170005009A (en) | Generation and use of a 3d radon image | |
| JP2012058076A (en) | Three-dimensional measurement device and three-dimensional measurement method | |
| WO2004044522A1 (en) | Three-dimensional shape measuring method and its device | |
| EP3072289A1 (en) | A light field processing method | |
| CN113205593A (en) | High-light-reflection surface structure light field three-dimensional reconstruction method based on point cloud self-adaptive restoration | |
| CN104596444B (en) | Three-dimensional photographic system and three-dimensional photographic method based on coding pattern projection | |
| CN109325981A (en) | Based on the microlens array type optical field camera geometrical parameter calibration method for focusing picture point | |
| JP2020008502A (en) | Depth acquisition device by polarization stereo camera, and method of the same | |
| CN109712232A (en) | A kind of profiling object surface three-D imaging method based on light field | |
| CN108537849A (en) | The scaling method of the line-scan digital camera of three-dimensional right angle target based on donut | |
| Wilm et al. | Accurate and simple calibration of DLP projector systems | |
| CN104634323B (en) | A kind of multistage shooting tri-dimensional photographing system and method | |
| RU2018113710A (en) | DEVICE AND METHOD FOR CALIBRATING AN OPTICAL DATA RECEIVING SYSTEM | |
| Wang et al. | Dual structured light 3d using a 1d sensor | |
| CN105241450B (en) | Sky polarization mode detection method and system based on four-quadrant polarizing film | |
| KR20180054737A (en) | Apparatus and method for generating data representing a pixel beam | |
| WO2022126430A1 (en) | Auxiliary focusing method, apparatus and system | |
| Liang et al. | A polarized structured light method for the 3d measurement of high-reflective surfaces | |
| CN107527323B (en) | Calibration method and device for lens distortion | |
| CN105203102B (en) | Sky polarization mode detection method and system based on s- wave plates |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191225 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201015 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201104 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20201228 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210302 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210601 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210614 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6907566 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |