JP2015206742A - three-dimensional shape measurement system - Google Patents
three-dimensional shape measurement system Download PDFInfo
- Publication number
- JP2015206742A JP2015206742A JP2014088837A JP2014088837A JP2015206742A JP 2015206742 A JP2015206742 A JP 2015206742A JP 2014088837 A JP2014088837 A JP 2014088837A JP 2014088837 A JP2014088837 A JP 2014088837A JP 2015206742 A JP2015206742 A JP 2015206742A
- Authority
- JP
- Japan
- Prior art keywords
- dimensional shape
- image
- case
- screen
- measurement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005259 measurement Methods 0.000 title claims abstract description 78
- 238000005286 illumination Methods 0.000 claims abstract description 27
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 8
- 230000033001 locomotion Effects 0.000 abstract description 6
- 238000000034 method Methods 0.000 description 10
- 241000251468 Actinopterygii Species 0.000 description 7
- 230000006399 behavior Effects 0.000 description 4
- 239000013535 sea water Substances 0.000 description 3
- 230000000638 stimulation Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- NIXOWILDQLNWCW-UHFFFAOYSA-N acrylic acid group Chemical group C(C=C)(=O)O NIXOWILDQLNWCW-UHFFFAOYSA-N 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Abstract
Description
本発明は、三次元形状を計測する技術に関するものである。 The present invention relates to a technique for measuring a three-dimensional shape.
三次元形状を計測する技術としては、回転台上に被計測体を固定し、回転台を回転しながら被計測体を撮影し、所定回転角度毎の撮影画像中の被計測体の像のシルエットから被計測体の三次元形状を算出する技術が知られている（たとえば、特許文献１）。 As a technique for measuring the three-dimensional shape, the object to be measured is fixed on the rotating table, the object to be measured is photographed while rotating the rotating table, and the silhouette of the image of the object to be measured in the photographed image for each predetermined rotation angle. A technique for calculating the three-dimensional shape of an object to be measured is known (for example, Patent Document 1).
上述した回転台上に被計測体を固定し、回転台を回転しながら被計測体を撮影することにより被計測体の三次元形状を算出する技術によれば、撮影期間中、被計測体は静止している必要があるために、動きのある被計測体については三次元形状を正しく算出することができない。
また、回転台を回転しながら被計測体の全周を撮影する必要があるため、高速に被計測体の三次元形状を算出することができない。
そして、これらのことより、この三次元形状を算出する技術は、動物等の行動等の被計測体の動きを観察する用途には適していない。
そこで、本発明は、被計測体の動きを拘束することなく、高速に被計測体の三次元形状を算出することを課題とする。
According to the technology for calculating the three-dimensional shape of the measurement object by fixing the measurement object on the turntable and photographing the measurement object while rotating the turntable, the measurement object is Since it is necessary to be stationary, a three-dimensional shape cannot be correctly calculated for a measurement object that moves.
Further, since it is necessary to photograph the entire circumference of the measurement object while rotating the turntable, the three-dimensional shape of the measurement object cannot be calculated at high speed.
And from these things, the technique which calculates this three-dimensional shape is not suitable for the use which observes a motion of to-be-measured bodies, such as action, such as an animal.
Therefore, an object of the present invention is to calculate the three-dimensional shape of the measurement object at high speed without restricting the movement of the measurement object.
前記課題達成のために、本発明は、被計測体の三次元形状を計測する三次元形状計測システムに、直方体形状の測定空間の直交する三つの面のそれぞれと各々平行に設置された３つの透過型のスクリーンと、三つのスクリーンのそれぞれに各々対応する３つの照明ユニットと、三つのスクリーンのそれぞれに各々対応する３つの赤外カメラと、測定装置とを設けたものである。ただし、前記各照明ユニットは、前記測定空間の外部から、対応するスクリーンの面と垂直に当該スクリーンに向かって進む赤外平行光を前記測定空間内に出射し、前記各カメラは、対応するスクリーンを、対応するスクリーンから見て前記測定空間と反対側の位置から撮影し、前記測定装置は、前記３つのカメラが撮影した３つの画像中に表れる影の形状より、前記測定空間内の被計測体の三次元形状を算出する。
ここで、このような三次元形状計測システムは、当該三次元形状計測システムに前記被計測体を収容する、前記測定空間を内部空間とする直方体形状の透明なケースを設け、前記３つのスクリーンはそれぞれ、前記ケースの直交する三つの面それぞれに各々対応すると共に、各スクリーンは前記ケースの対応する面を覆うように設けられているものとしてもよい。
また、この場合において、前記被計測体は生物とするときには、当該三次元形状計測システムに、被計測体に刺激として与える映像を表示するディスプレイと、ハーフミラーとを設け、前記ディスプレイに表示された映像と、前記三つの照明ユニットのうちの一つの照明ユニットの赤外平行光は、前記ハーフミラーで混合されて、前記ケースの前記スクリーンで覆われていない一つの面を透過して、前記ケースの内部空間に導入されるように構成しても良い。
また、この場合、前記測定装置には、算出した三次元形状を表した画像を、当該三次元形状を算出した画像を前記３つのカメラが撮影した時点で、前記ディスプレイに表示していた映像と共に表示する表示手段を設けるようにしてもよい。
また、上記の三次元形状計測システムにおいて、ハーフミラーとディスプレイを用いない場合には、三つの照明ユニットは、前記ケースの前記スクリーンで覆われていない三つの面それぞれに各々対応すると共に、各照明ユニットは、前記ケースの対応する面を、当該対応する面に向かって当該面と垂直な方向に進む赤外平行光を出射する形態で覆うように配置されているものとしてもよい。
なお、以上のケースを備えた三次元形状計測システムにおいて、前記ケースは水槽であってよく、前記被計測体は水中で行動する生物であってよい。
以上のような三次元形状計測システムによれば、被計測体の三方向の影が三つのスクリーンに同時に生じる。そして、この三つのスクリーンに同時に生じた三つの影の形状より、被計測体の三次元形状を算出するので、被計測体の動きを拘束することなく、被計測体の三次元形状を算出することができる。また、三つのスクリーンに同時に生じる影は、被計測体の直交する三方向の形状と合同な形状となる。よって、特段の画像処理を行わなくとも、直交する三軸方向について、各影に投影される測定空間内の領域の重複部分を算出するだけの簡便な処理で、高速に被計測体の三次元形状を算出することができる。
In order to achieve the above object, the present invention provides a three-dimensional shape measurement system for measuring a three-dimensional shape of an object to be measured, which is installed in parallel with each of three orthogonal surfaces of a rectangular parallelepiped shape measurement space. A transmission type screen, three illumination units corresponding to each of the three screens, three infrared cameras corresponding to each of the three screens, and a measuring device are provided. However, each illumination unit emits, in the measurement space, infrared parallel light traveling from the outside of the measurement space toward the screen in a direction perpendicular to the corresponding screen surface, and each camera has a corresponding screen. Is measured from a position opposite to the measurement space when viewed from the corresponding screen, and the measurement apparatus measures the object to be measured in the measurement space from the shape of the shadows that appear in the three images captured by the three cameras. Calculate the three-dimensional shape of the body.
Here, such a three-dimensional shape measurement system is provided with a rectangular parallelepiped transparent case in which the measurement object is accommodated in the three-dimensional shape measurement system and the measurement space is an internal space, and the three screens are Each of the screens may correspond to each of three orthogonal surfaces of the case, and each screen may be provided so as to cover the corresponding surface of the case.
Further, in this case, when the object to be measured is an organism, the three-dimensional shape measurement system is provided with a display for displaying an image to be given to the object to be measured as a stimulus and a half mirror, and is displayed on the display. The image and the infrared parallel light of one of the three lighting units are mixed by the half mirror and transmitted through one surface of the case that is not covered by the screen. It may be configured to be introduced into the internal space.
Further, in this case, the measurement device includes an image representing the calculated three-dimensional shape, together with a video image displayed on the display at the time when the three cameras photographed the calculated three-dimensional shape image. You may make it provide the display means to display.
Further, in the above three-dimensional shape measurement system, when the half mirror and the display are not used, the three illumination units respectively correspond to the three surfaces not covered with the screen of the case, and each illumination The unit may be arranged so as to cover a corresponding surface of the case in a form of emitting infrared parallel light traveling in a direction perpendicular to the surface toward the corresponding surface.
In the three-dimensional shape measurement system including the above case, the case may be a water tank, and the measurement target may be a living organism that behaves in water.
According to the three-dimensional shape measurement system as described above, shadows in three directions of the measurement object are simultaneously generated on the three screens. Then, since the three-dimensional shape of the measurement object is calculated from the three shadow shapes generated simultaneously on the three screens, the three-dimensional shape of the measurement object is calculated without restricting the movement of the measurement object. be able to. Moreover, the shadow which arises simultaneously on three screens becomes a shape congruent with the shape of the three orthogonal directions of a to-be-measured body. Therefore, even without special image processing, it is a simple process that simply calculates the overlapping part of the area in the measurement space that is projected onto each shadow in the three orthogonal directions, and the three-dimensional of the object to be measured at high speed. The shape can be calculated.
以上のように、本発明によれば、被計測体の動きを拘束することなく、高速に被計測体の三次元形状を算出することができる。 As described above, according to the present invention, the three-dimensional shape of the measured object can be calculated at high speed without restricting the movement of the measured object.
以下、本発明の実施形態について説明する。
図に、本実施形態に係る計測システムの構成を示す。
図示するように、計測システムは、空間ユニット１、ＸＹカメラ２１、ＹＺカメラ２２、ＸＺカメラ２３、観察カメラ２４、ＸＹ照明ユニット３１、ＹＺ照明ユニット３２、ＸＺ照明ユニット３３、刺激ディスプレイ４、照明コントローラ５、刺激ソース６、測定装置７、モニタ８、入力装置９を備えている。
空間ユニット１は、図２ａ-ｃに示すように、アクリル板などの透明な部材で形成した直方体のケース１１と、ＸＹスクリーン１２１と、ＹＺスクリーン１２２と、ＸＺスクリーン１２３と、ハーフミラー１３とより構成される。
ここで、空間ユニット１に対しては、図２ａに示したケース１１の相互に垂直な３辺と平行な３方向をＸ方向、Ｙ方向、Ｚ方向の３軸方向とし、ケース１１の一つの角Ｏを原点とする三次元座標系が設定されている。
そして、図２ａに示した空間ユニット１をＺ軸を回転軸に１８０度回転して示した図２ｂ、図２ａに示した空間ユニット１をＹ軸を回転軸に１８０度回転して示した図２ｃに示すように、ＸＹスクリーン１２１はケース１１のＺ方向側外面を覆うように当該Ｚ方向側外面に付設され、ＹＺスクリーン１２２はケース１１の-Ｘ方向側外面を覆うように当該-Ｘ方向側外面に付設され、ＸＺスクリーン１２３はケース１１の-Ｙ方向側外面を覆うように当該-Ｙ方向側外面に付設されている。ここで、各スクリーンは、透過型のスクリーンであり、たとえば乳白色の半透明シートである。
そして、ケース１１のスクリーンが付設されていないケース１１のＸ方向側面とＹ方向側面と-Ｚ方向側面は透明となっている。
また、ハーフミラー１３は、平板状の形状を有し、ケース１１のＸ方向側に、Ｚ軸方向に見て、ケース１１のＸ方向側面に対して反時計回りに４５度傾けた状態で、Ｚ軸方向に起立させて設けている。また、ハーフミラー１３は、-Ｘ方向に見て、ケース１１のＸ方向側面を覆うサイズと配置を備えている。
次に、ＸＹカメラ２１、ＹＺカメラ２２、ＸＺカメラ２３は、赤外カメラである。
そして、図３ａに示すように、空間ユニット１に対して、ＸＹカメラ２１は、空間ユニット１のＸＹスクリーン１２１のＺ方向側に、ＸＹスクリーン１２１を-Ｚ方向に撮影するように設置され、ＹＺカメラ２２は、空間ユニット１のＹＺスクリーン１２２の-Ｘ方向側に、ＹＺスクリーン１２２をＸ方向に撮影するように設置され、ＸＺカメラ２３は、空間ユニット１のＸＺスクリーン１２３の-Ｙ方向側に、ＸＺスクリーン１２３をＹ方向に撮影するように設置される。
なお、図示を省略したが、観察カメラ２４は、空間ユニット１の全体や空間ユニット任意の箇所など、興味ある任意の場所を撮影するように設置して良い。
次に、ＸＹ照明ユニット３１、ＹＺ照明ユニット３２、ＸＺ照明ユニット３３は、図３ｂに示すように複数の赤外平行光照明装置３００をアレイ状に配置したユニットとして構成された、赤外平行光を照射する照明装置である。
そして、図３ａ、ｃに示すように、ＸＹ照明ユニット３１は、ケース１１の-Ｚ方向側に設置され，図３ｃに示すようにケース１１内をＺ方向に進む赤外平行光でＸＹスクリーン１２１を照明する。
また、図３ａ、ｄに示すように、ＹＺ照明ユニット３２は、ハーフミラー１３のＹ方向側に設置され、ＹＺ照明ユニット３２から-Ｙ方向に進む赤外平行光は、ハーフミラー１３で反射し、ケース１１内を-Ｘ方向に進む赤外平行光でＹＺスクリーン１２２を照明する。
また、図３ａ、ｄに示すように、ＸＺ照明ユニット３３は、ケース１１のＹ方向側に設置され、図３ｄに示すようにケース１１内を-Ｙ方向に進む赤外平行光でＸＺスクリーン１２３を照明する。
次に、図３ａ、ｃ、ｄに示すように、刺激ディスプレイ４は、ハーフミラー１３のＸ方向側に設置され、刺激ソース６から入力する映像を表示する。刺激ディスプレイ４に表示された映像の映像光は、ハーフミラー１３を透過して、ケース１１内に進む。
次に、測定装置７の内部構成について説明する。
図４に示すように、測定装置７は、ＸＹ背景画像記憶部７０１、ＹＺ背景画像記憶部７０２、ＸＺ背景画像記憶部７０３、ＸＹ差分画像生成部７０４、ＹＺ差分画像生成部７０５、ＸＺ差分画像生成部７０６、ＸＹ差分画像二値化部７０７、ＹＺ差分画像二値化部７０８、ＸＺ差分画像二値化部７０９、画像メモリ７１０、三次元形状データ生成部７１１、スキャン領域設定部７１２、三次元形状データメモリ７１３、三次元形状表示部７１４、表示制御部７１５、データ入出力部７１６、記憶装置７１７、入力装置９で受け付けたユーザ操作等に応じて以上各部の動作を制御する制御部７１８を備えている。
但し、このような測定装置７は、ＣＰＵやメモリなどを備えたコンピュータを用いて構成してもよく、この場合、記憶装置７１７を除く各部は、コンピュータが、所定のコンピュータプログラムを実行することにより実現されるものである。
Hereinafter, embodiments of the present invention will be described.
FIG. 1 shows the configuration of the measurement system according to this embodiment.
As shown in the figure, the measurement system includes a space unit 1, an XY camera 21, a YZ camera 22, an XZ camera 23, an observation camera 24, an XY illumination unit 31, a YZ illumination unit 32, an XZ illumination unit 33, a stimulus display 4, and an illumination controller. 5, a stimulation source 6, a measuring device 7, a monitor 8, and an input device 9 are provided.
As shown in FIGS. 2 a to c, the space unit 1 includes a rectangular parallelepiped case 11 formed of a transparent member such as an acrylic plate, an XY screen 121, a YZ screen 122, an XZ screen 123, and a half mirror 13. Composed.
Here, for the space unit 1, three directions parallel to three mutually perpendicular sides of the case 11 shown in FIG. 2A are defined as three axis directions of the X direction, the Y direction, and the Z direction, and A three-dimensional coordinate system with the angle O as the origin is set.
2b shows the space unit 1 shown in FIG. 2a rotated by 180 degrees about the Z axis as a rotation axis, and FIG. 2B shows the space unit 1 shown in FIG. 2a rotated by 180 degrees about the Y axis as a rotation axis. As shown in FIG. 2c, the XY screen 121 is attached to the Z direction outer surface so as to cover the Z direction outer surface of the case 11, and the YZ screen 122 covers the −X direction outer surface of the case 11. The XZ screen 123 is attached to the outer surface on the −Y direction side so as to cover the outer surface on the −Y direction side of the case 11. Here, each screen is a transmissive screen, for example, a milky white translucent sheet.
And the X direction side surface, the Y direction side surface, and the -Z direction side surface of the case 11 to which the screen of the case 11 is not attached are transparent.
The half mirror 13 has a flat plate shape, and is inclined 45 degrees counterclockwise with respect to the X-direction side surface of the case 11 when viewed in the Z-axis direction on the X-direction side of the case 11. It is provided to stand in the Z-axis direction. Further, the half mirror 13 has a size and an arrangement for covering the side surface of the case 11 in the X direction when viewed in the −X direction.
Next, the XY camera 21, the YZ camera 22, and the XZ camera 23 are infrared cameras.
Then, as shown in FIG. 3a, with respect to the space unit 1, the XY camera 21 is installed on the Z direction side of the XY screen 121 of the space unit 1 so as to photograph the XY screen 121 in the -Z direction. The camera 22 is installed on the −X direction side of the YZ screen 122 of the space unit 1 so as to photograph the YZ screen 122 in the X direction, and the XZ camera 23 is on the −Y direction side of the XZ screen 123 of the space unit 1. The XZ screen 123 is installed so as to photograph in the Y direction.
Although illustration is omitted, the observation camera 24 may be installed so as to photograph an arbitrary place of interest such as the entire space unit 1 or an arbitrary place of the space unit.
Next, the XY illumination unit 31, the YZ illumination unit 32, and the XZ illumination unit 33 are configured as a unit in which a plurality of infrared parallel light illumination devices 300 are arranged in an array as shown in FIG. 3b. It is the illuminating device which irradiates.
3A and 3C, the XY illumination unit 31 is installed on the -Z direction side of the case 11, and as shown in FIG. 3C, the XY screen 121 is irradiated with infrared parallel light traveling in the Z direction in the case 11. Illuminate.
3A and 3D, the YZ illumination unit 32 is installed on the Y direction side of the half mirror 13, and infrared parallel light traveling in the -Y direction from the YZ illumination unit 32 is reflected by the half mirror 13. The YZ screen 122 is illuminated with infrared parallel light traveling in the −X direction in the case 11.
3A and 3D, the XZ illumination unit 33 is installed on the Y direction side of the case 11, and as shown in FIG. 3D, the XZ screen 123 is irradiated with infrared parallel light traveling in the -Y direction through the case 11. Illuminate.
Next, as shown in FIGS. 3 a, c, and d, the stimulus display 4 is installed on the X direction side of the half mirror 13 and displays an image input from the stimulus source 6. The image light of the image displayed on the stimulus display 4 passes through the half mirror 13 and proceeds into the case 11.
Next, the internal configuration of the measuring device 7 will be described.
As shown in FIG. 4, the measurement device 7 includes an XY background image storage unit 701, a YZ background image storage unit 702, an XZ background image storage unit 703, an XY difference image generation unit 704, a YZ difference image generation unit 705, and an XZ difference image. Generation unit 706, XY difference image binarization unit 707, YZ difference image binarization unit 708, XZ difference image binarization unit 709, image memory 710, three-dimensional shape data generation unit 711, scan region setting unit 712, tertiary The original shape data memory 713, the three-dimensional shape display unit 714, the display control unit 715, the data input / output unit 716, the storage device 717, the control unit 718 that controls the operation of each unit according to the user operation received by the input device 9. It has.
However, such a measuring device 7 may be configured by using a computer having a CPU, a memory, and the like. In this case, each unit except the storage device 717 is executed by the computer executing a predetermined computer program. It is realized.
以下、このような計測システムにおける計測動作について、魚の行動を観察する場合を例にとり説明する。
この場合、まず、空間ユニット１のケース１１を水槽として用いて、ケース１１に水/海水を入れ、照明コントローラ５でＸＹ照明ユニット３１、ＹＺ照明ユニット３２、ＸＺ照明ユニット３３の照明を点灯した状態で、ＸＹカメラ２１、ＹＺカメラ２２、ＸＺカメラ２３で、ＸＹスクリーン１２１、ＹＺスクリーン１２２、ＸＺスクリーン１２３を撮影する。そして、測定装置７の制御部は各部を制御し、ＸＹカメラ２１で撮影した画像をＸＹ背景画像としてＸＹ背景画像記憶部７０１に格納し、ＹＺカメラ２２で撮影した画像をＹＺ背景画像としてＹＺ背景画像記憶部７０２に格納し、ＸＺカメラ２３で撮影した画像をＸＺ背景画像としてＸＺ背景画像記憶部７０３に格納する。
次に、ケース１１の水/海水内に行動を観察する魚を投入し、刺激ソース６からに魚に加える刺激の映像を出力することにより、刺激ディスプレイ４に当該映像を表示しながら、測定装置７において、魚の三次元形状の計測を継続的に行う。
なお、ケース１１の水/海水内に魚を投入すると、ＸＹスクリーン１２１にＺ方向に進む赤外平行光による影が生じ、当該影の像がＸＹカメラ２１によって撮影され、ＹＺスクリーン１２２に-Ｘ方向に進む赤外平行光による影が生じ、当該影の像がＹＺカメラ２２によって撮影され、ＸＺスクリーン１２３に-Ｙ方向に進む赤外平行光によるが生じ、当該影の像がＸＺカメラ２３によって撮影される。
さて、魚の三次元形状の計測は、制御部の制御下で次のように行う。
すなわち、ＸＹ差分画像生成部７０４は、ＸＹカメラ２１が撮影したＸＹスクリーン１２１の画像とＸＹ背景画像記憶部７０１に記憶されているＸＹ背景画像との差分を表すＸＹ差分画像を生成する。そして、ＸＹ差分画像二値化部７０７は、所定のしきい値を用いてＸＹ差分画像を二値化し、ＸＹ画像として画像メモリ７１０に格納する。
同様に、ＹＺ差分画像生成部７０５は、ＹＺカメラ２２が撮影したＹＺスクリーン１２２の画像とＹＺ背景画像記憶部７０２に記憶されているＹＺ背景画像との差分を表すＹＺ差分画像を生成する。そして、ＹＺ差分画像二値化部７０８は、所定のしきい値を用いてＹＺ差分画像を二値化し、ＹＺ画像として画像メモリ７１０に格納する。
また、ＸＺ差分画像生成部７０６は、ＸＺカメラ２３が撮影したＸＺスクリーン１２３の画像とＸＺ背景画像記憶部７０３に記憶されているＸＺ背景画像との差分を表すＸＺ差分画像を生成する。そして、ＸＺ差分画像二値化部７０９は、所定のしきい値を用いてＸＺ差分画像を二値化しＸＺ画像として画像メモリ７１０に格納する。
そして、スキャン領域設定部７１２は、画像メモリ７１０に格納されたＸＹ画像、ＹＺ画像、ＸＺ画像を用いてスキャン領域を設定する。
スキャン領域の設定は以下のように行う。
すなわち、図５ａに示すように得られたＸＹ画像、ＹＺ画像、ＸＺ画像に対して、図５ｂに示すように、画像中の黒画素の領域に外接する四角形を設定する。すなわち、ＸＹ画像中の黒画素の領域に外接する四角形５０１、ＹＺ画像中の黒画素の領域に外接する四角形５０２、ＸＺ画像中の黒画素の領域に外接する四角形５０３を設定する。
ここで、黒画素は、カメラが撮影した画像から背景画像を引いた値が負であり、当該値の絶対値がしきい値以上であったことを表している。すなわち、黒画素は、カメラが撮影した画像の方が背景画像よりも、しきい値以上暗い、スクリーンの影の部分を撮影した画素であることを表している。
さて、ここで、以下では便宜上、ＸＹ画像の各画素の座標として当該座標に投影されるＸＹスクリーン１２１上の位置のＸＹ座標を用い、ＹＺ画像の各画素の座標として当該座標に投影されるＹＺスクリーン１２２上の位置のＹＺ座標を用い、ＸＺ画像の各画素の座標として当該座標に投影されるＸＺスクリーン１２３上の位置のＸＺ座標を用いて説明を行う。
なお、各カメラが撮影する画像の画像空間上の各座標と、当該画像空間上の座標に当該カメラによって撮影されるスクリーン上の位置の座標との関係は、当該カメラと該カメラによって撮影されるスクリーンとの配置関係に従って一義的に定まる。
そして、図５ｃに示すように、ＸＹ画像をＸＹ画像のＸＹ座標範囲に従ってＸＹ平面上に配置し、ＹＺ画像をＹＺ画像のＹＺ座標範囲に従ってＹＺ平面上に配置し、ＸＺ画像をＸＺ画像のＸＺ座標範囲に従ってＸＺ平面上に配置した仮想のＸＹＺ三次元空間において、ＸＹ画像に設定した四角形５０１をＺ方向に延長した領域と、ＹＺ画像に設定した四角形５０２をＸ方向に延長した領域と、ＸＺ画像に設定した四角形５０３をＹ方向に延長した領域との３つの領域が重複している直方体の領域をスキャン領域５１０に設定する。
すなわち、ＸＹ画像の四角形５０１のＸ方向範囲とＸＺ画像の四角形５０３のＸ方向範囲との重複範囲をＸ方向の範囲とし、ＸＹ画像の四角形５０１のＹ方向範囲とＹＺ画像の四角形５０２のＹ方向範囲との重複範囲をＹ方向の範囲とし、ＹＺ画像の四角形５０２のＺ方向範囲とＸＺ画像の四角形５０３のＺ方向範囲との重複範囲をＺ方向の範囲とする直方体の領域をスキャン領域５１０に設定する。
次に、三次元形状データ生成部７１１は、このようにしてスキャン領域設定部７１２が設定したスキャン領域５１０内の各座標をスキャンし、三次元形状を表す三次元形状データを生成し、三次元形状データメモリ７１３に格納する。
三次元形状データの生成は以下のように行う。
すなわち、スキャン領域５１０内の各座標（Xn,Yn,Zn）をスキャンし、ＸＹ画像の座標（Xn,Yn）の画素が黒画素であって、ＹＺ画像の座標（Yn,Zn）の画素が黒画素であって、ＸＺ画像の座標（Xn, Zn）の画素が黒画素である場合に、座標（Xn,Yn,Zn）を被計測体存在座標とし、他の場合に（Xn,Yn,Zn）を空間領域座標とし、被計測体存在座標群を三次元形状データとする。
たとえば、図６の座標（X1,Y1,Z1）は、ＸＹ画像の座標（X1,Y1）の画素も、ＹＺ画像の座標（Y1,Z1）の画素も、ＸＺ画像の座標（X1, Z1）の画素も黒画素であるので、座標（X1,Y1,Z1）は被計測体存在座標として検出される。
一方、座標（X2,Y2,Z2）は、ＸＺ画像の座標（X2, Z2）の画素は黒画素であるものの、ＸＹ画像の座標（X2,Y2）の画素とＹＺ画像の座標（Y2,Z2）の画素は黒画素でないので、座標（X2,Y2,Z2）は被計測体存在座標としては検出されず、空間領域座標となる。
次に、三次元形状表示部７１４は、三次元形状データメモリ７１３に格納された三次元形状データの三次元表示を行う。
この三次元表示では、三次元形状表示部７１４は、たとえば、三次元形状データメモリ７１３に格納された三次元形状データを用いた被計測体の疑似三次元画像を生成し、表示制御部７１５を介してモニタ８に表示する。
ここで、疑似三次元画像は、図７ａに示すように入力装置９で指定された視点、視線方向から、各被計測体存在座標に輝点を配置した仮想の三次元空間ＸＹＺを観察したようすを表す画像である。また、この疑似三次元画像においては、三次元形状表示部７１４は、被計測体存在座標の重心位置を表すマーク７０１も疑似三次元画像中に描画する。
ただし、被計測体存在座標にそのまま輝点を配置した疑似三次元画像では、図７ｂ１、ｂ２に示すように輝点が格子状に配置された不自然で人工的な表示となる。そこで、図７ｃ１、ｃ２に示すように、各輝点について輝点の表示位置を本来の位置から微少量ランダムに変動させるようにする。このようにすることにより、より自然な被計測体の表示が可能となる。
さて、図４に戻り、表示制御部７１５は、上述のように、三次元形状表示部７１４が生成した疑似三次元画像の表示を行う他、画像メモリ７１０に格納された、刺激ソース６が出力する刺激の映像や、観察カメラ２４が撮影した画像や、ＸＹカメラ２１が撮影した画像や、ＹＺカメラ２２が撮影した画像や、ＸＺカメラ２３が撮影した画像や、疑似三次元画像を、入力装置９のユーザ操作に従った制御部の制御に従って、適宜組み合わせた映像を表示装置に表示する。
すなわち、たとえば、表示制御部７１５は、上述のように、三次元形状表示部７１４が生成した疑似三次元画像と共に、三次元形状表示部７１４が疑似三次元画像を生成した三次元形状データを算出した画像を前記各カメラ撮影した時点で、刺激ソース６が出力していた刺激の映像と共に表示する。このようにすることにより、刺激の映像の内容との関係において、被計測体の行動を評価することができるようになる。
次に、データ入出力部７１６は、制御部の制御下で、画像メモリ７１０に格納された、刺激ソース６が出力する刺激の映像や、観察カメラ２４が撮影した画像や、ＸＹカメラ２１が撮影した画像や、ＹＺカメラ２２が撮影した画像や、ＸＺカメラ２３が撮影した画像を同期させて記憶装置７１７に保存したり、三次元形状データメモリ７１３に格納された三次元形状データを、当該三次元形状データを算出した画像や、当該画像を前記各カメラ撮影した時点で、刺激ソース６が出力していた刺激の映像と同期させて記憶装置７１７に保存する処理を行う。
また、制御部は、データ入出力部７１６に、刺激ソース６が出力する刺激の映像や、観察カメラ２４が撮影した画像や、ＸＹカメラ２１が撮影した画像や、ＹＺカメラ２２が撮影した画像や、ＸＺカメラ２３が撮影した画像を記憶装置７１７から画像メモリ７１０に復帰させると共に、復帰させた各画像に対して、上述のような各処理を行わせる制御なども行う。
また、制御部は、データ入出力部７１６に、ＸＹ画像やＹＺ画像やＸＺ画像を記憶装置７１７から画像メモリ７１０に復帰させて、復帰したＸＹ画像やＹＺ画像やＸＺ画像に対して、上述のような各処理を行わせたり、データ入出力部７１６に、三次元形状データを記憶装置７１７から三次元形状データメモリ７１３に復帰させると共に、復帰した三次元形状データに対して上述したような各処理を行わせる制御も行う。
以上、本発明の実施形態について説明した。
なお、本実施形態は、被計測体に映像による刺激を与える必要がない場合には、ハーフミラー１３、刺激ディスプレイ４、刺激ソース６は設けないようにしてもよい。
ただし、この場合には、図８ａ、ｂ、ｃに示すように、空間ユニット１のＹＺ照明ユニット３２を、ケース１１のＸ方向側に設置し、ケース１１内を-Ｘ方向に進む赤外平行光でＹＺスクリーン１２２を照明するようにする。
また、以上では、被計測体が魚である場合について示したが、被計測体は小動物、植物、非生命体などの任意の被計測体について本実施形態は適用することができる。
また、以上の実施形態は、測定装置７の制御部において、三次元形状データに基づいて、被計測体の位置、姿勢の追尾等、被計測体の行動を解析する処理をさらに行うようにして良い。
以上のように本実施形態によれば、被計測体の三方向の影が三つのスクリーンに同時に生じる。そして、この三つのスクリーンに同時に生じた三つの影の形状より、被計測体の三次元形状を算出するので、被計測体の動きを拘束することなく、被計測体の三次元形状を算出することができる。また、三つのスクリーンに同時に生じる影は、被計測体の直交する三方向の形状と合同な形状となる。よって、特段の画像処理を行わなくとも、直交する三軸方向について、各影に投影される測定空間内の領域の重複部分を算出するだけの簡便な処理で、高速に被計測体の三次元形状を算出することができる。
Hereinafter, the measurement operation in such a measurement system will be described by taking as an example the case of observing fish behavior.
In this case, first, the case 11 of the space unit 1 is used as a water tank, water / seawater is put into the case 11, and the illumination controller 5 lights the XY illumination unit 31, the YZ illumination unit 32, and the XZ illumination unit 33. Thus, the XY screen 121, the YZ screen 122, and the XZ screen 123 are photographed by the XY camera 21, the YZ camera 22, and the XZ camera 23. Then, the control unit of the measuring apparatus 7 controls each unit, stores an image captured by the XY camera 21 in the XY background image storage unit 701 as an XY background image, and an image captured by the YZ camera 22 as a YZ background image. The image stored in the image storage unit 702 and the image taken by the XZ camera 23 is stored in the XZ background image storage unit 703 as an XZ background image.
Next, the measurement apparatus is configured to display the image on the stimulus display 4 by putting a fish for observing the behavior in the water / seawater of the case 11 and outputting the image of the stimulus applied to the fish from the stimulus source 6. In step 7, the three-dimensional shape of the fish is continuously measured.
In addition, when a fish is put into the water / seawater of the case 11, a shadow caused by infrared parallel light traveling in the Z direction is generated on the XY screen 121, and an image of the shadow is taken by the XY camera 21. A shadow is generated by the infrared parallel light traveling in the direction, and the shadow image is captured by the YZ camera 22. The infrared parallel light traveling in the −Y direction is generated on the XZ screen 123, and the shadow image is captured by the XZ camera 23. Taken.
Now, the measurement of the three-dimensional shape of the fish is performed as follows under the control of the control unit.
That is, the XY difference image generation unit 704 generates an XY difference image representing a difference between the image of the XY screen 121 captured by the XY camera 21 and the XY background image stored in the XY background image storage unit 701. Then, the XY difference image binarization unit 707 binarizes the XY difference image using a predetermined threshold value and stores it in the image memory 710 as an XY image.
Similarly, the YZ difference image generation unit 705 generates a YZ difference image representing the difference between the image of the YZ screen 122 captured by the YZ camera 22 and the YZ background image stored in the YZ background image storage unit 702. Then, the YZ difference image binarization unit 708 binarizes the YZ difference image using a predetermined threshold value and stores it in the image memory 710 as a YZ image.
In addition, the XZ difference image generation unit 706 generates an XZ difference image representing the difference between the image of the XZ screen 123 captured by the XZ camera 23 and the XZ background image stored in the XZ background image storage unit 703. Then, the XZ difference image binarization unit 709 binarizes the XZ difference image using a predetermined threshold value and stores it in the image memory 710 as an XZ image.
The scan area setting unit 712 sets a scan area using the XY image, YZ image, and XZ image stored in the image memory 710.
The scan area is set as follows.
That is, for the XY image, YZ image, and XZ image obtained as shown in FIG. 5a, a rectangle circumscribing the black pixel region in the image is set as shown in FIG. 5b. That is, a rectangle 501 circumscribing the black pixel region in the XY image, a rectangle 502 circumscribing the black pixel region in the YZ image, and a rectangle 503 circumscribing the black pixel region in the XZ image are set.
Here, the black pixel indicates that the value obtained by subtracting the background image from the image captured by the camera is negative, and the absolute value of the value is equal to or greater than the threshold value. That is, the black pixel indicates that the image captured by the camera is a pixel captured from the shadow portion of the screen, which is darker than the background image by more than a threshold value.
In the following, for convenience, the XY coordinates of the positions on the XY screen 121 projected onto the coordinates are used as the coordinates of the pixels of the XY image, and the YZ projected onto the coordinates as the coordinates of the pixels of the YZ image. Description will be made using the YZ coordinates of the position on the screen 122 and the XZ coordinates of the position on the XZ screen 123 projected onto the coordinates as the coordinates of each pixel of the XZ image.
The relationship between the coordinates on the image space of the image captured by each camera and the coordinates of the position on the screen captured by the camera at the coordinates on the image space is captured by the camera and the camera. It is uniquely determined according to the arrangement relationship with the screen.
Then, as shown in FIG. 5c, the XY image is arranged on the XY plane according to the XY coordinate range of the XY image, the YZ image is arranged on the YZ plane according to the YZ coordinate range of the YZ image, and the XZ image is XZ of the XZ image. In a virtual XYZ three-dimensional space arranged on the XZ plane according to the coordinate range, an area obtained by extending the quadrilateral 501 set in the XY image in the Z direction, an area obtained by extending the quadrilateral 502 set in the YZ image in the X direction, and XZ A rectangular parallelepiped region in which three regions overlap with a region obtained by extending the rectangle 503 set in the image in the Y direction is set as the scan region 510.
That is, the overlapping range of the X direction range of the quadrilateral 501 of the XY image and the X direction range of the quadrilateral 503 of the XZ image is the X direction range, and the Y direction range of the quadrilateral 501 of the XY image and the Y direction of the quadrilateral 502 of the YZ image A rectangular parallelepiped region is defined as a scan region 510 in which the overlap range with the range is the Y direction range, and the overlap range between the Z direction range of the quadrilateral 502 of the YZ image and the Z direction range of the quadrilateral 503 of the XZ image is the Z direction range. Set.
Next, the three-dimensional shape data generation unit 711 scans each coordinate in the scan region 510 set by the scan region setting unit 712 in this way, generates three-dimensional shape data representing the three-dimensional shape, and Store in the shape data memory 713.
Generation of three-dimensional shape data is performed as follows.
That is, each coordinate (Xn, Yn, Zn) in the scan area 510 is scanned, the pixel of the coordinate (Xn, Yn) of the XY image is a black pixel, and the pixel of the coordinate (Yn, Zn) of the YZ image is If the pixel is a black pixel and the coordinate (Xn, Zn) of the XZ image is a black pixel, the coordinate (Xn, Yn, Zn) is taken as the measured object existence coordinate, and in other cases (Xn, Yn, Zn) is the spatial domain coordinate, and the measured object presence coordinate group is the three-dimensional shape data.
For example, the coordinates (X1, Y1, Z1) in FIG. 6 are the coordinates of the coordinates (X1, Y1) of the XY image, the pixels of the coordinates (Y1, Z1) of the YZ image, and the coordinates (X1, Z1) of the XZ image. Since these pixels are also black pixels, the coordinates (X1, Y1, Z1) are detected as the measured object presence coordinates.
On the other hand, the coordinates (X2, Y2, Z2) are the pixels of the coordinates (X2, Y2) of the XY image and the coordinates (Y2, Z2) of the coordinates (X2, Y2) of the XY image, although the pixels of the coordinates (X2, Z2) of the XZ image are black pixels. ) Is not a black pixel, the coordinates (X2, Y2, Z2) are not detected as measured object presence coordinates, but become spatial region coordinates.
Next, the 3D shape display unit 714 performs 3D display of the 3D shape data stored in the 3D shape data memory 713.
In this three-dimensional display, the three-dimensional shape display unit 714 generates, for example, a pseudo three-dimensional image of the measurement object using the three-dimensional shape data stored in the three-dimensional shape data memory 713, and displays the display control unit 715. Via the monitor 8.
Here, as shown in FIG. 7a, the pseudo three-dimensional image is obtained by observing a virtual three-dimensional space XYZ in which bright spots are arranged at the coordinates of the measured object from the viewpoint and line-of-sight direction specified by the input device 9. It is an image showing. In this pseudo three-dimensional image, the three-dimensional shape display unit 714 also draws a mark 701 indicating the position of the center of gravity of the measured object presence coordinates in the pseudo three-dimensional image.
However, in the pseudo three-dimensional image in which the bright spots are arranged as they are in the coordinates of the measured object, unnatural and artificial display in which the bright spots are arranged in a grid pattern as shown in FIGS. 7b1 and b2. Therefore, as shown in FIGS. 7c1 and c2, the display position of the bright spot for each bright spot is changed randomly from the original position by a small amount. In this way, a more natural display of the measured object is possible.
Now, returning to FIG. 4, the display control unit 715 displays the pseudo three-dimensional image generated by the three-dimensional shape display unit 714 as described above, and outputs the stimulation source 6 stored in the image memory 710. An input device for a stimulus image, an image taken by the observation camera 24, an image taken by the XY camera 21, an image taken by the YZ camera 22, an image taken by the XZ camera 23, and a pseudo three-dimensional image According to the control of the control unit according to the user operation 9, an appropriately combined video is displayed on the display device.
That is, for example, as described above, the display control unit 715 calculates the three-dimensional shape data generated by the three-dimensional shape display unit 714 and the pseudo three-dimensional image generated by the three-dimensional shape display unit 714. The captured image is displayed together with the stimulus image output from the stimulus source 6 at the time when each of the cameras is photographed. By doing so, it becomes possible to evaluate the behavior of the measured object in relation to the content of the image of the stimulus.
Next, under the control of the control unit, the data input / output unit 716 captures the stimulus video output from the stimulus source 6, the image captured by the observation camera 24, or the XY camera 21, stored in the image memory 710. The captured image, the image captured by the YZ camera 22, and the image captured by the XZ camera 23 are synchronized and stored in the storage device 717, or the 3D shape data stored in the 3D shape data memory 713 is stored in the third order. A process of saving the original shape data in the storage device 717 in synchronization with the image of the stimulus output from the stimulus source 6 at the time when the image was captured by the respective cameras is performed.
In addition, the control unit causes the data input / output unit 716 to display the stimulus image output from the stimulus source 6, the image taken by the observation camera 24, the image taken by the XY camera 21, the image taken by the YZ camera 22, The image taken by the XZ camera 23 is restored from the storage device 717 to the image memory 710, and control for performing the above-described processes on each restored image is also performed.
In addition, the control unit causes the data input / output unit 716 to return the XY image, YZ image, or XZ image from the storage device 717 to the image memory 710, and performs the above-described operation on the recovered XY image, YZ image, or XZ image. Each of the above processes is performed, or the data input / output unit 716 returns the three-dimensional shape data from the storage device 717 to the three-dimensional shape data memory 713. Also controls to perform the process.
The embodiment of the present invention has been described above.
In the present embodiment, the half mirror 13, the stimulus display 4, and the stimulus source 6 may not be provided when it is not necessary to give a stimulus to the measured object with an image.
However, in this case, as shown in FIGS. 8a, b, and c, the YZ illumination unit 32 of the space unit 1 is installed on the X direction side of the case 11, and the infrared parallel traveling in the -X direction through the case 11 is performed. The YZ screen 122 is illuminated with light.
In the above description, the case where the measurement target is a fish has been described. However, the measurement target can be applied to any measurement target such as a small animal, a plant, or a non-living object.
Further, in the above embodiment, the control unit of the measuring device 7 further performs processing for analyzing the behavior of the measurement object such as tracking of the position and posture of the measurement object based on the three-dimensional shape data. good.
As described above, according to the present embodiment, the three-direction shadows of the measurement object are simultaneously generated on the three screens. Then, since the three-dimensional shape of the measurement object is calculated from the three shadow shapes generated simultaneously on the three screens, the three-dimensional shape of the measurement object is calculated without restricting the movement of the measurement object. be able to. Moreover, the shadow which arises simultaneously on three screens becomes a shape congruent with the shape of the three orthogonal directions of a to-be-measured body. Therefore, even without special image processing, it is a simple process that simply calculates the overlapping part of the area in the measurement space that is projected onto each shadow in the three orthogonal directions, and the three-dimensional of the object to be measured at high speed. The shape can be calculated.
１…空間ユニット、４…刺激ディスプレイ、５…照明コントローラ、６…刺激ソース、７…測定装置、８…モニタ、９…入力装置、１１…ケース、１３…ハーフミラー、２１…ＸＹカメラ、２２…ＹＺカメラ、２３…ＸＺカメラ、２４…観察カメラ、３１…ＸＹ照明ユニット、３２…ＹＺ照明ユニット、３３…ＸＺ照明ユニット、１２１…ＸＹスクリーン、１２２…ＹＺスクリーン、１２３…ＸＺスクリーン、７０１…ＸＹ背景画像記憶部、７０２…ＹＺ背景画像記憶部、７０３…ＸＺ背景画像記憶部、７０４…ＸＹ差分画像生成部、７０５…ＹＺ差分画像生成部、７０６…ＸＺ差分画像生成部、７０７…ＸＹ差分画像二値化部、７０８…ＹＺ差分画像二値化部、７０９…ＸＺ差分画像二値化部、７１０…画像メモリ、７１１…三次元形状データ生成部、７１２…スキャン領域設定部、７１３…三次元形状データメモリ、７１４…三次元形状表示部、７１５…表示制御部、７１６…データ入出力部、７１７…記憶装置。 DESCRIPTION OF SYMBOLS 1 ... Spatial unit, 4 ... Stimulus display, 5 ... Illumination controller, 6 ... Stimulation source, 7 ... Measuring device, 8 ... Monitor, 9 ... Input device, 11 ... Case, 13 ... Half mirror, 21 ... XY camera, 22 ... YZ camera, 23 ... XZ camera, 24 ... observation camera, 31 ... XY illumination unit, 32 ... YZ illumination unit, 33 ... XZ illumination unit, 121 ... XY screen, 122 ... YZ screen, 123 ... XZ screen, 701 ... XY background Image storage unit, 702 ... YZ background image storage unit, 703 ... XZ background image storage unit, 704 ... XY difference image generation unit, 705 ... YZ difference image generation unit, 706 ... XZ difference image generation unit, 707 ... XY difference image second Quantization unit, 708 ... YZ difference image binarization unit, 709 ... XZ difference image binarization unit, 710 ... Image memory, 711 ... Three-dimensional shape data Data generating unit, 712 ... scan area setting unit, 713 ... three-dimensional shape data memory, 714 ... three-dimensional shape display unit, 715 ... display controller, 716 ... data input-output unit, 717 ... storage device.
Claims (6)
直方体形状の測定空間の直交する三つの面のそれぞれと各々平行に設置された３つの透過型のスクリーンと、
三つのスクリーンのそれぞれに各々対応する３つの照明ユニットと、
三つのスクリーンのそれぞれに各々対応する３つの赤外カメラと、
測定装置とを有し、
前記各照明ユニットは、前記測定空間の外部から、対応するスクリーンの面と垂直に当該スクリーンに向かって進む赤外平行光を前記測定空間内に出射し、
前記各カメラは、対応するスクリーンを、対応するスクリーンから見て前記測定空間と反対側の位置から撮影し、
前記測定装置は、前記３つのカメラが撮影した３つの画像中に表れる影の形状より、前記測定空間内の被計測体の三次元形状を算出することを特徴とする三次元形状計測システム。 A three-dimensional shape measurement system for measuring a three-dimensional shape of a measurement object,
Three transmissive screens installed parallel to each of the three orthogonal surfaces of the rectangular parallelepiped measurement space;
Three lighting units each corresponding to each of the three screens;
Three infrared cameras each corresponding to each of the three screens;
Measuring device,
Each of the illumination units emits, from the outside of the measurement space, infrared parallel light traveling toward the screen perpendicularly to the corresponding screen surface into the measurement space,
Each of the cameras captures a corresponding screen from a position opposite to the measurement space when viewed from the corresponding screen,
The three-dimensional shape measurement system characterized in that the measurement device calculates a three-dimensional shape of a measurement object in the measurement space from the shape of a shadow appearing in three images taken by the three cameras.
前記被計測体を収容する、前記測定空間を内部空間とする直方体形状の透明なケースを有し、
前記３つのスクリーンはそれぞれ、前記ケースの直交する三つの面それぞれに各々対応すると共に、各スクリーンは前記ケースの対応する面を覆うように設けられていることを特徴とする三次元形状計測システム。 The three-dimensional shape measurement system according to claim 1,
A rectangular parallelepiped transparent case that houses the object to be measured and has the measurement space as an internal space,
Each of the three screens corresponds to each of three orthogonal surfaces of the case, and each screen is provided so as to cover the corresponding surface of the case.
前記被計測体は生物であり、
当該三次元形状計測システムは、
被計測体に刺激として与える映像を表示するディスプレイと、
ハーフミラーとを有し、
前記ディスプレイに表示された映像と、前記三つの照明ユニットのうちの一つの照明ユニットの赤外平行光は、前記ハーフミラーで混合されて、前記ケースの前記スクリーンで覆われていない一つの面を透過して、前記ケースの内部空間に導入されることを特徴とする三次元形状計測システム。 The three-dimensional shape measurement system according to claim 2,
The measured object is a living organism,
The three-dimensional shape measurement system is
A display for displaying an image to be given as a stimulus to the measurement object;
Half mirror and
The image displayed on the display and the infrared parallel light of one of the three lighting units are mixed by the half mirror, and one surface not covered by the screen of the case is displayed. A three-dimensional shape measuring system which is transmitted through and introduced into the internal space of the case.
前記測定装置は、算出した三次元形状を表した画像を、当該三次元形状を算出した画像を前記３つのカメラが撮影した時点で、前記ディスプレイに表示していた映像と共に表示する表示手段を有することを特徴とする三次元形状計測システム。 The three-dimensional shape measurement system according to claim 4,
The measurement apparatus includes display means for displaying an image representing the calculated three-dimensional shape together with the video image displayed on the display at the time when the three cameras photographed the image calculated the three-dimensional shape. A three-dimensional shape measurement system.
前記三つの照明ユニットは、前記ケースの前記スクリーンで覆われていない三つの面それぞれに各々対応すると共に、各照明ユニットは、前記ケースの対応する面を、当該対応する面に向かって当該面と垂直な方向に進む赤外平行光を出射する形態で覆うように配置されていることを特徴とする三次元形状計測システム。 The three-dimensional shape measurement system according to claim 2,
The three lighting units respectively correspond to the three surfaces of the case that are not covered with the screen, and each lighting unit has a corresponding surface of the case facing the corresponding surface. A three-dimensional shape measurement system, characterized in that the three-dimensional shape measurement system is arranged so as to be covered with a form that emits infrared parallel light traveling in a vertical direction.
前記ケースは水槽であって、
前記被計測体は水中で行動する生物であることを特徴とする三次元形状計測システム。 The three-dimensional shape measurement system according to claim 2, 3, 4, or 5,
The case is a water tank,
The three-dimensional shape measurement system, wherein the measurement object is a living organism that behaves in water.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014088837A JP6327556B2 (en) | 2014-04-23 | 2014-04-23 | 3D shape measurement system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014088837A JP6327556B2 (en) | 2014-04-23 | 2014-04-23 | 3D shape measurement system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015206742A true JP2015206742A (en) | 2015-11-19 |
| JP6327556B2 JP6327556B2 (en) | 2018-05-23 |
Family
ID=54603624
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014088837A Active JP6327556B2 (en) | 2014-04-23 | 2014-04-23 | 3D shape measurement system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6327556B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11691290B2 (en) | 2020-02-28 | 2023-07-04 | Seiko Epson Corporation | Robot control method and robot system |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0498367A (en) * | 1990-08-09 | 1992-03-31 | Fanuc Ltd | Three-dimensional shape generation system |
| JPH11271033A (en) * | 1998-03-25 | 1999-10-05 | Sumitomo Metal Mining Co Ltd | Imaging apparatus for three-dimensional shape object |
| JP2009063343A (en) * | 2007-09-05 | 2009-03-26 | Nippon Telegr & Teleph Corp <Ntt> | Fish behavior monitoring system, and fish behavior monitoring method |
| JP2009195173A (en) * | 2008-02-21 | 2009-09-03 | Univ Kinki | Fish shape discrimination apparatus |
| JP2011153875A (en) * | 2010-01-26 | 2011-08-11 | Nitto Denko Corp | Outline determination device |
| JP2012103957A (en) * | 2010-11-11 | 2012-05-31 | Kanto Auto Works Ltd | Component retrieval system |
| JP2013228236A (en) * | 2012-04-24 | 2013-11-07 | Toyota Motor East Japan Inc | Three-dimensional shape input apparatus and shape retrieval system |
-
2014
- 2014-04-23 JP JP2014088837A patent/JP6327556B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0498367A (en) * | 1990-08-09 | 1992-03-31 | Fanuc Ltd | Three-dimensional shape generation system |
| JPH11271033A (en) * | 1998-03-25 | 1999-10-05 | Sumitomo Metal Mining Co Ltd | Imaging apparatus for three-dimensional shape object |
| JP2009063343A (en) * | 2007-09-05 | 2009-03-26 | Nippon Telegr & Teleph Corp <Ntt> | Fish behavior monitoring system, and fish behavior monitoring method |
| JP2009195173A (en) * | 2008-02-21 | 2009-09-03 | Univ Kinki | Fish shape discrimination apparatus |
| JP2011153875A (en) * | 2010-01-26 | 2011-08-11 | Nitto Denko Corp | Outline determination device |
| JP2012103957A (en) * | 2010-11-11 | 2012-05-31 | Kanto Auto Works Ltd | Component retrieval system |
| JP2013228236A (en) * | 2012-04-24 | 2013-11-07 | Toyota Motor East Japan Inc | Three-dimensional shape input apparatus and shape retrieval system |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11691290B2 (en) | 2020-02-28 | 2023-07-04 | Seiko Epson Corporation | Robot control method and robot system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6327556B2 (en) | 2018-05-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9432655B2 (en) | Three-dimensional scanner based on contours from shadow images | |
| JP6238521B2 (en) | Three-dimensional measuring apparatus and control method thereof | |
| JP2015185176A5 (en) | ||
| US20150077518A1 (en) | Apparatus for mobile pattern projection | |
| JPWO2016158856A1 (en) | Imaging system, imaging apparatus, imaging method, and imaging program | |
| CN111627008B (en) | Object surface detection method and system based on image fusion and storage medium | |
| JP6601489B2 (en) | Imaging system, imaging apparatus, imaging method, and imaging program | |
| JP5728699B2 (en) | Surface inspection apparatus, surface inspection method, and surface inspection program | |
| JP2012047673A (en) | Inspection device and inspection method | |
| JP7088530B2 (en) | 3D method and device for projecting measurement result-related information on the surface of an object to be measured | |
| JPWO2017154707A1 (en) | Detection apparatus, detection system, detection method, and detection program | |
| CN101196986A (en) | Three-dimensional palm print identity identifier and its identification method | |
| JP6327556B2 (en) | 3D shape measurement system | |
| CN108062790B (en) | Three-dimensional coordinate system establishing method applied to object three-dimensional reconstruction | |
| JP6425406B2 (en) | INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM | |
| JP2002228417A (en) | Crack measuring apparatus | |
| TWI518442B (en) | Three-dimensional scanner | |
| JP5506371B2 (en) | Image processing apparatus, image processing method, and program | |
| JP2007315777A (en) | Three-dimensional shape measurement system | |
| JP5865092B2 (en) | Image processing apparatus, image processing method, and program | |
| JP2005292027A (en) | Processor and method for measuring/restoring three-dimensional shape | |
| JP5162393B2 (en) | Lighting device | |
| JP7176969B2 (en) | inspection equipment | |
| EP3489896A1 (en) | Method and system for detecting tv screen | |
| Lee | Development of Handheld 3D Scanner for Human Bodies based on IR Sensor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170420 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180208 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180220 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180305 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180327 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180406 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6327556 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |