JP6565428B2 - 3D shape measuring device - Google Patents
3D shape measuring device Download PDFInfo
- Publication number
- JP6565428B2 JP6565428B2 JP2015148759A JP2015148759A JP6565428B2 JP 6565428 B2 JP6565428 B2 JP 6565428B2 JP 2015148759 A JP2015148759 A JP 2015148759A JP 2015148759 A JP2015148759 A JP 2015148759A JP 6565428 B2 JP6565428 B2 JP 6565428B2
- Authority
- JP
- Japan
- Prior art keywords
- light
- light projecting
- unit
- measurement target
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Description
本発明は、三次元形状測定装置に関する。 The present invention relates to a three-dimensional shape measuring apparatus.
投光器から測定対象物へ光を投射し、測定対象物をカメラで撮像し、投光器やカメラが既知の相対位置関係にあることに基づき、三角測量の要領で測定対象物表面の三次元座標値を算出する三次元形状測定装置が提案されている（例えば、特許文献１参照。）。 Light is projected from the projector to the measurement object, the measurement object is imaged with a camera, and the three-dimensional coordinate value of the measurement object surface is calculated in the manner of triangulation based on the fact that the projector and camera are in a known relative positional relationship. A three-dimensional shape measuring apparatus for calculation has been proposed (see, for example, Patent Document 1).
下記特許文献１に記載された三次元形状測定装置の場合、測定対象物はターンテーブル上に搭載され、ターンテーブルを回転させることにより、スリット光が照射される箇所の位置が順次変更される。 In the case of the three-dimensional shape measuring apparatus described in Patent Document 1 below, the measurement object is mounted on the turntable, and the position of the spot irradiated with the slit light is sequentially changed by rotating the turntable.
しかし、上記特許文献１に記載された三次元形状測定装置の場合、測定対象物の形状によっては、投光器から投射された光が照射されている測定対象箇所が、その測定対象箇所とカメラとの間にある突出箇所の裏に隠れてしまうことがあった。この場合、カメラ側ではスリット光が照射された箇所の位置を認識できないため、当該箇所については三次元座標値を算出することができず、測定対象物の表面形状が不明になる、という問題があった。 However, in the case of the three-dimensional shape measuring apparatus described in Patent Document 1, depending on the shape of the measurement target, the measurement target location irradiated with the light projected from the projector may be different between the measurement target location and the camera. Sometimes it was hidden behind the protrusions in between. In this case, since the position of the portion irradiated with the slit light cannot be recognized on the camera side, the three-dimensional coordinate value cannot be calculated for the portion, and the surface shape of the measurement object becomes unknown. there were.
以上のような事情から、測定対象物の表面形状が不明になる範囲を削減可能な三次元形状測定装置を提供することが望ましい。 In view of the above circumstances, it is desirable to provide a three-dimensional shape measuring apparatus that can reduce the range in which the surface shape of the measurement object is unknown.
以下に説明する三次元形状測定装置は、複数の投光箇所から投光箇所毎に向きが異なる仮想面に沿った方向へ面状に光を投射することにより、仮想面と測定対象物の表面との交線に相当する測定対象箇所に対して光を照射可能に構成され、各投光箇所からは投光箇所毎に波長域が異なる光を投射可能に構成された投光部と、複数の投光箇所それぞれから投射される波長域が異なる光それぞれを区別して受光可能な撮像素子を有し、測定対象物の画像を撮像して、当該画像を表す画像データを出力可能な撮像部と、複数の投光箇所の位置及び投光方向と撮像部の位置及び撮像方向と測定対象物の位置及び向きとの相対的な位置関係を変更可能な変更部と、撮像部から出力される測定対象物の画像を表す画像データに基づくデータ処理を実行可能な処理部とを備え、処理部は、複数の投光箇所の位置及び投光方向と撮像部の位置及び撮像方向と測定対象物の位置及び向きとの相対的な位置関係が変更部によって変更されるたびに撮像部において測定対象物の画像を撮像することにより、撮像部から出力される複数の画像データそれぞれが表す測定対象物の画像中から測定対象箇所を検出する第一の処理と、第一の処理によって検出された画像中における測定対象箇所の位置と、複数の投光箇所の位置及び投光方向と撮像部の位置及び撮像方向と測定対象物の位置及び向きとに基づき、測定対象箇所の三次元座標を算出する第二の処理とを実行可能に構成されている。 The three-dimensional shape measuring apparatus described below projects light from a plurality of light projecting locations in a planar shape in a direction along a virtual surface whose direction is different for each light projecting location, so that the surface of the virtual surface and the measurement object And a plurality of light projecting units configured to be able to project light having different wavelength ranges for each light projecting part from each projecting part. An imaging device capable of distinguishing and receiving light with different wavelength ranges projected from each of the light projecting locations, imaging an image of the measurement object, and outputting image data representing the image; A change unit capable of changing a relative positional relationship between a position and a projection direction of a plurality of light projecting positions, a position of the imaging unit, a position of the imaging unit, and a position and an orientation of the measurement object, and a measurement output from the imaging unit Data processing based on image data representing the image of the object can be executed A processing unit, and the processing unit is changed by the changing unit with respect to a position and a light projecting direction of the plurality of light projecting locations, a position of the imaging unit, and a relative positional relationship between the imaging direction and the position and orientation of the measurement object. A first process for detecting a measurement target location from the measurement target image represented by each of a plurality of image data output from the imaging unit by capturing an image of the measurement target in the imaging unit each time; The measurement target based on the position of the measurement target location in the image detected by the one process, the position and projection direction of the plurality of light projection locations, the position and imaging direction of the imaging unit, and the position and orientation of the measurement target The second process of calculating the three-dimensional coordinates of the place is configured to be executable.
このように構成された三次元形状測定装置によれば、測定対象物の画像を撮像するたびに、測定対象箇所を複数の投光箇所と同数検出することができる。そのため、単一の投光箇所からしか投光できない装置に比べ、一度の撮像でより多くの三次元座標を算出することができる。 According to the three-dimensional shape measuring apparatus configured as described above, it is possible to detect the same number of measurement target locations as a plurality of light projection locations each time an image of the measurement target is captured. Therefore, more three-dimensional coordinates can be calculated with one imaging compared to a device that can project light from only a single light projecting location.
しかも、複数の投光箇所は投光箇所毎に向きが異なる仮想面に沿った方向へ光を投射するので、撮像部による撮像方向と複数の投光箇所それぞれの投光方向とがなす角度は互いに異なる角度となる。そのため、ある投光箇所からの投光では測定対象箇所が他の突出箇所の裏に隠れてしまう場合であっても、別の投光箇所からの投光であれば測定対象箇所が他の突出箇所の裏に隠れない可能性がある。したがって、単一の投光箇所からしか投光できない装置に比べ、測定対象物の表面形状が不明となる箇所を削減することができる。 Moreover, since the plurality of light projecting locations project light in a direction along a virtual plane whose direction differs for each light projecting location, the angle formed by the imaging direction by the imaging unit and the light projecting direction of each of the plurality of light projecting locations is The angles are different from each other. For this reason, even if the measurement target location is hidden behind another projection location in the projection from one projection location, the measurement target location is another projection if the projection is from another projection location. There is a possibility that it is not hidden behind the point. Therefore, compared with the apparatus which can project only from a single light projecting location, the location where the surface shape of the measurement object is unknown can be reduced.
また、二以上の投光箇所のいずれから投光しても、同一の測定対象箇所が撮像できる場合には、それら二以上の投光箇所の中から、より信頼性が高いと考えられる投光箇所を選定して、三次元座標の算出を行うこともできる。したがって、単一の投光箇所からしか投光できない装置に比べ、算出される三次元座標の精度を高めることができる。 In addition, if the same measurement target location can be imaged regardless of which of the two or more projection locations, projection is considered to be more reliable from those two or more projection locations. It is also possible to calculate a three-dimensional coordinate by selecting a location. Therefore, the accuracy of the calculated three-dimensional coordinates can be improved as compared with a device that can project light from only a single light projecting location.
次に、上述の三次元形状測定装置について、例示的な実施形態を挙げて説明する。
［三次元形状測定装置の構成］
図１に示すように、以下に説明する三次元形状測定装置１は、ＰＣ等の外部機器２に接続して使用される周辺機器である。この三次元形状測定装置１は、制御装置１０、第一投光器１１、第二投光器１２、カメラ１３、入力部１４、表示部１５、通信部１６、ステッピングモータ１７、動力伝達機構１８、及びターンテーブル１９などを備えている。
Next, the above-described three-dimensional shape measuring apparatus will be described with an exemplary embodiment.
[Configuration of 3D shape measuring device]
As shown in FIG. 1, a three-dimensional shape measuring apparatus 1 described below is a peripheral device used by being connected to an external device 2 such as a PC. The three-dimensional shape measuring apparatus 1 includes a control device 10, a first projector 11, a second projector 12, a camera 13, an input unit 14, a display unit 15, a communication unit 16, a stepping motor 17, a power transmission mechanism 18, and a turntable. 19 etc. are provided.
制御装置１０は、周知のＣＰＵ、ＲＯＭ、及びＲＡＭ等を備えたマイクロコンピュータと、第一投光器１１、第二投光器１２、カメラ１３、及びステッピングモータ１７それぞれとマイクロコンピュータとの間に介在するインターフェース回路等を有する。第一投光器１１、第二投光器１２、カメラ１３、及びステッピングモータ１７は、それぞれが制御装置１０によって制御されて作動する。また、カメラ１３によって撮像された画像の画像データは、カメラ１３から制御装置１０へと伝送され、画像データに対するデータ処理や三次元座標値の算出処理が制御装置１０において実行される。 The control device 10 includes a microcomputer having a well-known CPU, ROM, RAM, and the like, an interface circuit interposed between the first projector 11, the second projector 12, the camera 13, and the stepping motor 17 and the microcomputer. Etc. The first projector 11, the second projector 12, the camera 13, and the stepping motor 17 are controlled and operated by the control device 10. In addition, image data of an image captured by the camera 13 is transmitted from the camera 13 to the control device 10, and data processing and three-dimensional coordinate value calculation processing on the image data are executed in the control device 10.
第一投光器１１は、図２に示すように、第一投光器１１からの光の投射方向をターンテーブル１９の回転中心となる軸線Ｔ０（図２において紙面に直交する軸線。）に向けて配置されている。また、第一投光器１１は、第一投光箇所Ｐ１とターンテーブル１９の回転中心となる軸線Ｔ０とを通る第一の仮想面に沿った方向へ面状に光を投射可能に構成されている。これにより、第一投光器１１は、第一の仮想面と測定対象物２０の表面との交線に相当する第一の測定対象箇所Ｑ１に対してスリット光を照射することができる。 As shown in FIG. 2, the first projector 11 is arranged such that the projection direction of light from the first projector 11 is directed to an axis T <b> 0 (axis perpendicular to the paper surface in FIG. 2) that is the rotation center of the turntable 19. ing. Moreover, the 1st light projector 11 is comprised so that light can be projected planarly in the direction along the 1st virtual surface which passes along the axis line T0 used as the rotation center of the 1st light projection location P1 and the turntable 19. FIG. . Thereby, the 1st light projector 11 can irradiate slit light with respect to the 1st measurement object location Q1 corresponded to the intersection of the 1st virtual surface and the surface of the measurement object 20. FIG.
第二投光器１２は、第二投光器１２からの光の投射方向をターンテーブル１９の回転中心となる軸線Ｔ０に向けて配置されている。また、第二投光箇所Ｐ２とターンテーブル１９の回転中心となる軸線Ｔ０とを通る第二の仮想面に沿った方向へ面状に光を投射可能に構成されている。これにより、第二投光器１２は、第二の仮想面と測定対象物２０の表面との交線に相当する第二の測定対象箇所Ｑ２に対してスリット光を照射することができる。 The second projector 12 is arranged with the projection direction of the light from the second projector 12 directed toward the axis T 0 that is the rotation center of the turntable 19. Moreover, it is comprised so that light can be projected planarly in the direction along the 2nd virtual surface which passes along the axis T0 used as the rotation center of the 2nd light projection location P2 and the turntable 19. FIG. Thereby, the 2nd light projector 12 can irradiate slit light with respect to the 2nd measuring object location Q2 corresponded to the intersection of the 2nd virtual surface and the surface of the measuring object 20. FIG.
また、第一投光器１１及び第二投光器１２は、投光器毎に波長域が異なる光をそれぞれから投射可能に構成されている。本実施形態の場合、第一投光器１１及び第二投光器１２は、それぞれが赤色光、緑色光、及び青色光をいずれかに切り替えて投射可能に構成され、例えば、第一投光器１１から赤色光を投射する場合には、第二投光器１２からは緑色光を投射する等、投光器毎に波長域が異なる光を投射することができる。 Moreover, the 1st projector 11 and the 2nd projector 12 are comprised so that each can project the light from which a wavelength range differs for every projector. In the case of this embodiment, each of the first projector 11 and the second projector 12 is configured to be able to project by switching between red light, green light, and blue light. For example, red light from the first projector 11 can be projected. In the case of projecting, light having a different wavelength range can be projected for each projector, such as projecting green light from the second projector 12.
カメラ１３は、撮像箇所Ｐ３において撮像方向をターンテーブル１９の回転中心となる軸線Ｔ０に向けて配置されている。第一投光器１１による投光方向とカメラ１３による撮像方向のなす角度は第一の角度θ１とされている。第二投光器１２による投光方向とカメラ１３による撮像方向のなす角度は第二の角度θ２とされ、第二の角度θ２は、上述の第一の角度θ１よりも小さい角度とされている。 The camera 13 is arranged with the imaging direction at the imaging location P3 toward the axis T0 that is the rotation center of the turntable 19. The angle formed by the light projecting direction by the first projector 11 and the image capturing direction by the camera 13 is the first angle θ1. The angle formed by the light projecting direction by the second projector 12 and the imaging direction by the camera 13 is a second angle θ2, and the second angle θ2 is an angle smaller than the first angle θ1 described above.
カメラ１３は、第一投光器１１及び第二投光器１２それぞれから投射される波長域が異なる光それぞれを区別して受光可能な撮像素子を有する。このようなカメラ１３により、第一投光器１１及び第二投光器１２それぞれから投射される光が測定対象箇所Ｑ１，Ｑ２において散乱する状態にある測定対象物２０の画像を撮像して、その画像を表す画像データを制御装置１０へと出力することができる。 The camera 13 has an image pickup device that can receive light by distinguishing light having different wavelength ranges projected from the first projector 11 and the second projector 12. Such a camera 13 captures an image of the measurement object 20 in a state in which light projected from the first projector 11 and the second projector 12 is scattered at the measurement target locations Q1 and Q2, respectively, and represents the image. Image data can be output to the control device 10.
入力部１４は、タッチパネルやプッシュスイッチ等によって構成され、利用者が三次元形状測定装置１に対する指令を入力する際に利用者によって操作される。表示部１５は、液晶ディスプレイ等によって構成され、三次元形状測定装置１に関する各種情報が表示される。通信部１６は、ＰＣ等の外部機器２と三次元形状測定装置１との間でデータ通信を行う際に利用される通信インターフェースである。 The input unit 14 includes a touch panel, a push switch, and the like, and is operated by the user when the user inputs a command to the three-dimensional shape measuring apparatus 1. The display unit 15 is configured by a liquid crystal display or the like, and displays various information regarding the three-dimensional shape measuring apparatus 1. The communication unit 16 is a communication interface used when data communication is performed between the external device 2 such as a PC and the three-dimensional shape measuring apparatus 1.
ステッピングモータ１７は、ターンテーブル１９を回転駆動するための動力源である。ステッピングモータ１７を作動させると、その動力が動力伝達機構１８を介してターンテーブル１９に伝達されて、ターンテーブル１９が回転駆動される。ターンテーブル１９には測定対象物２０が搭載され、ターンテーブル１９とともに測定対象物２０を回転させることにより、複数の投光箇所の位置及び投光方向とカメラ１３の位置及び撮像方向と測定対象物２０の位置及び向きとの相対的な位置関係を変更することができる。 The stepping motor 17 is a power source for rotationally driving the turntable 19. When the stepping motor 17 is operated, the power is transmitted to the turntable 19 via the power transmission mechanism 18, and the turntable 19 is rotationally driven. A measurement object 20 is mounted on the turntable 19, and by rotating the measurement object 20 together with the turntable 19, the positions and light emitting directions of a plurality of light projecting locations, the positions and imaging directions of the camera 13, and the measurement objects. The relative positional relationship with the 20 positions and orientations can be changed.
［三次元形状測定装置において実行される処理］
次に、三次元形状測定装置１において実行される処理について、図３及び図４に基づいて説明する。以下に説明する処理は、入力部１４において測定開始ボタンが押された際に、制御装置１０によって実行される。
[Processes executed in the three-dimensional shape measuring apparatus]
Next, processing executed in the three-dimensional shape measuring apparatus 1 will be described with reference to FIGS. The process described below is executed by the control device 10 when the measurement start button is pressed in the input unit 14.
この処理を開始すると、制御装置１０は、まず、初期処理を実行する（Ｓ１０）。この初期処理の詳細については図４に基づいて説明する。初期処理を開始すると、制御装置１０は、第一投光器１１から赤色光、緑色光、及び青色光を測定対象物２０に対して投射して（Ｓ１１０）、測定対象物２０をカメラ１３で撮像する（Ｓ１２０）。Ｓ１１０及びＳ１２０では、赤色光、緑色光、及び青色光を同時に投射して撮像してもよいし、赤色光、緑色光、及び青色光それぞれを別々に投射してそれらを別々に撮像してもよい。 When this process is started, the control device 10 first executes an initial process (S10). Details of this initial processing will be described with reference to FIG. When the initial processing is started, the control device 10 projects red light, green light, and blue light from the first projector 11 onto the measurement object 20 (S110), and images the measurement object 20 with the camera 13. (S120). In S110 and S120, red light, green light, and blue light may be projected and imaged simultaneously, or red light, green light, and blue light may be separately projected and imaged separately. Good.
続いて、制御装置１０は、赤色光、緑色光、及び青色光が照射された箇所の画像を色別に抽出する（Ｓ１３０）。そして、抽出箇所に含まれる各画素の輝度を比較し、輝度がより高くなる光の色がカメラ１３との間の角度がより小さい投光器に割り当てられるように各投光器に光の色を割り付ける（Ｓ１４０）。 Subsequently, the control device 10 extracts an image of a portion irradiated with red light, green light, and blue light for each color (S130). Then, the brightness of each pixel included in the extraction location is compared, and the light color is assigned to each projector such that the light color with higher brightness is assigned to the projector with a smaller angle with the camera 13 (S140). ).
具体例を交えて説明すれば、赤色光を投光した場合に撮像された画像からの抽出箇所に含まれる画素の輝度が最も高く、青色光を投光した場合に撮像された画像からの抽出箇所に含まれる画素の輝度が最も低い場合には、カメラ１３との間の角度が最も小さい角度θ２となっている第二投光器１２に赤色光を割り付ける。また、カメラ１３との間の角度が次に小さい角度θ１となっている第一投光器１１に緑色光を割り付ける。なお、本実施形態の場合、投光器の数が二つなので、青色光はどの投光器にも割り付けられないが、投光器が三つある場合には、更に青色光も利用される。こうして、どの投光器にどの色の光を割り付けるかが確定したら、各投光器に割り付けられた色の光を各投光器から投射する（Ｓ１５０）。Ｓ１５０を終えたら図３に戻り、Ｓ１０を終える。 Explaining with a specific example, the luminance of the pixel included in the extracted portion from the image captured when red light is projected is the highest, and extraction from the image captured when blue light is projected When the luminance of the pixel included in the location is the lowest, red light is assigned to the second projector 12 having the smallest angle θ2 with the camera 13. In addition, green light is assigned to the first projector 11 whose angle with the camera 13 is the next smallest angle θ1. In the present embodiment, since the number of projectors is two, blue light is not assigned to any projector, but when there are three projectors, blue light is also used. Thus, when it is determined which light of which color is assigned to which projector, the light of the color assigned to each projector is projected from each projector (S150). When S150 ends, the process returns to FIG. 3 and S10 ends.
続いて、制御装置１０は、ターンテーブル１９が一回転したか否かを判断する（Ｓ２０）。Ｓ２０において、ターンテーブル１９がまだ一回転していなければ（Ｓ２０：ＮＯ）、制御装置１０は、測定対象物２０を撮像し（Ｓ３０）、撮像された画像中から測定対象箇所を検出する（Ｓ４０）。Ｓ３０においては、第一投光器１１から緑色光が照射された測定対象箇所Ｑ１、及び第二投光器１２から赤色光が投射された測定対象箇所Ｑ２の双方が撮像されるが、これらの測定対象箇所Ｑ１，Ｑ２は色によって識別できる。そのため、Ｓ４０では、測定対象箇所Ｑ１，Ｑ２それぞれを色で識別して画像中から抽出できる。 Subsequently, the control device 10 determines whether or not the turntable 19 has made one rotation (S20). In S20, if the turntable 19 has not yet rotated once (S20: NO), the control device 10 images the measurement object 20 (S30), and detects the measurement object location from the captured image (S40). ). In S30, both the measurement target location Q1 irradiated with green light from the first projector 11 and the measurement target location Q2 projected with red light from the second projector 12 are imaged. These measurement target locations Q1 , Q2 can be identified by color. Therefore, in S40, each of the measurement target portions Q1, Q2 can be identified by color and extracted from the image.
続いて、制御装置１０は、抽出された測定対象箇所Ｑ１，Ｑ２の画像中での位置に基づいて、三次元座標値を算出する（Ｓ４０）。三次元座標値の具体的な算出方法は、周知の光切断法による三次元座標値の算出方法と同様に、三角測量の仕組みを利用して、回転中心Ｔ０から測定対象箇所Ｑ１までの距離を算出し、回転中心Ｔ０を中心とする円柱座標系における三次元座標値を得る。また、必要があれば、得られた三次元座標値を直交座標系における三次元座標値に変換してもよい。 Subsequently, the control device 10 calculates a three-dimensional coordinate value based on the extracted positions in the image of the measurement target locations Q1 and Q2 (S40). The specific calculation method of the three-dimensional coordinate value is the same as the calculation method of the three-dimensional coordinate value by the well-known light cutting method, and uses the triangulation mechanism to determine the distance from the rotation center T0 to the measurement target location Q1. Calculate to obtain a three-dimensional coordinate value in a cylindrical coordinate system centered on the rotation center T0. If necessary, the obtained three-dimensional coordinate value may be converted into a three-dimensional coordinate value in the orthogonal coordinate system.
続いて、制御装置１０は、同一の測定対象箇所の座標値を算出済みか否かを判断する（Ｓ６０）。ここで、Ｓ６０で実行される判断の手法については、図５（Ａ）〜図５（Ｄ）に示す実例を交えて説明する。ターンテーブル１９の回転角が、図５（Ａ）に示す回転角となっている場合、第一投光箇所Ｐ１から投射される緑色光は測定対象箇所Ｑ１に照射される。このとき、測定対象箇所Ｑ１において散乱する散乱光は、撮像箇所Ｐ３にあるカメラ１３によって撮像される。また、第二投光箇所Ｐ２から投射される赤色光は測定対象箇所Ｑ２に照射される。このとき、測定対象箇所Ｑ２において散乱する散乱光は、撮像箇所Ｐ３にあるカメラ１３によって撮像される。 Subsequently, the control device 10 determines whether or not the coordinate values of the same measurement target portion have been calculated (S60). Here, the determination method executed in S60 will be described with reference to the examples shown in FIG. 5 (A) to FIG. 5 (D). When the rotation angle of the turntable 19 is the rotation angle shown in FIG. 5A, the green light projected from the first light projecting location P1 is applied to the measurement target location Q1. At this time, the scattered light scattered at the measurement target location Q1 is imaged by the camera 13 at the imaging location P3. Further, the red light projected from the second light projecting location P2 is applied to the measurement target location Q2. At this time, the scattered light scattered at the measurement target location Q2 is imaged by the camera 13 at the imaging location P3.
その後、ターンテーブル１９が回転駆動されて、ターンテーブル１９の回転角が図５（Ａ）に示す回転角から図５（Ｂ）に示す回転角に変化すると、測定対象箇所Ｑ１，Ｑ２の位置が図５（Ａ）に示す位置から図５（Ｂ）に示す位置に変化する。この時点では、まだ測定対象箇所Ｑ１，Ｑ２において散乱する散乱光を撮像箇所Ｐ３にあるカメラ１３によって撮像することができる。 Thereafter, when the turntable 19 is driven to rotate, and the rotation angle of the turntable 19 changes from the rotation angle shown in FIG. 5A to the rotation angle shown in FIG. 5B, the positions of the measurement target locations Q1 and Q2 are changed. The position changes from the position shown in FIG. 5A to the position shown in FIG. At this time, the scattered light still scattered at the measurement target locations Q1 and Q2 can be captured by the camera 13 at the imaging location P3.
しかし、更にターンテーブル１９が回転駆動されて、ターンテーブル１９の回転角が図５（Ｂ）に示す回転角から図５（Ｃ）に示す回転角に変化すると、測定対象箇所Ｑ１，Ｑ２の位置が図５（Ｂ）に示す位置から図５（Ｃ）に示す位置に変化する。この時点でも、測定対象箇所Ｑ２において散乱する散乱光を撮像箇所Ｐ３にあるカメラ１３によって撮像することはできる。しかし、測定対象箇所Ｑ１は撮像箇所Ｐ３からは見えないアンダーカット部に位置することになり、カメラ１３によって撮像することができなくなる。 However, when the turntable 19 is further rotated and the rotation angle of the turntable 19 changes from the rotation angle shown in FIG. 5B to the rotation angle shown in FIG. Changes from the position shown in FIG. 5B to the position shown in FIG. Even at this time, the scattered light scattered at the measurement target location Q2 can be imaged by the camera 13 at the imaging location P3. However, the measurement target location Q1 is located in an undercut portion that is not visible from the imaging location P3, and cannot be captured by the camera 13.
その後、更にターンテーブル１９が回転駆動されて、ターンテーブル１９の回転角が図５（Ｃ）に示す回転角から図５（Ｄ）に示す回転角に変化すると、測定対象箇所Ｑ１，Ｑ２の位置が図５（Ｃ）に示す位置から図５（Ｄ）に示す位置に変化する。この時点に至ると、測定対象箇所Ｑ１，Ｑ２において散乱する散乱光を撮像箇所Ｐ３にあるカメラ１３によって撮像できる状態に復帰する。 Thereafter, when the turntable 19 is further driven to rotate, and the rotation angle of the turntable 19 changes from the rotation angle shown in FIG. 5C to the rotation angle shown in FIG. 5D, the positions of the measurement target locations Q1, Q2 Changes from the position shown in FIG. 5C to the position shown in FIG. When this point is reached, the scattered light scattered at the measurement target locations Q1 and Q2 is returned to a state where it can be captured by the camera 13 at the imaging location P3.
このようにカメラ１３による撮像ができるか否かが変わるのは、第一投光器１１と第二投光器１２とで、カメラ１３との相対位置及び投光方向が異なるためである。すなわち、第一投光器１１は投光方向とカメラ１３による撮像方向のなす角度が第一の角度θ１とされているのに対し、第二投光器１２は投光方向とカメラ１３による撮像方向のなす角度が第一の角度θ１よりも小さい第二の角度θ２とされている。そのため、よりカメラ１３に近い位置にある第二投光器１２から投光される測定対象箇所Ｑ２の方が、アンダーカット部に入り込みにくくなる。 Whether the image can be captured by the camera 13 in this manner is changed because the relative position and the light projecting direction of the first projector 11 and the second projector 12 are different from each other. That is, in the first projector 11, the angle formed between the light projecting direction and the imaging direction by the camera 13 is the first angle θ 1, whereas in the second projector 12, the angle formed by the light projecting direction and the imaging direction by the camera 13. Is a second angle θ2 smaller than the first angle θ1. Therefore, the measurement target point Q2 projected from the second projector 12 located closer to the camera 13 is less likely to enter the undercut portion.
ただし、測定対象箇所Ｑ１，Ｑ２の三次元座標値を算出するに当たっては、撮像された画像中において、測定対象箇所Ｑ１，Ｑ２の位置と回転中心Ｔ０があるべき位置との「ずれ」に基づいて、測定対象箇所Ｑ１，Ｑ２から回転中心Ｔ０までの距離を算出する。そのため、測定対象物２０表面の同一位置が測定対象箇所Ｑ１になる場合と測定対象箇所Ｑ２になる場合とでは、測定対象箇所Ｑ１になる場合の方が上述の「ずれ」が大きくなる。したがって、そのような「ずれ」に基づいて測定対象箇所Ｑ１，Ｑ２の三次元座標値を算出する際には、測定対象箇所Ｑ１での測定結果を用いる方が、算出される三次元座標値の精度が上がる。 However, in calculating the three-dimensional coordinate values of the measurement target locations Q1 and Q2, based on the “deviation” between the positions of the measurement target locations Q1 and Q2 and the position where the rotation center T0 should be in the captured image. Then, the distance from the measurement target points Q1, Q2 to the rotation center T0 is calculated. Therefore, in the case where the same position on the surface of the measurement target 20 becomes the measurement target location Q1 and the case where the measurement target location Q2 becomes the measurement target location Q1, the above-mentioned “deviation” becomes larger. Therefore, when calculating the three-dimensional coordinate values of the measurement target locations Q1 and Q2 based on such “deviation”, the measurement result at the measurement target location Q1 is used to calculate the calculated three-dimensional coordinate values. Increases accuracy.
つまり、第一投光器１１から投光される測定対象箇所Ｑ１の方が、より精度の高い三次元座標値を算出でき、第二投光器１２から投光される測定対象箇所Ｑ２の方が、三次元座標値を算出できる可能性を高めることができる。これも具体例を交えて説明すれば、図５（Ｃ）に示すターンテーブル１９の回転角は、図５（Ａ）に示すターンテーブル１９の回転角に対し、時計回りに角度（θ２−θ１）だけ回転した位置にある。そのため、図５（Ａ）において第二投光器１２から投光されている測定対象箇所Ｑ２は、図５（Ｃ）において第一投光器１１から投光されている測定対象箇所Ｑ１と同一の箇所となる。したがって、第一投光器１１から投光するだけでは、図５（Ｃ）において第一投光器１１から投光されている測定対象箇所Ｑ１の三次元座標値を算出することはできないが、この箇所については、第二投光器１２からの投光により、図５（Ａ）において第二投光器１２から投光されている測定対象箇所Ｑ２を利用して三次元座標値を算出することができる。 That is, the measurement target spot Q1 projected from the first projector 11 can calculate a more accurate three-dimensional coordinate value, and the measurement target spot Q2 projected from the second projector 12 is three-dimensional. The possibility that the coordinate value can be calculated can be increased. If this is also explained with a specific example, the rotation angle of the turntable 19 shown in FIG. 5C is an angle (θ2−θ1) clockwise with respect to the rotation angle of the turntable 19 shown in FIG. ) Is in a rotated position. Therefore, the measurement target location Q2 projected from the second projector 12 in FIG. 5A is the same location as the measurement target location Q1 projected from the first projector 11 in FIG. 5C. . Therefore, it is not possible to calculate the three-dimensional coordinate value of the measurement target location Q1 projected from the first projector 11 in FIG. 5C only by projecting light from the first projector 11, but for this location, The three-dimensional coordinate value can be calculated by projecting from the second projector 12 using the measurement target location Q2 projected from the second projector 12 in FIG.
また、図５（Ｄ）に示すターンテーブル１９の回転角は、図５（Ｂ）に示すターンテーブル１９の回転角に対し、時計回りに角度（θ２−θ１）だけ回転した位置にある。そのため、図５（Ｂ）において第二投光器１２から投光されている測定対象箇所Ｑ２は、図５（Ｄ）において第一投光器１１から投光されている測定対象箇所Ｑ１と同一の箇所となる。この箇所は、第一投光器１１及び第二投光器１２のどちらから投光しても、測定対象箇所Ｑ１，Ｑ２の三次元座標値を算出することができる。ただし、この場合には、測定対象箇所Ｑ１での測定結果を用いることにより、算出される三次元座標値の精度を上げることができる。 The rotation angle of the turntable 19 shown in FIG. 5D is at a position rotated clockwise by an angle (θ2−θ1) with respect to the rotation angle of the turntable 19 shown in FIG. Therefore, the measurement target location Q2 projected from the second projector 12 in FIG. 5B is the same location as the measurement target location Q1 projected from the first projector 11 in FIG. 5D. . Regardless of which of the first projector 11 and the second projector 12 is used for this location, the three-dimensional coordinate values of the measurement target locations Q1 and Q2 can be calculated. However, in this case, the accuracy of the calculated three-dimensional coordinate value can be increased by using the measurement result at the measurement target location Q1.
以上のような事情から、上述のＳ６０においては、例えば、既に測定対象箇所Ｑ２での測定結果を用いて三次元座標値を算出済みで、新たに同一の箇所について測定対象箇所Ｑ１での測定結果を用いて三次元座標値を算出した場合に、同一の測定対象箇所の座標値を算出済みであると判断する（Ｓ６０：ＹＥＳ）。この場合、制御装置１０は、カメラ１３との間の角度が大きい投光器を利用して算出された座標値を採用する（Ｓ７０）。すなわち、既に測定対象箇所Ｑ２での測定結果を用いて三次元座標値を算出済みであっても、新たに同一の箇所について測定対象箇所Ｑ１での測定結果を用いて三次元座標値を算出したのであれば、その箇所の三次元座標値としては、測定対象箇所Ｑ１での測定結果を用いて算出された三次元座標値を採用する。 From the above circumstances, in S60 described above, for example, the three-dimensional coordinate value has already been calculated using the measurement result at the measurement target location Q2, and the measurement result at the measurement target location Q1 for the same location is newly calculated. When the three-dimensional coordinate value is calculated using, it is determined that the coordinate value of the same measurement target portion has been calculated (S60: YES). In this case, the control device 10 employs a coordinate value calculated using a projector having a large angle with the camera 13 (S70). That is, even if the three-dimensional coordinate value has already been calculated using the measurement result at the measurement target location Q2, the three-dimensional coordinate value is newly calculated for the same location using the measurement result at the measurement target location Q1. In this case, the three-dimensional coordinate value calculated using the measurement result at the measurement target point Q1 is adopted as the three-dimensional coordinate value of the point.
一方、Ｓ６０において、まだ測定対象箇所Ｑ２での測定結果を用いて三次元座標値を算出済みではない場合には、同一の測定対象箇所の座標値を算出済みではないと判断する（Ｓ６０：ＮＯ）。この場合、制御装置１０は、新たに算出された座標値を採用する（Ｓ７５）。すなわち、この時点では、測定対象箇所Ｑ２での測定結果を用いて三次元座標値を算出しているものの、測定対象箇所Ｑ１での測定結果は得られていないので、その箇所の三次元座標値としては、測定対象箇所Ｑ２での測定結果を用いて算出された三次元座標値を採用する。なお、測定対象箇所Ｑ２での測定結果が得られないまま、測定対象箇所Ｑ１での測定結果を用いて三次元座標値を算出できた場合には、その箇所の三次元座標値としては、測定対象箇所Ｑ１での測定結果を用いて算出された三次元座標値を採用する。 On the other hand, in S60, when the three-dimensional coordinate value has not been calculated using the measurement result at the measurement target location Q2, it is determined that the coordinate value of the same measurement target location has not been calculated (S60: NO). ). In this case, the control device 10 employs the newly calculated coordinate value (S75). That is, at this point, although the three-dimensional coordinate value is calculated using the measurement result at the measurement target location Q2, the measurement result at the measurement target location Q1 is not obtained. As, the three-dimensional coordinate value calculated using the measurement result at the measurement target location Q2 is adopted. In addition, when the three-dimensional coordinate value can be calculated using the measurement result at the measurement target location Q1 without obtaining the measurement result at the measurement target location Q2, the three-dimensional coordinate value at that location is measured. A three-dimensional coordinate value calculated using the measurement result at the target location Q1 is employed.
こうしてＳ７０又はＳ７５を終えたら、制御装置１０は、ターンテーブル１９を所定角度だけ回転駆動して（Ｓ８０）、Ｓ２０へと戻る。これにより、Ｓ２０において否定判断がなされる間は、Ｓ２０〜Ｓ８０が繰り返し実行されることになる。その結果、ターンテーブル１９の回転角を所定角度ずつ変更しながら、測定対象箇所Ｑ１，Ｑ２での測定結果を用いて三次元座標値が算出される。その際、これら双方の測定結果が得られた場合には、測定対象箇所Ｑ１での測定結果を用いて算出された三次元座標値が採用され、一方の測定結果しか得られない場合には、一方の測定結果を用いて算出された三次元座標値が採用される。 After completing S70 or S75 in this way, the control device 10 drives the turntable 19 to rotate by a predetermined angle (S80), and returns to S20. As a result, S20 to S80 are repeatedly executed while a negative determination is made in S20. As a result, the three-dimensional coordinate value is calculated using the measurement results at the measurement target locations Q1 and Q2 while changing the rotation angle of the turntable 19 by a predetermined angle. At that time, when both of these measurement results are obtained, the three-dimensional coordinate value calculated using the measurement result at the measurement target location Q1 is adopted, and when only one measurement result is obtained, A three-dimensional coordinate value calculated using one measurement result is employed.
そして、Ｓ２０において、ターンテーブル１９が一回転した場合には（Ｓ２０：ＹＥＳ）、制御装置１０は終了処理を実行して（Ｓ９０）、図３に示す処理を終了する。なお、Ｓ９０の終了処理としては、第一投光器１１及び第二投光器１２の消灯や、外部機器２へのデータ転送などが実行される。 And in S20, when the turntable 19 makes one rotation (S20: YES), the control apparatus 10 performs an end process (S90), and complete | finishes the process shown in FIG. Note that, as the end processing of S90, the first projector 11 and the second projector 12 are turned off, and data transfer to the external device 2 is performed.
なお、以上説明した実施形態において、制御装置１０は、本明細書でいう処理部の一例に相当する。第一投光器１１及び第二投光器１２は、本明細書でいう投光部の一例に相当する。カメラ１３は、本明細書でいう撮像部の一例に相当する。ステッピングモータ１７、動力伝達機構１８、及びターンテーブル１９は、本明細書でいう変更部の一例に相当し、ターンテーブル１９は、本明細書でいう支持部の一例に相当する。また、上述のＳ２０〜Ｓ８０は、本明細書でいう第一の処理及び第二の処理に相当する。上述のＳ１１０〜Ｓ１５０は、本明細書でいう前処理に相当する。 In the embodiment described above, the control device 10 corresponds to an example of a processing unit referred to in this specification. The first projector 11 and the second projector 12 correspond to an example of a projector unit referred to in this specification. The camera 13 corresponds to an example of an imaging unit referred to in this specification. The stepping motor 17, the power transmission mechanism 18, and the turntable 19 correspond to an example of a change unit referred to in this specification, and the turntable 19 corresponds to an example of a support unit referred to in this specification. The above-described S20 to S80 correspond to the first process and the second process in this specification. The above-described S110 to S150 correspond to the preprocessing referred to in this specification.
［効果］
以上説明した通り、上記三次元形状測定装置１によれば、Ｓ３０で測定対象物２０の画像を撮像するたびに、撮像された一つの画像中において二つの測定対象箇所Ｑ１，Ｑ２（すなわち、投光箇所と同数分の測定対象箇所。）を検出することができる。そのため、単一の投光箇所からしか投光できない装置に比べ、一度の撮像でより多くの三次元座標を算出することができる。
[effect]
As described above, according to the above three-dimensional shape measuring apparatus 1, every time an image of the measurement object 20 is captured in S30, two measurement target locations Q1 and Q2 (that is, projections) in one captured image. It is possible to detect the same number of measurement target locations as the number of light locations. Therefore, more three-dimensional coordinates can be calculated with one imaging compared to a device that can project light from only a single light projecting location.
しかも、第一投光器１１と第二投光器１２は投光器毎に向きが異なる仮想面に沿った方向へ光を投射するので、カメラ１３による撮像方向と各投光器の投光方向とがなす角度は互いに異なる角度θ１，θ２となる。そのため、第一投光器１１からの投光では測定対象箇所Ｑ１が他の突出箇所の裏に隠れてしまう場合であっても、第二投光器１２からの投光であれば測定対象箇所Ｑ２が他の突出箇所の裏に隠れない可能性がある。したがって、第一投光器１１相当の投光箇所からしか投光できない装置に比べ、測定対象物２０の表面形状が不明となる箇所を削減することができる。 Moreover, since the first projector 11 and the second projector 12 project light in a direction along a virtual plane whose direction differs for each projector, the angles formed by the imaging direction of the camera 13 and the projection direction of each projector are different from each other. The angles are θ1 and θ2. Therefore, even if the measurement target location Q1 is hidden behind other projecting locations in the projection from the first projector 11, if the projection is from the second projector 12, the measurement target location Q2 is different from the other projection locations. There is a possibility that it will not be hidden behind the protruding part. Therefore, compared with the apparatus which can project only from the light projection location equivalent to the 1st light projector 11, the location where the surface shape of the measuring object 20 becomes unknown can be reduced.
また、第一投光器１１及び第二投光器１２のいずれから投光しても、同一の測定対象箇所が撮像できる場合には、それら二つの投光器の中から、より信頼性が高いと考えられる第一投光器１１を選定して、三次元座標の算出を行うことができる。したがって、第二投光器１２相当の投光箇所からしか投光できない装置に比べ、算出される三次元座標の精度を高めることができる。 In addition, when the same measurement target part can be imaged regardless of which light is projected from either the first projector 11 or the second projector 12, the first one considered to be more reliable from the two projectors. The projector 11 can be selected and the three-dimensional coordinates can be calculated. Therefore, compared with the apparatus which can project only from the light projection location equivalent to the 2nd light projector 12, the precision of the calculated three-dimensional coordinate can be improved.
また、本実施形態で例示した三次元形状測定装置１の場合、Ｓ１１０〜Ｓ１５０では、赤色光、緑色光、及び青色光（すなわち、複数の波長域それぞれに含まれる光。）を投射し、その撮像結果から、測定対象箇所の輝度が最も高くなる第一波長域（例えば、赤色光が含まれる波長域。）を特定する。その上で、その特定された第一波長域に含まれる光（例えば、赤色光。）を少なくとも利用する。したがって、複数の波長域に含まれる光のいくつかを利用するに当たって、測定対象物２０の色に応じて最も効果的な波長域を利用することができ、測定精度を向上させることができる。 In the case of the three-dimensional shape measuring apparatus 1 exemplified in this embodiment, in S110 to S150, red light, green light, and blue light (that is, light included in each of a plurality of wavelength ranges) are projected, and From the imaging result, a first wavelength region (for example, a wavelength region including red light) in which the luminance of the measurement target portion is highest is specified. In addition, at least light (for example, red light) included in the specified first wavelength range is used. Therefore, in using some of the light included in the plurality of wavelength ranges, the most effective wavelength range can be used according to the color of the measurement object 20, and the measurement accuracy can be improved.
また、本実施形態で例示した三次元形状測定装置１の場合、第一波長域に含まれる光（例えば赤色光。）が好適と判断された場合に、複数の投光器それぞれからの投光方向とカメラ１３による撮像方向とのなす角度θ１，θ２が最も小さい角度θ２となる第二投光器１２から第一波長域に含まれる光（例えば赤色光。）を投射する。したがって、三角測量による測定精度が低下しやすい角度で投光する第二投光器１２については、より輝度が高くなる波長域の光を割り当てることで、測定精度が更に低下するのを抑制することができる。 Further, in the case of the three-dimensional shape measuring apparatus 1 exemplified in the present embodiment, when light (for example, red light) included in the first wavelength region is determined to be suitable, the light projecting directions from the plurality of light projectors are Light (for example, red light) included in the first wavelength region is projected from the second projector 12 at which the angles θ1 and θ2 formed with the imaging direction by the camera 13 are the smallest angle θ2. Therefore, with respect to the second projector 12 that projects light at an angle at which the measurement accuracy by triangulation is likely to decrease, it is possible to suppress a further decrease in measurement accuracy by assigning light in a wavelength region where the luminance is higher. .
また、本実施形態で例示した三次元形状測定装置１の場合、第一投光器１１及び第二投光器１２が、赤色光、緑色光、及び青色光のうちのいずれかを投射する。そのため、赤色光、緑色光、及び青色光を区別して受光可能な撮像素子を採用すればよく、広く普及しているカラー撮像素子を利用することができる。したがって、赤色光、緑色光、及び青色光以外の波長域（例えば、赤外線波長域、紫外線波長域、赤色光と緑色光の間の波長域、緑色光と青色光の間の波長域など。）をも区別して受光可能な撮像素子を利用する場合に比べ、より低廉な装置構成にすることができる。 In the case of the three-dimensional shape measuring apparatus 1 exemplified in this embodiment, the first projector 11 and the second projector 12 project any one of red light, green light, and blue light. Therefore, an image sensor that can receive red light, green light, and blue light by distinguishing them may be adopted, and widely used color image sensors can be used. Therefore, wavelength ranges other than red light, green light, and blue light (for example, infrared wavelength range, ultraviolet wavelength range, wavelength range between red light and green light, wavelength range between green light and blue light, etc.). As compared with the case of using an image sensor capable of receiving light by distinguishing between the two, it is possible to make the device configuration cheaper.
［補足］
以上、三次元形状測定装置について、例示的な実施形態を挙げて説明したが、上述の実施形態は本発明の一態様として例示されるものに過ぎない。すなわち、本発明は、上述の例示的な実施形態に限定されるものではなく、本発明の技術的思想を逸脱しない範囲内において、様々な形態で実施することができる。
[Supplement]
As described above, the three-dimensional shape measuring apparatus has been described with reference to exemplary embodiments. However, the above-described embodiments are merely illustrated as one aspect of the present invention. That is, the present invention is not limited to the exemplary embodiments described above, and can be implemented in various forms without departing from the technical idea of the present invention.
例えば、上記実施形態では、第一投光器１１及び第二投光器１２が、赤色光、緑色光、及び青色光のうちのいずれかを投射する例を示したが、各投光器から投射される光の色は可変となっていなくてもよい。例えば、第一投光器１１からは緑色光が投射され、第二投光器１２からは赤色光が投射され、これらの光の色が変更できない構成になっていてもよい。 For example, in the said embodiment, although the 1st projector 11 and the 2nd projector 12 showed the example which projects any one of red light, green light, and blue light, the color of the light projected from each projector May not be variable. For example, green light may be projected from the first projector 11, red light may be projected from the second projector 12, and the color of these lights may not be changed.
また、各投光器から投射される光は、互いに異なる波長域にあり、かつ撮像素子で散乱光を撮像できる波長域にあれば、赤色光、緑色光、及び青色光に限定されるものではない。例えば、いわゆるＲＧＢフィルター以外のマルチからフィルターを用いれば、赤色光と緑色光以外にそれらの間の波長域を区別して受光したり、緑色光と青色光以外にそれらの間の波長域を区別して受光したりすることができるので、そのような波長域を受光してもよい。あるいは、いわゆる可視光に限らず、赤外線波長域や、紫外線波長域の光を投射し、その散乱光を受光してもよい。 The light projected from each projector is not limited to red light, green light, and blue light as long as they are in different wavelength ranges and within a wavelength range where scattered light can be imaged by the imaging device. For example, if a multi-filter other than the so-called RGB filter is used, the wavelength range between them is received in addition to red light and green light, or the wavelength range between them is distinguished other than green light and blue light. Such a wavelength region may be received. Alternatively, the light is not limited to so-called visible light, and light in the infrared wavelength region or ultraviolet wavelength region may be projected and the scattered light may be received.
このようにより多くの波長域を用いる場合には、投光器の数も上記実施形態のように二つには限定されず、三つ以上の投光器から光を投射し、それら三つ以上の投光器それぞれから投射される光の波長域を、互いに異なる波長域にすることもできる。このようにすれば、上述の実施形態で説明した光の投射角θ１，θ２以外に、更に異なる投射角θ３，θ４，…で光を投射することもできるので、例えば、カメラの左右両側に投射角の異なる投光器を用意して、それら三つ以上の投光器それぞれから光を投射して撮像することもできる。 When using a larger number of wavelength regions, the number of projectors is not limited to two as in the above embodiment, and light is projected from three or more projectors, and each of the three or more projectors is used. The wavelength range of the projected light can be different from each other. In this way, it is possible to project light at different projection angles θ3, θ4,... In addition to the light projection angles θ1, θ2 described in the above-described embodiment. It is also possible to prepare projectors with different angles and project images from each of the three or more projectors.
また、上記実施形態では、カメラ、及び各投光器を固定して、ターンテーブルを回転させることにより、測定対象物とカメラ及び各投光器との相対位置を変更していたが、他の手法で測定対象物とカメラ及び各投光器との相対位置を変更してもよい。例えば、測定対象物を固定し、その周囲でカメラ及び各投光器を変位させてもよい。あるいは、回転以外の方法で測定対象物とカメラ及び各投光器との相対位置を変更してもよく、例えば、測定対象物をベルトコンベヤ等に載せて一方向に直線的に変位させてもよい。さらに、投光器から投射される光の向きをミラーやプリズムなどで変更することにより、測定対象部表面における光の照射位置を変更してもよい。 In the above embodiment, the relative position between the measurement object and the camera and each projector is changed by fixing the camera and each projector and rotating the turntable. You may change the relative position of an object, a camera, and each projector. For example, the measurement object may be fixed, and the camera and each projector may be displaced around the measurement object. Alternatively, the relative position between the measurement object, the camera, and each projector may be changed by a method other than rotation. For example, the measurement object may be placed on a belt conveyor or the like and linearly displaced in one direction. Furthermore, the irradiation position of the light on the surface of the measurement target part may be changed by changing the direction of the light projected from the projector using a mirror or a prism.
なお、以上説明した例示的な実施形態から明らかなように、本明細書で説明した三次元形状測定装置は、更に以下に挙げるような構成を備えていてもよい。
まず、本明細書で説明した三次元形状測定装置は、投光部において、複数の投光箇所には、撮像部による撮像方向と投光方向のなす角度が第一の角度となる第一投光箇所と、撮像部による撮像方向と投光方向のなす角度が第一の角度よりも小さい第二の角度となる第二投光箇所とを含み、変更部は、位置関係を第一位置関係に変更したときに第一投光箇所から光が照射される測定対象箇所と、位置関係を第二位置関係に変更したときに第二投光箇所から光が照射される測定対象箇所とが、同一の測定対象箇所となるように、位置関係を変更可能に構成され、処理部は、第一の処理では、変更部によって位置関係が第一位置関係に変更された場合と位置関係が第二位置関係に変更された場合のそれぞれにおいて撮像部によって撮像された各画像を処理対象として、処理対象となる各画像の一方から測定対象箇所を検出した場合には、当該一方の画像から検出された測定対象箇所を第二の処理による処理対象とし、処理対象となる各画像の両方から測定対象箇所を検出した場合には、位置関係を第一位置関係に変更したときの画像から検出された測定対象箇所を第二の処理による処理対象とするように構成されていてもよい。
As is clear from the exemplary embodiments described above, the three-dimensional shape measuring apparatus described in this specification may further include the following configurations.
First, in the three-dimensional shape measuring apparatus described in this specification, in the light projecting unit, the first light projecting unit has an angle formed by the image capturing unit and the light projecting direction at a first angle at a plurality of light projecting locations. A light projecting portion and a second light projecting location where the angle between the imaging direction by the imaging unit and the light projecting direction is a second angle smaller than the first angle, and the changing unit changes the positional relationship to the first positional relationship. Measurement target location irradiated with light from the first light projection location when changed to, and measurement target location irradiated with light from the second light projection location when the positional relationship is changed to the second positional relationship, The positional relationship is configured to be changeable so as to be the same measurement target location, and the processing unit has a second positional relationship in the first process and when the positional relationship is changed to the first positional relationship by the changing unit. Each image picked up by the image pickup unit in each case where the positional relationship is changed When a measurement target location is detected from one of the images to be processed as a processing target, the measurement target location detected from the one image is set as a processing target by the second processing, and each image to be processed When the measurement target location is detected from both, the measurement target location detected from the image when the positional relationship is changed to the first positional relationship may be set as the processing target by the second process. Good.
このように構成された三次元形状測定装置によれば、二以上の投光箇所のいずれから投光しても、同一の測定対象箇所が撮像できる場合に、それら二以上の投光箇所の中から、より信頼性が高いと考えられる投光箇所を選定して、三次元座標の算出を行うこともできる。したがって、同一の測定対象箇所に対して単一の投光箇所からしか投光できない装置に比べ、算出される三次元座標の精度を高めることができる。 According to the three-dimensional shape measuring apparatus configured in this way, when the same measurement target part can be imaged regardless of which of the two or more light projecting parts, Therefore, it is also possible to calculate a three-dimensional coordinate by selecting a light projecting place considered to be more reliable. Therefore, the accuracy of the calculated three-dimensional coordinates can be improved as compared with a device that can project light from only a single light projecting location to the same measurement target location.
また、本明細書で説明した三次元形状測定装置において、投光部は、複数の投光箇所それぞれにおいて、複数の波長域をいずれかに切り替えて光を投射可能に構成され、測定対象物に対する形状測定を実行する前に実行される前処理として、投光部は、複数の投光箇所のいずれかにおいて、複数の波長域を順に切り替えながら、各波長域に含まれる光を投射し、撮像部は、投光部が各波長域に含まれる光を投射するたびに、測定対象物の画像を撮像して、当該画像を表す画像データを出力し、処理部は、撮像部が画像データを出力するたびに、当該画像データが表す測定対象物の画像中から、測定対象箇所を検出して、検出された測定対象箇所の輝度を比較することにより、当該輝度が最も高い画像に対応する第一波長域を特定し、測定対象物に対する形状測定を実行する際には、投光部は、前処理によって特定された第一波長域に含まれる光を、一つの投光箇所から投射し、第一波長域とは異なる第二波長域に含まれる光を、第一波長域に含まれる光を投射する投光箇所とは別の投光箇所から投射するように構成されていてもよい。 Further, in the three-dimensional shape measuring apparatus described in the present specification, the light projecting unit is configured to be able to project light by switching between a plurality of wavelength ranges in each of a plurality of light projecting locations, As preprocessing executed before executing shape measurement, the light projecting unit projects light included in each wavelength region while sequentially switching the plurality of wavelength regions at any of a plurality of light projecting locations, and performs imaging. Each time the light projecting unit projects light included in each wavelength region, the image capturing unit captures an image of the measurement object and outputs image data representing the image. The processing unit captures the image data. Each time the data is output, the measurement target portion is detected from the image of the measurement target represented by the image data, and the luminance corresponding to the highest luminance is detected by comparing the luminance of the detected measurement target portion. Specify one wavelength range and measure When performing the shape measurement on the light source, the light projecting unit projects the light included in the first wavelength region specified by the preprocessing from one light projecting location, and the second wavelength is different from the first wavelength region. The light included in the region may be projected from a light projecting location different from the light projecting location that projects the light included in the first wavelength region.
このように構成された三次元形状測定装置によれば、前処理では、複数の波長域それぞれに含まれる光を投射し、その撮像結果から、交線に相当する箇所の輝度が最も高くなる第一波長域を特定する。その上で、その特定された第一波長域に含まれる光を少なくとも利用する。 According to the three-dimensional shape measuring apparatus configured as described above, in the preprocessing, the light included in each of the plurality of wavelength ranges is projected, and from the imaging result, the brightness corresponding to the intersection line is highest. Specify one wavelength range. In addition, at least light included in the specified first wavelength range is used.
したがって、複数の波長域に含まれる光のいくつかを利用するに当たって、測定対象物の色に応じて最も効果的な波長域を利用することができ、測定精度を向上させることができる。 Therefore, when using some of the light included in the plurality of wavelength ranges, the most effective wavelength range can be used according to the color of the measurement object, and the measurement accuracy can be improved.
また、本明細書で説明した三次元形状測定装置において、測定対象物に対する形状測定を実行する際には、投光部は、前処理によって特定された第一波長域に含まれる光を、複数の投光箇所それぞれからの投光方向と撮像部による撮像方向とのなす角度が最も小さくなる投光箇所から投射するように構成されていてもよい。 Further, in the three-dimensional shape measuring apparatus described in this specification, when performing shape measurement on the measurement object, the light projecting unit outputs a plurality of lights included in the first wavelength region specified by the preprocessing. It may be configured to project from the light projecting portion where the angle between the light projecting direction from each of the light projecting locations and the image capturing direction by the imaging unit is the smallest.
このように構成された三次元形状測定装置によれば、第一波長域に含まれる光を、複数の投光箇所それぞれからの投光方向と撮像部による撮像方向とのなす角度が最も小さくなる投光箇所から投射する。 According to the three-dimensional shape measuring apparatus configured as described above, the angle formed between the light projecting direction from each of the plurality of light projecting portions and the image capturing direction by the image capturing unit is the smallest. Projects from the projecting location.
したがって、三角測量による測定精度が低下しやすい角度で投光する投光箇所については、より輝度が高くなる波長域の光を割り当てることで、測定精度が更に低下するのを抑制することができる。 Therefore, it is possible to prevent the measurement accuracy from further deteriorating by assigning light in a wavelength region where the luminance is higher for the light projecting portions where light is projected at an angle at which measurement accuracy by triangulation is likely to decrease.
また、本明細書で説明した三次元形状測定装置において、投光部は、二つ又は三つの投光箇所を有し、各投光箇所から赤色光、緑色光、及び青色光のうちのいずれかを投射可能に構成されていてもよい。 Further, in the three-dimensional shape measuring apparatus described in the present specification, the light projecting unit has two or three light projecting locations, and any one of red light, green light, and blue light from each projecting location. It may be configured to be capable of projecting.
このように構成された三次元形状測定装置によれば、投光部が、二つ又は三つの投光箇所から赤色光、緑色光、及び青色光のうちのいずれかを投射する。そのため、赤色光、緑色光、及び青色光を区別して受光可能な撮像素子を採用すればよく、広く普及しているカラー撮像素子を利用することができる。したがって、赤色光、緑色光、及び青色光以外の波長域（例えば、赤外線波長域、紫外線波長域、赤色光と緑色光の間の波長域、緑色光と青色光の間の波長域など。）をも区別して受光可能な撮像素子を利用する場合に比べ、より低廉な装置構成にすることができる。 According to the three-dimensional shape measuring apparatus configured as described above, the light projecting unit projects any one of red light, green light, and blue light from two or three light projecting locations. Therefore, an image sensor that can receive red light, green light, and blue light by distinguishing them may be adopted, and widely used color image sensors can be used. Therefore, wavelength ranges other than red light, green light, and blue light (for example, infrared wavelength range, ultraviolet wavelength range, wavelength range between red light and green light, wavelength range between green light and blue light, etc.). As compared with the case of using an image sensor capable of receiving light by distinguishing between the two, it is possible to make the device configuration cheaper.
また、本明細書で説明した三次元形状測定装置において、変更部は、測定対象物を支持して、回転駆動される支持部を有し、投光部は、複数の投光箇所それぞれからの光の投射方向を支持部の回転中心に向けて配置され、撮像部は、撮像方向を支持部の回転中心に向けて配置されていてもよい。 Further, in the three-dimensional shape measuring apparatus described in the present specification, the changing unit has a support unit that is rotationally driven to support the measurement object, and the light projecting unit includes a plurality of light projecting locations. The light projection direction may be arranged toward the rotation center of the support unit, and the imaging unit may be arranged with the imaging direction directed toward the rotation center of the support unit.
１…三次元形状測定装置、２…外部機器、１０…制御装置、１１…第一投光器、１２…第二投光器、１３…カメラ、１４…入力部、１５…表示部、１６…通信部、１７…ステッピングモータ、１８…動力伝達機構、１９…ターンテーブル、２０…測定対象物、Ｐ１…第一投光箇所、Ｐ２…第二投光箇所、Ｐ３…撮像箇所、Ｑ１，Ｑ２…測定対象箇所、Ｔ０…回転中心。 DESCRIPTION OF SYMBOLS 1 ... Three-dimensional shape measuring apparatus, 2 ... External apparatus, 10 ... Control apparatus, 11 ... 1st projector, 12 ... 2nd projector, 13 ... Camera, 14 ... Input part, 15 ... Display part, 16 ... Communication part, 17 ... Stepping motor, 18 ... Power transmission mechanism, 19 ... Turn table, 20 ... Measurement object, P1 ... First light projection location, P2 ... Second light projection location, P3 ... Imaging location, Q1, Q2 ... Measurement location, T0: Center of rotation.
Claims (4)
複数の前記投光箇所それぞれから投射される前記波長域が異なる光それぞれを区別して受光可能な撮像素子を有し、前記測定対象物の画像を撮像して、当該画像を表す画像データを出力可能な撮像部と、
複数の前記投光箇所の位置及び投光方向と前記撮像部の位置及び撮像方向と前記測定対象物の位置及び向きとの相対的な位置関係を変更可能な変更部と、
前記撮像部から出力される前記測定対象物の画像を表す画像データに基づくデータ処理を実行可能な処理部と
を備え、
前記処理部は、
複数の前記投光箇所の位置及び投光方向と前記撮像部の位置及び撮像方向と前記測定対象物の位置及び向きとの相対的な位置関係が前記変更部によって変更されるたびに前記撮像部において前記測定対象物の画像を撮像することにより、前記撮像部から出力される複数の前記画像データそれぞれが表す前記測定対象物の画像中から前記測定対象箇所を検出する第一の処理と、
前記第一の処理によって検出された前記画像中における前記測定対象箇所の位置と、複数の前記投光箇所の位置及び投光方向と前記撮像部の位置及び撮像方向と前記測定対象物の位置及び向きとに基づき、前記測定対象箇所の三次元座標を算出する第二の処理と
を実行可能に構成されており、
前記投光部は、複数の前記投光箇所それぞれにおいて、複数の前記波長域をいずれかに切り替えて光を投射可能に構成され、
前記測定対象物に対する形状測定を実行する前に実行される前処理として、
前記投光部は、複数の前記投光箇所のいずれかにおいて、複数の前記波長域を順に切り替えながら、各波長域に含まれる光を投射し、
前記撮像部は、前記投光部が各波長域に含まれる光を投射するたびに、前記測定対象物の画像を撮像して、当該画像を表す画像データを出力し、
前記処理部は、前記撮像部が前記画像データを出力するたびに、当該画像データが表す前記測定対象物の画像中から、前記測定対象箇所を検出して、検出された前記測定対象箇所の輝度を比較することにより、当該輝度が最も高い画像に対応する第一波長域を特定し、
前記測定対象物に対する形状測定を実行する際には、
前記投光部は、前記前処理によって特定された前記第一波長域に含まれる光を、一つの前記投光箇所から投射し、前記第一波長域とは異なる第二波長域に含まれる光を、前記第一波長域に含まれる光を投射する前記投光箇所とは別の前記投光箇所から投射するように構成されており、
前記測定対象物に対する形状測定を実行する際には、
前記投光部は、前記前処理によって特定された前記第一波長域に含まれる光を、複数の前記投光箇所それぞれからの投光方向と前記撮像部による撮像方向とのなす角度が最も小さくなる前記投光箇所から投射するように構成されている
三次元形状測定装置。 A measurement object corresponding to an intersection line between the virtual surface and the surface of the measurement object by projecting light in a planar shape from a plurality of light emission locations in a direction along a virtual surface whose direction differs for each of the light projection locations. It is configured to be able to irradiate light to a location, and from each projection location, a light projecting unit configured to be able to project light having a different wavelength range for each projection location, and
It has an image sensor that can distinguish and receive each of the light with different wavelength ranges projected from each of the plurality of light projecting locations, and can capture an image of the measurement object and output image data representing the image An imaging unit,
A changing unit capable of changing a relative positional relationship between the position and the light projecting direction of the plurality of light projecting locations, the position and the imaging direction of the imaging unit, and the position and orientation of the measurement object;
A processing unit capable of executing data processing based on image data representing an image of the measurement object output from the imaging unit;
The processor is
Whenever the relative positional relationship between the position and light projecting direction of the plurality of light projecting locations, the position and imaging direction of the imaging unit, and the position and orientation of the measurement object is changed by the changing unit, the imaging unit A first process of detecting the measurement target location from the image of the measurement target represented by each of the plurality of image data output from the imaging unit by capturing an image of the measurement target in FIG.
The position of the measurement target location in the image detected by the first processing, the position and projection direction of the plurality of light projection locations, the position and imaging direction of the imaging unit, and the position of the measurement target; And a second process for calculating the three-dimensional coordinates of the measurement target location based on the orientation .
The light projecting unit is configured to be able to project light by switching the plurality of wavelength regions to any one of the plurality of light projecting locations,
As pre-processing executed before performing shape measurement on the measurement object,
The light projecting unit projects light included in each wavelength region while sequentially switching the plurality of wavelength regions in any of the plurality of light projecting locations,
The imaging unit captures an image of the measurement object each time the light projecting unit projects light included in each wavelength region, and outputs image data representing the image,
The processing unit detects the measurement target location from the image of the measurement target represented by the image data each time the imaging unit outputs the image data, and detects the brightness of the detected measurement target location. To identify the first wavelength range corresponding to the image with the highest brightness,
When performing shape measurement on the measurement object,
The light projecting unit projects light included in the first wavelength range specified by the preprocessing from one of the light projecting locations, and is included in a second wavelength range different from the first wavelength range. Is projected from the light projecting location different from the light projecting location that projects the light included in the first wavelength range,
When performing shape measurement on the measurement object,
The light projecting unit has the smallest angle between the light projecting direction from each of the plurality of light projecting locations and the image capturing direction by the image capturing unit for the light included in the first wavelength region specified by the preprocessing. A three-dimensional shape measuring apparatus configured to project from the light projecting portion .
前記投光部において、複数の前記投光箇所には、前記撮像部による撮像方向と投光方向のなす角度が第一の角度となる第一投光箇所と、前記撮像部による撮像方向と投光方向のなす角度が前記第一の角度よりも小さい第二の角度となる第二投光箇所とを含み、
前記変更部は、前記位置関係を第一位置関係に変更したときに前記第一投光箇所から光が照射される前記測定対象箇所と、前記位置関係を第二位置関係に変更したときに前記第二投光箇所から光が照射される前記測定対象箇所とが、同一の前記測定対象箇所となるように、前記位置関係を変更可能に構成され、
前記処理部は、前記第一の処理では、前記変更部によって前記位置関係が前記第一位置関係に変更された場合と前記位置関係が前記第二位置関係に変更された場合のそれぞれにおいて前記撮像部によって撮像された各画像を処理対象として、前記処理対象となる各画像の一方から前記測定対象箇所を検出した場合には、当該一方の画像から検出された前記測定対象箇所を前記第二の処理による処理対象とし、前記処理対象となる各画像の両方から前記測定対象箇所を検出した場合には、前記位置関係を前記第一位置関係に変更したときの画像から検出された前記測定対象箇所を前記第二の処理による処理対象とする
三次元形状測定装置。 The three-dimensional shape measuring apparatus according to claim 1,
In the light projecting unit, the plurality of light projecting locations include a first light projecting location in which an angle formed by the image capturing direction of the image capturing unit and the light projecting direction is a first angle, and an image capturing direction and a light projecting by the image capturing unit. Including a second light projecting portion where the angle formed by the light direction is a second angle smaller than the first angle,
The changing unit is configured to change the positional relationship to the first positional relationship and change the positional relationship to the second positional relationship with the measurement target location irradiated with light from the first light projecting location. The measurement target location irradiated with light from the second light projection location is configured to be able to change the positional relationship so as to be the same measurement target location,
In the first process, the processing unit performs the imaging in each of a case where the positional relationship is changed to the first positional relationship and a case where the positional relationship is changed to the second positional relationship by the changing unit. When the measurement target location is detected from one of the images to be processed with each image captured by the unit as a processing target, the measurement target location detected from the one image is set as the second measurement target. The measurement target location detected from the image when the positional relationship is changed to the first positional relationship when the measurement target location is detected from both of the images to be processed as processing targets. A three-dimensional shape measuring apparatus for processing the second processing.
前記投光部は、二つ又は三つの前記投光箇所を有し、各投光箇所から赤色光、緑色光、及び青色光のうちのいずれかを投射可能に構成されている
三次元形状測定装置。 The three-dimensional shape measuring apparatus according to claim 1 or 2 ,
The light projecting unit has two or three light projecting locations, and is configured to project any one of red light, green light, and blue light from each light projecting location. apparatus.
前記変更部は、前記測定対象物を支持して、回転駆動される支持部を有し、
前記投光部は、複数の前記投光箇所それぞれからの光の投射方向を前記支持部の回転中心に向けて配置され、
前記撮像部は、撮像方向を前記支持部の回転中心に向けて配置されている
三次元形状測定装置。 The three-dimensional shape measuring apparatus according to any one of claims 1 to 3 ,
The change unit includes a support unit that supports the measurement object and is rotationally driven.
The light projecting unit is arranged with the projection direction of light from each of the plurality of light projecting locations directed toward the rotation center of the support unit,
The three-dimensional shape measuring apparatus, wherein the imaging unit is arranged with an imaging direction directed toward a rotation center of the support unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015148759A JP6565428B2 (en) | 2015-07-28 | 2015-07-28 | 3D shape measuring device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015148759A JP6565428B2 (en) | 2015-07-28 | 2015-07-28 | 3D shape measuring device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017026584A JP2017026584A (en) | 2017-02-02 |
| JP6565428B2 true JP6565428B2 (en) | 2019-08-28 |
Family
ID=57945725
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015148759A Active JP6565428B2 (en) | 2015-07-28 | 2015-07-28 | 3D shape measuring device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6565428B2 (en) |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05113321A (en) * | 1991-02-15 | 1993-05-07 | Inter Detsuku:Kk | Measuring method for unevenness of surface of object |
| JPH0567196A (en) * | 1991-09-05 | 1993-03-19 | Matsushita Electric Ind Co Ltd | Three-dimensional shape reader |
| JP3434425B2 (en) * | 1996-10-31 | 2003-08-11 | デジタルプロセス株式会社 | 3D shape measuring device |
| JPH1163954A (en) * | 1997-08-25 | 1999-03-05 | Suzuki Motor Corp | Measuring device of three-dimensional shape |
| JP4883751B2 (en) * | 2005-06-17 | 2012-02-22 | レーザーテック株式会社 | 3D shape measuring apparatus and 3D shape measuring method |
| JP2009098044A (en) * | 2007-10-18 | 2009-05-07 | Nikon Corp | Shape measuring device |
| JP2010014505A (en) * | 2008-07-03 | 2010-01-21 | Nikon Corp | Three-dimensional shape measuring apparatus and three-dimensional shape measurement method |
| US9720506B2 (en) * | 2014-01-14 | 2017-08-01 | Microsoft Technology Licensing, Llc | 3D silhouette sensing system |
-
2015
- 2015-07-28 JP JP2015148759A patent/JP6565428B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017026584A (en) | 2017-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11544874B2 (en) | System and method for calibration of machine vision cameras along at least three discrete planes | |
| US10514806B2 (en) | Operation detection device, operation detection method and projector | |
| US9535538B2 (en) | System, information processing apparatus, and information processing method | |
| JP4927021B2 (en) | Cursor control device and control method for image display device, and image system | |
| KR100499764B1 (en) | Method and system of measuring an object in a digital | |
| US20180231375A1 (en) | Imaging device, rotating device, distance measuring device, distance measuring system and distance measuring method | |
| US20180003485A1 (en) | Image Measurement Device | |
| TW201520540A (en) | Inspection apparatus, method, and computer program product for machine vision inspection | |
| US20180003487A1 (en) | Image Measurement Device | |
| TWI458532B (en) | System and method for detecting a shot direction of a light gun | |
| JP2004138462A (en) | Three-dimensional visual sensor | |
| JP6116710B2 (en) | Appearance inspection apparatus and appearance inspection method | |
| JP2016184362A (en) | Input device, input operation detection method, and input operation detection computer program | |
| US11638073B2 (en) | Ranging device and ranging methhod | |
| US20210407123A1 (en) | Three-dimensional calibration target | |
| WO2019080812A1 (en) | Apparatus for assisting in determining target region on target object, and device comprising the apparatus | |
| JP2009058459A (en) | Profile measuring system | |
| JPWO2008084523A1 (en) | POSITION INFORMATION DETECTING DEVICE, POSITION INFORMATION DETECTING METHOD, AND POSITION INFORMATION DETECTING PROGRAM | |
| KR100733396B1 (en) | Apparatus and method for three dimension measurement data acquisition | |
| JP2011191170A (en) | Image processing apparatus | |
| JP6565428B2 (en) | 3D shape measuring device | |
| JP6863946B2 (en) | Image processing device | |
| Debski et al. | Open-source localization device for indoor mobile robots | |
| JP6740614B2 (en) | Object detection device and image display device including the object detection device | |
| JP2009186404A (en) | Image information creating device and image information creating method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180713 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190507 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190426 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190617 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190702 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190715 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6565428 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |