JP2014211390A - Three-dimensional shape measuring device, and three-dimensional shape measuring method - Google Patents
Three-dimensional shape measuring device, and three-dimensional shape measuring method Download PDFInfo
- Publication number
- JP2014211390A JP2014211390A JP2013088494A JP2013088494A JP2014211390A JP 2014211390 A JP2014211390 A JP 2014211390A JP 2013088494 A JP2013088494 A JP 2013088494A JP 2013088494 A JP2013088494 A JP 2013088494A JP 2014211390 A JP2014211390 A JP 2014211390A
- Authority
- JP
- Japan
- Prior art keywords
- projection
- unit
- imaging
- axis
- photographing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000003384 imaging method Methods 0.000 claims abstract description 157
- 230000003287 optical effect Effects 0.000 claims abstract description 75
- 230000010363 phase shift Effects 0.000 claims description 4
- 238000005259 measurement Methods 0.000 abstract description 184
- 238000001514 detection method Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 230000007423 decrease Effects 0.000 description 10
- 238000001816 cooling Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
Abstract
Description
本発明は、三次元形状計測装置、三次元形状計測方法に関する。 The present invention relates to a three-dimensional shape measuring apparatus and a three-dimensional shape measuring method.
三次元形状計測装置で用いられる三次元形状計測法として、いくつかの手法が提案されている。投影装置を用いずに撮影装置だけで形状計測を行うパッシプ方式と、投影装置と撮影装置とを組み合わせて用いるアクティブ方式と、が知られている。アクティブ方式では、投影された対象物体を撮影した画像から対象物体の三次元形状を計測する。対象物体は三次元形状を有していることから、三次元形状計測装置には、奥行方向に関しても形状計測に必要な精度を満たすことが求められる。 Several methods have been proposed as a three-dimensional shape measurement method used in a three-dimensional shape measurement apparatus. There are known a passive method in which shape measurement is performed only by an imaging device without using a projection device, and an active method in which a projection device and an imaging device are used in combination. In the active method, the three-dimensional shape of the target object is measured from an image obtained by capturing the projected target object. Since the target object has a three-dimensional shape, the three-dimensional shape measurement apparatus is required to satisfy the accuracy necessary for shape measurement in the depth direction.
このような、アクティブ方式の三次元形状計測装置の例として、特許文献1および特許文献2が開示されている。特許文献1では、スリット状の投影を対象物体に照射して、積算照射強度分布が三角波状になるように光源を制御し、位相シフト法の原理を用いて三次元形状計測を行う技術が開示されている。特許文献2では、デジタル階調値の投影パターンをデフォーカスさせることで、正弦波パターンにし、特許文献1と同様に位相シフト法の原理を用いて三次元形状計測を行う技術が開示されている。 Patent Documents 1 and 2 are disclosed as examples of such an active three-dimensional shape measuring apparatus. Patent Document 1 discloses a technique for irradiating a target object with a slit-shaped projection, controlling a light source so that an integrated irradiation intensity distribution has a triangular wave shape, and performing three-dimensional shape measurement using the principle of the phase shift method. Has been. Patent Document 2 discloses a technique for making a sine wave pattern by defocusing a projection pattern of digital gradation values and performing three-dimensional shape measurement using the principle of the phase shift method as in Patent Document 1. .
しかしながら、特許文献1に記載の三次元形状計測装置では、対象物体の奥行方向の全域において、必要な精度を満たすことが難しい。また、特許文献2に記載の三次元形状計測装置でも、同様に、対象物体の奥行方向の全域において必要な精度を満たすことが難しい。なぜならば、撮影装置から離れると撮影装置で取込む光量が低下するため、撮影した画像は暗くなる。対象物体を撮影した画像が暗いと撮影装置のSN(信号とノイズとの比)が悪化するため、三次元形状の精度は悪化する。また、投影光学系のフォーカス面からのデフォーカスに伴いコントラストが悪化し、コントラストが悪化した画像から算出された三次元形状の精度は悪化するからである。 However, with the three-dimensional shape measuring apparatus described in Patent Document 1, it is difficult to satisfy the required accuracy in the entire depth direction of the target object. Similarly, in the three-dimensional shape measuring apparatus described in Patent Document 2, it is difficult to satisfy the required accuracy over the entire depth direction of the target object. This is because the amount of light captured by the image capturing device decreases when the image capturing device is separated from the image capturing device, and the captured image becomes dark. When the image obtained by photographing the target object is dark, the SN (ratio of signal to noise) of the photographing apparatus is deteriorated, so that the accuracy of the three-dimensional shape is deteriorated. Further, the contrast deteriorates with defocusing from the focus surface of the projection optical system, and the accuracy of the three-dimensional shape calculated from the image with deteriorated contrast deteriorates.
具体的には、特許文献1のように奥行のある対象物体の場合、撮影装置の手前の面に対して奥の面では撮影装置で取込む光量が低下し、撮影画像が暗くなる。それに伴い、撮影装置のSNが悪化するため、計測精度が悪化する。そのため、撮影装置に最も近い面での計測精度に対して遠い面での計測精度の悪化が大きく、奥行方向の全域において必要な精度を満たすことが難しいという課題がある。 Specifically, in the case of a target object having a depth as in Patent Document 1, the amount of light captured by the imaging device is reduced on the back surface relative to the front surface of the imaging device, and the captured image becomes dark. Along with this, the SN of the photographing apparatus deteriorates, and the measurement accuracy deteriorates. For this reason, there is a problem that the measurement accuracy on the surface far from the measurement accuracy on the surface closest to the photographing apparatus is greatly deteriorated, and it is difficult to satisfy the required accuracy in the entire area in the depth direction.
また特許文献2のように、投影パターンのフォーカス面が、対象物体が存在する領域の外にある場合、投影パターンのコントラストは、投影パターンのフォーカス面に近い対象物体の面から遠い面に向かって低下する。それに伴い撮影画像のコントラストが低下するため、計測精度が悪化し、特許文献1と同様に奥行方向の全域において必要な精度を満たすことが難しいという課題がある。 Further, as in Patent Document 2, when the focus plane of the projection pattern is outside the region where the target object exists, the contrast of the projection pattern is directed toward a plane far from the plane of the target object close to the focus plane of the projection pattern. descend. As a result, the contrast of the captured image is lowered, so that the measurement accuracy is deteriorated, and there is a problem that it is difficult to satisfy the necessary accuracy in the entire area in the depth direction as in Patent Document 1.
上記の課題に鑑み、本発明は、奥行方向に対する計測精度の低下を抑制し、計測空間全域において良好な計測精度を得ることを目的とする。 In view of the above-described problems, an object of the present invention is to suppress a decrease in measurement accuracy in the depth direction and obtain good measurement accuracy in the entire measurement space.
上記の目的を達成するために、本発明に係る三次元形状計測装置は、例えば、対象物体に所定の投影パターンを投影する投影手段と、前記投影パターンが投影された対象物体を撮影する撮影手段と、前記撮影された画像に基づいて前記対象物体の三次元形状を計測する計測手段とを備え、前記投影手段の投影光学系の焦点位置は、前記投影手段から観察した場合に、前記投影手段の投影軸と前記撮影手段の撮影軸との交点よりも奥、または前記投影手段の投影軸と前記撮影手段の撮影軸とが最も近接する前記投影軸上の点よりも奥に設定されていることを特徴とする。 In order to achieve the above object, a three-dimensional shape measuring apparatus according to the present invention includes, for example, a projection unit that projects a predetermined projection pattern onto a target object, and an imaging unit that photographs the target object on which the projection pattern is projected. And measuring means for measuring the three-dimensional shape of the target object based on the photographed image, and when the focal position of the projection optical system of the projection means is observed from the projection means, the projection means Of the projection axis and the imaging axis of the imaging means, or the projection axis of the projection means and the imaging axis of the imaging means are set behind the point on the projection axis that is closest. It is characterized by that.
本発明によれば、奥行方向に対する計測精度の低下を抑制し、計測空間全域において良好な計測精度を得ることができる。 According to the present invention, it is possible to suppress a decrease in measurement accuracy in the depth direction and to obtain good measurement accuracy in the entire measurement space.
(第1実施形態)
図1を参照して、第1実施形態に係る三次元形状計測装置の構成を説明する。三次元形状計測装置は、投影部101と、撮影部102と、制御部103とを備える。
(First embodiment)
With reference to FIG. 1, the structure of the three-dimensional shape measuring apparatus according to the first embodiment will be described. The three-dimensional shape measurement apparatus includes a
投影部101は、所定の投影パターンを投影するパターン光を対象物体104へ投影する投影動作を実行するプロジェクタである。投影部101は、投影範囲105で示される空間へ投影可能である。投影部101は、会議室等で上方投影用に使用されるプロジェクタと同様に、光軸と投影画像中心とが一致していないものとする。
The
撮影部102は、パターン光が投影された対象物体104を撮影するカメラである。撮影部102は、撮影範囲106で示される空間を撮影可能である。制御部103は、例えばパーソナル・コンピュータであり、投影部101および撮影部102の動作を制御する。制御部103は、対象物体104の三次元形状を計測する処理も実行する。
The photographing
次に、図2を参照して、第1実施形態に係る計測空間を説明する。投影軸107は、投影部101から投影画像中心へ向かう軸であり、光軸と一致していない。光軸108は、撮影部102の光軸(撮影中心へ向かう撮影軸)である。交点109は、投影軸107と光軸108とが交差する点である。計測空間110は、投影範囲105と撮影範囲106との両方に含まれ、当該投影範囲105と撮影範囲106とにより規定される空間である。本実施形態では、交点109は、計測空間中に含まれ、投影部101から観察した場合に計測空間110の奥行方向距離を二等分するように配置されている。計測面116は、計測空間110の中で、投影部101および撮影部102から最も近い計測面である。計測面117は、計測空間110の中で、投影部101および撮影部102から最も遠い計測面である。本実施形態では、交点109は、計測空間110の内部に設定されているが、必ずしも当該内部に限定されず外部であってもよい。
Next, the measurement space according to the first embodiment will be described with reference to FIG. The
本実施形態に係る三次元形状計測装置は、空間符号化法による形状計測を行う。まず投影部101が、図3に示されるような明暗パターン111を対象物体104へ投影する。そして、撮影部102は、明暗パターン111が投影された対象物体104を撮影する。制御部103は、撮影部102により撮影された画像を処理して、対象物体104の三次元形状を計測する。より具体的には、明暗パターン111の明暗のエッジ位置を検出し、エッジ位置に対応する投影部101の投影軸と撮影部102の撮影軸とのなす角度に基づいて、三角測量の原理で投影部101および撮影部102から対象物体104までの距離を算出する。
The three-dimensional shape measurement apparatus according to the present embodiment performs shape measurement by a spatial encoding method. First, the
本実施形態では、明暗パターン111のエッジ位置の検出方法として、ネガポジ交点検出法を用いる。ネガポジ交点検出法は、投影部101が明暗パターン111の明暗位置を切り替えたパターンを連続して投影し、撮影部102が撮影した画像の強度分布の交点をエッジ位置とする方法である。
In the present embodiment, a negative / positive intersection detection method is used as a method for detecting the edge position of the light /
ネガポジ交点検出法では、一般的に撮影部102により撮影される明暗パターンのコントラストが高い方がエッジ位置の検出精度が高いことが知られている。また、撮影部102により撮影された画像の明度が高い方が撮影部102のSN(信号とノイズとの比)が向上する。そのため、投影部101からの投影は明度が高い方がエッジ位置の検出精度が高くなる。
In the negative / positive intersection detection method, it is generally known that the higher the contrast of a light and dark pattern photographed by the photographing
本実施形態に係る三次元形状計測装置では、計測空間110の全域において必要な精度以上で形状計測する必要がある。しかしながら、撮影部102により撮影された画像は、図16(a)に示されるように、フォーカス位置(焦点位置)ではコントラストが高いが、フォーカス位置からずれるとコントラストが低下する。また、図16(b)に示されるように、撮影部102からの距離が近いと取込角度が大きくなり画像は明るくなるが、撮影部102からの距離が遠いと取込角度が小さくなり画像は暗くなる。
In the three-dimensional shape measurement apparatus according to the present embodiment, it is necessary to measure the shape with a precision higher than necessary over the
そのため、投影部101のフォーカス位置を交点109に合わせた場合、計測面116では、デフォーカスによりコントラストが低下するが、計測面116が撮影部102に近いため撮影画像は明るい。一方、計測面117では、デフォーカスによりコントラストが低下し、計測面117が撮影部102から遠いため撮影画像も暗くなる。したがって、撮影距離と計測誤差との関係は、図17(a)に示されるような関係になり、計測面116に比べて計測面117では計測精度は低下する。そこで本実施形態では、投影部101のフォーカス位置を交点109よりも投影部101からみて奥に合わせる。
Therefore, when the focus position of the
図4は、撮影部102のフォーカス位置の様子を示している。レンズ114は、撮影部102の撮影光学系を模式的に1枚のレンズとして表したものであり、撮影素子115は、レンズ114から入ってきた光を電気信号に変換する。図4に示されるように、撮影部102のフォーカス位置は、交点109に合わせている。
FIG. 4 shows the state of the focus position of the photographing
一方、図5は、投影部101のフォーカス位置の様子を示している。レンズ112は、投影部101の投影光学系を模式的に1枚のレンズとして表したものであり、表示素子113は、明暗パターンを表示する。図5に示されるように、投影部101のフォーカス位置118は、交点109よりも奥に合わせている。
On the other hand, FIG. 5 shows the focus position of the
図4および図5に示されるような構成にすることにより、図16(c)に示されるように、計測面116での投影部101のデフォーカスによるコントラスト低下は、計測面117でのコントラスト低下よりも大きくなる。したがって、撮影距離と計測誤差との関係は、図17(b)に示されるような関係になり、撮影部102からの距離による撮影画像の明るさの変化と合わせると、計測面116の計測精度と計測面117の計測精度とは同程度となる。また、投影部101のフォーカス位置が交点109よりも奥にあるため、フォーカス位置が交点109にある場合に比べて、計測面117でのコントラストの低下は小さい。そのため、フォーカス位置が交点109にある場合に比べると計測面117での計測精度は向上する。すなわち、撮影距離全体に渡って計測誤差が一定の範囲に収まり精度の極端な低下が生じず、全体として一定の計測精度を得ることができる。
With the configuration shown in FIGS. 4 and 5, as shown in FIG. 16C, the contrast reduction due to the defocus of the
以上説明したように、投影部102のフォーカス位置を交点109よりも奥に設定することにより、計測空間110全域において一定の計測精度を得ることができる。投影部102のフォーカス位置を交点109に合わせた場合、計測空間110全域で本実施形態と同程度の計測精度を得るためには、投影部101もしくは撮影部102の結像性能を上げて撮影画像のコントラストを向上させるか、投影部101から投影される光量を上げる必要がある。しかし、本実施形態ではその必要がないため、投影部101、撮影部102の結像性能を必要以上に上げる必要がなく、投影部101、撮影部102を構成するレンズ枚数を削減することができ、全体としてコスト削減につながる。また、投影部101の光源の出力を小さくすることで低消費電力化や、光源から発生する熱が少なくなるため冷却系を小さくすることができ、小型化につながる。
As described above, by setting the focus position of the
ここで、計測空間の奥行が大きく、計測面116と計測面117との距離がより離れている場合、計測面116の撮影画像の明るさと計測面117の撮影画像の明るさとの差がより大きくなるため、投影部101のフォーカス位置を計測面117により近い位置に設定する。これにより、計測面117でのデフォーカスによるコントラスト低下が小さくなり、計測面117での精度低下をより軽減できる。
Here, when the depth of the measurement space is large and the distance between the
また、投影部101のレンズ112のデフォーカスによるコントラスト低下が大きい場合、投影部101のフォーカス位置を交点109に近い位置に設定する。これにより、計測面116でのデフォーカスによるコントラスト低下が小さくなり、計測面116での精度低下をより軽減できる。
When the contrast reduction due to the defocus of the
なお、投影部101のフォーカス位置を交点109よりも奥に合わせる方法としては、投影部101の投影光学系を設計する際にフォーカス位置を交点109よりも奥にしてもよい。また、投影部101がオートフォーカス機能を有する場合には、フォーカスを合わせるべき位置にフォーカス合わせ用のチャートを配置してフォーカスを合わせる方法、もしくは、交点109でフォーカスを合わせた後に、フォーカス調整用のレンズを用いて奥側にフォーカスを合わせる方法を取ってもよい。また、フォーカス位置が奥になりすぎると計測精度が低くなる箇所が表れてくるため、フォーカス位置は、コントラストと画像の明るさとの関係によって適切な位置に設定するとよい。
As a method for adjusting the focus position of the
また、交点109の検出方法としては、投影部101にて投影画像の中心のみ画像を投影し、計測面116に配置したスクリーンを奥に移動させながら撮影部102にて観察した際に、撮影画像の中心に投影画像の中心がきた位置を交点109とする方法がある。
Further, as a method for detecting the
本実施形態では、空間符号化法による三次元形状計測を行っており、エッジ位置の検出方法としてはネガポジ交点検出法を用いている。しかしながら、ネガポジ交点検出法に限定されず、微分フィルタによるエッジ位置の検出や強度分布の重心検出を行う方法を用いてもよい。また、三次元形状計測の方法も空間符号化法だけでなく、正弦波パターンを投影する位相シフト法や光切断法を用いてもよい。 In this embodiment, three-dimensional shape measurement is performed by a spatial encoding method, and a negative / positive intersection detection method is used as a method for detecting an edge position. However, the method is not limited to the negative / positive intersection detection method, and a method of detecting an edge position using a differential filter or detecting the center of gravity of an intensity distribution may be used. Further, the three-dimensional shape measurement method is not limited to the spatial encoding method, and a phase shift method or a light cutting method for projecting a sine wave pattern may be used.
(第2実施形態)
図6を参照して、第2実施形態に係る三次元形状計測装置の構成を説明する。三次元形状計測装置は、投影部201と、撮影部202と、制御部203とを備える。
(Second Embodiment)
With reference to FIG. 6, the structure of the three-dimensional shape measuring apparatus which concerns on 2nd Embodiment is demonstrated. The three-dimensional shape measurement apparatus includes a
投影部201は、パターン光を対象物体204へ投影する投影動作を実行するプロジェクタである。投影部201は、投影範囲205で示される空間へ投影可能である。投影部201は、第1実施形態とは異なり、光軸と投影画像中心とが一致しているものとする。
The
撮影部202は、パターン光が投影された対象物体204を撮影するカメラである。撮影部202は、撮影範囲206で示される空間を撮影可能である。制御部203は、例えばパーソナル・コンピュータであり、投影部201および撮影部202の動作を制御する。制御部203は、対象物体204の三次元形状を計測する処理も実行する。
The
次に、図7を参照して、第2実施形態に係る計測空間を説明する。光軸207は、投影部201から投影画像中心へ向かう軸であり、投影軸と一致している。光軸208は、撮影部202の光軸(撮影中心へ向かう撮影軸)である。交点209は、光軸207と光軸208とが交差する点である。計測空間210は、投影範囲205と撮影範囲206との両方に含まれ、当該投影範囲205と撮影範囲206とにより規定される空間である。本実施形態では、交点209は、計測空間中に含まれ、投影部201から観察した場合に計測空間210の奥行方向距離を二等分するように配置されている。計測面216は、計測空間210の中で、投影部201および撮影部202から最も近い計測面である。計測面217は、計測空間210の中で、投影部201および撮影部202から最も遠い計測面である。本実施形態では、交点209は、計測空間210の内部に設定されているが、必ずしも当該内部に限定されず外部であってもよい。
Next, a measurement space according to the second embodiment will be described with reference to FIG. The
第1実施形態と同様に、本実施形態に係る三次元形状計測装置は、空間符号化法による形状計測を行い、エッジ位置の検出方法としてネガポジ交点検出法を用いる。 Similar to the first embodiment, the three-dimensional shape measurement apparatus according to the present embodiment performs shape measurement by the spatial encoding method, and uses the negative / positive intersection detection method as the edge position detection method.
本実施形態においても、撮影部202のフォーカス位置を交点209に合わせ、投影部201のフォーカス位置を交点209よりも遠くに合わせる。
Also in the present embodiment, the focus position of the photographing
図8は、撮影部202のフォーカス位置の様子を示している。レンズ214は、撮影部202の撮影光学系を模式的に1枚のレンズとして表したものであり、撮影素子215は、レンズ214から入ってきた光を電気信号に変換する。図8に示されるように、撮影部202のフォーカス位置は、交点209に合わせている。
FIG. 8 shows the state of the focus position of the photographing
一方、図9は、投影部201のフォーカス位置の様子を示している。レンズ212は、投影部201の投影光学系を模式的に1枚のレンズとして表したものであり、表示素子213は、明暗パターンを表示する。図9に示されるように、投影部201のフォーカス位置は、交点209よりも遠くに合わせている。
On the other hand, FIG. 9 shows the state of the focus position of the
図8および図9に示されるような構成にすることにより、計測面216での投影部201のデフォーカスによるコントラスト低下は、計測面217でのコントラスト低下よりも大きくなる。したがって、撮影部202からの距離による撮影画像の明るさの変化と合わせると、計測面216の計測精度と計測面217の計測精度とは同程度となる。また、投影部201のフォーカス位置が交点209よりも遠くにあるため、フォーカス位置が交点209にある場合に比べて、計測面217でのコントラストの低下は小さい。そのため、フォーカス位置が交点209にある場合に比べると計測面217での計測精度は向上する。すなわち、撮影距離全体に渡って計測誤差が一定の範囲に収まり精度の極端な低下が生じず、全体として一定の計測精度を得ることができる。
With the configuration shown in FIGS. 8 and 9, the contrast reduction due to the defocus of the
以上説明したように、投影部201のフォーカス位置を交点209よりも遠くに設定することにより、計測空間210全域において一定の計測精度を得ることができる。投影部201のフォーカス位置を交点209に合わせた場合、計測空間210全域で本実施形態と同程度の計測精度を得るためには、投影部201もしくは撮影部202の結像性能を上げて撮影画像のコントラストを向上させるか、投影部201から投影される光量を上げる必要がある。しかし、本実施形態ではその必要がないため、投影部201、撮影部202の結像性能を必要以上に上げる必要がなく、投影部201、撮影部202を構成するレンズ枚数を削減することができ、全体としてコスト削減につながる。また、投影部201の光源の出力を小さくすることで低消費電力化や、光源から発生する熱が少なくなるため冷却系を小さくすることができ、小型化につながる。
As described above, by setting the focus position of the
(第3実施形態)
図10を参照して、第3実施形態に係る三次元形状計測装置の構成を説明する。三次元形状計測装置は、投影部301と、撮影部302と、制御部303とを備える。
(Third embodiment)
With reference to FIG. 10, the structure of the three-dimensional shape measuring apparatus which concerns on 3rd Embodiment is demonstrated. The three-dimensional shape measurement apparatus includes a
投影部301は、パターン光を対象物体304へ投影する投影動作を実行するプロジェクタである。投影部301は、投影範囲305で示される空間へ投影可能である。投影部301は、第1実施形態とは異なり、光軸と投影画像中心とが一致しているものとする。
The
撮影部302は、パターン光が投影された対象物体304を撮影するカメラである。撮影部302は、撮影範囲306で示される空間を撮影可能である。制御部303は、例えばパーソナル・コンピュータであり、投影部301および撮影部302の動作を制御する。制御部303は、対象物体304の三次元形状を計測する処理も実行する。
The
次に、図11を参照して、第3実施形態に係る計測空間を説明する。光軸307は、投影部301から投影画像中心へ向かう軸であり、投影軸と一致している。光軸308は、撮影部302の光軸(撮影中心へ向かう撮影軸)である。交点309は、光軸307と光軸308とが交差する点である。計測空間310は、投影範囲305と撮影範囲306との両方に含まれ、当該投影範囲305と撮影範囲306とにより規定される空間である。本実施形態では、交点309は、計測空間中に含まれている。計測面316は、計測空間310の中で、投影部301および撮影部302から最も近い計測面である。計測面317は、計測空間310の中で、投影部301および撮影部302から最も遠い計測面である。本実施形態では、交点309は、計測空間310の内部に設定されているが、必ずしも当該内部に限定されず外部であってもよい。
Next, a measurement space according to the third embodiment will be described with reference to FIG. An
第1実施形態と同様に、本実施形態に係る三次元形状計測装置は、空間符号化法による形状計測を行い、エッジ位置の検出方法としてネガポジ交点検出法を用いる。 Similar to the first embodiment, the three-dimensional shape measurement apparatus according to the present embodiment performs shape measurement by the spatial encoding method, and uses the negative / positive intersection detection method as the edge position detection method.
本実施形態では、投影部301のフォーカス位置及び撮影部302のフォーカス位置を交点309よりも奥に合わせる。
In the present embodiment, the focus position of the
図12は、投影部301と撮影部302のフォーカス位置の様子を示している。レンズ312は、投影部301の投影光学系を模式的に1枚のレンズとして表したものであり、表示素子313は、明暗パターンを表示する。レンズ314は、撮影部302の撮影光学系を模式的に1枚のレンズとして表したものであり、撮影素子315は、レンズ314から入ってきた光を電気信号に変換する。図12に示されるように、投影部301のフォーカス位置319と撮影部302のフォーカス位置320は、交点309よりも遠くに合わせている。更に、投影部301のフォーカス位置319と撮影部302のフォーカス位置320は、光軸307と垂直な平面上にある。
FIG. 12 shows the focus positions of the
図12に示されるような構成にすることにより、計測面316での投影部301及び撮影部302のデフォーカスによるコントラスト低下は、計測面317でのコントラスト低下よりも大きくなる。したがって、撮影部302からの距離による撮影画像の明るさの変化と合わせると、計測面316の計測精度と計測面317の計測精度とは同程度となる。また、投影部301及び撮影部302のフォーカス位置が交点309よりも遠くにあるため、フォーカス位置が交点309にある場合に比べて、計測面317でのコントラストの低下は小さい。そのため、フォーカス位置が交点309にある場合に比べると計測面317での計測精度は向上する。すなわち、撮影距離全体に渡って計測誤差が一定の範囲に収まり精度の極端な低下が生じず、全体として一定の計測精度を得ることができる。
With the configuration shown in FIG. 12, the contrast reduction due to the defocus of the
また、投影部301の投影光学系のデフォーカスによるコントラスト低下の影響が小さい場合、投影部301のフォーカス位置を交点309よりも奥にしても、投影と撮影の全系を通した画像のコントラストは撮影部302のフォーカス位置である交点309付近で最も良好になり、投影部301のフォーカス位置を交点309よりも奥にした効果が小さくなる。そのため、投影部301と撮影部302のフォーカス位置を共に交点309よりも奥にすることで、投影と撮影の全系を通した画像のコントラストは確実に交点309よりも奥で最も良好になり、本発明の効果がより大きくなる。
In addition, when the influence of contrast reduction due to defocus of the projection optical system of the
以上説明したように、投影部301のフォーカス位置を交点309よりも遠くに設定することにより、計測空間310全域において一定の計測精度を得ることができる。投影部301及び撮影部302のフォーカス位置を交点309に合わせた場合、計測空間310全域で本実施形態と同程度の計測精度を得るためには、投影部301もしくは撮影部302の結像性能を上げて撮影画像のコントラストを向上させるか、投影部301から投影される光量を上げる必要がある。しかし、本実施形態ではその必要がないため、投影部301、撮影部302の結像性能を必要以上に上げる必要がなく、投影部301、撮影部302を構成するレンズ枚数を削減することができ、全体としてコスト削減につながる。また、投影部301の光源の出力を小さくすることで低消費電力化や、光源から発生する熱が少なくなるため冷却系を小さくすることができ、小型化につながる。
As described above, by setting the focus position of the
本実施形態のように、投影部301と撮影部302のフォーカス位置が、投影部301の光軸307と垂直な平面上にあることで、投影部301と撮影部302のフォーカス調整時に投影部301から同じ距離にチャートを置いてフォーカス調整ができる。そのため、チャートを移動させずに投影部301と撮影部302のフォーカス調整ができるので、フォーカス調整時の工数を削減できる。
As in the present embodiment, since the focus positions of the
(第4実施形態)
図13を参照して、第4実施形態に係る三次元形状計測装置の構成を説明する。三次元形状計測装置は、投影部401と、撮影部402と、制御部403とを備える。
(Fourth embodiment)
With reference to FIG. 13, the structure of the three-dimensional shape measuring apparatus which concerns on 4th Embodiment is demonstrated. The three-dimensional shape measurement apparatus includes a
投影部401は、パターン光を対象物体404へ投影する投影動作を実行するプロジェクタである。投影部401は、投影範囲405で示される空間へ投影可能である。投影部401は、第1実施形態とは異なり、光軸と投影画像中心とが一致しているものとする。
The
撮影部402は、パターン光が投影された対象物体404を撮影するカメラである。撮影部402は、撮影範囲406で示される空間を撮影可能である。制御部403は、例えばパーソナル・コンピュータであり、投影部401および撮影部402の動作を制御する。制御部403は、対象物体404の三次元形状を計測する処理も実行する。
The
次に、図14を参照して、第4実施形態に係る計測空間を説明する。光軸407は、投影部401から投影画像中心へ向かう軸であり、投影軸と一致している。光軸408は、撮影部402の光軸(撮影中心へ向かう撮影軸)である。図18に示すように光軸407と光軸408とは交点を持たないが、光軸407と光軸408との距離が最も短くなるときの光軸407上(投影軸上)の近接点を409とする。これは、計測空間をシフトさせるためにわざと光軸に交点がない場合も考えられるし、投影部401と撮影部402の取り付け誤差による生じることも考えられる。計測空間410は、投影範囲405と撮影範囲406との両方に含まれ、当該投影範囲405と撮影範囲406とにより規定される空間である。本実施形態では、近接点409は、計測空間中に含まれている。計測面416は、計測空間410の中で、投影部401および撮影部402から最も近い計測面である。計測面417は、計測空間410の中で、投影部401および撮影部402から最も遠い計測面である。本実施形態では、近接点409は、計測空間410の内部に設定されているが、必ずしも当該内部に限定されず外部であってもよい。
Next, a measurement space according to the fourth embodiment will be described with reference to FIG. The
第1実施形態と同様に、本実施形態に係る三次元形状計測装置は、空間符号化法による形状計測を行い、エッジ位置の検出方法としてネガポジ交点検出法を用いる。 Similar to the first embodiment, the three-dimensional shape measurement apparatus according to the present embodiment performs shape measurement by the spatial encoding method, and uses the negative / positive intersection detection method as the edge position detection method.
本実施形態では、投影部401のフォーカス位置及び撮影部402のフォーカス位置は近接点409よりも奥に合わせる。
In the present embodiment, the focus position of the
図15は、投影部401と撮影部402のフォーカス位置の様子を示している。レンズ412は、投影部401の投影光学系を模式的に1枚のレンズとして表したものであり、表示素子413は、明暗パターンを表示する。レンズ414は、撮影部402の撮影光学系を模式的に1枚のレンズとして表したものであり、撮影素子415は、レンズ414から入ってきた光を電気信号に変換する。図15に示されるように、投影部401のフォーカス位置419と撮影部402のフォーカス位置420は近接点409よりも奥に合わせている。
FIG. 15 shows the focus positions of the
図15に示されるような構成にすることにより、投影部401及び撮影部402のフォーカス位置が近接点409よりも遠くにあるため、フォーカス位置が近接点409にある場合に比べて、計測面417でのコントラストの低下は小さい。そのため、フォーカス位置が近接点409にある場合に比べると計測面417での計測精度は向上する。すなわち、撮影距離全体に渡って計測誤差が一定の範囲に収まり精度の極端な低下が生じず、全体として一定の計測精度を得ることができる。
With the configuration shown in FIG. 15, since the focus position of the
以上説明したように、投影部401のフォーカス位置を近接点409よりも遠くに設定することにより、計測空間410全域において一定の計測精度を得ることができる。投影部401及び撮影部402のフォーカス位置を近接点409に合わせた場合、計測空間410全域で本実施形態と同程度の計測精度を得るためには、投影部401もしくは撮影部402の結像性能を上げて撮影画像のコントラストを向上させるか、投影部401から投影される光量を上げる必要がある。しかし、本実施形態ではその必要がないため、投影部401、撮影部402の結像性能を必要以上に上げる必要がなく、投影部401、撮影部402を構成するレンズ枚数を削減することができ、全体としてコスト削減につながる。また、投影部401の光源の出力を小さくすることで低消費電力化や、光源から発生する熱が少なくなるため冷却系を小さくすることができ、小型化につながる。
As described above, by setting the focus position of the
近接点409の検出方法としては、投影部401にて投影画像の中心のみ画像を投影し、計測面416に配置したスクリーンを奥に移動させながら撮影部402にて観察した際に、撮影画像の中心と投影画像の中心が最も近い位置を近接点409とする方法がある。
As a method for detecting the
(第5実施形態)
図19を参照して、第5実施形態に係る三次元形状計測装置の構成を説明する。三次元形状計測装置は、投影部501と、撮影部502と、撮影部503(第2の撮影部)と、制御部504とを備える。
(Fifth embodiment)
With reference to FIG. 19, the structure of the three-dimensional shape measuring apparatus which concerns on 5th Embodiment is demonstrated. The three-dimensional shape measurement apparatus includes a
投影部501は、パターン光を対象物体505へ投影する投影動作を実行するプロジェクタである。投影部501は、投影範囲506で示される空間へ投影可能である。投影部501は、第1実施形態とは異なり、光軸と投影画像中心とが一致しているものとする。
The
撮影部502および撮影部503は、パターン光が投影された対象物体504を撮影するカメラである。撮影部502は、撮影範囲507で示される空間を撮影可能である。撮影部503は、撮影範囲508で示される空間を撮影可能である。制御部504は、例えばパーソナル・コンピュータであり、投影部501、撮影部502および撮影部503の動作を制御する。制御部504は、対象物体505の三次元形状を計測する処理も実行する。
The photographing
次に、図20を参照して、第5実施形態に係る計測空間を説明する。光軸509は、投影部501から投影画像中心へ向かう軸であり、投影軸と一致している。光軸510は、撮影部502の光軸(撮影中心へ向かう撮影軸)である。光軸511は、撮影部503の光軸(撮影中心へ向かう撮影軸)である。交点512は、光軸509と光軸510、光軸511とが交差する点である。計測空間513は、投影範囲506と撮影範囲507、撮影範囲508との両方に含まれ、当該投影範囲506と撮影範囲507、撮影範囲508とにより規定される空間である。本実施形態では、交点512は計測空間中に含まれている。計測面514は、計測空間513の中で、投影部501、撮影部502および撮影部503から最も近い計測面である。計測面515は、計測空間513の中で、投影部501、撮影部502および撮影部503から最も遠い計測面である。本実施形態では、交点512は、計測空間513の内部に設定されているが、必ずしも当該内部に限定されず外部であってもよい。また、光軸509と光軸510、光軸511は必ずしも1つの点で交点を持つ必要はない。
Next, a measurement space according to the fifth embodiment will be described with reference to FIG. The
本実施形態に係る三次元形状計測装置では、第1から第4実施形態とは異なり、投影部501により投影された対象物体505を、撮影部502と、撮影部503とにより撮影した各画像から三角測量の原理を用いて対象物体505までの距離を算出する、アクティブステレオ方式(ステレオ法)を採用している。
In the three-dimensional shape measurement apparatus according to the present embodiment, unlike the first to fourth embodiments, the
アクティブステレオ方式では、撮影画像から投影部501で対象物体505に投影したパターンのエッジなどの特徴量を検出し、撮影部502および撮影部503により撮影された画像を対応付けて三角測量を行う。そのため、撮影部502および撮影部503により撮影された対象物体505の投影パターンのコントラストが高い程、エッジ位置の検出精度が高くなる。また、撮影部502および撮影部503により撮影された画像の明度が高い方が、撮影部502および撮影部503のSNが向上する。そのため、投影部501からの投影は明度が高い方がエッジ位置の検出精度が高くなる。
In the active stereo method, a feature amount such as an edge of a pattern projected onto a
そこで、本実施形態でも、投影部501および撮影部502、撮影部503のフォーカス位置を交点512よりも奥側に合わせる。
Therefore, also in the present embodiment, the focus positions of the
図21は、投影部501および撮影部502、撮影部503のフォーカス位置の様子を示している。レンズ516は、投影部501の投影光学系を模式的に1枚のレンズとして表したものであり、表示素子517は、明暗パターンを表示する。レンズ518は、撮影部502の撮影光学系を模式的に1枚のレンズとして表したものであり、撮影素子519は、レンズ518から入ってきた光を電気信号に変換する。レンズ520は、撮影部503の撮影光学系を模式的に1枚のレンズとして表したものであり、撮影素子521は、レンズ520から入ってきた光を電気信号に変換する。図21に示されるように、投影部501のフォーカス位置522と撮影部502のフォーカス位置523、撮影部503のフォーカス位置524は、交点512よりも遠くに合わせている。更に、影部501のフォーカス位置522と撮影部502のフォーカス位置523、撮影部503のフォーカス位置524は、光軸509と垂直な平面上にある。
FIG. 21 illustrates the focus positions of the
図21に示されるような構成にすることにより、計測面514での投影部501と撮影部502、撮影部503のデフォーカスによるコントラスト低下は、計測面515でのコントラスト低下よりも大きくなる。したがって、撮影部502と撮影部503からの距離による撮影画像の明るさの変化と合わせると、計測面514の計測精度と計測面515の計測精度とは同程度となる。また、投影部501と撮影部502、撮影部503のフォーカス位置が交点512よりも遠くにあるため、フォーカス位置が交点512にある場合に比べて、計測面515でのコントラストの低下は小さい。そのため、フォーカス位置が交点512にある場合に比べると計測面515での計測精度は向上する。すなわち、撮影距離全体に渡って計測誤差が一定の範囲に収まり精度の極端な低下が生じず、全体として一定の計測精度を得ることができる。
With the configuration shown in FIG. 21, the contrast reduction due to defocusing of the
以上説明したように、投影部501と撮影部502、撮影部503のフォーカス位置を交点512よりも遠くに設定することにより、計測空間513全域において一定の計測精度を得ることができる。投影部501と撮影部502、撮影部503のフォーカス位置を交点512に合わせた場合、計測空間513全域で本実施形態と同程度の計測精度を得るためには、投影部501もしくは撮影部502、撮影部503の結像性能を上げて撮影画像のコントラストを向上させるか、投影部501から投影される光量を上げる必要がある。しかし、本実施形態ではその必要がないため、投影部501と撮影部502、撮影部503の結像性能を必要以上に上げる必要がなく、投影部501と撮影部502、撮影部503を構成するレンズ枚数を削減することができ、全体としてコスト削減につながる。また、投影部501の光源の出力を小さくすることで低消費電力化や、光源から発生する熱が少なくなるため冷却系を小さくすることができ、小型化につながる。
As described above, by setting the focus positions of the
本実施形態のように、投影部501と撮影部502、撮影部503のフォーカス位置が、投影部501の光軸509と垂直な平面上にあることで、投影部501と撮影部502、撮影部503のフォーカス調整時に投影部501から同じ距離にチャートを置いてフォーカス調整ができる。そのため、チャートを移動させずに投影部501と撮影部502、撮影部503のフォーカス調整ができるので、フォーカス調整時の工数を削減できる。
As in the present embodiment, the
(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
(Other embodiments)
The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, etc.) of the system or apparatus reads the program. It is a process to be executed.
Claims (8)
前記投影パターンが投影された対象物体を撮影する撮影手段と、
前記撮影された画像に基づいて前記対象物体の三次元形状を計測する計測手段とを備え、
前記投影手段の投影光学系の焦点位置は、前記投影手段から観察した場合に、前記投影手段の投影軸と前記撮影手段の撮影軸との交点よりも奥、または前記投影手段の投影軸と前記撮影手段の撮影軸とが最も近接する前記投影軸上の点よりも奥に設定されていることを特徴とする三次元形状計測装置。 Projection means for projecting a predetermined projection pattern onto the target object;
Photographing means for photographing a target object onto which the projection pattern is projected;
Measuring means for measuring the three-dimensional shape of the target object based on the captured image;
The focal position of the projection optical system of the projection unit, when observed from the projection unit, is behind the intersection of the projection axis of the projection unit and the imaging axis of the imaging unit, or the projection axis of the projection unit and the A three-dimensional shape measuring apparatus, characterized in that it is set behind a point on the projection axis that is closest to an imaging axis of an imaging means.
前記計測手段は、空間符号化法により前記対象物体の形状を計測することを特徴とする請求項1乃至5の何れか1項に記載の三次元形状計測装置。 The projection means projects a light and dark pattern onto the target object,
The three-dimensional shape measuring apparatus according to claim 1, wherein the measuring unit measures the shape of the target object by a spatial encoding method.
前記計測手段は、位相シフト法により前記対象物体の形状を計測することを特徴とする請求項1乃至5の何れか1項に記載の三次元形状計測装置。 The projection means projects a sine wave pattern onto the target object,
The three-dimensional shape measuring apparatus according to claim 1, wherein the measuring unit measures the shape of the target object by a phase shift method.
撮影手段が、前記投影パターンが投影された対象物体を撮影する撮影工程と、
計測手段が、前記撮影された画像に基づいて前記対象物体の三次元形状を計測する計測工程と、を有し、
前記投影手段の投影光学系のフォーカス位置は、前記投影手段から観察した場合に前記投影手段の投影軸と前記撮影手段の撮影軸との交点よりも奥、または前記投影手段の投影軸と前記撮影手段の撮影軸とが最も近接する前記投影軸上の点よりも奥に設定されていることを特徴とする三次元形状計測方法。 A projecting step in which the projecting means projects a predetermined projection pattern onto the target object;
A photographing step in which the photographing unit photographs the target object on which the projection pattern is projected;
A measuring unit measuring a three-dimensional shape of the target object based on the captured image, and
The focus position of the projection optical system of the projection unit is behind the intersection of the projection axis of the projection unit and the imaging axis of the imaging unit when observed from the projection unit, or the projection axis of the projection unit and the imaging A three-dimensional shape measuring method, characterized in that it is set behind a point on the projection axis that is closest to the imaging axis of the means.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013088494A JP6193609B2 (en) | 2013-04-19 | 2013-04-19 | 3D shape measuring device, 3D shape measuring method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013088494A JP6193609B2 (en) | 2013-04-19 | 2013-04-19 | 3D shape measuring device, 3D shape measuring method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014211390A true JP2014211390A (en) | 2014-11-13 |
JP6193609B2 JP6193609B2 (en) | 2017-09-06 |
Family
ID=51931244
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013088494A Expired - Fee Related JP6193609B2 (en) | 2013-04-19 | 2013-04-19 | 3D shape measuring device, 3D shape measuring method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6193609B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110906884A (en) * | 2018-09-14 | 2020-03-24 | 株式会社三丰 | Three-dimensional geometry measuring apparatus and three-dimensional geometry measuring method |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03128408A (en) * | 1989-07-03 | 1991-05-31 | Nippondenso Co Ltd | Three-dimensional shape measuring method |
JP2010271199A (en) * | 2009-05-21 | 2010-12-02 | Canon Inc | Three-dimensional shape measuring device, three-dimensional shape measuring method, and computer program |
JP2013088261A (en) * | 2011-10-17 | 2013-05-13 | Canon Inc | Three-dimensional shape measuring instrument, method for controlling three-dimensional shape measuring instrument, and program |
-
2013
- 2013-04-19 JP JP2013088494A patent/JP6193609B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03128408A (en) * | 1989-07-03 | 1991-05-31 | Nippondenso Co Ltd | Three-dimensional shape measuring method |
JP2010271199A (en) * | 2009-05-21 | 2010-12-02 | Canon Inc | Three-dimensional shape measuring device, three-dimensional shape measuring method, and computer program |
JP2013088261A (en) * | 2011-10-17 | 2013-05-13 | Canon Inc | Three-dimensional shape measuring instrument, method for controlling three-dimensional shape measuring instrument, and program |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110906884A (en) * | 2018-09-14 | 2020-03-24 | 株式会社三丰 | Three-dimensional geometry measuring apparatus and three-dimensional geometry measuring method |
Also Published As
Publication number | Publication date |
---|---|
JP6193609B2 (en) | 2017-09-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5986364B2 (en) | Three-dimensional shape measuring apparatus, control method for three-dimensional shape measuring apparatus, and program | |
US9531938B2 (en) | Image-capturing apparatus | |
WO2010100842A1 (en) | Image capturing device, operator monitoring device, method for measuring distance to face, and program | |
US9131145B2 (en) | Image pickup apparatus and control method therefor | |
TW201312249A (en) | Image processing system and automatic focusing method | |
TWI543582B (en) | Image editing method and a related blur parameter establishing method | |
JP2016075658A (en) | Information process system and information processing method | |
CN106303201A (en) | Image capturing device and focusing method | |
JP2015121773A (en) | Imaging device | |
JP2014202875A (en) | Subject tracking device | |
JP2013254166A (en) | Imaging device and control method of the same | |
WO2014073590A1 (en) | Three-dimensional measuring device and three-dimensional measuring method | |
JP2014022806A (en) | Image pickup device and image pickup device control method | |
JP6193609B2 (en) | 3D shape measuring device, 3D shape measuring method | |
JP6381206B2 (en) | Image processing apparatus, control method thereof, and program | |
JP6247724B2 (en) | Measuring device | |
JP5447250B2 (en) | Ranging device and imaging device | |
JP2013061560A (en) | Distance measuring device, and imaging device | |
JP2008233389A (en) | Focus determination method, focus-determining device, and focus determination program | |
JP5362981B2 (en) | Imaging device | |
JP2015075648A (en) | Focus detection device, control method therefor, control program and imaging device | |
JP6089232B2 (en) | Imaging device | |
JP2015114370A (en) | Subject position detection device and subject position detection method | |
JP2015022028A (en) | Imaging device | |
JP2016178632A (en) | Imaging device, image processing device and image processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160415 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170214 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170215 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170414 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170509 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170704 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170718 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170810 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6193609 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |