JP2016186421A - Image processing method - Google Patents
Image processing method Download PDFInfo
- Publication number
- JP2016186421A JP2016186421A JP2015065725A JP2015065725A JP2016186421A JP 2016186421 A JP2016186421 A JP 2016186421A JP 2015065725 A JP2015065725 A JP 2015065725A JP 2015065725 A JP2015065725 A JP 2015065725A JP 2016186421 A JP2016186421 A JP 2016186421A
- Authority
- JP
- Japan
- Prior art keywords
- normal
- light source
- captured image
- angle
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
本発明は、画像処理方法に関し、特に、照度差ステレオ法を用いた画像処理方法に関する。 The present invention relates to an image processing method, and more particularly to an image processing method using an illuminance difference stereo method.
例えば、製品の形状や表面の傷等を目視確認する外観検査において、検査の効率と品質の向上を目的とした検査の自動化が求められている。近年、三次元非接触形状計測手法として、レーザ変位センサを走査させて計測する手法（特許文献１参照）やパターン光を物体に投影し投影光の撮影画像を解析することで物体の三次元形状を計測する手法（特許文献２参照）を適用した装置が利用されつつある。 For example, in an appearance inspection that visually confirms the shape of a product, scratches on the surface, etc., there is a demand for automation of inspection for the purpose of improving the efficiency and quality of the inspection. In recent years, as a three-dimensional non-contact shape measurement method, a method of measuring by scanning a laser displacement sensor (see Patent Document 1) or a three-dimensional shape of an object by projecting pattern light onto the object and analyzing a captured image of the projected light An apparatus to which a technique for measuring the above (see Patent Document 2) is being used.
しかしながら、これらの手法は、レーザの形状やパターン光の投影模様以上の分解能を実現することが困難であるとともに、物体への投影光が解析画像に鮮明に写っている必要があるため、投影光を十分なコントラストで撮影できない表面性状を持った物体（例えば、鏡面や黒体）の計測に弱い傾向がある。 However, these methods are difficult to achieve resolution higher than the laser shape and pattern light projection pattern, and the projection light on the object needs to be clearly reflected in the analysis image. Tends to be weak in measuring an object having a surface property (for example, a mirror surface or a black body) that cannot be photographed with sufficient contrast.
ところで、一般に、物体の表面に光を照射した場合、光の入射角度に対応して種々の方向に光が反射し、光の反射角度によって、光の強度（すなわち、輝度値）が変化することとなる。したがって、視点（カメラ）を固定して、物体の表面に複数の方向から光を照射して、その反射光の輝度値の変化を計測することによって、物体の立体形状を計測することが可能となる。この原理を用いた方法が照度差ステレオ法である。照度差ステレオ法では、カメラにより撮影された画像の観測輝度情報から、各画素における法線方向（すなわち、面法線ベクトル）を推定している。 By the way, in general, when light is irradiated on the surface of an object, the light is reflected in various directions corresponding to the incident angle of the light, and the intensity (that is, the luminance value) of the light changes depending on the reflection angle of the light. It becomes. Therefore, it is possible to measure the three-dimensional shape of an object by fixing the viewpoint (camera), irradiating light on the surface of the object from multiple directions, and measuring the change in the luminance value of the reflected light. Become. A method using this principle is the illuminance difference stereo method. In the illuminance difference stereo method, a normal direction (that is, a surface normal vector) in each pixel is estimated from observation luminance information of an image taken by a camera.
例えば、特許文献３には、照度差ステレオ法において、鏡面反射が存在する被写体では大きな誤差が生じること、鏡面反射を分離した拡散反射画像のみを利用することで鏡面反射の存在による推定誤差を無くすことができること、輝度値を用いて影領域を除去すること等が記載されている。また、特許文献１には、鏡面反射を分離する方法として種々の方法があることも記載されている（偏光フィルタを用いた方法、マルチスペクトルカメラを用いた方法、線形化画像を利用した方法等）。 For example, Patent Document 3 discloses that, in the illuminance difference stereo method, a large error occurs in a subject with specular reflection, and an estimation error due to the presence of specular reflection is eliminated by using only a diffuse reflection image obtained by separating specular reflection. And the removal of shadow areas using luminance values. Patent Document 1 also describes that there are various methods for separating specular reflection (a method using a polarization filter, a method using a multispectral camera, a method using a linearized image, etc. ).
上述した特許文献３に記載されたように、照度差ステレオ法を用いた場合、撮影画像中の正反射（鏡面反射ともいう）や影の影響が強い部分が誤差要因となることが知られている。そして、より微細で複雑な形状を高精度に計測するためには、正反射や影の強い部分を簡便かつ正確に除去する技術の開発が望まれている。また、照度差ステレオ法では、光源の位置と向きに起因する物体に対する照度のばらつきも誤差要因となる。また、複数の光源を用いた照度差ステレオ法では、全ての光源が同一の光度であることが好ましいが、実際には光源によって個体差が存在し、誤差要因となる。 As described in Patent Document 3 described above, when the illuminance-difference stereo method is used, it is known that a portion that is strongly influenced by regular reflection (also referred to as specular reflection) or shadow in a captured image becomes an error factor. Yes. In order to measure a finer and more complicated shape with high accuracy, it is desired to develop a technique for easily and accurately removing a portion having a strong regular reflection or shadow. In the illuminance difference stereo method, variation in illuminance with respect to an object due to the position and orientation of the light source is also an error factor. Further, in the illuminance difference stereo method using a plurality of light sources, it is preferable that all the light sources have the same luminous intensity, but actually there are individual differences depending on the light sources, which causes an error.
本発明は、上述した問題点に鑑み創案されたものであり、微細で複雑な形状の物体であっても外観や形状を高精度に計測することができる画像処理方法を提供することを目的とする。 The present invention was devised in view of the above-described problems, and an object of the present invention is to provide an image processing method capable of measuring the appearance and shape with high accuracy even for a fine and complicated object. To do.
本発明によれば、異なる位置に配置された複数の光源から物体に個別に光を照射して前記物体の撮影画像を個別に取得し、前記撮影画像における注目画素の輝度値の変化に基づいて前記注目画素の法線を推定する照度差ステレオ法を用いた画像処理方法において、前記注目画素における入射光軸と前記法線とのなす第一角度、前記注目画素における反射光軸と前記法線とのなす第二角度又は前記注目画素における入射光軸と光源軸とのなす第三角度のうち少なくとも何れか一つを用いて前記撮影画像を補正する、ことを特徴とする画像処理方法が提供される。 According to the present invention, an object is individually irradiated with light from a plurality of light sources arranged at different positions to individually acquire a captured image of the object, and based on a change in luminance value of a target pixel in the captured image. In the image processing method using an illuminance difference stereo method for estimating a normal line of the target pixel, a first angle formed by an incident optical axis and the normal line in the target pixel, a reflected light axis and the normal line in the target pixel The captured image is corrected using at least one of the second angle formed by the second angle and the third angle formed by the incident optical axis and the light source axis in the target pixel. Is done.
前記画像処理方法において、補正した前記撮影画像を用いて照度差ステレオ法により前記注目画素の法線を推定し直し、該法線の変化量が所定の閾値の範囲内に収束するまで、前記撮影画像の補正を繰り返すようにしてもよい。 In the image processing method, the normal of the pixel of interest is re-estimated by the illuminance difference stereo method using the corrected photographed image, and the photographing is performed until the amount of change of the normal converges within a predetermined threshold range. You may make it repeat correction | amendment of an image.
また、前記撮影画像の補正は、前記第一角度が９０°近傍における所定の閾値以上である場合に前記注目画素を影部と判断して前記撮影画像から除去することを含んでいてもよい。 Further, the correction of the captured image may include determining that the target pixel is a shadow part and removing it from the captured image when the first angle is equal to or greater than a predetermined threshold value in the vicinity of 90 °.
また、前記撮影画像の補正は、前記第一角度と前記第二角度との差分が０°近傍の所定の範囲内である場合に前記注目画素を正反射部と判断して前記撮影画像から除去することを含んでいてもよい。 Further, the correction of the captured image is performed by determining that the target pixel is a regular reflection portion and removing it from the captured image when the difference between the first angle and the second angle is within a predetermined range near 0 °. May include.
また、前記撮影画像の補正は、前記光源から一つの基準光源を選択し、ある光源の前記第三角度を用いて前記基準光源の配光特性から前記ある光源の光度を推定するとともに、前記基準光源及び前記ある光源の前記注目画素までの距離に基づく光の減衰率を考慮して、前記ある光源に対する前記注目画素の輝度値を補正することを含んでいてもよい。 Further, the correction of the photographed image is performed by selecting one reference light source from the light sources, estimating the light intensity of the certain light source from the light distribution characteristics of the reference light source using the third angle of the certain light source, and It may include correcting a luminance value of the target pixel with respect to the certain light source in consideration of a light attenuation rate based on a light source and a distance of the certain light source to the target pixel.
また、前記画像処理方法において、補正した前記撮影画像を用いて前記物体の外観形状を算出するようにしてもよい。 In the image processing method, the appearance shape of the object may be calculated using the corrected captured image.
また、前記画像処理方法は、前記撮影画像を取得する撮影工程と、輝度値を用いて正反射部及び影部を除去する第一除去工程と、照度差ステレオ法を用いて画素ごとに前記法線を推定する第一法線推定工程と、画素ごとに三次元座標を算出する第一座標算出工程と、前記法線を用いて正反射部及び影部を除去する第二除去工程と、画素ごとに観測輝度値を補正する輝度値補正工程と、補正した前記撮影画像について照度差ステレオ法を用いて画素ごとに法線を推定する第二法線推定工程と、補正した前記撮影画像について画素ごとに三次元座標を算出する第二座標算出工程と、前記第二法線推定工程で推定した法線の前記第一法線推定工程で推定した法線に対する変化量が所定の閾値以下に収束したか否か判断する判断工程と、を備え、前記法線の変化量が閾値以下に収束するまで前記第二除去工程〜前記判断工程を繰り返し処理するようにしてもよい。 Further, the image processing method includes a photographing step of acquiring the photographed image, a first removal step of removing the regular reflection portion and the shadow portion using a luminance value, and the method for each pixel using an illuminance difference stereo method. A first normal estimation step for estimating a line, a first coordinate calculation step for calculating a three-dimensional coordinate for each pixel, a second removal step for removing a regular reflection portion and a shadow portion using the normal, and a pixel A luminance value correcting step for correcting the observed luminance value every time, a second normal estimating step for estimating a normal for each pixel using the illuminance difference stereo method for the corrected captured image, and a pixel for the corrected captured image A second coordinate calculating step for calculating a three-dimensional coordinate for each of the two, and a change amount of the normal estimated in the second normal estimating step with respect to the normal estimated in the first normal estimating step converges to a predetermined threshold value or less. A determination step of determining whether or not It may be repeatedly process the second removing step to the said determining step until the change amount of the line is converged below a threshold.
上述した本発明の画像処理方法によれば、注目画素における、入射光軸と法線とのなす角度（第一角度）、反射光軸と法線とのなす角度（第二角度）又は入射光軸と光源軸とのなす角度（第三角度）のうち少なくとも何れか一つを用いて撮影画像を補正するようにしたことから、輝度値や偏向特性を用いた場合と比較して、簡便かつ正確に正反射や影の部分を除去したり、照度のばらつきを抑制したりすることができ、微細で複雑な形状の物体であっても外観や形状を高精度に計測することができる。 According to the image processing method of the present invention described above, the angle formed by the incident optical axis and the normal line (first angle), the angle formed by the reflected optical axis and the normal line (second angle), or incident light at the target pixel. Since the captured image is corrected using at least one of the angles (third angles) formed by the axis and the light source axis, it is simpler and easier than using the brightness value and the deflection characteristics. It is possible to accurately remove specular reflections and shadows, and to suppress variations in illuminance, and to measure the appearance and shape of a minute and complicated object with high accuracy.
例えば、第一角度が９０°近傍における所定の閾値以上である場合に注目画素を影部の影響を強く受けた部分と判断することができ、第一角度と第二角度との差分が０°近傍の所定の範囲内である場合に注目画素を正反射部の影響を強く受けた部分と判断することができる。したがって、本発明によれば、計測誤差の大きい輝度値に依存することがなく、かつ、複雑な計算を行うこともなく、正反射部や影部の影響を強く受けた部分を容易に除去することができる。 For example, when the first angle is greater than or equal to a predetermined threshold in the vicinity of 90 °, the target pixel can be determined as a portion that is strongly affected by the shadow, and the difference between the first angle and the second angle is 0 °. When it is within a predetermined range in the vicinity, it is possible to determine that the target pixel is a portion that is strongly influenced by the regular reflection portion. Therefore, according to the present invention, a portion that is strongly influenced by the regular reflection portion and the shadow portion is easily removed without depending on the luminance value having a large measurement error and without performing complicated calculation. be able to.
また、第三角度を用いて配光特性や距離差に起因する光の減衰率を考慮して注目画素の輝度値を補正することにより、光源の位置と向きに起因する物体に対する照度のばらつきや光源の個体差による影響を効果的に抑制することができる。 Also, by correcting the luminance value of the pixel of interest using the third angle in consideration of the light distribution characteristics and the light attenuation rate due to the distance difference, the variation in illuminance on the object due to the position and orientation of the light source The influence by the individual difference of a light source can be suppressed effectively.
以下、本発明の第一実施形態について図１〜図６を用いて説明する。ここで、図１は、照度差ステレオ法を用いた形状計測装置を示す概念図であり、（ａ）は側面図、（ｂ）は平面図、である。図２は、図１に示した光学系に使用されるレンズの説明図であり、（ａ）はテレセントリックレンズ、（ｂ）は通常のレンズ、を示している。図３は、物体の表面に光を照射したときの光の反射に関する説明図であり、（ａ）は撮影画像、（ｂ）は入射光及び反射光の位置関係、を示している。図４は、本発明の第一実施形態に係る画像処理方法を示すフロー図である。 Hereinafter, a first embodiment of the present invention will be described with reference to FIGS. Here, FIG. 1 is a conceptual diagram showing a shape measuring apparatus using an illuminance difference stereo method, where (a) is a side view and (b) is a plan view. 2A and 2B are explanatory diagrams of lenses used in the optical system shown in FIG. 1, in which FIG. 2A shows a telecentric lens and FIG. 2B shows a normal lens. FIGS. 3A and 3B are explanatory diagrams regarding light reflection when light is irradiated on the surface of an object. FIG. 3A shows a captured image, and FIG. 3B shows a positional relationship between incident light and reflected light. FIG. 4 is a flowchart showing the image processing method according to the first embodiment of the present invention.
最初に、本実施形態において使用する形状計測装置の概要について説明する。図１（ａ）及び図１（ｂ）に示した形状計測装置１は、異なる位置に配置された複数の光源２から物体Ｘに個別に光を照射して物体Ｘの撮影画像Ｐを個別に取得し、撮影画像Ｐにおける注目画素Ｔの輝度値の変化に基づいて法線ｎを画素単位で推定する照度差ステレオ法を用いたものである。 Initially, the outline | summary of the shape measuring apparatus used in this embodiment is demonstrated. The shape measuring apparatus 1 shown in FIG. 1A and FIG. 1B individually irradiates light to an object X from a plurality of light sources 2 arranged at different positions, and individually captures a captured image P of the object X. The illuminance difference stereo method is used in which the normal line n is acquired in units of pixels based on the acquired luminance value change of the target pixel T in the captured image P.
具体的には、形状計測装置１は、装置上部に光軸が鉛直になるようにカメラ３及びレンズ４を固定し、その下に高さが調整可能で水平な計測ステージ（図示せず）を設置している。この計測ステージを中心にドーム状の枠体（図示せず）を組み、そこに複数の光源２を取り付けている。図１（ｂ）では、一例として、１６個の光源２を図示しているが、かかる個数及び配置に限定されるものではない。なお、環境光の混入を防ぐために装置全体をパネルで覆うようにしてもよい。 Specifically, the shape measuring apparatus 1 has a camera 3 and a lens 4 fixed to the upper part of the apparatus so that the optical axis is vertical, and a horizontal measuring stage (not shown) having an adjustable height can be provided therebelow. It is installed. A dome-shaped frame (not shown) is assembled around the measurement stage, and a plurality of light sources 2 are attached thereto. In FIG. 1B, as an example, 16 light sources 2 are illustrated, but the number and arrangement are not limited thereto. The entire apparatus may be covered with a panel in order to prevent ambient light from entering.
光源２は、例えば、ＬＥＤモジュールにより構成される。ＬＥＤモジュールは、表面実装型白色ＬＥＤ素子を内蔵しており、前面から拡散板を介して発光面が白色拡散光を照射するように構成されている。このように、ＬＥＤ照明をモジュール化することにより、ＬＥＤ素子の放熱対策を行うことができるとともに、光の照射角度を制限して光が直接カメラに入射することを抑制することができる。 The light source 2 is composed of, for example, an LED module. The LED module incorporates a surface-mounted white LED element, and is configured such that the light emitting surface emits white diffused light from the front surface via a diffusion plate. Thus, by modularizing the LED illumination, it is possible to take measures against heat dissipation of the LED elements, and it is possible to limit the light irradiation angle and prevent light from directly entering the camera.
カメラ３は、例えば、１６００万画素程度のモノクロＣＣＤカメラであるが、かかるカメラに限定されるものではない。また、レンズ４は、例えば、両側テレセントリックレンズである。図２（ａ）に示したように、物体側レンズ４１と像側レンズ４２の焦点位置を同じくし、焦点位置に口径を小さくした絞りを置くことで、光学系の軸外の物点から出て開口絞りの中心を通過する光線（主光線）が、物体Ｘ側と像Ｉｍ側で光軸（図中、一点鎖線で示した直線）と平行になる光学系が両側テレセントリック（double-sided telecentric）である。 The camera 3 is, for example, a monochrome CCD camera having about 16 million pixels, but is not limited to such a camera. The lens 4 is a double-sided telecentric lens, for example. As shown in FIG. 2 (a), the object-side lens 41 and the image-side lens 42 have the same focal position, and a diaphragm with a small aperture is placed at the focal position, so that the object can be removed from an off-axis object point of the optical system. An optical system in which the light beam (chief ray) passing through the center of the aperture stop is parallel to the optical axis (straight line shown in the figure) on the object X side and the image Im side is double-sided telecentric. ).
図２（ｂ）に示したように、通常のレンズ４′での撮影画像は透視投影画像となるのに対し、両側テレセントリックレンズ（レンズ４）での撮影画像は平行投影画像となる。このため両側テレセントリックレンズでは、物体Ｘと光学系との間の距離が変化しても、被写界深度の範囲内であれば撮影画像上の像Ｉｍの大きさは変わらず、視差による画像歪みを低減することができる。なお、図２（ａ）及び図２（ｂ）において、説明の便宜上、物体Ｘ，Ｘ′及び像Ｉｍ，Ｉｍ′を両矢印で簡易的に表示している。 As shown in FIG. 2B, the captured image with the normal lens 4 ′ is a perspective projection image, whereas the captured image with the both-side telecentric lens (lens 4) is a parallel projection image. For this reason, in the double-sided telecentric lens, even if the distance between the object X and the optical system changes, the size of the image Im on the captured image does not change as long as it is within the depth of field, and image distortion due to parallax Can be reduced. In FIGS. 2A and 2B, the objects X and X ′ and the images Im and Im ′ are simply displayed with double arrows for convenience of explanation.
また、光源２、カメラ３及びレンズ４は、図１（ａ）に示したように、制御装置５に接続されている。制御装置５は、光源２の発光、カメラ３の撮影、レンズ４の焦点、撮影画像の記憶や解析等の処理を行う。また、制御装置５は、後述する本発明の第一実施形態に係る画像処理方法を実行するプログラムが格納されており、カメラ３による撮影画像を所定のフローに従って補正する。なお、図１（ｂ）では、説明の便宜上、制御装置５の図を省略してある。 The light source 2, the camera 3, and the lens 4 are connected to the control device 5 as shown in FIG. The control device 5 performs processing such as light emission of the light source 2, photographing by the camera 3, focus of the lens 4, storage and analysis of the photographed image. The control device 5 stores a program for executing an image processing method according to the first embodiment of the present invention, which will be described later, and corrects an image captured by the camera 3 according to a predetermined flow. In FIG. 1B, the illustration of the control device 5 is omitted for convenience of explanation.
ここで、ある光源２から物体Ｘに光を照射して、レンズ４を介してカメラ３で撮影した撮影画像Ｐについて説明する。例えば、図３（ａ）に示したように、物体Ｘとして白色セラミックス球を使用した場合、物体Ｘの表面には、一般に、白く明るく表示される正反射部Ｍ（鏡面反射ともいう）及び暗く表示される影部Ｓ（アタッチドシャドウともいう）が生じる。 Here, a photographed image P shot by the camera 3 through the lens 4 by irradiating the object X with light from a certain light source 2 will be described. For example, as shown in FIG. 3A, when a white ceramic sphere is used as the object X, the surface of the object X generally has a regular reflection portion M (also referred to as specular reflection) that is displayed bright white and dark. A displayed shadow S (also referred to as an attached shadow) is generated.
いま、撮影画像Ｐ中の注目画素Ｔに対応する物体Ｘ上の点Ｔｘにおける光の反射について考察する。図３（ｂ）に示したように、点Ｔｘにおける入射光軸をｃ、反射光軸をｒ、法線をｎ、光源軸（光源の中心軸）をＬとすれば、入射光軸ｃと法線ｎとのなす角度は第一角度θ１、反射光軸ｒと法線ｎとのなす角度は第二角度θ２、入射光軸ｃと光源軸Ｌとのなす角度は第三角度θ３と表示することができる。 Now, the reflection of light at the point Tx on the object X corresponding to the target pixel T in the captured image P will be considered. As shown in FIG. 3B, when the incident optical axis at the point Tx is c, the reflected optical axis is r, the normal is n, and the light source axis (the central axis of the light source) is L, the incident optical axis c and The angle formed by the normal line n is the first angle θ 1 , the angle formed by the reflected light axis r and the normal line n is the second angle θ 2 , and the angle formed by the incident light axis c and the light source axis L is the third angle θ. 3 can be displayed.
そして、本発明の第一実施形態に係る画像処理方法は、図４に示したように、異なる位置に配置された複数の光源２から物体Ｘに個別に光を照射して物体Ｘの撮影画像Ｐを個別に取得し、この撮影画像Ｐにおける注目画素Ｔの輝度値（観測輝度値ともいう）の変化に基づいて注目画素Ｔの法線ｎを推定する照度差ステレオ法を用い、注目画素Ｔにおける入射光軸ｃと法線ｎとのなす第一角度θ１、注目画素Ｔにおける反射光軸ｒと法線ｎとのなす第二角度θ２及び注目画素Ｔにおける入射光軸ｃと光源軸Ｌとのなす第三角度θ３を用いて撮影画像Ｐを補正するようにしたものである。 Then, as shown in FIG. 4, the image processing method according to the first embodiment of the present invention irradiates the object X with light individually from a plurality of light sources 2 arranged at different positions, and takes a captured image of the object X. Using the illuminance difference stereo method that obtains P individually and estimates the normal line n of the pixel of interest T based on a change in the luminance value (also referred to as an observed luminance value) of the pixel of interest T in the captured image P. , The first angle θ 1 formed by the incident optical axis c and the normal line n, the second angle θ 2 formed by the reflected optical axis r and the normal line n at the target pixel T, and the incident optical axis c and the light source axis at the target pixel T. The captured image P is corrected using the third angle θ 3 formed with L.
具体的には、図４に示したフロー図に従って撮影画像Ｐを補正する。図４に示した画像処理方法は、異なる光源２から個別に物体Ｘに光を照射して撮影画像Ｐを取得する撮影工程Ｓｔｅｐ１と、撮影画像Ｐから観測輝度値を用いて正反射部Ｍ及び影部Ｓを構成する画素を除去する第一除去工程Ｓｔｅｐ２と、照度差ステレオ法を用いて画素ごとに法線ｎを推定する第一法線推定工程Ｓｔｅｐ３と、画素ごとに三次元座標を算出する第一座標算出工程Ｓｔｅｐ４と、法線ｎを用いた正反射部Ｍ及び影部Ｓを構成する画素を除去する第二除去工程Ｓｔｅｐ５と、画素ごとに観測輝度値を補正する輝度値補正工程Ｓｔｅｐ６と、補正した撮影画像Ｐについて照度差ステレオ法を用いて画素ごとに法線ｎを推定する第二法線推定工程Ｓｔｅｐ７と、補正した撮影画像Ｐについて画素ごとに三次元座標を算出する第二座標算出工程Ｓｔｅｐ８と、第二法線推定工程Ｓｔｅｐ７で推定した法線ｎの第一法線推定工程Ｓｔｅｐ３で推定した法線ｎに対する変化量が所定の閾値以下に収束したか否か判断する判断工程Ｓｔｅｐ９と、を備え、法線ｎの変化量が閾値以下に収束するまで第二除去工程Ｓｔｅｐ５〜判断工程Ｓｔｅｐ９を繰り返し処理するようにしたものである。 Specifically, the captured image P is corrected according to the flowchart shown in FIG. The image processing method shown in FIG. 4 includes an imaging step Step 1 in which the object X is individually irradiated with light from different light sources 2 to acquire the captured image P, and the specular reflection unit M and the observation brightness value from the captured image P. First removal step Step2 for removing the pixels constituting the shadow S, first normal estimation step Step3 for estimating the normal n for each pixel using the illuminance difference stereo method, and calculating three-dimensional coordinates for each pixel A first coordinate calculation step Step 4 to perform, a second removal step Step 5 to remove the pixels constituting the specular reflection portion M and the shadow portion S using the normal line n, and a luminance value correction step to correct the observation luminance value for each pixel Step 6, a second normal estimation step Step 7 for estimating the normal n for each pixel using the illuminance difference stereo method for the corrected captured image P, and a first calculation of three-dimensional coordinates for each pixel of the corrected captured image P. Two coordinates Judgment step of judging whether or not the amount of change of the normal n estimated in the first normal estimation step Step3 and the normal n estimated in the second normal estimation step Step7 has converged to a predetermined threshold value or less. Step 9, and the second removal step Step 5 to the determination step Step 9 are repeatedly performed until the change amount of the normal line n converges to a threshold value or less.
撮影工程Ｓｔｅｐ１は、例えば、形状計測装置１のＮ＝１〜１６までの光源２について、順番に物体Ｘに光を照射して、その光に照らされた状態の物体Ｘを個別にカメラ３で撮影する工程である。したがって、例えば、本実施形態では、１６枚の撮影画像Ｐを取得することができる。 In the photographing step Step 1, for example, with respect to the light source 2 of N = 1 to 16 of the shape measuring apparatus 1, the object X is irradiated with light in order, and the object X in a state illuminated by the light is individually captured by the camera 3. It is a process of photographing. Therefore, for example, in the present embodiment, 16 captured images P can be acquired.
第一除去工程Ｓｔｅｐ２は、撮影画像Ｐの各画素における観測輝度値から強い正反射部Ｍ及び強い影部Ｓを一次スクリーニング的に除去する工程である。例えば、８ビット画像において、観測輝度値が２５０以上又は２５５の部分は強い正反射部Ｍとして除去し、観測輝度値が５以下又は０の部分は強い影部Ｓとして、撮影画像Ｐから除去する。なお、この第一除去工程Ｓｔｅｐ２は、必要に応じて省略してもよい。 The first removal step Step2 is a step of removing the strong regular reflection portion M and the strong shadow portion S from the observed luminance value in each pixel of the captured image P in a primary screening manner. For example, in an 8-bit image, a portion having an observation luminance value of 250 or more or 255 is removed as a strong regular reflection portion M, and a portion having an observation luminance value of 5 or less or 0 is removed from the captured image P as a strong shadow portion S. . In addition, you may abbreviate | omit this 1st removal process Step2 as needed.
第一法線推定工程Ｓｔｅｐ３は、第一除去工程Ｓｔｅｐ２で除去した画素は除いて、撮影画像Ｐの画素ごとに照度差ステレオ法を用いて法線ｎを推定する工程である。法線ｎを推定する際には、光の方向と明るさの関係を示す関係式、Ｉ＝λvec{ｎ}・vec{ｃ}により、vec{ｎ}を推定する。ここで、Ｉは画素の明るさ（輝度値）、λは拡散反射率（アルベド）、vec{ｎ}は面法線ベクトル、vec{ｃ}は入射光軸ベクトル、を示している。 The first normal estimation step Step3 is a step of estimating the normal n using the illuminance difference stereo method for each pixel of the captured image P except for the pixels removed in the first removal step Step2. When the normal n is estimated, vec {n} is estimated by a relational expression indicating the relationship between the direction of light and brightness, I = λvec {n} · vec {c}. Here, I is the brightness (luminance value) of the pixel, λ is the diffuse reflectance (albedo), vec {n} is the surface normal vector, and vec {c} is the incident optical axis vector.
この関係式は、行列を用いて表現すれば、数１式のように表現することができる。なお、Ｉは画素の観測輝度値、Ｎは光源２の数、ＸはＸ座標、ＹはＹ座標、ＺはＺ座標を示している。また、（ｃＮｘ，ｃＮｙ，ｃＮｚ）は、Ｎ番目の光源２のＸＹＺ座標、（ｎｘ，ｎｙ，ｎｚ）は画素の法線ベクトル、を示している。 If this relational expression is expressed using a matrix, it can be expressed as shown in Equation 1. Here, I is the observed luminance value of the pixel, N is the number of light sources 2, X is the X coordinate, Y is the Y coordinate, and Z is the Z coordinate. Further, (c Nx , c Ny , c Nz ) indicates the XYZ coordinates of the Nth light source 2, and (n x , n y , n z ) indicates the normal vector of the pixel.
第一座標算出工程Ｓｔｅｐ４は、推定した法線ｎの条件を満たすように、各画素の中心点における三次元座標（ＸＹＺ座標）を算出する工程である。各画素の三次元座標を算出することにより、物体Ｘの三次元形状を復元することができる。このとき、Ｚ座標、すなわち、物体Ｘの高さを算出するには、種々の方法がある。例えば、ポアソン方程式を用いた積分による手法、隣り合う画素の相対高さを円弧近似で定義する手法、パラメトリック曲面を用いる手法等を用いることができる。 The first coordinate calculation step Step 4 is a step of calculating three-dimensional coordinates (XYZ coordinates) at the center point of each pixel so as to satisfy the condition of the estimated normal line n. By calculating the three-dimensional coordinates of each pixel, the three-dimensional shape of the object X can be restored. At this time, there are various methods for calculating the Z coordinate, that is, the height of the object X. For example, an integration method using Poisson's equation, a method of defining the relative height of adjacent pixels by arc approximation, a method using a parametric curved surface, or the like can be used.
また、物体Ｘの三次元形状の復元には、照度差ステレオ法により算出される法線ｎは一様分布であること、正則な曲面は曲面上の任意の点の近傍において二次の高さ関数により表現可能であることから、曲面表現には一様双二次のＢ-ｓｐｌｉｎｅ曲面を用いるようにしてもよい。Ｂ-ｓｐｌｉｎｅ曲面を用いることにより、省メモリで計算コストが低い、高精度で密な連続した形状の復元が可能である、そのままＣＡＥ（Computer Aided Engineering）やＣＡＭ（Computer Aided Manufacturing）等の工程で使用することができ等の利点が得られる。 In order to restore the three-dimensional shape of the object X, the normal n calculated by the illuminance difference stereo method has a uniform distribution, and the regular curved surface has a secondary height in the vicinity of an arbitrary point on the curved surface. Since it can be expressed by a function, a uniform biquadratic B-spline curved surface may be used for the curved surface representation. By using a B-spline curved surface, it is possible to restore a high-precision and dense continuous shape with low memory and low calculation cost, and in a process such as CAE (Computer Aided Engineering) or CAM (Computer Aided Manufacturing) as it is The advantage that it can be used is obtained.
第二除去工程Ｓｔｅｐ５は、推定した法線ｎと算出した三次元座標を用いて求められる第一角度θ１及び第二角度θ２を用いて正反射部Ｍ及び影部Ｓの影響を強く受けている画素を撮影画像Ｐから除去する工程である。上述したように、光源２から物体Ｘに光を照射すると反射や影を生じる。特に、正反射部Ｍや影部Ｓによる輝度値の変化は法線推定の誤差要因となるため、法線推定過程において撮影画像Ｐ上の正反射部Ｍや影部Ｓの影響が強い画素を除去することが好ましい。 Second removing step Step5 is strongly influenced by the specular reflection portion M and the shadow portion S using a first angle theta 1 and the second angle theta 2 obtained using three-dimensional coordinates calculated with normal n estimated This is a step of removing the pixels that are present from the captured image P. As described above, when light is irradiated from the light source 2 to the object X, reflection and shadow are generated. In particular, since the change in luminance value due to the specular reflection portion M and the shadow portion S causes an error factor in normal estimation, pixels having a strong influence of the regular reflection portion M and the shadow portion S on the captured image P in the normal estimation process are selected. It is preferable to remove.
本実施形態では、光線ベクトル（入射光軸ｃ及び反射光軸ｒ）と物体Ｘの表面における法線ｎとの間の角度（第一角度θ１及び第二角度θ２）を画素ごとに高精度に算出して評価することにより、正反射部Ｍや影部Ｓの除去を行っている。また、本実施形態では、レンズ４に視差による画像歪みやレンズの歪曲収差が少ない両側テレセントリックレンズを使用していることから、第一角度θ１及び第二角度θ２を容易に算出することができる。 In the present embodiment, the angle (first angle θ 1 and second angle θ 2 ) between the light vector (incident optical axis c and reflected optical axis r) and the normal n on the surface of the object X is increased for each pixel. The regular reflection portion M and the shadow portion S are removed by calculating and evaluating the accuracy. In the present embodiment, since the lens 4 uses a double-sided telecentric lens with little image distortion due to parallax and lens distortion, the first angle θ 1 and the second angle θ 2 can be easily calculated. it can.
正反射は、光の入射角と反射角が等しい場合に生じる現象である。すなわち、第一角度θ１と第二角度θ２とが一致している部分の観測輝度値には、高い比率で正反射成分が含まれていると考えられる。そこで、本実施形態では、第一角度θ１と第二角度θ２との差分が０°近傍の所定の範囲内である場合に、その注目画素Ｔを正反射部Ｍの影響を受けている部分と判断して撮影画像Ｐから除去している。ここで、所定の範囲とは、例えば、０°≦｜θ１−θ２｜≦２０°であってもよいし、０°≦｜θ１−θ２｜≦１０°であってもよいし、０°≦｜θ１−θ２｜≦５°であってもよい。 Regular reflection is a phenomenon that occurs when the incident angle of light is equal to the reflection angle. That is, it is considered that the specular reflection component is included at a high ratio in the observed luminance value of the portion where the first angle θ 1 and the second angle θ 2 match. Therefore, in the present embodiment, when the difference between the first angle θ 1 and the second angle θ 2 is within a predetermined range near 0 °, the target pixel T is affected by the regular reflection portion M. It is determined as a portion and removed from the captured image P. Here, the predetermined range may be, for example, 0 ° ≦ | θ 1 −θ 2 | ≦ 20 °, or may be 0 ° ≦ | θ 1 −θ 2 | ≦ 10 °. 0 ° ≦ | θ 1 −θ 2 | ≦ 5 °.
また、アタッチドシャドウは、物体Ｘの表面における法線方向と光源軸方向との関係により直接光の当たらない部分に生じる影である。すなわち、第一角度θ１の大きさが、例えば、９０°よりも大きい場合は、アタッチドシャドウが発生していると考えられる。そこで、本実施形態では、第一角度θ１が９０°近傍の所定の閾値以上である場合に、その注目画素Ｔを影部Ｓの影響を受けている部分と判断して撮影画像Ｐから除去している。ここで、所定の閾値以上とは、例えば、θ１≧７０°であってもよいし、θ１≧８０°であってもよいし、θ１≧８５°であってもよいし、θ１≧９０°であってもよい。 The attached shadow is a shadow that is generated in a portion that is not directly exposed to light due to the relationship between the normal direction on the surface of the object X and the light source axis direction. That is, when the size of the first angle θ 1 is larger than 90 °, for example, it is considered that an attached shadow is generated. Therefore, in the present embodiment, when the first angle θ 1 is equal to or greater than a predetermined threshold value in the vicinity of 90 °, the target pixel T is determined as a portion affected by the shadow portion S and is removed from the captured image P. doing. Here, the predetermined threshold value or more may be, for example, θ 1 ≧ 70 °, θ 1 ≧ 80 °, θ 1 ≧ 85 °, or θ 1 It may be ≧ 90 °.
なお、本実施形態では、正反射部Ｍ及び影部Ｓの影響が強い画素の両方を除去しているが、必要に応じて、正反射部Ｍの影響が強い画素のみを除去するようにしてもよいし、影部Ｓの影響が強い画素のみを除去するようにしてもよい。 In the present embodiment, both the pixels that are strongly influenced by the regular reflection portion M and the shadow portion S are removed, but only the pixels that are strongly influenced by the regular reflection portion M are removed as necessary. Alternatively, only the pixels that are strongly influenced by the shadow S may be removed.
輝度値補正工程Ｓｔｅｐ６は、注目画素Ｔにおける入射光の拡散度（すなわち、第三角度θ３の大きさ）及び注目画素Ｔから光源２までの距離ｄ（図１参照）に基づいて、注目画素Ｔの観測輝度値を補正する工程である。 The luminance value correcting step Step 6 is based on the diffusion degree of incident light at the target pixel T (that is, the size of the third angle θ 3 ) and the distance d from the target pixel T to the light source 2 (see FIG. 1). This is a step of correcting the observed luminance value of T.
一般的な照度差ステレオ法では、光源２からの光は平行光でかつ各光源２からの光の照度は等しいという前提条件があるため、光源２の方向を推定することで光源２ごとに単一の光線ベクトルを決定すればよい。しかしながら、図１に示した形状計測装置１の光源２は、物体Ｘまでの距離が比較的近接している（例えば、４００ｍｍ程度）であるため、光源２からの光は拡散光として扱うべきである。 In a general illuminance difference stereo method, there is a precondition that the light from the light source 2 is parallel light and the illuminance of the light from each light source 2 is equal. One ray vector may be determined. However, since the light source 2 of the shape measuring apparatus 1 shown in FIG. 1 is relatively close to the object X (for example, about 400 mm), the light from the light source 2 should be treated as diffused light. is there.
拡散光の場合は、光の到達点（撮影画素）ごとに光線ベクトル（入射光軸ｃ）が異なるため、三次元空間における光源２の位置を推定し、それを元に算出した撮影画素ごとの光線ベクトル（入射光軸ｃ）を照度方程式に適用することで精度向上を図ることができる。なお、本実施形態において、光源２は、発光面の寸法が物体Ｘと光源２間の距離と比較して十分に小さいことから、点光源として扱うことができる。 In the case of diffused light, the light vector (incident optical axis c) is different for each light arrival point (photographing pixel). Therefore, the position of the light source 2 in the three-dimensional space is estimated and calculated for each photographing pixel. The accuracy can be improved by applying the light vector (incident optical axis c) to the illuminance equation. In the present embodiment, the light source 2 can be treated as a point light source because the dimension of the light emitting surface is sufficiently smaller than the distance between the object X and the light source 2.
また、光源２と物体Ｘ間の距離ｄを算出することで、光の逆二乗の法則（光の強さは光源からの距離の二乗に反比例すること）を考慮して、複数の光源２から選択した基準光源（例えば、注目画素Ｔに最も近い光源２）に対する距離差に基づいて、光源２の光度を基準光源の光度に対する比率として表現することができ、光源２の個体差による影響を低減することができる。さらに、光源２の方向（すなわち、第三角度θ３）を把握することで、拡散光の配光特性を考慮した観測輝度値の補正も可能となる。本実施形態では、レンズ４として歪みの少ない両側テレセントリックレンズを使用していることから、これらの補正を容易に行うことができる。 In addition, by calculating the distance d between the light source 2 and the object X, it is possible to calculate the distance d from the plurality of light sources 2 in consideration of the law of inverse square of light (the intensity of light is inversely proportional to the square of the distance from the light source). Based on the distance difference with respect to the selected reference light source (for example, the light source 2 closest to the target pixel T), the light intensity of the light source 2 can be expressed as a ratio to the light intensity of the reference light source, thereby reducing the influence of individual differences of the light source 2. can do. Furthermore, by grasping the direction of the light source 2 (that is, the third angle θ 3 ), the observation luminance value can be corrected in consideration of the light distribution characteristic of the diffused light. In this embodiment, since the both-side telecentric lens with little distortion is used as the lens 4, these corrections can be easily performed.
したがって、輝度値補正工程Ｓｔｅｐ６における補正は、光源２から一つの基準光源を選択し、ある光源２の第三角度θ３を用いて基準光源の配光特性からある光源２の光度を推定するとともに、基準光源及びある光源２の注目画素Ｔまでの距離ｄに基づく光の減衰率を考慮して、ある光源２に対する注目画素Ｔの輝度値を補正するものであると言い換えることができる。なお、基準光源としては、注目画素Ｔに最も近い光源２に限定されるものではなく、複数の光源２から任意に選択することができる。 Therefore, the correction in the luminance value correction step Step 6 selects one reference light source from the light source 2 and estimates the luminous intensity of a certain light source 2 from the light distribution characteristics of the reference light source using the third angle θ 3 of the certain light source 2. In other words, the luminance value of the target pixel T with respect to a certain light source 2 is corrected in consideration of the light attenuation rate based on the distance d to the target pixel T of the reference light source and the certain light source 2. Note that the reference light source is not limited to the light source 2 closest to the target pixel T, and can be arbitrarily selected from a plurality of light sources 2.
さらに、本実施形態において、物体Ｘに照射された実際の光の強さと撮影画像Ｐの観測輝度値の関係を表すカメラレスポンス関数ｆ（Ｉ）を導出して観測輝度値の補正を行うようにしてもよい。照度差ステレオ法においては、物体Ｘに照射された実際の光の強さと撮影画像Ｐの観測輝度値の関係を表すカメラレスポンス関数ｆ（Ｉ）が線形であるという前提があるが、実際にはカメラ内部で行われるガンマ補正等の影響により線形でない場合が多い。 Furthermore, in this embodiment, the camera luminance function is corrected by deriving a camera response function f (I) representing the relationship between the actual light intensity irradiated on the object X and the observed luminance value of the captured image P. May be. In the illuminance difference stereo method, there is a premise that the camera response function f (I) representing the relationship between the actual light intensity irradiated to the object X and the observed luminance value of the captured image P is linear. In many cases, it is not linear due to the effect of gamma correction performed inside the camera.
カメラレスポンス関数ｆ（Ｉ）の非線形性は算出される法線ｎの誤差要因となるため、事前にカメラレスポンス関数ｆ（Ｉ）を求め、観測輝度値に補正を加えるようにしてもよい。カメラレスポンス関数ｆ（Ｉ）の推定については、画像ノイズの分散の情報から推定する手法や輝度値の制御が可能な輝度箱を用いる方法等がある。 Since the non-linearity of the camera response function f (I) becomes an error factor of the calculated normal n, the camera response function f (I) may be obtained in advance and the observed luminance value may be corrected. As for estimation of the camera response function f (I), there are a method of estimating from the information of variance of image noise, a method of using a luminance box capable of controlling the luminance value, and the like.
また、一般的な照度差ステレオ法では、各光源２から物体Ｘに照射される光の照度が均一であるという前提条件がある。各光源２からの照度が不均一な場合、照度方程式に誤差を含むため、法線ｎの推定精度に影響を与えることがある。しかしながら、実際の光源２は、物体Ｘと光源２間の距離の差や光源２の輝度の個体差により、物体Ｘに対して全ての光源２の照度を均一にすることは略不可能である。 Further, in the general illuminance difference stereo method, there is a precondition that the illuminance of light irradiated from each light source 2 to the object X is uniform. If the illuminance from each light source 2 is not uniform, the illuminance equation includes an error, which may affect the estimation accuracy of the normal n. However, in the actual light source 2, it is almost impossible to make the illuminances of all the light sources 2 uniform with respect to the object X due to the difference in distance between the object X and the light source 2 and the individual difference in luminance of the light source 2. .
ここで、光源２の照度のばらつきは、ＬＥＤの個体差や製作したＬＥＤ制御装置の回路損失に起因しているものと考えられる。そこで、本実施形態では、各光源２の輝度を輝度計により測定し、各光源２の輝度値Ｉｉと全ての光源２における最大輝度値Ｉｍａｘを用いて、個体差補正係数ｂｉをＩｍａｘ／Ｉｉの計算式により算出した。 Here, it is considered that the variation in the illuminance of the light source 2 is caused by individual differences of LEDs and circuit loss of the manufactured LED control device. Therefore, in this embodiment, the luminance of each light source 2 is measured by a luminance meter, and the individual difference correction coefficient bi is set to Imax / Ii using the luminance value Ii of each light source 2 and the maximum luminance value Imax of all the light sources 2. It was calculated by the calculation formula.
以上の補正内容を纏めると、数２式のように輝度値補正関数を導出することができる。ここで、Ｉは注目画素Ｔの観測輝度値、ｆ（Ｉ）はカメラレスポンス関数、ｄは撮影画像Ｐで使用した光源２と注目画素Ｔ間の距離、ｄｍｉｎは全光源において注目画素Ｔとの距離が最も近い光源２と注目画素Ｔ間の距離、ｎは配光特性モデルにおける乗数、Ｉｃは注目画素Ｔの補正した輝度値、ｂｉは光源２の個体差補正係数、を示している。 Summarizing the above correction contents, a luminance value correction function can be derived as shown in Equation 2. Here, I is the observed luminance value of the target pixel T, f (I) is the camera response function, d is the distance between the light source 2 and the target pixel T used in the captured image P, and dmin is the target pixel T in all light sources. The distance between the light source 2 and the target pixel T having the shortest distance, n is a multiplier in the light distribution characteristic model, Ic is a corrected luminance value of the target pixel T, and bi is an individual difference correction coefficient of the light source 2.
なお、カメラレスポンス関数ｆ（Ｉ）の非線形性を無視できる場合には、数２式において、ｆ（Ｉ）の部分に観測輝度値Ｉを代入するようにすればよい。また、数２式において、光源２の個体差のばらつきを無視できる場合や無視してもよい場合には、個体差補正係数ｂｉを省略するようにしてもよい。 If the non-linearity of the camera response function f (I) can be ignored, the observed luminance value I may be substituted for the f (I) part in Equation 2. Further, in Equation 2, when the variation of the individual difference of the light source 2 can be ignored or can be ignored, the individual difference correction coefficient bi may be omitted.
第二法線推定工程Ｓｔｅｐ７は、第二除去工程Ｓｔｅｐ５及び輝度値補正工程Ｓｔｅｐ６により補正した撮影画像Ｐについて、照度差ステレオ法を用いて法線ｎを推定し直す工程である。上述したように、第二除去工程Ｓｔｅｐ５により正反射部Ｍ及び影部Ｓの影響が強い画素が除去され、残った画素についても輝度値が補正されていることから、補正した撮影画像Ｐから推定される法線ｎは、第一法線推定工程Ｓｔｅｐ３により推定された法線ｎよりも精度が向上することとなる。 The second normal estimation step Step7 is a step of re-estimating the normal n using the illuminance difference stereo method for the captured image P corrected in the second removal step Step5 and the luminance value correction step Step6. As described above, the pixels having a strong influence of the regular reflection portion M and the shadow portion S are removed by the second removal step Step5, and the luminance values of the remaining pixels are corrected. The accuracy of the normal line n is improved compared to the normal line n estimated in the first normal line estimation step Step3.
第二座標算出工程Ｓｔｅｐ８は、第二法線推定工程Ｓｔｅｐ７により補正された法線ｎに基づいて各画素の三次元座標を算出し直す工程である。上述した工程により、法線ｎを高精度に推定することができることから、各画素の三次元座標もより高精度に算出することができる。なお、三次元座標の算出方法は、第一座標算出工程Ｓｔｅｐ４と同じであることから、ここでは詳細な説明を省略する。 The second coordinate calculation step Step8 is a step for recalculating the three-dimensional coordinates of each pixel based on the normal n corrected in the second normal estimation step Step7. Since the normal n can be estimated with high accuracy by the above-described steps, the three-dimensional coordinates of each pixel can also be calculated with higher accuracy. In addition, since the calculation method of a three-dimensional coordinate is the same as 1st coordinate calculation process Step4, detailed description is abbreviate | omitted here.
判断工程Ｓｔｅｐ９は、第二法線推定工程Ｓｔｅｐ７により補正された法線ｎの変化量に基づいて補正を繰り返すか否かを判断する工程である。例えば、第二法線推定工程Ｓｔｅｐ７により推定された全ての法線ｎについて、第一法線推定工程Ｓｔｅｐ３により推定された法線ｎに対する変化量（例えば、これらの法線ｎのなす角度φの大きさ）が所定の閾値以下に収束したか否かを判断する。補正前の法線ｎと補正後の法線ｎのなす角度φの大きさを変化量とした場合には、閾値を例えば、φ≦１°と規定してもよいし、φ≦０．５°と規定してもよいし、φ≦０．１°と規定してもよい。 The determination step Step 9 is a step of determining whether or not to repeat the correction based on the change amount of the normal n corrected in the second normal estimation step Step 7. For example, with respect to all the normals n estimated in the second normal estimation step Step7, the amount of change relative to the normal n estimated in the first normal estimation step Step3 (for example, the angle φ formed by these normals n It is determined whether or not (size) has converged below a predetermined threshold. When the magnitude of the angle φ formed by the normal line n before correction and the normal line n after correction is the amount of change, the threshold value may be defined as φ ≦ 1 °, for example, or φ ≦ 0.5 It may be defined as ° or may be defined as φ ≦ 0.1 °.
かかる判断工程Ｓｔｅｐ９において、法線ｎの変化量が閾値以下に収束した場合（Ｙｅｓ）には、法線ｎの補正処理を終了する。また、判断工程Ｓｔｅｐ９において、法線ｎの変化量が閾値以下に収束していない場合（Ｎｏ）には、上述した第二除去工程Ｓｔｅｐ５〜判断工程Ｓｔｅｐ９を繰り返す。この繰り返し処理により、法線ｎを高精度に推定することができ、最終的に物体Ｘの三次元形状を高精度に復元することができる。 In the determination step Step 9, when the amount of change of the normal line n has converged below the threshold (Yes), the normal line n correction process is terminated. Moreover, in the determination process Step9, when the variation | change_quantity of the normal line n has not converged on the threshold value or less (No), the 2nd removal process Step5-determination process Step9 mentioned above are repeated. By this iterative process, the normal n can be estimated with high accuracy, and finally the three-dimensional shape of the object X can be restored with high accuracy.
次に、上述した本実施形態に係る画像処理方法の効果について、図５（ａ）〜図６（ｂ）を参照しつつ説明する。ここで、図５は、図４に示した第二除去工程の作用を示す図であり、（ａ）は白色セラミックス球の場合、（ｂ）は銀貨の場合、を示している。図６は、銀貨の形状計測結果を示す図であり、（ａ）は第一実施形態に係る画像処理方法を用いた計測結果、（ｂ）はレーザ変位センサを用いた計測結果、を示している。 Next, effects of the above-described image processing method according to the present embodiment will be described with reference to FIGS. 5 (a) to 6 (b). Here, FIG. 5 is a figure which shows the effect | action of the 2nd removal process shown in FIG. 4, (a) has shown the case of a white ceramic ball | bowl, (b) has shown the case of a silver coin. 6A and 6B are diagrams showing the shape measurement result of silver coins, where FIG. 6A shows the measurement result using the image processing method according to the first embodiment, and FIG. 6B shows the measurement result using the laser displacement sensor. Yes.
図５（ａ）及び図５（ｂ）において、上段は物体Ｘ（白色セラミックス球又は銀貨）の撮影画像、中段は第一除去工程Ｓｔｅｐ２後の撮影画像、下段は第二除去工程Ｓｔｅｐ５後の撮影画像（繰り返し回数は１）、を示している。各図の中段に示した第一除去工程Ｓｔｅｐ２後の撮影画像は、従来の輝度値の最大値及び最小値を用いた正反射部Ｍ及び影部Ｓの除去方法に相当する。中段の画像では、正反射の影響を受けた部分の除去量が少なく、影の影響を受けた部分はほとんど除去されていないことが解る。それに対して、下段の画像では、正反射及び影の影響を受けた部分が適切に除去されていることが解る。 5 (a) and 5 (b), the upper part is a photographed image of the object X (white ceramic sphere or silver coin), the middle part is a photographed image after the first removal step Step2, and the lower part is a photographed image after the second removal step Step5. An image (repetition count is 1) is shown. The captured image after the first removal step Step2 shown in the middle of each figure corresponds to a conventional method for removing the regular reflection portion M and the shadow portion S using the maximum value and the minimum value of the luminance values. In the middle image, it can be seen that the removal amount of the portion affected by the regular reflection is small, and the portion affected by the shadow is hardly removed. On the other hand, in the lower image, it can be seen that the part affected by regular reflection and shadow is appropriately removed.
図４に示したフロー図に基づいて、本実施形態に係る画像処理方法を銀貨に対して適用し、補正した撮影画像Ｐに基づいて三次元形状を復元したところ、図６（ａ）に示したように、銀貨中の模様を明確に表現することができた。それに対して、従来技術の一つであるレーザ変位センサを用いた場合には、図６（ｂ）に示したように、凹凸の起伏が明確に表現できておらず、全体としてぼやけた感じに表示されている。また、正反射の影響を強く受けた部分の画素が飛んでおり、三次元形状を十分に復元できていないことも解る。 Based on the flowchart shown in FIG. 4, the image processing method according to the present embodiment is applied to silver coins, and the three-dimensional shape is restored based on the corrected photographed image P. As shown in FIG. As you can see, the pattern in the silver coin could be expressed clearly. On the other hand, when a laser displacement sensor, which is one of the prior arts, is used, as shown in FIG. It is displayed. It can also be seen that the pixels of the portion that are strongly affected by regular reflection are flying, and the three-dimensional shape cannot be fully restored.
したがって、従来のレーザ変位センサを用いた方法では、製品の形状や表面の傷等を目視確認する高精度な外観検査に適用することは困難である。一方、本実施形態に係る画像処理方法を使用した場合には、物体Ｘ（ここでは、銀貨）の表面の形状を高精度に復元することができることから、高精度な外観検査を行うことが可能となる。 Therefore, it is difficult to apply the conventional method using a laser displacement sensor to a high-accuracy visual inspection for visually confirming the shape of the product, scratches on the surface, and the like. On the other hand, when the image processing method according to the present embodiment is used, the shape of the surface of the object X (here, silver coins) can be restored with high accuracy, so that high-precision appearance inspection can be performed. It becomes.
次に、本発明の他の実施形態に係る画像処理方法について、図７及び図８を参照しつつ説明する。ここで、図７は、本発明の第二実施形態に係る画像処理方法を示すフロー図である。また、図８は、本発明の第三実施形態に係る画像処理方法を示すフロー図である。なお、各図において、図４に示した第一実施形態に係る画像処理方法を示すフロー図と同一の工程については、詳細な説明を省略する。 Next, an image processing method according to another embodiment of the present invention will be described with reference to FIGS. Here, FIG. 7 is a flowchart showing an image processing method according to the second embodiment of the present invention. FIG. 8 is a flowchart showing an image processing method according to the third embodiment of the present invention. In each drawing, detailed description of the same steps as those in the flowchart showing the image processing method according to the first embodiment shown in FIG. 4 is omitted.
図７に示した第二実施形態に係る画像処理方法は、数２式に示した輝度値補正関数による輝度値の補正工程を省略したものである。具体的には、図４に示したフロー図から、輝度値の補正に関連する工程（第一座標算出工程Ｓｔｅｐ４、輝度値補正工程Ｓｔｅｐ６、第二座標算出工程Ｓｔｅｐ８）を省略したものである。なお、最終的に物体Ｘの三次元形状を復元する場合には、各画素の三次元座標が必要になることから、判断工程Ｓｔｅｐ９の次工程として座標算出工程Ｓｔｅｐ１０を追加するようにしてもよい。 The image processing method according to the second embodiment shown in FIG. 7 omits the luminance value correction step using the luminance value correction function shown in Equation 2. Specifically, the steps related to the correction of the luminance value (first coordinate calculation step Step4, luminance value correction step Step6, and second coordinate calculation step Step8) are omitted from the flowchart shown in FIG. Note that when the three-dimensional shape of the object X is finally restored, the three-dimensional coordinates of each pixel are required, and therefore the coordinate calculation step Step10 may be added as the next step of the determination step Step9. .
かかる第二実施形態に係る画像処理方法では、法線ｎを用いた正反射部Ｍ及び／又は影部Ｓを構成する画素を除去する第二除去工程Ｓｔｅｐ５を含んでいることから、注目画素Ｔにおける入射光軸ｃと法線ｎとのなす第一角度θ１及び注目画素Ｔにおける反射光軸ｒと法線ｎとのなす第二角度θ２の両方又はいずれか一方を用いて撮影画像Ｐを補正する方法であるものといえる。 The image processing method according to the second embodiment includes the second removal step Step5 that removes the pixels constituting the specular reflection part M and / or the shadow part S using the normal line n. The captured image P is obtained by using either or either the first angle θ 1 formed by the incident optical axis c and the normal line n and the second angle θ 2 formed by the reflected optical axis r or the normal line n at the target pixel T. It can be said that this is a method of correcting the above.
図８に示した第三実施形態に係る画像処理方法は、図４に示したフロー図から、法線ｎを用いた正反射部Ｍ及び影部Ｓを構成する画素を除去する第二除去工程Ｓｔｅｐ５を省略したものである。本実施形態では、この第二除去工程Ｓｔｅｐ５に代わる工程として、輝度値補正工程Ｓｔｅｐ６の後に、輝度値を用いた正反射部Ｍ及び影部Ｓを構成する画素の除去を行う除去工程Ｓｔｅｐ１１を追加している。この除去工程Ｓｔｅｐ１１の処理内容は、第一除去工程Ｓｔｅｐ２と同じである。 The image processing method according to the third embodiment shown in FIG. 8 is a second removal step of removing the pixels constituting the specular reflection part M and the shadow part S using the normal line n from the flowchart shown in FIG. Step 5 is omitted. In the present embodiment, as a step in place of the second removal step Step5, a removal step Step11 for removing pixels constituting the specular reflection portion M and the shadow portion S using the luminance value is added after the luminance value correction step Step6. doing. The processing content of this removal step Step11 is the same as that of the first removal step Step2.
かかる第三実施形態に係る画像処理方法では、数２式に示した輝度値補正関数による輝度値補正工程Ｓｔｅｐ６を含んでいることから、注目画素Ｔにおける入射光軸ｃと光源軸Ｌとのなす第三角度θ３を用いて撮影画像Ｐを補正する方法であるものといえる。このように、本発明では、必要な画像処理レベルや物体Ｘの特性等に応じて、第一角度θ１、第二角度θ２及び第三角度θ３のいずれか又はこれらの組み合わせを用いて撮影画像Ｐを補正することができる。 Since the image processing method according to the third embodiment includes the luminance value correction step Step 6 by the luminance value correction function shown in Equation 2, the incident optical axis c and the light source axis L in the target pixel T are formed. it can be said that a method for correcting the photographic image P by using the third angle theta 3. As described above, in the present invention, one of the first angle θ 1 , the second angle θ 2, the third angle θ 3 , or a combination thereof is used according to the required image processing level, the characteristics of the object X, and the like. The captured image P can be corrected.
上述した第一実施形態〜第三実施形態に係る画像処理方法によれば、注目画素Ｔにおける、入射光軸ｃと法線ｎとのなす角度（第一角度θ１）、反射光軸ｒと法線ｎとのなす角度（第二角度θ２）又は入射光軸ｃと光源軸Ｌとのなす角度（第三角度θ３）のうち少なくとも何れか一つを用いて撮影画像Ｐを補正するようにしたことから、輝度値や偏向特性を用いた従来技術と比較して、簡便かつ正確に正反射部Ｍや影部Ｓを除去したり、照度のばらつきを抑制したりすることができ、微細で複雑な形状の物体であっても外観や形状を高精度に計測することができる。 According to the image processing method according to the first to third embodiments described above, the angle (first angle θ 1 ) between the incident optical axis c and the normal n in the target pixel T, the reflected optical axis r, and The captured image P is corrected using at least one of an angle (second angle θ 2 ) formed with the normal line n and an angle (third angle θ 3 ) formed between the incident optical axis c and the light source axis L (third angle θ 3 ). As a result, it is possible to remove the regular reflection part M and the shadow part S easily and accurately, or to suppress variations in illuminance, as compared with the conventional technique using the luminance value and the deflection characteristics. Appearance and shape can be measured with high accuracy even for objects with minute and complicated shapes.
また、第一角度θ１及び第二角度θ２を用いることにより、計測誤差の大きい輝度値に依存することがなく、かつ、複雑な計算を行うこともなく、正反射部Ｍや影部Ｓを除去することができる。また、第三角度θ３を含む輝度値補正関数（数２式）を用いることにより、光源の位置と向きに起因する物体に対する照度のばらつきや光源の個体差による影響を効果的に抑制することができる。 In addition, by using the first angle θ 1 and the second angle θ 2 , the specular reflection portion M and the shadow portion S do not depend on the luminance value having a large measurement error and do not perform complicated calculation. Can be removed. In addition, by using a brightness value correction function (Equation 2) including the third angle θ 3 , it is possible to effectively suppress the influence of the illuminance variation on the object due to the position and orientation of the light source and the individual differences of the light sources. Can do.
本発明は上述した実施形態に限定されず、本発明に係る画像処理方法は外観検査以外にも適用することができる等、本発明の趣旨を逸脱しない範囲で種々変更が可能であることは勿論である。 The present invention is not limited to the above-described embodiments, and the image processing method according to the present invention can be applied to other than visual inspection, and various changes can be made without departing from the spirit of the present invention. It is.
１ 形状計測装置
２ 光源
３ カメラ
４ レンズ
５ 制御装置
４１ 物体側レンズ
４２ 像側レンズ
Ｓｔｅｐ１ 撮影工程
Ｓｔｅｐ２ 第一除去工程
Ｓｔｅｐ３ 第一法線推定工程
Ｓｔｅｐ４ 第一座標算出工程
Ｓｔｅｐ５ 第二除去工程
Ｓｔｅｐ６ 輝度値補正工程
Ｓｔｅｐ７ 第二法線推定工程
Ｓｔｅｐ８ 第二座標算出工程
Ｓｔｅｐ９ 判断工程
Ｓｔｅｐ１０ 座標算出工程
Ｓｔｅｐ１１ 除去工程
DESCRIPTION OF SYMBOLS 1 Shape measuring device 2 Light source 3 Camera 4 Lens 5 Control apparatus 41 Object side lens 42 Image side lens Step1 Imaging | photography process Step2 1st removal process Step3 1st normal normal estimation process Step4 1st coordinate calculation process Step5 2nd removal process Step6 Luminance value Correction step Step 7 Second normal estimation step Step 8 Second coordinate calculation step Step 9 Determination step Step 10 Coordinate calculation step Step 11 Removal step
Claims (7)
前記注目画素における入射光軸と前記法線とのなす第一角度、前記注目画素における反射光軸と前記法線とのなす第二角度又は前記注目画素における入射光軸と光源軸とのなす第三角度のうち少なくとも何れか一つを用いて前記撮影画像を補正する、
ことを特徴とする画像処理方法。 The object is individually irradiated with light from a plurality of light sources arranged at different positions to individually acquire a captured image of the object, and the normal of the target pixel is based on a change in luminance value of the target pixel in the captured image. In the image processing method using the photometric stereo method for estimating
The first angle formed by the incident optical axis and the normal line in the target pixel, the second angle formed by the reflected optical axis and the normal line in the target pixel, or the first angle formed by the incident optical axis and the light source axis in the target pixel. Correcting the captured image using at least one of the three angles;
An image processing method.
An imaging process for acquiring the captured image, a first removal process for removing the specular reflection part and the shadow part using the observed luminance value, and a first method for estimating the normal line for each pixel using an illuminance difference stereo method A line estimation step, a first coordinate calculation step for calculating a three-dimensional coordinate for each pixel, a second removal step for removing a regular reflection portion and a shadow portion using the normal line, and correcting an observed luminance value for each pixel A luminance value correcting step, a second normal estimating step for estimating a normal for each pixel of the corrected captured image using an illuminance difference stereo method, and calculating a three-dimensional coordinate for each pixel of the corrected captured image A determination to determine whether the amount of change of the normal estimated in the second normal estimation step and the normal estimated in the first normal estimation step has converged below a predetermined threshold value A change amount of the normal is equal to or less than a threshold value Until it converges and to process repeatedly the second removing step to the said determination step, an image processing method according to claim 1, characterized in that.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015065725A JP6519265B2 (en) | 2015-03-27 | 2015-03-27 | Image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015065725A JP6519265B2 (en) | 2015-03-27 | 2015-03-27 | Image processing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016186421A true JP2016186421A (en) | 2016-10-27 |
| JP6519265B2 JP6519265B2 (en) | 2019-05-29 |
Family
ID=57203190
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015065725A Active JP6519265B2 (en) | 2015-03-27 | 2015-03-27 | Image processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6519265B2 (en) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018136693A (en) * | 2017-02-21 | 2018-08-30 | キヤノン株式会社 | Image processing device and image processing method |
| CN108955526A (en) * | 2018-07-27 | 2018-12-07 | 朱培恒 | A kind of light field scanning means and its light field scan method |
| CN110227662A (en) * | 2019-08-08 | 2019-09-13 | 征图新视(江苏)科技股份有限公司 | A kind of detection method and its detection light source of receiver product image defects |
| CN112212798A (en) * | 2020-08-14 | 2021-01-12 | 厦门大学 | Part three-dimensional appearance measuring device |
| EP3929565A1 (en) * | 2020-06-25 | 2021-12-29 | Samsung Electronics Co., Ltd. | Apparatus and method for optically analyzing substance of object |
| JP2022032937A (en) * | 2020-08-11 | 2022-02-25 | 株式会社東芝 | Computer vision method and system |
| CN114354607A (en) * | 2021-10-09 | 2022-04-15 | 七海测量技术（深圳）有限公司 | Luminosity three-dimensional flaw detection method based on spiral phase contrast filtering algorithm |
| US20220277466A1 (en) * | 2021-02-26 | 2022-09-01 | Seiko Epson Corporation | Measurement method and measurement system |
| WO2022244367A1 (en) * | 2021-05-21 | 2022-11-24 | 株式会社 レイマック | Non-contact blood vessel analyzing method |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000315257A (en) * | 1999-04-30 | 2000-11-14 | Shiseido Co Ltd | Method for generating three-dimensional image of skin state |
| WO2007029446A1 (en) * | 2005-09-01 | 2007-03-15 | Matsushita Electric Industrial Co., Ltd. | Image processing method, image processing device, and image processing program |
| WO2014136490A1 (en) * | 2013-03-05 | 2014-09-12 | 株式会社日立製作所 | Shape examination method and device therefor |
-
2015
- 2015-03-27 JP JP2015065725A patent/JP6519265B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000315257A (en) * | 1999-04-30 | 2000-11-14 | Shiseido Co Ltd | Method for generating three-dimensional image of skin state |
| WO2007029446A1 (en) * | 2005-09-01 | 2007-03-15 | Matsushita Electric Industrial Co., Ltd. | Image processing method, image processing device, and image processing program |
| WO2014136490A1 (en) * | 2013-03-05 | 2014-09-12 | 株式会社日立製作所 | Shape examination method and device therefor |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018136693A (en) * | 2017-02-21 | 2018-08-30 | キヤノン株式会社 | Image processing device and image processing method |
| CN108955526A (en) * | 2018-07-27 | 2018-12-07 | 朱培恒 | A kind of light field scanning means and its light field scan method |
| CN110227662A (en) * | 2019-08-08 | 2019-09-13 | 征图新视(江苏)科技股份有限公司 | A kind of detection method and its detection light source of receiver product image defects |
| EP3929565A1 (en) * | 2020-06-25 | 2021-12-29 | Samsung Electronics Co., Ltd. | Apparatus and method for optically analyzing substance of object |
| US20210404953A1 (en) * | 2020-06-25 | 2021-12-30 | Samsung Electronics Co., Ltd. | Apparatus and method for analyzing substance of object |
| US11568595B2 (en) | 2020-08-11 | 2023-01-31 | Kabushiki Kaisha Toshiba | Computer vision method and system |
| JP2022032937A (en) * | 2020-08-11 | 2022-02-25 | 株式会社東芝 | Computer vision method and system |
| JP7247248B2 (en) | 2020-08-11 | 2023-03-28 | 株式会社東芝 | Computer vision method and system |
| CN112212798A (en) * | 2020-08-14 | 2021-01-12 | 厦门大学 | Part three-dimensional appearance measuring device |
| US20220277466A1 (en) * | 2021-02-26 | 2022-09-01 | Seiko Epson Corporation | Measurement method and measurement system |
| WO2022244367A1 (en) * | 2021-05-21 | 2022-11-24 | 株式会社 レイマック | Non-contact blood vessel analyzing method |
| CN114354607A (en) * | 2021-10-09 | 2022-04-15 | 七海测量技术（深圳）有限公司 | Luminosity three-dimensional flaw detection method based on spiral phase contrast filtering algorithm |
| CN114354607B (en) * | 2021-10-09 | 2023-10-31 | 七海测量技术（深圳）有限公司 | Luminosity three-dimensional flaw detection method based on spiral phase contrast filtering algorithm |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6519265B2 (en) | 2019-05-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6519265B2 (en) | Image processing method | |
| US10132613B2 (en) | Information processing apparatus, method for controlling information processing apparatus, gripping system, and storage medium | |
| JP6319329B2 (en) | Surface attribute estimation using plenoptic camera | |
| CN110392252B (en) | Method for generating correction model of camera to correct aberration | |
| WO2013008804A1 (en) | Measurement device and information processing device | |
| JP6937642B2 (en) | Surface evaluation method and surface evaluation device | |
| JP4872035B2 (en) | Imaging apparatus, captured image distance measuring method, captured image distance measuring program, and recording medium | |
| KR101624120B1 (en) | System and method for illuminating pattern light of structured light for measuring 3d forming | |
| JP2016100698A (en) | Calibration device, calibration method, and program | |
| JP6791341B2 (en) | Calibration method, calibration equipment, and program | |
| US20210148694A1 (en) | System and method for 3d profile determination using model-based peak selection | |
| JP6869652B2 (en) | Image processing device, imaging device, image processing method, image processing program, and storage medium | |
| JP5599849B2 (en) | Lens inspection apparatus and method | |
| JP2018179577A (en) | Position measuring device | |
| JP2015059849A (en) | Method and device for measuring color and three-dimensional shape | |
| JP7056131B2 (en) | Image processing system, image processing program, and image processing method | |
| JP2018009927A (en) | Image processing device, image processing method and program | |
| JP2019207127A (en) | Laser calibration device, calibration method therefor, and image input device including laser calibration device | |
| JP7028814B2 (en) | External shape recognition device, external shape recognition system and external shape recognition method | |
| US20200234458A1 (en) | Apparatus and method for encoding in structured depth camera system | |
| JP6939501B2 (en) | Image processing system, image processing program, and image processing method | |
| JP5967470B2 (en) | Inspection device | |
| JP6560159B2 (en) | Position measuring device | |
| JP5981353B2 (en) | 3D measuring device | |
| JP7312594B2 (en) | Calibration charts and calibration equipment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180125 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181121 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181210 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190129 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190213 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190311 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190326 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190408 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6519265 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |