JP2009303018A - Image conversion apparatus, image conversion method, image conversion program, and computer-readable recording medium on which image conversion program is recorded - Google Patents
Image conversion apparatus, image conversion method, image conversion program, and computer-readable recording medium on which image conversion program is recorded Download PDFInfo
- Publication number
- JP2009303018A JP2009303018A JP2008156621A JP2008156621A JP2009303018A JP 2009303018 A JP2009303018 A JP 2009303018A JP 2008156621 A JP2008156621 A JP 2008156621A JP 2008156621 A JP2008156621 A JP 2008156621A JP 2009303018 A JP2009303018 A JP 2009303018A
- Authority
- JP
- Japan
- Prior art keywords
- image
- reflection component
- specular reflection
- photographed
- image conversion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、カメラで読み取った画像を変換する画像変換装置、画像変換方法、画像変換プログラム及び画像変換プログラムを記録したコンピュータ読み取り可能な記録媒体の技術に関する。 The present invention relates to an image conversion apparatus that converts an image read by a camera, an image conversion method, an image conversion program, and a computer-readable recording medium that records the image conversion program.
幾何学的模様内の情報を読み取る従来の画像読取装置は、幾何学的模様を読み取るレンズの画角が狭いため、画像読取装置の視野角に幾何学的模様を収める作業や、幾何学的模様との距離を調整する作業を伴うものであった。そのため、この画像読取装置を利用する場合には、幾何学的模様の読み取りに失敗する可能性が高く、幾何学的模様を読み取るために時間を費やすものであった。 Conventional image reading devices that read information in a geometric pattern have a narrow angle of view of the lens that reads the geometric pattern. It was accompanied by work to adjust the distance. Therefore, when this image reading apparatus is used, there is a high possibility that the reading of the geometric pattern will fail, and it takes time to read the geometric pattern.
現在では、図１６に示すように、ある場所に置かれた幾何学的模様を有する撮影対象を覆い囲むように固定して幾何学的模様を読み取る画像読取装置が存在している。この画像読取装置は、自身を固定した状態で幾何学的模様を確実に撮影できるように対象画像とカメラとの距離が予め調整されているため、上述したような利用者による調整作業を減らすことが可能となっている。しかしながら、対象画像を覆うことで外光が遮断されるため、撮影時に必要となる光量が不足して幾何学的模様の読取精度が低下する可能性がある。ゆえに、光量不足を補うためにカメラの近隣にＬＥＤ等の発光素子が取り付けられ、この発光素子から放射される光を用いて対象画像上の幾何学的模様を読み取ることが可能となっている。なお、このような画像読取装置に関連する技術が、特許文献１に開示されている。
しかしながら、撮影空間が狭い画像読取装置の場合には前述した発光素子を利用することで狭いスペースで簡易に撮像できるというメリットがあるものの、１つの発光素子を用いて撮影するため、幾何学的模様に対して一様に光を当てることが困難であるという問題があった。また、発光素子から遠い場所に位置する対象画像についても確実に撮影するために光を明るくした場合には、過大な光量により発光素子に近い部分が白とびするという問題があった。 However, in the case of an image reading apparatus having a narrow shooting space, there is an advantage that the above-described light emitting element can be used to easily capture an image in a narrow space. However, there was a problem that it was difficult to shine light uniformly. Further, when light is brightened in order to surely capture a target image located far from the light emitting element, there is a problem that a portion close to the light emitting element is overexposed due to an excessive amount of light.
一方、撮影された画像に対して画像処理を行うことで幾何学的模様を抽出することも可能である。具体的には、幾何学的模様を撮影した撮影画像（図１７）から幾何学的模様の無い背景画像（図１８）を差し引く背景差分法により幾何学的模様を抽出し（図１９）、抽出された幾何学的模様に対して２値化処理を行う方法である（図２０）。しかしながら、発光素子から出力された光量の多い白とび部分（図２０に示す点線部分）を確実に復元処理することは極めて困難であって、結果として幾何学的模様が潰れてしまうため、幾何学的模様の読取精度が低下するという問題があった。 On the other hand, it is possible to extract a geometric pattern by performing image processing on a photographed image. Specifically, a geometric pattern is extracted by a background subtraction method (FIG. 19) by subtracting a background image without a geometric pattern (FIG. 18) from a photographed image (FIG. 17) obtained by capturing the geometric pattern (FIG. 19). In this method, a binarization process is performed on the geometric pattern formed (FIG. 20). However, it is extremely difficult to reliably restore the overexposed portion (the dotted line portion shown in FIG. 20) with a large amount of light output from the light emitting element. As a result, the geometric pattern is crushed. There is a problem that the reading accuracy of the target pattern is lowered.
また、撮影された画像を用いて、幾何学的模様を該撮影画像から探索することも方法も存在するが、撮影による量子化及び２値化処理による撮影領域の満ち欠けによる誤差や、探索誤差が生じるという問題もあった。 In addition, there is a method of searching for a geometric pattern from the captured image using the captured image, but there are errors due to the filling and lacking of the shooting region due to quantization and binarization processing, and search error. There was also a problem that occurred.
更に、撮影しようとする画像全体の平均輝度を判断し、この平均輝度分布が一様となるように自動で露出調整する自動露出補正機能を具備した画像読取装置を用いたとしても、画像の広範囲を一様に露出補正するため、明るい部分から暗い部分まで幅広い輝度分布を持つ場合には、部分的に白とび又は黒とびする部分がやはり存在する可能性があるという問題があった。 Furthermore, even if an image reading apparatus having an automatic exposure correction function for determining the average luminance of the entire image to be photographed and automatically adjusting the exposure so that the average luminance distribution is uniform is used, In order to uniformly correct the exposure, when there is a wide luminance distribution from a bright part to a dark part, there is a possibility that a part that is partially overexposed or overexposed may exist.
更にまた、光の一様性を実現するために発光素子を増加することも一案であるが、前述したような狭い空間では発光素子を組み込む位置を確保することが困難であり、デザインに影響するという問題もある。 Furthermore, it is one idea to increase the number of light emitting elements to achieve light uniformity, but it is difficult to secure a position for incorporating the light emitting elements in a narrow space as described above, which affects the design. There is also the problem of doing.
本発明は、上記に鑑みてなされたものであり、外光に左右されず、発光素子のみの一定の状況下で従来技術よりも幾何学的模様の読取精度が高い画像に変換する画像変換装置、画像変換方法、画像変換プログラム及び画像変換プログラムを記録したコンピュータ読み取り可能な記録媒体を提供することを課題とする。 The present invention has been made in view of the above, and is an image conversion device that converts an image having higher geometric pattern reading accuracy than the prior art under certain conditions of only a light emitting element without being influenced by external light. Another object of the present invention is to provide an image conversion method, an image conversion program, and a computer-readable recording medium on which the image conversion program is recorded.
請求項１に記載の本発明は、画像読取装置で撮影され、背景上に所定の模様が描画された撮影対象を撮影対象画像として蓄積する画像蓄積手段と、前記撮影対象画像を前記画像蓄積手段から読み出して、前記撮影対象が撮影された際に前記模様の表面で反射した光の鏡面反射成分を除去する鏡面反射成分除去手段と、前記鏡面反射成分が除去された画像から前記撮影対象の表面で反射した光の拡散反射成分を除去する拡散反射成分除去手段と、を有することを要旨とする。 According to a first aspect of the present invention, there is provided an image accumulating unit for accumulating an imaging target imaged by an image reading apparatus and having a predetermined pattern drawn on a background as an imaging target image; The specular reflection component removing means for removing the specular reflection component of the light reflected from the surface of the pattern when the photographing target is photographed, and the surface of the photographing target from the image from which the specular reflection component has been removed. And a diffuse reflection component removing unit that removes the diffuse reflection component of the light reflected at the point.
本発明にあっては、鏡面反射成分除去手段が、背景上に所定の模様が描画された撮影対象が画像読取装置で撮影された際に、その模様の表面で反射した光の鏡面反射成分を除去し、拡散反射成分除去手段が、鏡面反射成分が除去された画像から撮影対象の表面で反射した光の拡散反射成分を除去するため、従来技術よりも模様の読取精度が高い画像に変換することが可能となる。 In the present invention, the specular reflection component removing means is configured to detect the specular reflection component of the light reflected from the surface of the pattern when the object to be imaged with the predetermined pattern drawn on the background is imaged by the image reading apparatus. The diffuse reflection component removal means removes the diffuse reflection component of the light reflected from the surface of the object to be photographed from the image from which the specular reflection component has been removed, so that the image is converted to an image with higher pattern reading accuracy than the conventional technique. It becomes possible.
請求項２に記載の本発明は、前記画像読取装置が、前記撮影対象が置かれた固定面に固定し、内部に形成された発光素子から照射される光を用いて外光を遮断しながら前記撮影対象を撮影することを要旨とする。 According to the second aspect of the present invention, the image reading device is fixed to a fixed surface on which the photographing object is placed, and blocks external light using light emitted from a light emitting element formed inside. The gist is to photograph the photographing object.
本発明にあっては、画像読取装置が、撮影対象が置かれた固定面に固定し、内部に形成された発光素子から照射される光を用いて外光を遮断しながら撮影対象を撮影するため、周囲の光の状況や撮影対象に対する距離や撮影対象を画像読取装置の視野角に入れる等の調整作業を伴うことなく、簡易に模様を読み取ることができる。また、外光の影響を避けることで模様の読取精度を向上することができる。更に、その模様を読み取る時間を短縮することができ、ユーザの利便性を高めることができる。 In the present invention, the image reading device is fixed to a fixed surface on which an object to be imaged is placed, and images the object to be imaged while blocking external light using light emitted from a light emitting element formed inside. Therefore, it is possible to easily read a pattern without an adjustment operation such as setting the state of ambient light, the distance to the object to be imaged, and the object to be imaged in the viewing angle of the image reading apparatus. Further, the reading accuracy of the pattern can be improved by avoiding the influence of external light. Furthermore, the time for reading the pattern can be shortened, and the convenience for the user can be improved.
請求項３に記載の本発明は、前記画像蓄積手段が、前記模様の色と同色のみを有する模様色面を撮影した模様色面画像と、前記背景の色と同色のみを有する背景色面を撮影した背景色面画像とを更に蓄積しておき、前記鏡面反射成分除去手段は、前記画像蓄積手段から読み出した前記模様色面画像に対して平滑化を行い、平滑化された画像の画素深度に対して正規化を行う手段と、正規化された画像に対して第１の輝度調整係数を乗算し、前記撮影対象画像から当該乗算された値を除算する手段と、前記画像蓄積手段から読み出した前記背景色面画像に対して平滑化を行い、平滑化された画像に第２の輝度調整係数を乗算した値を閾値とし、前記撮影対象画像が当該閾値よりも小さい場合には前記撮影対象画像を鏡面反射成分除去後の画像とし、前記撮影対象画像が当該閾値以上の場合には、前記除算された値を鏡面反射成分除去後の画像とする手段と、を有することを要旨とする。 According to a third aspect of the present invention, the image storage means includes a pattern color plane image obtained by photographing a pattern color plane having only the same color as the pattern color, and a background color plane having only the same color as the background color. The captured background color plane image is further accumulated, and the specular reflection component removing unit smoothes the pattern color plane image read from the image accumulation unit, and the pixel depth of the smoothed image is obtained. Means for normalizing the image, means for multiplying the normalized image by a first luminance adjustment coefficient, dividing the multiplied value from the image to be photographed, and reading from the image storage means The background color plane image is smoothed, and a value obtained by multiplying the smoothed image by the second luminance adjustment coefficient is set as a threshold value. When the shooting target image is smaller than the threshold value, the shooting target image is set. Image after removing specular reflection component , Wherein when shooting target image is equal to or greater than the threshold value, and summarized in that and means for the divided value as the image after the specular reflection component is removed.
請求項４に記載の本発明は、前記拡散反射成分除去手段が、前記画像蓄積手段から読み出した前記背景色面画像に対して平滑化を行う手段と、前記正規化された画像に対して輝度調整係数を乗算し、当該平滑化された画像から当該乗算された値を除算し、仮想背景色面画像とする手段と、前記仮想背景色面画像に対してネガポジ反転を行う手段と、ネガポジ反転された反転画像に対して第３の輝度調整係数を乗算し、前記鏡面反射成分除去後の画像に当該乗算された値を加算する手段と、当該平滑化された画像に第４の輝度調整係数を乗算した値を閾値とし、前記鏡面反射成分除去後の画像が当該閾値よりも小さい場合には前記鏡面反射成分除去後の画像を拡散反射成分除去後の画像とし、前記鏡面反射成分除去後の画像が当該閾値以上の場合には、前記加算された値を拡散反射成分除去後の画像とする手段と、前記拡散反射成分除去後の画像に対して２値化用閾値を用いて２値化を行う手段と、を有することを要旨とする。 According to a fourth aspect of the present invention, the diffuse reflection component removing unit smoothes the background color plane image read from the image storage unit, and a luminance for the normalized image. Means for multiplying the adjustment coefficient, dividing the multiplied value from the smoothed image to obtain a virtual background color plane image, means for performing negative / positive inversion on the virtual background color plane image, and negative / positive inversion Means for multiplying the inverted image by a third luminance adjustment coefficient and adding the multiplied value to the image after the specular reflection component removal; and a fourth luminance adjustment coefficient for the smoothed image. When the image after removal of the specular reflection component is smaller than the threshold, the image after removal of the specular reflection component is taken as the image after removal of the diffuse reflection component, and the value after removal of the specular reflection component If the image is above the threshold Includes means for converting the added value into an image after removing the diffuse reflection component, and means for binarizing the image after removing the diffuse reflection component using a binarization threshold. This is the gist.
請求項５に記載の本発明は、前記撮影対象の素材の種類に応じて最適化された前記第１〜第４の輝度調整係数及び前記２値化用閾値に加えて、前記各素材の背景色面画像と模様色面画像を夫々蓄積しておく蓄積手段を更に有し、前記鏡面反射成分除去手段は、ある素材の種類に対応する前記第１の輝度調整係数及び前記第２の輝度調整係数を用いて前記撮影対象画像から鏡面反射成分を除去し、前記拡散反射成分除去手段は、当該素材の種類に対応する前記第３の輝度調整係数と前記第４の輝度調整係数と前記２値化用閾値とを用いて前記鏡面反射成分除去後の画像から拡散反射成分を除去することを各素材の種類に対して繰り返すことを要旨とする。 The present invention according to claim 5 is characterized in that, in addition to the first to fourth luminance adjustment coefficients optimized according to the type of the material to be photographed and the threshold for binarization, the background of each material. The image processing apparatus further includes storage means for storing a color plane image and a pattern color plane image, and the specular reflection component removal means includes the first brightness adjustment coefficient and the second brightness adjustment corresponding to a certain material type. The specular reflection component is removed from the image to be photographed using a coefficient, and the diffuse reflection component removal means is configured to use the third luminance adjustment coefficient, the fourth luminance adjustment coefficient, and the binary value corresponding to the type of the material. The gist is to repeat the removal of the diffuse reflection component from the image after the removal of the specular reflection component by using the threshold for conversion for each kind of material.
請求項６に記載の本発明は、前記撮影対象の背景は白色であって、当該背景上に描画された模様は黒色であることを要旨とする。 The gist of the present invention described in claim 6 is that the background of the subject to be photographed is white and the pattern drawn on the background is black.
請求項７に記載の本発明は、画像読取装置で撮影され、背景上に所定の模様が描画された撮影対象を撮影対象画像として画像蓄積手段に蓄積するステップと、前記撮影対象画像を前記画像蓄積手段から読み出して、前記撮影対象が撮影された際に前記模様の表面で反射した光の鏡面反射成分を除去するステップと、前記鏡面反射成分が除去された画像から前記撮影対象の表面で反射した光の拡散反射成分を除去するステップと、を有することを要旨とする。 According to a seventh aspect of the present invention, there is provided a step of accumulating, in an image accumulating unit, a photographing target imaged by an image reading device and having a predetermined pattern drawn on a background as a photographing target image; A step of removing the specular reflection component of the light read from the storage means and reflected by the surface of the pattern when the imaging target is imaged, and the reflection from the surface of the imaging target from the image from which the specular reflection component has been removed And removing the diffuse reflection component of the light.
請求項８に記載の本発明は、コンピュータに、画像読取装置で撮影され、背景上に所定の模様が描画された撮影対象を撮影対象画像として画像蓄積手段に蓄積する処理と、前記撮影対象画像を前記画像蓄積手段から読み出して、前記撮影対象が撮影された際に前記模様の表面で反射した光の鏡面反射成分を除去する処理と、前記鏡面反射成分が除去された画像から前記撮影対象の表面で反射した光の拡散反射成分を除去する処理と、を実行させることを要旨とする。 The present invention according to claim 8 is a process of storing, in an image storage unit, a shooting target image captured by an image reading device and having a predetermined pattern drawn on a background as a shooting target image on a computer; Is read out from the image storage means, the process of removing the specular reflection component of the light reflected by the surface of the pattern when the subject is photographed, and the image of the subject to be photographed from the image from which the specular reflection component has been removed. The gist is to perform a process of removing a diffuse reflection component of light reflected from the surface.
請求項９に記載の本発明は、コンピュータに、画像読取装置で撮影され、背景上に所定の模様が描画された撮影対象を撮影対象画像として画像蓄積手段に蓄積する処理と、前記撮影対象画像を前記画像蓄積手段から読み出して、前記撮影対象が撮影された際に前記模様の表面で反射した光の鏡面反射成分を除去する処理と、前記鏡面反射成分が除去された画像から前記撮影対象の表面で反射した光の拡散反射成分を除去する処理と、を実行させることを要旨とする。 According to a ninth aspect of the present invention, there is provided a process of storing, in an image storage unit, a photographing target photographed by an image reading device and having a predetermined pattern drawn on a background as a photographing target image on a computer; Is read out from the image storage means, the process of removing the specular reflection component of the light reflected by the surface of the pattern when the subject is photographed, and the image of the subject to be photographed from the image from which the specular reflection component has been removed. The gist is to perform a process of removing a diffuse reflection component of light reflected from the surface.
本発明によれば、外光に左右されず、発光素子のみの一定の状況下で従来技術よりも幾何学的模様の読取精度が高い画像に変換する画像変換装置、画像変換方法、画像変換プログラム及び画像変換プログラムを記録したコンピュータ読み取り可能な記録媒体を提供することができる。 According to the present invention, an image conversion apparatus, an image conversion method, and an image conversion program that convert an image having a higher geometric pattern reading accuracy than the prior art under certain conditions of only light emitting elements without being influenced by external light. And a computer-readable recording medium on which an image conversion program is recorded.
以下、本発明の実施の形態について図面を用いて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
本発明は、ある画像をカメラで撮影した場合に、撮影時に照射された光の照明効果を除去することにより、その画像上に描画された幾何学的模様を抽出する抽出精度を向上することを目的としている。具体的には、所定の照明環境下で撮影された撮影対象画像に対して照明成分の逆変換を行うこと、換言すれば、撮影対象画像に対して鏡面反射成分及び拡散反射成分を除去することにより、画像上の幾何学的模様をロバストに抽出して読取精度を向上するものである。 The present invention improves the extraction accuracy of extracting a geometric pattern drawn on an image by removing the illumination effect of the light irradiated at the time of shooting when the image is shot with a camera. It is aimed. Specifically, the inverse transformation of the illumination component is performed on the shooting target image shot under a predetermined lighting environment, in other words, the specular reflection component and the diffuse reflection component are removed from the shooting target image. Thus, the geometric pattern on the image is robustly extracted to improve the reading accuracy.
〔第１の実施の形態〕
図１は、第１の実施の形態に係る画像変換装置の機能ブロックを示す機能ブロック図である。この画像変換装置１００は、撮影対象を読み取るカメラ装置１０と、カメラ装置１０で読み取られた撮影対象を撮影対象画像として蓄積する画像蓄積部２０と、蓄積された撮影対象画像から鏡面反射成分を除去する鏡面反射成分除去部３０と、鏡面反射成分が除去された画像から拡散反射成分を除去する拡散反射成分除去部４０と、拡散反射成分が除去された画像の歪曲収差を補正する歪曲収差補正部５０と、補正された画像を認識するデコード部６０とを備えた構成である。
[First Embodiment]
FIG. 1 is a functional block diagram showing functional blocks of the image conversion apparatus according to the first embodiment. The image conversion apparatus 100 includes a camera device 10 that reads a shooting target, an image storage unit 20 that stores the shooting target read by the camera device 10 as a shooting target image, and removes a specular reflection component from the stored shooting target image. A specular reflection component removing unit 30, a diffuse reflection component removing unit 40 for removing the diffuse reflection component from the image from which the specular reflection component has been removed, and a distortion aberration correcting unit for correcting the distortion of the image from which the diffuse reflection component has been removed. 50 and a decoding unit 60 for recognizing the corrected image.
カメラ装置１０は、図２に示すように、中央内部に広角レンズ（球面レンズ）１１を備えると共に広角レンズ１１の近傍に発光素子として機能するＬＥＤ１２を具備している。そして、カメラ装置１０は、白色紙面上に黒色インクによって幾何学的模様が描画された撮影対象を覆うように内部空間に配置し、この撮影対象が置かれた固定面に固定して、外光を遮断しながらＬＥＤ１２から照射される光を用いてその撮影対象を撮影する。そして、広角レンズ１１を介して撮影された撮影対象を読み取る機能を有する。なお、本実施の形態では、白色の背景上に黒色の幾何学的模様が描画された二次元コードを撮影対象の一例として説明する。なお、撮影対象の色は白色及び黒色に限定されることはなく、背景から幾何学的模様を判断（抽出）できる色の組み合わせであればどのような色であってもよい。また、カメラ装置１０は、球面レンズに代えて、非球面レンズで構成されるものであってもよい。 As shown in FIG. 2, the camera device 10 includes a wide-angle lens (spherical lens) 11 inside the center and an LED 12 that functions as a light emitting element in the vicinity of the wide-angle lens 11. Then, the camera device 10 is arranged in the internal space so as to cover the photographing target in which the geometric pattern is drawn with black ink on the white paper surface, and is fixed to the fixed surface on which the photographing target is placed. The object to be photographed is photographed using light emitted from the LED 12 while blocking the light. And it has the function to read the imaging | photography object image | photographed via the wide angle lens 11. FIG. In the present embodiment, a two-dimensional code in which a black geometric pattern is drawn on a white background will be described as an example of an imaging target. Note that the color to be photographed is not limited to white and black, and any color may be used as long as it is a combination of colors that can determine (extract) the geometric pattern from the background. In addition, the camera device 10 may be configured by an aspheric lens instead of the spherical lens.
画像蓄積部２０は、カメラ装置１０で読み取られた撮影対象を撮影対象画像として一端蓄積する機能や、幾何学的模様の色（本実施の形態では黒色）と同色のみを有する幾何学的模様色面を撮影した幾何学的模様色面画像と、背景の色（本実施の形態では白色）と同色のみを有する背景色面を撮影した背景色面画像とを蓄積しておく機能を有し、例えばパソコンのメモリやハードディスク等で実現可能である。 The image accumulating unit 20 has a function of temporarily accumulating a photographing target read by the camera device 10 as a photographing target image, and a geometric pattern color having only the same color as a geometric pattern color (black in the present embodiment). A function of accumulating a geometric pattern color surface image obtained by photographing a surface and a background color surface image obtained by photographing a background color surface having only the same color as the background color (white in the present embodiment); For example, it can be realized by a memory or a hard disk of a personal computer.
続いて、鏡面反射成分除去部３０及び拡散反射成分除去部４０が有する夫々の具体的な機能について説明する。具体的には、前述した撮影対象画像を用いた場合における幾何学的模様の効果的な抽出方法について説明し、その説明の中で、鏡面反射成分除去部３０及び拡散反射成分除去部４０の各機能について説明する。 Next, specific functions of the specular reflection component removing unit 30 and the diffuse reflection component removing unit 40 will be described. Specifically, an effective method for extracting a geometric pattern in the case of using the above-described imaging target image will be described, and in the description, each of the specular reflection component removal unit 30 and the diffuse reflection component removal unit 40 will be described. The function will be described.
まず、任意の物体（撮影対象に相当）が視線方向（広角レンズ１１が存在する方向）に放つ輝度の強さをモデル化した一般式（以降、「レンダリング方程式」と称する）を式（１）に示す。図３は、図２に示すカメラ装置１０（広角レンズ１１及びＬＥＤ１２）と撮影対象との関係をレンダリング方程式の各変数に対応させた図である。
但し、ｘは、任意の物体上における任意点である。ωは、視線ベクトルである。Ｌｏ（ｘ，ω）は、任意点ｘが視線ベクトルωに放射する放射輝度である。Ｌｅ（ｘ，ω）は、任意の物体が自己発光体である場合に視線ベクトルωに放射する放射輝度である。Ωは、任意点ｘを包括する天球の面全体である。ω’は、任意点ｘから天球上における任意の点への任意ベクトルである。ｆｒ（ｘ，ω，ω’）は、任意点ｘに入射した光が視線ベクトルωにどれだけの光を反射するかを決定付けるものであって、任意の物体が備える物性に応じて決定される双方向反射率分布関数（ＢＲＤＦ：Bidirectional Reflectance Distribution Function）である。Ｌｉ（ｘ，ω’）は、ベクトルω’から任意点ｘに入射する入射光の輝度である。ｎは、ｘにおける法線ベクトルである。 Where x is an arbitrary point on an arbitrary object. ω is a line-of-sight vector. L o (x, ω) is the radiance emitted from the arbitrary point x to the line-of-sight vector ω. L e (x, ω) is a radiance emitted to the line-of-sight vector ω when an arbitrary object is a self-luminous body. Ω is the entire surface of the celestial sphere including the arbitrary point x. ω ′ is an arbitrary vector from an arbitrary point x to an arbitrary point on the celestial sphere. f r (x, ω, ω ′) determines how much light the light incident on the arbitrary point x reflects to the line-of-sight vector ω, and is determined according to the physical properties of the arbitrary object. Bidirectional Reflectance Distribution Function (BRDF). L i (x, ω ′) is the luminance of the incident light incident on the arbitrary point x from the vector ω ′. n is a normal vector at x.
まず、式（１）に示すＬｅ（ｘ，ω）について検討する。Ｌｅ（ｘ，ω）は、前述したように任意の物体が自己発光体である場合に該物体が視線ベクトルωに放射する放射輝度を表すが、本実施の形態の場合には、撮影対象である任意の物体は単に幾何学的模様が描画された白色紙面であって自己発光体でないため、この成分は常に０（零）となる。 First, L e (x, ω) shown in Equation (1) will be examined. L e (x, ω) represents the radiance emitted by the object to the line-of-sight vector ω when an arbitrary object is a self-luminous object as described above. In this embodiment, the object to be imaged The arbitrary object is simply a white paper surface on which a geometric pattern is drawn, and is not a self-luminous body. Therefore, this component is always 0 (zero).
次に、式（１）に示すｆｒ（ｘ，ω，ω’）について検討する。一般に、ＢＲＤＦの計測には実空間の計測対象にあらゆる角度から光を照射し、視線ベクトルωに反射するスペクトルの強さを計測する。ＢＲＤＦを用いればシミュレーションでも極めて現実的な質感を再現できるが、モデル化することは非常に困難である。そのため、本実施の形態では、ｆｒ（ｘ，ω，ω’）を拡散反射（Ｄｉｆｆｕｓｅ＝ｆｄ（ｘ，ω，ω’））と鏡面反射（Ｓｐｅｃｕｌａｒ＝ｆｓ（ｘ，ω，ω’））との２つの成分に分離して近似的に計算するものとする。 Next, f r (x, ω, ω ′) shown in Equation (1) will be examined. In general, BRDF is measured by irradiating a measurement object in real space with light from any angle and measuring the intensity of the spectrum reflected on the line-of-sight vector ω. If BRDF is used, a very realistic texture can be reproduced even by simulation, but modeling is very difficult. Therefore, in the present embodiment, f r (x, ω, ω ′) is diffusely reflected (Diffuse = f d (x, ω, ω ′)) and specular reflection (Specular = f s (x, ω, ω ′). )) And approximately calculated by separating the two components.
続いて、任意ベクトルω’から任意点ｘに入射する入射光の輝度Ｌｉ（ｘ，ω’）について検討する。本実施の形態では、前述したように外部からの光を遮断し、図３に示す場合にあっては任意の物体の天球をドーム状に覆っているため、外部からの光の入射はない。故に、Ｌｉ（ｘ，ω’）を、ＬＥＤ１２が任意の物体を直接照らす直接光と、任意の物体の表面で反射した光が他の物体を照らす間接光との２つに分離する。ＬＥＤ１２の輝度が常に一定であり変化しないと仮定すると、ＬＥＤ１２から任意の物体に直接到達する直接光の強さは常に一定で変化しない。一方、任意の物体やドーム状に覆うカメラ装置１０の外壁で反射して再びｘに入射する間接光は、前述のＢＲＤＦによって減衰する。この減衰率は物性よって異なり、任意の物体としての紙面の種類や幾何学的模様を描画するインクの種類にも左右されるため、一意に定めることができない。しかし、カメラ装置１０の外壁は変化せず、また、幾何学的模様を描画するインク等の影響による間接光の変化量は微量のため、この間接光の変化は考慮しないものとする。そのため、本実施の形態では、白色紙面のみを撮影したときの画像を標準画像とし、このときの光の状態をＬｉ（ｘ，ω’）とする。つまり、Ｌｉ（ｘ，ω’）は既知のものとして扱うものとする。 Subsequently, the luminance L i (x, ω ′) of incident light incident on the arbitrary point x from the arbitrary vector ω ′ will be examined. In the present embodiment, as described above, light from the outside is blocked, and in the case shown in FIG. 3, the celestial sphere of an arbitrary object is covered in a dome shape, so that no light is incident from the outside. Therefore, L i (x, ω ′) is separated into two types, that is, direct light in which the LED 12 directly illuminates an arbitrary object and indirect light in which light reflected from the surface of the arbitrary object illuminates other objects. Assuming that the brightness of the LED 12 is always constant and does not change, the intensity of direct light that directly reaches an arbitrary object from the LED 12 is always constant and does not change. On the other hand, indirect light that is reflected by the outer wall of the camera device 10 covered in an arbitrary object or dome shape and is incident on x again is attenuated by the BRDF. This attenuation factor varies depending on physical properties, and depends on the type of paper as an arbitrary object and the type of ink for drawing a geometric pattern, and thus cannot be uniquely determined. However, since the outer wall of the camera device 10 does not change, and the amount of change of indirect light due to the influence of ink or the like for drawing a geometric pattern is very small, the change of indirect light is not considered. For this reason, in the present embodiment, an image when only white paper is photographed is a standard image, and the light state at this time is L i (x, ω ′). That is, L i (x, ω ′) is treated as a known one.
以上より、式（１）に示したレンダリング方程式は、拡散反射と鏡面反射の分離によって式（２）に示すように変形することができる。
Ｌｏ（ｘ，ω）は、広角レンズ１１を介してカメラ装置１０で撮影された画像そのものを表しており、前述したように、任意の物体上における任意点ｘが視線ベクトルωに放射する放射輝度を表している。より具体的に言えば、撮影対象画像上の各二次元座標位置に夫々対する各画素値（輝度値）を意味している。 L o (x, ω) represents the image itself captured by the camera device 10 via the wide-angle lens 11, and as described above, an arbitrary point x on an arbitrary object radiates to the line-of-sight vector ω. It represents luminance. More specifically, it means each pixel value (luminance value) for each two-dimensional coordinate position on the image to be photographed.
また、任意の物体の法線ベクトルｎが鉛直上向きと仮定すると、式（２）における未知の値はｆｄ（ｘ，ω，ω’）とｆｓ（ｘ，ω，ω’）に限定されることになる。鏡面反射ｆｓ（ｘ，ω，ω’）の出力値は、任意の物体が備える物性や視点の位置，照明の位置によって異なるものの、鏡面反射とは入射した光を正反射方向に反射する光であり物体の色を決定付けるものではない。そのため、幾何学的模様を抽出する処理は、ｆｄ（ｘ，ω，ω’）を求める処理と略同義と言える。故に、以降では、式（２）を用いてｆｄ（ｘ，ω，ω’）を計算する具体的方法について説明する。 Assuming that the normal vector n of an arbitrary object is vertically upward, the unknown values in equation (2) are limited to f d (x, ω, ω ′) and f s (x, ω, ω ′). Will be. The output value of the specular reflection f s (x, ω, ω ′) varies depending on the physical properties of the arbitrary object, the position of the viewpoint, and the position of the illumination, but the specular reflection is light that reflects incident light in the regular reflection direction. It does not determine the color of the object. Therefore, it can be said that the process of extracting the geometric pattern is substantially synonymous with the process of obtaining f d (x, ω, ω ′). Therefore, hereinafter, a specific method for calculating f d (x, ω, ω ′) using Equation (2) will be described.
まず、図１７に示した幾何学的模様のインク内の輝度が高くなる要因について考える。幾何学的模様の描画には黒色インクが使用されているが、理想的な黒色は全ての可視光線を吸収するため、如何なる光が照射されようと一切の拡散反射を起こさない。そのため、黒色インク内の輝度が高くなる要因は、インク表面で鏡面反射された光であると推測することができる。 First, consider the factors that increase the luminance in the geometric pattern ink shown in FIG. Black ink is used to draw the geometric pattern, but the ideal black absorbs all visible light and therefore does not cause any diffuse reflection regardless of what light is irradiated. Therefore, it can be assumed that the factor that increases the luminance in the black ink is light that is specularly reflected on the ink surface.
ゆえに、鏡面反射成分除去部３０は、画像蓄積部２０に蓄積された撮影対象画像を読み出して、この撮影対象画像から黒色インクの表面で反射した光の鏡面反射成分を除去する。具体的には、最初に、鏡面反射成分除去部３０は、撮影対象の模様の色（本実施の形態では黒色）と同色の黒色インクのみで塗りつぶされた黒色紙面をカメラ装置１０で予め撮影しておき、その黒色紙面の画像（前述の幾何学的模様色面画像に相当）を画像蓄積部２０に蓄積しておく（ステップＳ１０１）。図４は、撮影された黒色紙面の画像を示す図である。ＬＥＤ１２からの光の照射により、左側中央付近が若干白くなっていることが把握できる。 Therefore, the specular reflection component removing unit 30 reads out the shooting target image stored in the image storage unit 20 and removes the specular reflection component of the light reflected from the black ink surface from the shooting target image. Specifically, first, the specular reflection component removing unit 30 previously captures a black paper surface painted only with black ink having the same color as the color of the pattern to be imaged (black in this embodiment) with the camera device 10 in advance. The black paper image (corresponding to the above-described geometric pattern color image) is stored in the image storage unit 20 (step S101). FIG. 4 is a diagram showing a photographed black paper image. It can be understood that the vicinity of the center on the left side is slightly white due to the light irradiation from the LED 12.
ステップＳ１０１で蓄積されている画像は、紙面上の凹凸やカメラの光感素子によるノイズの影響をうけているため、鏡面反射成分除去部３０は、その画像に対して平滑化した後に画像の画素深度に正規化を行う（ステップＳ１０２）。図５は、平滑化及び正規化後の黒色紙面の画像を示す図である。ここで得られた平滑化及び正規化後の画像が鏡面反射成分（Ｓｐｅｃ（＝Ｓｐｅｃｕｌａｒ））となる。 Since the image accumulated in step S101 is affected by the unevenness on the paper surface and the noise caused by the light sensitive element of the camera, the specular reflection component removing unit 30 smoothes the image and then applies the pixel of the image. Normalization is performed on the depth (step S102). FIG. 5 is a diagram illustrating an image of the black paper surface after smoothing and normalization. The smoothed and normalized image obtained here becomes a specular reflection component (Spec (= Specular)).
ステップＳ１０２で得られた画像は平均輝度値が低いため、カメラ装置１０が具備する自動露出補正機能によって明るさが補正されている可能性が高い。そのため、鏡面反射成分除去部３０は、Ｓｐｅｃに輝度調整係数ｋＳを乗算し、画像蓄積部２０から読み出した撮影対象画像（Ｉｎｐｕｔ）からその乗算された値を除算して、鏡面反射成分を除去する（ステップＳ１０３）。カメラ装置１０が自動露出補正機能を具備しない場合には、ＩｎｐｕｔからＳｐｅｃを単純除算して、鏡面反射成分を除去することも無論可能である。 Since the image obtained in step S102 has a low average luminance value, there is a high possibility that the brightness is corrected by the automatic exposure correction function provided in the camera apparatus 10. Therefore, the specular reflection component removing unit 30 multiplies Spec by the luminance adjustment coefficient k S , and divides the multiplied value from the photographing target image (Input) read from the image storage unit 20 to remove the specular reflection component. (Step S103). If the camera device 10 does not have an automatic exposure compensation function, it is of course possible to simply divide Spec from Input to remove the specular reflection component.
しかし、そのまま除算を行うと幾何学的模様の背景である白色紙面の輝度と同じ輝度まで落とされてしまうため、幾何学的模様の抽出精度が低下する可能性がある。そのため、鏡面反射成分除去部３０は、カメラ装置１０で予め撮影されて画像蓄積部２０に蓄積されている背景の色（本実施の形態では白色）と同色の白色のみの白色紙面の画像（前述の背景色面画像に相当，図１６参照）に対して平滑化を行い、平滑化された画像（Ｂａｓｅ）に輝度調整係数ＴｈＳを乗算した値を閾値とし、式（３）に示すように、Ｉｎｐｕｔが閾値よりも小さい場合にはＩｎｐｕｔを鏡面反射成分除去後の画像（ＲｍＳｐｅｃ）とし、Ｉｎｐｕｔが該閾値以上の場合には、ステップＳ１０３の計算結果をＲｍＳｐｅｃとする（ステップＳ１０４）。図６は、鏡面反射成分除去後の画像を示す図である。なお、ＲｍＳｐｅｃとは、「Ｒｅｍｏｖｅ Ｓｐｅｃｕｌａｒ（鏡面反射成分を取り除く意）」の略である。
なお、カメラ装置１０が自動露出補正機能を具備していない場合には、ステップＳ１０３を行うことなく、式（３）に示す輝度調整係数ｋＳの値を「１」にすることでも同様の効果が得られる。 If the camera apparatus 10 does not have an automatic exposure correction function, the same effect can be obtained by setting the value of the brightness adjustment coefficient k S shown in Expression (3) to “1” without performing step S103. Is obtained.
以上から、式（２）は、式（４）で示すように変形することが可能となる。
続いて、拡散反射成分除去部４０は、鏡面反射成分が除去された画像から白色紙面の表面で反射した光の拡散反射成分の照明効果を除去する。式（４）に示す左辺に存在する積分内のｆｄ（ｘ，ω，ω’）を容易に計算することが難しいため、本実施の形態では、白色紙面に対する黒色インクの幾何学的模様の特徴を考える。即ち、白色紙面は既知の照明効果の影響を受けて陰影が付いて濃淡が現れている。理想的な白色は入射した可視光線を全て反射するため、ｆｄ（ｘ，ω，ω’）を０．０〜１．０に正規化すると、白色紙面のｆｄ（ｘ，ω，ω’）は常に１．０とみなすことができる。故に、陰影が付いた白色紙面を白色に戻すために、ステップＳ１０４で予め撮影されている白色のみの白色紙面の画像に対してネガポジ反転（白黒反転）を行い、そのネガポジ反転画像を式（３）で示すＲｍＳｐｅｃに加算することにより簡易的に白色に戻すことが可能となる。しかしながら、ネガポジ反転前の白色紙面の画像は、拡散反射成分だけではなく、鏡面反射成分やノイズを含んでいる。 Subsequently, the diffuse reflection component removal unit 40 removes the illumination effect of the diffuse reflection component of the light reflected on the surface of the white paper surface from the image from which the specular reflection component has been removed. In this embodiment, since it is difficult to easily calculate f d (x, ω, ω ′) in the integral existing on the left side shown in Expression (4), the geometric pattern of the black ink with respect to the white paper surface is determined. Think about the characteristics. That is, the white paper surface is shaded and shaded by the influence of a known lighting effect. Since the ideal white to reflect all visible light incident, f d (x, ω, ω ') a When normalized to 0.0 to 1.0, white paper of f d (x, ω, ω ' ) Can always be regarded as 1.0. Therefore, in order to return the shaded white paper surface to white, negative-positive reversal (black / white reversal) is performed on the white-only white paper image previously captured in step S104, and the negative-positive reversal image is expressed by equation (3). It is possible to easily return to white by adding to RmSpec indicated by (). However, the image on the white paper before the negative / positive reversal includes not only the diffuse reflection component but also the specular reflection component and noise.
そのため、まず、拡散反射成分除去部４０は、画像蓄積部２０に既に蓄積されている白色のみの白色紙面の画像に対して平滑化を行う（ステップＳ２０１）。 Therefore, first, the diffuse reflection component removal unit 40 performs smoothing on the white-only white paper image already accumulated in the image accumulation unit 20 (step S201).
次に、拡散反射成分除去部４０は、ステップＳ１０２で得られた画像（Ｓｐｅｃ）に弱めの輝度調整係数ｋｒｍを乗算した値を計算し、ステップＳ２０１で計算された平滑化後の画像（Ｂａｓｅ）からその乗算値を除算して、拡散成分のみの光を受けた仮想的な白色紙面画像（ＢａｓｅＲｍＳｐｅｃ）を計算する（ステップＳ２０２）。図７は、拡散成分のみの光を受けた仮想的な白色紙面の画像を示す図である。 Next, the diffuse reflection component removing unit 40 calculates a value obtained by multiplying the image (Spec) obtained in step S102 by a weak luminance adjustment coefficient k rm , and the smoothed image (Base) calculated in step S201. ) To divide the multiplication value to calculate a virtual white paper image (Base RmSpec ) that receives light of only the diffusion component (step S202). FIG. 7 is a diagram showing an image of a virtual white paper surface that receives light of only the diffusion component.
その後、拡散反射成分除去部４０は、その白色紙面画像（ＢａｓｅＲｍＳｐｅｃ）に対してネガポジ反転を行う（ステップＳ２０３）。図８は、白色紙面画像を反転した反転画像（ＩｎｖｅｒｓｅＢａｓｅＲｍＳｐｅｃ）を示す図である。 Thereafter, the diffuse reflection component removing unit 40 performs negative / positive inversion on the white paper image (Base RmSpec ) (step S203). FIG. 8 is a diagram illustrating an inverted image (InverseBase RmSpec ) obtained by inverting the white paper surface image.
そして、拡散反射成分除去部４０は、鏡面反射成分除去部３０で行った鏡面反射成分の除去処理と同様に輝度調整を行うため、ＩｎｖｅｒｓｅＢａｓｅＲｍＳｐｅｃに輝度調整係数ｋｄを乗算し、ＲｍＳｐｅｃにその乗算された値を加算して、拡散反射成分を除去する（ステップＳ２０４）。 The diffuse reflection component removing unit 40 multiplies InverseBase RmSpec by a luminance adjustment coefficient k d and performs multiplication on RmSpec in order to perform luminance adjustment in the same manner as the specular reflection component removal processing performed by the specular reflection component removing unit 30. The values thus added are added to remove the diffuse reflection component (step S204).
しかし、単純な加算式では幾何学的模様の輝度が上昇する可能性がある。そのため、拡散反射成分除去部４０は、上記平滑化後の画像（Ｂａｓｅ）に輝度調整係数Ｔｈｄを乗算した値を閾値とし、式（５）に示すように、ＲｍＳｐｅｃが閾値よりも小さい場合にはＲｍＳｐｅｃを拡散反射成分除去後の画像（ＲｍＤｉｆｆｕｓｅ）とし、ＲｍＳｐｅｃが該閾値以上の場合には、ステップＳ２０３の計算結果をＲｍＤｉｆｆｕｓｅとする（ステップＳ２０５）。図９は、拡散反射成分除去後の画像を示す図である。なお、ＲｍＤｉｆｆｕｓｅとは、「Ｒｅｍｏｖｅ Ｄｉｆｆｕｓｅ（拡散反射成分を取り除く意）」の略である。
図９によれば、画像の左上・左下に若干のノイズが現れているが、幾何学的模様の読取精度に影響はない。 According to FIG. 9, although some noise appears in the upper left and lower left of the image, it does not affect the reading accuracy of the geometric pattern.
最後に、拡散反射成分除去部４０は、式（５）で得られたＲｍＤｉｆｆｕｓｅに対して２値化用閾値ＴｈＢｉｎａｒｙを用いて２値化を行う（ステップＳ２０６）。図１０は、２値化処理後の出力画像を示す図である。 Finally, the diffuse reflection component removing unit 40 binarizes the RmDiffuse obtained by Expression (5) using the binarization threshold Th Binary (step S206). FIG. 10 is a diagram illustrating an output image after binarization processing.
以上のステップＳ１０１〜ステップＳ１０４，ステップＳ２０１〜ステップＳ２０６によれば、五次元の変数群（ＴｈＳ，ｋＳ，Ｔｈｄ，ｋｄ，ＴｈＢｉｎａｒｙ）を使用するたけで、背景差分法＋２値化の処理よりも光の変化に耐性のある幾何学的模様を抽出することが可能となる。 According to the above Steps S101 to S104 and Steps S201 to S206, only using the five-dimensional variable group (Th S , k S , Th d , k d , Th Binary ), the background difference method + binarization is performed. It is possible to extract a geometric pattern that is more resistant to changes in light than the above processing.
なお、上記の如く幾何学的模様を得た場合であっても、図１１に示すように、広角レンズの歪曲収差によりレンズの中心から離れるほど歪みが発生し、携帯電話などで利用されている読み取り技術では読取精度が低下する可能性が残る。 Even when the geometric pattern is obtained as described above, as shown in FIG. 11, distortion occurs as the distance from the center of the lens increases due to distortion of the wide-angle lens, which is used in a mobile phone or the like. There is a possibility that the reading accuracy is lowered by the reading technique.
そこで、歪曲収差補正部５０は、カメラ装置１０が具備するレンズが非球面レンズであっても球面レンズと想定して、鏡面反射成分及び拡散反射成分が除去された除去画像を補正する。具体的には、図１２に示すように、曲率ｒの球面レンズの焦点を光源とした場合に、この球面レンズを介して除去画像上（図１２に示すａ−ｂ面上）の等間隔な複数の任意点を除去画像の平行面（図１２に示すｃ−ｄ面上）に投影する。そして、それら複数の任意点の二次元位置座標と、投影された複数の投影点の二次元位置座標とを用いて、それら任意点が投影点に移動した二次元移動距離を計算する。その後、歪曲収差補正部５０は、除去画像の各ピクセルに対して二次元移動距離を反映して除去画像を補正する。ここでいう反映とは、例えば、各ピクセル上の画像を除去画像の中心方向に二次元移動距離分だけ移動させることを意味している。これらの処理動作により、図１３に示すように除去画像を補正することが可能となる。 Therefore, the distortion correction unit 50 corrects the removed image from which the specular reflection component and the diffuse reflection component are removed, assuming that the lens included in the camera apparatus 10 is an aspheric lens, and is a spherical lens. Specifically, as shown in FIG. 12, when the focal point of a spherical lens having a curvature r is used as a light source, an equal interval is formed on the removed image (on the ab plane shown in FIG. 12) via the spherical lens. A plurality of arbitrary points are projected on the parallel plane (on the cd plane shown in FIG. 12) of the removed image. Then, using the two-dimensional position coordinates of the plurality of arbitrary points and the two-dimensional position coordinates of the plurality of projected points, a two-dimensional movement distance in which the arbitrary points have moved to the projection points is calculated. Thereafter, the distortion correction unit 50 corrects the removed image by reflecting the two-dimensional movement distance for each pixel of the removed image. Reflecting here means, for example, that the image on each pixel is moved by the two-dimensional movement distance in the center direction of the removed image. With these processing operations, the removed image can be corrected as shown in FIG.
本実施の形態によれば、鏡面反射成分除去部３０が、背景上に所定の模様が描画された撮影対象がカメラ装置１０で撮影された際に、その幾何学的模様の表面で反射した光の鏡面反射成分を除去し、拡散反射成分除去部４０が、鏡面反射成分が除去された画像から撮影対象の表面で反射した光の拡散反射成分を除去するので、従来技術よりも幾何学的模様の読取精度が高い画像に変換することが可能となる。 According to the present embodiment, the specular reflection component removing unit 30 reflects the light reflected on the surface of the geometric pattern when the camera device 10 captures an image of an object on which a predetermined pattern is drawn on the background. The specular reflection component is removed, and the diffuse reflection component removal unit 40 removes the diffuse reflection component of the light reflected from the surface of the object to be photographed from the image from which the specular reflection component has been removed. Can be converted into an image with high reading accuracy.
本実施の形態によれば、カメラ装置１０が、撮影対象が置かれた固定面に固定し、内部に形成された発光素子から照射される光を用いて外光を遮断しながら撮影対象を撮影するので、周囲の光の状況や撮影対象に対する距離や撮影対象を画像読取装置の視野角に入れる等の調整作業を伴うことなく、簡易に幾何学的模様を読み取ることができる。また、外光の影響を避けることで幾何学的模様の読取精度を向上することができる。更に、幾何学的模様を読み取る時間を短縮することができ、ユーザの利便性を高めることができる。 According to the present embodiment, the camera device 10 is fixed to a fixed surface on which an imaging target is placed, and the imaging target is captured while blocking external light using light emitted from a light emitting element formed inside. Therefore, it is possible to easily read the geometric pattern without an adjustment operation such as placing the photographing condition into the viewing angle of the image reading apparatus, the surrounding light condition, the distance to the photographing object, and the photographing object. Further, the reading accuracy of the geometric pattern can be improved by avoiding the influence of external light. Furthermore, the time for reading the geometric pattern can be shortened, and the convenience for the user can be enhanced.
〔第２の実施の形態〕
図１４は、第２の実施の形態に係る画像変換装置の機能ブロックを示す機能ブロック図である。この画像変換装置１００は、第１の実施の形態で説明した画像変換装置１００と略同様の構成を備えているが、撮影対象の素材の種類に応じて最適化された各輝度調整係数（ＴｈＳ，ｋＳ，Ｔｈｄ，ｋｄ）及び２値化用閾値（ＴｈＢｉｎａｒｙ）を夫々蓄積しておく蓄積部７０を更に備えた構成である。
[Second Embodiment]
FIG. 14 is a functional block diagram illustrating functional blocks of the image conversion apparatus according to the second embodiment. The image conversion apparatus 100 has substantially the same configuration as that of the image conversion apparatus 100 described in the first embodiment, but each brightness adjustment coefficient (Th optimized) according to the type of material to be imaged. S , k S , Th d , k d ) and a binarization threshold (Th Binary ) are further provided.
背景の色がたとえ同色であっても幾何学的模様が印刷されている撮影対象の素材によって前述した五次元変数群の最適値が異なるため、本実施の形態では、図１５に示すように撮影対象の素材に対する各変数の最適な値に加えて撮影対象の各素材の背景色面画像と幾何学的模様色面画像を予め蓄積部７０に蓄積しておき、各パターンの各値を用いて順次画像変換を実行することを特徴としている。 Even if the background color is the same color, the optimum value of the five-dimensional variable group described above differs depending on the material to be imaged on which the geometric pattern is printed. Therefore, in this embodiment, as shown in FIG. In addition to the optimum value of each variable for the target material, the background color plane image and the geometric pattern color plane image of each material to be imaged are stored in the storage unit 70 in advance, and each value of each pattern is used. It is characterized by sequentially executing image conversion.
具体的には、鏡面反射成分除去部３０が、第１の実施の形態で説明したステップＳ１０１及びステップＳ１０２を実行した後に、「和紙」に対応する輝度調整係数（ｋＳ＝２）を用いてステップＳ１０３を実行し、同じ「和紙」に対する輝度調整係数（ＴｈＳ＝３）を用いてステップＳ１０４を実行して、撮影対象画像から鏡面反射成分を除去する（ステップＳ３０１）。 Specifically, after the specular reflection component removing unit 30 executes Step S101 and Step S102 described in the first embodiment, the brightness adjustment coefficient (k S = 2) corresponding to “Japanese paper” is used. Step S103 is executed, and step S104 is executed using the luminance adjustment coefficient (Th S = 3) for the same “Japanese paper” to remove the specular reflection component from the image to be photographed (step S301).
次に、拡散反射成分除去部４０が、第１の実施の形態で説明したステップＳ２０１〜ステップＳ２０３を実行した後に、同じ「和紙」に対する輝度調整係数（ｋｄ＝３）を用いてステップＳ２０４を実行し、同じ「和紙」に対する輝度調整係数（Ｔｈｄ＝１）を用いてステップＳ２０５を実行して、鏡面反射成分除去後の画像から拡散反射成分を除去する。そして、同じ「和紙」に対する２値化用閾値（ＴｈＢｉｎａｒｙ＝１５５）を用いてステップＳ２０６を実行して、２値化処理を行う（ステップＳ３０２）。 Next, after the diffuse reflection component removal unit 40 executes steps S201 to S203 described in the first embodiment, step S204 is performed using the luminance adjustment coefficient (k d = 3) for the same “Japanese paper”. Step S205 is executed using the luminance adjustment coefficient (Th d = 1) for the same “Japanese paper” to remove the diffuse reflection component from the image after the specular reflection component removal. Then, binarization processing is performed by executing step S206 using the binarization threshold (Th Binary = 155) for the same “Japanese paper” (step S302).
そして、第１の実施の形態と同様に、歪曲収差補正部５０による補正が行われた後（ステップＳ３０３）、デコード部６０が補正後の画像を認識する（ステップＳ３０４）。ここで画像が認識できない場合には、鏡面反射成分除去部３０及び拡散反射成分除去部４０は、蓄積部７０の次列に蓄積されている「光沢紙」に対する各値を用いてステップＳ３０１及びステップＳ３０２を繰り返し、再度、デコード部６０で画像の認識が行われる。以降、画像の認識が可能となるまで、各パターンの値を用いてステップＳ３０１〜ステップＳ３０４の処理が繰り返されることになる。画像の認識が可能となった時点又は全てのパターンが用いられた場合に、上記処理が終了する。 As in the first embodiment, after the correction by the distortion aberration correcting unit 50 is performed (step S303), the decoding unit 60 recognizes the corrected image (step S304). If the image cannot be recognized here, the specular reflection component removal unit 30 and the diffuse reflection component removal unit 40 use the values for “glossy paper” stored in the next row of the storage unit 70 to perform steps S301 and S301. S302 is repeated, and the decoding unit 60 recognizes the image again. Thereafter, the processing from step S301 to step S304 is repeated using the value of each pattern until the image can be recognized. The above process ends when the image can be recognized or when all patterns are used.
なお、カメラ装置１０及び画像蓄積部２０の機能については第１の実施の形態で説明したものと同様なので、ここではその具体的説明は省略している。 Note that the functions of the camera device 10 and the image storage unit 20 are the same as those described in the first embodiment, and a specific description thereof is omitted here.
本実施の形態によれば、撮影対象の素材の種類に対する各変数の最適な値が予め蓄積部７０に蓄積され、それらの値に基づいて画像が認識されるまで画像変換が繰り返し行われるので、幾何学的画像の読取精度を更に向上することができる。 According to the present embodiment, the optimum value of each variable for the type of material to be photographed is stored in the storage unit 70 in advance, and image conversion is repeatedly performed until an image is recognized based on those values. The reading accuracy of the geometric image can be further improved.
なお、各実施の形態で説明した画像変換装置１００は、コンピュータで構成され、各機能ブロックの各処理はプログラムで実行されるようになっている。また、本実施の形態で説明した画像変換装置１００の各動作をプログラムとして例えばＣＤ（Compact Disk）やＦＤ（Floppy（登録商標） Disk）等の記録媒体に記録して、この記録媒体をコンピュータに組み込んだり、若しくは記録媒体に記録されたプログラムを、任意の通信回線を介してコンピュータにダウンロードしたり、又は記録媒体からインストールし、該プログラムでコンピュータを動作させることにより、上述した各処理を画像変換装置１００として機能させることができるのは勿論である。また、このような記録媒体を用いることにより、その流通性を高めることが可能となることも付言しておく。 The image conversion apparatus 100 described in each embodiment is configured by a computer, and each process of each functional block is executed by a program. Further, each operation of the image conversion apparatus 100 described in the present embodiment is recorded as a program on a recording medium such as a CD (Compact Disk) or an FD (Floppy (registered trademark) Disk), and this recording medium is stored in a computer. The program described above can be installed or downloaded to a computer via an arbitrary communication line, or installed from the recording medium, and the computer is operated with the program to convert the above-described processes into an image. Of course, it can function as the device 100. In addition, it should be added that the use of such a recording medium can improve the distribution.
１０…カメラ装置
１１…広角レンズ
１２…ＬＥＤ
２０…画像蓄積部
３０…鏡面反射成分除去部
４０…拡散反射成分除去部
５０…歪曲収差補正部
６０…デコード部
７０…蓄積部
１００…画像変換装置
Ｓ１０１〜Ｓ１０４，Ｓ２０１〜Ｓ２０６，Ｓ３０１〜Ｓ３０４…ステップ
10 ... Camera device 11 ... Wide-angle lens 12 ... LED
DESCRIPTION OF SYMBOLS 20 ... Image storage part 30 ... Specular reflection component removal part 40 ... Diffuse reflection component removal part 50 ... Distortion correction part 60 ... Decoding part 70 ... Accumulation part 100 ... Image converter S101-S104, S201-S206, S301-S304 ... Step
Claims (9)
前記撮影対象画像を前記画像蓄積手段から読み出して、前記撮影対象が撮影された際に前記模様の表面で反射した光の鏡面反射成分を除去する鏡面反射成分除去手段と、
前記鏡面反射成分が除去された画像から前記撮影対象の表面で反射した光の拡散反射成分を除去する拡散反射成分除去手段と、
を有することを特徴とする画像変換装置。 An image accumulating unit for accumulating an imaging target imaged by an image reading apparatus and having a predetermined pattern drawn on a background as an imaging target image;
A specular reflection component removing unit that reads the photographing target image from the image storage unit and removes a specular reflection component of light reflected by the surface of the pattern when the photographing target is photographed;
A diffuse reflection component removing unit that removes a diffuse reflection component of light reflected from the surface of the imaging target from the image from which the specular reflection component has been removed;
An image conversion apparatus comprising:
前記撮影対象が置かれた固定面に固定し、内部に形成された発光素子から照射される光を用いて外光を遮断しながら前記撮影対象を撮影することを特徴とする請求項１に記載の画像変換装置。 The image reading device includes:
2. The imaging object according to claim 1, wherein the imaging object is imaged while being fixed to a fixed surface on which the imaging object is placed and blocking external light using light emitted from a light emitting element formed inside. Image conversion device.
前記鏡面反射成分除去手段は、
前記画像蓄積手段から読み出した前記模様色面画像に対して平滑化を行い、平滑化された画像の画素深度に対して正規化を行う手段と、
正規化された画像に対して第１の輝度調整係数を乗算し、前記撮影対象画像から当該乗算された値を除算する手段と、
前記画像蓄積手段から読み出した前記背景色面画像に対して平滑化を行い、平滑化された画像に第２の輝度調整係数を乗算した値を閾値とし、前記撮影対象画像が当該閾値よりも小さい場合には前記撮影対象画像を鏡面反射成分除去後の画像とし、前記撮影対象画像が当該閾値以上の場合には、前記除算された値を鏡面反射成分除去後の画像とする手段と、
を有することを特徴とする請求項１又は２に記載の画像変換装置。 The image storage means further stores a pattern color plane image obtained by photographing a pattern color plane having only the same color as the pattern color, and a background color plane image obtained by photographing a background color plane having only the same color as the background color. Aside,
The specular reflection component removing means is
Means for smoothing the pattern color plane image read from the image storage means, and normalizing the pixel depth of the smoothed image;
Means for multiplying the normalized image by a first luminance adjustment coefficient, and dividing the multiplied value from the image to be captured;
The background color plane image read from the image storage means is smoothed, and a value obtained by multiplying the smoothed image by a second luminance adjustment coefficient is set as a threshold value, and the image to be captured is smaller than the threshold value. In this case, the photographing target image is an image after removing the specular reflection component, and when the photographing target image is equal to or greater than the threshold value, the divided value is an image after the specular reflection component removal;
The image conversion apparatus according to claim 1, further comprising:
前記画像蓄積手段から読み出した前記背景色面画像に対して平滑化を行う手段と、
前記正規化された画像に対して輝度調整係数を乗算し、当該平滑化された画像から当該乗算された値を除算し、仮想背景色面画像とする手段と、
前記仮想背景色面画像に対してネガポジ反転を行う手段と、
ネガポジ反転された反転画像に対して第３の輝度調整係数を乗算し、前記鏡面反射成分除去後の画像に当該乗算された値を加算する手段と、
当該平滑化された画像に第４の輝度調整係数を乗算した値を閾値とし、前記鏡面反射成分除去後の画像が当該閾値よりも小さい場合には前記鏡面反射成分除去後の画像を拡散反射成分除去後の画像とし、前記鏡面反射成分除去後の画像が当該閾値以上の場合には、前記加算された値を拡散反射成分除去後の画像とする手段と、
前記拡散反射成分除去後の画像に対して２値化用閾値を用いて２値化を行う手段と、
を有することを特徴とする請求項３に記載の画像変換装置。 The diffuse reflection component removing means includes
Means for smoothing the background color plane image read from the image storage means;
Means for multiplying the normalized image by a luminance adjustment coefficient, dividing the multiplied value from the smoothed image, and obtaining a virtual background color plane image;
Means for performing negative / positive inversion on the virtual background color plane image;
Means for multiplying a negative-positive inverted image by a third luminance adjustment coefficient, and adding the multiplied value to the image after the specular reflection component removal;
A value obtained by multiplying the smoothed image by a fourth luminance adjustment coefficient is set as a threshold value. When the image after the removal of the specular reflection component is smaller than the threshold value, the image after the removal of the specular reflection component is used as the diffuse reflection component. When the image after removal, and when the image after the specular reflection component removal is equal to or greater than the threshold value, the means for making the added value the image after the diffuse reflection component removal;
Means for binarizing the image after removing the diffuse reflection component using a binarization threshold;
The image conversion apparatus according to claim 3, further comprising:
前記鏡面反射成分除去手段は、ある素材の種類に対応する前記第１の輝度調整係数及び前記第２の輝度調整係数を用いて前記撮影対象画像から鏡面反射成分を除去し、前記拡散反射成分除去手段は、当該素材の種類に対応する前記第３の輝度調整係数と前記第４の輝度調整係数と前記２値化用閾値とを用いて前記鏡面反射成分除去後の画像から拡散反射成分を除去することを各素材の種類に対して繰り返すことを特徴とする請求項４に記載の画像変換装置。 In addition to the first to fourth luminance adjustment coefficients and the binarization threshold optimized according to the type of the material to be photographed, a background color surface image and a pattern color surface image of each material are respectively displayed. It further has storage means for storing,
The specular reflection component removing unit removes the specular reflection component from the photographing target image using the first luminance adjustment coefficient and the second luminance adjustment coefficient corresponding to a certain material type, and removes the diffuse reflection component. The means removes the diffuse reflection component from the image after removing the specular reflection component using the third luminance adjustment coefficient, the fourth luminance adjustment coefficient, and the binarization threshold corresponding to the type of the material. 5. The image conversion apparatus according to claim 4, wherein the process is repeated for each type of material.
前記撮影対象画像を前記画像蓄積手段から読み出して、前記撮影対象が撮影された際に前記模様の表面で反射した光の鏡面反射成分を除去するステップと、
前記鏡面反射成分が除去された画像から前記撮影対象の表面で反射した光の拡散反射成分を除去するステップと、
を有することを特徴とする画像変換方法。 A step of accumulating in the image accumulating means as a photographing target image a photographing target photographed by the image reading device and having a predetermined pattern drawn on the background;
Reading the image to be photographed from the image storage means, and removing the specular reflection component of the light reflected by the surface of the pattern when the object to be photographed is photographed;
Removing the diffuse reflection component of the light reflected from the surface of the subject to be imaged from the image from which the specular reflection component has been removed;
An image conversion method characterized by comprising:
画像読取装置で撮影され、背景上に所定の模様が描画された撮影対象を撮影対象画像として画像蓄積手段に蓄積する処理と、
前記撮影対象画像を前記画像蓄積手段から読み出して、前記撮影対象が撮影された際に前記模様の表面で反射した光の鏡面反射成分を除去する処理と、
前記鏡面反射成分が除去された画像から前記撮影対象の表面で反射した光の拡散反射成分を除去する処理と、
を実行させることを特徴とする画像変換プログラム。 On the computer,
A process of accumulating in the image accumulating means as an image to be photographed a photographing object photographed by an image reading device and having a predetermined pattern drawn on the background;
A process of reading the image to be photographed from the image storage means and removing a specular reflection component of light reflected by the surface of the pattern when the object to be photographed is photographed;
A process of removing the diffuse reflection component of the light reflected from the surface of the object to be imaged from the image from which the specular reflection component has been removed;
An image conversion program characterized in that the program is executed.
画像読取装置で撮影され、背景上に所定の模様が描画された撮影対象を撮影対象画像として画像蓄積手段に蓄積する処理と、
前記撮影対象画像を前記画像蓄積手段から読み出して、前記撮影対象が撮影された際に前記模様の表面で反射した光の鏡面反射成分を除去する処理と、
前記鏡面反射成分が除去された画像から前記撮影対象の表面で反射した光の拡散反射成分を除去する処理と、
を実行させることを特徴とする画像変換プログラムを記録したコンピュータ読み取り可能な記録媒体。 On the computer,
A process of accumulating in the image accumulating means as an image to be photographed a photographing object photographed by an image reading device and having a predetermined pattern drawn on the background;
A process of reading the image to be photographed from the image storage means and removing a specular reflection component of light reflected by the surface of the pattern when the object to be photographed is photographed;
A process of removing the diffuse reflection component of the light reflected from the surface of the object to be imaged from the image from which the specular reflection component has been removed;
A computer-readable recording medium on which an image conversion program is recorded.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008156621A JP5009865B2 (en) | 2008-06-16 | 2008-06-16 | Image conversion apparatus, image conversion method, image conversion program, and computer-readable recording medium recording the image conversion program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008156621A JP5009865B2 (en) | 2008-06-16 | 2008-06-16 | Image conversion apparatus, image conversion method, image conversion program, and computer-readable recording medium recording the image conversion program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009303018A true JP2009303018A (en) | 2009-12-24 |
| JP5009865B2 JP5009865B2 (en) | 2012-08-22 |
Family
ID=41549430
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008156621A Expired - Fee Related JP5009865B2 (en) | 2008-06-16 | 2008-06-16 | Image conversion apparatus, image conversion method, image conversion program, and computer-readable recording medium recording the image conversion program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5009865B2 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011228930A (en) * | 2010-04-20 | 2011-11-10 | Nippon Avionics Co Ltd | Writing and drawing image pickup device and image reflection correcting method |
| US9866761B2 (en) | 2015-02-24 | 2018-01-09 | Samsung Display Co., Ltd. | Image dynamic range compensation device and method |
| WO2020145023A1 (en) * | 2019-01-10 | 2020-07-16 | コニカミノルタ株式会社 | Optical characteristic analysis apparatus and program |
| CN113361125A (en) * | 2021-06-24 | 2021-09-07 | 武汉理工大学 | Lip makeup simulation method and system based on double-color reflection model |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63127386A (en) * | 1986-11-18 | 1988-05-31 | Tokyo Electric Co Ltd | Quantization circuit for picture information reader |
| JPH10334178A (en) * | 1997-05-30 | 1998-12-18 | Denso Corp | Optical reader |
| JP2005070026A (en) * | 2003-08-04 | 2005-03-17 | Nippon Telegr & Teleph Corp <Ntt> | Object recognition device, object recognition method, program, and recording medium |
-
2008
- 2008-06-16 JP JP2008156621A patent/JP5009865B2/en not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63127386A (en) * | 1986-11-18 | 1988-05-31 | Tokyo Electric Co Ltd | Quantization circuit for picture information reader |
| JPH10334178A (en) * | 1997-05-30 | 1998-12-18 | Denso Corp | Optical reader |
| JP2005070026A (en) * | 2003-08-04 | 2005-03-17 | Nippon Telegr & Teleph Corp <Ntt> | Object recognition device, object recognition method, program, and recording medium |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011228930A (en) * | 2010-04-20 | 2011-11-10 | Nippon Avionics Co Ltd | Writing and drawing image pickup device and image reflection correcting method |
| US9866761B2 (en) | 2015-02-24 | 2018-01-09 | Samsung Display Co., Ltd. | Image dynamic range compensation device and method |
| WO2020145023A1 (en) * | 2019-01-10 | 2020-07-16 | コニカミノルタ株式会社 | Optical characteristic analysis apparatus and program |
| JPWO2020145023A1 (en) * | 2019-01-10 | 2021-11-18 | コニカミノルタ株式会社 | Optical property analyzer and program |
| JP7380596B2 (en) | 2019-01-10 | 2023-11-15 | コニカミノルタ株式会社 | Optical property analysis device and program |
| CN113361125A (en) * | 2021-06-24 | 2021-09-07 | 武汉理工大学 | Lip makeup simulation method and system based on double-color reflection model |
| CN113361125B (en) * | 2021-06-24 | 2022-04-29 | 武汉理工大学 | Lip makeup simulation method and system based on double-color reflection model |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5009865B2 (en) | 2012-08-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101319048B1 (en) | Camera flash mitigation | |
| JP4675851B2 (en) | Method for adaptively determining camera settings according to scene and camera configured to adaptively determine camera settings according to scene | |
| JP4772612B2 (en) | Method and system for generating enhanced output images | |
| US8325993B2 (en) | Standoff and mobile fingerprint collection | |
| JP2007035028A (en) | Producing method for high dynamic range image, and production system for high dynamic range output image | |
| CN110536068A (en) | Focusing method and device, electronic equipment, computer readable storage medium | |
| CN108668093A (en) | The generation method and device of HDR image | |
| JPWO2020059565A1 (en) | Depth acquisition device, depth acquisition method and program | |
| JP2000149018A (en) | Image processing method, and device and recording medium thereof | |
| US20150262364A1 (en) | Determining proximity of a mobile device to a subject based on shadow analysis | |
| KR101624120B1 (en) | System and method for illuminating pattern light of structured light for measuring 3d forming | |
| JP5009865B2 (en) | Image conversion apparatus, image conversion method, image conversion program, and computer-readable recording medium recording the image conversion program | |
| US9147222B2 (en) | Detecting encoded signals under adverse lighting conditions using adaptive signal detection | |
| US20150341520A1 (en) | Image reading apparatus, image reading method, and medium | |
| WO2023213311A1 (en) | Capsule endoscope, and distance measurement method and device for camera system | |
| US20190188841A1 (en) | Image processing system, computer readable recording medium, and image processing method | |
| RU2009132358A (en) | METHOD AND SYSTEM OF EXAMINATION | |
| CN109612408B (en) | Method and device for testing emission angle of semiconductor laser and readable storage medium | |
| US8723938B2 (en) | Immunoassay apparatus and method of determining brightness value of target area on optical image using the same | |
| US20100254624A1 (en) | Method of correcting image distortion | |
| CN109360176A (en) | Image processing method, device, electronic equipment and computer readable storage medium | |
| JP2016052096A (en) | Image processing program, information processing system, and image processing method | |
| CN108827157B (en) | Laser measurement verification method, device, system, equipment and storage medium | |
| US20190187064A1 (en) | Image processing system, computer readable recording medium, and image processing method | |
| KR102509215B1 (en) | Method and apparatus for detecting coating area of printed circuit board |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100727 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120104 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120214 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120424 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120508 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20120509 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20120511 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120529 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120531 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150608 Year of fee payment: 3 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |