JP2010032287A - 外観検査装置、及び被検査物の外観検査方法 - Google Patents

外観検査装置、及び被検査物の外観検査方法 Download PDF

Info

Publication number
JP2010032287A
JP2010032287A JP2008193163A JP2008193163A JP2010032287A JP 2010032287 A JP2010032287 A JP 2010032287A JP 2008193163 A JP2008193163 A JP 2008193163A JP 2008193163 A JP2008193163 A JP 2008193163A JP 2010032287 A JP2010032287 A JP 2010032287A
Authority
JP
Japan
Prior art keywords
image data
inspection
reference image
inspection target
predetermined shape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008193163A
Other languages
English (en)
Other versions
JP5441372B2 (ja
Inventor
Yoshitaka Fujisawa
佳孝 藤沢
Norihiro Honda
徳弘 本田
Tetsuya Sakekawa
哲也 鮭川
Taro Takebuchi
太郎 竹淵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bridgestone Corp
Original Assignee
Bridgestone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bridgestone Corp filed Critical Bridgestone Corp
Priority to JP2008193163A priority Critical patent/JP5441372B2/ja
Publication of JP2010032287A publication Critical patent/JP2010032287A/ja
Application granted granted Critical
Publication of JP5441372B2 publication Critical patent/JP5441372B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

【課題】従来の技術と比較して、カメラの光軸の方向が理想的な状態でない場合でも、検査精度が良好となる。
【解決手段】基準となる所定形状が、検査対象領域に含まれていないと判定された場合(118でN)に、基準画像データが表す画像の所定の基準点から第1の方向上の距離が大きくなるほど、第1の方向と交差する第2の方向へ移動する移動量が大きくなるように、基準画像データが表す画像の各画素を第2の方向へ移動させることにより、基準画像データを変形させる(120)。
【選択図】図4

Description

本発明は、外観検査装置、及び被検査物の外観検査方法に関する。
従来、被検査物の外観を検査するための外観検査装置が知られている。例えば、被検査物としてのタイヤの外観を検査するためにタイヤの画像を撮影するカメラを含んで構成された外観検査装置が知られている(例えば、特許文献1、及び特許文献2参照)。
一般的に、外観検査装置では、例えば、タイヤのサイドウォールに形成された文字や記号毎にパターンマッチング用のデータ(基準画像データ)を予め求めておいて、各パターンマッチング用のデータ毎に記憶手段(例えば、HDD(Hard Disk Drive))に記憶しておくと共に、パターンマッチング用のデータ毎に対応する位置のデータを予め求めておいて、求められたパターンマッチング用のデータ毎の位置のデータを含む位置情報ファイルが予め記憶される。そして、タイヤを回転させながらカメラによって検査対象のタイヤのサイドウォール(この場合には検査対象領域)を撮影することにより、タイヤ1周分のサイドウォールの画像の画像データを取得して、取得した画像の所定の位置の文字または記号と、パターンマッチング用のデータ及び位置情報ファイルに基づいて得られた、この所定の位置に対応するパターンマッチング用のデータとを比較していわゆるパターンマッチング処理を行うことにより、所定の文字または記号がタイヤのサイドウォールに形成されているか否かが判定される。そして、この判定を全ての文字及び記号について行うことにより、タイヤの外観検査が行われる。
なお、パターンマッチング処理は、一般的に、基準画像データが表す画像である基準画像と、取得した検査対象領域の画像との一致度を演算し、この一致度が所定の閾値以上である場合には、基準画像データが表す画像と取得した検査対象領域の画像とが一致すると判定し、一方、一致度が所定の閾値未満である場合には、基準画像データが表す画像と取得した検査対象領域の画像とが一致しないと判定する処理である。
特開2007−333531号公報 特開2005−331274号公報
上記の例の被検査物検査装置では、画像を取得するための装置、例えばカメラの光軸(撮影軸)の方向が、図8(A)に示すように、被検査物としてのタイヤに形成された文字や記号を含む検査対象領域の面と垂直な方向(タイヤの接線に対して垂直な方向)となる理想的な状態になっていることにより、基準画像と同じ状態(形状)の文字や記号の画像を取得することが可能となる。
しかしながら、カメラの光軸の方向が上記の理想的な状態とならない場合がある。すなわち、図8(B)及び図8(C)に示すように、カメラの光軸の方向が、タイヤに形成された文字や記号を含む検査対象領域の面と垂直な方向からずれてしまう場合(図8(B)の例ではθ´分ずれ、図8(C)の例ではθ´´分ずれている)がある。これは、例えば、カメラの設置者の技量が未熟であること等が原因として考えられる。このような場合には、基準画像と同じ状態(形状)の文字や記号の画像を取得できず、基準画像と取得した画像とに基づいて演算された一致度が所定値未満となってしまうことがあり、タイヤに形成された文字や記号が基準画像に含まれる文字や記号(基準画像が表す文字や記号:所定形状)と同一であるにも関わらず、パターンマッチング処理において、一致度が所定値未満であるため、一致しないと判定されてしまう、という問題がある。これにより検査精度が低下する。
なお、この一致するか否かの一致度の閾値を低くしてその値を調整することにより、カメラの光軸の方向が理想的な状態でない場合にも、基準画像と取得した画像に含まれる文字や記号とが一致するようにすることが考えられる。しかしながら、このように閾値を低くしてしまうと、パターンマッチング処理における一致するか否かの判定の精度が低くなってしまい、ひいては検査精度が低くなってしまう。すなわち、タイヤに形成された文字や記号が基準画像に含まれる文字や記号と同一でないのに、閾値が低いため、パターンマッチング処理において演算された一致度がこの閾値以上となる場合には、一致すると判定されてしまい、外観検査の検査精度が低くなってしまう。
本発明は、上記の問題点を解決するために成されたものであり、カメラの光軸の方向が理想的な状態でない場合でも、検査精度が良好となる外観検査装置、及び被検査物の外観検査方法を提供することを目的とする。
上記目的を達成するために、請求項1に記載の発明の外観検査装置は、被検査物の検査対象領域を撮影して画像データを出力する撮影手段と、基準となる所定形状を含む基準画像データを記憶した記憶手段と、前記基準画像データと、前記検査対象領域を前記撮影手段によって撮影することにより得られた検査対象画像データとを比較して、前記基準画像データが表す画像に含まれる前記所定形状が、前記検査対象領域に含まれているか否かを判定することにより、前記被検査物の外観を検査する第1の検査手段と、前記第1の検査手段で、前記所定形状が、前記検査対象領域に含まれていないと判定された場合に、前記基準画像データが表す画像の所定の基準点から第1の方向上の距離が大きくなるほど、該第1の方向と交差する第2の方向へ移動する移動量が大きくなるように、前記基準画像データが表す画像の各画素を前記第2の方向へ移動させることにより、前記基準画像データを変形させる変形手段と、前記変形手段によって変形された前記基準画像データと、前記検査対象画像データとを比較して、前記所定形状が、前記検査対象領域に含まれているか否かを判定することにより、前記被検査物の外観を検査する第2の検査手段とを含んで構成されている。
本発明の外観検査装置によれば、変形手段が、第1の検査手段で、基準となる所定形状(例えば、基準の文字または記号)が、検査対象領域に含まれていないと判定された場合に、基準画像データが表す画像の所定の基準点から第1の方向上の距離が大きくなるほど、第1の方向と交差する第2の方向へ移動する移動量が大きくなるように、基準画像データが表す画像の各画素を第2の方向へ移動させることにより、基準画像データを変形させる。このように変形された基準画像データが表す変形された所定形状は、撮影手段の光軸の方向にずれが発生している場合に、この撮影手段によって撮影された画像の検査対象領域に含まれた所定形状(例えば、基準の文字または記号)と同一の所定形状と、例えば一致度が高くなる。これにより、検査精度が良好となる。従って、本発明によれば、カメラの光軸の方向が理想的な状態でない場合でも、検査精度が良好となる。
上記目的を解決するために、請求項2に記載の発明の外観検査装置は、被検査物の検査対象領域を撮影して画像データを出力する撮影手段と、基準となる所定形状を含む基準画像データを記憶した記憶手段と、前記基準画像データと、前記検査対象領域を前記撮影手段によって撮影することにより得られた検査対象画像データとを比較して、前記所定形状が、前記検査対象領域に含まれているか否かを判定することにより、前記被検査物の外観を検査する第1の検査手段と、前記第1の検査手段で、前記所定形状が、前記検査対象領域に含まれていないと判定された場合に、前記基準画像データが表す画像の所定の基準点から第1の方向上の距離が大きくなるほど、該第1の方向と交差する第2の方向へ移動する移動量が大きくなるように、前記基準画像データが表す画像の各画素を前記第2の方向へ移動させることにより、前記基準画像データを変形させる第1の変形手段と、前記第1の検査手段で、前記所定形状が、前記検査対象領域に含まれていないと判定された場合に、前記基準画像データが表す画像の所定の基準点から第1の方向上の距離が大きくなるほど、前記第2の方向と逆の方向へ移動する移動量が大きくなるように、前記基準画像データが表す画像の各画素を前記逆の方向へ移動させることにより、前記基準画像データを変形させる第2の変形手段と、前記第1の変形手段によって変形された基準画像データと、前記検査対象画像データとを比較して、前記所定形状が、前記検査対象領域に含まれているか否かを判定することにより、前記被検査物の外観を検査する第2の検査手段と、前記第2の検査手段で、前記所定形状が、前記検査対象領域に含まれていないと判定された場合に、前記第2の変形手段によって変形された前記基準画像データと、前記検査対象画像データとを比較して、前記所定形状が、前記検査対象領域に含まれているか否かを判定することにより、前記被検査物の外観を検査する第3の検査手段とを含んで構成されている。
本発明の外観検査装置によれば、第1の変形手段が、第1の検査手段で、基準となる所定形状が、検査対象領域に含まれていないと判定された場合に、基準画像データが表す画像の所定の基準点から第1の方向上の距離が大きくなるほど、第1の方向と交差する第2の方向へ移動する移動量が大きくなるように、基準画像データが表す画像の各画素を第2の方向へ移動させることにより、基準画像データを変形させる。また、第2の変形手段が、第1の検査手段で、所定形状が検査対象領域に含まれていないと判定された場合に、基準画像データが表す画像の所定の基準点から第1の方向上の距離が大きくなるほど、第2の方向と逆の方向へ移動する移動量が大きくなるように、基準画像データが表す画像の各画素をこの逆の方向へ移動させることにより、基準画像データを変形させる。このように第1の変形手段及び第2の変形手段によって変形された基準画像データが表す変形された所定形状は、撮影手段の光軸の方向にずれが発生している場合に、この撮影手段によって撮影された画像の検査対象領域に含まれた基準となる所定形状と同一の所定形状と、例えば一致度が高くなる。これにより、検査精度が良好となる。従って、本発明によれば、カメラの光軸の方向が理想的な状態でない場合でも、検査精度が良好となる。
上記目的を達成するために、請求項3に記載の発明の被検査物の外観検査方法は、基準となる所定形状を含む基準画像データと、被検査物の検査対象領域を撮影手段によって撮影することにより得られた検査対象画像データとを比較して、前記基準画像データが表す画像に含まれる前記所定形状が、前記検査対象領域に含まれているか否かを判定することにより、前記被検査物の外観を検査し、前記所定形状が前記検査対象領域に含まれていないと判定された場合に、前記基準画像データが表す画像の所定の基準点から第1の方向上の距離が大きくなるほど、該第1の方向と交差する第2の方向へ移動する移動量が大きくなるように、前記基準画像データが表す画像の各画素を前記第2の方向へ移動させることにより、前記基準画像データを変形させ、変形された前記基準画像データと、前記検査対象画像データとを比較して、前記所定形状が、前記検査対象領域に含まれているか否かを判定することにより、前記被検査物の外観を検査する。
本発明の被検査物の外観検査方法によれば、基準となる所定形状が検査対象領域に含まれていないと判定された場合に、基準画像データが表す画像の所定の基準点から第1の方向上の距離が大きくなるほど、第1の方向と交差する第2の方向へ移動する移動量が大きくなるように、基準画像データが表す画像の各画素を第2の方向へ移動させることにより、基準画像データを変形させる。このように変形された基準画像データが表す変形された所定形状は、撮影手段の光軸の方向にずれが発生している場合に、この撮影手段によって撮影された画像の検査対象領域に含まれた基準となる所定形状と同一の所定形状と、例えば一致度が高くなる。これにより、検査精度が良好となる。従って、本発明によれば、カメラの光軸の方向が理想的な状態でない場合でも、検査精度が良好となる。
上記目的を達成するために、請求項4に記載の発明の被検査物の外観検査方法は、基準となる所定形状を含む基準画像データと、被検査物の検査対象領域を撮影手段によって撮影することにより得られた検査対象画像データとを比較して、前記所定形状が、前記検査対象領域に含まれているか否かを判定することにより、前記被検査物の外観を検査し、前記所定形状が前記検査対象領域に含まれていないと判定された場合に、前記基準画像データが表す画像の所定の基準点から第1の方向上の距離が大きくなるほど、該第1の方向と交差する第2の方向へ移動する移動量が大きくなるように、前記基準画像データが表す画像の各画素を前記第2の方向へ移動させることにより、前記基準画像データを変形させ、前記所定形状が前記検査対象領域に含まれていないと判定された場合に、前記基準画像データが表す画像の所定の基準点から第1の方向上の距離が大きくなるほど、前記第2の方向と逆の方向へ移動する移動量が大きくなるように、前記基準画像データが表す画像の各画素を前記逆の方向へ移動させることにより、前記基準画像データを変形させ、前記各画素を前記第2の方向へ移動させることにより変形された基準画像データと、前記検査対象画像データとを比較して、前記所定形状が、前記検査対象領域に含まれているか否かを判定することにより、前記被検査物の外観を検査し、前記各画素を前記第2の方向へ移動させることにより変形された基準画像データと、前記検査対象画像データとを比較することにより、前記所定形状が、前記検査対象領域に含まれていないと判定された場合に、前記各画素を前記逆の方向へ移動させることにより変形された前記基準画像データと、前記検査対象画像データとを比較して、前記所定形状が、前記検査対象領域に含まれているか否かを判定することにより、前記被検査物の外観を検査する。
本発明の被検査物の外観検査方法によれば、基準となる所定形状が検査対象領域に含まれていないと判定された場合に、基準画像データが表す画像の所定の基準点から第1の方向上の距離が大きくなるほど、第1の方向と交差する第2の方向へ移動する移動量が大きくなるように、基準画像データが表す画像の各画素を第2の方向へ移動させることにより、基準画像データを変形させる。また、基準となる所定形状が検査対象領域に含まれていないと判定された場合に、基準画像データが表す画像の所定の基準点から第1の方向上の距離が大きくなるほど、第2の方向と逆の方向へ移動する移動量が大きくなるように、基準画像データが表す画像の各画素をこの逆の方向へ移動させることにより、基準画像データを変形させる。このようにして変形された基準画像データが表す変形された所定形状は、撮影手段の光軸の方向にずれが発生している場合に、この撮影手段によって撮影された画像の検査対象領域に含まれた基準となる所定形状と同一の所定形状と、例えば一致度が高くなる。これにより、検査精度が良好となる。従って、本発明によれば、カメラの光軸の方向が理想的な状態でない場合でも、検査精度が良好となる。
以上、説明したように、本発明の外観検査装置、及び被検査物の外観検査方法によれば、カメラの光軸の方向が理想的な状態でない場合でも、検査精度が良好となる、という効果が得られる。
以下、図面を参照して、本発明の実施の形態を詳細に説明する。なお、本実施の形態では、被検査物としてのタイヤのサイドウォールを検査対象領域とした場合における、このタイヤのサイドウォールの外観検査を行う外観検査装置に本発明を適用した例について説明する。
図1には、本発明の実施形態に係る外観検査装置10に検査対象である(断面図で示す)被検査物としてのタイヤ20が装着された状態が示されている。外観検査装置10は、タイヤ20を保持するホルダ部12を備えている。このホルダ部12は、タイヤ20を実装するホイールと同様の役目を有している。ホルダ部12は、一対の円盤部が互いに対向かつ平行に配置されている(図1では一方側のみを示す)。ホルダ部12の一方の中心には、モータ16の回転軸が連結された回転軸ホルダ14が取り付けられている。このモータ16は、コントローラ40に接続されている。
コントローラ40は、I/O(入出力)ポート40a、ROM(Read Only Memory)40b、HDD(Hard Disk Drive)40c、CPU(Central Processing Unit)40d、RAM(Random Access Memory)40e、並びにこれらI/Oポート40a、ROM40b、HDD40c、CPU40d、及びRAM40eを互いに接続するバス40fを含んで構成されている。
記憶媒体としてのROM40bには、OS等の基本プログラムが記憶されている。
記憶媒体としてのHDD40cには、詳細を後述する外観検査処理の処理ルーチンを実行するためのプログラムが記憶されている。
また、HDD40cには、図2に示すように、本実施の形態における基準となる所定形状としての各文字又は各記号毎に、予め基準画像(モデル)の画像データが圧縮されて記憶されている。なお、図2の例では、「B」、「R」、「I」、「D」、「G」、「E」、「S」、「T」、「O」、「N」、及び「E」の各文字毎の基準画像の画像データが圧縮されて記憶されている。なお、この画像データを、以下、基準画像データまたはモデルデータと称する場合がある。また、本実施の形態では、基準の文字毎の基準画像の画像データが記憶されている例について説明するが、基準の文字または記号を含む基準画像データが記憶されているようにしてもよい。また、HDD40cには、基準画像データ毎の位置のデータを含む位置情報ファイル(図示せず)が予め記憶されている。
CPU40dは、プログラムをROM40b及びHDD40cから読み出して実行し、RAM40eには、各種データが一時的に記憶される。
I/Oポート40aには、表示装置48、被検査物としてのタイヤ20のサイドウォールの文字及び記号が形成されている所定領域(検査対象領域)を撮影するためのカメラ18、及びモータ16が接続されている。
カメラ18は、タイヤ20のサイドウォールの検査対象領域が撮影可能に設置されており、撮影した画像の画像データを出力する。すなわち、カメラ18は、被検査物としてのタイヤ20の検査対象領域を撮影して画像データを出力することができる。ここで、このカメラ18の光軸の方向が、上記の理想的な状態とならない場合がある。すなわち、図3(A)及び図3(B)に示すように、カメラ18の光軸の方向が、タイヤに形成された文字や記号を含む面と垂直な方向からずれてしまう場合(図3(A)の例ではθ´分ずれ、図3(B)の例ではθ´´分ずれている)がある。これは、カメラ18の設置者の技量が低いなどの原因が考えられる。
モータ16は、コントローラ40からの指示信号に応じて回転駆動されて、ホルダ部12とカメラ18とを相対的に回転させることができるようになっている。この構成によって、カメラ18によりタイヤ20サイドウォールの検査対象領域を全周に亘って撮影することが可能になる。
表示装置48は、入力された情報に基づいた表示を行うLCDまたはCRTで構成されている。
タイヤ20は、複数のゴム部材毎に分割されたカーカス22を有しており、このカーカス22はビード26により折り返されている。このカーカス22には各種のコードも含まれている。また、カーカス22の内側はインナーライナー24とされ、インナーライナー24に延長上にはビードゴム36が配置している。また、折り返されたカーカス22により形成される略三角形状の領域はビードフィラー28とされている。カーカス22の上方には、ベルト30が配置されており、このベルト30の半径方向外側には溝が形成されたトレッドゴム32が配置され、カーカス22の軸方向外側にはサイドゴム34が配置されている。
次に、コントローラ40のCPU40dが実行する外観検査処理の処理ルーチンについて図4を用いて説明する。なお、本実施の形態において、外観検査処理は、オペレータによって図示しない入力装置から外観検査処理を行う指示が入力された場合に実行される。
まず、ステップ100で、HDD40cから圧縮された全てのモデルデータを読み込む。
次のステップ102では、上記ステップ100で読み込まれた全てのモデルデータを解凍する。
次のステップ104では、回転駆動するようにモータ16に指示信号を出力すると共に、タイヤ20の検査対象領域の静止画を、タイヤ20の一周分、所定間隔で連続して撮影するようにカメラ18を制御する。
次のステップ106では、上記ステップ104で撮影された各静止画の画像データを取り込む。
次のステップ108では、上記ステップ106で取り込まれた各画像データが表す各静止画の画像をつなぎ合わせる。なお、静止画をつなぎ合わせることは公知の技術を用いて行うことができる。例えば、複数の静止画の各々において、特徴点を検出し、共通する特徴点を探索し、共通する特徴点に基づいて静止画をつなぎ合わせることが可能である。
次のステップ110では、検査対象画像データによって表される検査対象領域の所定の特徴点が先頭となるように、検査対象領域の画像を編集する。具体的には、本実施の形態では、例えば、図5(A)に示されるように「BRIDGESTONE」の「B」の文字を、検査対象画像データによって表される検査対象領域50における所定の特徴点とした場合には、図5(B)に示すように、この「B」の文字が画像の先頭となるように検査対象画像データを修正することにより、検査対象領域50を編集する。
したがって、ステップ104〜110での処理によって、被検査物としてのタイヤ20の検査対象領域をカメラ18によって撮影することにより、検査対象領域全体に亘って連続した画像データを得ることができる。なお、検査対象領域全体に亘って連続した画像データを、検査対象画像データと称する場合がある。
次のステップ112では、上記ステップ110で編集された検査対象領域50から、先頭から順に、比較する文字または記号の画像を所定単位(例えば文字の場合には1文字)で切り出す。
次のステップ114では、上記ステップ112で切り出された文字または記号の検査対象領域50上の位置及び範囲と同一の位置及び範囲の画像を、位置情報ファイルに基づいて上記ステップ102で解凍されたモデルデータの中から対応するモデルデータを選択する。より具体的に説明すると、例えば、上記ステップ112で切り出された文字が「B」である場合には、ステップ114では、対応する「B」の文字を表すモデルデータが選択される。
次のステップ116では、上記ステップ112で切り出された文字または記号の画像が表す画像データと、上記ステップ114で選択されたモデルデータとを用いてパターンマッチング処理を行う。例えば、ステップ116では、上記ステップ112で切り出された文字または記号の画像が表す画像データと、上記ステップ114で選択されたモデルデータと比較して一致度を演算し、演算された一致度が所定の閾値以上であるか否かを判定することにより、上記ステップ112で切り出された文字または記号の画像が、上記ステップ114で選択されたモデルデータが表す画像と同一であるか否かを判定する。なお、本実施の形態におけるステップ116では、演算された一致度が所定の閾値以上であると判定された場合に同一であると判定し、一致度が所定の閾値未満であると判定された場合に同一でないと判定する。すなわち、ステップ116では、基準画像データと、検査対象領域50をカメラ18で撮影することにより得られた検査対象画像データとを比較して、基準画像データが表す画像に含まれる基準の文字または記号が、検査対象領域50に含まれているか否かが判定されることにより、タイヤ20の外観が検査される。なお、ステップ116は、本発明の第1の検査手段に対応する。
次のステップ118では、上記ステップ116で同一であると判定したか否かを判断する。
ステップ118で、上記ステップ116で同一でないと判定したと判断された場合には、次のステップ120へ進む。ステップ120では、モデルデータ変形処理を実行する。このモデルデータ変形処理について、図6を参照して説明する。
まずステップ200で、図7(A)に示すように、上記ステップ114で選択されたモデルデータを変形する。すなわち、上記ステップ114で選択されたモデルデータが表す画像の各画素nを、以下の式(1)によって示される「移動量」分だけ、第1の方向72と交差(好ましくは直交)する第2の方向74へ移動させることにより、モデルデータが表す画像を変形する。
移動量=r(n)・tanθ・・・式(1)
ここで、
r(n):所定の基準点70からの画素nの第1の方向における距離(第1の方向上の距離)
θ:予め実験的に求められた角度であり、理想的な状態からのカメラ18の光軸の方向のずれの角度θ´に対応する角度(例えば、θ=1°)
である。
ここで、より具体的にステップ200の処理について説明する。なお、以下、上記ステップ114で、「B」のモデルデータが選択された場合について説明するが、他の文字や記号がステップ114で選択された場合についても同様の処理を行う。まず、ステップ200では、所定の基準点70をモデルデータが表す画像「B」上に設定する。なお、図7(A)の例では、所定の基準点70は、画像「B」の左下に設定されている。そして、画像「B」の画素nについて、基準点70からの第1の方向(図7(A)の例では縦の方向)72上の距離r(n)を演算する。そして、距離r(n)とtanθとの積を画素nの移動量として演算する。そして、画素nを第1の方向72と交差(好ましくは直交)する第2の方向(図7(A)の例では横の方向)74へ移動させる。そして、この処理を全ての画素において行う。これにより、図7(A)のようにモデルデータが変形される。すなわち、ステップ200では、モデルデータ(基準画像データ)が表す画像の所定の基準点70から第1の方向72上の距離が大きくなるほど、第1の方向72と交差する第2の方向74へ移動する移動量が大きくなるように、モデルデータが表す画像の各画素を第2の方向74へ移動させることにより、モデルデータを変形させる。なお、ステップ200は、本発明の(第1の)変形手段に対応する。
次のステップ202では、図7(B)に示すように、上記ステップ114で選択されたモデルデータを変形する。すなわち、上記ステップ114で選択されたモデルデータが表す画像の各画素nを、上記の式(1)によって示される「移動量」分だけ、第1の方向72と交差(好ましくは直交)する第2の方向74と逆方向76へ移動させることにより、モデルデータが表す画像を変形する。
ここで、より具体的にステップ202の処理について説明する。なお、以下、上記ステップ114で、「B」のモデルデータが選択された場合について説明するが、他の文字や記号がステップ114で選択された場合についても同様の処理を行う。まず、ステップ202では、上記ステップ200と同様に、所定の基準点70をモデルデータが表す画像「B」上に設定する。なお、図7(B)の例では、所定の基準点70は、画像「B」の左下に設定されている。そして、画像「B」の画素nについて、基準点70からの第1の方向(図7(B)の例では縦方向)72上の距離r(n)を演算する。そして、距離r(n)とtanθとの積を画素nの移動量として演算する。そして、画素nを第1の方向72と交差(好ましくは直交)する第2の方向74と逆方向76に移動させる。そして、この処理を全ての画素において行う。これにより、図7(B)のようにモデルデータが変形される。そして、モデルデータ変形処理を終了する。すなわち、ステップ202では、モデルデータ(基準画像データ)が表す画像の所定の基準点70から第1の方向72上の距離が大きくなるほど、第1の方向72と交差する第2の方向74と逆の方向76へ移動する移動量が大きくなるように、モデルデータが表す画像の各画素を逆の方向76へ移動させることにより、モデルデータを変形させる。なお、ステップ202は、本発明の第2の変形手段に対応する。
ここで、外観検査処理(図4参照)の説明に戻る。ステップ122では、上記ステップ112で切り出された文字または記号の画像が表す画像データと、上記ステップ200で変形されたモデルデータとを用いてパターンマッチング処理を行う。例えば、ステップ122では、上記ステップ112で切り出された文字または記号の画像が表す画像データと、上記ステップ200で変形されたモデルデータと比較して一致度を演算し、演算された一致度が所定の閾値以上であるか否かを判定することにより、上記ステップ112で切り出された文字または記号の画像が、上記ステップ114で選択されたモデルデータが表す画像と同一であるか否かを判定する。なお、本実施の形態におけるステップ122では、一致度が所定の閾値以上である場合には、上記ステップ112で切り出された文字または記号の画像が、上記ステップ114で選択されたモデルデータが表す画像と同一であると判定する。一方、一致度が所定の閾値未満である場合には、同一でないと判定する。すなわち、ステップ122では、ステップ200で変形されたモデルデータ(基準画像データ)と、上記ステップ112で切り出された文字または記号の画像が表す画像データとを比較して、基準の文字または記号が、検査対象領域50に含まれているか否かが判定されることにより、タイヤ20の外観が検査される。なお、ステップ122は、本発明の第2の検査手段に対応する。
ここで、ステップ122で同一であると判定されるケースについて説明する。このようなケースとしては、例えば、カメラ18の光軸の方向が上記の理想的な状態とならない場合(例えば、カメラ18の光軸の方向が、タイヤに形成された文字や記号を含む面と垂直な方向からずれてしまう場合)に、変形前のモデルデータが表す文字や記号の形状とほぼ同じ(一致度が閾値以上となるような)形状の文字や記号を含む画像を撮影(取得)できず、変形前のモデルデータと、取得した画像の画像データとに基づいて演算された一致度が所定の閾値未満となってしまったが、変形後のモデルデータが表す文字や記号が、取得した画像に含まれる文字や記号とほぼ同一となり、変形後のモデルデータと、取得した画像の画像データとに基づいて演算された一致度が所定の閾値以上となるようなケースが考えられる。
次のステップ124では、上記ステップ122で同一であると判定したか否かを判断する。
ステップ124で、上記ステップ122で同一でないと判定したと判断された場合には、次のステップ126へ進む。
次のステップ126では、上記ステップ112で切り出された文字または記号の画像が表す画像データと、上記ステップ202で変形されたモデルデータとを用いてパターンマッチング処理を行う。例えば、ステップ126では、上記ステップ112で切り出された文字または記号の画像が表す画像データと、上記ステップ202で変形されたモデルデータと比較して一致度を演算し、演算された一致度が所定の閾値以上であるか否かを判定することにより、上記ステップ112で切り出された文字または記号の画像が、上記ステップ114で選択されたモデルデータが表す画像と同一であるか否かを判定する。なお、本実施の形態におけるステップ126では、一致度が所定の閾値以上である場合には、上記ステップ112で切り出された文字または記号の画像が、上記ステップ114で選択されたモデルデータが表す画像と同一であると判定する。一方、一致度が所定の閾値未満である場合には、同一でないと判定する。すなわち、ステップ126では、ステップ202で変形されたモデルデータ(基準画像データ)と、上記ステップ112で切り出された文字または記号の画像が表す画像データとを比較して、基準の文字または記号が、検査対象領域50に含まれているか否かが判定されることにより、タイヤ20の外観が検査される。なお、ステップ126は、本発明の第3の検査手段に対応する。
ここで、ステップ126で同一であると判定されるケースについて説明する。このようなケースとしては、上記ステップ122で説明したケースと同様に、例えば、カメラ18の光軸の方向が上記の理想的な状態とならない場合(例えば、カメラ18の光軸の方向が、タイヤに形成された文字や記号を含む面と垂直な方向からずれてしまう場合)に、変形前のモデルデータが表す文字や記号の形状とほぼ同じ(一致度が閾値以上となるような)形状の文字や記号を含む画像を撮影(取得)できず、変形前のモデルデータと、取得した画像の画像データとに基づいて演算された一致度が所定の閾値未満となってしまったが、変形後のモデルデータが表す文字や記号が、取得した画像に含まれる文字や記号とほぼ同一となり、変形後のモデルデータと、取得した画像の画像データとに基づいて演算された一致度が所定の閾値以上となるようなケースが考えられる。
次のステップ128では、上記ステップ126で同一であると判定したか否かを判断する。
ステップ128で、上記ステップ126で同一でないと判定したと判断された場合には、上記ステップ112で切り出された文字または記号の画像が、上記ステップ114で選択されたモデルデータが表す画像と同一でないと考えられるため、次のステップ130へ進む。
ステップ130では、上記ステップ112で切り出された文字または記号の画像の画像データ、及び上記ステップ114で選択されたモデルデータを、表示用のデータとしてHDD40cに記憶する。そして、次のステップ132へ進む。
一方、ステップ118で上記ステップ116で同一であると判定したと判断された場合、ステップ124で上記ステップ122で同一であると判定したと判断された場合、及びステップ128で上記ステップ126で同一であると判定したと判断された場合には、上記ステップ112で切り出された文字または記号の画像が、上記ステップ114で選択されたモデルデータが表す画像と同一であると考えられるため、次のステップ132へ進む。
次のステップ132では、上記ステップ116で、検査対象領域50の全ての文字及び記号の画像に対して比較を行ったか否かを判定する。
ステップ132で、検査対象領域50の全ての文字及び記号の画像に対して比較を行っていないと判定された場合には、ステップ112に戻る。なお、ステップ132からステップ112へ戻った場合には、ステップ112では、上記ステップ110で編集された検査対象領域50から、先頭から順に、未だ切り出されていない文字または記号の画像を所定単位(例えば文字の場合には1文字)で切り出す。
一方、ステップ132で、検査対象領域50の全ての文字及び記号の画像に対して比較を行ったと判定された場合には、次のステップ134へ進む。
ステップ134では、HDD40cに表示用のデータが記憶されているか否かを判定する。
ステップ134で、HDD40cに表示用のデータが記憶されていると判定された場合には、次のステップ136に進む。ステップ136では、HDD40cに記憶されている表示用のデータが表す画像を表示するように、表示装置48の表示を制御する。これにより、オペレータはタイヤ20のサイドウォールに形成された文字及び記号の欠損を把握することができる。そして、外観検査処理を終了する。
一方、ステップ134で、HDD40cに表示用のデータが記憶されていないと判定された場合には、次のステップ138に進む。ステップ138では、タイヤ20のサイドウォールに形成された文字及び記号の欠損が無いことを示すメッセージ、例えば、文字列「文字及び記号の欠損はありません」を表示するように、表示装置48の表示を制御する。そして、外観検査処理を終了する。
このように、外観検査処理により、被検査物としてのタイヤ20の外観が検査される。
以上、説明したように、本実施の形態の外観検査装置10によれば、被検査物としてのタイヤ20の検査対象領域50を撮影して画像データを出力する撮影手段としてのカメラ18と、基準となる所定形状(本実施の形態では、基準の文字または記号)を含む基準画像データを記憶した記憶手段としてのHDD40cとを備えている。本実施の形態の外観検査装置10は、基準画像データと、検査対象領域をカメラ18によって撮影することにより得られた検査対象画像データとを比較して、基準となる所定形状が、検査対象領域50に含まれているか否かを判定することにより、タイヤ20の外観を検査する第1の検査手段と、基準となる所定形状が、検査対象領域50に含まれていないと判定された場合に、基準画像データが表す画像の所定の基準点から第1の方向上の距離が大きくなるほど、第1の方向と交差する第2の方向へ移動する移動量が大きくなるように、基準画像データが表す画像の各画素を第2の方向へ移動させることにより、基準画像データを変形させる第1の変形手段と、基準となる所定形状が、検査対象領域50に含まれていないと判定された場合に、基準画像データが表す画像の所定の基準点から第1の方向上の距離が大きくなるほど、第2の方向と逆の方向へ移動する移動量が大きくなるように、基準画像データが表す画像の各画素を逆の方向へ移動させることにより、基準画像データを変形させる第2の変形手段と、第1の変形手段によって変形された基準画像データと、検査対象画像データとを比較して、基準となる所定形状が、検査対象領域50に含まれているか否かを判定することにより、タイヤ20の外観を検査する第2の検査手段と、第2の検査手段で、基準となる所定形状が、検査対象領域50に含まれていないと判定された場合に、第2の変形手段によって変形された基準画像データと、検査対象画像データとを比較して、基準となる所定形状が、検査対象領域50に含まれているか否かを判定することにより、タイヤ20の外観を検査する第3の検査手段とを含んで構成されている。
本実施の形態の外観検査装置10によれば、第1の変形手段が、第1の検査手段で、基準となる所定形状が、検査対象領域に含まれていないと判定された場合に、基準画像データが表す画像の所定の基準点から第1の方向上の距離が大きくなるほど、第1の方向と交差する第2の方向へ移動する移動量が大きくなるように、基準画像データが表す画像の各画素を第2の方向へ移動させることにより、基準画像データを変形させる。また、第2の変形手段が、第1の検査手段で、基準となる所定形状が検査対象領域に含まれていないと判定された場合に、基準画像データが表す画像の所定の基準点から第1の方向上の距離が大きくなるほど、第2の方向と逆の方向へ移動する移動量が大きくなるように、基準画像データが表す画像の各画素をこの逆の方向へ移動させることにより、基準画像データを変形させる。このように第1の変形手段及び第2の変形手段によって変形された基準画像データが表す変形された所定形状は、カメラ18の光軸の方向にずれが発生している場合に、このカメラ18によって撮影された画像の検査対象領域に含まれた基準となる所定形状と同一の所定形状と、例えば一致度が高くなる。これにより、検査精度が良好となる。従って、本実施の形態の外観検査装置10によれば、カメラ18の光軸の方向が理想的な状態でない場合でも、検査精度が良好となる。
なお、本実施の形態は、様々な設計変更が可能である。例えば、モデルデータ変形処理ではステップ200のみ実行し、ステップ124で否定判定がされた場合(124でN)に、ステップ126及びステップ128の処理を行わずに、ステップ130へ進んでもよい。
また、本実施の形態では、タイヤ20のサイドウォールの外観を検査する外観検査装置10に本発明を適用した例について説明したが、比較する際の基準となるデータと、検査対象のデータとを比較することにより検査を行う検査装置であるならば、本発明を適用可能である。また、本実施の形態では、基準となる所定形状として、文字または記号の場合を例に挙げて説明したが、基準となる所定形状はこれに限られない。
本実施形態の外観検査装置の一例を示す概略構成図である。 本実施の形態における基準画像データ(モデルデータ)を説明するための図である。 本実施の形態におけるカメラのズレを説明するための図である。 本実施の形態におけるコントローラが実行する外観検査処理の処理ルーチンのフローチャートを示す図である。 本実施の形態における外観検査処理のステップ110を説明するための図である。 本実施の形態におけるコントローラが実行するモデルデータ変形処理の処理ルーチンのフローチャートを示す図である。 本実施の形態におけるモデルデータ変形処理を説明するための図である。 カメラのズレを説明するための図である。
符号の説明
10 外観検査装置
12 ホルダ部
14 回転軸ホルダ
16 モータ
18 カメラ
40 コントローラ
40c HDD
40d CPU
48 表示装置

Claims (4)

  1. 被検査物の検査対象領域を撮影して画像データを出力する撮影手段と、
    基準となる所定形状を含む基準画像データを記憶した記憶手段と、
    前記基準画像データと、前記検査対象領域を前記撮影手段によって撮影することにより得られた検査対象画像データとを比較して、前記基準画像データが表す画像に含まれる前記所定形状が、前記検査対象領域に含まれているか否かを判定することにより、前記被検査物の外観を検査する第1の検査手段と、
    前記第1の検査手段で、前記所定形状が、前記検査対象領域に含まれていないと判定された場合に、前記基準画像データが表す画像の所定の基準点から第1の方向上の距離が大きくなるほど、該第1の方向と交差する第2の方向へ移動する移動量が大きくなるように、前記基準画像データが表す画像の各画素を前記第2の方向へ移動させることにより、前記基準画像データを変形させる変形手段と、
    前記変形手段によって変形された前記基準画像データと、前記検査対象画像データとを比較して、前記所定形状が、前記検査対象領域に含まれているか否かを判定することにより、前記被検査物の外観を検査する第2の検査手段と、
    を含む外観検査装置。
  2. 被検査物の検査対象領域を撮影して画像データを出力する撮影手段と、
    基準となる所定形状を含む基準画像データを記憶した記憶手段と、
    前記基準画像データと、前記検査対象領域を前記撮影手段によって撮影することにより得られた検査対象画像データとを比較して、前記所定形状が、前記検査対象領域に含まれているか否かを判定することにより、前記被検査物の外観を検査する第1の検査手段と、
    前記第1の検査手段で、前記所定形状が、前記検査対象領域に含まれていないと判定された場合に、前記基準画像データが表す画像の所定の基準点から第1の方向上の距離が大きくなるほど、該第1の方向と交差する第2の方向へ移動する移動量が大きくなるように、前記基準画像データが表す画像の各画素を前記第2の方向へ移動させることにより、前記基準画像データを変形させる第1の変形手段と、
    前記第1の検査手段で、前記所定形状が、前記検査対象領域に含まれていないと判定された場合に、前記基準画像データが表す画像の所定の基準点から第1の方向上の距離が大きくなるほど、前記第2の方向と逆の方向へ移動する移動量が大きくなるように、前記基準画像データが表す画像の各画素を前記逆の方向へ移動させることにより、前記基準画像データを変形させる第2の変形手段と、
    前記第1の変形手段によって変形された基準画像データと、前記検査対象画像データとを比較して、前記所定形状が、前記検査対象領域に含まれているか否かを判定することにより、前記被検査物の外観を検査する第2の検査手段と、
    前記第2の検査手段で、前記所定形状が、前記検査対象領域に含まれていないと判定された場合に、前記第2の変形手段によって変形された前記基準画像データと、前記検査対象画像データとを比較して、前記所定形状が、前記検査対象領域に含まれているか否かを判定することにより、前記被検査物の外観を検査する第3の検査手段と、
    を含む外観検査装置。
  3. 基準となる所定形状を含む基準画像データと、被検査物の検査対象領域を撮影手段によって撮影することにより得られた検査対象画像データとを比較して、前記基準画像データが表す画像に含まれる前記所定形状が、前記検査対象領域に含まれているか否かを判定することにより、前記被検査物の外観を検査し、
    前記所定形状が前記検査対象領域に含まれていないと判定された場合に、前記基準画像データが表す画像の所定の基準点から第1の方向上の距離が大きくなるほど、該第1の方向と交差する第2の方向へ移動する移動量が大きくなるように、前記基準画像データが表す画像の各画素を前記第2の方向へ移動させることにより、前記基準画像データを変形させ、
    変形された前記基準画像データと、前記検査対象画像データとを比較して、前記所定形状が、前記検査対象領域に含まれているか否かを判定することにより、前記被検査物の外観を検査する、
    被検査物の外観検査方法。
  4. 基準となる所定形状を含む基準画像データと、被検査物の検査対象領域を撮影手段によって撮影することにより得られた検査対象画像データとを比較して、前記所定形状が、前記検査対象領域に含まれているか否かを判定することにより、前記被検査物の外観を検査し、
    前記所定形状が前記検査対象領域に含まれていないと判定された場合に、前記基準画像データが表す画像の所定の基準点から第1の方向上の距離が大きくなるほど、該第1の方向と交差する第2の方向へ移動する移動量が大きくなるように、前記基準画像データが表す画像の各画素を前記第2の方向へ移動させることにより、前記基準画像データを変形させ、
    前記所定形状が前記検査対象領域に含まれていないと判定された場合に、前記基準画像データが表す画像の所定の基準点から第1の方向上の距離が大きくなるほど、前記第2の方向と逆の方向へ移動する移動量が大きくなるように、前記基準画像データが表す画像の各画素を前記逆の方向へ移動させることにより、前記基準画像データを変形させ、
    前記各画素を前記第2の方向へ移動させることにより変形された基準画像データと、前記検査対象画像データとを比較して、前記所定形状が、前記検査対象領域に含まれているか否かを判定することにより、前記被検査物の外観を検査し、
    前記各画素を前記第2の方向へ移動させることにより変形された基準画像データと、前記検査対象画像データとを比較することにより、前記所定形状が、前記検査対象領域に含まれていないと判定された場合に、前記各画素を前記逆の方向へ移動させることにより変形された前記基準画像データと、前記検査対象画像データとを比較して、前記所定形状が、前記検査対象領域に含まれているか否かを判定することにより、前記被検査物の外観を検査する、
    被検査物の外観検査方法。
JP2008193163A 2008-07-28 2008-07-28 外観検査装置、及び被検査物の外観検査方法 Expired - Fee Related JP5441372B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008193163A JP5441372B2 (ja) 2008-07-28 2008-07-28 外観検査装置、及び被検査物の外観検査方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008193163A JP5441372B2 (ja) 2008-07-28 2008-07-28 外観検査装置、及び被検査物の外観検査方法

Publications (2)

Publication Number Publication Date
JP2010032287A true JP2010032287A (ja) 2010-02-12
JP5441372B2 JP5441372B2 (ja) 2014-03-12

Family

ID=41736948

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008193163A Expired - Fee Related JP5441372B2 (ja) 2008-07-28 2008-07-28 外観検査装置、及び被検査物の外観検査方法

Country Status (1)

Country Link
JP (1) JP5441372B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014045508A1 (ja) * 2012-09-18 2014-03-27 日本電気株式会社 検査装置、検査方法、および検査プログラム
CN105612415A (zh) * 2013-09-26 2016-05-25 米其林集团总公司 用于轮胎的检测方法和检测线
JP2022164993A (ja) * 2021-04-19 2022-10-31 株式会社ジーテクト 外観検査装置およびパレタイズシステム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62200248A (ja) * 1986-02-28 1987-09-03 Toshiba Corp 検査装置
JPH02186491A (ja) * 1989-01-13 1990-07-20 Toshiba Corp 文字図形認識装置
JPH04338889A (ja) * 1991-05-16 1992-11-26 Fujitsu Ltd 文字認識方法及びその装置
JP2001331766A (ja) * 2000-05-23 2001-11-30 Oki Electric Ind Co Ltd パタン認識辞書の作成方法、コンピュータ読取可能な記録媒体、パタン認識辞書作成装置および文字認識装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62200248A (ja) * 1986-02-28 1987-09-03 Toshiba Corp 検査装置
JPH02186491A (ja) * 1989-01-13 1990-07-20 Toshiba Corp 文字図形認識装置
JPH04338889A (ja) * 1991-05-16 1992-11-26 Fujitsu Ltd 文字認識方法及びその装置
JP2001331766A (ja) * 2000-05-23 2001-11-30 Oki Electric Ind Co Ltd パタン認識辞書の作成方法、コンピュータ読取可能な記録媒体、パタン認識辞書作成装置および文字認識装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014045508A1 (ja) * 2012-09-18 2014-03-27 日本電気株式会社 検査装置、検査方法、および検査プログラム
CN105612415A (zh) * 2013-09-26 2016-05-25 米其林集团总公司 用于轮胎的检测方法和检测线
JP2022164993A (ja) * 2021-04-19 2022-10-31 株式会社ジーテクト 外観検査装置およびパレタイズシステム

Also Published As

Publication number Publication date
JP5441372B2 (ja) 2014-03-12

Similar Documents

Publication Publication Date Title
JP6294529B1 (ja) ひび割れ検出処理装置、およびひび割れ検出処理プログラム
CN109871895B (zh) 电路板的缺陷检测方法和装置
US8422759B2 (en) Image processing method and image processing device
CN107315011B (zh) 图像处理装置、图像处理方法及存储介质
US10311325B2 (en) Image processing method and image processing apparatus
JP4908440B2 (ja) 画像処理装置及び方法
CN107316047A (zh) 图像处理装置、图像处理方法以及存储介质
JP2009175802A (ja) 物体検出装置
US20140185883A1 (en) Analysis of the digital image of the surface of a tyre and processing of non-measurement points
JP5441372B2 (ja) 外観検査装置、及び被検査物の外観検査方法
EP2536123B1 (en) Image processing method and image processing apparatus
JP6097879B2 (ja) 画像に基づく多軸掛けベルトの摩耗評価の改善された解析
JP2020024741A (ja) 読取システム、読取方法、プログラム、及び記憶媒体
TWI609178B (zh) Pattern inspection device and pattern inspection method
JPH1127574A (ja) 手ぶれパラメータ検出方法及び情報記録媒体
JP2019194549A (ja) タイヤ金型サイドプレートの検査方法
JP2008116206A (ja) パターン寸法測定装置、方法及びプログラム
WO2022218210A1 (zh) 图像处理方法、装置、光学系统和计算机可读存储介质
US11733174B2 (en) Information processing apparatus, information processing method, and storage medium
JP2007275258A (ja) 画像表示装置
JP5254637B2 (ja) タイヤの外観検査装置、及びタイヤの外観検査方法
JP2022086454A (ja) 画像検査装置、及び画像検査プログラム
WO2021075314A1 (ja) 画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体
JP2008204307A (ja) 画像照合装置
US20240029288A1 (en) Image processing apparatus, image processing method, and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110531

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120718

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120724

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120924

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130416

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131119

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131217

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5441372

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees