JP2011048593A - 外観検査装置 - Google Patents

Abstract

【課題】画像ファイルのファイル名から良否の判定結果を知ることを可能にし、さらに良否の判定結果を越える内容もファイル名から知ることを可能にする。
【解決手段】撮像装置１で撮像した検査対象物の画像から抽出した文字について、文字領域抽出部２，特徴量記憶部３、特徴量抽出部４、特徴量照合部５により文字認識を行う。判断部６は、検査対象物を撮像した画像に含まれる文字に対する文字認識の結果について所望の文字と一致するか否かの良否判定を行う。ファイル名生成部７は、判断部６において不一致と判定されたときに少なくとも一致しなかった文字と判定結果とを含むファイル名を生成する。ファイル名生成部７で生成されたファイル名は、当該画像の画像ファイルとともに画像記憶部１０に保存される。
【選択図】図１

Description

本発明は、文字が表記されている検査対象物を撮像した画像を用いて文字の良否検査を行う外観検査装置に関し、とくに撮像した画像のデータを保存する技術に関するものである。

一般に、検査対象物を撮像した画像を用いて検査対象物の外観検査を行う場合、撮像した画像と外観検査の判定結果とを保存している（たとえば、特許文献１参照）。特許文献１に記載された外観検査装置では、撮像した画像を画像記憶部に保存した時点で、検査結果記憶部に画像を管理する情報となる検査対象物の情報とともに画像ファイル番号を保存している。特許文献１には、画像を用いた良否判定の例として、検査対象物である部品の捺印文字の文字認識を行い、認識した文字が登録されている文字ではない場合に不良品と判定する技術が示されている。

特許文献１に記載の技術では、画像を管理する情報が検査結果記憶部に保存されているから、検査結果記憶部の内容により検査結果と、当該検査結果が得られた画像とを比較的容易に探し出すことができるが、撮像した画像を記憶する画像記憶部とは別に検査結果記憶部が必要であり、検査結果記憶部の内容を見なければ、当該検査結果が得られた画像ファイルを探し出すことができないものである。

一方、対象となる画像データの画像で文字認識を行い、文字または文字列を画像データのファイルのファイル名として設定する技術が提案されている（たとえば、特許文献２参照）。この技術を採用すれば、画像データに付与するファイル名により、画像データの内容を知ることが可能になる。

特開２００３−２７９３３１号公報 特開２００５−５６３１５号公報

しかしながら、特許文献２に記載の技術では、画像から文字認識により抽出した文字または文字列をファイル名に用いるのみであり、特許文献１に記載された技術のように、画像を用いた外観検査により得られた検査結果と画像ファイルとを対応付けようとすれば、依然として検査結果記憶部が必要になる。

また、認識文字の良否を判定する場合に、検査結果記憶部の内容から検査対象物に不良があることがわかったとしても、画像ファイルを開いて画像を確認しなければ、どの文字について不良と判定されたのかがわからず、どの検査に対して不良という検査結果が得られたかを知るには手間がかかるという問題を有している。

たとえば、文字に欠けやかすれが生じて不良と判定されたときに、どの検査で不良と判定され、どの文字について不良と判定されたかを確認するには、画像ファイルを開いて実際の画像を確認しなければならず、検査結果記憶部に保存されている情報では、単なる良否の判定結果を越える内容は知ることができないという問題を有している。

本発明は上記事由に鑑みて為されたものであり、その目的は、画像ファイルのファイル名から良否の判定結果を知ることができるとともに、良否の判定結果を越える内容もファイル名に含めることを可能にした外観検査装置を提供することにある。

本発明は、上記目的を達成するために、検査対象物を撮像した画像に含まれる文字に対する文字認識の結果について所望の文字と一致するか否かの良否判定を行う判断部と、判断部において不一致と判定されたときに少なくとも一致しなかった文字と判定結果とを含むファイル名を生成するファイル名生成部と、ファイル名生成部で生成されたファイル名を当該画像の画像ファイルとともに保存する画像記憶部とを備えることを特徴とする。

画像ファイルは、画像を記録する画像記録領域と、判定部での判定結果と画像から認識した文字とを含む管理情報を登録するファイルヘッダ領域とを備えるようにしてもよい。

また、画像ファイルのファイル名を判断部において不一致と判定された文字別に分類するファイル名分類部と、不一致と判定された文字別に分類して画像ファイルを保存するためのフォルダを生成するフォルダ生成部とを備えるのが望ましい。

あるいはまた、検査対象物を撮像した画像において検査対象物について複数種類の検査方法による良否判定を行うにあたり、検査方法ごとに不合格と判定された画像ファイルを保存するためのフォルダを生成するフォルダ生成部を備えるようにしてもよい。

さらに、画像ファイルを分類して保存するフォルダと、すべての画像ファイルを一括して保存する親フォルダとの両方に同じ内容の画像ファイルを保存することが望ましい。

画像ファイルのファイル名およびフォルダ名をレコードに含むデータベースを備える構成を採用することができる。

また、判断部を備える専用装置と、ファイル生成部および画像記憶部を備える外部装置とを設けた構成が望ましい。

本発明の構成によれば、文字認識の判定結果と、当該判定結果が得られた事象（文字）とを含むファイル名が生成され、当該ファイル名が画像ファイルとともに画像記憶部に保存されるから、画像ファイルの管理情報を別途に保存することなく、ファイル名の保存領域に保存されたファイル名を見るだけで、判定結果と判定結果が生じた事象とを知ることができる。要するに、不一致と判定されたときに、どの文字が不一致であったかを、画像ファイルを開くことなくファイル名のみで知ることができ、しかも良否の判定結果を越える情報をファイル名のみで知ることが可能になり、利用者にとっての利便性が高くなる。

画像ファイルにファイルヘッダ領域を設けて管理情報を登録する構成を採用すると、管理情報のうち判定結果および不一致であった文字の登録場所が二重化され、情報の消失に対する安全性が向上する。

不一致であった文字ごとにフォルダを生成し、不一致の種類別にフォルダに分類する構成を採用すれば、多種類の検査結果から所望の検査結果を抽出する作業が容易になる。また、人手によって分類する必要がなく労力の削減になる。

検査方法の種類により分類してフォルダに保存する場合は、不良品の発生要因と検査方法との関係を容易に知ることができる。たとえば、特定の検査方法に対して不良品の発生率が高くなれば、検査対象物の生産過程での問題発生のほか、外観検査に関わる部材の配置のずれや外観検査に関わるパラメータの変動などの可能性もあるから、不良品発生の原因を絞り込んで迅速に対応することが可能になる。

画像ファイルを親フォルダと分類したフォルダとに二重化して保存する構成では、画像ファイルの消失に対する安全性が高くなる上に、分類した画像ファイルを不良品の発生要因の分析に用い、親フォルダに保存されたすべての画像ファイルを経過時間に伴う変化の分析に用いるなど、多角的な分析が可能になる。

画像ファイルをデータベースにより管理すれば、多数の画像ファイルから所望の画像ファイルを抽出する作業が容易になる。

また、判断部を備える専用装置と、ファイル生成部および画像記憶部を備える外部装置とを別に設けるようにすれば、専用装置の処理負荷を増加させることなく、画像ファイルの管理機能を付加することができる。

実施形態１を示すブロック図である。 同上の動作説明図である。 同上に用いる画像ファイルを示す図である。 同上における専用装置と外部装置との関係を示すブロック図である。 実施形態２を示すブロック図である。 同上の動作説明図である。

以下に説明する実施形態における検査対象物は、文字（１文字でも複数文字でもよい）が表記された物品であって、本発明の外観検査装置を用いて、文字に関する良否検査を行うものとする。物品としては、回路基板、電子部品、組立品、包装した食品などを想定しており、文字の表記方法は、印刷、捺印、刻印などから選択される。本実施形態では、物品の製造番号・ロット番号や食品の賞味期限・消費期限などの文字について、文字の打ち間違いや文字の崩れ（欠けやかすれ）などを検出する場合を想定する。

外観検査装置は、図１に示すように、撮像装置１により物品を撮像した画像（濃淡画像あるいはカラー画像）に対して画像処理を行うことにより、物品に表記された文字の良否を検査する。なお、以下の説明において「画像」の用語は、画素の位置に画素値を対応付けた画像データを意味する。

文字の良否検査の技術は種々知られているが、まず、文字領域抽出部２において、文字の表記方法に応じて、周知の画像処理技術を用いて文字の領域を抽出する。文字の領域を抽出するには、たとえば、濃淡画像であれば濃淡値の二値化、カラー画像であれば特定色の抽出、濃淡画像の微分によるエッジ抽出、濃淡画像の濃度勾配を用いたエッジ追跡などの画像処理技術を組み合わせる。

また、文字の認識にあたっては、認識しようとする文字の特徴量をあらかじめ抽出して特徴量記憶部３に登録しておき、文字領域抽出部２において画像から抽出された文字の領域から特徴量抽出部４において文字の特徴量を抽出し、特徴量記憶部３に記憶された特徴量と特徴量抽出部４で抽出した特徴量とを、特徴量照合部５において照合する。特徴量照合部５では、特徴量の照合の際に特徴量の一致度を評価し、一致度が規定の閾値以上であれば、画像から抽出した文字を特徴量記憶部３に登録されている特徴量に対応する文字であると判断される。特徴量の一致度が閾値未満であれば、当該文字は不明と判断される。

特徴量照合部５での照合結果は判断部６に与えられ、判断部６では、特徴量照合部５で抽出された文字が所望の文字である場合に良品と判定し、所望の文字が抽出されない場合には不良品と判定する。ここに、不良品である場合としては、特徴量照合部５において抽出された文字が所望の文字ではない不一致と判断される場合と、特徴量照合部５において文字が不明と判断される場合とがある。判断部６では、いずれの場合についても、望ましい文字ではない不良品（ＮＧ）として扱い、不明と判断した場合を除いて、認識した文字ともに判定結果を出力する。また、不明と判断した場合には、あらかじめ予約された特別な文字（記号など）を出力する。

上述の処理により、判断部６では、良品と判断したときには良品（ＯＫ）の判断結果を出力し、不良品と判断したときには不良品（ＮＧ）の判断結果とともに認識した不一致の文字を出力する（不明を表す文字の場合もある）。

判断部６の出力は、ファイル名生成部７に与えられる。ファイル名生成部７では、文字認識を行った画像を画像記憶部１０に保存する際に付与するファイル名を生成する。このファイル名は、画像を識別するために自動的に発生させた識別子（たとえば、日付と画像番号とを含む）を含むとともに、判断部６から与えられた判定結果（ＯＫまたはＮＧ）を含む。さらに、判定結果が「ＮＧ」であった場合には、不一致であった文字もファイル名として用いられる。

本実施形態では、ファイル名の先頭に「Image」という文字を付与して画像ファイルであることを示し、「日付＋判定結果＋画像番号＋不一致文字」という形式でファイル名を構成している。また、画像ファイルはビットマップデータであり、拡張子には「.bmp」を用いている。上述したファイル名には、基本的には４種類の情報を含んでいるが、日付は時刻と組み合わせてもよく、また画像番号はロット番号と組み合わせてもよい。各情報の区切り記号には、アンダーバーを用いる。

いま、日付（＋時刻）を示す記号が「050_071215」であり、画像番号（＋ロット番号）が「C0_0000001」であり、不一致文字が「O」であるとすれば、「Image_050_071215_NG_C0_0000001_O.bmp」という形になる。

ファイル名生成部７において生成されたファイル名は、画像記憶部１０に付設されているファイル名記憶部１１に登録される。ファイル名記憶部１１は、画像記憶部１０と別に設けられるものではなく、画像記憶部１０に格納された画像ファイルＦのファイル名を保存する領域であり、画像記憶部１０を構成している記憶媒体におけるアロケーション情報として記録される。

上述のように、「日付＋判定結果＋画像番号＋不一致文字」をファイル名として用いるから、画像ファイルＦを開くことなくファイル名を見るだけで判定結果とともに不一致であった文字を確認することができ、判定結果だけではなく、当該判定結果が生じた事象についてもファイル名だけで推定できるのである。

上述の例では不一致文字のみをファイル名に用いているが、判断部６での判定結果によらず、特徴量照合部５で認識した文字をファイル名生成部７に与えてもよい。たとえば、認識しようとする文字が「ABCDE」であり、不良品では「ABCOE」である場合を考えるとすると、ファイル名生成部７では、良品か不良品かにかかわらず、認識した文字をファイル名に含めるようにし、良品の場合にはファイル名を「Image_050_071215_OK_C0_0000001_ABCDE.bmp」とし、不良品の場合には「Image_050_071215_NG_C0_0000001_ABCOE.bmp」とするのである。あるいはまた、判定結果が正常である場合は文字をファイル名に含めず、判定結果が不良品である場合にのみ後者の形式のファイル名を生成するようにしてもよい。

上述した動作をまとめて図２に示す。外観検査を開始すると、検査対象物に表記された文字を認識する（Ｓ１）。すなわち、撮像装置１により撮像した画像から文字領域抽出部２で抽出した領域内の文字の特徴量を特徴量抽出部４で抽出し、さらに、抽出した特徴量と特徴量記憶部３に登録された文字の特徴量とを特徴量照合部５で照合する（Ｓ２）。この照合結果は判断部６に渡され、良否（合否）の判定結果が出力される（Ｓ３）。ステップＳ３において、判断部６での判定結果が良品であるときに（Ｓ３：ｙｅｓ）、ファイル名生成部７において良品に対応するファイル名を生成し（Ｓ４）、ステップＳ３において、判断部６での判定結果が不良品であるときに（Ｓ３：ｎｏ）、ファイル名生成部７において不良品に対応するファイル名を生成する（Ｓ５）。このようにして生成されたファイル名がアロケーション情報に用いられる。

上述の動作では、アロケーション情報として記録されるファイル名に、判定結果と不一致文字とを含めているが、記憶媒体におけるアロケーション情報とは別に、図３に示すように、画像ファイルＦに、画像を記録する画像記録領域Ｄ１とファイルヘッダ領域Ｄ２とを設け、ファイルヘッダ領域Ｄ２に、判定結果と認識した文字とを含む管理情報を登録するようにしてもよい。

この場合、ハードディスクドライブ装置のような記憶媒体に必要な記憶容量が増加するが、管理情報が各画像ファイルＦに一体に結合されているから、仮にアロケーション情報が消失したとしても、画像ファイルＦを抽出すれば、判定結果および認識文字を含む管理情報を再生することが可能になる。つまり、従来のように、画像ファイルとは別に管理情報を登録するのではなく、画像ファイルＦ内に管理情報が含まれていることにより、管理情報と画像との対応関係を管理しやすく、また判定結果および認識文字（少なくとも不一致文字）が、ファイル名とファイルＦとの両方に記録されるから、情報の消失の可能性が低減するとともに両者の照合によって情報の信頼性を高めることができる。

なお、文字領域抽出部２、特徴量記憶部３、特徴量抽出部４、特徴量照合部５、判断部６は、撮像装置１により撮像された画像に対する処理を行うから、図４に示すように、画像に基づく検査対象物の検査を行う専用装置Ｘに設けるようにし、ファイル名生成部７、画像記憶部１０は、パーソナルコンピュータのような外部装置Ｙに設けるのが望ましい。この場合、専用装置Ｘと外部装置Ｙとは通信可能に接続しておき、画像ファイル、当該画像ファイルの画像に対する判断部６での判断結果などを、専用装置Ｘから外部装置Ｙに引き渡すことができるようにしておく。この構成を採用すれば、専用装置Ｘにおける処理負荷を増加させることなく、上述したファイル管理の機能を付加することができる。

（実施形態２）
実施形態１は、ファイル名に判定結果を含めるとともに、判定結果が不良品（文字の不一致）である場合には、少なくとも不一致と判定された文字を含むファイル名を生成しているが、本実施形態では、ファイル名に含まれる情報に基づいて、ファイルを分類して保存するフォルダを自動的に生成する技術について説明する。本実施形態では、フォルダを自動的に生成するために、図５に示すように、図１の構成に、ファイル名の内容から画像ファイルＦを分類するファイル名分類部８と、分類された画像ファイルＦを保存するためのフォルダを必要に応じて生成するフォルダ生成部９とを付加している。

上述のように、ファイル名には、少なくとも判定結果と不一致文字とが含まれているから、これらの情報を用いることにより画像ファイルを分類してフォルダを作成することが可能である。そこで、本実施形態では、判定結果が良品である画像ファイルを保存するフォルダと、判定結果が不良品である画像ファイルについて、不一致文字ごとに分類して保存する複数個のフォルダとを設けている。

文字としてアルファベットの大文字と数字とを認識する場合には、３６種類の文字と認識不能である場合とを分類すればよいから、良品を含めて最大では３８個のフォルダを生成すればよいことになる。もっとも、検査対象物によっては３６種類の文字のすべてを用いるとは限らないから、あらかじめ３８個のフォルダを作成しておくのではなく、必要に応じてフォルダを生成するのが望ましい。

そのため、初期状態では、判定結果が良品である画像ファイルを保存するフォルダのみを設けてあり、判定結果が不良品である画像ファイルが発生すると、ファイル名分類部８において不一致文字の種類を判断し、フォルダ生成部９では、当該不一致文字についてフォルダが未生成であるときに、当該不一致文字に関する画像ファイルを保存するフォルダを生成する。

したがって、実施形態では、図６に示すように、図２に示したステップＳ１，Ｓ２の処理後、ステップＳ３において、判断部６での判定結果が良品であれば（Ｓ３：ｙｅｓ）、ファイル名生成部７において良品に対応するファイル名を生成し（Ｓ４）、良品用のフォルダに画像ファイルを保存する（Ｓ５）。

ステップＳ３において、判断部６での判定結果が不良品であれば（Ｓ３：ｎｏ）、ファイル名生成部７において不良品に対応するファイル名を生成する（Ｓ６）。その後、ファイル名分類部８においてファイル名に含まれる不一致文字に対応するフォルダの有無を判定し（Ｓ７）、当該文字に対応するフォルダがすでに生成されていれば（Ｓ７：ｙｅｓ）、当該フォルダに画像ファイルを保存する（Ｓ８）。一方、当該文字に対応するフォルダが未生成であれば（Ｓ７：ｎｏ）、フォルダ生成部９において当該文字に対応するフォルダを新たに生成し、生成したフォルダに画像ファイルを保存する（Ｓ９）。

フォルダ生成部９においてフォルダを新たに生成する際には、不一致文字を含むようにフォルダ名を付与する。たとえば、良品であれば「ＴＥＳＴ」と認識すべき文字を、「ＴＦＳＴ」と認識した場合には、実施形態１において説明したように、ファイル名が「Image_050_071215_NG_C0_0000001_F.bmp」なとど付与されるから、「Ｆ」と誤認したことが分かるようにフォルダ名を設定する。もっとも簡単なフォルダ名としては、「Ｆ」を採用してもよい。フォルダ名を上述のようにして付与することにより、各フォルダには不一致であった同文字がまとめて保存されるから、各フォルダ内の画像ファイルの個数から不一致と判断されやすい文字の傾向を知ることができる。

また、フォルダ名としては、認識した文字ではなく、認識すべき文字である「Ｅ」を採用してもよい。この場合、認識すべき文字のうちどの文字において不一致が生じやすいかを判断することができる。

上述の例では、不一致文字に応じた分類を行い、文字別にフォルダを生成する技術について説明したが、画像ファイルを生成した日付（＋時刻）による分類、画像ファイルの画像番号（＋ロット番号）による分類、日付（＋時刻）と画像番号（＋ロット番号）と判定結果との組み合わせによる分類など、各種の分類を行うことも可能である。なお、時刻は日付とは分離して別に扱ってもよく、ロット番号は画像番号とは分離して別に扱ってもよい。

ところで、検査対象物について複数種類の外観検査を行う場合には、同一の検査対象物の画像について複数の検査方法を用いる場合がある。このような場合には、検査方法ごとに異なるフォルダに分類してもよい。たとえば、３種類の検査方法を採用している場合に、第１の検査方法に対する合否を判断した後、第２の検査方法に対する合否を判断し、さらに第３の検査方法に対する合否を判断するようにし、各検査方法を採用した段階において不合格（不良品）であった画像ファイルは、当該検査方法に対応する不良品のフォルダに保存し、すべての検査に合格（良品）した画像ファイルは、良品に対応するフォルダに保存するようにしてもよい。良品のフォルダおよび不良品のフォルダは、必要に応じてフォルダ生成部９が生成する。したがって、文字について分類する場合と同様に、不要なフォルダは生成されない。なお、検査方法による分類を行う場合には、文字による分類は行わない。

上述の動作では、各画像ファイルが、いずれかのフォルダに保存され、画像記憶部１０において各画像ファイルが１個ずつ保存されることを想定しているが、画像記憶部１０において、すべての画像ファイルを一括して保存するための親フォルダを別に設け、親フォルダの画像ファイルのコピーにより各フォルダの画像ファイルを生成してもよい。この場合、画像記憶部１０において、各画像ファイルが２個ずつ保存されることになる。したがって、画像ファイルが二重化され、画像ファイルの消失を防止できる。

上述の例では、検査対象物の判定結果や判定結果を生じた事象に関する管理情報を、画像ファイルのファイル名とフォルダ名とに含める場合について説明したが、管理情報の検索を容易にするために、表１のようなレコードを記録したデータベースＤＢ（図５参照）を構築することも可能である。このデータベースＤＢのレコードは、ＳＹＬＫ形式で記載してある。

レコードに含まれる情報は、（シリアル番号，検査日，検査時刻，検査方法，検査結果，検査値，結果保存フォルダ，ファイル名）となっている。シリアル番号は画像番号、検査日は日付、検査結果は判定結果、検査値は認識文字であり、いずれもファイル名に含まれている管理情報である。また、検査時刻は時刻、結果保存フォルダはフォルダ生成部９で付与したフォルダ名である。

表１に示す形式のレコードを持つデータベースＤＢを作成しておくことにより、画像ファイルの個数が増加しても、データベースＤＢの検索機能を用いて目的とする画像ファイルの場所を容易に探し出すことが可能になる。

実施形態１と同様に、ファイル名生成部７と画像記憶部１０を外部装置Ｙ（図４参照）に設け、さらに、ファイル名分類部８およびフォルダ生成部９を、パーソナルコンピュータのような外部装置Ｙに設けることが望ましい。他の構成および動作は実施形態１と同様である。また、上述したデータベースの機能は、実施形態１においても採用可能である。ただし、実施形態１では、分類は行っていないから、レコードの内容は異なる。

１ 撮像装置
２ 文字領域抽出部
３ 特徴量記憶部
４ 特徴量抽出部
５ 特徴量照合部
６ 判断部
７ ファイル名生成部
８ ファイル名分類部
９ フォルダ生成部
１０ 画像記憶部
１１ ファイル名記憶部
Ｄ１ 画像記録領域
Ｄ２ ファイルヘッダ領域
ＤＢ データベース

Claims (7)

1. 検査対象物を撮像した画像に含まれる文字に対する文字認識の結果について所望の文字と一致するか否かの良否判定を行う判断部と、判断部において不一致と判定されたときに少なくとも一致しなかった文字と判定結果とを含むファイル名を生成するファイル名生成部と、ファイル名生成部で生成されたファイル名を当該画像の画像ファイルとともに保存する画像記憶部とを備えることを特徴とする外観検査装置。
2. 前記画像ファイルは、前記画像を記録する画像記録領域と、前記判定部での判定結果と画像から認識した文字とを含む管理情報を登録するファイルヘッダ領域とを備えることを特徴とする請求項１記載の外観検査装置。
3. 画像ファイルのファイル名を前記判断部において不一致と判定された文字別に分類するファイル名分類部と、不一致と判定された文字別に分類して画像ファイルを保存するためのフォルダを生成するフォルダ生成部とを備えることを特徴とする請求項１又は２記載の外観検査装置。
4. 検査対象物を撮像した画像において検査対象物について複数種類の検査方法による良否判定を行うにあたり、検査方法ごとに不合格と判定された画像ファイルを保存するためのフォルダを生成するフォルダ生成部を備えることを特徴とする請求項１又は２記載の外観検査装置。
5. 画像ファイルを分類して保存するフォルダと、すべての画像ファイルを一括して保存する親フォルダとの両方に同じ内容の画像ファイルを保存することを特徴とする請求項３又は４記載の外観検査装置。
6. 画像ファイルのファイル名およびフォルダ名をレコードに含むデータベースを備えることを特徴とする請求項３〜５のいずれか１項に記載の外観検査装置。
7. 前記判断部を備える専用装置と、前記ファイル生成部および前記画像記憶部を備える外部装置とを設けたことを特徴とする請求項１〜６のいずれか１項に記載の外観検査装置。

Images