JP2015176282A - 画像処理方法、画像処理装置、並びに、当該方法を実行するプログラム、及び、当該プログラムを記録する記録媒体 - Google Patents

Abstract

【課題】シンボル以外のオブジェクトの抽出精度を向上させる画像処理方法を提供する。【解決手段】画像処理方法は、以下の４つのステップを含む。第１のステップでは、画像を入力する。第２のステップでは、画像中のシンボルを読み取る。第３のステップでは、シンボルを包含するマスク領域を設定する。第４のステップでは、画像中の前記マスク領域以外の領域にあるオブジェクトの認識を行う。【選択図】図９

Description

本発明は、画像処理方法、画像処理装置、並びに、当該方法を実行するプログラム、及び、当該プログラムを記録する記録媒体に関する。

文字や絵柄などの複数のパターンが含まれている印刷物を検査する方法の１つに、特許文献１に係る発明がある。当該方法では、画像の所定の領域が共通データ領域として設定され、画像の別の所定の領域が文字データ領域として設定される。基準画像から共通データ領域の基準共通データパターンと、文字データ領域の基準文字データパターンが記憶される。そして、検査対象となる画像から共通データ領域の部分画像と文字データ領域の部分画像とが抽出される。最後に、共通データ領域の部分画像と基準共通データパターンとが比較され、文字データ領域の部分画像と基準文字データパターンとが比較され、印刷物の良否が判定される。このように画像を複数の領域に分けてマッチングすることによって、検査の効率化が図られている。

特開２００８−０８４１７４号公報

しかし、検査対象物には、複数の異なるオブジェクトが近接して印刷もしくは打刻されることがある。例えば、バーコードなどのシンボルには、使用者の便宜のために、数字や文字が近接して印刷されている。この場合、領域を指定しても、検査対象物のライン移送時の位置ずれによって、画像中に複数のオブジェクトが混入してしまい、特にシンボル以外のオブジェクトを高精度に抽出することができない。

そこで、この発明の目的は、上記の課題を解決することであり、シンボル以外のオブジェクトの抽出精度を向上させる画像処理方法、画像処理装置、並びに、当該方法を実行するプログラム、及び、当該プログラムを記録する記録媒体を提供することである。

本発明の第１の態様における画像処理方法は、以下の４つのステップを含む。第１のステップでは、画像を入力する。第２のステップでは、画像中のシンボルを読み取る。第３のステップでは、シンボルを包含するマスク領域を設定する。第４のステップでは、画像中の前記マスク領域以外の領域にあるオブジェクトの認識を行う。

本発明の第２の態様における画像処理装置は、画像入力手段と、シンボル読み取り手段と、マスク領域設定手段と、オブジェクト認識手段と、を備える。画像入力手段は、画像を入力する。シンボル読み取り手段は、画像中のシンボルを読み取る。マスク領域設定手段は、シンボルを包含するマスク領域を設定する。オブジェクト認識手段は、画像中の前記マスク領域以外の領域にあるオブジェクトの認識を行う。

本発明の第３の態様に係るプログラムは、画像入力装置と接続するコンピュータに所定の手順を実行させるプログラムである。所定の手順は、以下の４つのステップを含む。第１のステップでは、画像を入力する。第２のステップでは、画像中のシンボルを読み取る。第３のステップでは、シンボルを包含するマスク領域を設定する。第４のステップでは、画像中の前記マスク領域以外の領域にあるオブジェクトの認識を行う。

本発明の第４の態様に係る記録媒体は、画像入力装置と接続するコンピュータに所定の手順を実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体である。所定の手順は、以下の４つのステップを含む。第１のステップでは、画像を入力する。第２のステップでは、画像中のシンボルを読み取る。第３のステップでは、シンボルを包含するマスク領域を設定する。第４のステップでは、画像中の前記マスク領域以外の領域にあるオブジェクトの認識を行う。

第１から第４の態様に係る方法、装置、プログラム、及び、記録媒体では、画像中のシンボルを包含するマスク領域を設定する。したがって、シンボルが、オブジェクト認識において悪影響を与えない。よって、当該オブジェクトが高精度に抽出される。

第１の実施形態に係る画像処理装置の構成を示すブロック図である。 画像処理装置の外観及び使用状態を示す図である。 画像処理装置の内部ハードウエア構成を示す図である。 シンボル読み取り手段の詳細構成を示すブロック図である。 マスク領域設定手段の詳細構成の一例を示す図である。 マスク領域設定手段の処理の一例を示す図である。 マスク領域設定手段の処理の別の一例を示す図である。 図５のマスク処理設定手段の設定により変更となったオブジェクト認識を行う領域を説明する図である。 第１の実施形態に係る画像処理装置の全体的な処理の流れを示すフローチャートである。 第２の実施形態に係る画像処理装置の構成を示すブロック図である。 第２の実施形態に係る画像処理装置の全体的な処理の流れを示すフローチャートである。

＜第１の実施形態＞
以下において、本発明の一実施形態について、図面を参照しながら詳細に説明する。なお、以下で参照する図面では、同一またはそれに相当する部材には、同じ番号が付されている。

図１は、この発明にかかる画像処理装置１の構成を示す。図中、カメラ３は、シンボル７ａとオブジェクト７ｂ（以下、シンボル７ａとオブジェクト７ｂとを組み合わせたものを複合オブジェクト７と呼ぶ）を撮影するためのもの、照明ランプ６は、処理対象の複合オブジェクト７を照明するためのものである。

画像処理装置１は、撮像制御手段１０４、照明制御手段１０５、トリガ入力手段１０６、Ａ／Ｄ変換手段１０７、画像記憶手段１０８、シンボル読み取り手段１０９、マスク領域設定手段１１０、オブジェクト認識手段１１１、判定手段１１２、出力手段１１３などを具備する。また、上位システム１１は、画像処理装置１の動作を制御し、例えば、パーソナルコンピュータやプログラマブルコントローラ（ＰＬＣ）などである。また、モニタ４は、画像処理装置１の構成の１つであってもよい。

トリガ入力手段１０６は、上位システム１１から撮像開始を指示するトリガ信号を受け付ける。このトリガ信号は、撮像制御手段１０４および照明制御手段１０５に与えられる。これにより、照明ランプ６による照明の下でカメラ３が作動し、複合オブジェクト７が撮像される。

カメラ３からの画像信号は、Ａ／Ｄ変換手段１０７においてディジタル変換された後、画像記憶手段１０８に格納される。シンボル読み取り手段１０９は、画像記憶手段１０８に格納された画像データ（以下、「処理対象画像」という。）中のシンボルを読み取る。具体的には、シンボル読み取り手段１０９は、複合オブジェクト７中のシンボル７ａの基準パターンを抽出した後、その抽出結果に基づき、シンボル７ａの位置や傾きを判別する。またシンボル読み取り手段１０９は、基準パターンに隣接する周辺パターンを抽出し、その配列に基づき、シンボル７ａ内の各セルの位置、大きさを認識する。さらに２値化処理などにより、各セルが黒セル、白セルのいずれであるかの判別や、セルの大きさを判別する処理などを実行する。

シンボル読み取り手段１０９は、更に、上述の処理結果に基づき、各セルの２値情報を符号化する。さらに、シンボル読み取り手段１０９は、これらの符号をシンボルキャラクタ毎にまとめながら、そのシンボルキャラクタの示す値（コードワード）に誤りが生じていないかどうかを判別し、誤りがある場合にはこれを訂正する。これにより、２値情報がデコードされると、そのデコード結果はマスク領域設定手段１１０と出力手段１１３に出力される。シンボル読み取り手段１０９の詳細の構成、及び動作については後述する。

マスク領域設定手段１１０は、シンボル読み取り手段１０９の処理結果を用いて、シンボル７ａを包含するマスク領域を設定する。マスク領域は、シンボル７ａが形成される領域（以下、シンボル領域と呼ぶ）とクワイエットゾーンとを含む。クワイエットゾーンは、シンボル領域の周辺に設けられる。クワイエットゾーンには、セルが設けられない。クワイエットゾーンの位置及び大きさは、シンボル７ａの規格（例えば、１次元、２次元バーコード、QRコード、Dot Code）などによって定められている。マスク領域設定手段１１０は、マスク領域を設定すると、設定されたマスク領域を、特定色及び／または特定輝度の画素で塗りつぶしてもよい。マスク領域設定手段１１０の詳細の構成、及び動作については後述する。

オブジェクト認識手段１１１は、処理対象画像中のマスク領域以外の領域にあるオブジェクトの認識を行う。本実施形態では、オブジェクト認識手段１１１は、具体的には、シンボル７ａの周辺にある文字（オブジェクト７ｂ）を認識する。オブジェクト認識手段１１１の詳細の構成、及び動作については後述する。

判定手段１１２は、シンボル読み取り手段１０９の処理結果と、オブジェクト認識手段１１１の処理結果を用いて、読み取られたシンボル７ａが表す情報と、認識された文字情報とが一致するか否か判定する。シンボル７ａが表す情報と、文字情報とが一致しない場合、当該複合オブジェクト７が印刷または打刻された製品は不良品であるとみなされる。

出力手段１１３は、シンボル読み取り手段１０９、オブジェクト認識手段１１１、判定手段１１２から処理結果を取り込んで上位システム１１やモニタ４に出力する。

図２および図３は、画像処理装置１の具体的な構成例を示す。まず、図２は、画像処理装置１の外観とその使用状態を示すものである。画像処理装置１は、タバコ等の包装物の組立製造ラインにおける製造管理システムに組み込まれるもので、コンピュータが内蔵されたコントローラ２と、このコントローラ２にケーブル接続されるカメラ３（一般的には、ＣＣＤカメラである）とを基本構成とする。カメラ３は、画像を入力する画像入力手段に相当する。なお、コントローラ２の前面には、カメラ接続用のコネクタ８ａが設けられるほか、モニタ４、コンソール５（いずれも図３に示す。）を接続するためのコネクタ８ｂ，８ｃなどが設けられる。また、カメラ３の内部には、照明ランプ６が収容されている。

画像処理装置１は、包装物９の表面に印刷された複合オブジェクト７を読み取る目的で設置される。カメラ３は、部品の搬送用コンベア１０（以下、単に「コンベア１０」という。）の上方に設置される。コントローラ２は、コンベア１０の近傍位置に設置されており、上位システム１１に接続される。コントローラ２は、上位システム１１からのコマンドを受けてカメラ３を作動して複合オブジェクト７を撮像させた後、その画像中の複合オブジェクト７が有する２値情報及び文字情報をデコードする。

コントローラ２で最終的に得られたデコード結果は、上位システム１１に送信される。複合オブジェクト７には、製品の種類，製品番号，製品の搬送先など、製品のトレーサビリティを確保するための種々の情報（以下、製造情報と呼ぶ）が格納される。上位システム１１は、これらの情報を用いて、前記コンベア１０の経路を切り替えたり、図示しない製造機器にコマンドを送ったりするなどの制御を実行する。

図３は、コントローラ２を中心とした画像処理装置１のハードウェアブロック図を示す。コントローラ２は、ＣＰＵ２１、メインメモリ２２、入出力制御部２３、画像処理部２４、モデルメモリ２５、画像メモリ２６などを主要構成として含む。カメラ３、モニタ４、コンソール５、およびカメラ３内の照明ランプ６は、それぞれインタフェース回路２０３，２０４，２０５，２０６を介して入出力制御部２３に接続される。なお、カメラインタフェース回路２０３には、上述したＡ／Ｄ変換手段１０７が含まれる。

ＣＰＵ２１は、通信インタフェース回路２０１を介して、上位システム１１とデータやコマンドのやりとりを実行する。図１のトリガ入力手段１０６は、通信インタフェース回路２０１およびＣＰＵ２１におけるトリガ信号を受け付ける機能により構成される。

入出力制御部２３および画像処理部２４は、ＣＰＵバス２７を介してＣＰＵ２１に接続されるとともに、画像バス２８を介して相互に画像データをやりとりできるように構成されている。カメラ３から出力された画像は、入出力制御部２３から画像処理部２４に提供されて、画像メモリ２６に格納される。画像メモリ２６は、図１の画像記憶手段１０８に対応する。画像処理部２４は、画像メモリ２６に格納された画像をＣＰＵ２１からの指示に応じて読み出して、入出力制御部２３に提供する。

入出力制御部２３は、モニタ４に対し、画像処理部２４から提供された画像およびカメラ３から入力したリアルタイムの画像を切り替えて表示させることができる。また、入出力制御部２３は、ＣＰＵ２１からシンボル７ａの読み取り結果、オブジェクト７ｂの認識結果、シンボル７ａが表す情報と、文字情報とが一致するか否かの判定結果を表示するためのデータの提供を受け、以上の結果をモニタ４に表示させる。

メインメモリ２２は、ＣＰＵ２１の動作に必要なプログラムを格納するほか、処理の過程で生じたデータを一時保存したり、シンボル７ａの読み取り結果、オブジェクト７ｂの認識結果、上述の判定結果を順次蓄積したりするなどの目的で使用される。

モデルメモリ２５は、シンボル７ａの基準パターン、周辺パターン及びクワイエットゾーンの抽出に使用するモデル、並びに、文字を認識するための文字パターンを登録するためのもので、画像メモリ２６とともに画像処理部２４に接続される。画像処理部２４は、画像処理専用のプロセッサやディジタル演算回路を具備するもので、図１のシンボル読み取り手段１０９、マスク領域設定手段１１０、オブジェクト認識手段１１１に対応する。

メインメモリ２２には、図１の撮像制御手段１０４、照明制御手段１０５、判定手段１１２、出力手段１１３の各処理部に対応するプログラムが格納される。ＣＰＵ２１は、これらのプログラムに基づく処理を実行することにより、各処理手段として機能することができる。

画像処理装置１は、コンベア１０上に搬送される包装物９の複合オブジェクト７を順に読み取って出力する必要があるため、コントローラ２は、カメラ３を作動させて複合オブジェクト７の画像を取り込む処理と、その画像のシンボル７ａを読み取る処理と、オブジェクト７ｂを認識する処理とを、高速で繰り返し実行するように設定されている。包装物９はコンベア１０によって位置決めされているため、カメラ３を予め設定した位置に移動させれば、複合オブジェクト７は撮影されるが、画像中の複合オブジェクト７の位置や向きは、撮影される包装物９によって少しずつ異なる。さらに、使用者の便宜のために、シンボル７ａとオブジェクト７ｂの位置が近接している。このため、画像中のシンボル７ａだけの領域や、オブジェクト７ｂだけの領域を事前に設定することは困難である。したがって、コントローラ２は、上記の問題に対処するために、画像中のシンボル７ａだけの領域を画像処理によって抽出し、シンボル７ａの領域をマスクすることによって、オブジェクト７ｂの認識精度を上げようとするものである。

ここで、シンボル読み取り手段１０９の詳細について説明する。図４はシンボル読み取り手段１０９の詳細構成を示すブロック図である。シンボル読み取り手段１０９は、画素抽出手段１３１と、シンボル領域抽出手段１３３と、セル読み取り手段１３４と、コードワード算出手段１３５と、誤り訂正手段１３６と、デコード手段１３７とを含む。

画素抽出手段１３１は、シンボル色を表す画素、及び／または、非シンボル色を表す画素を抽出する。シンボル色とは、バー、ドット、セルなど（以下、シンボル構成要素と呼ぶ）を表示する色である。非シンボル色とは、シンボル構成要素を識別可能とするために、シンボル色の周辺に着色される色である。画素抽出手段１３１は、基準となるシンボル構成要素を抽出した後、その周辺のシンボル構成要素を抽出する。そして、画素抽出手段１３１は、それらのシンボル構成要素を表示する画素、または、そのシンボル構成要素の周辺の画素を抽出する。

シンボル領域抽出手段１３３は、画素抽出手段１３１によって抽出された、基準となるシンボル構成要素、及び、その周辺のシンボル構成要素を包含する長方形状の領域（以下、シンボル領域）を抽出する。シンボル領域は、シンボル７ａを形成する。なお、ＱＲコードやデータマトリックスのように、ファインダパターンによってシンボル領域の縦と横が定義されるようなシンボルでは、シンボル領域抽出手段１３３は、ファインダパターンを利用してシンボル領域を抽出してもよい。

セル読み取り手段１３４は、画素抽出手段１３１によって、抽出されたシンボル構成要素の情報を、各シンボルの仕様で決められた順序に並べなおす。コードワード算出手段１３５は、セル読み取り手段１３４で読み取られたドットの情報に基づいて、コードワードを算出する。このようにして得られたコードワードには、誤り訂正コード語も含まれる。誤り訂正手段１３６は、得られたコードワードに対して、誤り訂正を実行する。最後にデコード手段１３７は、コードワード変換テーブル１３８を参照して、コードワードを文字列に変換する。コードワード変換テーブル１３８は、各コードワードとそれに対応する文字が格納されている。コードワード変換テーブル１３８は、モデルメモリ２５に格納されている。

つぎに、マスク領域設定手段１１０の詳細について説明する。図５は、マスク領域設定手段１１０の詳細構成図である。マスク領域設定手段１１０は、クワイエットゾーン抽出手段１４２と、統計値算出手段１４３と、マスク領域変換手段１４４とを含む。

クワイエットゾーン抽出手段１４２は、上述するシンボル領域の境界をもとに、クワイエットゾーンを抽出する。図６（ａ）に示すように、クワイエットゾーンは、シンボル領域と接し、シンボル領域の周辺に設けられる。クワイエットゾーンの大きさは、各シンボルの仕様によって予め決められている。例えば、Dot Codeでは、シンボル領域の上下左右方向に隣接する３ドット幅の領域が、クワイエットゾーンとして定義されている。

統計値算出手段１４３は、画素抽出手段１３１によって抽出される画素、または、クワイエットゾーン抽出手段１４２によって抽出されるクワイエットゾーンの画素について、明るさ及び／または色を規定する画素成分の統計値を算出する。なお、画素抽出手段１３１によって抽出される画素は、シンボル色を表す画素、及び／または、非シンボル色を表す画素の２種類である。明るさ及び／または色を規定する画素成分とは、例えば、輝度値、ＲＧＢの各値、ＬＵＶなどの色空間の各パラメータを指す。統計値とは、平均値、中央値、最大値、最小値などのシンボル領域を代表する値であればどのようなものであってもよい。なお、マスク領域変換手段１４４によって処理される画像がグレースケールの画像や二値画像であれば、統計値算出手段１４３が輝度値の統計値を算出するとよい。しかし、マスク領域設定手段１４４によって処理される画像がカラー画像であれば、例えば、統計値算出手段１４３は、各色空間を定義するパラメータ（例えば、ＲＧＢなど）において、平均値、中央値、最大値、最小値などの統計値を算出するとよい。

マスク領域変換手段１４４は、上述するシンボル領域を包含し、クワイエットゾーンをはみ出さない程度にマスク領域を設定する。なぜなら、クワイエットゾーンの外側には、処理対象となるオブジェクト７ｂが写っている可能性が高いからである。マスク領域の形状は、長方形状でなくてもよい。そして、マスク領域変換手段１４４は、設定したマスク領域中の全ての画素について、上述する画素成分を統計値に変換するか、シンボル色を消去するための画像処理を行う。マスク領域変換手段１４４は、以下の４つの処理のいずれかを行う。

＜第１の処理＞
統計値算出手段１４３は、画素抽出手段１３１によって抽出される、シンボル色を表す画素及び／または非シンボル色を表す画素について、明るさ及び／または色を規定する画素成分の統計値を算出する。マスク領域変換手段１４４は、マスク領域中の全ての画素の画素成分を、画素抽出手段１３１によって抽出される画素の画素成分の統計値に、変換する。したがって、どのような統計値を採用するかによって、マスク領域中の全ての画素の画素成分が、シンボル色を表す画素の画素成分の統計値に変換されることもあれば、非シンボル色を表す画素の画素成分の統計値に変換されることもあれば、シンボル色と非シンボル色との中間色に変換されることもある。マスク領域変換手段１４４によって処理される画像がグレースケールの画像や二値画像であれば、第１マスク領域変換手段１４４は、マスク領域の全画素の輝度値を、画素抽出手段１３１によって抽出される画素の輝度値の統計値に変換する。また、マスク領域設定手段１１０ａによって処理される画像がカラー画像であれば、マスク領域変換手段１４４は、マスク領域の全画素の各色空間を定義するパラメータを、画素抽出手段１３１によって抽出される画素の当該パラメータの統計値に変換する。図６（ｂ）における、中間処理画像Ｉ２は、処理対象画像Ｉ０のマスク領域に対して上述する処理が施された画像である。このような中間処理画像Ｉ２が生成されることによって、後述するオブジェクト認識手段１１１が処理されたマスク領域をオブジェクト７ｂの一部として認識する可能性が低くなる。よって、オブジェクト７ｂの認識精度が向上する。

＜第２の処理＞
統計値算出手段１４３は、画素抽出手段１３１によって抽出される、非シンボル色を表す画素について、明るさ及び／または色を規定する画素成分の統計値を算出する。マスク領域変換手段１４４は、マスク領域中のシンボル色を表示する画素の画素成分を、非シンボル色を表す画素の画素成分の統計値に変換する。図７は、処理対象画像Ｉ０（図７（ａ））に対してマスク領域を処理した中間処理画像Ｉ３（図７（ｂ））を示している。この中間処理画像Ｉ３は、マスク領域にある黒ドットが消去された例を示している。このような中間処理画像Ｉ３が生成されることによって、黒ドット領域が背景色とほぼ等しくなるので、後述するオブジェクト認識手段１１１が処理されたマスク領域をオブジェクト７ｂの一部として認識する可能性が低くなる。よって、オブジェクト７ｂの認識精度が向上する。

＜第３の処理＞
統計値算出手段１４３は、クワイエットゾーン抽出手段１４２によって求められるクワイエットゾーン内の画素について、明るさ及び／または色を規定する画素成分の統計値を算出する。マスク領域変換手段１４４は、シンボル領域中の全ての画素の画素成分を、統計値算出手段１４３が算出した統計値に変換する。この処理によっても、図７（ｂ）に示すように、例えば、マスク領域にある黒ドットが消去された中間処理画像Ｉ３が得られる。

＜第４の処理＞
マスク領域変換手段１４４は、シンボル領域設定手段１４１で設定されたシンボル領域内の各画素について収縮フィルタを適用する。例えば、シンボル構成要素が黒色から成る場合、マスク領域変換手段１４４は、処理対象の画素の周辺画素において上述する画素成分の最大値を抽出し、それを処理対象の画素の画素成分とする。また、シンボル構成要素が白色から成る場合、マスク領域変換手段１４４は、処理対象の画素の周辺画素において上述する画素成分の最小値を抽出し、それを処理対象の画素の画素成分とする。このようにすることによって、シンボル色の画素が消去される。この処理によっても、図７（ｂ）に示すように、例えば、マスク領域にある黒ドットが消去された中間処理画像Ｉ３が得られる。このような中間処理画像Ｉ３が生成されることによって、黒ドット領域が背景色とほぼ等しくなるので、後述するオブジェクト認識手段１１１が処理されたマスク領域をオブジェクト７ｂの一部として認識する可能性が低くなる。よって、オブジェクト７ｂの認識精度が向上する。

＜マスク領域を変換しない処理＞
上述する４つの処理は、マスク領域を変換する場合の処理であるが、マスク領域設定手段１１０は、マスク領域を変換せずに、単に領域を設定するだけでもよい。この場合、マスク領域設定手段１１０は、シンボル領域抽出手段１３３が設定したシンボル領域をマスク領域と設定する。その結果、図８（ａ）に示すように、シンボル７ａが通常のオブジェクト認識領域に含まれる場合であっても、図８（ｂ）のようにシンボル領域を抽出した結果、図８（ｃ）に示すように、変更後のオブジェクト認識領域からシンボル７ａが除かれる。つまり、オブジェクト認識手段１１１は、処理対象画像中のシンボル領域を除いた領域において、オブジェクト７ｂの認識を行う。これにより、後述するオブジェクト認識手段１１１での処理において、シンボル７ａによるオブジェクト７ｂの認識への悪影響は避けられる。

つぎに、オブジェクト認識手段１１１の詳細について説明する。本実施形態におけるオブジェクト認識手段１１１の処理は、例えば、特開２０１３−１８２５６７号公報の方法が適用可能である。この方法では、オブジェクト認識手段１１１は、オブジェクト認識処理対象となる領域において、まず、二値化を行う。つぎに、オブジェクト認識手段１１１は、処理境界画素を通り、いくつかの角度をなすラインを設定し、角度毎に濃度累積値を算出する。オブジェクト認識手段１１１は、最も濃度累積値が高いラインに対して平行に文字列が並んでいると推定する。そして、オブジェクト認識手段１１１は、行ごとに周知の方法で文字を１つ１つ切り出した後、マッチング処理によって文字を認識する。

つぎに、本画像処理装置１による処理の流れについて説明する。図９は、第１の実施形態に係る画像処理装置１の全体的な処理の流れを示すフローチャートである。まず、ステップS1において、カメラ３により処理対象画像を入力する。つぎに、ステップS2によって処理対象画像中のシンボル７ａを読み取る。この処理には、画素抽出手段１３１によるシンボル色、及び／または、非シンボル色を表す画素を抽出する処理と、シンボル領域抽出手段１３３によるシンボル７ａを形成するシンボル領域を抽出する処理とが含まれる。

つぎに、ステップS3において、シンボルを包含するマスク領域を設定する。この方法には、以下の通りである。まず、統計値算出手段１４３が、画素抽出手段１３１によって抽出されたシンボル色、及び／または、非シンボル色を表す画素について、明るさ及び／または色を規定する画素成分の統計値を算出する。マスク領域変換手段１４４が、シンボル領域抽出手段１３３で設定されたシンボル領域を包含するマスク領域を設定する。そして、マスク領域変換手段１４４が、設定したマスク領域中の全ての画素について、当該画素成分を算出された統計値に変換する。

あるいは、統計値算出手段１４３は、画素抽出手段１３１によって抽出される、非シンボル色を表す画素について、明るさ及び／または色を規定する画素成分の統計値を算出する。マスク領域変換手段１４４は、マスク領域中のシンボル色を表示する画素の画素成分を、非シンボル色を表す画素の画素成分の統計値に変換する。

あるいは、統計値算出手段１４３が、クワイエットゾーン抽出手段１４２によって抽出されたクワイエットゾーン内の画素について、明るさ及び／または色を規定する画素成分の統計値を算出する。マスク領域変換手段１４４が、シンボル領域抽出手段１３３で抽出されたシンボル領域中の全ての画素について、当該画素成分を算出された統計値に変換する。

あるいは、マスク領域変換手段１４４は、収縮フィルタを用いてシンボル領域を処理することによって、シンボル色の画素を消去する。あるいは、マスク領域設定手段１１０ｅは、シンボル領域をマスク領域と設定する。

ステップS3が終了後は、オブジェクト認識手段１１１が処理対象画像中のマスク領域以外の領域にあるオブジェクト７ｂの認識を行う（ステップS4）。この方法の詳細は、上述したとおりである。なお、ステップS3においてマスク領域を変換しない方法が選択された場合、ステップS4においてオブジェクト７ｂの認識を行う領域は、処理対象画像中のシンボル領域を除いた領域である。

最後にステップS5において、判定手段１１２は、読み取られたシンボル７ａが表す情報と、ステップS4において認識された文字情報が一致するか否か判定する。

＜第２の実施形態＞
第１の実施形態では、シンボル７ａに近接して文字によるオブジェクト７ｂが印刷されている場合について説明した。しかし、本発明は、シンボル７ａが打刻された基板等の欠陥検査、外観検査にも適用可能である。特に、本発明は、シンボル７ａの近くに、欠陥検査、外観検査の検査対象がある場合に有効である。第２の実施形態では、本発明が欠陥検査、外観検査に適用される例を説明する。

図１０は、第２の実施形態における画像処理装置１ａの構成を示すブロック図である。図１０は、図１と同じ構成のものについては同じ符号を付しており、説明を省略する。第２の実施形態は、複合オブジェクト７のうち、オブジェクト７ｃが文字ではなく、部品や配線形状に該当する。画像処理装置１ａでは、オブジェクト認識手段１１１ａと判定手段１１２ａと出力手段１１３ａとが、それぞれ、第１の実施形態に係るオブジェクト認識手段１１１と判定手段１１２と出力手段１１３と異なる。なお、判定手段１１２ａは省略されてもよい。なお、第２の実施形態における画像処理装置１ａのハードウエア構成は、図３と同一である。

オブジェクト認識手段１１１ａは、例えば、特開２００８−１３９２６２号公報の方法が適用可能である。この方法は、回路の配線の欠陥を検出する方法である。回路の配線は、回路基板の縦方向、横方向、斜め４５度方向のいずれかに沿って延びるように形成されるのが一般的である。したがって、基板が回転することを考慮に入れても、エッジ方向が特定の角度に分布することが明らかである。したがって、欠陥検査の検査領域それぞれにおいて、エッジ構成画素の濃度勾配方向のヒストグラムを、各検査領域のモデルとして別途作成し、モデルメモリ２５に予め記憶しておく。そして、オブジェクト認識手段１１１ａは、マスク領域設定手段１１０によって処理された画像、または、処理対象画像から検査領域を抽出する。ここで、マスク領域設定手段１１０によって処理された画像とは、例えば、図６（ｂ）、図７（ｂ）のようにマスク領域の画素が非シンボル色などに塗りつぶされている画像に該当する。さらに、検査領域は、図８（ｃ）のように、シンボル７ａの領域が除外されたものであってもよい。そして、オブジェクト認識手段１１１ａは、エッジ構成画素の濃度勾配方向のヒストグラムを出力する。そして、オブジェクト認識手段１１１ａは、出力したヒストグラムに、モデルメモリ２５に記憶されたヒストグラムのモデルより所定の基準値より大きくなっている濃度勾配方向が存在しているとき、オブジェクト７ｃに欠陥があると推定する。

なお、オブジェクト認識手段１１１ａは、シンボル７ａの領域を検査領域から除外せずに、且つ、シンボル７ａの領域を塗りつぶさずに、オブジェクト認識を行ってもよい。ただし、このときの認識結果は、信頼性が低いものとして、取り扱われる。判定手段１１２ａは、シンボル７ａの領域を検査領域から除外せずにオブジェクト認識された結果と、マスク領域設定手段１１０で設定されたマスク領域とを参照して、オブジェクト認識手段１１１ａの認識結果の信頼度を判定する。そして、判定手段１１２ａは、その信頼度を優先度として出力手段１１３ａに出力する。なお、オブジェクト認識手段１１１ａは、シンボル７ａの領域を検査領域から除外するか、または、シンボル７ａの領域を塗りつぶして、オブジェクト認識を行った場合、判定手段１１２ａの処理は省略されてもよい。

出力手段１１３ａは、読み取られたシンボル７ａが表す製品の製造情報と、欠陥の有無と、もし信頼度が推定されている場合、上述する優先度とを上位システム１１のデータベースに記憶させる。これにより、出力手段１１３ａは、シンボル７ａを考慮に入れた、欠陥検査、外観検査の結果を作業者に提供することができる。

つぎに、本画像処理装置１ａによる処理の流れについて説明する。図１１は、第２の実施形態に係る画像処理装置１ａの全体的な処理の流れを示すフローチャートである。ステップS1からS3までは、第１の実施形態に係る画像処理装置１による処理と同一であるため、説明を省略する。ステップS41では、認識対象となるオブジェクト７ｃが第１の実施形態のオブジェクト７ｂと異なるため、オブジェクトの認識方法が第１の実施形態と異なる。オブジェクト７ｃの認識方法は上述の通りである。ステップS6では、出力手段１１３ａは、少なくとも、製品の製造情報と欠陥の有無とを上位システム１１のデータベースに記憶させる。

以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、発明の要旨を逸脱しない範囲で種々の変更が可能である。

上述の例では、DotCodeをシンボル７ａとして説明した。しかし、QRバーコードやData Matrixなどの他のコードがシンボル７ａであってもよい。

また、上述の実施形態のハードウエア構成では、カメラ３がコントローラ２により制御される例を示しているが、カメラ３にコントローラ２の機能が全て内蔵されてもよい。あるいは、コントローラ２の機能が、画像処理ボードとコンピュータによって実現されてもよい。

マスク領域設定手段１１０の第１の処理から第３の処理までのいずれか１つと、マスク領域設定手段１１０の第４の処理とが組み合わされてもよい。さらに、マスク領域設定手段１１０のマスク領域を変換しない処理を、上述の第１の処理から第４の処理のいずれか、またはそれらの組み合わせと組み合わせてもよい。

なお、上述した実施形態に係る全て又は一部のプログラムに係るプログラムデータは、記録媒体を介して記憶装置内に導入されてもよいし、記録媒体上から直接実行されてもよい。なお、記録媒体は、ＲＯＭやＲＡＭやフラッシュメモリ等の半導体メモリ、フレキシブルディスクやハードディスク等の磁気ディスクメモリ、ＣＤ−ＲＯＭやＤＶＤやＢＤ等の光ディスクメモリ、及びメモリカード等をいう。また、記録媒体は、電話回線や搬送路等の通信媒体も含む概念である。

また、上述した各実施形態に係る全て又は一部のプログラムは、典型的には集積回路であるＬＳＩ（集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、又はウルトラＬＳＩ等と称される）として実現されてもよい。これらは、個別に１チップ化されてもよいし、一部又は全部を含むように１チップ化されてもよい。また、集積回路化の手法は、ＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。また、ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ(Field Programmable Gate Array)や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

本発明によれば、シンボル以外のオブジェクトの抽出精度を向上させる画像処理方法、画像処理装置、並びに、当該方法を実行するプログラム、及び、当該プログラムを記録する記録媒体を提供することができる。

１、１ａ 画像処理装置
３ カメラ（画像入力手段）
１０９ シンボル読み取り手段
１１０ マスク領域設定手段
１１１、１１１ａ オブジェクト認識手段
１１２ 判定手段
１１３、１１３ａ 出力手段
１３１ 画素抽出手段
１３３ シンボル領域抽出手段
１４２ クワイエットゾーン抽出手段
１４３ 統計値算出手段
１４４ マスク領域変換手段

Claims (22)

1. 画像を入力するステップと、
   前記画像中のシンボルを読み取るステップと、
   前記シンボルを包含するマスク領域を設定するステップと、
   前記画像中の前記マスク領域以外の領域にあるオブジェクトの認識を行うステップと、
   を含む、画像処理方法。
2. 前記シンボルは、シンボル色と非シンボル色とから成り、
   前記画像中のシンボルを読み取るステップは、前記シンボル色及び／または非シンボル色を表す画素を抽出するステップを含み、
   前記マスク領域を設定するステップは、
   前記抽出された画素について、明るさ及び／または色を規定する画素成分の統計値を算出するステップと、
   前記マスク領域中の全ての画素について、前記画素成分を前記統計値に変換するステップと、
   を含む、請求項１に記載の方法。
3. 前記シンボルは、シンボル色と非シンボル色とから成り、
   前記画像中のシンボルを読み取るステップは、前記非シンボル色を表す画素を抽出するステップを含み、
   前記マスク領域を設定するステップは、
   前記抽出された画素について、明るさ及び／または色を規定する画素成分の統計値を算出するステップと、
   前記マスク領域中の前記シンボル色を表示する画素について、前記画素成分を前記統計値に変換するステップと、
   を含む、請求項１に記載の方法。
4. 前記シンボルは、シンボル色と非シンボル色とから成り、
   前記画像中のシンボルを読み取るステップは、前記シンボルを形成するシンボル領域を抽出するステップを含み、
   前記マスク領域を設定するステップは、
   前記シンボル領域と接するクワイエットゾーンを抽出するステップと、
   前記クワイエットゾーン中の画素について、明るさ及び／または色を規定する画素成分の統計値を算出するステップと、
   前記シンボル領域中の全ての画素について、前記画素成分を前記統計値に変換するステップと、
   を含む、請求項１に記載の方法。
5. 前記シンボルは、シンボル色と非シンボル色とから成り、
   前記画像中のシンボルを読み取るステップは、前記シンボルを形成するシンボル領域を抽出するステップを含み、
   前記マスク領域を設定するステップは、収縮フィルタを用いて前記シンボル領域を処理することによって、前記シンボル色の画素を消去するステップを含む、
   請求項１に記載の方法。
6. 前記画像中のシンボルを読み取るステップは、前記シンボルを形成するシンボル領域を抽出するステップを含み、
   前記マスク領域を設定するステップは、前記シンボル領域を前記マスク領域と設定するステップを含み、
   前記オブジェクトの認識を行うステップは、前記画像中の前記シンボル領域を除いた領域において、前記オブジェクトの認識を行う、
   請求項１に記載の方法。
7. 前記オブジェクトは、文字である、請求項１から６までのいずれかに記載の方法。
8. 前記読み取られたシンボルが表す情報と、前記認識された文字情報が一致するか否か判定するステップをさらに含む、請求項７に記載の方法。
9. 前記オブジェクトは製品の欠陥である、
   請求項１から６までのいずれかに記載の方法。
10. 前記読み取られたシンボルは、前記製品の製造情報を表す情報であり、
    前記製造情報に、前記欠陥の有無を対応づけてデータベースに記憶させるステップをさらに含む、請求項９に記載の方法。
11. 画像を入力する画像入力手段と、
    前記画像中のシンボルを読み取るシンボル読み取り手段と、
    前記シンボルを包含するマスク領域を設定するマスク領域設定手段と、
    前記画像中の前記マスク領域以外の領域にあるオブジェクトの認識を行うオブジェクト認識手段と、
    を備える、画像処理装置。
12. 前記シンボルは、シンボル色と非シンボル色から成り、
    前記シンボル読み取り手段は、前記シンボル色を表す画素、及び／または、前記非シンボル色を表す画素を抽出する画素抽出手段を含み、
    前記マスク領域設定手段は、
    前記抽出された画素について、明るさ及び／または色を規定する画素成分の統計値を算出する統計値算出手段と、
    前記マスク領域中の全ての画素について、前記画素成分を前記統計値に変換するマスク領域変換手段と、
    を含む、請求項１１に記載の画像処理装置。
13. 前記シンボルは、シンボル色と非シンボル色とから成り、
    前記画像中のシンボルを読み取るステップは、前記非シンボル色を表す画素を抽出する画素抽出手段を含み、
    前記マスク領域を設定するステップは、
    前記抽出された画素について、明るさ及び／または色を規定する画素成分の統計値を算出する統計値算出手段と、
    前記マスク領域中の前記シンボル色を表示する画素について、前記画素成分を前記統計値に変換するマスク領域変換手段と、
    を含む、請求項１１に記載の画像処理装置。
14. 前記シンボルは、シンボル色と非シンボル色とから成り、
    前記シンボル読み取り手段は、前記シンボルを形成するシンボル領域を抽出するシンボル領域抽出手段を含み、
    前記マスク領域設定手段は、
    前記シンボル領域と接するクワイエットゾーンを抽出するクワイエットゾーン抽出手段と、
    前記クワイエットゾーン中の画素について、明るさ及び／または色を規定する画素成分の統計値を算出する統計値算出手段と、
    前記シンボル領域中の全ての画素について、前記画素成分を前記統計値に変換するマスク領域変換手段と、
    を含む、請求項１１に記載の画像処理装置。
15. 前記シンボルは、シンボル色と非シンボル色とから成り、
    前記シンボル読み取り手段は、前記シンボルを形成するシンボル領域を抽出するシンボル領域抽出手段を含み、
    前記マスク領域設定手段は、収縮フィルタを用いて前記シンボル領域を処理することによって、前記シンボル色の画素を消去するマスク領域変換手段を含む、請求項１１に記載の画像処理装置。
16. 前記シンボル読み取り手段は、前記シンボルを形成するシンボル領域を抽出するシンボル領域抽出手段を含み、
    前記マスク領域設定手段は、前記シンボル領域を前記マスク領域と設定し、
    前記オブジェクト認識手段は、前記画像中の前記シンボル領域を除いた領域において、前記オブジェクトの認識を行う、
    請求項１１に記載の画像処理装置。
17. 前記オブジェクトは、文字である、請求項１１から１６までのいずれかに記載の画像処理装置。
18. 前記読み取られたシンボルが表す情報と、前記認識された文字情報が一致するか否か判定する判定手段をさらに備える、請求項１７に記載の画像処理装置。
19. 前記オブジェクトは製品の欠陥である、
    請求項１１から１６までのいずれかに記載の画像処理装置。
20. 前記読み取られたシンボルは、前記製品の製造情報を表す情報であり、
    前記製造情報に、前記欠陥の有無を対応づけてデータベースに記憶させる出力手段をさらに含む、請求項１９に記載の画像処理装置。
21. 画像入力装置と接続するコンピュータに所定の手順を実行させるプログラムであって、
    前記所定の手順は、
    前記画像入力装置から画像を入力するステップと、
    前記画像中のシンボルを読み取るステップと、
    前記シンボルを包含するマスク領域を設定するステップと、
    前記画像中の前記マスク領域以外の領域にあるオブジェクトの認識を行うステップと、を含む、プログラム。
22. 画像入力装置と接続するコンピュータに所定の手順を実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
    前記所定の手順は、
    前記画像入力装置から画像を入力するステップと、
    前記画像中のシンボルを読み取るステップと、
    前記シンボルを包含するマスク領域を設定するステップと、
    前記画像中の前記マスク領域以外の領域にあるオブジェクトの認識を行うステップと、を含む、記録媒体。

Images