JP2012505485A - アイテム識別のための方法およびシステム - Google Patents

Abstract

本発明による、生産ラインでアイテムを識別するための開示された方法および対応するシステムは、アイテムのデジタル画像から作成される色ヒストグラムに依拠するものであり、色ヒストグラムは、ビンごとに、基準アイテムとの同一性識別のために加減されたビン当たりの最小画素数および最大画素数と比較される。
【選択図】 図６

Description

本発明は、自動化生産ラインの管理システムの技術分野に関する。より詳しくは、本発明は、生産ラインで生産管理に用いられる撮像装置ならびに対応する実時間画像処理の手段および方法に関する。これらの画像処理手段は、生産ラインでアイテム（すなわち製品および／または包装物）のデジタル画像から色情報を抽出するが、これは、抽出した情報を基準アイテムのテンプレート情報と比較することによって異なるタイプのアイテムを識別するためである。

撮像装置は、自動化生産ラインで生産を管理するのに一般的に使われるものである。例えば、瓶詰めラインでは、（例えば、レーザートリガー装置によって制御されるＬＥＤ照明ユニットを用いた）ストロボ光が、コンベア上を搬送される瓶を照明し、そのように照明された瓶のデジタル画像をデジタルカメラが撮影し、次に画像処理手段がこれらのデジタル画像上で瓶の輪郭を自動的に検出して、コンベア上にある異なるタイプの瓶を（それらの形および／または寸法から）識別する。このような識別は、例えば、瓶のタイプ（形または内容等）に応じて瓶に正しくラベルを貼るために用いられる。

また、画像処理手段は、アイテムの包装またはアイテム自体に（例えば、瓶詰めラインで生産される瓶に）備わるラベルに印刷された色、または容器のようなアイテムに（例えば、缶詰めラインで生産される缶に）直接印刷された色を検出して、包装検査および／またはパターン識別（例えば、銘柄パターンをテンプレート画像と照合することによって銘柄パターンを識別すること）を可能にすることもできる。例えば、缶詰めラインでは、缶に直接、または缶の周囲にぴったりとはまるスリーブ包装に、銘柄パターンがさらに印刷され得る。

アイテムをそのデジタル画像から識別または検査するのに用いられ得る、（内容に基づく画像検索の分野における）画像検索および画像処理に関する既知の技術は多く存在する。しかしながら、これらの技術は、正確さに欠けたり、時間のかかる計算を伴ったりするため、自動化生産ライン管理、特に高速生産ラインでの自動化生産ライン管理には、十分には適さない。

例えば、ＲＧＢ色空間（「赤緑青（Red Green Blue）」）における従来の閾値処理技術は、色情報と強度情報とを分離できないので正確さに欠ける。

別の例として、米国特許出願第２００４／０２１８８３７（Ａ１）号明細書は画像処理技術を開示しており、そこでは、まず、アイテムのデジタル画像がブロックへと区分され、各ブロックについて、色ヒストグラムおよび明度（輝度）ヒストグラムが作成される。さらに、輝度特徴情報として、各ブロックについて、輝度ヒストグラムから平均輝度が求められ、色特徴情報として、各ブロックについて、色ヒストグラムから代表色（例えば平均色）が求められる。次に、デジタル画像が目標画像と類似しているか否かを決定するために、デジタル画像の色特徴情報と目標比較画像の色特徴情報とが（ブロックごとに）比較される。色の比較で結論が出ない場合は、さらにデジタル画像の輝度特徴情報と目標比較画像の輝度特徴情報とが（再びブロックごとに）比較される。

しかしながら、そのような画像処理技術には、以下のような不都合がある。すなわち、代表色および平均輝度のブロックごとの決定はどちらも、（上記２つのヒストグラムを求めるためだけでも）多大な計算負荷を伴い、これらの「平均」パラメータの一方または両方のみを類似度の評価に用いることは、高速生産ラインの状況では（例えば、包装または包装上の銘柄を識別するには）十分正確ではないかもしれない、ということである。

最近、組立および包装の検査用途の関連で、アイテムを、これらの目標物のデジタル画像から抽出された、ＨＳＬ（「色相、彩度、輝度」（Hue Saturation Luminance））色空間における色特徴に基づいて識別するために、撮像システムが開発されている。

例えば、米国特許出願第２００４／０２２８５２６（Ａ９）号明細書は、色整合および色整合位置特定に応用される、「ファジー画素分類」を用いた色特性評価のためのシステムを開示している。このシステムは、色特徴ベクトルを用い、色特徴ベクトル間の距離に基づいてカラー画像間の類似度を測定するとともに、色情報がテンプレート画像の色情報と整合する目標画像の領域の位置を特定する。同明細書において、色特徴ベクトルは、各画素のＨＳＬの値に基づく、目標画像のＨＳＬ色ヒストグラムの各ビン（すなわち色カテゴリー）（すなわち色相、彩度、輝度の値に対応する各ビン）に割り当てられた画素の百分率で構成され、画素は、「ファジー画素分類」の「ファジーメンバーシップ関数」に従って、複数のビンにわたって分数的に配分された重みを有する。

しかしながら、（３次元ＨＳＬ空間にビンをもつ）ＨＳＬヒストグラム内でのこのような「ファジー画素分類」と、それに続く類似度の測定には、多大な計算資源を要するという不都合がある。従って、この画像処理技術は、高速生産ラインでの実時間アイテム識別には、特にライン上を通過するあらゆるアイテムを識別する必要がある場合は、うまく適合しない。

背景技術における上記の限界に鑑みて、本発明は、デジタル画像からアイテムを識別するための頑健な実時間システムおよび関連する方法を提供することを目的とする。本発明の目的は、以下のような生産管理ツールを提供することである。すなわち、複数のタイプのアイテムを運ぶ高速生産ラインにうまく適合しつつ、ライン上を通過するあらゆるアイテムのデジタル画像を処理して、基準識別データからの特有の特徴との比較による色解析に基づいて正確な識別を行うことができ、すべてにおいて限られた計算資源だけしか必要としない生産管理ツールである。

本発明の別の目的は、アイテムのさらなる識別処理に用いられる基準データを生成することも可能なシステムおよび方法を提供することである。

本発明のさらに別の目的は、生産ラインでアイテムを確実に識別することである。

本発明による識別システムおよび識別方法のさらなる目的は、たとえ隣接するアイテムの間に隙間がない場合、および／または、例えばコンベア上を搬送される瓶または缶の回転姿勢に対応する場合のように、アイテムが（デジタル画像において）部分的にしか見えない場合であっても、高速生産ラインで複数のアイテムを識別できるようにすることである。

本発明の第１の態様によるアイテムを識別する方法は、
ａ）アイテムのデジタル画像の少なくとも１つのゾーンを選択するステップと、
ｂ）ステップａ）で選択された各ゾーンについて、対応する、当該ゾーンの画素の色値のヒストグラムを作成するステップと、
ｃ）ステップｂ）で作成された各ヒストグラムの各ビンについて、画素数を、基準アイテムと関係づけられた基準データセットの、対応する最小基準値および最大基準値と比較して、画素数が基準値間に含まれるかどうかを決定するステップと、
ｄ）Ｎ≧１として、少なくとも１つのゾーンの少なくともＮ個のビンについて画素数が基準値間に含まれる場合に、アイテムを基準アイテムと一致するものとして識別するステップとを含む。

上記の識別方法は、アイテムを識別するのに限られた計算資源しか必要とせず、実時間用途と相性の良い高速処理を可能とする。これは、１次元の（例えば色相値についての）色ヒストグラムだけが作成されて、色ビンごとに２つのスカラー値、すなわち最小画素数および最大画素数だけしか含まない、基準アイテムに対応する基準データセットとの比較に使用されるからである。この限られたデータ量であってもなお、正確なアイテム識別が可能となる。

本発明の別の態様によれば、上記方法のステップｄ）で、各ゾーンの各ヒストグラムの各ビンについて画素数が基準値間に含まれる場合に、アイテムが基準アイテムと完全に一致するものとしてさらに識別される。この完全一致条件によって、実際に、たとえデジタル画像がアイテム上の限られた領域だけに関する場合であっても、アイテムの非常に正確な識別が可能になる。

本発明により、アイテムと基準アイテムとの間の部分的な類似度を評価することも可能になる。この場合、本発明の第１の態様による上記方法は、
ｅ）作成されたヒストグラムのビンと関係づけられた類似度スコア値は、当該ビンの画素数が、対応する最小基準値を大きく下回るほど、または対応する最大基準値を大きく上回るほど、低くなるものであるとして、各ゾーンの各ヒストグラムの各ビンについて画素数が基準値間に含まれない場合に、ビンと関係づけられた類似度スコア値に基づいて、アイテムを基準アイテムと部分的に類似しているものとして識別するステップ
をさらに含む。

このようなスコア付けにより、たとえ、アイテムに関するヒストグラムのいくつかのビンについて、管理領域上の局所的な欠陥（例えば、印刷された銘柄パターンにおける印刷欠陥、または印刷された銘柄パターンにおけるいくつかの色の変化）のために画素数が対応する基準値の範囲に入らない場合であっても、アイテムと基準アイテムとの間の類似度をうまく評価することが可能になる。

本発明のさらなる態様によれば、可視スペクトルからだけでなく、電磁スペクトルの他の部分（例えば紫外または赤外のスペクトル範囲）から得られるデジタル画像を用いることも可能である。これは、このスペクトルの異なる部分が異なる色を持つと見なして（すなわち、「疑似」色画像を形成して）、見なされた色に基づく一種のＨＳＬ表示をデジタル画像の画素に用いることによって行われる。このように、概して、本発明で用いられる色の値は、人間の色覚の３次元のＣＩＥＬＡＢ表示に対応する必要はなく、アイテムの反射スペクトルの紫外部、可視部、赤外部から選択された任意のスペクトル帯に基づくことができる。さらに、そのようなスペクトル帯は、いくらでも選択することができる。

さらに、より正確な識別を可能にするため、彩度および輝度に関する情報も用いられてよい。それでもなお、上記の低い計算コスト制約条件のおかげで、従来のＨＳＬヒストグラム（すなわち３次元空間におけるヒストグラム）の使用に対する進歩は、望ましいように見受けられる。

本発明のこの態様によれば、上記方法において、デジタル画像の画素はそれぞれ、色の有限集合の中で色と関係づけられた、対応する輝度値、彩度値、および色相値を有し、色集合の各色は別個のスペクトル応答に対応するとして、ヒストグラムを算出するステップｂ）は、
ｂ１）所与の彩度閾値を上回る彩度値をそれぞれに有するゾーン内の画素の中で、色集合の各色について、その色についての色相値がその色についてビンを定義する所与の２つの色相閾値間に含まれる画素の数を数えて、当該色について飽和画素数を得るステップと、
ｂ２）飽和画素でないゾーン内の画素の中で、輝度値が所与の輝度閾値を下回る画素の数を数えて、対応する黒色画素数を得、輝度値が輝度閾値を上回る画素の数を数えて、対応する白色画素数を得るステップと、
ｂ３）色集合の各色についての算出された飽和画素数と、算出された黒色画素数および白色画素数とに基づいて、色集合の色と黒色と白色とに応じた画素の分布を算出し、それによりゾーンについてヒストグラムを形成するステップとをさらに含む。

このように、本発明の上記態様によれば、色ヒストグラムは、彩度および輝度の情報に基づいて黒色および白色の画素で完成されてよいが、それでも１次元色ヒストグラムのままなので、依然として低い計算コストで識別の正確さを高められる。

本発明の方法は、輪郭検出と、それに続く基準輪郭との比較というさらなる従来のステップも含んでよく、その際、輪郭どうしが整合した場合にはステップｄ）における識別を確証する。より正確には、本発明は、デジタル画像においてアイテムの輪郭を検出して、検出された輪郭を基準アイテムに対応する基準輪郭と比較するさらなるステップを含んでよく、検出された輪郭が基準輪郭と整合する場合のみ、ステップｄ）におけるアイテムの識別がさらに確証される。

本発明は、別の態様において、互いに接近または接触さえしているアイテムの識別を可能にする。本発明は、実際に、同一のデジタル画像における、（デジタル画像が取得された時に視野内にあった）２つ以上のアイテムに関係する画素データの存在によって生じ得る「重なり」効果を、抑えることが可能である。従って、本発明によるアイテムを識別する方法は、デジタル画像においてアイテムの輪郭を検出するステップと、ステップａ）で、少なくとも１つのゾーンを、選択されたゾーンがいずれもアイテムの検出された輪郭内になるように選択するステップとをさらに含んでよい。本発明のこの特徴により、生産ライン上のアイテムの取得デジタル画像の任意のゾーンの画像内容は、たとえこのアイテムが生産ライン上で隣接するアイテムと接触していたとしても、このアイテムそのものだけに関係する、ということが保証される。瓶詰めラインまたは缶詰めラインは、生産ラインのよく知られた例であり、これらのラインでは、アイテム（すなわち瓶または缶）が、典型的には、連続する２つのアイテムが互いに接した状態で、コンベア上で一列に並べられて搬送される。従って、本発明によれば、たとえ高速ライン上であっても、任意の取得デジタル画像に関するデータが必ず単一のアイテムだけに関係するようにすることによって、撮像手段で各アイテムを正確に識別することが可能になる。

あるいは、アイテムのデジタル画像が、アイテムの目に見える輪郭内にあるアイテム上の管理領域に制限されてもよい。例えば、アイテムが、コンベア上に直立する円筒状の缶である場合は、管理領域は、缶の円筒面上の単なる細長い部分であってよい。デジタル画像のこのような制限は、管理領域に関係しない画素データを排除するために、いくつかの方法で実行されてよい。例えば、デジタル画像に枠組みを設定し、枠の外からの画素データを考慮に入れないことによって実行される（枠が管理領域の輪郭に相当する）。別の例として、デジタル画像を取得する時にマスク（または視野全体を制限する任意の手段）を用いて、デジタル画像上の画素がアイテム上の管理領域だけに関係するようにしてよい。その結果、デジタル画像の内容が、実際に１つのアイテムだけに関係することになる。

また、本発明は、基準アイテムの基準デジタル画像から基準データを直接決定する可能性も提供する。

従って、本発明の方法は、基準アイテムの基準デジタル画像から基準データセットを算出するステップであって、基準デジタル画像についてステップａ）およびｂ）を実行して基準デジタル画像の各ゾーンについて基準ヒストグラムを作成し、作成された各基準ヒストグラムの各ビンに、対応する信頼区間からそれぞれに得られる最小基準値および最大基準値を関係づけることによって基準データセットを算出するステップをさらに含んでよい。

上記の可能性は、好ましい一組のゾーンにおいてデジタル画像の区分に基準データセットを容易に適合させるために重要である。また、この可能性は、識別されるアイテムに関する特殊事情に基準データセットを容易に適合させるためにも重要である。例えば、生産ラインで識別されるいくつかの類似アイテムが、それらのデジタル画像がそれぞれ取得される時にある範囲の起こり得る角度値以内で回転した角度位置を有する場合、たとえアイテムごとに単一のデジタル画像しか取得されないとしてもなお、アイテムの正確な識別が可能である。

例えば、後者の場合、デジタル画像の各ゾーンの各ビンについて、対応する最小基準値および最大基準値が、上記範囲内の角度値に応じた基準アイテムのさまざまな回転角度位置に対応する基準アイテムの一組の基準デジタル画像から、以下の方法により決定されてよい。すなわち、基準デジタル画像の組の、対応する色ヒストグラムすべてにわたって当該のビンおよびゾーンについて最小画素数および最大画素数を数える方法である。

もちろん、基準アイテムの回転位置の標本角度値の数および／またはデジタル画像におけるゾーンの数が多いほど、アイテムの識別においてより高い正確さが得られる。例えば、缶詰めラインでは、コンベア上を運ばれる（円筒状の）缶は、（缶の円筒軸の回りに）０度ないし３６０度の範囲の回転位置を有し得る。従って、１８０度の角度だけ回転した基準缶のそれぞれの位置に対応する少なくとも２つの基準デジタル画像により、これらの少なくとも２つの基準画像から得られる（従って基準アイテムと関係づけられた）最小基準値および最大基準値に基づいて、たとえ１つの画像だけであってもその缶のデジタル画像から、缶の正確な識別が可能になる。

画素数について最小基準値および最大基準値を決定するための、上記の（ヒストグラムの色ごとに１つの）信頼区間は、実際は、基準デジタル画像の組からの各基準デジタル画像の画素の色値についての他の任意の統計処理の結果として（例えば、検討されるビンおよび／またはゾーンに応じて画素の計数値に重み付けすることによって）得られてよい。

検出されたアイテムの輪郭が基準輪郭と整合する場合に（ステップｄ）における）アイテム識別を確証する（上記参照）代わりに、上記の任意の態様による本発明は、
デジタル画像においてパターンを検出し、検出されたパターンを基準アイテムに対応する所与の基準パターンと比較して、検出されたパターンが基準パターンと整合するかどうかを評価するステップと、
検出されたパターンが基準パターンと整合すると評価された場合に、検出されたパターンを認証するのにアイテム識別動作の結果をさらに用いるステップとをさらに含んでよい。

本発明の上記の態様では、（すでに説明したように、１次元色ヒストグラムに基づく）全画像処理によるアイテムの識別は、パターン整合を認証するのに役立つ。これは、エラーの結果としてパターン整合が生じる場合に特に有利である（例えば、アイテムのデジタル画像において検出されたパターンが、確かに基準パターンとは一致するのにアイテムとは一致しない場合）。

本発明は、添付の請求の範囲に定められたように、本発明によるアイテムを識別する方法を実装するように動作可能なアイテムを識別するシステムにも、また生産ラインでアイテムを識別するシステムの使用にも関する。

特に、生産ラインでアイテムを識別するシステムの使用が開示されており、このシステムは、記憶装置を含むデジタル画像処理ユニットを備え、
アイテムのデジタル画像の少なくとも１つのゾーンを選択し、
選択された各ゾーンについて、対応する、当該ゾーンの画素の色値のヒストグラムを作成する
ように動作可能であり、デジタル画像処理ユニットが、
作成された各ヒストグラムの各ビンについて、画素数を、記憶装置に格納された、基準アイテムと関係づけられた基準データセットの、対応する最小基準値および最大基準値と比較して、画素数が基準値間に含まれるかどうかを決定し、
Ｎ≧１として、少なくとも１つのゾーンの少なくともＮ個のビンについて画素数が基準値間に含まれる場合に、アイテムを基準アイテムと一致するものとして識別する
ようにさらに動作可能である。

以下、本発明について、添付の図面を参照してさらに十分に説明する。図面では、同一の番号がそれら別々の図を通して同一の要素を表し、また本発明の顕著な態様および特徴が示されている。

本発明によるアイテムを識別する方法の実施の形態を説明するフローチャート図である。 複数のゾーンに区分されたデジタル画像を説明する図である。 色ヒストグラムのビンに対応する基準データセットを説明する図である。 本発明の実施の形態によるアイテムを識別するシステムを含む自動化生産ラインを説明する図である。 図４に示すアイテムの表面上の管理領域を説明する図である。 図４の撮像ユニットにより撮影された、図５に示す管理領域のデジタル画像を説明する図である。

図１のフローチャート図で説明されるアイテムを識別する方法において、識別されるアイテムのデジタル画像が、図２に表されるようにＫ個のゾーン（Ｋ≧１）に分割される（ゾーン（１）が示されており、Ｋ＝４である）。以下では、ＺＮは１≦ＺＮ≦Ｋなるゾーン指数、「ｉ」は１≦ｉ≦Ｍなるビン指数であり、ゾーンＺＮに対応する色ヒストグラム、すなわちＨ（ＺＮ）が、Ｍ個の別個の色値に対応するＭ個のビンで構成されようになっており、Ｂ（ＺＮ，ｉ）は、ゾーンＺＮのヒストグラムＨ（ＺＮ）のｉ番目のビンに対応する画素数である。各ゾーンＺＮの各ビン「ｉ」について、２つの基準値Ｍｉｎ（ＺＮ，ｉ）およびＭａｘ（ＺＮ，ｉ）は、これらの基準値が特有の特徴を構成する基準アイテムと同一であるとアイテムを識別するために設定された最小画素数および最大画素数に、それぞれ対応する（基準データセット、すなわちひとそろいの全基準値対は、事実上、有色の銘柄パターンという観点で基準アイテムの「署名」を構成する）。もちろん、ヒストグラムは、任意のＢ（ＺＮ，ｉ）がゾーンＺＮのビン（ｉ）内の画素の百分率と事実上一致するように、従来通り正規化されてよい（この場合、基準値も正規化される）。

基準データセットの例を図３に示す。この例では、ｉ＝１，…，Ｍ＝１７の、ゾーンＺＮの各ビンＢ（ＺＮ，ｉ）について、対応する画素数の値の対（２）であるＭｉｎ（ＺＮ，ｉ）およびＭａｘ（ＺＮ，ｉ）が与えられ、それぞれヒストグラム（２）で示されている。これら１７個のビンは、実際には、１５個の色ビンと、黒色画素用および白色画素用の２個のビンとに対応する。

図１のフローチャートによれば、開始ステップＳ１００、およびデジタル画像の最初のゾーンの選択に対応する、ゾーン指数ＺＮが１である初期化ステップＳ１０１の後に、色ヒストグラムＨ（ＺＮ＝１）が作成される。そして、Ｓ１０２において、Ｈ（１）の各ビンの画素数がデジタル画像処理手段によって数えられて、Ｈ（１）に対応する数の組が（すなわち、Ｂ（１，ｉ）がｉ＝１，…，Ｍについて）得られる。ステップＳ１０３において、Ｈ（１）の現在のビンＢ（１，ｉ）について、その画素数がＢ（１，ｉ）に対応する基準値間に含まれるかどうか、すなわち条件Ｍｉｎ（１，ｉ）≦Ｂ（１，ｉ）≦Ｍａｘ（１，ｉ）が成立するかどうかが調べられる。基準値に対する条件があるビンについて成立した場合、Ｓ１０４において条件成立の回数Ｉがインクリメントされて、ヒストグラムのさまざまなビンについて条件を調べる際にこのような成立の全回数が数えられる。この回数Ｉが、デジタル画像のＫ個のゾーンの中の少なくとも１つのゾーンで、基準アイテムとの同一性識別のための所与の閾値Ｎ（１≦Ｎ≦ＫｘＭとする）に達し次第（ステップＳ１０５）、アイテムは基準アイテムと同一であると見なされる（ステップＳ１０６）。ステップＳ１０５で条件が成立しない場合は、ステップＳ１０７でヒストグラムＨ（ＺＮ）の次のビン（ｉ＋１）が検討され、この次のビン指数が値Ｍを超えなければ（ステップＳ１０８）、ステップＳ１０３において、この次のビン（ｉ＋１）の条件が、対応する基準値対Ｍｉｎ（ＺＮ，ｉ＋１）およびＭａｘ（ＺＮ，ｉ＋１）で調べられる。ヒストグラムＨ（ＺＮ）、従ってゾーンＺＮについて閾値Ｎが達成されない場合は、ステップＳ１０９でデジタル画像の次のゾーン（ＺＮ＋１）が検討され、このゾーン指数値が値Ｋを超えなければ（ステップＳ１１０）、対応する次のヒストグラムＨ（ＺＮ＋１）がステップＳ１０２において算出され、そのビンＢ（ＺＮ＋１，ｉ）についての条件が、ステップＳ１０３において（対応する基準値対Ｍｉｎ（ＺＮ＋１，ｉ）およびＭａｘ（ＺＮ＋１，ｉ）で）調べられる。

すべての（すなわちＺＮ＝１，…，Ｋの）ゾーンのすべての（すなわちｉ＝１，…，Ｍの）ビンを調べてもＮ回の条件成立が得られない場合は、アイテムは基準アイテムと同一ではないと見なされる（ステップＳ１１１）。

上記の識別条件は、以下に挙げる基準アイテムとの完全一致条件と置き換えることによって、より制限的にしてもよい。それは、条件Ｍｉｎ（ＺＮ，ｉ）≦Ｂ（ＺＮ，ｉ）≦Ｍａｘ（ＺＮ，ｉ）がｉ＝１，…，ＭおよびＺＮ＝１，…，Ｋについて成立しなければならない、すなわち各ゾーンの各ヒストグラムの各ビンについて画素数が基準値間に含まれる、という条件である。より制限的なこの条件は、事実上、Ｎ＝ＫｘＭ（すなわち、１ゾーン当たり１つのヒストグラムとして、所与のゾーン数Ｋおよび各ヒストグラム中の所与のビン数Ｍの時の、Ｎの最大値）の場合に相当する。

実際の応用においては、完全一致の代わりに、基準アイテムとの部分的な類似度だけを検出することが有用な場合がある。実のところ、完全一致が確立され得ない場合であっても、実行されるさまざまな計算は、実際、例えば（完全一致を妨げる）アイテム上の欠陥の存在、またはアイテムが基準アイテムと同じ系統に属する可能性といった重要な事実に関係するかもしれない情報を含む。例えば、ある製品の同じ銘柄で、アイテム上の色またはパターンのわずかな違いが、同じ製品種目の異なるカテゴリーに対応する場合がある（例えば、缶についていえば、同じ飲料で糖添加の有無があるような場合）。

このようなわけで、本発明は、完全一致が確立されない場合に、部分的な類似度を評価するスコア付け技術を用いることを可能にする。そのようなスコア付けの唯一の制約条件は、ゾーンＺＮのビン（ｉ）の類似度スコア、すなわちＳＣ（ＺＮ，ｉ）は、そのビンの画素数、すなわちＢ（ＺＮ，ｉ）が、対応する２つの基準値Ｍｉｎ（ＺＮ，ｉ）およびＭａｘ（ＺＮ，ｉ）のどちらからも離れるほど、低くならなければならない、というものである。この類似度スコアを算出する可能性は多く存在する。例えば、ゾーンＺＮの各ビン「ｉ」について、Ｂ（ＺＮ，ｉ）≦Ｍｉｎ（ＺＮ，ｉ）であればＤ（ＺＮ，ｉ）＝［Ｍｉｎ（ＺＮ，ｉ）−Ｂ（ＺＮ，ｉ）］、またはＢ（ＺＮ，ｉ）≧Ｍａｘ（ＺＮ，ｉ）であればＤ（ＺＮ，ｉ）＝［Ｂ（ＺＮ，ｉ）−Ｍａｘ（ＺＮ，ｉ）］という単なる差に対応する線形重み付けを用いることが可能であり（すなわち、重みは、差Ｄ（ＺＮ，ｉ）の線形関数である）、そして、類似度スコア値はそのような重みの逆数に依存してよい（例えば、１／（１＋Ｄ）に比例するスコアなど）。しかしながら、上記の制約条件に適合しさえすれば、他の任意の非線形重み付けも可能である。例えば、Ｄ^ｎ（ｎ≧２とする）のような非線形重み付けは、Ｄの小さな値に関する類似度スコアをさらに増大する。

これらのスコア値ＳＣ（ＺＮ，ｉ）を各ゾーンおよび各ビンについて（すなわちｉ＝１，…，ＭおよびＺＮ＝１，…，Ｋについて）形成したら、部分的な類似度を評価する方法も多く存在する。例えば、全ゾーンにわたる最高スコア値だけを保持することも可能であるし、各ゾーンの最高スコア値を保持して、全ゾーンにわたる（例えばゾーンの各領域に応じて、重み付けも可能な）平均スコア値を算出することも可能である。ただ、当業者は、基準アイテムとの部分的な類似度をデジタル画像から評価するという観点で、さまざまなスコア値ＳＣ（ＺＮ，ｉ）の統計処理に関する他の多くの可能性について考えるであろう。

好ましい実施の形態において、本発明によるアイテムを識別する方法は、上に示したように、ＨＳＬ色空間におけるデジタル画像の従来の表現に基づいて、「完成された」１次元ヒストグラムを用いる。このヒストグラムは別個の所定の色相値に対応するビンを有するが、彩度値および輝度値は、黒色画素に対応する付加的な「ビン」および白色画素に対応する付加的な「ビン」でヒストグラムを完成させるのに用いられる。このような完成された色ヒストグラムによって、暗い部分および／または明るい部分を有するアイテムを識別できるようになり、従って識別用途に一層の正確さがもたらされる。

デジタル画像の各ゾーンについて、彩度閾値が与えられ、彩度閾値は、検討されるゾーンに依存してよく、また飽和画素（すなわち、輝度値がどんな値であれ、彩度値が対応する閾値を上回る画素）を定義するのに役立つ。また、デジタル画像の各ゾーンについて、ヒストグラムの色ごとに２つの色相閾値も与えられ、色相閾値は、検討されるゾーンに依存してよい。ある色についての所与の色相閾値の各対は、実は、（２つの閾値がビンのそれぞれの最大色相値および最小色相値を構成して）その色のヒストグラムのビンを定義する。さまざまな所与の色相閾値の対は、色（色相）空間の区画、従ってヒストグラムの色ビンを定義する。

これらの色相閾値は、デジタル画像のゾーンの各色（色相）について、すなわちヒストグラムの所定の各色について、飽和画素を数えるのに役立つ。色相値が対応する２つの色相閾値間に含まれる飽和画素の数によって、対応する色について飽和画素の数が定まるのである。従って、そのような画素は明確な色を有する。また、これらの所与の色相閾値の対は、識別の検討対象である基準アイテムにも依存してよい。

また、低い輝度値、すなわち検討されるゾーンに依存し得るそのゾーンについての所与の輝度閾値を下回る輝度値、を有するゾーンの不飽和画素の数は、そのゾーンについて黒色画素であるとして数えられる。一方、高い輝度値、すなわちそのゾーンについての所与の輝度閾値を上回る輝度値、を有するゾーンの不飽和画素の数は、そのゾーンについて白色画素であるとして数えられる。従って、本発明のこの実施の形態では、ヒストグラムはＭ＋２個のビン、すなわち別個の色相値に対応する先のＭ個のビンと、黒色画素および白色画素に対応する２個のビンとを有する。この場合、基準データセットもまた、各ゾーンについて、黒色画素についての最小基準値および最大基準値、および白色画素についての最小基準値および最大基準値を含むように拡張される。

もちろん、ステップｄ）における識別条件も、黒色画素および白色画素と関係がある。実際に、ステップｂ）においてヒストグラム１つについて考慮されるべき色の数は、黒色および白色を２つの新しい色として定義することにより、ここで単純に２つ増やされる。従って、アイテムの、基準アイテムとの完全一致には、今やＮ’＝Ｋｘ（Ｍ＋２）＝Ｎ＋２Ｋという数の条件成立が完全一致のために必要である（すなわち、各ゾーンの各ヒストグラムの各ビンについて画素数が基準値間に含まれる）。同様の色数の「拡張」は、上記のように部分的な類似度を考慮する際にも適用されることになり（すなわち、類似度スコアが、黒色画素および白色画素についても、それぞれに対応する最小基準値および最大基準値に基づいて定義される）、あるいは上記のように基準デジタル画像から基準データセットを算出する際にも適用されることになる。

「偽色画像」の場合のように、拡張されたスペクトル情報をデジタル画像が含む場合は、それに応じて、より一般的な色空間にＨＳＬ表現が適合または拡張される。

本発明の上記の態様または実施の形態のいずれかに依拠し得る、本発明の別の実施の形態では、デジタル画像において検出されたパターンの認証が可能である。
その場合、これに対応する、アイテムを識別する方法の態様は、
デジタル画像においてパターンを検出し、検出されたパターンを基準アイテムに対応する所与の基準パターンと比較して、検出されたパターンが基準パターンと整合するかどうかを評価するステップと、
検出されたパターンが基準パターンと整合すると評価された場合に、検出されたパターンを認証するのにアイテム識別動作の結果をさらに用いるステップとをさらに含む。

上記のアイテム上のパターンは、例えばバーコードまたは文字であってよい。その場合、パターンの検出は、それぞれバーコードリーダおよびＯＣＲ（「光学式文字認識」）ソフトウェアを用いて行われる。従って、本方法では、検出された基準パターンが、たとえ基準アイテムに対応する所与の基準パターンに整合していても、本当に有効なものであることを確認するために、（上で説明したように、色ヒストグラムと、最小基準値および最大基準値とに基づいて）画像処理から識別段階を用いることが可能である。本発明のこの態様は、色ヒストグラム（および対応する基準値）ならびに基準パターンとのパターン照合の両方に基づく識別によるこのような「二重チェック」を用いることによって、生産ラインでのアイテムの管理の質を明確に高める。例えば、本方法によって、（例えば、別のタイプのアイテムに印刷された、あるタイプのアイテムのためのバーコード、といったような）不正を検出することが可能になる。

また、本発明は、本発明による方法の上記の態様または実施の形態のいずれかのステップを実装するように動作可能な、アイテムを識別するシステムにも関する。

従って、アイテムを識別するシステムは、通常は記憶装置を含むデジタル画像処理ユニットを備え、
アイテムのデジタル画像の少なくとも１つのゾーンを選択し、
選択された各ゾーンについて、対応する、当該ゾーンの画素の色値のヒストグラムを作成するように動作可能であり、
デジタル画像処理ユニットが、算出された各ヒストグラムの各ビンについて、画素数を、記憶装置に格納された、基準アイテムと関係づけられた基準データセットの、対応する最小基準値および最大基準値と比較して、画素数が基準値間に含まれるかどうかを決定し,Ｎ≧１として、少なくとも１つのゾーンの少なくともＮ個のビンについて画素数が基準値間に含まれる場合に、アイテムを基準アイテムと一致するものとして識別するようにさらに動作可能である。

特に、図４に示された、本発明によるアイテムを識別するシステムの例を含む自動化生産ラインにおいて、システムは、生産ラインのコンベア（１２）上のアイテム（１１）（ここでは缶が描かれている）のデジタル画像を取得する撮像ユニット（１０）と、撮像ユニット（１０）から受信されたデジタル画像を処理するデジタル画像処理ユニット（１３）と、基準データセットを格納する記憶装置（１４）とを備える。

システムは、アイテム（１１）をストロボ光で照明する照明ユニット（１５）も備えてよい。
そのような照明ユニットのよくある例は、（可視光用の）ＬＥＤ照明ユニットまたはレーザーストロボである。また、他の種類の照明ユニットによって、（例えば、紫外光から赤外光、すなわち３００ｎｍから２５００ｎｍに及ぶ）より広いスペクトルにわたってアイテムを照明することが可能となる。

撮像ユニット（１０）は、デジタルカメラ（ＣＣＤカメラまたはＣＭＯＳカメラ）であってよい。しかしながら、デジタル画像形式を生成するようにフレーム取り込み用アナログ・デジタル変換器が補われるのであれば、アナログカメラを用いてもよい。

また、システムは、制御ユニット（１６）をさらに備え、制御ユニット（１６）は、照明ユニット（１５）、撮像ユニット（１０）、およびデジタル画像処理ユニット（１３）を制御するように動作可能であり、それらの動作を同期させて、アイテムを照明し、照明されたアイテムのデジタル画像を形成し、そのデジタル画像を処理するようになっている。

図５は、アイテム（１１）の表面上の管理領域（１７）を示し、図６は、撮像ユニット（１０）によって撮影された、アイテム（１１）の管理領域（１７）のデジタル画像（１８）を示す。デジタル画像処理ユニット（１３）は、撮像ユニット（１０）から受信されたデジタル画像（１８）を、複数のゾーン（１９ａ〜１９ｄ）（例えば、ここでは４つのゾーン）に分割する。

デジタル画像（１８）の各ゾーンについて、デジタル画像処理ユニット（１３）は、（撮像ユニットが測定できる光子のスペクトル幅に応じて）色空間をＭ個のビン（例えば、図３に描かれたようにＭ＝１７）に分割することにより、対応する１次元色ヒストグラムを求め、各ビン内で画素の色相値に従って画素数を数える。

好ましくは、システムが、撮像ユニット（１０）に対するアイテムの位置であって撮像ユニットがアイテムのデジタル画像を形成するように動作可能な位置を検出し、位置の検出を示すトリガ信号を送信するように動作可能なセンサ手段をさらに備え、制御ユニット（１６）が、センサ手段からトリガ信号を受信し、受信されたトリガ信号に基づいて照明ユニット（１５）、撮像ユニット（１０）、およびデジタル画像処理ユニット（１３）の動作を同期させるようにさらに動作可能となるようにしてよい。

典型的には、センサ手段は、高速写真撮影用のレーザートリガーであってよい。このよく知られた装置は、撮像ユニットの非常に正確なトリガ操作を可能にするものであり、特に、毎分１２００アイテムの高い生産速度が可能な、缶詰めラインまたは瓶詰めラインのような生産ラインに適している。

撮像ユニットの視野をさらに制御することにより、撮像されるアイテム上の目標管理領域の大きさを変えることが可能である。例えば、生産ラインが瓶詰めラインまたは缶詰めラインである場合、ライン上のアイテム（それぞれ瓶および缶）は、互いに接近または接触さえしている可能性がある。この後者の場合、（瓶上のラベルまたは缶上の印に対応する）管理領域のみを撮像するように、撮像ユニットの視野がマスクによって制限されてよい。本発明のこの形態は、たとえアイテムが接触していても識別を可能にするものであり、（毎分１２００缶の）高速缶詰めラインで可視光照明について試験された。さらに、黒色および白色を含む基準値が、（缶の長手方向の対称軸の回りに）０度から３６０度まで、円筒状の缶の複数の回転位置について、上で説明したように決定された。高速生産ラインで、別個の１０銘柄の飲料缶について、完全一致条件においてさえ、我々のアイテムの完璧な識別が達成された。

本発明は、上記の実施の形態に限定されず、請求の範囲により定められた本発明の範囲から離れることなく多様な変更が可能である。例えば、上記の撮像ユニットは、単一のアイテムの（異なる視角に対応する）複数のデジタル画像を取得し、アイテム識別のために、取得された各画像をすでに説明したように処理するように動作可能であってよい。

また、本発明は、上述したようにアイテムを識別するシステムに接続されたコンピュータで起動している時に、コンピュータに（上述したように）本発明による方法のステップを実行させるように動作可能なコンピュータプログラム製品も含む。

本発明による、生産ラインであらゆるアイテムを識別する方法およびシステムは、本発明の上記態様のいずれにおいても、例えば（課税価格評価等のための）生産ラインでの生産量の測定、ライン生産管理、（不正検出等のための）ライン生産検査のような数多くの用途で、産業でのアイテム識別に高い信頼度で用いられ得る。

Claims (22)

1. アイテムを識別する方法であって、
   ａ）前記アイテムのデジタル画像の少なくとも１つのゾーンを選択するステップと、
   ｂ）ステップａ）で選択された各ゾーンについて、対応する、当該ゾーンの画素の色値のヒストグラムを作成するステップと
   を含み、
   ｃ）ステップｂ）で作成された各ヒストグラムの各ビンについて、画素数を、基準アイテムと関係づけられた基準データセットの、対応する最小基準値および最大基準値と比較して、前記画素数が前記基準値間に含まれるかどうかを決定するステップと、
   ｄ）Ｎ≧１として、少なくとも１つのゾーンの少なくともＮ個の前記ビンについて前記画素数が前記基準値間に含まれる場合に、前記アイテムを前記基準アイテムと一致するものとして識別するステップと
   をさらに含む方法。
2. ステップｄ）で、各ゾーンの各ヒストグラムの各ビンについて前記画素数が前記基準値間に含まれる場合に、前記アイテムが前記基準アイテムと完全に一致するものとして識別される請求項１に記載の方法。
3. ｅ）作成されたヒストグラムのビンと関係づけられた類似度スコア値は、当該ビンの画素数が、対応する最小基準値を大きく下回るほど、または対応する最大基準値を大きく上回るほど、低くなるものであるとして、各ゾーンの各ヒストグラムの各ビンについて前記画素数が前記基準値間に含まれない場合に、前記ビンと関係づけられた類似度スコア値に基づいて、前記アイテムを前記基準アイテムと部分的に類似しているものとして識別するステップ
   をさらに含む請求項１に記載の方法。
4. 前記デジタル画像の画素はそれぞれ、色の有限集合の中で色と関係づけられた、対応する輝度値、彩度値、および色相値を有し、前記色集合の各色は別個のスペクトル応答に対応するとして、ヒストグラムを作成する前記ステップｂ）が、
   ｂ１）所与の彩度閾値を上回る彩度値をそれぞれに有する前記ゾーン内の画素の中で、前記色集合の各色について、その色についての色相値がその色についてビンを定義する所与の２つの色相閾値間に含まれる画素の数を数えて、当該色について飽和画素数を得るステップと、
   ｂ２）飽和画素でない前記ゾーン内の画素の中で、輝度値が所与の輝度閾値を下回る画素の数を数えて、対応する黒色画素数を得、輝度値が前記輝度閾値を上回る画素の数を数えて、対応する白色画素数を得るステップと、
   ｂ３）前記色集合の各色についての前記算出された飽和画素数と、前記算出された黒色画素数および白色画素数とに基づいて、前記色集合の色と黒色と白色とに応じた画素の分布を算出し、それにより前記ゾーンについてヒストグラムを形成するステップと
   をさらに含む請求項１ないし３のいずれかに記載の方法。
5. 前記基準アイテムの基準デジタル画像から前記基準データセットを算出するステップであって、前記基準デジタル画像について前記ステップａ）およびｂ）を実行して前記基準デジタル画像の各ゾーンについて基準ヒストグラムを作成し、作成された各基準ヒストグラムの各ビンに、対応する信頼区間からそれぞれに得られる最小基準値および最大基準値を関係づけることによって前記基準データセットを算出するステップ
   を含む請求項１ないし４のいずれかに記載の方法。
6. 前記デジタル画像において前記アイテムの輪郭を検出して、前記検出された輪郭を前記基準アイテムに対応する基準輪郭と比較するステップ
   を含み、前記検出された輪郭が前記基準輪郭と整合する場合のみ、前記ステップｄ）における前記アイテムの識別がさらに確証される請求項１ないし５のいずれかに記載の方法。
7. 前記デジタル画像において前記アイテムの輪郭を検出するステップと、
   前記ステップａ）で、前記少なくとも１つのゾーンを、選択されたゾーンがいずれも前記アイテムの前記検出された輪郭内になるように選択するステップと
   を含む請求項１ないし５のいずれかに記載の方法。
8. 前記アイテムの前記デジタル画像が、前記アイテムの目に見える輪郭内にある前記アイテム上の管理領域に制限される請求項１ないし５のいずれかに記載の方法。
9. 前記デジタル画像においてパターンを検出し、前記検出されたパターンを前記基準アイテムに対応する所与の基準パターンと比較して、前記検出されたパターンが前記基準パターンと整合するかどうかを評価するステップと、
   前記検出されたパターンが前記基準パターンと整合すると評価された場合に、前記検出されたパターンを認証するのに前記アイテム識別動作の結果をさらに用いるステップと
   を含む請求項１ないし８のいずれかに記載の方法。
10. 記憶装置を含むデジタル画像処理ユニットを備えた、アイテムを識別するシステムであって、
    前記アイテムのデジタル画像の少なくとも１つのゾーンを選択し、
    選択された各ゾーンについて、対応する、当該ゾーンの画素の色値のヒストグラムを作成する
    ように動作可能であり、前記デジタル画像処理ユニットが、
    作成された各ヒストグラムの各ビンについて、画素数を、前記記憶装置に格納された、基準アイテムと関係づけられた基準データセットの、対応する最小基準値および最大基準値と比較して、前記画素数が前記基準値間に含まれるかどうかを決定し、
    Ｎ≧１として、少なくとも１つのゾーンの少なくともＮ個の前記ビンについて前記画素数が前記基準値間に含まれる場合に、前記アイテムを前記基準アイテムと一致するものとして識別する
    ようにさらに動作可能であるシステム。
11. 前記画像処理ユニットが、各ゾーンの各ヒストグラムの各ビンについて前記画素数が前記基準値間に含まれる場合に、前記アイテムを前記基準アイテムと完全に一致するものとして識別するように動作可能である請求項１０に記載のシステム。
12. 前記画像処理ユニットが、
    算出されたヒストグラムのビンと関係づけられた類似度スコア値は、当該ビンの画素数が、対応する最小基準値を大きく下回るほど、または対応する最大基準値を大きく上回るほど、低くなるものであるとして、各ゾーンの各ヒストグラムの各ビンについて前記画素数が前記基準値間に含まれない場合に、前記ビンと関係づけられた類似度スコア値を算出し、
    前記算出された類似度スコア値に基づいて、前記アイテムを前記基準アイテムと部分的に類似しているものとして識別する
    ようにさらに動作可能である請求項１０に記載のシステム。
13. 前記デジタル画像の画素はそれぞれ、色の有限集合の中で色と関係づけられた、対応する輝度値、彩度値、および色相値を有し、前記色集合の各色は別個のスペクトル応答に対応するとして、ヒストグラムを算出するために、前記デジタル画像処理ユニットが、
    所与の彩度閾値を上回る彩度値をそれぞれに有する前記ゾーン内の画素の中で、前記色集合の各色について、その色についての色相値がその色についてビンを定義する所与の２つの色相閾値間に含まれる画素の数を数えて、当該色について飽和画素数を得、
    飽和画素でない前記ゾーン内の画素の中で、輝度値が所与の輝度閾値を下回る画素の数を数えて、対応する黒色画素数を得、輝度値が前記輝度閾値を上回る画素の数を数えて、対応する白色画素数を得て、前記得られた画素数を前記記憶装置に格納し、
    前記色集合の各色についての前記算出された飽和画素数と、前記算出された黒色画素数および白色画素数とに基づいて、前記色集合の色と黒色と白色とに応じた画素の分布を算出し、それにより前記ゾーンについてヒストグラムを形成する
    ように動作可能である請求項１０ないし１２のいずれかに記載のシステム。
14. 所与のスペクトル範囲の電磁放射で前記アイテムを照明するように動作可能な照明ユニットと、
    前記照明ユニットによって照明された前記アイテムで反射された電磁放射に対応する受信された電磁信号を、前記アイテムの前記デジタル画像に変換するように動作可能であり、前記デジタル画像を前記デジタル画像処理手段へ送信するように動作可能な撮像ユニットと
    を備え、
    前記画像処理ユニットが、前記撮像ユニットから前記デジタル画像を受信するように動作可能であり、
    前記システムが、前記照明ユニット、前記撮像ユニット、および前記デジタル画像処理ユニットを、それらの、前記アイテムを照明し、前記照明されたアイテムの前記デジタル画像を形成し、前記デジタル画像を処理する動作を同期させるように制御するように動作可能な制御ユニットをさらに含む
    請求項１０ないし１３のいずれかに記載のシステム。
15. 前記撮像ユニットに対する前記アイテムの位置であって前記撮像ユニットが前記アイテムのデジタル画像を形成するように動作可能な位置を検出し、前記位置の検出を示すトリガ信号を送信するように動作可能なセンサ手段
    をさらに備え、
    前記制御ユニットが、前記センサ手段から前記トリガ信号を受信し、前記受信されたトリガ信号に基づいて、前記照明ユニット、前記撮像ユニット、および前記デジタル画像処理ユニットの動作を同期させるようにさらに動作可能である
    請求項１０ないし１４のいずれかに記載のシステム。
16. 前記デジタル画像処理ユニットが、
    前記アイテムの前記デジタル画像についてと同様に前記基準アイテムの基準デジタル画像を処理して、前記基準デジタル画像の各ゾーンについて基準ヒストグラムを作成し、
    作成された各基準ヒストグラムの各ビンに、対応する信頼区間からそれぞれに得られる最小基準値および最大基準値を関係づける
    ようにさらに動作可能である請求項１０ないし１５のいずれかに記載のシステム。
17. 前記デジタル画像処理ユニットが、
    前記デジタル画像において前記アイテムの輪郭を検出して、前記検出された輪郭を前記基準アイテムに対応する基準輪郭と比較し、
    前記検出された輪郭が前記基準輪郭と整合する場合のみ、前記アイテムの前記識別動作の結果を確証する
    ように動作可能である請求項１０ないし１６のいずれかに記載のシステム。
18. 前記デジタル画像処理ユニットが、
    前記デジタル画像において前記アイテムの輪郭を検出し、
    前記少なくとも１つのゾーンを、選択されたゾーンがいずれも前記アイテムの前記検出された輪郭内になるように選択する
    ように動作可能である請求項１０ないし１６のいずれかに記載のシステム。
19. 前記アイテムの前記デジタル画像を、前記アイテムの目に見える輪郭内にある前記アイテム上の管理領域に制限する手段を備える請求項１０ないし１８のいずれかに記載のシステム。
20. 前記管理領域が、前記アイテム上のラベルまたは前記アイテム上の印に対応する請求項１９に記載のシステム。
21. 前記デジタル画像処理ユニットが、
    前記デジタル画像においてパターンを検出し、前記検出されたパターンを前記基準アイテムに対応する所与の基準パターンと比較して、前記検出されたパターンが前記基準パターンと整合するかどうかを評価し、
    前記検出されたパターンが前記基準パターンと整合すると評価された場合に、前記アイテム識別動作の結果に基づいて、前記検出されたパターンを認証する
    ように動作可能である請求項１０ないし２０のいずれかに記載のシステム。
22. 生産ラインでアイテムを識別するための、請求項１０ないし２１のいずれかに記載のシステムの使用。

Images