JP2016504574A - 食品の品質をスコア付け及び制御するための方法及び装置 - Google Patents

Abstract

処理ステップで遷移している動的食品の品質をスコア付け及び制御する方法が、画像解析を使用して実行される。コンベアシステム上の複数の移動中の食品の画像が、オンライン視覚機器によって捕捉され、様々な色強度を有するピクセルの割合を特定し、所定のプリファレンスを適用して、消費者の不満足度を予測するアルゴリズムを介して、画像解析が画像に対して実行される。１つ又は複数の画像の食品のグループ全体に、全体外観スコアが付与され、個々の各食品も、それぞれを最低許容度からより高い許容度までランク付けし得るようにスコア付けられる。ランク付けされた食品は次に、最悪ランクからより良いランクの順に駆出して、グループ全体の全体品質スコアを高めることができる。

Description

本発明は、品質制御プロセスの分野に関し、より詳細には、動的製品ラインの全体品質を制御するに当たり、画像解析を使用することに関する。

コンベアベルトで搬送される食品の品質を解析し、ソートする幾つかの方法が存在している。そのような方法は通常、瑕疵又は欠陥を有する物体の拒絶を目的として物体をソートし、食品の非可食部を含む任意の異物を拒絶することに主眼を置いている。例えば、製品ラインに沿って位置する人々による手作業及び製品がコンベアベルトに沿って通過する際の視覚検査によるソートは、品質制御に関して食べ物をソート又は検査する一方法を提供する。しかしながら、手動ソートはコストがかかるとともに、様々な個人による人間の判断の非一貫性により信頼できない。

コンピュータビジョン及び画像解析は、高く一貫した品質基準を維持する自動化された費用効率の良い方法に対する代替的且つ普及しつつある手法である。コンピュータビジョンシステムは、品質保証目的で食品業界で使用されるようになっている（例えば、食肉、穀物、魚、ピザ、チーズ、又はパンの等級付け又はソートを含む）。撮像解析についての文献の大半は、画像の視覚的な訴求力を高めるか、又は様々な観測可能な特徴の形状若しくは境界についての情報を抽出するように、何らかの方法で視覚画像を変更する方法を含む。このようにして、従来の画像プロセスは、人間の観測者又はオペレータよりも何倍も高速ではるかに精密に業務を遂行する自動マシンビジョンシステムとして機能する。したがって、そのようなシステムは、技法を標準化し、製品品質の手間がかかり一貫しない人間による検査をなくすことができる自動等級付けを提供する。

消費者は多くの場合、製品選択又は拒絶の基準として食品の色を使用するため、品質属性の中でも食品の色は重要である。色は、食品の表面の色が食品の欠陥又は不具合の存在を示すことがあるという点で、食品業界で使用される最も重要な検査基準の１つである。そのような欠陥は、消費者の許容度又は製品を消費する意思及び販売時点価値に影響する。

カラーカメラが多くの場合、画像解析システム又は食品の品質の機械検査のための機械又は自動ビジョンシステムで使用される。しかしながら、食品業界の画像解析ソート方法は一般に、任意の種類の欠陥、傷、又はその他の点で視覚的に魅力のない特徴を有する各製品を拒絶する目的で、物体をソートすることに主眼を置いたままである。例えば、食品の製造において画像解析を使用する既存のソート方法は、食品上で観測される欠陥の暗さの程度及びサイズに基づいて、欠陥のある食品を選別する。換言すれば、既存の方法の大半は、不具合の相対面積若しくは度合又は食品自体のサイズに関係なく、あらゆる欠陥を等しく扱う。そのようなソート技法は、食べ物の知覚される全体品質を損なわずに消費者にとって許容可能であり得たよりも多量の廃棄食品を生じさせる。製品の全体表面積と比較した欠陥の相対サイズに基づいて製品をソートできるようにするための努力がなされてきた。これらの方法を用いてもなお、欠陥／拒絶閾値は静的であり、製品が品質検査を受ける間、許容可能性又はプリファレンス要因に関して調整されない。これは、バッチ、袋、又は容器毎の許容度閾値と併せて、製品１つ毎の許容度閾値を構成することができない。

したがって、依然として、潜在的に欠陥を有する食品をソートするのみならず、不必要に拒絶又は無駄になる食品の量が減少するように食品の欠陥を評価するソート方法を有することが望ましい。そのような方法は、画像解析を利用して、特にアセンブリのあるフェーズから遷移する場合、又は別のフェーズに向けて準備する場合、食品のほぼ瞬時の監視及びフィードバック制御を提供しながら、食品を製造する確実で、客観的で、且つ費用効率の良い方法を提供すべきである。最後に、そのような方法は、最終的に消費に向けて包装される食品の品質制御を可能にすべきでもある。

本開示は、製造ラインで移動する食品の品質をスコア付け及び制御する方法を提供する。本方法の一実施形態は、（ａ）複数の移動中の食品の画像を捕捉するステップと、（ｂ）画像に対して画像解析を実行するステップであって、それにより、少なくとも１つの色の強度変化を特定する、ステップと、（ｃ）色の割合に基づいて、複数の移動中の食品をグループとしてスコア付けるステップであって、それにより、全体外観スコアを取得する、ステップと、（ｄ）個々の食品に適用される画像解析に基づいて、個々の各食品をスコア付けるステップであって、それにより、複数の個々の品質スコアを取得する、ステップとを含む。幾つかの実施形態では、本方法は、個々の各品質スコアを最小許容度から最大許容度までランク付けすることと、品質閾値に基づいて１つ又は複数の個々の食品を駆出する（ｅｊｅｃｔ）ことであって、それにより、グループ外観スコアを改善する、駆出することと、を含む。一実施形態では、駆出するステップは、個々にスコア付けられた食品を拒絶する信号を下流のソート機器に送信するステップを含む。幾つかの実施形態では、品質閾値は、部分的にグループ外観スコアに基づいて変更される。更に、個々の品質スコアは、最悪とランク付けされた製品を最初に駆出し、それにより、複数の食品の全体外観スコアを改善することができるように、個々の各食品を最悪（又は最も望ましくない）からより良好（又はより望ましい）までランク付けするために使用され得る。

本明細書に記載される方法の一実施形態は、移動中の食品の複数の画像を捕捉し、画像を一緒に結合して、イメージャ解析（ｉｍａｇｅｒ ａｎａｌｙｓｉｓ）を実行する。画像は、一実施形態では、可視スペクトルで捕捉され、一方、他の実施形態は、赤外線又は紫外線実施形態で画像を捕捉する。更に、他の実施形態は、紫外線スペクトルと可視スペクトルとの間の蛍光又は可視スペクトルと近赤外線スペクトルとの間の蛍光を使用して、画像を捕捉する。

幾つかの実施形態では、画像は複数のピクセルにピクセル化される。ピクセルは、幾つかの実施形態では、スコア付けステップのために、少なくとも色に少なくとも２つの色に分類される。一実施形態では、ピクセルは、各色の異なるレベルの強度を表す２つ以上のサブクラスに更に分類される。少なくとも１つの実施形態では、ピクセルは、様々な強度の赤、緑、及び青を含む。幾つかの実施形態では、分類するステップは、背景ピクセルを特定することを含む。

本発明の別の態様では、動的食品システムにおける監視欠陥用の装置が開示される。本装置の少なくとも１つの実施形態は、画像捕捉装置と、アルゴリズムを記憶可能な計算装置であって、アルゴリズムのベースは、食品内の色の欠陥の視覚的認識に基づいて定量化されるプリファレンス閾値を含む、計算装置とを備える。一実施形態では、アルゴリズムのベースは、欠陥を含む面積と食べ物の面積との比率を更に含む。別の実施形態では、ベースは、各ピクセルの色強度値を特定することを更に含む。少なくとも１つの実施形態では、画像捕捉装置は、デジタルカラー画像を捕捉可能な視覚システムである。一実施形態では、計算装置は更に、画像捕捉装置によって捕捉される画像をピクセル化可能である。一実施形態では、本装置はソート装置を更に備え、ソート装置は計算装置と通信する。

本明細書に記載の方法は、欠陥の存在又はサイズのみならず、食品のサイズと比較したそのタイプの欠陥の度合及び相対面積にも基づく食品の評価及びソートを提供する。幾つかの実施形態では、本方法は、部分的に、望ましくないものとして検出された欠陥の面積及びタイプを考慮に入れながら、消費者の好み又は欠陥の認識に基づいて欠陥のレベルを区別する。本開示は、無駄になる食品量をなくしながら、食品をスコア付けるためのより客観的で一貫したベースを提供する。本明細書に提示される方法は、最終的に消費者に到達する食品の品質を制御しながら、食品の品質を特定することも提供する。最後に、本方法は、動的又は移動する製造ライン中にリアルタイム又は準リアルタイムで、製品を所望の製品特徴基準と比較することを提供する。

本発明の他の態様、実施形態、及び特徴が、添付図面と併せて考慮される場合に本発明の以下の詳細な説明から明らかになろう。添付図は、概略的であり、一定の尺度で描画されることが意図されていない。図中、様々な図に示される同一又は略同様の各構成要素は、単一の番号又は表記で表される。明確にするために、あらゆる構成要素があらゆる図に示されるわけではない。また、当業者が本発明を理解できるようにするために例示が必要ない場合、本発明の各実施形態のあらゆる構成要素が示されているわけでもない。

本発明の特徴であると考えられる新規の特徴を添付の特許請求の範囲に記載する。しかしながら、本発明自体、並びに本発明の好ましい使用形態、更なる目的、及び利点は、添付図面と併せて読まれた場合、例示的な実施形態の以下の詳細な説明を参照することによって最も良く理解されよう。

調理されたポテトチップ製品を拒絶する従来技術による方法の例を示す。 調理されたポテトチップ製品を拒絶する従来技術による方法の例を示す。 一実施形態による、動的製品ラインにおいて食品品質をスコア付け及び制御するシステムを示す。 一実施形態による本方法の全体フローチャートを示す。 一実施形態によるデジタル画像の蓄積を示す。 一実施形態による揚げられた複数のポテトチップの全体外観スコアを特定し制御する理論廃棄曲線を示す。

従来の画像解析方法が、果物及び野菜のソート、自動区分け、物体の異物検査、及び一般的な包装用途等の食品業界での様々な用途に関して当技術分野において既知である。しかしながら、グループとして複数の食品の全体外観の改良されたスコア付けの形態の品質制御に関するデジタル撮像アプリケーションはまだない。

本明細書に記載の方法は、包装する複数の食品のスコア付け及び品質制御を提供する。スコア付けは、画像解析技法を使用して、捕捉された画像での個々の各製造食品の個々の品質スコアを特定するステップを含む。本明細書で使用される場合、「品質」という用語は、食品の視覚的側面の第一印象を指す。品質スコアは、その外観（色、認識される欠陥、及び認識される欠陥の相対サイズを含む）に従って与えられて、調理された食品の視覚的魅力を特定する。

本明細書に開示される方法は、食品が、小さな欠陥を含むが、欠陥が単に存在することに起因して不必要に廃棄されることがない無駄の最小化を提供する。むしろ、本方法では、欠陥のタイプに加えて、欠陥の相対サイズを考慮に入れることができ、そうする一方で、本方法は、最終的に消費者まで流通する製品の品質の制御を提供する。図１Ａ及び図１Ｂは、例えば、コンピュータ及び視覚解析を使用してスコア付ける従来使用されていた方法を示し、これらの図では、２枚のポテトチップ製品が、等しくスコア又は等級付けられるが、視覚的に、一方の製品が第２の製品よりも許容度が高いことを見て取ることができる。図１Ａでは、チップ製品１００はチップ製品１０６と略等しいサイズのものである。しかしながら、チップ製品１００は全体を通して、一般に消費目的で視覚的に魅力がない幾つかの変色１０２を含む。換言すれば、チップ製品１００の１０４におけるチップのより許容度の高い色（例えば、黄色）は、１０８において極少数の傷がある大方黄色である右側のチップ製品１０６と比較して殆ど見えない。従来使用されていた画像解析方法は、同じ品質スコアを付与することによって両製品を同じものとして扱うが、欠陥の相対サイズの点で、製品１００は製品１０６よりも許容可能である。換言すれば、従来の視覚撮像解析システムは、全体のチップサイズに関係なく、欠陥のサイズ／面積に基づいて大半の欠陥を処理し、結果として、任意のタイプの欠陥を有する大きなチップの過度に積極的な除去又は排除に繋がる。同様に、図１Ｂでは、２枚のチップ製品１１０、１１２は実際に異なるサイズであるが、概ね同じサイズの欠陥１１４を含む。欠陥領域の面積に相対するチップ全体の面積に基づく場合には、２つのチップ製品のうちの大きいほうは、小さいほうのチップよりも良好な品質スコアを得るが、従来の方法では、同様の過度に積極的なソートシステムにより、両チップはそれでもなお、製品の流れからの除外の対象となる。したがって、従来の方法は、欠陥のタイプ又は欠陥の相対面積の何れにも対処することができない。

本方法は、特定の相対レベルの欠陥が考慮に入れられるような品質スコアを複数の食品に提供するのみであり、更に処理され、最終的に単一の袋又は容器に包装されて、消費に向けて流通する製品の全体的なグループ外観スコアを改善し制御もする。更に、本方法では、視覚的認識に従って欠陥に優先度を付けることもできる。

図２は、開示される方法を実行可能なシステムの一実施形態を示す。システム２００は、画像捕捉装置２０２を含む。幾つかの実施形態では、画像捕捉装置２０２は、ソートされる食品２０６を搬送しているコンベアシステム２０４の上方に配置される。コンベアシステム２０４は、少なくとも幾つかの実施形態では、計算システム２０８と通信する。計算システム２０８は、マイクロプロセッサ２１０と、メモリ２１２とを含む。計算システム２０８はソートシステム２１４と更に通信し、ソートシステム２１４は、特定の品質基準を下回る本発明者らの食品をソートすることができる。少なくとも１つの実施形態では、撮像技術を食品製造環境で使用するための典型的なセットアップは、カメラ又は他の画像捕捉装置と、照明と、画像捕捉板（フレーム取り込み器又はデジタイザ）と、計算装置２０８とを含む。一実施形態では、マイクロプロセッサ２１０はメモリ２１２とインタフェースし、メモリ２１２は、画像データを処理するための１つ又は複数のコンピュータプログラム又はソフトウェアを含む。計算装置２０８は、一実施形態では、有線又は無線伝送装置を介して、画像捕捉装置２０２からデータを受信する。幾つかの実施形態では、計算装置２０８は、中央演算処理装置（ＣＰＵ）を更に含み、データ処理の結果が送信される画面又はプリンタ等の出力装置とインタフェースする。データ処理の結果は、プログラム記憶装置内のファイルに書き込むこともできる。計算装置２０８は、標準デスクトップ計算装置を含むだけでなく、情報を記憶し、プログラムコマンドを実行することが可能な任意のシステムも包含し得る。

一実施形態では、ソート機器２１４は、画像捕捉装置２０２から下流に配置され、一揃いの可動式空気ノズルを含み、可動式空気ノズルは、チップが包装される前に、最悪の品質スコアを有する許容度が最も低い食品を拒絶又は駆出することができる。ソート機器２１４は次に、許容度が次に低い食品又は次に最悪の品質スコアを有する個々の食品を更に拒絶して、コンベアシステム２０４上で輸送中の複数の食品の全体外観スコアを改善し続けることができる。図２に示されるシステム２００が単なる概念の例示であり、任意の構成要素のサイズ、割合、位置、又は構成への限定を表現せず、示唆もしないことに留意されたい。

これより図３を参照して、品質又は外観をスコア付け及び制御する全体的な一般方法３００を提示する。製品を検査し、製品からデータを取得するために、ステップ３０２において、まず、画像捕捉装置２０２により食品の画像が捕捉される。少なくとも幾つかの実施形態では、移動中の食品が動的処理ラインを下って進む際、移動中の食品の画像が捕捉される。一実施形態では、食品は、移動するコンベアシステム２０４を介して、味付け又は包装等の続くオペレーションに搬送される。一実施形態では、食品は最後に揚げられ、揚げる段階から更なる処理ステップにコンベアシステム２０４上で移行する過程にある。一実施形態では、食品は、当技術分野で既知の任意の手段によって単層構成で配置される。例えば、層状の食品を第１のコンベアベルトからはるかに高速で移動している第２のコンベアベルトに移すことにより、層状の食品を単層構成に配置することができる。一実施形態では、製品がセットされるコンベアシステム２０４の全幅が撮像され、それにより、複数の食品の表面の最大の検査及び解析を提供する。コンベア速度は通常、平均毎分約１８２メートル（約６００フィート）である。その結果、一実施形態では、画像捕捉装置を通過するか、又はその下を通過する製品のグループ、バッチ、又はロット全体を解析するために、シーケンスを後に一緒に結合することができるように、画像シーケンスが捕捉される。個々の各画像からの結果を結合して、図４に示されるように、まるで全てが１つのサンプルであるかのように、画像の全体グループの結果が与えられる。各画像からのデータは、まるで当技術分野で周知の方法による１つの大きな画像であるかのように結合される。

幾つかの実施形態では、画像捕捉装置２０２は画像解析システムを含む。画像解析システムは、視覚システム、紫外線−可視−近赤外線イメージャ（又はそれらの任意の組み合わせ）、Ｘ線イメージャ、サーマルイメージャ、音響／超音波イメージャ、マイクロ波イメージャ、又はサブナノメートル波長を通して超低周波（可聴範囲未満）からの電磁スペクトルで動作する任意の他の撮像技術を含むがこれらに限定されない、当業者に既知の任意のタイプの撮像システムであり得る。一実施形態では、画像は、カメラからなるオンライン視覚機器により、約４００ｎｍ〜約７００ｎｍの波長範囲を包含する可視スペクトルで捕捉される。例えば、コンベアシステム２０４の上に搭載された静止ラインスキャンカラー電荷結合素子（ＣＣＤ）カメラを、可視スペクトルの捕捉に使用し得る。そのようなカメラは、一連のラインスキャンを実行して、二次元画像を表すピクセルの二次元アレイを形成し、ラインに沿った各ピクセルの強度レベルを測定する。電磁放射源は、赤外線スペクトル及び紫外線スペクトルを含むがこれらに限定されない、様々な電磁スペクトル帯からの放射線を発するように構成することもでき、所望のスペクトル内の単一の波長及び複数の波長の電磁放射線を発するように構成することもできる。したがって、別の実施形態では、画像は近赤外線スペクトル（約８００ｎｍ〜約２５００ｎｍ）で捕捉される。例えば、表面に見えない欠陥を検出するに当たり、又は水分若しくは栄養分を検出するに当たり、可視スペクトル外の画像解析が有利であり得る。別の実施形態では、画像は紫外線スペクトル（約１０ｎｍ〜約４００ｎｍ）で捕捉される。したがって、可視スペクトルに限定されず、所定の波長の範囲で画像を捕捉し得ることを理解されたい。便宜上、製造されたスナック食品で機能する本明細書に記載の方法は、三色チャネル、すなわち赤、緑、及び青を使用する可視スペクトルで最も容易に実行される。しかしながら、可視スペクトルの使用が、他の用途では適切ではないことがあることが理解されよう。幾つかの実施形態では、スナック食品が可視光で照明されて、プロセスの製品の画像が得られる。他の実施形態では、製品は一波長の放射線で照明されて、異なる領域での応答を観測する。例えば、紫外線放射線を使用する照明は、関心のある特徴（又は欠陥）の特定の特性に基づいて可視領域（例えば、蛍光）での応答を生じさせ得る。

図３の考察に戻ると、ステップ３０２において撮像装置２０２によって画像が捕捉された後、画像は略リアルタイムで計算装置２０８に転送され、画像解析される。そのような転送は、有線転送、無線転送、又はデータを転送可能な任意の他の方法であり得る。画像は、コンピュータ又はデータプロセッサにとって有意な形態で捕捉される。一実施形態では、そのような形態は、一連の数又は数の配列によって表される画像である。これは通常、ステップ３０４において、画像をピクセル化することによって行われる。本明細書で使用される場合、ピクセル化は、画像を、幾つかの離散した画素又はピクセルの二次元格子に分割することを意味する。幾つかの実施形態では、フレーム取り込み器又はデジタイザがピクセル化ステップ３０４を実行する。したがって、ステップ３０２において画像が捕捉された後、ステップ３０４において、画像はピクセル化、セグメント化、又はデジタル化され、それにより、コンピュータ又はデータプロセッサは、画像から情報又はデータを取得することができる。各ピクセルは関連付けられた色値を有し、色値は、ピクセルに対応する画像のその部分の色合い及び強度を表す。

一実施形態では、方法３００は、カラーカメラ系を使用して、少なくとも２つの異なる色の強度を記録する。一実施形態では、各画像は、画像配列の寸法を定義する少なくとも３つの波長範囲で測定される強度値のピクセル要素の画像配列からなる。一手法は、マルチスペクトル画像（この場合、ＲＧＢ）を使用することであり得るが、他の実施形態では、適用される方法は、モノスペクトル画像（例えば、白黒、Ｘ線、超音波等）に適用される。通常、赤、緑、及び青として示される３つの異なる色範囲が使用される。したがって、カラーカメラ系内の単一の色値を、赤、緑、及び青の強度に対応する３つ以上の離散変数又は強度値ｒ、ｇ、及びｂによって指定し得る。画像内の各ピクセルの色は、赤色、緑色、及び青色の可変強度を有し、その赤チャネル、緑チャネル、及び青チャネルの数値（例えば、０〜２５５の整数）によって特徴付けられる。画像の取得前及びその後に定期的にカメラを較正すべきであることに留意されたい。

ピクセル化ステップ３０４に続き、ステップ３０６において、ピクセルは２つ以上の分類に分類される。一実施形態では、ピクセルの分類は、２つ以上の分類ステップに細分され、例えば、前景抽出後に、許容度解析が続く。まず、製品は略モノクロのコンベアベルト上で搬送されるため、ピクセルは背景又は食品のいずれかに分類され、それにより、製品が撮影される背景（例えば、コンベアベルトの露出表面）が製品から区別される。背景から前景を分ける幾つかの手法が当技術分野で既知である。例えば、背景が、解析される物体と高いコントラストを有する場合、単純な閾値処理を使用することができる。一般に、当技術分野で既知である食品から背景を区別する任意の方法を、本明細書に記載の方法と併用し得る。例えば、一実施形態では、主成分分析（ＰＣＡ：Ｐｒｉｎｃｉｐｌｅ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）として既知である多変量画像解析（ボーグ（Ｂｏｕｒｇ）らに発行された米国特許第７，０６８，８１７号明細書に記載のように）が、画像に適用されて、背景を区別する。別の実施形態では、簡易インタラクティブオブジェクト抽出（ＳＩＯＸ：Ｓｉｍｐｌｅ Ｉｎｔｅｒａｃｔｉｖｅ Ｏｂｊｅｃｔ Ｅｘｔｒａｃｔｉｏｎ）が適用されて、背景から前景又は関心のある物体を抽出する。

ピクセルが、食品として識別可能な色に属するものとして分類されると、そのピクセルは、許容可能な食品又は潜在的に許容できない食品のいずれかに分類される。ピクセル分類は多くの場合、食品業界での品質制御用途で使用されて、許容可能な製品と欠陥のある製品とを区別する。許容可能な食品は、例えば、１つ又は幾つかの所定の許容可能な色に類似する色を含む。潜在的に許容できない食品は、本明細書で使用される場合、食品の表面上の１つ又は複数の欠陥を有する食品を指し、欠陥は、所定の許容可能な色以外の色で表される。そのような欠陥は、可視スペクトルでの幾つかの所定の許容できない色のうちの１つ又は複数を指し得る。例えば、ヴァネリ（Ｖａｎｎｅｌｌｉ）に発行され、キーテクノロジー社（Ｋｅｙ Ｔｅｃｈｎｏｌｏｇｙ，Ｉｎｃ．）に譲渡された米国特許第５，３３５，２９３号明細書には、「許容可能」な製品、「白色欠陥」製品、「茶色欠陥」製品、又は製品の性質に依存する別の分類等の単一の品質分類を表す製品のエリアとして定義される構成要素タイプに従ってピクセル及びピクセル色値を分類する方法が開示されている。例えば、サヤマメ等の製品が、個々の各ピクセルの色値の差に従って２つのクラス（タイプＩ及びタイプＩＩ）にセグメント化される。構成要素タイプは、「背景」エリア及び「未確認」エリアにも存在し得る。ヴァネリのシステムは、カラートレーニング方法を使用して、欠陥を識別する。すなわち、個々の人間であるオペレータが、製品の流れの中で、何が欠陥のある色として見なされ、何が許容可能な色と見なされるかをシステムにトレーニングする。次に、システムとの個々のオペレータの対話によって識別された、トレーニングされた色と比較した観測された色の比較評価に基づいてソートが達成される。そのようなシステムでは、ソートシステムは、製品の投入流れの関数として、個々のオペレータとの動的動作に依存する。これとは対照的に、幾つかの実施形態では、欠陥閾値はプリファレンス要因によって更に重み付けされた欠陥の割合面積の両方に基づいて計算される。

個々のピクセルのＲＧＢ内容によって区別される特定の色に加えて、Ｘ、Ｙのいずれか一方の方向又はＸ及びＹ両方の方向で同時に、色の勾配等の他の特徴も変化する。また、Ｘ、Ｙのいずれか一方の方向又はＸ及びＹ両方の方向で同時に、特定のカラーシーケンス等の個々のタイプの欠陥の特定の識別特徴を使用して、可視カラースペクトルでの許容可能な色以外の色を区別することもできる。これらのタイプの特徴は、適用分野を広げ、視覚技術を計量用途に適用するに当たり必要なことが多い色較正ステップをなくすという点で適切である。

幾つかの実施形態では、食品の画像が潜在的に許容できない食品として分類されると、ピクセルは更に、食品の表面上の欠陥のタイプを表す２つ以上のグループに分類される。一実施形態では、グループは、食品の表面で見られるより一般的なタイプの色欠陥に対応する。一実施形態では、潜在的に許容出来ない食品のピクセルは更に、検出された各色の欠陥の２つ以上の強度サブレベルに分類される。

例として、調理されたポテトチップの場合、許容可能なポテトチップは、１つ又は複数の色合い又は濃淡の黄色を含み得、一方、潜在的に許容できないポテトチップは、１つ又は複数の濃淡又はレベルの緑、茶色、又は黒色を含み得る。したがって、生じ得る各色値は、許容可能な色又は特定のレベルの欠陥色等の単一品質分類を表す製品の面積として定義される複数の構成要素タイプのうちの１つとして分類される。一実施形態では、米国農務省（ＵＳＤＡ：Ｕ．Ｓ．Ｄｅｐａｒｔｍｅｎｔ ｏｆ Ａｇｒｉｃｕｌｔｕｒｅ）発行のチップ用ポテトの米国等級基準（Ｕｎｉｔｅｄ Ｓｔａｔｅｓ Ｓｔａｎｄａｒｄｓ ｆｏｒ Ｇｒａｄｅｓ ｏｆ Ｐｏｔａｔｏｅｓ ｆｏｒ Ｃｈｉｐｐｉｎｇ）（基準）が、許容可能な色と欠陥色との定義に使用される。例えば、基準は、別段のことが特記される場合を除き、揚げられたチップの複合サンプルのカラーインデックスが、ＵＳＤＡ承認の光電色彩計（アグトロン（Ａｇｔｒｏｎ）Ｍ−３０Ａ若しくはＭ−３００Ａ）の読み取り値２５未満であるべきではないか、又は以下の表１において指定される対応する色彩計インデックス（アグトロン（Ａｇｔｒｏｎ）Ｍ−３０Ａ若しくはＭ−３００Ａ）を有する色指定のうちの１つ若しくは複数に基づき得ることを示す。

ステップ３０６での製品／背景及び欠陥色に基づくピクセルの分類に続き、１つ又は複数の検出された欠陥色を有する各ピクセルは、ステップ３０８において、それらの強度値又はレベルに基づいて分類される。ステップ３０８において強度値を特定するに当たり、ピクセルがまずカウントされて、所定又は予め設定されるカテゴリ又はレベルのうちの１つとして分類されるピクセルの数を特定する。

次に、ステップ３１０において、検出された各色合いの割合値が特定されて、ステップ３１２において、個々の製品スコアを画像内の食品に提供する。幾つかの実施形態では、個々の製品スコアは、各割合値を所定の係数で乗算することによって計算される。一実施形態では、係数は、消費者が欠陥色を許す可能性が高い要因を考慮に入れる。例えば、最も一般的に再発するタイプの欠陥は、各タイプの欠陥に与えられる消費者スコア又は格付けを使用して評価するターゲットとすることができる。大半の実施形態では、少なくとも１つのタイプの欠陥が、ランク付け又はスコア付けのために評価される。別の実施形態では、３つ以上の欠陥を評価に使用することができる。例えば、調理されたポテトチップの場合、消費者は、チップ表面上の１つ又は複数の欠陥の濃淡（例えば、緑色、黒色、又は茶色）を有するチップを進んで食べる自らの意思を格付けし得る。逆に、消費者は、そのような欠陥を有するチップ製品の消費を嫌う自らの意思も格付けし得る。次に、各欠陥に、色欠陥品を許すこと、又は消費することを望まないこと（又は望むこと）をランク付けする特定の係数を付与することができる。次に、そのような係数は、リアルタイム計算又はスコアのために、処理ユニットにプログラムされるアルゴリズムに組み込むことができる。基本的に、そのような計算により、食品の表面上の欠陥色に相関する、欠陥を示すピクセルの割合又は数に基づいて、消費者の不満足性の予測が可能である。更に、幾つかの実施形態では、同じアルゴリズムを個々のチップに適用し、重み付けされたチップサイズに基づいてスコアを合算することにより、全体の等級を計算することができる。他の実施形態では、プリファレンス係数は、消費者プリファレンスから独立して品質保証上の考慮事項によって決定される。

アルゴリズムでの色強度値、色合いの割合値、及びプリファレンス（ｐｒｅｆｅｒｅｎｃｅ）要因又は係数の使用は、行列数学の形態でより容易に理解することができる。例えば、ピクセルが赤色、緑色、及び青色に従って分類され、低、中、及び高という強度値カテゴリに従って更に分類される実施形態では、そのようなデータを３×３行列としてコンパクトに表すことができ

ここで、列は色（ＲＧＢ）を表し、行は強度値を表す。行列は、プリファレンス要因を表す係数又は別の行列で乗算して、重み付けされたピクセルデータをもたらすことによって更に操作することができる。行列を使用する一利点は、計算効率及びピクセルを表す単一の数（行列の行列式等）を割り当てることが可能なことである。ピクセルのその単一の数は容易に蓄積して、個々の製品スコア又はグループ外観スコアにすることができる。

代替の実施形態では、行列の列又は行は、色以外の他の品質要因を表す。例えば、非可視スペクトル解析がステップ３０２及び３０４で実行される実施形態では、行列の列は、水分レベル、密度、又は多孔度を表すことができる。更に他の実施形態では、他の品質要因は、特定の化学元素又は化合物の量を含む。様々な範囲の電磁スペクトルにわたる画像捕捉装置を結合して、単一のピクセルに複数の行列を生成することは、本開示の範囲内である。

再び図３を参照し、ステップ３１２において個々の製品スコアが割り当てられると、システム２００は、ステップ３１４において、メモリ２１２にこれらのスコアを蓄積する。他の実施形態では、ステップ３１４において、行列データ及び計算されたスコアの両方が蓄積される。少なくとも幾つかの実施形態では、方法３００は、ソートされる食品の流れから独立して予め設定される一般ソート閾値を用いて開始される。ステップ３１６において、システム２００は、ソート閾値を更新するか否かを判断する。システム２００が、３１４において閾値を更新しないと判断する場合、方法３００は、予め設定される閾値を使用して後続のステップに続く。システム２００が閾値の更新を判断する場合、方法３００はステップ３１４に循環して戻り、個々の製品スコアを蓄積し続ける。ソート閾値を更新するという判断は、部分的に、グループ外観又は「袋」スコアの続く計算（ステップ３２４における）と、袋又はバッチのグループ外観スコアを高めることが望ましいか否かと、に基づく。

システム２００がデータを蓄積する期間は、必要に従って調整することができる。一実施形態では、所定の時間間隔（例えば、３分）が提供される。他の実施形態では、蓄積期間は、累積品質スコア又は食品の流れの中で検出される変化量若しくは逸脱量に基づいて調整される。そのような実施形態では、個々の食品の初期セットの品質スコアが特定されると、システム２００は、ステップ３１６において、少なくとも部分的に、ソートされているバッチに基づいてソート閾値を動的に調整する。これは状況的ソートと呼ばれ、これは、欠陥を表すピクセルを含むありとあらゆる製品を単に選別することに主眼を置く従来のソート方法から区別することができる。この状況的ソートは、食品の過剰なソート及び不必要な廃棄を低減するに当たり有利であり得る。更に、フィードバックループを有する自動デジタルシステムは、大量の製品を自動的に、人間のオペレータを必要とせずにソートすることができる。

ステップ３１８において、計算装置２０８は、ソート閾値を個々の製品スコアと比較する。方法３００の初期サイクル中、個々の製品スコアは予め設定される一般ソート閾値と比較され、この閾値は、ソートされている食品の流れから独立して予め設定される。ステップ３１６においてソート閾値が更新された後、続くサイクル中、ステップ３１８において、システム２００は個々の製品スコアを更新されたソート閾値と比較する。

ステップ３１８における比較に基づいて、ステップ３２０において、システム２００は、グループ外観又は袋スコアの改善が望まれるか否かに基づいて、個々の食品を選別する（ｓｏｒｔ ｏｕｔ）か否かを判断する。ステップ３２０において否定の判断が下される場合、ステップ３２６において、個々の食品は、袋詰めされるか、又は包装される製品とグループ化され、ステップ３２４において、その個々の製品スコアは他の非駆出製品スコアと集計されて、袋スコアを特定する。ステップ３２０において肯定の判断が下される場合、信号が下流のソート機器２１４に送信され、それにより、ステップ３２２において、個々にランク付けされた食品は、最も望ましくない製品（又は最悪品質スコアを有する製品）から始まって駆出される。

一実施形態では、拒絶又は最悪ランクの食品は、包装ステップ前のステップにおいて、空気ノズルからの空気流を用いて製品を搬送するコンベアから逸らされる。別の実施形態では、拒絶された食品は、最終的に廃棄される前に追加検査するカメラを通過し得るように、コンベアベルトの別の部分に逸らされる。一実施形態では、システム２００は、更なる検査なしで「即決」閾値を下回る食品を駆出し破棄する。図５は、即決閾値を理論廃棄曲線に基づいていかに特定するかの一例を示す。そのような一例では、即決閾値を下回るスコアを有する任意の個々の製品（二重取消線（ｄｏｕｂｌｅ ｂａｒ）で示される）は、ステップ３２２において駆出される。

ステップ３２０及び３２２において、食品が選別されると、システム２００は、ステップ３２４において、ソートされた製品２１６のグループ外観又は袋スコアを特定する。袋スコアは容器又は袋内の製品の集計スコアを意味することができるが、集計スコアは所望のサイズのバッチ単位で計算することができる。グループ外観スコアが許容可能レベルを下回る場合、ソート閾値は更新され（すなわち、方法３００はステップ３１６に循環して戻り、ソート閾値を更新する）、より積極的にソート（例えば、最も望ましくないスコアを有する個々の製品を選別）し、それにより、全体スコアを高める。袋単位での集計スコアを使用する一利点は、消費者が袋毎に一貫した製品品質を期待できることを保証することである。ソートされた製品２１６は任意選択的に、包装システムに送られ、ステップ３２６において、袋に包装される。ステップ３２８において、システム２００はソートプロセスを続けるか否かを判断する。肯定の場合、方法３００はステップ３０２にループバックし、画像の捕捉を続ける。否定の場合、方法３００は終了する。

本発明は、約３％未満の水分含有量まで揚げられたポテトチップで発生するおそれがある特定の色欠陥を有するポテトチップ製造ラインを参照して最良に説明される。そのような色欠陥は、食品を許容するか、又は摂取する消費者の意思に悪影響を及ぼし、消費者の満足度を低減させるため、問題であり得る。

薄切りされたジャガイモは、例えば、約１７１°Ｃ（約３４０°Ｆ）〜約１８２°Ｃ（約３６０°Ｆ）の温度で約３分間、連続フライヤーで調理される。調理されたポテトチップは、フライヤーを出て、コンベアに沿って毎分約１４６メートル（約４８０フィート）〜約１８２メートル（６００フィート）で進む。可視スペクトル照明システム及びＲＧＢカメラ系が、コンベアベルトの上方に搭載される。デジタルカメラは、チップがコンベアを下って進む際に複数のチップのカラー画像を捕捉し、製品の画像はコンピュータに送信され、本明細書に開示される方法を使用して解析される。例えば、ラインスキャンＣＣＤカメラは、直流（例えば、電池）又は電気コンセントから引かれる交流電流のいずれかによって給電されるプロプライエタリなキーテクノロジー（Ｋｅｙ Ｔｅｃｈｎｏｌｏｇｙ）ＲＧＢ ３ ＣＣＤラインスキャンカメラであり得る。カメラによって生成されるＲＧＢ信号は、ＣＰＵ内の画像デジタル化基板に供給され、この基板は、マイクロソフトウィンドウズ（Ｍｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ（登録商標））、ユニックス（ＵＮＩＸ（登録商標））、リナックス（ＬＩＮＵＸ（登録商標））、又はマッキントッシュ（Ｍａｃｈｉｎｔｏｓｈ（登録商標））オペレーティングシステム下でソフトウェアを実行する、市販のサーバクラスコンピュータであり得る。デジタル化基板は、移動中の食品の画像を捕捉し、画像は解析のために保存される。少なくとも幾つかの実施形態では、画像は、初期フレーム取り込みコンピュータからネットワークプロトコル及び共有ディスクドライブ技術を介して渡される。画像は計算装置に送信され、計算装置は、ピクセル値を特定し、ピクセルの色を所定の許容可能値及び欠陥値と比較するようにプログラムされる。

テスト実行中、背景ピクセルの識別に続き、潜在的に許容できない食品から区別するために、許容可能な食品として予め決定される黄色の色合いが決定された。赤、緑、及び青ピクセル強度値が次に、９つの生じ得る色合い、すなわち、黒、茶、及び緑のそれぞれに３つのサブレベル（極値、中、又はわずか）のうちの１つにマッピングされた。テスト実行は３色を評価したが、１つの欠陥のみが好ましいターゲットである場合、解析を１色のみに対して実行してもよいことに留意されたい。次に、生じ得る色合いのそれぞれでピクセルをカウントし、チップのサイズに相対するそれぞれの割合面積が計算される。上述したように作成され、計算装置にプログラムされたアルゴリズムが次に、画像内の複数のチップのグループ外観スコアを提供するとともに、画像内の個々の各チップもスコア付ける。例えば、以下の表２は、グループ外観スコアを予測する各色欠陥の割合面積の単純なサンプル計算を示す。

一般に、特定の色欠陥の割合面積が高いほど、消費者により嫌われることを示す。次に、所定の消費者係数ａ、ｂ、及びｃを、表中の色ピクセルの特定された割合面積で乗算することにより、グループスコアを計算することができる。例えば、以下の通りである。

グループ外観スコア＝（０．３）ａ＋（０．６３）ｂ＋（０．８）ｃ
ラインスキャンデータ及び計算を蓄積して、各チップの個々の品質スコアを特定することができる。そのような一例を以下の表３に示されるように示す。

次に、処理ユニットは、図４に例として示されるような理論廃棄曲線を特定する。廃棄曲線は、約７７（７７．３５１２でのプロットを参照）で始まる複数のチップの全体外観スコアを示す。各チップに個々の製品スコアが与えられているため、全体外観又は袋スコアを改善するために、まず、最悪の製品スコアを有するチップが駆出される。図４のグラフに示されるように、この最初の最悪スコアチップの除去により、外観スコアは約８６まで改善する。したがって、破線は約７７から右へ約８６までの曲線を示す。外観スコアを引き続き高めることが望まれる場合、次の最悪の製品スコアを有するチップをターゲットにすることができる。破線の理論廃棄曲線の右に移る３番目のプロットで示されるように、これは外観スコアを今回は、約９０の真下まで再び更に改善する。３番目の最悪の製品スコアを有するチップを除去すると、理論廃棄曲線に沿って右に約９２まで更にシフトする。同様に、ランク中の４番目〜９番目のチップが駆出されると、追加のプロットは１００という外観スコアに近づく曲線を示す。しかしながら、グループ外観スコアの高まりに伴い、理論廃棄も増大する。したがって、廃棄を最小化するために、グループ外観スコアと理論廃棄とのバランスをとり、所望の結果を達成することがより望ましいことがある。

チップを駆出して、包装される複数のチップの全体外観スコアを改善すると判断される場合、一揃いの空気ノズルからなるソート装置は、欠陥チップが特定の距離又は時間内に近づいていることを画像解析システムによって通知される。次に、ソート機器は、欠陥チップに一吹きの空気を当てて、コンベアから逸らせることにより、欠陥チップを拒絶する。このようにして、ソート装置は、所定又はプログラムされる基準に基づいて、最も酷い欠陥品を動的な流れから除去する。

一実施形態では、ソート機器は、視覚機器から短い距離（例えば、約３メートル（約１０フィート未満））、下流に配置される。したがって、そのような実施形態では、食品がコンベアに沿って毎分１８２メートル（６００フィート）までの速度で移動している場合、画像解析及び複数のチップの全体品質を改善するためにチップを駆出すべきか否かの判断は、非常に迅速に行わなければならない。これを達成するために、アルゴリズムは、視覚機器及びソート機器に接続されたシリコンチップにプログラムされる。代替の実施形態では、アルゴリズムはソートコンピュータにプログラムされる。計算時間はかなり高速である（例えば、数マイクロ秒〜数ミリ秒のオーダ）ため、方法は、オンライン測定装置として使用することができ、様々な色ピクセルの測定及び食品のスコア付けを約１秒未満で行えるようにする制御システムに統合することができる。

本発明についてポテトチップ製造ラインでの色欠陥を参照して説明したが、本発明を他の欠陥（気泡、形状、穴、焼け焦げ、又はスポット等）及び他の熱処理される食品（トルティーヤチップ、押し出しスナック、ポップスナック、ポン菓子、朝食シリアル、ナッツ、又はミートスナック等）にも適用可能なことを理解されたい。与えられる例及び説明は、本発明の限定を意味しない。

本明細書に記載のソート方法は、毎分約０メートル（約０フィート）〜約３０４メートル（約１０００フィート）の最高製造速度で連続したインライン検査に使用することができるか、又はバッチ供給モードで使用することができる。上述したように、続く解析のために画像を捕捉するカメラを使用して、可視範囲（例えば、赤、緑、及び青）スペクトル、若しくは赤外線（ＩＲ：Ｉｎｆｒａｒｅｄ）スペクトル、若しくは紫外線（ＵＶ：Ｕｌｔｒａｖｉｏｌｅｔ）スペクトル、又はそれらの組み合わせ内で検査することができる。

本発明の少なくとも１つの実施形態の幾つかの態様をこれまで説明したが、当業者が様々な代替形態、変更形態、及び改善形態を容易に想到することを理解されたい。そのような代替形態、変更形態、及び改善形態は、本開示の一部であることが意図され、本発明の趣旨及び範囲内にあると意図される。したがって、上記説明及び図面は、単なる例及び例示である。

Claims (20)

1. 複数の移動中の食品の品質をスコア付け及び制御するための方法であって、前記方法は、
   複数の移動中の食品の画像を捕捉するステップと、
   前記画像に対して画像解析を実行するステップであって、それにより、少なくとも１つの色の強度変化を特定する、ステップと、
   前記色の割合に基づいて、前記複数の移動中の食品をグループとしてスコア付けるステップであって、それにより、グループ外観スコアを取得する、ステップと、
   個々の食品に適用される画像解析に基づいて、個々の各食品をスコア付けるステップであって、それにより、複数の個々の製品スコアを取得する、ステップと、
   を含む、方法。
2. 個々の製品スコアに従って前記個々の食品のそれぞれをランク付けするステップと、
   品質閾値に基づいて前記個々の食品の１つ又は複数を駆出するステップであって、それにより、前記グループ外観スコアを改善する、ステップと、
   を更に含む、請求項１に記載の方法。
3. 前記駆出するステップは、個々にスコア付けられた食品を拒絶する信号を下流のソート機器に送信することを含む、請求項２に記載の方法。
4. 前記品質閾値は、部分的に前記グループ外観スコアに基づいて変更される、請求項２に記載の方法。
5. 前記捕捉するステップは、前記複数の移動中の食品の複数の画像を順次捕捉することと、前記画像解析を実行する前に、前記複数の画像を一緒に結合することとを含む、請求項１に記載の方法。
6. 前記画像は可視スペクトルで捕捉される、請求項１に記載の方法。
7. 前記画像は近赤外線スペクトルで捕捉される、請求項１に記載の方法。
8. 前記画像は紫外線スペクトルで捕捉される、請求項１に記載の方法。
9. 前記画像は、紫外線スペクトルと可視スペクトルとの間の蛍光を使用して捕捉される、請求項１に記載の方法。
10. 前記画像は、可視スペクトルと近赤外線スペクトルとの間の蛍光を使用して捕捉される、請求項１に記載の方法。
11. 前記画像解析は、前記画像を複数のピクセルにピクセル化することと、後続するスコア付けステップのために、各ピクセルを少なくとも２つの色に分類することとを含む、請求項１に記載の方法。
12. 各ピクセルを、各色の異なるレベルの強度を表す２つ以上のサブクラスに分類することを更に含む、請求項１１に記載の方法。
13. 前記ピクセルは、様々な強度の赤、緑、及び青を含む、請求項１１に記載の方法。
14. 前記ピクセルを分類することは、複数の背景ピクセルを特定することを更に含む、請求項１１に記載の方法。
15. 動的食品製造システムにおける監視欠陥用の装置であって、前記装置は、
    画像捕捉装置と、
    アルゴリズムを記憶可能な計算装置であって、前記アルゴリズムのベースは、食品内の色の欠陥の視覚的認識に基づいて定量化されるプリファレンス閾値を含む、計算装置と、
    を備える、装置。
16. 前記ベースは、欠陥を含む面積と食べ物の面積との比率を更に含む、請求項１５に記載の装置。
17. 前記ベースは、各ピクセルの色強度値を特定することを更に含む、請求項１５に記載の装置。
18. 前記撮像捕捉装置は、デジタルカラー画像を捕捉するように動作可能な視覚システムである、請求項１５に記載の装置。
19. 前記計算装置は、前記画像捕捉装置によって捕捉される画像をピクセル化するように更に動作可能である、請求項１５に記載の装置。
20. ソート装置を更に備え、前記ソート装置は前記計算装置と通信する、請求項１５に記載の装置。