JP2022505986A - 食品パックに貼られたラベルを検査する方法および装置 - Google Patents

食品パックに貼られたラベルを検査する方法および装置 Download PDF

Info

Publication number
JP2022505986A
JP2022505986A JP2021523155A JP2021523155A JP2022505986A JP 2022505986 A JP2022505986 A JP 2022505986A JP 2021523155 A JP2021523155 A JP 2021523155A JP 2021523155 A JP2021523155 A JP 2021523155A JP 2022505986 A JP2022505986 A JP 2022505986A
Authority
JP
Japan
Prior art keywords
label
target
target portion
food pack
food
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021523155A
Other languages
English (en)
Other versions
JPWO2020089626A5 (ja
Inventor
マーティン ボーゲダール クリストファーセン,ジョニー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ishida Europe Ltd
Original Assignee
Ishida Europe Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ishida Europe Ltd filed Critical Ishida Europe Ltd
Publication of JP2022505986A publication Critical patent/JP2022505986A/ja
Publication of JPWO2020089626A5 publication Critical patent/JPWO2020089626A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/62Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/68Food, e.g. fruit or vegetables
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

Figure 2022505986000001
食品パックに貼られたラベルを検査する方法であって、ラベルの複数のターゲット部分の位置を決定する工程と、各ターゲット部分を検査して、各ターゲット部分内のテキストおよび/またはグラフィック情報の存在を少なくとも識別する工程と、各ターゲット部分と対応する所定の基準との比較が成功しているかどうかを決定する工程と、成功した比較の総数が所定の許容閾値を下回った場合に、ラベルを許容できないと判定する工程と、を備える。
【選択図】図3

Description

本発明は、食品パックに、特に真空パックされた製品に貼られたラベルを検査するための方法および装置に関する。
食品包装業界では、個々の食品パッケージ上のラベルを検査し、正しいラベルが適切な場所に貼られているか、および、ラベルに正しい情報が印刷されているかを確認するために、視覚システムを採用することが一般的になりつつある。通常ラベルは、プラスチックフィルムで密封された硬いトレイ等の略水平で滑らかな表面に貼られる。ラベルを貼る前に、プリンターにラベルを供給し、日付、バーコード、重量、価格などの現在のまたは固有の情報を各パッケージに設ける。
オーバーヘッドカメラで撮影した画像を使用し、市販の画像処理ソフトウェアを用いて、ラベルの存在、位置、内容を確認するためのさまざまな検査を実行可能である。
ラベルはかなり繰り返し提示されるので、画像検査プログラミングの教育を受けた者が、画像を検査して簡単な合否出力を生成するプログラムを作成することは難しくなく、これを用いてパッケージを合格または不合格とすることができる。
ただし、パックの中には、硬くなく、滑らかでなく、水平でないものもある。関節部位、豚フィレ、ラム脚肉などの肉製品は、通常真空パックされており、即ち、すべての面において製品の輪郭に沿ったプラスチックフィルムで密閉される。ラベルをこのような製品に貼る場合、全体的または部分的に、水平面と垂直面の両方でラベルに角度が生じる場合が多い。さらに、ラベルが滑らかに貼れないことも多く、皺になったり波状になったりして、さらに歪みが生じ、画像内に望ましくないハイライト(真っ白な)領域が生じたりする。
パックごとにラベルの位置と提示とに大きなばらつきがあるため、このことは視覚システムにとって難しい問題である。ラベル上の既知の図形的特徴の位置を見つける従来の画像検索方法を使用し、単純にX、Y、および角度をオフセットして他のすべてのラベルの詳細の位置を見つける方法はうまく機能しない。
過去に採用されてきたこの問題に対する1つの方法は、印刷プロセスの一部として、ラベルの一以上の領域の印刷品質をチェックすることである。これは、ラベルを印刷するときに最も頻繁に使用される印刷プロセスによって可能であるが、いくつかの欠点を有する。
通常、ラベルの印刷は、熱転写印刷を使用して行われる。この印刷方法では、サーマルプリントヘッドと基板との間にインクを担持するリボンを配置し、リボンの基板に近接する側にインクを設ける。プリントヘッドの領域内でリボンと基板とに圧力が加わり、加熱すると、通常はワックスおよび/または樹脂を用いたインクが溶けて基板に付着する。プリントヘッドによって加熱されるリボンの各領域を選択して、基板に付着するワックスによってその領域に画像を作成する。この結果、リボン上にはネガ(negative)画像が残る。
ラベルの印刷品質をチェックするために、リボンに残っているネガ画像の画像を撮影する。次に、この画像を予想即ち意図する画像と直接比較し、ネガ画像が十分に類似している場合、ラベルが正しく印刷されたと判断する。ただし、ラベルが正しく印刷されていても、そのラベルを食品パックに貼り付ける際の問題によって、食品パックに固定した後にラベルが正しく提示されない場合がある。この原因の1つは、通常、ラベルは裏紙に貼り付けられた状態で印刷され、その後食品パックにラベルを機械的に移動させる際に不具合が生じる可能性があり、例えばラベルが破れたり皺になったりする。また、正しく印刷されたラベルを、誤って間違った食品パックに貼り付けてしまうという問題もある。
したがって、特定の状況では、転写リボンを検査する方が従来の検査方法よりも好ましい場合もあるが、ラベルを検査するためのより改善された方法がなお必要である。
同様の問題は、特許文献1(特開2015-130125号公報)に開示される食品ラベル検査装置の場合にも生じる。この装置は、食物アレルギーに関連する情報の印刷ミスを検出するよう構成される。ただし、ラベルは、食品パックに貼り付ける前に検査される。そのため、食品パックに貼り付けた後、ラベルが適切に提示されているかどうかを判断することはできず、食品パックの表面が硬くなく滑らかでない場合に特に問題となる。また、誤ってラベルを間違った食品パックに貼り付けて、これが見過ごされる可能性もある。
本発明の第一態様によれば、食品パックに貼られたラベルを検査する方法は、
a)ラベルの複数のターゲット部分の位置を決定する工程と、
b)各ターゲット部分を検査して、各ターゲット部分内のテキストおよび/またはグラフィック情報の存在を少なくとも識別する工程と、
c)i)各ターゲット部分と対応する所定の基準との比較が成功しているかどうかを決定する工程と、
ii)成功した比較の総数が所定の許容閾値を下回った場合に、ラベルを許容できないと決定する工程と、を備える。
この新たな方法において、発明者らは、一以上のターゲット部分が検査の際に十分に提示されない可能性があることを認識し、これに対処するために、複数のターゲット部分を検査し、それらと対応する所定の基準との比較が成功している程度を評価し、成功した比較の総数が所定の許容閾値を下回っている場合にそのラベルが許容できないと判断する。言い換えると、1つのターゲット部分の比較の成功に依存するのではなく、複数のターゲット部分を比較し、ターゲット部分ごとに異なる基準を使用する。この新たな方法は、ラベルが正しく印刷されていても、食品パックに貼り付けた後に正しく提示されない場合があるという従来技術の問題を解決する。
「異なる基準」を使用するとは、ターゲット部分が異なれば提示も異なることが予想され、その結果、各ターゲット部分に対して異なる比較が行われるであろうことを意味する。通常、これは、各ターゲット部分をそのターゲット部分の予想または参照データと比較することを意味し、この予想または参照データは、ターゲット部分の予想される外観を示すデータである。比較することによって、各ターゲット部分が対応する予想または参照データと一致する程度を示し得るが、ターゲット部分が予想または参照データと一致する程度が所定の比較閾値を超える場合、比較が成功したと見なされる。いくつかの実施形態では、ターゲット部分の少なくとも1つが、他の少なくとも1つのターゲット部分とは異なる比較閾値を有してもよい。実際には、ターゲット部分ごとに異なる比較閾値があってもよい。
本発明の任意の実施形態では、ラベルを食品パックに貼り付ける前に、印刷リボンの検査も実施される。この検査でラベルが正しく印刷されていないことがわかった場合、このラベルは不合格とする。逆に、この検査でラベルが正しく印刷されているとわかった場合は、ラベルを食品パックに貼り付け、その後、ラベル自体の検査を行う。これにより、ラベルが少なくとも正しく印刷されていることを確認することができ、その後のラベルの検査では、食品パックに貼り付けられたラベルが正しく提示されていることを確認することができる。印刷リボンを検査することの利点は、ラベルの検査中にオペレータに一以上のターゲット部分が見えなくても、それらのターゲット部分が少なくとも正しく印刷されていると確信できることである。したがって、印刷リボンを検査することで、ラベルの検査結果に対する信頼性が高まる可能性がある。
各ターゲット部分を同様の重要性に基づいて評価することもできるが、一以上のターゲット部分を重要であると分類することが好ましく、上記方法は、c)iii)一以上の重要なターゲット部分と対応する所定の基準との比較が成功していない場合に、ラベルを許容できないと決定する工程を備えてもよい。
ターゲット部分の例は以下の通りである。
食品パック上のラベルの存在、
梱包日、
バーコードの存在、
バーコードそのもの、
賞味期限、
重量、QRコード(登録商標)、
価格、および/または
製造日。
いくつかのターゲット部分が重要であると分類される実施形態において、上述のいずれかを重要と分類してもよい。ただし、このようの実施形態において、少なくとも食品パック上のラベルの存在、梱包日、およびバーコードの存在が、重要と分類されることが好ましい。
実際には、どの種類のターゲット部分を重要と分類するかをユーザが判断でき、これは用途によって変わってくるであろう。
ターゲット部分の位置を決定できるいくつかの既知の方法が存在するが、好ましい例では、工程a)が、
ai)食品パックを走査して、ラベルを含む食品パックの領域の画像を取得する工程と、
aii)第一解像度の走査画像を所定のラベル部分テンプレートと比較することにより、食品パック上のラベルの位置を決定する工程と、
aiii)ラベルの位置を利用して、各ターゲット部分の位置を決定する工程と、を備える。
これにより、比較的大まかな走査を実行して、ラベルの角部の座標等のラベルの全体的な位置を決定することができ、そこから、標準的な未使用のラベル上での各ターゲット部分の位置に関する情報を用いて各ターゲット部分の位置を決定することができる。
通常、工程ai)およびaiii)は、工程aii)で使用する解像度よりも高い解像度で実施される。
つまり、工程aii)は、ターゲット部分を検査する工程と比較してかなり低解像度で実行される。検索プロセスでは、提示されたラベル画像の変動に対する感度を低くできる可能性があり、提示がかなり不十分なラベルであっても検索が成功するからである。このように、工程ai)で走査する領域が十分に大きければ、通常、所定のラベル部分のテンプレートに見られる様子を特定することが可能であり、より低解像度で動作することで比較的素早くこの作業を完了することができる。
いくつかの例では、食品パックを高解像度で走査し、その後、低解像度で再走査することができる。ただし、食品パックを高解像度で走査し、低解像度バージョンの画像は、補間などを使用して高解像度バージョンから取得することが好ましい。
いずれの場合も、本方法は、工程aii)の後に、工程aiii)で使用するために第2の解像度でのラベルの位置を計算する工程をさらに含むことが好ましい。
解像度と解像度同士の関係との選択は、通常、処理される特定の食品パックに応じて経験的に決める必要がある。典型的な低解像度は約2画素/mmであり、典型的な高解像度は10画素/mmである。このように、高解像度は低解像度の5倍とするが、他の関係であってもよい。
所定のラベル部分テンプレートは、ラベルの提示が不十分な場合でも、ラベルの対応する領域を識別できるように選択する。既知のラベル表面全体に対応するテンプレートを用いて行うことが好ましいが、場合によっては、ラベル表面のより小さな部分に対応するテンプレートを使用してもよい。別の方法では、色相、輝度、強度のうちの一以上で検出可能なまたは急峻な遷移を有する境界線を示すような既知のラベルの一部を特定することで、ラベルの提示が不十分な場合にもより簡単に検出可能となるようにする。
一般に、所定のラベル部分テンプレートが、グラフィック画像を提示する既知のラベルの一部を定義することが好ましい。テキストを含む部分よりもグラフィック画像を含む部分の方が容易に識別されるからである。ただし、特定のテキスト部分をこの目的に利用することもできる。
ただし、好ましい方法では、工程aii)が、走査画像の幾何学的特徴をラベル部分テンプレートと比較する工程を含む。
工程b)は通常、テキストを含むことが予想されるターゲット部分にはテキスト認識アルゴリズムを適用し、グラフィック画像を含むことが予想されるターゲット部分にパターンマッチングアルゴリズムを適用する工程を備える。工程b)および工程c)ではより高い精度が求められるため、工程a)は、工程b)および/または工程c)で使用されるテキストおよび/またはパターンマッチングアルゴリズムの信頼水準よりも低い信頼水準に設定された閾値を有するパターンマッチングアルゴリズムを使用して実行されることが好ましい。
通常、ラベルは、工程b)および工程c)で適用されるアルゴリズムが予想する向きでは提示されないだろう。そうすると、識別された各ターゲット部分も正しい向きで提示されないことになる。これについては、ラベルの向きに応じてアルゴリズムを変更することで対処可能である。
本発明の第二態様において、食品パックに貼られたラベルを検査するための装置は、食品パックを走査するための走査システムと、走査システムによって取得されたデータに基づいて、本発明の第一態様に記載の方法を実行するよう構成した処理手段と、を備える。
典型的には、この走査システムは、第2の高解像度でラベルを走査するよう構成可能な単一の走査ステーションを含み、一方、処理手段は、ラベルの位置を決定する際に使用するための第1の低解像度バージョンを形成するよう構成する。
通常、走査は可視波長範囲で実行されるが、場合によっては、隠された特徴を識別するために、可視外のターゲット部分を走査することもできる。
検査の結果に応じて、食品パックを合格として食品包装作業の次のプロセスに供給するか、または従来の方法で食品パックを拒否する場所へと迂回させることによって不合格とする。
本発明の方法および装置の例について、添付の図面を参照しながら説明する。
食品パック上のラベルの写真画像であり、ラベルが歪む可能性のあるさまざまな状態を示す図である。 食品パック上のラベルの写真画像であり、ラベルが歪む可能性のあるさまざまな状態を示す図である。 食品パック上のラベルの写真画像であり、ラベルが歪む可能性のあるさまざまな状態を示す図である。 食品パック上のラベルの写真画像であり、ラベルが歪む可能性のあるさまざまな状態を示す図である。 歪んでいないラベルを示す図である。 装置の一実施形態の概略図である。 図2に示す装置の動作を示すフローチャートである。 図3の特定の工程をより詳細に示すフローチャートである。 図3の特定の工程をより詳細に示すフローチャートである。 図3の特定の工程をより詳細に示すフローチャートである。 ラベル部分のテンプレートの大きさと実際のラベル部分とを比較した例を示す図である。 ラベルの一部の向きを補正する方法を示す図である。 ラベルの一部の向きを補正する方法を示す図である。
上述のように、本発明は、特にラベルを提供する食品パックの表面に凹凸がある場合の、食品パック上のラベルの検査に関する。この問題は、真空パックフィルムが製品の輪郭に沿っている真空パック製品で特に発生する。図1A~図1Dは、ラベルが貼られた真空パック製品であって各ラベルが歪んでいる4つの異なる例を示す図である。
歪みがあったとしても、ラベルからデータを取得して、これをチェックし、パックを検証できるようにする必要がある。ラベルが都合よく平らに提示されることを期待するシステムを使用している場合、ラベルのデータが正確に読み取られず、食品パックが不合格となって、大量の廃棄物が発生してしまう可能性がある。
図2は、食品パックのこれらのラベルを検査するための装置の例を示す図である。この装置は、典型的には食品が配置されて真空パックされたプラスチックトレイである食品パック3が供給される従来形式のコンベア1を備える。トレイが省略される場合もある。図において、ラベル5は、食品パック3の外面に貼り付けられる。
最初に食品パックは、走査システム10に供給される。食品パックの到着は、光ビームなどを用いたセンサ12によって検出され、その出力は、機械制御装置15に送られる。
走査システム10は、レンズ22を備えた線走査(line-scanning)カメラ20を備え、その下に位置する食品パック3の表面上でラスター走査を行うように制御することができる。或いは、表面全体を一度に撮影するエリアスキャンカメラを使用することもできるが、この場合は、高解像度で鮮明な画像を得るために、高輝度の大面積照明が必要となる。好ましくは線走査カメラを用いるが、可変長の画像を得られるという利点があるからである。
走査システム10内のLEDアレイなどの光源24は、機械制御装置15からのトリガ信号に応じて光制御装置26によって制御される。
食品パック3の走査準備が整えば、機械制御装置15からの制御トリガ信号によってカメラ20が作動し、その後カメラ20が、食品パック3の表面上で線状に並んだ画素を連続的に撮影する。その結果得られた画素データは、コンピュータ28に供給される。コンピュータ28は、ラベルから得られた情報に基づいて食品パック3が合格かどうかを判断し、適切な結果を機械制御装置15に出力する。
次に、機械制御装置15は、ラベルが合格であれば、食品パック3を梱包プロセスの次の段階へと送るようにコンベアを制御するか、または食品パック3を(図示しない)排除位置へと誘導するための誘導アームなどの排除装置30を作動させる。走査システム10と連動してコンピュータ28によって実行されるプロセスについて以下に説明する。
最初に、工程S50(図3)において、食品パック3は、コンベア1によって走査システム10へと送られる。
機械制御装置15は、食品パック3が到着したことを示す製品センサ12からの信号に応答して、トリガ信号を光制御装置26とカメラ20とに送信して、ラベル5があると予測される食品パック3の表面の領域を照らすよう照明24を点灯させ、カメラ20は、照らされた領域の連続画素を高解像度のラスター方式で走査するよう動作する(工程S52)。適切な解像度の例は、10画素/mmである。
ピクセル毎の走査画像データは、通常8ビットモノクロであって、すなわち強度を定義する(ただし、LCHまたはCMYKデジタルデータで定義することができる)。このデータは、コンピュータ28に供給され、メモリ(図示せず)に格納される。コンピュータが、通常2画素/mmの低解像度即ち縮小解像度バージョンの画像を生成し保存する(工程S53)。
次に、コンピュータ28は、縮小解像度の画像を、同じくコンピュータ28に格納されている所定のラベル部分テンプレート110(図1E)と比較する(工程S54)。ラベル部分テンプレートは、既知のラベルのユーザ定義領域であり、ラベルが歪んだ状態にある場合でも検出に適している。例えば、明度または強度の遷移を検出できるので、明るい境界線で囲まれた暗い領域を有するラベル部分が適している。一般に、グラフィック情報を有するラベル部分は、より容易に識別されるので、テキストのみを有する部分よりも好ましい。さらに、テンプレートの少なくとも一部の一致が得られるように、例えば80%以上等のラベルの比較的広い領域を定義するテンプレートを使用することも好ましい。
工程S54は、既知のマッチングアルゴリズムを使用するが比較的低い許容スコア設定を使用する、特徴線に基づく幾何学的マッチングプロセスを適用する工程を含む。位置情報にのみ使用するので、提示された特徴内の理想からの変位を許容することができる。例えば、Teledyne Dalsa社が販売している画像処理ソフト「Sherlock」を使用して、「Search-Geometric」というパターンマッチングツールを用いる。
図6は、ラベル100を有するパッケージの例を示す図であって、四角形の輪郭102によって、ラベル部分テンプレートを定義する領域を示している。当然、ラベル100は、テンプレート102と正確に位置合わせされて走査システムに提示されない場合があるので、一致比較を最適化するために従来の補間技術などを使用して走査データの何らかの再位置合わせが必要となるかもしれない。
ここで説明した処理の出力は、典型的には、図6の104で示されるように、座標原点が画像の左上にある、見つかったラベル部分の位置と角度となる。位置は、検出された領域の中心によって定義し、図6に示す水平軸に対する検出されたラベルの向きをさらに決定する(工程S56)。
この時点で、走査したラベル105(図1E)の位置は、図6の104に示すような画像の左上にある座標原点(X=0、Y=0)を基準にして定義され、解像度を下げた場合の画素位置で定義され、例えば、X=300、Y=200とする。次に、コンピュータ28によって、この位置を、10画素/mmの高解像度での対応位置、すなわち、X=1500、Y=1000の位置に変換する(工程S58)。向きの角度は両方の解像度で同じであるので変換する必要はない。
ラベルの位置がその向きとともに決定されると、ラベルの一以上のターゲット部分が配置されると予想され、検査が望まれる領域を特定することが可能となる。つまり、既知のラベル(図1E)には、検査が必要な特定のターゲット部分がある(工程S60)。ターゲット部分には、次のような項目(幾つかは図1Eに示される)が含まれる。
ロゴタイプ112
製品名114
賞味期限120
製造日118
重量116
価格
価格/kg
バッチコード
バーコード122
DatamatrixまたはQRコード(登録商標)
獣医検印(コードを含む楕円形のシンボル)
バーコードの下に印字された数字
栄養価の表
成分表
出生、飼育、屠殺、梱包した国
ターゲット部分を選択すると(工程S60A、図4)、コンピュータ28を制御して(工程S60B)、走査ラベルの決定した座標原点に対して、ターゲット部分が存在すると予想される高解像度データの領域の場所を見つける。このプロセスでは、パターンマッチングアルゴリズム(「パターンの検証」で設定した上記のSherlock)を使用して、ターゲット部分のおおよその領域を特定し、ターゲット部分の向きとともにターゲット部分の原点のX座標とY座標を出力する(工程S60C)。パターンマッチングアルゴリズムでは、局所レベルでの歪みに対処するために、必要なパターンマッチングスコアを低くすることによって感度を低下させておく。
ターゲット部分の座標原点が決定され、その向きが既知になると、対応するターゲット部分の検査窓がターゲット部分と位置合わせされ、窓内の高解像度データの画素が走査される(工程S60D)。図7Aは、重量「1214」によって定義されるターゲット部分70と、提示されたときに食品パック上に重ねられた長方形の検査窓72とを示す図である。
ターゲット部分の正確な位置および向きが分かるので、コンピュータ28は、窓72を回転させてターゲット部分70と位置合わせし(図7B)、位置合わせに続いて、ターゲット窓内の情報を、OCR技術などを使用して、格納された高解像度から読み取ることができ、読み取ったデータをその後記憶する(工程S60E)。
この処理(工程S60)の出力は、通常、上述したように、重量、価格などの情報を定義するプレーンテキストである。
このプロセスを他のターゲット部分に対して必要に応じて繰り返し、ラベル上の複数種類のデータに関する情報を構築する。いくつかの部分は図形であり、OCRの代わりにパターンマッチングアルゴリズムを使用する。
いずれの場合も、より高い許容スコアが設定され、例えば、70%程度である(工程S54で使用したものよりもはるかに高い)。
次に、提示されたラベルが満足いくものかどうかを判断するために、ターゲット部分から読み取った情報(テキストや図形)を検討する(工程S62)。
最初に、工程S62A(図5A)において、ターゲット部分の予想データを読み込み、処理装置が、このデータが重要と分類されているかどうかを以前に格納したディレクトリで調べてもよい(工程S62B)。ラベルが許容可能であると判断されるには、重要なターゲット部分(たとえば、ラベルの存在)と対応する所定の基準との比較が成功しなければならない。
ターゲット部分のデータが重要でない場合、工程S62Cを実行し、走査データを予想または参照データと比較する。この比較が成功して一致の程度が所定の比較閾値を超える場合(工程S62D)、比較が成功したターゲット部分を計数するカウンタでの数を1つ増やし(工程S62E)、処理は工程S62Fに進む。一方、工程S62Cでの比較が成功しなかった場合、カウンタの数は増やされず、処理は工程S62Fに移る。
工程S62Cでターゲット部分と予想データとの比較に失敗した場合は、工程S62Dから処理をそのまま工程S62Fに進め、カウンタの数は増加させない。
工程S62Cにおいて通常、異なるターゲット部分には異なる予想または参照データが使用される。例えば、走査したバーコードは、そのバーコードの予想される外観を示すデータと比較し、走査した賞味期限は、予想される外観が異なる。一致度についても、工程S62Dにおいて、異なるターゲット部分については異なる所定の比較閾値を超えることが要求されるかもしれない。
工程S62Bにおいて、ターゲット部分が重要なターゲット部分であると判断された場合、工程S62Gにおいて、そのターゲット部分についての走査データが予想または参照データと比較される。比較が成功した場合(工程S62H)、比較が成功したターゲット部分のカウンタの数を増やして(工程S62I)、処理は工程S62Fに移る。
工程62Gでの比較が成功しなかった場合、ラベルを直ちに不合格とする(工程S66)。これは、重要なターゲット部分についてはその全てが、事前に定義された参照データとの比較に成功する必要があるためである。
工程S62Cおよび工程S62Dと同様に、工程S62Gにおいて異なるターゲット部分には異なる予想または参照データが通常使用され、一致度についても、工程S62Hにおいて、各ターゲット部分について異なる所定の比較閾値を超えることが期待されるかもしれない。
工程S62Fで、さらなるターゲット部分を評価する必要があるかどうかの判断がなされ、評価する必要がある場合には、処理は工程S62Aに戻る。それ以外の場合は、工程S64に移行する。
図5Bは、データが重要か重要でないかのいずれかに分類されない実施形態についての工程S62Cから工程S64への流れを示すフローチャートである。図5Aと同様に、工程S62Aでは、ターゲット部分の予想データが読み込まれる。データが重要データ、非重要データに分類されないので、工程S62Bは省略され、処理は工程S62Cに進む。
工程S62Cでは、走査データを、予想または参照データと比較する。この比較が成功して一致の程度が所定の比較閾値を超える場合(工程S62D)、正常に比較されたターゲット部分を計数するカウンタでの数を1つ増やし(工程S62E)、処理は工程S62Fに進む。一方、工程S62Cでの比較が成功しなかった場合、カウンタの数は増加されず、処理は工程S62Fに移る。
工程S62Cでターゲット部分と予想データとの比較に失敗した場合は、工程S62Dから処理をそのまま工程S62Fに進め、カウンタの数は増加させない。
工程S62Cにおいて通常、異なるターゲット部分には異なる予想または参照データが使用される。例えば、走査したバーコードは、そのバーコードの予想される外観を示すデータと比較し、走査した賞味期限は、予想される外観が異なる。一致度についても、工程S62Dにおいて、異なるターゲット部分については異なる所定の比較閾値を超えることが要求されるかもしれない。
工程S62Fで、さらなるターゲット部分を評価する必要があるかどうかの判断がなされ、評価する必要がある場合には、処理は工程S62Aに戻る。それ以外の場合は、工程S64に移行する。
工程S64において、製品を先に進めるのにラベルが満足いくものであるか(工程S68)、または満足のいかないものであって製品を不合格としなければならないか(工程S66)について決定する。これは、比較が成功したターゲット部分の総数を、所定の許容閾値と比較することで行われる。比較が成功したターゲット部分の総数が所定の許容閾値を越える場合には、ラベルを受け入れる。そうでない場合、そのラベルを拒否する。
あらかじめ決められた条件の集合の中で、まず、(上述のように)重要な検査として選択された検査を成功させると同時に、最低数の検査を成功させなければならない。その結果、システムは不完全さに寛容になるが、全体としては、ラベルが貼られており、少なくとも何らかの情報がラベルに印刷されたことが明確に示される。これに基づけば、同じデバイスで印刷が行われるので、すべての領域が正しく印刷されている可能性が高くなる。
図1Eのラベルの図を用いて、所定の条件の異なる集合の例を以下に示す。
例1:初期ラベル検索;重要に設定
賞味期限;非重要に設定
重量;非重要に設定
梱包日;非重要に設定
バーコード;非重要に設定
図形機能としてのバーコード;重要に設定
全体的に必要なスコアを3に設定する。つまり、2つの重要なターゲット部分と少なくとも1つの重要でない部分の比較を成功させる。
所定の条件についての別の集合では、全体的に必要なスコアを4に設定し、いずれのターゲット部分も重要と設定しない。
例2:初期ラベル検索;重要に設定
賞味期限;非重要に設定
重量;非重要に設定
梱包日;重要に設定
バーコード;非重要に設定
図形機能としてのバーコード;非重要に設定
全体的に必要なスコアを5に設定する。つまり、2つの重要なターゲット部分と少なくとも3つの重要でないターゲット部分。
例1では、ラベルが存在し、バーコードのような機能(バーコードになる)と少なくとも1つの他の項目(バーコードデータ、QRコード(登録商標)、重量、または日付)が存在することが保証される。
例2では、ラベルと多くの項目の存在が保証されるが、全体的に必要なスコアに達しない可能性があるため、不合格とされるケースが多くなる可能性がある。
処理対象のラベルに応じて多くの異なる組み合わせを事前に決定でき、誤ったラベルを間違って受け入れるリスクと、廃棄されるラベルや食品パックによる廃棄物のレベルが増加することとのバランスを上手くとるように組み合わせを選択できることがわかる。
所定の条件には、各ターゲット部分が、10または20などの所定の数の食品パックに関して少なくとも1回、対応する所定の基準との比較に成功したことを判断する、(図示しない)更なる工程を含めてもよい。この比較がうまくいかなかった場合、例えば、どの食品パックにもバーコードがついていなかった場合などに処理が停止される。
前述のように、ラベルの検査は、印刷段階での検査と連動して行ってもよい。具体的には、熱転写方式でラベルを印刷する場合、印刷処理の際に使用したリボンに残ったラベルのネガ画像を検査することで、印刷の品質を確認することができる。
印刷リボンは略平坦であるため、印刷リボンのネガ画像を予想または意図した画像と比較するだけで検査を実行できる。両者の類似性が所定の閾値を下回った場合、そのラベルは受け入れられず破棄される。類似性が上記の閾値を超える場合、ラベルを食品パックに貼付する。
印刷リボンを検査すると、ラベル自体の検査結果の信頼性が向上するという利点がある。ラベルの検査中にターゲット部分のいくつかが見えなくても、それらの部分は少なくとも正しく印刷されているからであって、正しく印刷されていなければ、そのラベルが食品パックに貼られることはなかったからである。
ラベルが食品パックに貼り付けられると、上述のラベルの検査が実行される。この検査は通常、印刷リボンがすでに検査されたかどうかに関係なく上述したものと同じであって、ターゲット部分の数が特定され、予想または参照データと比較されて、ラベルが満足のいくものと見なされるには十分な数のターゲット部分の比較が成功するかどうかが判断される。上述のように、いくつかのターゲット部分を重要と見なしてもよい。この検査でラベルが許容できないことが示された場合、食品パックは次の生産段階に進むことができない。ラベルの検査のいずれもがラベルが受け入れられないと示していない場合には、その食品パックは生産の次の段階に進むことができる。
特開2015-130125号公報

Claims (19)

  1. 食品パックに貼られたラベルを検査する方法であって、
    a)前記ラベルの複数のターゲット部分の位置を決定する工程と、
    b)前記ターゲット部分を検査して、各ターゲット部分内のテキストおよび/またはグラフィック情報の存在を少なくとも識別する工程と、
    c)i)各ターゲット部分と、対応する所定の基準との比較が成功したかどうかを決定する工程と、
    ii)成功した前記比較の総数が所定の許容閾値を下回った場合に、前記ラベルを許容できないと判定する工程と、
    を備える方法。
  2. 一以上のターゲット部分を重要と分類し、これにより、さらに
    c)iii)一以上の重要な前記ターゲット部分と、対応する所定の基準との比較が成功していない場合に、前記ラベルを許容できないと判断する工程を備える、
    請求項1に記載の方法。
  3. 前記対応する所定の基準が、前記ターゲット部分の予想される外観を示す予想または参照データを含む、
    請求項1または2に記載の方法。
  4. 各ターゲット部分と対応する所定の基準との前記比較が、前記ターゲット部分が前記予想または参照データと一致する程度を示す、
    請求項3に記載の方法。
  5. 前記ターゲット部分が前記予想または参照データと一致する前記程度が所定の比較閾値を越えていれば、前記比較が成功している、
    請求項4に記載の方法。
  6. 前記ターゲット部分の少なくとも1つが、少なくとも1つの他のターゲット部分とは異なる所定の比較閾値を有する、
    請求項5に記載の方法。
  7. 前記ターゲット部分が、
    前記食品パック上のラベルの存在、
    梱包日、
    バーコードの存在、
    前記バーコードそのもの、
    賞味期限、
    重量、
    QRコード(登録商標)、
    価格、
    製造日、
    のうちの1以上から選択される、
    請求項1から6のいずれか1項に記載の方法。
  8. 工程a)が、
    ai)前記食品パックを走査して、ラベルを含む前記食品パックの領域の画像を取得する工程と、
    aii)前記走査画像と、所定のラベル部分テンプレートと比較することにより、前記食品パック上の前記ラベルの位置を決定する工程と、
    aiii)前記ラベルの位置を利用して、前記ターゲット部分の位置を決定する工程と、
    を備える、
    請求項1から7のいずれか1項に記載の方法。
  9. 工程ai)および工程aiii)が、工程aii)で使用する解像度よりも高い解像度で実施される、
    請求項8に記載の方法。
  10. 工程aii)で使用される低解像度バージョンが、工程ai)で使用される高解像度バージョンから得られる、
    請求項9に記載の方法。
  11. 前記高解像度が前記低解像度の2倍を超え、好ましくは前記低解像度の最大5倍である、
    請求項9または10に記載の方法。
  12. 工程b)は、テキストを含むことが予想される前記ターゲット部分の少なくとも1つに、テキスト認識アルゴリズムを適用する工程を備える、
    請求項1から11のいずれか1項に記載の方法。
  13. 工程b)は、グラフィック画像を含むことが予想される前記ターゲット部分の少なくとも1つに、パターンマッチングアルゴリズムを適用する工程を備える、
    請求項1から12のいずれか1項に記載の方法。
  14. 工程b)および/または工程c)で使用されるテキスト認識アルゴリズムおよび/またはパターンマッチングアルゴリズムの信頼水準よりも低い信頼水準に設定された閾値を有するパターンマッチングアルゴリズムを使用して工程a)が実行される、
    請求項1から13のいずれか1項に記載の方法。
  15. 工程a)は、各ターゲット部分の向きを決定する工程を備え、工程b)は、この向きを考慮しながら前記ターゲット部分の検査を実施する、
    請求項1から14のいずれか1項に記載の方法。
  16. 前記食品パックが凹凸のある表面を有し、その上に前記ラベルが提供される、
    請求項1から15のいずれか1項に記載の方法。
  17. 前記食品パックが、前記ラベルが貼り付けられたフィルムで真空パックされた食品を含む、
    請求項1から16のいずれか1項に記載の方法。
  18. 前記ラベルは、前記食品パックの曲面または傾斜した表面に設けられる、
    請求項1から17のいずれか1項に記載の方法。
  19. 食品パックに貼付されたラベルを検査するための装置であって、
    前記食品パックを走査するための走査システムと、
    前記走査システムによって取得されたデータに基づいて、請求項1から18のいずれか1項に記載の方法を実行するよう構成された処理手段と、
    を備える装置。
JP2021523155A 2018-10-31 2019-10-30 食品パックに貼られたラベルを検査する方法および装置 Pending JP2022505986A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GBGB1817808.7A GB201817808D0 (en) 2018-10-31 2018-10-31 Method and apparatus for inspecting a label attached to a food pack
GB1817808.7 2018-10-31
PCT/GB2019/053079 WO2020089626A1 (en) 2018-10-31 2019-10-30 Method and apparatus for inspecting a label attached to a food pack

Publications (2)

Publication Number Publication Date
JP2022505986A true JP2022505986A (ja) 2022-01-14
JPWO2020089626A5 JPWO2020089626A5 (ja) 2022-09-08

Family

ID=64655357

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021523155A Pending JP2022505986A (ja) 2018-10-31 2019-10-30 食品パックに貼られたラベルを検査する方法および装置

Country Status (5)

Country Link
US (1) US20210406571A1 (ja)
EP (1) EP3874405A1 (ja)
JP (1) JP2022505986A (ja)
GB (1) GB201817808D0 (ja)
WO (1) WO2020089626A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023223883A1 (ja) * 2022-05-17 2023-11-23 ブラザー工業株式会社 コンピュータプログラム、および、データ処理装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD955478S1 (en) * 2020-12-09 2022-06-21 Cj Cheiljedang Corporation Label
USD961679S1 (en) * 2020-12-09 2022-08-23 Cj Cheiljedang Corporation Label

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11232455A (ja) * 1998-02-09 1999-08-27 Hitachi Nishi Service Engineering:Kk 印字検査装置
US20020087574A1 (en) * 2000-12-15 2002-07-04 Walsh Terrence P. Method for automating inspecting labels
JP2005022266A (ja) * 2003-07-02 2005-01-27 Kawashima Packaging Mach Ltd 印刷検査システム
JP2015130125A (ja) * 2014-01-08 2015-07-16 リコーエレメックス株式会社 食品用ラベル検査装置及び食品用ラベル検査装置の制御方法
JP2017096749A (ja) * 2015-11-24 2017-06-01 株式会社キーエンス 位置決め方法、外観検査装置、プログラム、コンピュータ可読記録媒体および外観検査方法
JP2018052573A (ja) * 2016-09-30 2018-04-05 日本ジェネリック株式会社 検品装置及びこれを用いた検品方法
JP2018066660A (ja) * 2016-10-20 2018-04-26 株式会社寺岡精工 検査装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11232455A (ja) * 1998-02-09 1999-08-27 Hitachi Nishi Service Engineering:Kk 印字検査装置
US20020087574A1 (en) * 2000-12-15 2002-07-04 Walsh Terrence P. Method for automating inspecting labels
JP2005022266A (ja) * 2003-07-02 2005-01-27 Kawashima Packaging Mach Ltd 印刷検査システム
JP2015130125A (ja) * 2014-01-08 2015-07-16 リコーエレメックス株式会社 食品用ラベル検査装置及び食品用ラベル検査装置の制御方法
JP2017096749A (ja) * 2015-11-24 2017-06-01 株式会社キーエンス 位置決め方法、外観検査装置、プログラム、コンピュータ可読記録媒体および外観検査方法
JP2018052573A (ja) * 2016-09-30 2018-04-05 日本ジェネリック株式会社 検品装置及びこれを用いた検品方法
JP2018066660A (ja) * 2016-10-20 2018-04-26 株式会社寺岡精工 検査装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YUHKI SHIRAISHI ET AL.: ""Development of a Portable Automatic Inspection System for Printed Labels Using a Web Camera"", 2008 EIGHTH INTERNATIONAL CONFERENCE ON INTELLIGENT SYSTEMS DESIGN AND APPLICATIONS, JPN6023026942, 26 November 2008 (2008-11-26), US, pages 381 - 385, XP031368649, ISSN: 0005099241 *
青木 義満: ""画像処理入門テキスト 〜マシンビジョンにおけるパターン検出手法〜"", 月刊「画像ラボ」 2008年4月号 特別付録, JPN6023026943, 10 April 2008 (2008-04-10), JP, pages 1 - 11, ISSN: 0005099240 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023223883A1 (ja) * 2022-05-17 2023-11-23 ブラザー工業株式会社 コンピュータプログラム、および、データ処理装置

Also Published As

Publication number Publication date
EP3874405A1 (en) 2021-09-08
WO2020089626A1 (en) 2020-05-07
GB201817808D0 (en) 2018-12-19
US20210406571A1 (en) 2021-12-30

Similar Documents

Publication Publication Date Title
JP2022505986A (ja) 食品パックに貼られたラベルを検査する方法および装置
CA2231450C (en) System and method for reading package information
US4872024A (en) Print inspection method, print inspection apparatus and automatic print sorting system
JP5776085B2 (ja) アイテム識別のための方法およびシステム
US20210150695A1 (en) Inspection device
JPH11502348A (ja) 基準マークの位置および方向の検出方法
JP6344389B2 (ja) 光学文字認識装置
KR20100127287A (ko) 아이템 생산 제어 방법 및 시스템
JP6852518B2 (ja) 宛先認識装置、小包自動区分システム、宛先認識方法及びプログラム
JP7427684B2 (ja) 薬剤照合システム、薬剤管理方法及びプログラム
JP6628336B2 (ja) 情報処理システム
CN111652541B (zh) 工业生产监测方法、系统以及计算机可读存储介质
JP2019105610A (ja) 歪み画像検査装置および歪み画像検査方法
US11712807B2 (en) Image processing apparatus, robot and robot system
EP2412453B1 (en) Article sorting machine, article sorting method, and computer program product
KR102617048B1 (ko) 적외선 및 가시광 카메라를 이용한 라벨 인식 시스템 및 그 방법
CN114341938A (zh) 检视方法和装置
JP2006035505A (ja) 印刷物の検査方法及び装置
JP2020024110A (ja) 検査装置および検査方法
JP6459528B2 (ja) 画像補正装置、画像補正システム、画像補正方法、及び画像補正プログラム
JP2020024111A (ja) 検査装置および検査方法
TWI817265B (zh) 輸送帶上的物件追蹤及導引系統及其方法
WO2019003686A1 (ja) 荷物認識装置、荷物仕分けシステムおよび荷物認識方法
EP4207092A1 (en) A system and a method for categorizing a product or packet
US20230398776A1 (en) Inspection apparatus, inspection method, and storage medium

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220831

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220831

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230626

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230704

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240213