JP2022526967A - シールの完全性のインライン検査のためのシステム - Google Patents

シールの完全性のインライン検査のためのシステム Download PDF

Info

Publication number
JP2022526967A
JP2022526967A JP2021558659A JP2021558659A JP2022526967A JP 2022526967 A JP2022526967 A JP 2022526967A JP 2021558659 A JP2021558659 A JP 2021558659A JP 2021558659 A JP2021558659 A JP 2021558659A JP 2022526967 A JP2022526967 A JP 2022526967A
Authority
JP
Japan
Prior art keywords
seal
image data
layer
visual system
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021558659A
Other languages
English (en)
Other versions
JPWO2020210574A5 (ja
Inventor
リー,ホンレイ
メータ,カルピット・シャイレッシュ
ベケレ,ソロモン
ジョーンズ,デウィット
ヒューイット,マーシャル
Original Assignee
クライオバック・エル・エル・シー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クライオバック・エル・エル・シー filed Critical クライオバック・エル・エル・シー
Publication of JP2022526967A publication Critical patent/JP2022526967A/ja
Publication of JPWO2020210574A5 publication Critical patent/JPWO2020210574A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01MTESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M3/00Investigating fluid-tightness of structures
    • G01M3/02Investigating fluid-tightness of structures by using fluid or vacuum
    • G01M3/04Investigating fluid-tightness of structures by using fluid or vacuum by detecting the presence of fluid at the leakage point
    • G01M3/20Investigating fluid-tightness of structures by using fluid or vacuum by detecting the presence of fluid at the leakage point using special tracer materials, e.g. dye, fluorescent material, radioactive material
    • G01M3/22Investigating fluid-tightness of structures by using fluid or vacuum by detecting the presence of fluid at the leakage point using special tracer materials, e.g. dye, fluorescent material, radioactive material for pipes, cables or tubes; for pipe joints or seals; for valves; for welds; for containers, e.g. radiators
    • G01M3/226Investigating fluid-tightness of structures by using fluid or vacuum by detecting the presence of fluid at the leakage point using special tracer materials, e.g. dye, fluorescent material, radioactive material for pipes, cables or tubes; for pipe joints or seals; for valves; for welds; for containers, e.g. radiators for containers, e.g. radiators
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01MTESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M3/00Investigating fluid-tightness of structures
    • G01M3/38Investigating fluid-tightness of structures by using light
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8806Specially adapted optical and illumination features
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/90Investigating the presence of flaws or contamination in a container or its contents

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Examining Or Testing Airtightness (AREA)
  • Wrappers (AREA)
  • Image Analysis (AREA)
  • Radiation Pyrometers (AREA)

Abstract

包装物品のシール品質を監視するためのプロセス。一実施形態では、シール品質を監視するためのプロセスは、包装物品を形成するためにフィルムをシールすることと、シールエリアを形成することとを含む。シールエリアは、シールエリアの画像データを取得するために視覚システムによって分析される。視覚検査エンジンは、画像データを分析して、シールの連続性、シールの強度、またはその両方を決定する。

Description

本明細書に開示される主題は、包装製品のシール完全性を保証するために、品質保証のために包装製品を検査するためのシステムおよびプロセスに関する。
柔軟なフィルムは、製品の表面に適合することができるため、包装に頻繁に使用される。包装の品質は、フィルム材料の品質およびシールの効果的な閉鎖に依存する。適切なシール品質は、2つの対向するシール層の完全な融合を意味する。ヒートシーリングでは、この融合は、温度と圧力の特定の組合せを一定期間適用し、シール層の長鎖分子が結合することを可能にすることによって達成される。シール欠陥は、シーリングパラメータの不適切な組合せによって、またはシール内の水蒸気、気泡、しわ、または製品汚染の存在によってシールを損なう可能性がある。そのようなシール欠陥は、焼けたシール、冷たいシール、弱いシール、プリーツ、穴、シールエリアの汚染、シール焼け、シール空隙、および局所的な欠陥であり得る。シール欠陥は、空気および微生物がパッケージに侵入し、封入された食品を腐敗させることを可能にし得る。それらはまた、シールの外観に悪影響を及ぼし、包装の完全性に対する消費者の信頼の喪失を引き起こし得る。
不良シールの検出は、今日でも大きな労働力を必要とするオフラインの破壊的プロセスとして残っている。現在のシール試験方法は、ASTM F 1921「Standard Test Methods for Hot Seal Strength(Hot Tack)of Thermoplastic Polymers and Blends Comprising the Sealing Surfaces of Flexible Webs」、ASTM F 88「Standard Test Method for Seal Strength of Flexible Barrier Materials」、ASTM F 2054「Standard Test Method for Burst Testing of Flexible Package Seals Using Internal Air Pressurization Within Restraining Plates」およびASTM F 2095「Standard Test Methods for Pressure Decay Leak Test for Flexible Packages With and Without Restraining Plates」に説明されている。従来の試験方法は破壊的であり、オフラインでのみ行われることができる。さらに、これらのプロセスは、限られた数(1%未満など)の包装物品の試験のみを可能にし、包装物品の破壊をもたらす。
非破壊プロセスで包装製品シールをチェックできることが望ましい。さらに、包装製品を送り出す前に、包装製品の製作または包装製品内の物品の包装とインラインでシールをチェックできることが望ましい。
上記の議論は、単に一般的な背景情報のために提供されており、特許請求される主題の範囲を決定する際の補助として使用されることは意図されていない。
ASTM F 1921「Standard Test Methods for Hot Seal Strength(Hot Tack)of Thermoplastic Polymers and Blends Comprising the Sealing Surfaces of Flexible Webs」 ASTM F 88「Standard Test Method for Seal Strength of Flexible Barrier Materials」 ASTM F 2054「Standard Test Method for Burst Testing of Flexible Package Seals Using Internal Air Pressurization Within Restraining Plates」 ASTM F 2095「Standard Test Methods for Pressure Decay Leak Test for Flexible Packages With and Without Restraining Plates」
包装物品のシール品質を監視するためのプロセス。一実施形態では、シール品質を監視するためのプロセスは、包装物品を形成するためにフィルムをシールすることと、シールエリアを形成することとを含む。シールエリアは、シールエリアの画像データを取得するために視覚システムによって分析される。視覚検査エンジンは、画像データを分析して、シールの連続性、シールの強度、またはその両方を決定する。
例示的な一実施形態では、包装物品のシール品質を監視するためのプロセスが開示される。包装物品のシール品質を監視するためのプロセスは、
A)少なくとも1つのシールエリアを形成することによって、包装物品を形成するために、フィルムを、それ自体、別のフィルム、または包装支持体にシールすること;
B)画像取込デバイスを備える視覚システムを用いて、少なくとも1つのシールエリアの画像データを取得すること;
C)シールの連続性、シールの強度、またはシールエリアの連続性および強度の両方を検証するために、視覚検査エンジンを用いてシールエリアの画像データを評価すること
を備える。
例示的な実施形態では、少なくとも1つのシールエリアを形成することが、発熱シールによって形成される。
例示的な実施形態では、発熱シールが直線的でないシールである。
例示的な実施形態では、発熱シールが、インパルスシール、超音波シール、レーザシールおよびヒートシールからなる群から選択される。
例示的な実施形態では、フィルムが、蛍光ベースのインディケータを含む少なくとも1つの層を含む。
例示的な実施形態では、視覚システムが、ブルーバンドパスフィルタをさらに備える。
例示的な実施形態では、視覚システムが、紫外光源をさらに備える紫外線視覚システムである。
例示的な実施形態では、紫外線視覚システムは、白色光源をさらに備える。
例示的な実施形態では、紫外線視覚システムが、白色光源および紫外光源を可変パターンで照明する。
例示的な実施形態では、画像取込デバイスが、可視スペクトルの視覚的画像を取り込むことができる。
例示的な実施形態では、包装物品のシール品質を監視するためのプロセスは、
A)蛍光ベースのインディケータが蛍光を発するように、蛍光ベースのインディケータを励起するために、包装物品を入射放射線に曝露するステップ;
B)インディケータが蛍光を発している間に、包装物品によってシールエリアから放射された蛍光の画像データを取得するステップ
をさらに含む。
例示的な実施形態では、蛍光ベースのインディケータが、紫外線インディケータ、赤外線インディケータ、染料、顔料、光学光沢剤、蛍光増白剤、2,2’-(2,5-チオフェニレンジイル)ビス(5-tert-ブチルベンゾオキサゾール)、ヒドロキシル-4-)p-トリルアミノ)アントラセン-9,10-ジオン、2,5-チオフェンジイルビス(5-tert-ブチル-1,3-ベンゾオキサゾール)およびアントラキノン染料からなる群から選択される少なくとも1つのメンバーを含む。
例示的な実施形態では、蛍光ベースのインディケータが、フィルムの少なくとも1つの層に存在し、層重量に基づいて0.5から1000ppmまでのレベルで存在する。
例示的な実施形態では、蛍光ベースのインディケータが、フィルムの少なくとも1つの層に存在し、層重量に基づいて5から10ppmまでのレベルで存在する。
例示的な実施形態では、視覚検査エンジンが、励起された蛍光ベースのインディケータによって放射された蛍光電磁エネルギーが欠陥シールを示すかどうかを決定するように構成されたコンピュータ実行可能命令を含むコンピューティング装置を備える。
例示的な実施形態では、コンピュータ実行可能命令は人工知能アルゴリズムを含む。
例示的な実施形態では、画像データを分析する前に、訓練包装物品の訓練セットを有する人工知能アルゴリズム。
例示的な実施形態では、シールに欠陥があると決定することが、シールの第2の領域に対して、シールの第1の領域においてより高いまたはより低い蛍光強度をフィルムが示すと決定することを含む。
例示的な実施形態では、シールに欠陥があると決定することが、予想されるレベルの蛍光に対して、シールの第1の領域においてより高いまたはより低い蛍光強度をフィルムが示すと決定することを含む。
例示的な実施形態では、シールに欠陥があると決定することが、(i)フィルムが、シールの第2の領域に対して、シールの第1の領域においてより高いまたはより低い蛍光強度を示すこと、(ii)フィルムが、予想されるレベルの蛍光に対して、シールの第1の領域においてより高いまたはより低い蛍光強度を示すこと、または(iii)(i)および(ii)の両方、のうちの少なくとも1つを決定することを含む。
例示的な実施形態では、画像データが、少なくとも1つのシールエリアの形成後に一度に取り込まれた時間遅延サーモグラフィデータである。
例示的な実施形態では、視覚システムが、シールエリアから放射された赤外線放射の量に基づいて温度分布を取り込むことができる赤外線撮像デバイスを備えるサーモグラフィ視覚システムである。
例示的な実施形態では、少なくとも1つのシールエリアを形成した後、2から30秒の間に画像データが撮影される。
例示的な実施形態では、少なくとも1つのシールエリアを形成した後、5から20秒の間に画像データが撮影される。
例示的な実施形態では、プロセスは能動冷却システムをさらに含む。
例示的な実施形態では、視覚検査エンジンは、シールの取り込まれた熱画像データが欠陥シールを示すかどうかを決定するように構成されたコンピュータ実行可能命令を含むコンピューティング装置を備える。
例示的な実施形態では、コンピュータ実行可能命令は人工知能アルゴリズムを含む。
例示的な実施形態では、プロセスは、画像データを分析する前に、訓練包装物品の訓練セットを用いて人工知能アルゴリズムを生成することをさらに含む。
例示的な実施形態では、シールに欠陥があると決定することが、シールの第2の領域に対して、シールの第1の領域においてより高いまたはより低い熱温度をフィルムが示すと決定することを含む。
例示的な実施形態では、視覚システムは:
(i)第1の方向に配向された偏光方向を有する第1の直線偏光子と;
(ii)第1の方向と直交して配向された偏光方向を有する第2の直線偏光子と;
(iii)光源と;
(iv)撮像デバイスと
を備える光弾性視覚システムである。
例示的な実施形態では、第1の直線偏光子が光源に統合される。
例示的な実施形態では、第2の直線偏光子が撮像デバイスに統合される。
例示的な実施形態では、光源は、400nmから700nmまでの波長スペクトルを有する白色光源である。
例示的な実施形態では、白色光源は拡散白色光源である。
例示的な実施形態では、プロセスは、光源と包装物品との間に配置された光ディフューザをさらに備える。
例示的な実施形態では、光弾性画像データの取得が、包装物品の形成とインラインで行われる。
例示的な実施形態では、視覚システムが第1の視覚システムであり、第1の視覚システムとは違う第2の視覚システムをさらに備える。
例示的な実施形態では、第1の視覚システムが、赤外線撮像デバイスを備えるサーモグラフィ視覚システムであり;第2の視覚システムが:
(i)第1の方向に配向された偏光方向を有する第1の直線偏光子と;
(ii)第1の方向と直交して配向された偏光方向を有する第2の直線偏光子と;
(iii)光源と;
(iv)画像取込デバイスと
を備える光弾性視覚システムである。
例示的な実施形態では、プロセスは、第3の視覚システムをさらに備え、第3の視覚システムは、紫外光源を備える紫外線視覚システムである。
例示的な実施形態では、第1の視覚システムが、赤外線撮像デバイスを備えるサーモグラフィ視覚システムであり;第2の視覚システムが、紫外光源を備える紫外線視覚システムである。
例示的な実施形態では、プロセスは、第3の視覚システムをさらに備え、第3の視覚システムが:
(i)第1の方向に配向された偏光方向を有する第1の直線偏光子と;
(ii)第1の方向と直交して配向された偏光方向を有する第2の直線偏光子と;
(iii)光源と;
(iv)画像取込デバイスと
を備える光弾性視覚システムである。
例示的な実施形態では、第1の視覚システムが、紫外光源を備える紫外線視覚システムであり;第2の視覚システムが:
(i)第1の方向に配向された偏光方向を有する第1の直線偏光子と;
(ii)第1の方向と直交して配向された偏光方向を有する第2の直線偏光子と;
(iii)光源と;
(iv)画像取込デバイスと
を備える光弾性視覚システムである。
例示的な実施形態では、プロセスは、第3の視覚システムをさらに備え、第3の視覚システムが、赤外線撮像デバイスを備えるサーモグラフィ視覚システムである。
例示的な実施形態では、視覚検査エンジンは、シールが取り込まれた視覚的画像データが欠陥シールを示すかどうかを決定するように構成されたコンピュータ実行可能命令を含むコンピューティング装置を備える。
例示的な実施形態では、フィルムが、機械方向または横方向のいずれかにおいて、85℃で10%未満の総自由収縮を有する。
例示的な実施形態では、フィルムが、機械方向または横方向のいずれかにおいて、85℃で少なくとも10%の総自由収縮を有する。
例示的な実施形態では、シールに欠陥があると決定することが、包装物品のシールの隙間、包装物品のシールのプリーツ、弱いシール、または冷たいシールのうちの少なくとも1つを示す。
例示的な実施形態では、製品は食品製品である。
例示的な実施形態では、食品製品が、肉およびチーズからなる群から選択される少なくとも1つのメンバーを含む。
例示的な実施形態では、フィルムは単層フィルムである。
例示的な実施形態では、フィルムは多層フィルムである。
例示的な実施形態では、多層フィルムが機能層を含み;蛍光ベースのインディケータが、機能層に存在する。
例示的な実施形態では、機能層が、酸素バリア層、官能(organoleptic)バリア層、水分バリア層、有害化学物質バリア層、微生物バリア層、酸性層、酸性塩層、バクテリオシン層、バクテリオファージ層、金属層、金属塩層、天然油層、天然抽出物層、ポリヘキサメチレンビグアニド塩酸塩を含む層、パラベンを含む層、グラフト化シラン-四級アミンを含む層、トリクロサンを含む層、銀、銅および/または亜鉛のゼオライトを含む層からなる群から選択されるメンバーである。
例示的な実施形態では、機能層が、塩化ビニリデンコポリマー、ケン化エチレン/酢酸ビニルコポリマー、ポリアミド、ポリエステル、配向ポリプロピレンおよびエチレンホモポリマーからなる群から選択される少なくとも1つのメンバーを含む酸素バリア層である。
例示的な実施形態では、多層フィルムが:
A)ヒートシール層として機能するように構成された第1の外側フィルム層である第1の層と;
B)酷使(abuse)層として機能するように構成された第2の外側層である第2の層と;
C)第1の層と第2の層との間にある第3の層であって、機能層として機能するように構成された第3の層と;
D)第1の層と第3の層との間にある第4の層であって、第1のタイ(tie)層として機能するように構成された、第4の層と;
E)第2の層と第3の層との間にある第5の層であって、第2のタイ層として機能するように構成された、第5の層と
を備える。
例示的な実施形態では、包装物品が、エンドシールバッグ、サイドシールバッグ、パウチ、またはバックシーム式包装物品からなる群から選択される。
例示的な実施形態では、欠陥シールが検出された場合に、プロセスが、アラーム、パッケージのフラグ立て、欠陥シールの画像を表示すること、レポートを生成すること、包装物品をマーキングすること、および包装物品を方向転換することからなる群から選択される少なくとも1つのメンバーを含む信号を生成することをさらに含む。
例示的な実施形態では、視覚システムの少なくとも一部が、周囲光の少なくとも50%を遮断するように構成されたエンクロージャ内に含まれる。
例示的な実施形態では、視覚システムの少なくとも一部が、周囲光の少なくとも85%を遮断するように構成されたエンクロージャ内に含まれる。
例示的な実施形態では、フィルムは単層フィルムである。
例示的な実施形態では、画像データが、熱画像データ、光弾性画像データ、および紫外蛍光により放射された画像データからなる群から選択される。
例示的な実施形態では、欠陥シールが検出された場合に、プロセスが、アラーム、パッケージのフラグ立て、欠陥シールの画像を表示すること、レポートを生成すること、包装物品をマーキングすること、および包装物品を方向転換することからなる群から選択される少なくとも1つのメンバーを含む信号を生成することをさらに含む。
例示的な実施形態では、少なくとも1つのシールエリアの画像データが、毎秒少なくとも5画像の速度で画像取込デバイスによって取り込まれる。
例示的な実施形態では、少なくとも1つのシールエリアの画像データが、毎秒少なくとも30画像の速度で画像取込デバイスによって取り込まれる。
例示的な実施形態では、少なくとも1つのシールエリアの画像データが、毎秒少なくとも100画像の速度で画像取込デバイスによって取り込まれる。
例示的な実施形態では、少なくとも1つのシールエリアの画像データが、毎秒少なくとも250画像の速度で画像取込デバイスによって取り込まれる。
例示的な実施形態では、少なくとも1つのシールエリアの画像データが、包装製品を送り出す前に視覚システムによって取り込まれる。
例示的な実施形態では、視覚検査エンジンが、シールエリアの画像データにシールスコア値を割り当てる。
例示的な実施形態では、視覚検査エンジンが、シールエリアの画像データのシールスコア値を閾値と比較する。
例示的な実施形態では、視覚検査エンジンは、シールスコア値が閾値を超えている場合、シール欠陥機構に命令を送る。
例示的な実施形態では、視覚検査エンジンが、シールスコア値に確信度を割り当てる。
例示的な一実施形態では、包装物品の欠陥シールを検出するためのシステムが開示される。包装物品の欠陥シールを検出するためのシステムは、
A)少なくとも1つのシールエリアを形成することによって、包装物品を形成するために、フィルムを、それ自体、別のフィルム、または包装支持体にシールするように構成されたシーリング機構;
B)視覚システムを用いて、少なくとも1つのシールエリアの画像データを取得するように構成された画像取込デバイスを備える視覚システム;
C)シールの連続性、シールの強度、またはシールエリアの連続性および強度の両方を検証するために、視覚検査エンジンを用いてシールエリアの画像データを評価すること
を備える。
例示的な実施形態では、シーリング機構はヒートシールを形成する。
例示的な実施形態では、フィルムが、蛍光ベースのインディケータを含む少なくとも1つの層を含む。
例示的な実施形態では、システムは、ブルーバンドパスフィルタをさらに備える。
例示的な実施形態では、視覚システムが、紫外光源をさらに備える紫外線視覚システムである。
例示的な実施形態では、システムは:
A)蛍光ベースのインディケータが蛍光を発するように、蛍光ベースのインディケータを励起するために、包装物品を入射放射線に曝露すること;
B)インディケータが蛍光を発している間に、包装物品によってシールエリアから放射された蛍光の画像データを取得すること
をさらに含む。
例示的な実施形態では、蛍光ベースのインディケータが、紫外線インディケータ、赤外線インディケータ、染料、顔料、光学光沢剤、蛍光増白剤、2,2’-(2,5-チオフェニレンジイル)ビス(5-tert-ブチルベンゾオキサゾール)、ヒドロキシル-4-)p-トリルアミノ)アントラセン-9,10-ジオン、2,5-チオフェンジイルビス(5-tert-ブチル-1,3-ベンゾオキサゾール)およびアントラキノン染料からなる群から選択される少なくとも1つのメンバーを含む。
例示的な実施形態では、視覚検査エンジンが、励起された蛍光ベースのインディケータによって放射された蛍光電磁エネルギーが欠陥シールを示すかどうかを決定するように構成されたコンピュータ実行可能命令を含むコンピューティング装置を備える。
例示的な実施形態では、コンピュータ実行可能命令は人工知能アルゴリズムを含む。
例示的な実施形態では、シールに欠陥があると決定することが、シールの第2の領域に対して、シールの第1の領域においてより高いまたはより低い蛍光強度をフィルムが示すと決定することを含む。
例示的な実施形態では、シールに欠陥があると決定することが、予想されるレベルの蛍光に対して、シールの第1の領域においてより高いまたはより低い蛍光強度をフィルムが示すと決定することを含む。
例示的な実施形態では、シールに欠陥があると決定することが、(i)フィルムが、シールの第2の領域に対して、シールの第1の領域においてより高いまたはより低い蛍光強度を示すこと、(ii)フィルムが、予想されるレベルの蛍光に対して、シールの第1の領域においてより高いまたはより低い蛍光強度を示すこと、または(iii)(i)および(ii)の両方、のうちの少なくとも1つを決定することを含む。
例示的な実施形態では、画像データが、少なくとも1つのシールエリアの形成後に一度に取り込まれた時間遅延サーモグラフィデータである。
例示的な実施形態では、視覚システムが、シールエリアから放射された赤外線放射の量に基づいて温度分布を取り込むことができる赤外線撮像デバイスを備えるサーモグラフィ視覚システムである。
例示的な実施形態では、少なくとも1つのシールエリアを形成した後、2から30秒の間に画像データが撮影される。
例示的な実施形態では、視覚検査エンジンは、シールの取り込まれた熱画像データが欠陥シールを示すかどうかを決定するように構成されたコンピュータ実行可能命令を含むコンピューティング装置を備える。
例示的な実施形態では、シールに欠陥があると決定することが、シールの第2の領域に対して、シールの第1の領域においてより高いまたはより低い熱温度をフィルムが示すと決定することを含む。
例示的な実施形態では、視覚システムは:
(i)第1の方向に配向された偏光方向を有する第1の直線偏光子と;
(ii)第1の方向と直交して配向された偏光方向を有する第2の直線偏光子と;
(iii)光源と;
(iv)撮像デバイスと
を備える光弾性視覚システムである。
例示的な実施形態では、画像データが、熱画像データ、光弾性画像データ、および紫外蛍光により放射された画像データからなる群から選択される。
例示的な実施形態では、少なくとも1つのシールエリアの画像データが、毎秒少なくとも30画像の速度で画像取込デバイスによって取り込まれる。
例示的な実施形態では、視覚検査エンジンが、シールエリアの画像データにシールスコア値を割り当てる。
例示的な実施形態では、視覚検査エンジンが、シールエリアの画像データのシールスコア値を閾値と比較する。
例示的な実施形態では、視覚検査エンジンが、シールスコア値に確信度を割り当てる。
本発明のこの簡単な説明は、1つ以上の事例的な実施形態に従って本明細書に開示された主題の簡単な概要を提供することのみが意図されており、特許請求の範囲を解釈するためのガイドとして、または本発明の範囲を定義または限定するためのガイドとして機能せず、本発明の範囲は添付の特許請求の範囲によってのみ定義される。この簡単な説明は、以下の詳細な説明でさらに説明される概念の事例的な選択を簡略化した形で紹介するために提供される。この簡単な説明は、特許請求される主題の重要な特徴または本質的な特徴を識別することは意図されておらず、特許請求される主題の範囲を決定する助けとして使用されることも意図していない。特許請求される主題は、背景技術に記載された欠点のいずれかまたはすべてを解決する実装に限定されない。
本発明の特徴が理解されることができるように、本発明の詳細な説明は、いくつかの実施形態を参照することによって得られることができ、そのいくつかは添付の図面に示されている。しかしながら、図面は、本発明の特定の実施形態のみを示しており、したがって、本発明の範囲は他の同等に有効な実施形態を包含するため、その範囲を限定すると見なされるべきではないことに留意されたい。図面は必ずしも縮尺通りではなく、一般に本発明の特定の実施形態の特徴を示すことに重点が置かれている。図面では、様々な図を通して同様の部分を示すために同様の数字が使用されている。したがって、本発明のさらなる理解のために、図面に関連して読まれる以下の詳細な説明が参照されることができる。
本明細書のいくつかの実施形態による、環状ウェブを押し出して環状テープを作製するためのウェブ製造プロセスの概略図である。 本明細書のいくつかの実施形態による、図1で製造された環状テープを環状フィルムチュービングに変換するためのさらなるウェブ製造プロセスの概略図である。 一実施形態の熱視覚システムを含むインラインシール欠陥検出システムのブロック図である。 一実施形態の光弾性視覚システムを含むインラインシール欠陥検出システムのブロック図である。 一実施形態の紫外線視覚システムを含むインラインシール欠陥検出システムのブロック図である。 一実施形態の熱視覚システム、光弾性視覚システム、および紫外線視覚システムを含むインラインシール欠陥検出システムのブロック図である。 一実施形態の熱視覚システム、光弾性視覚システム、および紫外線視覚システムを含むシール欠陥検出システムのブロック図である。 一実施形態のサーモグラフィ視覚システムの概略図である。 一実施形態の光弾性視覚システムの概略図である。 一実施形態による光弾性視覚システムの動作原理の概略図である。 一実施形態の紫外線視覚システムの概略図である。 一実施形態による視覚システムのブロック図である。 一実施形態によるシールの完全性を評価するためのシステムのブロック図である。 一実施形態によるシールの完全性を評価するためのシステムのブロック図である。 一実施形態によるアルゴリズムのフローシートである。 一実施形態による訓練された画像分類モデルを開発する方法のフローシートである。 一実施形態による、いくつかのパラメータに基づいて訓練された画像分類モデルを開発する方法のフローシートである。 一実施形態による、いくつかのパラメータに基づいて訓練された画像分類モデルを開発する方法のフローシートである。 一実施形態による、シールを分類するためにモデルを訓練し、シールの状態を分類するために人工知能アルゴリズムを適用する両方のための、画像分類システムのための方法のフローシートである。 一実施形態による多層ニューラルネットワークであるニューラルネットワークの概略図である。 一実施形態によるシールの状態を分類する方法のフローシートである。 許容可能なシールを示すサーモグラフィ画像である。 不良シールを示すサーモグラフィ画像の画像図である。 不良シールを示すサーモグラフィ画像の画像図である。 許容可能なシールを示すサーモグラフィ画像の画像図である。 許容可能なシールを示すサーモグラフィ画像の画像図である。 不良シールエリアを示すサーモグラフィ画像の画像図である。 不良シールエリアを示すサーモグラフィ画像の画像図である。 許容可能なシールを示す光弾性画像の画像図である。 不良シールを示す光弾性画像の画像図である。 不良シールを示す光弾性画像の画像図である。 不良シールを示す紫外線画像の画像図である。
次に、すべてではないがいくつかの実施形態が示されている添付の図面を参照して、例示的な実施形態が以下により完全に説明される。実際、本開示は、多くの異なる形態をとってもよく、本明細書に記載の実施形態に限定されるものと解釈されるべきではなく;むしろ、これらの実施形態は、本開示が適用可能な法的要件を満たすように提供される。同様の参照番号は、全体を通して同様の要素を指す。「データ」、「コンテンツ」、「情報」という用語、および同様の用語は、いくつかの例示的な実施形態によれば、送信、受信、動作、および/または記憶されることができるデータを指すために互いに交換可能に使用され得る。さらに、本明細書で使用され得る「例示的」という用語は、定性的な評価を伝えるために提供されるのではなく、単に例の説明を伝えるために提供される。したがって、そのような用語の使用は、本発明の実施形態の趣旨および範囲を限定するものととられるべきではない。
図1から図2を参照すると、包装物品を形成する例示的な実施形態が示されている。いくつかの実施形態では、包装物品は、本明細書に説明されるインディケータが包装物品に組み込まれる限り、任意の既知の方法を使用して製作されることができる。いくつかの実施形態では、固体ポリマービーズ(図示せず)が、複数の押出機28(簡単にするために、1つの押出機のみが示されている)に供給される。押出機28の内部で、ポリマービーズが送られ、溶融され、脱気され、その後、得られた気泡を含まない溶融物がダイヘッド30内に送られ、環状ダイを通って押し出され、環状テープ32が得られる。
冷却リング34からの水噴霧による冷却および急冷の後、環状テープ32は、ニップローラ36によってレイフラット構成に折り畳まれる。次いで、レイフラット構成の環状テープ32は、遮蔽体40に取り囲まれた照射ボールト38を通過し、そこで環状テープ32は、鉄心変圧器加速装置42からの高エネルギー電子(すなわち、電離放射線)で照射される。環状テープ32は、ロール44上で照射ボールト38を通って案内される。
照射後、照射された環状テープ46は、プレコーティングニップローラ48を通って導かれ、その後、照射された環状テープ46はわずかに膨張し、トラップされた気泡50をもたらす。トラップされた気泡50において、照射された環状テープ46は、長手方向に大きくは引っ張られず、これは、ポストコーティングニップローラ52の表面速度が、プレコーティングニップローラ48の表面速度とほぼ同じであるためである。さらに、照射されたテープ46は、顕著な横方向の配向なしに、すなわち横方向の延伸なしに、環状テープを実質的に円形の構成に置くのに十分なだけ膨張する。
気泡50によってわずかに膨張した照射された環状テープ46は、真空チャンバ54を通過し、その後、コーティングダイ56を通って送られる。環状コーティング流58は、コーティングダイ56から溶融押出され、膨張した照射された環状テープ46上にコーティングされ、コーティングされた環状テープ60を形成する。コーティング流58は、すべてが電離放射線を通過させるとは限らない追加の層と共に、PVDCから作製されたOバリア層を含んでいた。上述のコーティングステップのさらなる詳細は、一般に、その全体が参照により本明細書に組み込まれる、BRAXらによる米国特許第4,278,738号明細書に記載されている通りである。照射およびコーティングの後、コーティングされた環状テープ60は、巻き取りロール62上に巻き取られる。
その後、図2を見てみると、所望の熱収縮性フィルムチュービングを製造するプロセスの第2段階で、巻き取りロール62が巻き戻しロール64として設置される。コーティングされた環状テープ60は、巻き戻しロール64から巻き出され、ガイドロール66上を通過した後、コーティングされた環状テープ60は、温水70を収容する温水浴槽68に通される。コーティングされた管状フィルム60は、依然としてレイフラット構成にあり、コーティングされた環状テープが固体状態にある間に、環状テープ60をその軟化点、すなわち二軸配向のための所望の温度にするのに十分な長さで温水70に浸漬される。
その後、ニップロール72を通してコーティングされた環状テープ60が導かれ、気泡74が吹き込まれることにより、コーティングされた環状テープ60を横方向に固相延伸する。また、吹き込まれている間に、すなわち、横方向に延伸されながら、ニップローラ76は、ニップローラ72の表面速度よりも速い表面速度を有するため、ニップロール76は、長手方向に環状テープ60を引っ張る。横方向の延伸および長手方向の引っ張りの結果として、環状テープ60は、固体状態で二軸配向され、二軸配向された熱収縮性フィルムチュービング78を形成する。熱収縮性フィルムチュービング78は、横方向に延伸され、長手方向に引っ張られる。気泡74がニップローラ対72と76との間に維持されている間、得られた吹き込まれたフィルムチュービング78は、ローラ80によってレイフラット構成に折り畳まれる。その後、レイフラット構成のフィルムチュービング78は、ニップローラ76を通ってガイドロール82を横切って運ばれ、次いで、巻き取りロール84上に圧延される。アイドラロール86は、良好な巻き取りを保証する。
本明細書で使用される場合、「フィルム」という用語は、それがフィルム、バッグ、またはシートであるかどうかにかかわらず、プラスチックウェブを含む。本明細書に開示される多層フィルムは、最大0.15mmの総厚を有することができる。一実施形態では、多層フィルムが:A)第1の外側フィルム層であり、ヒートシール層として機能する第1の層と;B)第2の外側層であり、酷使層として機能するように構成された第2の層と;C)第1の層と第2の層との間にある第3のフィルム層であって、機能層として機能する第3の層と;D)第1の層と第3の層との間にある第4のフィルム層であって、第1のタイ層として機能する第4の層と;E)第2の層と第3の層との間にある第5のフィルム層であって、第2のタイ層として機能する第5の層とを備える。いくつかの実施形態では、フィルムは、第1および第2のタイ層なしで、上述の第1の層、第2の層、および第3の層を含むことができる。機能層は、酸素バリア層、官能バリア層、水分バリア層、有害化学物質バリア層、微生物バリア層、酸性層、酸性塩層、バクテリオシン層、バクテリオファージ層、金属層、金属塩層、天然油層、天然抽出物層、ポリヘキサメチレンビグアニド塩酸塩を含む層、パラベンを含む層、グラフト化シラン-四級アミンを含む層、トリクロサンを含む層、銀、銅および/または亜鉛のゼオライトを含む層からなる群を含むが、これらに限定されない。
一実施形態では、フィルムは、トレイまたは別のフィルムなどの包装支持体に接着されて包装物品を形成する。一実施形態では、包装物品は、エンドシールバッグ、サイドシールバッグ、パウチ、またはバックシーム式包装物品からなる群から選択されるメンバーである。いくつかの実施形態では、包装物品は、製品を取り囲むフィルムを有するバッグ(例えば、エンドシールバッグ、サイドシールバッグなど)のようなフィルム容器であり得る。フィルムは、包装製品が製品のすべての側で包装物品内のガスを示すことができるように、実質的に均一に分布した蛍光インディケータをその中に含むことができる。いくつかの実施形態では、包装物品は、シェルを覆うフィルムまたは封入するシールを有する剛性または半剛性のシェルを含むことができる。一実施形態では、包装物品内に置かれる製品は食品製品である。一実施形態では、食品製品は、肉およびチーズからなる群から選択される少なくとも1つのメンバーを含む。
ここで図3を参照すると、包装物品のシールエリア内の欠陥を検出するための例示的なプロセスフローのブロック図である。フィルムまたは包装物品は、シーリング機構31によってシールされ、フィルムをそれ自体または別の包装支持体にシールすることによってシールエリアを作成する。いくつかの実施形態では、包装物品は、フィルム、パウチ、バッグ、チュービング、剛性または半剛性のシェルまたはトレイを含むことができ、シェルまたはトレイを覆うフィルムまたは封入するシールを有する。いくつかの実施形態では、包装物品はスキンパックを含み得る。シーリング機構31は、フィルムにシールエリアを作成する。シーリング機構31は、シールバー、インパルスシール、超音波シール、高速ヒートシール(毎分100個以上のシール)、レーザシールからの加熱等の発熱シール機構である。シーリング機構は、フィルムをそれ自体にシールする。上述のようなフィルムチュービングの場合、シーリング機構は、チュービングの一端をシールして、1つの開口部を有する包装物品を作成する。シーリング機構はまた、包装物品の側面をシールすることができ、製品が包装物品内に置かれた後に最終開口部をシールすることもできることが理解される。
包装物品のシーリング後、サーモグラフィ視覚システム33は、シールエリアのサーモグラフィ画像を取り込む。シーリング機構31によって行われるシーリングプロセスからの残留熱は、シールエリア内に保持される。これが、シールエリアのサーモグラフィ画像の取り込みを可能にする。熱画像は、シーリング後2から40秒の間に取り込まれる。一実施形態では、熱画像は、シーリング後5から30秒の間に取り込まれる。一実施形態では、熱画像は、シーリング後10から20秒の間に取り込まれる。一実施形態では、熱画像は、シーリング後約15秒で取り込まれる。一実施形態では、熱画像は、シーリング後約20秒で取り込まれる。送風空気、冷却空気、冷却チャンバなどの能動冷却システムが使用されて、画像取り込み時間枠を低減できることが理解される。
サーモグラフィは、表面温度分布(サーモグラム)が検査されたシーンによって放射された赤外線放射の量に基づいて記録される非接触非破壊試験方法である。検査された物体は熱的に励起され、この励起に対する応答が時間的に記録される。能動サーモグラフィデータは、各空間ピクセルの温度が時間的に評価されるため、3次元である。能動サーモグラフィは、熱物理特性の違いに基づいて(サブ)表面欠陥を検出するために使用される。
サーモグラフィ視覚システム33は、少なくとも1つのサーモグラフィ画像取込デバイスおよび視覚検査エンジンを含む。いくつかの実施形態では、サーモグラフィ視覚システム33は、光源、(同じまたは異なる種類の)いくつかの光源、フィルタ、多数の画像取込デバイスまたは反射器を含む。一実施形態では、サーモグラフィ画像取込デバイスは熱カメラである。光源は、連続光源であってもよいし、フラッシュ光源であってもよい。光源は、可視スペクトル内または可視スペクトル外の、白色光、フィルタ光、拡散光、赤外光、紫外光であってもよい。いくつかの実施形態では、サーモグラフィ視覚システム33は、画像取込デバイスが画像を取り込むための隔絶された環境を提供するためにエンクロージャ内に格納される。エンクロージャは、外部の光の源および塵埃など収容物から撮像エリアへの影響を隔絶させるまたは低減することができる。
一実施形態では、サーモグラフィ画像取込デバイスは、各包装物品の少なくとも1つのシールの画像を取り込む。別の実施形態では、サーモグラフィ画像取込デバイスは、各包装物品の少なくとも1つのシールの少なくとも2つの画像を取り込む。別の実施形態では、サーモグラフィ画像取込デバイスは、各包装物品の少なくとも1つのシールの少なくとも4つの画像を取り込む。一実施形態では、サーモグラフィ画像取込デバイスは、少なくとも毎秒20フレームのフレームレートで画像データを取り込む。一実施形態では、サーモグラフィ画像取込デバイスは、少なくとも毎秒40フレームのフレームレートで画像データを取り込む。一実施形態では、サーモグラフィ画像取込デバイスは、少なくとも毎秒60フレームのフレームレートで画像データを取り込む。シールの追加の画像データを有することは、追加のデータを提供し、シール品質のより信頼性の高い決定をもたらすことができる。一実施形態では、サーモグラフィ画像取込デバイスは、モーションJPEG、MPEG、SEQおよびH.264フォーマットを含むがこれらに限定されないビデオフォーマットで画像データを送信する。一実施形態では、サーモグラフィ画像取込デバイスは熱画像データを取り込む。別の実施形態において、サーモグラフィ画像取込デバイスは、マルチスペクトル動的画像データを取り込む。
熱撮像デバイスによって取得された画像データは、視覚検査エンジンに送られる。本明細書でより詳細に説明するように、視覚検査エンジンは、画像を分析し、シールが許容可能であるかシールに欠陥があるかどうかを決定することができる。視覚検査エンジンは、シールエリアの品質に関するシールスコアを作成する。視覚検査エンジンは、色勾配変化、光強度、色強度、隣接する画素からのデータの変化、隣接する画素セクションからのデータの変化、およびそれらの組合せのうちの少なくとも1つを分析して、シールスコアを作成する。一実施形態では、視覚検査エンジンは、色勾配変化、光強度、色強度、隣接する画素からのデータの変化、隣接する画素セクションからのデータの変化、およびそれらの組合せのうちの少なくとも1つを分析して、信頼度スコアをさらに作成する。信頼度スコアは、割り当てられたシールスコアの信頼度の評価を提供する。視覚検査エンジンは、サーモグラフィ視覚システム33に対してローカルであってもよく、システムの別の部分に統合されてもよく、または遠隔であってもよい。
さらに図3を参照すると、欠陥機構35は、欠陥シールを有するか、または一定の閾値未満の確信度を有する包装物品を識別するための命令を受信する。一実施形態では、欠陥機構は、オフライン試験、検証、リサイクリング、再梱包または廃棄のためにラインから欠陥包装物品を引き出し、それにより、適切なシールを有する包装物品のみが欠陥機構35を越えて続くことを可能にする。一実施形態では、欠陥機構は、欠陥シールを有する可能性があるとして包装物品を識別するために、包装物品上に少なくとも1つの印をタグ付け、フラグ立て、または印刷する。一実施形態では、欠陥シールの検出は、欠陥機構がアラームをアクティブ化し、欠陥のある包装物品にフラグを立て、欠陥シールまたは包装物品の画像を表示し、欠陥シールに関するデータを表示し、欠陥シールまたは包装物品のレポートを生成することをもたらすことができる。一実施形態において、欠陥機構は、欠陥シールを有する包装物品を除去する。欠陥機構は、包装物品が荷下ろしされている間に製造ラインを一時停止してもよく、または製造ラインを一時停止することなく包装物品を除去してもよい。一実施形態では、欠陥機構は、包装物品を自動的に除去するためにロボットアームと組み合わせて利用される真空吸着カップを含む。別の実施形態では、欠陥機構は、欠陥シールを有さないライン包装物品から離れた欠陥ラインに包装を移動させる。
一実施形態では、欠陥シールに応答する信号が生成され、ウェブが動いている間、すなわち瞬時におよびオンラインで、アラーム、フラグ立て、不連続性画像表示、不連続性データ、不連続性データのレポートなどをアクティブ化する。あるいは、欠陥シールに応答する信号は、製造が完了した後、すなわちオフラインで生成される。不連続性に応答する信号は、電子メッセージング、電子メール、データログ、およびレポートを含むことができる。
視覚システムおよび欠陥機構は、包装物品の形成後および製品包装前に実装され得ることが理解される。別の実施形態では、視覚システムおよび欠陥機構は、包装物品内の製品の包装およびシーリングの後に実装されてもよい。
ここで図4を参照すると、包装物品のシールエリア内の欠陥を検出するための例示的なプロセスフローのブロック図である。フィルムまたは包装物品は、上述のようにシーリング機構31によってシールされる。シーリング機構31は、フィルムにシールエリアを形成する。シーリング機構31は、シールバーヒートシール、インパルスシール、超音波シール、高速ヒートシールまたはレーザシールであってもよい。一実施形態では、シーリング機構は、毎分少なくとも100個のシールを作成する。別の実施形態では、シーリング機構は、毎分少なくとも300個のシールを作成する。シーリング機構は、フィルムをそれ自体にシールする。上述のようなフィルムチュービングの場合、シーリング機構は、チュービングの一端をシールして、1つの開口部を有する包装物品を作成する。シーリング機構はまた、包装物品の側面をシールすることができ、製品が包装物品内に置かれた後に最終開口部をシールすることもできることが理解される。
フィルムは、互いに直交して設定された2つの交差偏光フィルタの間に配置される。第1のフィルタは、第1の方向に配向された光を通す。第2のフィルタは、第1のフィルタに直交して配向されて、第1のフィルタを通って来るすべての光を遮断する。透明材料片が2つのフィルタの間に配置されると、光が回転される。回転量は、材料の種類および材料内の内部歪みの量によって変化する。光が第2のフィルタの偏光面から回転されると、一部の光が第2のフィルタを通過する。
包装物品のシーリング後、光弾性視覚システム43は、シールエリアの画像を取り込む。光弾性視覚システム43は、少なくとも1つの光弾性画像取込デバイス、光源、第1の偏光フィルタ、第2の偏光フィルタ、および視覚検査エンジンを含む。いくつかの実施形態では、光弾性視覚システム43は、いくつかの(同じまたは異なる種類の)光源、フィルタ、多数の画像取込デバイスまたは反射器を含む。一実施形態では、光弾性画像取込デバイスは高速カメラである。光源は、連続光源であってもよいし、フラッシュ光源であってもよい。光源は、可視スペクトル内または可視スペクトル外の、白色光、フィルタ光、拡散光、赤外光、紫外光であってもよい。いくつかの実施形態では、光弾性視覚システム43は、画像取込デバイスが画像を取り込むための隔絶された環境を提供するためにエンクロージャ内に格納される。エンクロージャは、外部の光の源および塵埃など収容物から撮像エリアへの影響を隔絶させるまたは低減することができる。
一実施形態では、光弾性画像取込デバイスは、各包装物品の少なくとも1つのシールの画像を取り込む。別の実施形態では、光弾性画像取込デバイスは、各包装物品の少なくとも1つのシールの少なくとも2つの画像を取り込む。別の実施形態では、光弾性画像取込デバイスは、各包装物品の少なくとも1つのシールの少なくとも4つの画像を取り込む。一実施形態では、光弾性画像取込デバイスは、少なくとも毎秒20フレームのフレームレートで画像データを取り込む。一実施形態では、光弾性画像取込デバイスは、少なくとも毎秒40フレームのフレームレートで画像データを取り込む。一実施形態では、光弾性画像取込デバイスは、少なくとも毎秒60フレームのフレームレートで画像データを取り込む。シールの追加の画像データを有することは、追加のデータを提供し、シール品質のより信頼性の高い決定を提供することができる。一実施形態では、紫外線画像取込デバイスは、可視スペクトルの画像を取り込むことができるRGBカメラである。
光弾性撮像デバイスによって取得された画像データは、視覚検査エンジンに送られる。本明細書でより詳細に説明するように、視覚検査エンジンは、画像を分析し、シールが許容可能であるかシールに欠陥があるかどうかを決定することができる。一実施形態では、視覚検査エンジンは、シール分類と共に確信度を決定する。視覚検査エンジンは、光弾性視覚システム43に対してローカルであってもよく、システムの別の部分に統合されてもよく、または遠隔であってもよい。視覚検査エンジンは、隣接するピクセルの色勾配の変動、セクションの比較などについて画像を分析する。視覚検査エンジンは、シールエリアの平均、可変、スキュー、最小、最大、範囲または変動のうちの1つ以上の画素数または画像のセクション数を比較することができる。画像の画素またはセクション間の変動は、シール欠陥を示すことができる。
さらに図4を参照すると、欠陥機構35は、欠陥シールを有するか、または一定の閾値未満の確信度を有する包装物品を識別するための命令を受信する。一実施形態では、欠陥機構は、オフライン試験、検証、リサイクリング、再梱包または廃棄のためにラインから欠陥包装物品を引き出し、それにより、適切なシールを有する包装物品のみが欠陥機構35を越えて続くことを可能にする。一実施形態では、欠陥機構は、欠陥シールを有する可能性があるとして包装物品を識別するために、包装物品上に少なくとも1つの印をタグ付け、フラグ立て、または印刷する。一実施形態では、欠陥シールの検出は、欠陥機構がアラームをアクティブ化し、欠陥のある包装物品にフラグを立て、欠陥シールまたは包装物品の画像を表示し、欠陥シールに関するデータを表示し、欠陥シールまたは包装物品のレポートを生成することをもたらすことができる。
一実施形態では、欠陥シールに応答する信号が生成され、ウェブが動いている間、すなわち瞬時におよびオンラインで、アラーム、フラグ立て、不連続性画像表示、不連続性データ、不連続性データのレポートなどをアクティブ化する。あるいは、欠陥シールに応答する信号は、製造が完了した後、すなわちオフラインで生成される。不連続性に応答する信号は、電子メッセージング、電子メール、データログ、およびレポートを含むことができる。
視覚システムおよび欠陥機構は、包装物品の形成後および製品包装前に実装され得ることが理解される。別の実施形態では、視覚システムおよび欠陥機構は、包装物品内の製品の包装およびシーリングの後に実装されてもよい。
ここで図5を参照すると、包装物品のシールエリア内の欠陥を検出するための例示的なプロセスフローのブロック図である。フィルムまたは包装物品は、シーリング機構31によってシールされる。いくつかの実施形態では、包装物品は、フィルム、パウチ、バッグ、チュービング、剛性または半剛性のシェルを含むことができ、シェルを覆うフィルムまたは封入するシールを有する。いくつかの実施形態では、フィルムは、シール欠陥検出を可能にする検出可能な成分を含むことができる。いくつかの実施形態では、包装物品はスキンパックを含み得る。いくつかの実施形態では、紫外線(「UV」)蛍光ベースのインディケータを有するフィルムは、製品を部分的にのみ取り囲んでもよい。
フィルムは、蛍光ベースのインディケータなどの検出可能な成分を含む。一実施形態では、フィルムは、ポリマーと蛍光ベースのインディケータとのブレンドを任意の機能層に含む層を含み、その層において蛍光系インディケータの濃度は、ブレンド中に、全層重量に基づいて約5から50ppmまでの量で存在し、蛍光ベースのインディケータはポリマーと均一にブレンドされている。インディケータ/ポリマーブレンド中のインディケータの均一性は、10個のランダムサンプルを取ったとき、各サンプルが10グラムのサイズを有し、ブレンド中のインディケータの目標濃度に基づいて、20%以下および20%以上の変動を受けるブレンド中のインディケータの濃度を指す。一実施形態では、ポリマーは、PVDC、すなわち、ポリ塩化ビニリデン、エチレンビニルアルコールまたはナイロンを含む。
UV蛍光インディケータは、機能層がその意図された機能を維持することを可能にしながら、検出器によって検出可能な任意のレベルで機能層中に存在することができる。多すぎる蛍光インディケータは、層機能に干渉する可能性がある。少なすぎる蛍光インディケータは、検出器で検出できなくなる可能性がある。一実施形態では、蛍光インディケータは、少なくとも0.5パーツパーミリオン(ppm)のレベルで存在し得る。本明細書で使用される場合、「パーツパーミリオン」という語句および同等の表現「ppm」は、層の総重量(重量蛍光インディケータ+層中の残りの成分の重量)に対する蛍光インディケータの重量を指す。もちろん、層の大部分の成分は、室温で固体である1つ以上の熱可塑性ポリマーである。層の蛍光インディケータおよび熱可塑性ポリマーの両方は、室温で固体であり得る。一実施形態では、蛍光インディケータは、少なくとも1ppm、または少なくとも1.5ppm、または少なくとも2ppm、または少なくとも3ppm、または少なくとも5ppm、または少なくとも10ppm、または少なくとも20ppm、または少なくとも40ppm、または少なくとも80ppm、または少なくとも120ppm、または少なくとも160ppm、または少なくとも200ppm、または少なくとも300ppm、または少なくとも500ppmのレベルで存在し得る。一実施形態では、蛍光インディケータは、層中に0.5から40ppmまで、または1から20ppmまで、または1.5から10ppmまで、または2から5ppmまでのレベルで存在することができる。フィルムが食品に接触する最終用途に適するように、蛍光インディケータは層中に150ppm以下の量で存在する。
UVベースの蛍光インディケータは、特有の吸収および/または蛍光特性を有するUV吸収化合物である。好ましいUV吸収蛍光インディケータ成分は、天然には存在せず、天然源からの信号と容易に混同されない固有の光学的シグネチャを有する。好ましいUV蛍光インディケータは、そのUVスペクトルにおいて多数の固有の吸収または蛍光特徴を有する。例えば、本明細書で使用される場合、375ナノメートルの電磁放射線が入射放射線として使用されて、2,5-チオフェンジイルビス(5-tert-ブチル-1,3-ベンゾオキサゾール)として知られる蛍光インディケータを励起するが、これはCAS登録番号7128-64-5が割り当てられており、これはまた:2,2’-(2,5-チオフェンジイル)ビス[5-tert-ブチルベンゾオキサゾール];2,5-ビス-2(5-tert-ブチル-ベンゾオキサリル)チオフェン;2,5-ビス(5-t-ブチル-2-ベンゾオキサゾリル)チオフェン;2,5-ビス-(5-t-ブチルベンゾオキサゾリル-[2-イル])-チオフェン;2,5-ビス-(5-tert-ブチル-2-ベンゾオキサゾール-2-イル)チオフェン;2,5-ビス(5’-tert-ブチル-2-ベンゾオキサゾール-2-イル)チオフェン;2,5-ビス(5’-tert-ブチル-2’-ベンゾオキサゾリル)チオフェン;2,5-ビス(5-tert-ブチル-2-ベンゾオキサゾリル)チオフェン;2,5-ビス(5-tert-ブチル-ベンゾオキサゾール-2-イル)チオフェン;2,5-ビス(5-tert-ブチルベンゾオキサゾイル)-2-チオフェン;2,5-ジ(5-tert-ブチルベンゾオキサゾール-2-イル)チオフェン;2,2’-(2,5-チオフェンジイル)ビス[5-(1,1-ジメチルエチル)-ベンゾオキサゾール;2,5-ビス(5’-tert-ブチル-2-ベンゾオキサゾリル)チオフェン;および2,5-チオフェンジイルビス(5-tert-ブチル-1,3-ベンゾオキサゾール)としても知られる。375ナノメートルでの入射放射線の吸収が、励起された2,5-チオフェンジイルビス(5-tert-ブチル-1,3-ベンゾオキサゾール)光学光沢剤の検出可能な成分に、435ナノメートルで放射線を放射させた。蛍光インディケータがPVDC樹脂に均一にブレンドされ、これが用いられて多層フィルムの酸素バリア層を作り出した。得られた環状テープおよび/または熱収縮性フィルムチュービングを375nmの入射放射線に曝露することが、2,5-チオフェンジイルビス(5-tert-ブチル-1,3-ベンゾオキサゾール)光学光沢剤を励起して435ナノメートルの放射線を放射させた。放射された435nmの放射線がマシン視覚システムによって検出され、これがテープおよび多層フィルムチュービングのPVDCバリア層の存在、連続性、および厚さを明らかにした。一実施形態では、UVベースの蛍光インディケータが、紫外線インディケータ、赤外線インディケータ、染料、顔料、光学光沢剤、蛍光増白剤、2,2’-(2,5-チオフェニレンジイル)ビス(5-tert-ブチルベンゾオキサゾール)、ヒドロキシル-4-)p-トリルアミノ)アントラセン-9,10-ジオン、2,5-チオフェンジイルビス(5-tert-ブチル-1,3-ベンゾオキサゾール)およびアントラキノン染料からなる群から選択される少なくとも1つのメンバーを含む。インディケータは、第1のピーク波長で放射線に曝露されると、第2のピーク波長で放射線を放射する種類のものである。
一実施形態では、検出可能な成分が、紫外線インディケータ、赤外線インディケータ、染料、顔料、光学光沢剤、蛍光増白剤、2,5-チオフェンジイルビス(5-tert-ブチル-1,3-ベンゾオキサゾール)、2,2’-(2,5-チオフェニレンジイル)ビス(5-tert-ブチルベンゾオキサゾール)、ヒドロキシル-4-)p-トリルアミノ)アントラセン-9,10-ジオン、2,5-チオフェンジイルビス(5-tert-ブチル-1,3-ベンゾオキサゾール)およびアントラキノン染料からなる群から選択される少なくとも1つのメンバーを含む。2,5-チオフェンジイルビス(5-tert-ブチル-1,3-ベンゾオキサゾール)は、BASF Corporation(TINOPAL OP(登録商標)2,5-チオフェンジイルビス(5-tert-ブチル-1,3-ベンゾオキサゾール)蛍光増白剤)およびMayzo,Inc(BENETEX OB PLUS(登録商標)2,5-チオフェンジイルビス(5-tert-ブチル-1,3-ベンゾオキサゾール)蛍光増白剤)を含む複数の供給業者によって光学光沢剤として市販されている。インディケータは、第1のピーク波長で放射線に曝露されると、第2のピーク波長で放射線を放射する種類のものである。
一実施形態では、UVベースの蛍光インディケータは、フィルムの少なくとも1つの層に存在し、インディケータは、層重量に基づいて0.5から150ppmのまでレベルで存在する。別の実施形態では、インディケータはフィルムの少なくとも1つの層に存在し、インディケータは層重量に基づいて1から20ppmまで、または2から10ppmまでのレベルで存在する。一実施形態では、検出可能な成分は、フィルム層中に少なくとも1パーツパーミリオンのレベルで存在する。
一実施形態では、UVベースの蛍光インディケータは、第1のピーク波長で放射線に曝露されると、第2のピーク波長で放射線を放射する種類のものである。
さらに図5を参照すると、シーリング機構31はフィルムにシールエリアを作成する。シーリング機構31は、フィルムをそれ自体または別の包装物品にシールする。一実施形態では、シーリング機構は、シールバー、インパルスシール、超音波シールまたはレーザシールからの加熱等の発熱シール機構である。シーリング機構は、フィルムをそれ自体にシールする。上述のようなフィルムチュービングの場合、シーリング機構は、チュービングの一端をシールして、1つの開口部を有する包装物品を作成する。シーリング機構はまた、包装物品の側面をシールすることができ、製品が包装物品内に置かれた後に最終開口部をシールすることもできることが理解される。
包装物品のシーリング後、紫外線システム53は、シールエリアの紫外線画像を取り込む。紫外線視覚システム53は、少なくとも1つの紫外線画像取込デバイスと、紫外光源と、視覚検査エンジンとを含む。一実施形態では、紫外線画像取込デバイスは、可視スペクトルの画像を取り込むことができるRGBカメラである。いくつかの実施形態では、紫外線視覚システム53は、いくつかの(同じまたは異なる種類の)光源、フィルタ、多数の画像取込デバイスまたは反射器を含む。光源は、連続光源であってもよいし、フラッシュ光源であってもよい。追加の光源は、可視スペクトル内または可視スペクトル外の、白色光、フィルタ光、拡散光、赤外光、紫外光であってもよい。いくつかの実施形態では、紫外線視覚システム53は、画像取込デバイスが画像を取り込むための隔絶された環境を提供するためにエンクロージャ内に格納される。エンクロージャは、外部の光の源および塵埃など収容物から撮像エリアへの影響を隔絶させるまたは低減することができる。紫外線視覚システム53の光源は、包装物品のシールエリア内の検出可能な成分を励起する。検出可能な成分は、画像取込デバイスが検出可能な成分を識別することを可能にする。
一実施形態では、検出可能な成分はUV蛍光インディケータであり、(i)蛍光電磁エネルギー強度が、適切なシールと比較して、シール欠陥が位置する領域でより高い、または(ii)蛍光電磁エネルギー色シフト(エネルギーの下方、すなわち、より長い波長、より低い周波数)が、適切なシールと比較して、シール欠陥が位置する領域で発生する、のうちの少なくとも1つである。
一実施形態では、蛍光電磁エネルギー強度は、適切なシールと比較して、シール欠陥が位置する領域で少なくとも10%高い。別の実施形態では、蛍光電磁エネルギー強度は、シールが適切である領域の蛍光電磁エネルギーの強度に対して、シール欠陥が位置する領域で15%以上高く、または20%以上高く、または30%以上高く、または40%以上高く、または50%以上高く、または60%以上高い。パッケージによって放射される蛍光画像に影響を及ぼし得る要因には、とりわけ:(i)画角、(ii)撮像デバイスと検討中のパッケージのエリアとの間の焦点距離、(iii)露光時間、(iv)励起量、および(v)それ自体または別のフィルムに対するフィルムのヒートシールでの厚さの増加を含むフィルムの厚さの変動が含まれる。
一実施形態において、紫外線画像取込デバイスは、各包装物品の少なくとも1つのシールの画像を取り込む。別の実施形態において、紫外線画像取込デバイスは、各包装物品の少なくとも1つのシールの少なくとも2つの画像を取り込む。別の実施形態において、紫外線画像取込デバイスは、各包装物品の少なくとも1つのシールの少なくとも4つの画像を取り込む。一実施形態では、紫外線画像取込デバイスは、少なくとも毎秒20フレームのフレームレートで画像データを取り込む。一実施形態では、紫外線画像取込デバイスは、少なくとも毎秒40フレームのフレームレートで画像データを取り込む。一実施形態では、紫外線画像取込デバイスは、少なくとも毎秒60フレームのフレームレートで画像データを取り込む。シールの追加の画像データを有することは、追加のデータを提供し、シール品質のより信頼性の高い決定をもたらすことができる。
紫外線撮像デバイスによって取得された画像データは、視覚検査エンジンに送られる。本明細書でより詳細に説明するように、視覚検査エンジンは、画像を分析し、シールが許容可能であるかシールに欠陥があるかどうかを決定することができる。一実施形態では、画像データの取得は、励起されたインディケータによって放射された蛍光電磁エネルギーの画像データを生成する紫外線撮像デバイスを使用して実行され、画像データの評価は、励起されたインディケータによって放射された蛍光電磁エネルギーの強度を評価することができるアルゴリズムでプログラムされた視覚検査エンジンを使用して実行される。一実施形態では、視覚検査エンジンは、シール分類と共に確信度を決定する。視覚検査エンジンは、紫外線視覚システム33に対してローカルであってもよく、システムの別の部分に統合されてもよく、または遠隔であってもよい。
さらに図5を参照すると、欠陥機構35は、欠陥シールを有するか、または一定の閾値未満の確信度を有する包装物品を識別するための命令を受信する。一実施形態では、欠陥機構は、オフライン試験、検証、リサイクリング、再梱包または廃棄のためにラインから欠陥包装物品を引き出し、それにより、適切なシールを有する包装物品のみが欠陥機構35を越えて続くことを可能にする。一実施形態では、欠陥機構は、欠陥シールを有する可能性があるとして包装物品を識別するために、包装物品上に少なくとも1つの印をタグ付け、フラグ立て、または印刷する。一実施形態では、欠陥シールの検出は、欠陥機構がアラームをアクティブ化し、欠陥のある包装物品にフラグを立て、欠陥シールまたは包装物品の画像を表示し、欠陥シールに関するデータを表示し、欠陥シールまたは包装物品のレポートを生成することをもたらすことができる。
一実施形態では、欠陥シールに応答する信号が生成され、ウェブが動いている間、すなわち瞬時におよびオンラインで、アラーム、フラグ立て、不連続性画像表示、不連続性データ、不連続性データのレポートなどをアクティブ化する。あるいは、欠陥シールに応答する信号は、製造が完了した後、すなわちオフラインで生成される。不連続性に応答する信号は、電子メッセージング、電子メール、データログ、およびレポートを含むことができる。
視覚システムおよび欠陥機構は、包装物品の形成後および製品包装前に実装され得ることが理解される。別の実施形態では、視覚システムおよび欠陥機構は、包装物品内の製品の包装およびシーリングの後に実装されてもよい。
いくつかの実施形態では、多数の視覚システムが想定される。視覚システムは、別個の、光源、画像取込デバイス、照明角、照明特性などを利用する同様の種類の視覚システムまたは別個の視覚システムとして冗長であってもよい。ここで図6を参照すると、包装物品のシールエリア内の欠陥を検出するための例示的なプロセスフローのブロック図である。このプロセスは、図3から図5を参照して上述した実施形態と同様であり、追加の視覚システムが含まれる。サーモグラフィ視覚システム33、光弾性視覚システム43、および紫外線視覚システム53はそれぞれ、画像データを視覚検査エンジンに送る。共通の共有視覚検査エンジンまたは多数の視覚検査エンジンが企図されることが理解される。視覚検査エンジンは、サーモグラフィ画像、光弾性画像、および励起されたインディケータによって放射される蛍光電磁エネルギーの強度を評価することができる1つまたは複数のアルゴリズムでプログラムされる。3つの視覚システムからの合成画像データは、欠陥機構35に送られるより高い確信度をもたらす。サーモグラフィ視覚システム33、光弾性視覚システム43、および紫外線視覚システム53が示されているが、2つの視覚システムのみを利用するシステムが企図される。
ここで図7を参照すると、製品が包装物品内にシールされた後の包装物品のシールエリア内の欠陥を検出するための例示的なプロセスフローのブロック図である。製品装填機構は、製品を包装物品に装填する。一実施形態では、製品は食品製品である。別の実施形態では、製品は、肉またはチーズである。製品が装填された後、シーリング機構31は、製品を包装物品内にシールする。いくつかの実施形態では、シーリング機構は、包装物品内の製品を真空シールするための真空チャンバを含む。一実施形態では、包装物品は製品の周りで収縮される。一実施形態では、包装物品は非収縮包装物品である。次いで、包装物品のシールまたは複数のシールは、本明細書でより完全に説明するように、サーモグラフィ視覚システム33、光弾性視覚システム43、および紫外線視覚システム53、ならびに視覚検査エンジンによって分析される。3つの視覚システムからの合成画像データは、欠陥機構35に送られるより高い確信度をもたらす。サーモグラフィ視覚システム33、光弾性視覚システム43、および紫外線視覚システム53が示されているが、2つの視覚システムのみを利用するシステムが企図される。
ここで図8を参照すると、一実施形態によるサーモグラフィ視覚システム81が示されている。フィルム100は、フィルム100をそれ自体または別の物品にシールするためにシーリング機構85に搬送される。一実施形態では、シーリング機構は、毎分少なくとも10個のシールを作成する。一実施形態では、シーリング機構は、毎分少なくとも50個のシールを作成する。一実施形態では、シーリング機構は、毎分少なくとも100個のシールを作成する。一実施形態では、シーリング機構は、毎分少なくとも250個のシールを作成する。一実施形態では、シーリング機構85は、シールバーシーラ、インパルスシール、超音波シール、またはレーザシールなどの発熱シール機構である。
シーリング後、フィルム100はシーリング機構85を越えて続き、そこでサーモグラフィ画像取込デバイス87がシーリング機構85によって作成されたシールの少なくとも1つの画像を取り込む。サーモグラフィ画像取込デバイスは、赤外線スキャナまたはカメラである。一実施形態では、赤外線カメラは、フィルムが動いているときに各シールの少なくとも2つの画像を取り込むことができる。一実施形態では、赤外線カメラは、フィルムが動いているときに各シールの少なくとも4つの画像を取り込むことができる。一実施形態では、赤外線カメラは、少なくとも毎秒30フレームの速度で各シールの画像を取り込むことができる。一実施形態では、赤外線カメラは、少なくとも毎秒60フレームの速度で各シールの画像を取り込むことができる。一実施形態では、サーモグラフィ画像取込デバイス87は、フィルム100におけるシーリング機構85によってシールが作成された後2~40秒の間にシールの画像を取り込むように配置される。一実施形態では、サーモグラフィ画像取込デバイス87は、フィルム100におけるシーリング機構85によってシールが作成された後5~30秒でシールの画像を取り込むように配置される。一実施形態では、サーモグラフィ画像取込デバイス87は、フィルム100におけるシーリング機構85によってシールが作成された後10~20秒でシールの画像を取り込むように配置される。一実施形態では、サーモグラフィ画像取込デバイス87は、フィルム100におけるシーリング機構85によってシールが作成された後約2秒でシールの画像を取り込むように配置される。一実施形態では、サーモグラフィ画像取込デバイス87は、フィルム100におけるシーリング機構85によってシールが作成された後約5秒でシールの画像を取り込むように配置される。一実施形態では、サーモグラフィ画像取込デバイス87は、フィルム100におけるシーリング機構85によってシールが作成された後約10秒でシールの画像を取り込むように配置される。一実施形態では、サーモグラフィ画像取込デバイス87は、フィルム100におけるシーリング機構85によってシールが作成された後約20秒でシールの画像を取り込むように配置される。シーリング機構85からの残留熱は、サーモグラフィ画像取込デバイス87がシールエリアに沿った温度の変動と共にシールの熱画像を取り込むことを可能にする。そのような変動は、欠陥シールを示す可能性がある。熱画像取込デバイス87によって取り込まれた画像データは、本明細書でより詳細に説明するように、視覚検査エンジン101に送られる。
ここで図9を参照すると、一実施形態による光弾性視覚システム91が示されている。フィルム100は、光弾性画像取込デバイス96の位置まで搬送され、フィルム100、直線偏光子94、95のシールエリアを通過した光を取り込む。一実施形態では、光弾性画像取込デバイスは、可視スペクトルの画像を取り込むことができるRGBカメラである。光源91からの光は、光を拡散するための拡散板93を通過し、第1の直線偏光子94は第1の方向に配向された偏光方向を有し、光源91からの光を偏光させる。拡散板の使用の代わりに、またはそれに加えて、拡散光源が利用されることができることが理解される。偏光された光はその後、光を回転させるフィルム100を通過する。回転量は、フィルムの種類、シール強度およびシール完全性などの変数に基づいて変化する。光の一部が回転されると、その光は、次いで、第1の直線偏光子95の第1の方向と直交して配向された偏光方向を有する第2の直線偏光子94を通過する。フィルム100がない場合、光源91から光弾性画像取込デバイス96に光は伝達されない。しかしながら、フィルム100が光を回転させるので、光弾性画像取込デバイス96はフィルム100の画像を取り込む。
一実施形態では、光源91は、400nm~700nmからの波長スペクトルを有する白色光源である。一実施形態では、光源は、フィルムの下の背景光である。別の実施形態では、光源は、第1の直線偏光子の必要性を排除する偏光された白色光源である。
上記では、2つの直線偏光子が説明されたが、直線偏光子のうちの少なくとも1つが、光弾性画像取込デバイスの光源またはレンズ上の偏光フィルタフィルムを利用することによって置き換えられることが企図される。別の実施形態では、光弾性画像取込デバイスは、第2の直線偏光子の必要性を満たす(climate)ために偏光レンズを含む。別の実施形態では、光源は偏光された光源である。一実施形態では、光弾性カメラは、フィルムが動いているときに各シールの少なくとも2つの画像を取り込むことができる。一実施形態では、光弾性カメラは、フィルムが動いているときに各シールの少なくとも4つの画像を取り込むことができる。一実施形態では、光弾性カメラは、少なくとも毎秒30フレームの速度で各シールの画像を取り込むことができる。一実施形態では、光弾性カメラは、少なくとも毎秒60フレームの速度で各シールの画像を取り込むことができる。
光弾性画像取込デバイス97によって取り込まれた画像データは、本明細書でより詳細に説明するように、視覚検査エンジン101に送られる。
ここで図10を参照すると、光弾性動作の概略図である。第1の偏光フィルタ1002は、第2の偏光フィルタ1004のそれと直交している偏光方向を有する。無偏光の光1001は、無偏光の光1001を偏光された光1003になるようにさせる第1の偏光フィルタ1002(すなわち、直線偏光子)を通過する。フィルム1005がない場合、偏光された光1003は第2の偏光フィルタ1004によってフィルタリングされ、光は第2の偏光フィルタ1004を通過しないか、ほとんど通過しない。対照的に、偏光された光103がフィルム1005を通過すると、偏光された光1003が回転されてシフトした偏光された光1006を引き起こす。この回転は、一部の光が第2の偏光フィルタ1004を透過することを可能にする。光の回転またはフィルタリングの量を変化させる変数は、フィルムの厚さ、フィルムの応力、フィルムの歪みを含む。回転量を変えることが、上述のように画像の取り込みを可能にする。
ここで図11を参照すると、一実施形態による紫外線視覚システム1100が示されている。フィルム100は、暗くされたエンクロージャ1102内に搬送される。紫外光源1101は、フィルム100を照明し、フィルム中の検出可能な成分を励起させ、蛍光電磁エネルギーを放射させる。紫外線画像取込デバイス1106は、フィルム100のシールエリアの少なくとも1つの画像を取り込む。一実施形態では、ブルーパスフィルタが使用されて、450nm未満および約525nmの光の波長をフィルタで取り除く。ブルーパスフィルタは、通常の周囲照明条件よりも高い使用を改善する。一実施形態では、光源またはブルーパスフィルタのいずれかは、425~495nmの間の光を透過する。
一実施形態では、紫外線カメラは、フィルムが動いているときに各シールの少なくとも2つの画像を取り込むことができる。一実施形態では、紫外線カメラは、フィルムが動いているときに各シールの少なくとも4つの画像を取り込むことができる。一実施形態では、紫外線カメラは、少なくとも毎秒30フレームの速度で各シールの画像を取り込むことができる。一実施形態では、紫外線カメラは、少なくとも毎秒60フレームの速度で各シールの画像を取り込むことができる。シールの特性は、紫外線画像取込デバイス1106が、シールエリアに沿った放射エネルギーの変動と共にシールの紫外線画像を取り込むことを可能にする。そのような変動は、欠陥シールを示す可能性がある。紫外線画像取込デバイス101によって取り込まれた画像データは、本明細書でより詳細に説明するように、視覚検査エンジン101に送られる。
例示的なシステムアーキテクチャ
図12に示すように、いくつかの実施形態では、コンピューティング装置などの1つ以上のコンピューティングシステムが使用されて、撮像デバイス1204、光源1205、および視覚システム1201を制御することができる。いくつかの実施形態では、1つ以上のコンピューティングシステムは、インラインコンベヤおよび材料ハンドリングデバイスなどの包装環境内の他の機能を制御するように他のコンピューティングシステムを制御または指示することができる。
視覚検査エンジン101(例えば、図8、図9および図11に示すように)は、プロセッサ1206、メモリ1207、入力/出力回路1208、通信回路1211、視覚検査回路1210、および取得回路1209を含んでもよいコンピューティング装置1203であってもよく、本明細書に説明される機能を実行するように構成されてもよい。いくつかの実施形態では、プロセッサ1206(および/またはコプロセッサまたはプロセッサを支援するか、そうでなければプロセッサに関連付けられた任意の他の処理回路)は、装置の構成要素間で情報を渡すためのバスを介してメモリ1207と通信することができる。いくつかの実施形態では、コンピューティング装置1203は、コンピューティング構成要素の分散システムおよび/または遠隔に位置するコンピューティング装置であってもよい。いくつかの実施形態では、コンピューティングデバイス1203は、ローカルまたは遠隔であってもよい。メモリ1207は、非一時的であってもよく、例えば、1つ以上の揮発性および/または不揮発性メモリを含んでもよい。すなわち、例えば、メモリは、電子記憶デバイス(例えば、コンピュータ可読記憶媒体)であってもよい。メモリは、装置が本発明の任意の例示的な実施形態による様々な機能を実行することを可能にするための情報、データ、コンテンツ、アプリケーション、命令などを記憶するように構成されてもよい。
プロセッサ1206は、いくつかの異なる方法で具現化されることができ、例えば、独立して行うように構成された1つ以上の処理デバイスを含むことができる。追加的または代替的に、プロセッサは、命令の独立した実行、パイプライン化、および/またはマルチスレッディングを可能にするために、バスを介してタンデムに構成された1つ以上のプロセッサを含むことができる。
例示的な実施形態では、プロセッサ1206は、メモリ1207に記憶された命令、さもなければプロセッサにアクセス可能な命令を行うように構成されてもよい。追加的または代替的に、プロセッサは、ハードコーディングされた機能を実行するように構成されてもよい。したがって、ハードウェアまたはソフトウェアの方法によって構成されるか、またはそれらの組合せによって構成されるかにかかわらず、プロセッサは、本発明の実施形態に応じて構成されながら、本発明の実施形態による動作を行うことができるエンティティ(例えば、回路で物理的に具現化される)を表すことができる。あるいは、別の例として、プロセッサがソフトウェア命令の実行部として具現化されるとき、命令は、命令が実行されるときに本明細書に説明されるアルゴリズムおよび/または動作を行うように、プロセッサを特に構成することができる。
いくつかの実施形態では、視覚システム1201は、次に、ユーザに出力を提供するために、また、いくつかの実施形態では、ユーザ入力のインディケーションを受信するために、プロセッサ1206と通信することができる入力/出力回路1208を含むことができる。入力/出力回路1208は、ユーザインタフェースを備えることができ、ディスプレイを含むことができ、ウェブユーザインタフェース、モバイルアプリケーション、クライアントデバイス、キオスクなどを備えることができる。いくつかの実施形態では、入力/出力回路1208はまた、キーボード、マウス、ジョイスティック、タッチスクリーン、タッチエリア、ソフトキー、マイクロフォン、スピーカ、または他の入力/出力機構を含むことができる。プロセッサおよび/またはプロセッサを備えるユーザインタフェース回路は、プロセッサにアクセス可能なメモリ(例えば、メモリ1207など)に記憶されたコンピュータプログラム命令(例えば、ソフトウェアおよび/またはファームウェア)を通して1つ以上のユーザインタフェース要素の1つ以上の機能を制御するように構成されてもよい。
一方、通信回路1211は、ネットワークおよび/またはコンピューティング装置1203と通信する任意の他のデバイスまたはモジュールとの間でデータを受信および/または送信するように構成された、ハードウェアまたはハードウェアとソフトウェアとの組合せのいずれかで具現化されたデバイスまたは回路などの任意の手段であってもよい。これに関して、通信回路は、例えば、本明細書に説明されるソフトウェアおよびハードウェア構成と共に使用するために、撮像デバイス1204および光源1205を視覚システム1201に接続する1つ以上のケーブル(例えば、USBケーブル)を含むことができる。いくつかの実施形態では、通信回路1211は、例えば、アンテナ(または多数のアンテナ)と、無線通信ネットワークまたは1つ以上の無線デバイスとの通信を可能にするためのサポーティングハードウェアおよび/またはソフトウェアとを含むことができる。追加的または代替的に、通信インタフェースは、ケーブルおよび/またはアンテナを介して信号の送信を引き起こすために、またはケーブルおよび/またはアンテナを介して受信された信号の受信をハンドリングするために、ケーブルおよび/またはアンテナと相互作用するための回路を含むことができる。いくつかの環境では、通信インタフェースは、追加的または代替的に、ネットワーク(例えば、イーサネット)との有線通信をサポートすることができる。したがって、例えば、通信インタフェースは、ケーブル、デジタル加入者線(DSL)、ユニバーサルシリアルバス(USB)、または他の機構を介した通信をサポートするための通信モデムおよび/または他のハードウェア/ソフトウェアを含むことができる。
取得回路1212は、撮像デバイス1204(例えば、カメラ)で取り込まれた一連の画像およびデータをバッファリングするために使用されることができる。いくつかの実施形態では、撮像デバイス1204は、撮像デバイス内の1つ以上の表面(例えば、画像センサの1つ以上の基板上で)に入射する生データを取り込むことができる。撮像デバイス1204は、生データを1つ以上の回路を介してコンピュータ可読画像データに変換することができ、画像データを取得回路1212に送信することができる。いくつかの実施形態では、画像データは、包装製品の欠陥を検出するために使用される電磁エネルギーの波長および/または強度に対応する任意のセンサデータを含むことができる。画像データは、個々の画像;画像のシーケンス;ビデオ;などを含んでもよい。取得回路1212は、撮像デバイス1204および光源1205をさらに制御して、本発明の任意の実施形態による包装製品のそれぞれの照明および生データの取り込みをトリガおよび時間調整することができる。いくつかの実施形態では、画像データは、本明細書に開示された画像データを生成するための手段のいずれかを通して取り込まれてもよく、これは手動、自律の両方、および部分的に手動、および部分的に自律的な動作形態で、本明細書に開示された撮像デバイス(例えば、カメラ、センサなど)のいずれかを含むが、これらに限定されない。
視覚検査回路1210は、取得回路1212から受信した画像データの処理および分析を容易にするために使用されることができる。視覚検査回路1210は、処理および分析の結果に基づいて、アラートまたは他の下流通知もしくはアクションをさらにトリガすることができる。視覚検査回路は、データマイニングおよび記憶(例えば、新しいモデルを訓練するためのモデルおよびデータにアクセスするために)のために1つ以上の遠隔サーバにさらに接続することができる。いくつかの実施形態では、視覚システム1201および視覚検査回路1210は、単一のコンピューティング装置を備えてもよいし、ローカルに接続された、または有線および/または無線ネットワーク上で相互作用する多数の装置を備えてもよい。
いくつかの実施形態では、視覚システム1201は、(例えば、入力/出力回路1208の一部として)オペレータユーザインタフェースを含んでもよい。欠陥データ(例えば、視覚検査回路1210から)は、インタフェース上に表示され、ローカルまたは遠隔(例えば、ローカル接続またはネットワーク接続を介して)のいずれかでデータベースにアーカイブされ得る。欠陥データおよび画像は、インタフェース上にリアルタイムで表示されることができる。いくつかの実施形態では、瞬時、履歴、および統計データも、オンデマンドでインタフェース上で閲覧されることができる。コンピューティング装置1203は、包装物品内にトラップされたガスを示す励起された蛍光ベースのインディケータの検出を含み、包装製品内の欠陥を選択的に検出し、正確に分類するようにセットアップされることができる。
各欠陥の画像は、分類され、記憶され、表示され、他の欠陥の以前および将来の画像と比較され得る。コンピューティング装置1203は、各欠陥の高解像度画像をリアルタイムで取り込むことができる。個々の欠陥の幾何学的情報およびグループ欠陥の統計などの個別の欠陥情報は、欠陥アラーミングなどのプロセス改善および監視に関する瞬時の意思決定およびアクションのために提供されることができる。いくつかの実施形態では、潜在的な各欠陥は、欠陥のある包装製品をどのようにハンドリングするかについての手動決定のためにオペレータに示され得る。いくつかの実施形態では、欠陥の包装製品のスクリーニング、フラグ立て、および/または分離は、部分的または全体的に自動的に行われてもよい。人間のオペレータは、場合によっては、そうでなければ自動システムの作業を検証することができる。
マーキング/フラグ立て、アラーミング、および自律性のための様々な出力が、異なる欠陥重大度レベルに対して設定されることができる。データは、例えば、ネットワーク上のどこにでも位置するMS Excelおよび/またはSQLデータベースにエクスポートされることができ、データマイニングソフトウェアは、様々なレポートが自動的におよび/またはオンデマンドで容易に生成されることを可能にする。欠陥データは、デジタル処理ボードなどの処理ユニット上で処理されることができる。フラグ立ては、損傷したフィルムまたは所定の閾値を超える損傷を有するフィルムを有する包装製品を分離および/または破棄することと併せて使用されることができる。フラグ立ては、手動または自動分離(例えば、ロボットパッケージセパレータを用いて)のためにフィルムの欠陥の場所に(またはそれに対応して)ラベルをフィルムに適用することによって実行されることができる。いくつかの実施形態では、欠陥のあるパッケージ(例えば、漏れまたは低真空状態を示す包装製品)は、開梱され、新しい包装物品と共に再包装され得る。
一実施形態では、入力/出力回路1208は、新しいロールまたは新しい製造ランインディケーションおよび検査一時停止インディケーションなどの外部信号入力を可能にすることができる。ユーザ定義の欠陥アラーム基準に関するアラームの出力も、入力/出力回路1208(例えば、ユーザインタフェース)を通してハンドリングされる。出力はまた、下流のフラグ立てまたはマーキングデバイスを制御するために開始されることができる。アラームは、異なる事前定義された重大度または基準の欠陥に対してアクティブ化されることができる。コンピューティング装置1203からのアラームおよび欠陥情報は、OPC(すなわち、ソフトウェアインタフェース規格)を介してプラントネットワーク、プログラマブルロジックコントローラ(PLC)、または監視制御およびデータ収集/ヒューマンマシンインタフェース(supervisory control and data acquisition / human machine interface)(SCADA/HMI)に送られることができる。
一実施形態では、検出された欠陥のある包装製品の場所が確認できるように、エンコーダ(図示せず)が使用されてコンベヤ速度を測定することができる。エンコーダからの一連のパルスがシステムによって受信され、計数される。カウントは、検出された欠陥のある包装製品が位置するコンベヤの下方の距離を決定するためにプロセッサ1206に送られ、(包装された製品が製造ラインから移動するときに)送送り出す前にラインから欠陥のある包装製品を除去するために欠陥セパレータの動作を時間調整するために使用され得る。
ローカルシステムが示されているが、ネットワークを介して複数のコンピューティング装置を接続することによって分散システムが利用されることができることが理解される。いくつかの実施形態では、ネットワークは、例えば、有線または無線ローカルエリアネットワーク(LAN)、パーソナルエリアネットワーク(PAN)、メトロポリタンエリアネットワーク(MAN)、ワイドエリアネットワーク(WAN)などを含む任意の有線または無線通信ネットワーク、ならびにそれを実装するために必要な任意のハードウェア、ソフトウェアおよび/またはファームウェア(例えばネットワークルータなどである)を含むことができる。例えば、ネットワークは、携帯電話、802.11、802.16、802.20、および/またはWiMaxネットワークを含むことができる。さらに、ネットワークは、インターネットなどのパブリックネットワーク、イントラネットなどのプライベートネットワーク、またはそれらの組合せを含むことができ、TCP/IPベースのネットワーキングプロトコルを含むがこれに限定されない、現在利用可能な、または後に開発される様々なネットワーキングプロトコルを利用することができる。
いくつかの実施形態では、複数のコンピューティング装置は、図4に関して上述したコンピューティング装置1203の特徴を集合的に含むことができる。いくつかの実施形態では、任意の数のコンピューティング装置がコンピューティング装置を構成することができる。
例示的な検出モデルおよびアルゴリズム
いくつかの実施形態では、製品包装および包装製品のシールの欠陥を検出するために、様々なアルゴリズム、モデル、およびプロセスが実装されることができる。アルゴリズム、モデル、およびプロセスの各々は、シール欠陥を見つけて識別するように構成されることができる。いくつかの実施形態では、人工知能アルゴリズムが実装されることができ(例えば、図13に示すように)、他の実施形態では、受信したセンサ情報に基づいてアルゴリズム手法が使用されることができる(例えば、図14に示すように)。本明細書に開示されるプロセス(例えば、アルゴリズム解決策、モデルベースの解決策などである)は、処理および前処理の1つ以上の状態で画像データを受信することができ;画像データをさらに処理、ソート、分類、および分析することができ;それに基づいて包装物品に存在するシール欠陥を識別することができる。
図13は、包装物品のシールが欠陥を有するかどうかを評価するためのモデルベースのプロセス500(機能ブロック図として示される)のフロー図を示す。プロセス500は、例えば、本明細書の図8、図9、および図11に示す視覚システムにより具現化され、実行されてもよい。図示のように、システムは、1つ以上の撮像デバイス210、データ取得システム502(例えば、図12に示すコンピューティング装置1203および取得回路1212を利用する)、視覚検査エンジン504(例えば、図12に示すコンピューティング装置1203および図12に示す視覚検査回路1210を利用する)、インラインアクションシステム506、データベース管理システム508、データ収集システム510(例えば、図12に示すコンピューティング装置1203およびデータ収集回路1213を利用する)、およびモデル生成器520(例えば、図12に示すコンピューティング装置1203および図12に示すプロセス生成回路1209を利用する)を含むことができる。図13は、いくつかの実施形態に従って説明されるプロセス500を実行するための例示的なフロー図を示す。
図示の実施形態では、撮像デバイス(例えば、レンズおよび/またはセンサの選択を含む)と照明(例えば、光源215を介して)との適切な組合せを使用して、一連の画像が取得され、取得システム502に供給され、そこでデータが取得され、バッファリングされ、視覚検査エンジン504またはデータ収集システム510の一方に転送される。図13の図示の実施形態は、モデル生成ワークフローおよびモデル適用ワークフローの2つの例示的なユースケースを含む。
モデル生成ワークフローでは、プロセス500は、複数の画像からモデルを生成することができる。画像は、撮像デバイス210によって取り込まれ、取得システム502によって受信され得る。取得システムは、画像取得エンジン540、取得ルーチン542、メモリバッファ544、および作業空間546を含むことができる。取得システム502は、画像をバッファリングし、画像をデータ収集システム510に送信することができ、データ収集システム510は、画像にラベルを付け512(例えば、良い/十分なシールまたは悪い/弱いシール)、画像514を記憶することができる。いくつかの実施形態では、モデル生成ワークフローは、記憶装置514から直接画像を取り出すことができ、または画像(例えば、訓練セット)は、別個に(例えば、図12に示す通信回路1211を介して)システムにロードされることができる。
画像は、本明細書に説明される任意のプロセスを使用してラベル付け512されることができる。例えば、ユーザは、各画像に関連してラベルをシステムに入力することができる。いくつかの実施形態では、包装物品は、包装物品に対するそれぞれの画像との関連付けのために、ユーザまたは視覚システムに対して包装物品の特性を識別するタグまたはラベルを含めることができる。
データ収集システム510から、ラベル付き画像がモデル生成器520に入力されて、1つ以上のモデルを生成することができ、モデル生成器は、画像データベース522内のラベル付き画像を受信し、モデル生成器で使用するために画像523を初期化することによって、第1のステップ521で画像を受信することができる。次いで、初期化された画像は、画像分析524に渡されてもよく、そこで画像は前処理されてもよく525、分析されてもよい526。次いで、モデル生成527が行われて、本明細書に説明される訓練プロセスを使用して分析された画像に基づいて多数のモデルを作成することができ528、モデルが試験されることができ、いくつかの実施形態では、試験データ内のその予測のモデル評価行列(これは、精度、偽陽性、真陽性、リコール、精密性などのパラメータを含む)に基づいて好ましいモデルが選択されることができる529。
モデルが作成され、モデル生成器520で選択されると、モデルは、モデル適用ワークフローで視覚検査エンジン504にデプロイされることができる。モデル適用ワークフローでは、画像は、撮像デバイス210によって取り込まれ、取得システム502に供給され、そこでデータが取得され、バッファリングされ、視覚検査エンジン504に転送される。視覚検査エンジン504では、モデル生成ワークフローにおいてモデル生成器520によって開発された人工知能アルゴリズムに基づいて、モデルが未知の画像に適用されて画像(例えば、良い/十分なシールまたは悪い/弱いシール)を分類することができる。プロセスは、モデル532を初期化することを含むことができ、画像は、決定機能534に入力されて、検出モデル出力536で決定を受信することができる。
検出結果538は、インラインアクションシステム506に供給されて、所定のアラーム、フィルムのフラグ立て、(例えば、ユーザインタフェースを介して)不良シールの画像を表示すること、不良シールエリアの幾何学的特性、欠陥の場所、欠陥の発生の程度;欠陥の重大度に関するデータを表示することを含む、1つ以上の欠陥に関連するデータを表示すること、欠陥データのレポートを生成すること、および/または任意の他の所望の出力をセットアップすることができる。欠陥に関連するデータは、瞬時にオンラインで表示されることができ、または製造が完了した後に(すなわち、オフラインまたは非オンザフライで)、オフラインデータベース管理システム508でアクセス可能である。データマイニングを使用して、データが操作され、視覚化され、所望のなんらかのオンデマンドレポートフォームに編成されることができる。
検出結果は、ラベル付き画像として視覚検査エンジン504からデータ収集システム510にさらに転送され、画像記憶装置514に記憶され、後続のモデル生成プロセスで使用されて、目的関数の損失を再帰的に低減し、モデル評価行列に基づいてモデルの性能を改善することができる。
データ処理ソフトウェアおよびハードウェアは、露光時間および光強度などのパラメータのオンザフライの調整の必要性を最小限に抑えて、異なるシール種類に対応するようにセットアップされることができる。いくつかの実施形態では、プロセス500の一部は、オフラインまたは遠隔で行われてもよい。例えば、データ収集システム510および/またはモデル生成器520は、プロセスの残りの部分から遠隔に位置してもよい(例えば、サーバ上で行われる)。さらに、視覚検査プロセスのいくつかまたは全部は、遠隔で行われてもよい。
図14を見てみると、包装物品が不良シールを有するかどうかを評価するためのアルゴリズムプロセス550の例示的なフロー図が示されている(機能ブロック図として示されている)。プロセス550は、例えば、本明細書の図8、図9、および図11に示す視覚システムで具現化され、実行されてもよい。図示のように、システムは、1つ以上の撮像デバイス210、データ取得システム502(例えば、図12に示すコンピューティング装置1203および取得回路1212を利用する)、視覚検査エンジン504(例えば、図12に示すコンピューティング装置1203および図12に示す視覚検査回路1210を利用する)、インラインアクションシステム506、データベース管理システム508、データ収集システム510(例えば、図12に示すコンピューティング装置1203およびデータ収集回路1213を利用する)、および推論エンジン560(例えば、図12に示すコンピューティング装置1203および図12に示すプロセス生成回路1209を利用する)を含むことができる。図14は、いくつかの実施形態に従って説明されるプロセス550を実行するための例示的なフロー図を示す。
図示の実施形態では、撮像デバイス210(例えば、レンズおよび/またはセンサの選択を含む)と光源215(例えば、照明器、UV照明、偏光された光を介して)との適切な組合せを使用して、一連の画像が取得され、取得システム502に供給され、そこでデータが取得され、バッファリングされ、視覚検査エンジン504またはデータ収集システム510の一方に転送される。図14の図示の実施形態は、2つの例示的なユースケース、アルゴリズム生成ワークフローおよびアルゴリズム適用ワークフローを含む。
アルゴリズム生成ワークフローでは、プロセス550は、複数の画像からアルゴリズムを生成することができる。画像は、撮像デバイス210によって取り込まれ、取得システム502によって受信され得る。取得システムは、画像取得エンジン540、取得ルーチン542、メモリバッファ544、および作業空間546を含むことができる。取得システム502は、画像をバッファリングし、画像をデータ収集システム510に送信することができ、データ収集システム510は、画像にラベルを付け512(例えば、良い/十分なシールまたは悪い/弱いシール)、画像514を記憶することができる。いくつかの実施形態では、アルゴリズム生成ワークフローは、記憶装置514から直接画像を取り出すことができ、または画像(例えば、画像のテストセット)は、別個に(例えば、図12に示す通信回路1211を介して)システムにロードされることができる。
画像は、本明細書に説明される任意のプロセスを使用してラベル付け512されることができる。例えば、ユーザは、各画像に関連してラベルをシステムに入力することができる。いくつかの実施形態では、包装製品は、製品のそれぞれの画像との関連付けのために、ユーザまたは視覚システムに対して包装製品の特性を識別するタグまたはラベルを含めることができる。いくつかの実施形態では、訓練セットにラベルがプレロードされてもよい。
データ収集システム510から、ラベル付き画像が推論エンジン560に入力されて、1つ以上のアルゴリズムを生成および識別することができ、推論エンジン560は画像データベース562内のラベル付き画像を受信し、推論エンジンで使用するために画像563を初期化することによって、第1のステップ561で画像を受信することができる。次いで、初期化された画像は、画像分析564に渡されてもよく、そこで画像は前処理されてもよく565、分析されてもよい566。次いで、アルゴリズム決定567が行われて、本明細書に説明されるプロセスを使用して分析された画像に基づいて1つ以上のアルゴリズム568を作成することができ、いくつかの実施形態では、テストデータ内のその予測のモデル評価行列に基づいてアルゴリズムがテストされ、好ましいアルゴリズムが選択されることができる569。いくつかの実施形態では、100個のテスト画像が使用される。いくつかの実施形態では、1000個のテスト画像が使用される。いくつかの実施形態では、ユーザは、アルゴリズム生成中またはアルゴリズム生成前に特徴を識別するために、画像および/または画像処理パラメータ内の所望の特徴を手動で識別することができる。いくつかの実施形態では、システムは、本明細書に説明される技術を使用して、画像を部分的または完全に自律的に処理し、および/または画像内の所望の特徴を検出することができる。
アルゴリズムが作成され、推論エンジン560で選択されると、アルゴリズムは、アルゴリズム適用ワークフローにおいて視覚検査エンジン504にデプロイされ得る。アルゴリズム適用ワークフローでは、画像は、撮像デバイス210によって取り込まれ、取得システム502に供給され、そこでデータが取得され、バッファリングされ、視覚検査エンジン504に転送される。視覚検査エンジン504では、アルゴリズム生成ワークフローにおいて推論エンジン560で選択されたアルゴリズムに基づいて画像(例えば、良い/十分なシールまたは悪い/弱いシール)を分類するために、未知の(例えば、ラベル付けされていない)画像にアルゴリズムが適用されることができる。プロセスは、アルゴリズム572を初期化することを含むことができ、画像は、決定機能574に入力されて、検出アルゴリズム出力576で決定を受信することができる。
検出結果578は、インラインアクションシステム506に供給されて、所定のアラーム、フィルムのフラグ立て、(例えば、ユーザインタフェースを介して)シールエリアの画像を表示すること、シールの幾何学的特性、欠陥の場所、欠陥の発生の程度;欠陥の重大度に関するデータを表示することを含む、1つ以上の欠陥に関連するデータを表示すること、欠陥データのレポートを生成すること、および/または任意の他の所望の出力をセットアップすることができる。欠陥に関連するデータは、瞬時にオンラインで表示されることができ、または製造が完了した後に(すなわち、オフラインまたは非オンザフライで)、オフラインデータベース管理システム508でアクセス可能である。データマイニングを使用して、データが操作され、視覚化され、所望のなんらかのオンデマンドレポートフォームに編成されることができる。
検出結果は、画像記憶装置514に記憶されるラベル付き画像として視覚検査エンジン504からデータ収集システム510にさらに転送され、アルゴリズムの評価行列を改善するための後続のアルゴリズム生成プロセスで使用され得る。いくつかの実施形態では、推論エンジン560における画像分析およびアルゴリズム生成は、自律的に行われてもよい。いくつかの実施形態では、推論エンジン560における画像分析およびアルゴリズム生成は、部分的に手動で行われてもよい。いくつかの実施形態では、推論エンジン560における画像分析およびアルゴリズム生成は、手動で行われてもよい。
データ処理ソフトウェアおよびハードウェアは、露光時間および光強度などのパラメータのオンザフライの調整の必要性を最小限に抑えて、異なる濃度レベルに対応するようにセットアップされることができる。いくつかの実施形態では、プロセス550の一部は、オフラインまたは遠隔で行われてもよい。例えば、データ収集システム510および/または推論エンジン560は、プロセスの残りの部分から遠隔に位置してもよい(例えば、サーバ上で行われる)。さらに、視覚検査プロセスのいくつかまたは全部は、遠隔で行われてもよい。
いくつかの例示的な実施形態では、アルゴリズムプロセスが使用されて、包装物品のシール品質を検出することができる。例えば、いくつかの実施形態では、特徴抽出ベースのアルゴリズムが使用されて、所定の閾値強度を超える、または所定の波長の励起された蛍光を示す、または入射光からの波長の変化を示す包装物品内のシールの部分を検出することができる。いくつかの実施形態では、特徴抽出ベースのアルゴリズムが使用されて、ベースライン温度勾配とは違う温度勾配を示す包装物品内のシールの部分を検出することができる。いくつかの実施形態では、暗い特徴検出が使用されて、取り込まれた画像データ内の暗いスポットおよび明るいスポットを識別することができ、これは、低い蛍光のエリアを高い蛍光のエリアから分けることができ、高い蛍光のエリアは、不良シールの可能性を示す。いくつかの実施形態では、明るい特徴検出は、暗い特徴検出と同様の方法で使用されることができる。いくつかの実施形態では、暗い特徴検出および明るい特徴検出は、画像データのグレースケール値閾値に基づいて計算されることができる。いくつかの実施形態では、特徴抽出は、画像の1つ以上のテクスチャを抽出することを含むことができる。画像テクスチャが参照画像と比較されて、不良シールを識別することができる。いくつかの実施形態では、特徴抽出がさらに使用されて、背景またはシールの周りのエリアなどの望ましくないエリアを除外することができる。例えば、いくつかの実施形態では、包装物品のシールは、一貫性のないテクスチャまたは厚さを有する可能性があり、これにより、取り込まれた画像に偽陽性を作り出す可能性がある。いくつかの実施形態では、シールによって引き起こされる輝点は、アルゴリズムから除外されてもよい。
いくつかの実施形態では、アルゴリズムプロセスはストリーク検出を含み得る。ストリーク検出は、取り込まれた画像内の抽出された幾何学的特徴に基づくことができる。
図15を参照すると、例示的な実施形態では、アルゴリズム600(例えば、推論エンジン560によって生成されたアルゴリズム)および関連する画像処理は、以下のステップを含むことができる:(1)画像を取り込む602;(2)画像にノイズ除去(de-noising)を適用する604;(3)画像をグレースケールに変換する606;(4)閾値処理を適用して、考慮すべき画像のセクションを低減する608;(5)いくつかの実施形態では、画像の望ましくないエリアを排除する610;(6)不良シールに対応する残りの画像内の特徴を識別する612。いくつかの実施形態では、アルゴリズム600は、検出された特徴に基づいて画像を分類する614ことをさらに含むことができる。いくつかの実施形態では、前述のアルゴリズムのステップは、不良シールが識別されることができる限り、排除されてもよい。
上述したように、いくつかの実施形態では、シール(例えば、図13に示すモデル生成器520を使用して訓練される)の画像データを分類するために人工知能アルゴリズム(例えば、図13に示す検出モデル)が開発されることができる。図16には、訓練された画像分類モデルを開発する方法700の一実施形態が示されている。ブロック702において、シールエリアの訓練画像データが得られる。いくつかの実施形態では、訓練画像データは、既知の状態を有するシールの画像および/またはビデオ(すなわち、画像のシーケンス)を含む。いくつかの実施形態では、訓練画像データを得るために使用される視覚システムは、訓練された画像分類モデルが作成された後に未知の状態の包装物品のシールエリアの画像データを得るために使用される視覚システムと同じである(例えば、最終製造ラインの視覚システム)。いくつかの実施形態では、テストベッドまたは他の実験構成が使用されて、訓練画像データを得ることができる。ブロック704において、訓練画像データは、訓練画像データ内の包装物品のシールエリアの状態で手動でラベル付けされる。例えば、ユーザは、画像データ内のシールの画像および/またはビデオごとに状態(例えば、包装物品は、欠陥シールを有するか、適切なシールを有するか、または特定の欠陥を有する)を手動で入力することができる。画像データを手動でラベル付けすることは、個々のシールが適切であるか欠陥があるかを決定するためにシールを物理的に試験し、次いで物理的試験の結果に基づいて画像データにラベルを適用することを含むことができる。訓練サンプルは、複数のシールおよび複数の欠陥シールを含むことができる。いくつかの実施形態では、訓練画像データに表されるシールの数は、数十個のシール、数百個のシール、数千個のシール、またはそれより多くの範囲である。これらの数において、訓練画像データの手動ラベリングプロセスは、労働集約的かつ時間集約的なプロセスであり得る。ブロック706において、ラベル付き訓練画像データが訓練モジュールに入力される。
いくつかの実施形態では、訓練モデルは、「深層学習」モジュールなどの機械学習モジュールである。深層学習は、それに提供される訓練データセットに基づいてモデルを生成する機械学習のサブセットである。いくつかの実施形態では、訓練モデルは、教師あり学習技術、クラスタリング、異常検出、ヘブ学習を含む半教師あり学習技術教師なし学習技術、ならびに主成分分析、独立成分分析、非負値行列因子分解、および特異値分解を含む、期待値最大化アルゴリズム、モーメント法(平均、共分散)、およびブラインド信号分離技術などの学習潜在変数モデルを使用することができる。一例では、教師なし学習技術が、検出および分類を達成するための画像テクスチャ解析(例えば、漏検出(Leaker Detection)インデックス値の計算)を含むいくつかの画像前/後処理技術と組み合わせて利用された。別の実施形態では、教師なし学習技術異常検知(Anomaly Detection)が、検出および分類を達成するための画像テクスチャ解析を含むいくつかの画像前/後処理技術と組み合わせて利用された。
実施形態では、教師なし学習技術は、以下のステップを含む。1)カテゴリ定義なしですべての種類のシールについて画像が収集されるデータ収集。ベースラインシールのみが製造されることを保証するために、最良の実践が実装される。2)エンコーダ、デコーダ、および潜在空間ベクトルなどのオートエンコーダ構成要素が入力データ仕様および期待される出力に基づいて設計されるアルゴリズム開発。3)オートエンコーダニューラルネットワークが、最も細かい詳細を有するサンプルを再現するために、ベースラインシールデータセットに対してオブジェクトを用いて訓練されるアルゴリズム訓練。4)オートエンコーダの後訓練(post training)が製造にデプロイされる欠陥分離。ベースライン例と異なる誤差を作り出す入力シールは分離される。5)分離された欠陥が人間によって検証されるアルゴリズム再訓練。偽陽性サンプルのセットを準備し、これを使用してオートエンコーダを再訓練し、精度をさらに向上させる。このプロセスは、性能を改善するために繰り返されてもよい。
実施形態では、半教師あり学習技術は、以下のステップを含む。1)オートエンコーダを使用して、欠陥シールをベースラインから分離する。2)クラスタリングアルゴリズムを使用して類似度スコアに基づいて欠陥シールをグループ化することによって欠陥シールをクラスタリングする。3)欠陥シールクラスタを評価する人間による手動カテゴリ化およびカテゴリの割り当て。4)手動でカテゴリ化された欠陥に基づいて分類アルゴリズムを開発することを必要とする自動カテゴリ化。
ブロック708において、シールを分類するために人工知能アルゴリズムが開発される。いくつかの実施形態では、人工知能アルゴリズムが開発されるとき、1つ以上の学習アルゴリズムが使用されて、訓練画像データ内のシールのラベル付き状態に基づいて人工知能アルゴリズムを作成する。いくつかの実施形態では、人工知能アルゴリズムは、シールの特性を示す1つ以上の入力ベクトルに基づいて作成される。一例では、入力ベクトルは、シール内のプリーツであってもよい。別の例では、入力ベクトルは、上述のように、使用される特定のインディケータおよび照明に従って、フィルム内の励起された蛍光ベースのインディケータによって放射される蛍光電磁エネルギーの特性であってもよい。例えば、入力ベクトルは、励起された蛍光ベースのインディケータによって放射される蛍光電磁エネルギーの波長;励起された蛍光ベースのインディケータによって放射される蛍光電磁エネルギーの強度;および/または照明器からの入射電磁エネルギーと比較した、励起された蛍光ベースのインディケータによって放射された蛍光電磁エネルギーの波長の変化のうちの1つ以上を含むことができる。いくつかの実施形態では、入力ベクトルは、可視スペクトル内の1つ以上の色である励起された蛍光ベースのインディケータによって放射される蛍光電磁エネルギーの波長、非可視電磁エネルギー(例えば、紫外線、赤外線)を使用した包装物品のフィルム中の添加剤の検出、熱画像化スキャン、可視光スキャン、光弾性スキャン、フィルム折り畳みの存在および数、または任意の他の数の可能な入力ベクトルに対応することができる。一実施形態では、光源215は、シャッタ速度および光強度を制御するためのソフトウェアを用いる紫外線バックライトであってもよい。他の実施形態では、光源215は白色光である。いくつかの実施形態では、励起された蛍光ベースのインディケータによって放射される蛍光電磁エネルギーの波長は、少なくとも紫外線範囲内であり得る。いくつかの実施形態では、励起された蛍光ベースのインディケータによって放射される蛍光電磁エネルギーの波長は、少なくとも可視スペクトル内にあり得る。いくつかの実施形態では、励起された蛍光ベースのインディケータによって放射される蛍光電磁エネルギーの波長は、少なくとも青色または紫色の範囲であり得る。いくつかの実施形態では、照明器からの入射光の波長は、少なくとも紫外線範囲内であってもよい。いくつかの実施形態では、照明器からの入射光の波長は、紫外線範囲のピークを規定することができる。いくつかの実施形態では、入射光の波長は紫外線範囲であってもよく、励起された蛍光ベースのインディケータによって放射される蛍光電磁エネルギーは可視範囲であってもよい。プロセスが同じフィルムについて同時に多数のフィルム層を同時に検査するように設計されている実施形態では、多数の光源215および/または多数の撮像デバイス210が、シャッタ速度、光強度、光源、バックライティングまたはオーバーライティングのための1つ以上の制御と共に使用されることができる。
訓練のための入力ベクトルの使用は、人工知能アルゴリズムが、根本的な原因を識別することなく欠陥シールを識別するのを助けることができる。例えば、シールは、包装物品が搬送システム上を移動しているときに取り込まれた画像データを使用して検出することが困難な小さなプリーツを有することができる。本明細書に詳述されている、入力ベクトル、蛍光ベースのインディケータ、熱画像データ、光弾性画像データの使用は、人工知能アルゴリズムが、欠陥自体を識別する必要なしにシールに欠陥があることを検出することを可能にする。入力ベクトルがモデル化された後、いくつかの入力ベクトルに基づく意思決定プロセスとして人工知能アルゴリズムが開発されることができる。意思決定プロセスの例は、決定木、ニューラルネットワークなどを含む。いくつかの実施形態では、人工知能アルゴリズムの意思決定プロセスは、意思決定プロセスにおける入力ベクトルの許容可能な配置構成の決定に基づく。
ブロック708における人工知能アルゴリズムの開発の結果は、ブロック710に示される人工知能アルゴリズムである。人工知能アルゴリズムは、シールの状態を識別するために通常動作中(例えば、人工知能アルゴリズムに訓練するために使用されない動作)に使用されることができる。いくつかの実施形態では、人工知能アルゴリズムは、いくつかの層を有するニューラルネットワークを含む。図20には、多層ニューラルネットワークであるニューラルネットワーク1800の一例が示されている。図示の実施形態では、ニューラルネットワーク1800は、3つの入力ノードを有する第1の層1802と、5つの隠れノードを有する第2の層1804と、4つの隠れノードを有する第3の層1806と、4つの隠れノードを有する第4の層1808と、1つの出力ノードを有する第5の層1810とを含む。
ニューラルネットワーク1800はまた、第1の層1802の3つの入力ノードと第2の層1804の5つの入力ノードの各対の間の接続部の第1のセット1812と、第2の層1804の5つの入力ノードと第3の層1806の4つの隠れノードの各対の間の接続部の第2のセット1814と、第3の層1806の4つの隠れノードと第4の層1808の4つの隠れノードの各対の間の接続部の第3のセット1816と、第4の層808の4つの隠れノードと第5の層1810の出力ノードの各対の間の接続部の第4のセット1818とを含む。いくつかの実施形態では、入力ノードは、人工知能アルゴリズムへの入力を表し(例えば、画像データ、画像データに関連するメタデータなどである)、1つ以上の隠れノード(例えば、隠れノードの層のうちの1つ)は、モデルの開発中に決定された入力ベクトルのうちの1つを表すことができ、出力ノードは、シールの決定された状態を表す。
ここで図17を参照すると、訓練された画像分類モデルを使用してシールの状態(例えばプリーツ、弱いシール、冷たいシール、チャネルプリーツ)を分類する方法900の一実施形態である。ブロック902において、シールの画像データが取得される(例えば、撮像デバイス210によって)。シールの画像データは、視覚システムによって得られてもよい。いくつかの実施形態では、シールの画像データは、包装物品が搬送システムによって搬送されている間に得られる。画像データは、包装物品の形成においてシールを形成した後、または包装物品内に製品をシールするためにシールを形成した後に取り込まれ得ることが理解される。
ブロック904において、シールの画像データが訓練された画像分類モデルに入力される。訓練された画像分類モデルは、コンピューティングデバイスまたはローカルコンピューティングデバイスからの遠隔コンピューティングデバイス上で動作することができる。訓練された画像分類モデルは、画像データに基づいてシールの状態を分類するように構成される。ブロック906において、訓練された画像分類モデルからシールの状態の分類が受信される。いくつかの実施形態では、分類された状態は、シールに欠陥がある、欠陥がない、または特定の欠陥を有するというインディケーション、および/またはシールに欠陥がある、欠陥がない、または特定の欠陥を有するかどうかに関する確度のインディケーションを含む。いくつかの実施形態では、分類された状態は、ユーザインタフェース出力デバイス上に分類を表示すること、通信インタフェースを介して1つ以上の外部デバイスに分類を通信すること、またはデータベースに分類を記憶することのうちの1つ以上によって受信される。いくつかの実施形態では、シールの受信された分類は、分類された状態もしくはシール、またはシールの分類された状態の分類された状態の確度のうちの1つ以上を含む。1つの特定の例では、状態は、欠陥パッケージを試験、再包装、リサイクリングおよび/または廃棄物処理のための場所にルーティングするなど、それらのシール状態に基づいて搬送システム上で包装物品をルーティングするように構成されたルーティングシステム(例えば、送り出し装置)に通信される。
上述したように、ブロック710で方法700が使用されて訓練された分類モデルを得、次いで訓練された分類モデルが方法900で使用されてシールを分類することができる。いくつかの実施形態では、ブロック702で取得された訓練画像データは、包装物品に包装された特定の種類の製品のシールの画像データであり、ブロック902で取得された画像データは、包装物品に包装された特定の種類の製品の同じ種類のシールの画像データである。一例では、ブロック702で取得された訓練画像データは、シールの画像データであり、ブロック902で取得された画像データは、同じ種類のシールの画像データである。いくつかの実施形態では、ブロック702で取得された訓練画像データは、特定の種類のシールの画像データであり、ブロック902で取得された画像データは、異なる種類のシールの画像データである。インラインで撮像されたシールが訓練セットで使用されたシールとは異なる種類であっても、訓練シール画像データからの訓練画像データを使用する訓練された分類モデルは、十分な精度でシールの状態を分類することができる。
図18には、訓練された画像分類モデルを開発する方法1010の一実施形態が示されている。ブロック1012において、いくつかのシールについて訓練画像データが取得される。ブロック1014において、訓練画像データは、欠陥または非欠陥として手動でラベル付けされる。訓練画像データの手動ラベリングは、ユーザが訓練画像データに表されたシールのそれぞれについての欠陥または非欠陥のインディケーションをコンピューティング装置のユーザインタフェース入力デバイスに入力することによって行われてもよい。いくつかの実施形態では、シールを有する訓練包装物品は、それぞれのステータス(例えば、欠陥または非欠陥)でラベル付けされてもよい。訓練包装物品は、既知の欠陥シールまたは既知の非欠陥シールのいずれかを有する包装物品である。訓練包装物品は、特定の欠陥をさらに識別することができる。訓練包装物品は、モデルの信頼性を改善するためにモデルを訓練するために使用される。
ブロック1016において、モデル情報、訓練目標、および制約が初期化される。いくつかの例では、モデル情報は、ニューラルネットワーク、入力ベクトルの数など、使用されるモデルの種類を含む。いくつかの例では、訓練目標は、評価行列が所定のレート(例えば、90%、95%、96%、97%、98%、または99%のうちの1つ以上)以上の確信度を有するなど、人工知能アルゴリズムの所望のまたは予想される性能を含むことができる。いくつかの例では、制約は、ニューラルネットワークの最小層数、ニューラルネットワークの最大層数、入力ベクトルの最小重み付け、入力ベクトルの最大重み付け、または人工知能アルゴリズムのなんらかの他の制約など、人工知能アルゴリズムの制限を含むことができる。ブロック1018において、モデル情報およびモデル制約を使用してモデルが訓練されることができる。いくつかの実施形態では、訓練画像データは、2つのサブセット-訓練サブセットおよび検証サブセット-に分けられ、ブロック1018におけるモデルの訓練は、画像データの訓練サブセットを使用してモデルを訓練することを含む。
ブロック1020において、訓練目標が満たされているかどうかの決定がされる。いくつかの実施形態では、ブロック1020における決定は、人工知能アルゴリズムの結果をブロック1016で初期化された訓練目標と比較することによってされる。いくつかの実施形態では、訓練画像データが訓練サブセットと検証サブセットとに分けられる場合、ブロック1020における決定は、画像データの検証サブセットを使用してブロック1018で訓練されたモデルを試験することを含む。ブロック1020において、訓練目標が満たされていないと決定がされた場合、方法1010はブロック1022に進み、そこで訓練目標および/または制約が更新される。ブロック1022において訓練目標および/または制約が更新された後、方法1010はブロック1018に戻り、そこで更新された訓練目標および/または制約を使用してモデルが訓練される。ブロック1020において、訓練目標が満たされていると決定がされた場合、方法1010はブロック1024に進み、人工知能アルゴリズムが記憶される。人工知能アルゴリズムを記憶することは、人工知能アルゴリズムをコンピューティングデバイス(例えば、ローカルコンピューティングデバイス、遠隔コンピューティングデバイスなどである)内の1つ以上のメモリに記憶することを含むことができる。
いくつかの実施形態では、視覚システムは、シールの状態を分類するためにモデルを訓練するため、およびシールの状態を分類するために人工知能アルゴリズムを適用するための両方に使用され得る。図19には、包装物品のシールの状態を分類するためにモデルを訓練し、シールの状態を分類するために人工知能アルゴリズムを適用する両方のための、視覚検査エンジンのための方法1100の一実施形態が示されている。いくつかの実施形態では、視覚システムは、画像センサシステムと、視覚検査エンジン504および取得システム502を規定することができるコンピューティング装置とを含む。これらの実施形態では、モデルは、モデルを訓練するまたは適用するのいずれかのために、撮像デバイスがシールの画像データを得る間に、コンピューティング装置上で動作することができる。
ブロック1102において、視覚システムおよび分類モデルが初期化される。いくつかの実施形態では、視覚システムの初期化は、コンピューティング装置の初期化することおよび撮像デバイスの初期化することを含み、分類モデルの初期化は、分類モデルを含む起動ソフトウェアをコンピューティング装置にロードすることを含む。ブロック1104において、シールの画像データが取得される(例えば、撮像デバイスおよび取得システムによって)。いくつかの実施形態では、撮像デバイスは、シールの画像データを取得し、画像データをコンピューティング装置に提供する。ブロック1106において、分類モデルが訓練モードにあるかどうかの決定がされる。決定は、分類モデルを含むコンピューティングシステム上で動作するソフトウェアによってされてもよい。
ブロック1106において、分類モデルが訓練モードにあると決定がされた場合、モデルはブロック1108に進み、そこで状態がシールに利用可能であるかどうかが決定される。ユーザがシールの状態をコンピューティングデバイスに手動で入力するか、またはシールの状態をスキャンする(例えば、訓練包装物品上のバーコードまたは他の印から)と、状態は利用可能にされることができる。ブロック1108において、状態が利用可能であると決定がされた場合、方法はブロック1110に進む。ブロック1110において、分類モデルは、画像データおよびシールの状態に基づいて更新される。分類モデルを更新することは、分類モデルを訓練および/または開発するための本明細書に説明される方法のいずれかを含むことができる。ブロック1112に示すように、シール状態(例えば、手動で入力された状態)が利用可能である。しかしながら、ブロック1106において、分類モデルが訓練モードにないと決定がされた場合、またはブロック1108において、状態が利用可能ではないと決定がされた場合、方法はブロック1114に進む。
ブロック1114において、分類モデルはシールの状態を分類する。いくつかの実施形態では、分類モデルによって分類されたシールの状態は、シールに欠陥がある(例えばプリーツまたは弱いシール)か、欠陥がないか、または特定の欠陥を有するかどうかの決定と、シールに欠陥があるか、欠陥がないか、または特定の欠陥を有するかどうかに関する確度のインディケーションとを含む。ブロック1116において、分類された状態の信頼性レベルが低いか高いかどうかの決定がされる。いくつかの実施形態では、信頼性レベルは、分類されたシールの状態が正確であるという確度を表すパーセンテージであり、信頼性レベルは、確度が許容可能な確度の所定のパーセンテージを下回る場合に低い。例えば、許容可能な確度が90%である場合、分類された状態の確度が90%未満である場合、シールの分類された状態は低いと見なされる。ブロック1116において、信頼性レベルが低くないと決定された場合、ブロック1118に示すように、シール状態が決定されている。しかしながら、ブロック1116で信頼性レベルが低いと決定された場合、方法はブロック1120に進み、シール製品がオフラインおよび/または手動分類(例えば、製造ラインとは別の外観検査または物理的試験後のユーザによる分類)のために確保される。冗長または異なる種類(例えば、熱および光弾性)のいずれかの多数の視覚システムが利用される実施形態では、信頼性を増加させる可能性が改善される。
ブロック1112またはブロック1118のいずれかにおいてシールの状態が利用可能である場合、方法はブロック1122に進む。ブロック1122において、シールの状態が出力される。いくつかの実施形態では、シールの状態を出力することは、シールの状態をユーザインタフェース出力デバイスに表示すること、通信インタフェースを介してシールの状態を1つ以上の外部デバイスに通信すること、またはシールの状態をデータベースに記憶することのうちの1つ以上を含む。いくつかの実施形態では、シールの状態は、シールに欠陥があるか、欠陥がないか、または特定の欠陥を有するかどうかのインディケーション、あるいはシールに欠陥があるか、欠陥がないか、または特定の欠陥を有するかどうかの確度のうちの1つ以上を含む。
ブロック1122でシールの状態が出力されるか、またはブロック1120で手動分類のために包装物品が保持されるかにかかわらず、方法1100は、次いでブロック1124に進む。ブロック1124において、別の包装物品が利用可能であるかどうかの決定がされる。いくつかの実施形態では、ブロック1124における決定は、別の包装物品がコンベヤ上で検出されたかどうか(例えば、1つ以上のセンサを介して)に基づくことができる。いくつかの実施形態では、ブロック1124における決定は、ユーザが別の包装物品が利用可能であるかどうかのインディケーションを入力するかどうかに基づくことができる。ブロック1124において、別の包装物品が利用できないと決定がされた場合、ブロック1126において、視覚システムおよび分類モデルがシャットダウンされる。しかしながら、ブロック1124において、別の包装物品が利用可能であると決定がされた場合、方法1100はブロック1104にループバックし、次の包装物品のシールの画像データが取得され、方法1100は、次の包装物品について上述したようにブロック1104から進む。
上で論じたように、包装物品のシールの状態を画像データから分類する人工知能アルゴリズムは、決定木またはニューラルネットワークなどの1つの意思決定プロセスを含むことができる。いくつかの実施形態では、画像データからシールの状態を分類する人工知能アルゴリズムは、2つ以上の意思決定プロセスを含むことができる。図21には、シールの状態を分類する方法1200の一実施形態が示されている。図示の実施形態では、方法1200は、画像センサシステム1202、検出意思決定プロセス1204、分類意思決定プロセス1206、および出力デバイス1208によって部分的に行われる。ブロック1210において、画像センサシステムは、シールの画像データを取得する。いくつかの実施形態では、画像センサシステム1202は、包装物品が搬送システムによって搬送されているときに画像データを取得することができる。ブロック1210で画像データが取得された後、画像センサシステムは、検出意思決定プロセス1204に通信されることができる画像データ1212を有する。一実施形態では、検出意思決定プロセス1204は、1つ以上のコンピューティングデバイス上で動作するソフトウェアベースの意思決定プロセスである。
ブロック1214において、検出意思決定プロセス1204は、画像センサシステム1202から受信した画像データを処理する。いくつかの実施形態では、ブロック1214における画像データの処理は、画像データ内の包装物品のシールに関連する関心のある領域を検出するように訓練された人工知能アルゴリズムによって行われる。いくつかの実施形態では、ブロック1214における画像データの処理は、画像内の検出されたシールの周りの画像データ内の画像をクロップすること、画像データ内のビデオからフレームまたはフレームのサブセットを選択すること、画像データ内の画像から無関係の画素を識別すること、および無関係の画素を画像データの最小有意値(least significant value)で置き換えることのうちの1つ以上を含む。いくつかの実施形態では、画像データの処理は、長方形の形状を有する単一の画像を作り出し、識別されたシールは、画像の実質的に中心にあり、無関係であると見なされる画素は、最小有意値で置き換えられる。いくつかの実施形態では、画像データの処理は、画像の一部をマスクすることを含むことができ、関心のある領域の外側(例えば、シールの外側)の画像のエリアは、シールの状態を分類するための処理量を低減し、シールの状態を分類するときのエラーの可能性を低減するために、低値データ(例えば、画素はすべて黒に変化させられる)に置き換えられる。
画像データを処理する一実施形態では、画像データ内のシールの表現の周りにカスタム境界が構築される。シールを包含する境界ボックスもカスタム境界内に構築される。この処理はまた、画像データ全体から境界ボックスをクロップすることを含む。カスタム境界に基づいて画像データをクロップすることの1つの利点は、関心のない画像データのエリアを検査する必要なく、シールの状態の後の分類が関心のあるエリアに限定され得ることである。これは、ひいては、分類の信頼性レベル、したがって分類の全体的な性能を増加させることができる。検出意思決定プロセス1204が多層ニューラルネットワークであるいくつかの実施形態では、カスタム境界の周りに境界ボックスを作成することにより、画像データとニューラルネットワークの第1の層との間の互換性要件を簡素化する。さらに、画像データをクロップすることは、画像データ全体ではなく、画像データの一部が分類のために処理されることをもたらし、これは、分類のための処理時間を低減する。いくつかの実施形態では、カスタム境界は、シールの面積、その重心、またはその配向のうちの1つ以上の数値を生成するのを助けることができる。
ブロック1216において、シールの存在が画像データにおいて検出されるかどうかの決定がされる。いくつかの実施形態では、ブロック1216で行われる決定は、ブロック1216での画像データの処理の一部である。いくつかの実施形態では、ブロック1216におけるシールが検出されたかどうかの決定は、ブロック1216における画像データの処理とは別のプロセスである。ブロック1216において、シールの存在が検出されないと決定がされた場合、方法1200はブロック1218に進み、そこで画像データが破棄され(例えば、削除される)、方法1200は終了する。しかしながら、ブロック1216において、シールの存在が検出されたと決定がされた場合、ブロック1220で表される処理済み画像データは、分類意思決定プロセス1206に通信されることができる。いくつかの実施形態では、分類意思決定プロセス1206は、検出意思決定プロセス1204が動作する1つ以上のコンピューティングデバイスと同じであっても異なっていてもよい、1つ以上のコンピューティングデバイス上で動作するソフトウェアベースの意思決定プロセスである。いくつかの実施形態では、ブロック1220に示すように、データに表されたシールの状態を分類する前に、ブロック1214で画像データを処理して処理済み画像データを得ることは、分類意思決定プロセス1206によって後に行われる分類の評価行列を増加させる。
ブロック1222において、分類意思決定プロセス1206は、検出意思決定プロセス1204から受信した処理済み画像データを分類する。いくつかの実施形態では、ブロック1222における画像データの分類は、処理済み画像データに表されたシールの状態を分類するように訓練された人工知能アルゴリズムによって行われる。いくつかの実施形態では、ブロック1222における処理済み画像データに表されたシールの状態の分類は、シールに欠陥があるか、欠陥がないか、または特定の欠陥を有するかどうかの決定を含む。いくつかの実施形態では、ブロック1222における処理済み画像データに表されたシールの状態の分類は、シールに欠陥があるか、欠陥がないか、または特定の欠陥を有するかどうかの決定と、シールに欠陥があるか、欠陥がないか、または特定の欠陥を有するかどうかに関する確度のインディケーションとを含む。
ブロック1224において、分類された状態の信頼性レベルが低いかどうかの決定がされる。いくつかの実施形態では、信頼性レベルは、分類されたシールの状態が正確であるという確度を表すパーセンテージであり、信頼性レベルは、確度が許容可能な確度の所定のパーセンテージを下回る場合に低い。例えば、許容可能な確度が90%である場合、分類された状態の確度が90%未満である場合、シールの分類された状態は低いと見なされる。ブロック1224において、信頼性レベルが低くないと決定された場合、ブロック1226に示すように、シール状態が決定されている。しかしながら、ブロック1224で信頼性レベルが低いと決定がされた場合、方法はブロック1228に進み、そこでシールおよび/または画像データに手動分類のためのフラグが立てられる。
ブロック1230において、シールの状態は、分類意思決定プロセスの外部で手動で分類される。いくつかの実施形態では、シールは、包装物品の外観検査または物理的試験後にユーザによって手動で分類される。ブロック1232において、ユーザは、手動で分類されたシールの状態を分類意思決定プロセス1206に入力する。ブロック1234において、分類意思決定プロセス1206が更新される。分類意思決定プロセス1206が人工知能アルゴリズムである実施形態では、分類意思決定プロセス1206を更新することは、手動分類に基づいて人工知能アルゴリズムをさらに訓練することを含む。分類意思決定プロセス1206を更新した後、方法1100はブロック1226に戻り、そこで真空包装製品の分類された状態は、シールの手動分で類された状態である。
ブロック1226に表されるように、真空包装製品の分類された状態が分類意思決定プロセス1206によって分類されたまたは得られた後、分類意思決定プロセス1206は、分類されたシールの状態を出力デバイス1208に送る。分類意思決定プロセス1206が1つ以上のコンピューティングデバイス上で動作するソフトウェアである実施形態では、出力デバイス1208はユーザインタフェース出力デバイスとすることができる。いくつかの実施形態では、ブロック1236でシールの分類された状態を出力することは、シールの分類された状態をユーザインタフェース(例えば、モニタ、タッチスクリーンなど)を介してユーザに出力すること、シールの分類された状態を通信回路を介して外部デバイスに通信すること、またはシールの分類された状態をデータベースにローカルに記憶することのうちの1つ以上を含む。
本明細書に開示される実施形態のいずれかにおいて、任意の1つのシールについて受信された画像データは、同じシールに関する多数の形態の画像データを含むことができる。例えば、シールに関する画像データは、同じシールの可視光範囲内の2つの画像を含むことができる。別の実施形態では、シールに関する画像データは3つの画像を含むことができ、1つはサーモグラフィ画像であり、1つは紫外線画像であり、1つは光弾性画像である。同じシールのこれらの多数の異なる形態の画像データは、人工知能アルゴリズムを別個に通過することができる。人工知能アルゴリズムが多数の異なる形態の画像データを使用してシールの同じ分類状態を返す場合、そのシールの分類の信頼性レベルが大幅に増加されることができる。一例では、人工知能アルゴリズムが、一方の画像を98%の信頼性レベルで不完全なシールを有する包装物品を有すると分類し、他方の画像を96%の信頼性レベルで不完全なシールを有する包装物品を有すると分類した場合、包装物品が不完全なシールを有するという信頼性レベルは99%より大きくなり得る。別の例では、人工知能アルゴリズムが、一方の画像を60%の信頼性レベルで非欠陥シールを有すると分類し、他方の画像を70%の信頼性レベルで非欠陥シールを有すると分類した場合、真空包装製品に欠陥がないという信頼性レベルは88%であり得る。2つの画像を使用する信頼性レベルは、いずれかの画像のみでよりも著しく高い可能性があるが、2つの画像からの合成された信頼性レベル(例えば、88%)は、依然として許容可能な確度(例えば、95%)の所定のパーセンテージ未満であり、手動分類のために包装物品にフラグが立てられる可能性がある。いくつかのさらなる実施形態では、多数のカメラ角が使用されて、多数の表面上で、包装物品を通して、包装物品からある角度で、または包装物品の真上などの多数の視点からシールを撮像することができる。いくつかの実施形態では、同じシールを撮像するための2つ以上のカメラ角度が使用されることができる。多数の形態の画像データの数は2つに限定されず、任意の数の形態の画像データであってもよいことは明らかであろう。
いくつかの実施形態では、増加または変更された画像インディケータまたは欠陥のすべてのエリアが検出および報告に必要とは限らず、ユーザまたはコンピュータ装置は、欠陥シールの識別を容易にするために1つ以上の閾値を決定することができる。閾値は、本明細書に詳述されているパラメータのいずれかに基づいてもよく、予め決定されてもよく、またはアルゴリズムもしくはモデルの結果として適用されてもよい。閾値サイズを超える変更された画像インディケータおよび欠陥のみが除去のためにフラグが立てられるように、閾値が設定されることができる。例えば、閾値は、少なくとも1つの方向において少なくとも2ミリメートルのサイズを有する蛍光領域に設定される(すなわち、機械方向に少なくとも2ミリメートルおよび/または横方向に少なくとも2mmのサイズを有する変化した蛍光)ことができる。あるいは、閾値は、少なくとも1つの方向において少なくとも1ミリメートルのサイズの熱画像異常に設定される(すなわち、少なくとも1つの方向における少なくとも1ミリメートルの変化した蛍光)ことができる。いくつかの実施形態では、閾値は所定の表面積(例えば、少なくとも1mm2、2mm2、3mm2、または4mm2の面積)に設定されることができる。そのような閾値は、システムが少なくとも一方向に10ミクロン程度のサイズまで欠陥を見る能力を有する場合でも設定することができる。閾値の設定は、少なくとも1つの方向における少なくとも特定のサイズの欠陥を検出するマシン視覚システムの能力とは異なる。むしろ、閾値の設定は、それに応答して信号の生成をトリガするエリアのサイズの最小値の設定である。その閾値は、任意の所望の値に設定されることができ、少なくとも指定されたサイズまで欠陥を検出するマシン視覚システムの能力とは異なる。
いくつかの実施形態では、本明細書に開示されるアルゴリズムまたはモデルベースの検出手段が使用されて、包装物品の欠陥を検出することができる。例えば、いくつかの実施形態では、本明細書に説明されるアルゴリズムまたはモデルベースの検出手段は、シールの大部分よりも高い高蛍光のエリアを検出することができ、これはシールのプリーツまたは他の欠陥を示すことができる。いくつかの実施形態では、アルゴリズムまたはモデルベースの検出手段は、シールからの実質的に一様な一定の蛍光を検出し、強いシールを示すことができる。いくつかの実施形態では、シールの領域内の蛍光が少ないまたは蛍光がないエリアは、シールの不連続性または脆弱性を示し得る。
いくつかの実施形態では、本明細書に開示されるアルゴリズムまたはモデルベースの検出手段が使用されて、包装物品の欠陥を検出することができる。例えば、いくつかの実施形態では、本明細書に説明されるアルゴリズムまたはモデルベースの検出手段は、シールの大部分よりも高い熱放射濃度の高いエリアを検出することができ、これはシールのプリーツまたは他の欠陥を示すことができる。いくつかの実施形態では、アルゴリズムまたはモデルベースの検出手段は、シールから実質的に一様で一定の熱画像を検出し、強いシールを示すことができる。いくつかの実施形態では、シールの領域内の熱放射が少ないまたは熱放射がないエリアは、シールの不連続性または脆弱性を示し得る。
いくつかの実施形態では、本明細書に開示されるアルゴリズムまたはモデルベースの検出手段が使用されて、包装物品の欠陥を検出することができる。例えば、いくつかの実施形態では、本明細書に説明されるアルゴリズムまたはモデルベースの検出手段は、光弾性の画像の下の可視の欠陥を検出することができる。

例示的な実施形態では、アルゴリズムおよび画像処理は、以下のステップのいくつかまたは全部を含むことができる:(1)画像を取り込む;(2)画像にノイズ除去を適用する;(3)画像をグレースケールに変換する;(4)閾値処理を適用して、考慮すべき画像のセクションを低減する;(5)画像の望ましくないエリアを排除する;(6)包装物品内の不良シールに対応する残りの画像内の特徴を識別する。これらの処理ステップのそれぞれの例は、以下の図に示され説明される。
図22を見てみると、十分なシールの熱画像データが示されている。包装物品にインパルスシールが作成された。インパルスシールは、直線的でないまたは波状のシールエリアを作成することが知られている。画像は、シール作成の5秒後に取り込まれた。シーリング後および画像取り込み前に、均一な能動冷却が利用された。このような十分なシール画像は、良いシール画像として人工知能アルゴリズムに使用されることができる。図23は、不良シールの熱画像データの例示的な画像である。包装物品にインパルスシールが形成された。画像は、シール作成の5秒後に取り込まれた。シーリング後および画像取り込み前に、均一な能動冷却が利用された。画像および同様の不良シール画像は、欠陥または不十分なシールを実証するために人工知能アルゴリズムを訓練するために使用されることができる。
図23は、局所的なシールプリーツを有する二重直線シールを示す例示的な熱画像である。包装物品にインパルスシールが形成された。画像は、シール作成の5秒後に取り込まれた。シーリング後および画像取り込み前に、均一な能動冷却が利用された。シールエリアに沿った熱画像の不連続性は、冷たく弱いシールを実証する。そのような画像は、本明細書に説明される人工知能アルゴリズムを訓練するのに有用である。
図24は、弱いシールエリアを有する二重直線シールを示す例示的な熱画像である。包装物品にインパルスシールが形成された。画像は、シール作成の5秒後に取り込まれた。シーリング後および画像取り込み前に、均一な能動冷却が利用された。シールエリアに沿った熱画像の不連続性は、冷たく弱いシールを実証する。そのような画像は、本明細書に説明される人工知能アルゴリズムを訓練するのに有用である。
ここで図25および図26を見てみると、許容可能なシールを実証する熱画像データ画像が示されている。図25および図26は、2つの別個の場所および2つの別個の時点における同じシールが撮影されている。シールエリアは、熱いまたは冷たいスポットまたはエリアなしに、シールに沿ってかなり一貫した熱放射を放射する。シールエリアの熱は、シーリングプロセスからの残留熱であり、経時的に放散する。図25は、ヒートシーリングプロセスの15秒後に撮影された画像である。図26は、ヒートシールの20秒後に撮影された画像である。ヒートシーリング後の熱画像の撮像時間は、フィルム、包装物品、フィルムの厚み、ヒートシール温度、方法に応じて調整することができる。
図27および図28を参照すると、欠陥シールを実証する熱画像データ画像が示されている。図25および図26は、2つの別個の場所および2つの別個の時点における同じシールが撮影されている。シールエリアは、熱いスポット3101、3102、3201、および3202を除いて、シールに沿ってかなり一貫した熱放射を放射する。シールエリアの熱は、シーリングプロセスからの残留熱であり、経時的に放散する。図27は、ヒートシーリングプロセスの15秒後に撮影された画像である。図28は、ヒートシーリングの20秒後に撮影された画像である。ヒートシーリング後の熱画像を取り込むための時間は、フィルム、包装物品、フィルムの厚み、ヒートシール温度、方法に応じて調整されることができる。
ここで図29を見てみると、本明細書に説明されるような光弾性撮像システムによって取り込まれたシールエリアが示されている。光弾性画像取込機構は、標準的な画像取込技術と比較して増強された視覚能力を提供する。図29は、欠陥のない適切なシールを実証する。
図30および図31は、光弾性撮像システムによって取り込まれたシールエリアを実証する。画像は、標準的な画像と比較してプリーツ欠陥の鮮明度を改善する。視覚検査エンジンは、隣接するピクセルの色勾配の変動、セクションの比較などについて画像を分析する。視覚検査エンジンは、シールエリアの平均、可変、スキュー、最小、最大、範囲または変動のうちの1つ以上の画素数または画像のセクション数を比較することができる。画像の画素またはセクション間の変動は、シール欠陥を示すことができる。
図32は、内部に配された光学光沢剤を有する包装物品が撮影されている紫外線画像を実証する。光学光沢剤は、プリーツ欠陥を含むシールエリアでより高い強度で蛍光を発する。追加の材料がプリーツ欠陥の周りに束ねられ、追加の照度を引き起こす。視覚検査エンジンは、隣接するピクセルの色勾配の変動、セクションの比較などについて画像を分析する。視覚検査エンジンは、シールエリアの平均、可変、スキュー、最小、最大、範囲または変動のうちの1つ以上の画素数または画像のセクション数を比較することができる。画像の画素またはセクション間の変動は、シール欠陥を示すことができる。
結論
上述の説明および関連する図面に示された教示の利益を有する、これらの発明に関連する当業者には、本明細書に記載の開示の多くの変更および他の実施形態が思い浮かぶであろう。したがって、本開示は、本明細書に開示された特定の実施形態に限定されるものではなく、修正および他の実施形態は、添付の特許請求の範囲内に含まれることが意図されることを理解されたい。さらに、上述の説明および関連する図面は、要素および/または機能の特定の例の組合せのコンテキストで実施形態例を説明しているが、添付の特許請求の範囲から逸脱することなく、代替的な実施形態によって要素および/または機能の異なる組合せが提供されていてもよいことが理解されるべきである。これに関して、例えば、添付の特許請求の範囲のいくつかに記載され得るように、明示的に上述されたもの以外の要素および/または機能の異なる組合せも企図される。本明細書では特定の用語が採用されているが、それらは一般的かつ説明的な意味でのみ使用され、限定のためではない。

Claims (93)

  1. A)少なくとも1つのシールエリアを形成することによって、包装物品を形成するために、フィルムを、それ自体、別のフィルム、または包装支持体にシールすること、
    B)画像取込デバイスを備える視覚システムを用いて、少なくとも1つのシールエリアの画像データを取得すること、
    C)シールの連続性、シールの強度、またはシールエリアの連続性および強度の両方を検証するために、視覚検査エンジンを用いてシールエリアの画像データを評価すること
    を備える、包装物品のシール品質を監視するためのプロセス。
  2. 少なくとも1つのシールエリアを形成することが、発熱シールによって形成される、請求項1に記載のプロセス。
  3. 発熱シールが直線的でないシールである、請求項2に記載のプロセス。
  4. 発熱シールが、インパルスシール、超音波シール、レーザシールおよびヒートシールからなる群から選択される、請求項2または3に記載のプロセス。
  5. フィルムが、蛍光ベースのインディケータを含む少なくとも1つの層を含む、請求項1から4のいずれか一項に記載のプロセス。
  6. 視覚システムが、ブルーバンドパスフィルタをさらに備える、請求項5に記載のプロセス。
  7. 視覚システムが、紫外光源をさらに備える紫外線視覚システムである、請求項5または6に記載のプロセス。
  8. 紫外線視覚システムは、白色光源をさらに備える、請求項5から7のいずれか一項に記載のプロセス。
  9. 紫外線視覚システムが、白色光源および紫外光源を可変パターンで照明する、請求項5から8のいずれか一項に記載のプロセス。
  10. 画像取込デバイスが、可視スペクトルの視覚的画像を取り込むことができる、請求項5から9のいずれか一項に記載のプロセス。
  11. C)蛍光ベースのインディケータが蛍光を発するように、蛍光ベースのインディケータを励起するために、包装物品を入射放射線に曝露するステップ、
    D)インディケータが蛍光を発している間に、包装物品によってシールエリアから放射された蛍光の画像データを取得するステップ
    をさらに含む、請求項5に記載のプロセス。
  12. 蛍光ベースのインディケータが、紫外線インディケータ、赤外線インディケータ、染料、顔料、光学光沢剤、蛍光増白剤、2,2’-(2,5-チオフェニレンジイル)ビス(5-tert-ブチルベンゾオキサゾール)、ヒドロキシル-4-)p-トリルアミノ)アントラセン-9,10-ジオン、2,5-チオフェンジイルビス(5-tert-ブチル-1,3-ベンゾオキサゾール)およびアントラキノン染料からなる群から選択される少なくとも1つのメンバーを含む、請求項11に記載のプロセス。
  13. 蛍光ベースのインディケータが、フィルムの少なくとも1つの層に存在し、層重量に基づいて0.5から1000ppmまでのレベルで存在する、請求項11または12に記載のプロセス。
  14. 蛍光ベースのインディケータが、フィルムの少なくとも1つの層に存在し、層重量に基づいて5から10ppmまでのレベルで存在する、請求項11または12に記載のプロセス。
  15. 視覚検査エンジンが、励起された蛍光ベースのインディケータによって放射された蛍光電磁エネルギーが欠陥シールを示すかどうかを決定するように構成されたコンピュータ実行可能命令を含むコンピューティング装置を備える、請求項11から14のいずれか一項に記載のプロセス。
  16. コンピュータ実行可能命令が、教師あり、教師なし、または半教師ありの方法論の群から選択された少なくとも1つの人工知能アルゴリズムを含む、請求項15に記載のプロセス。
  17. 人工知能アルゴリズムを、欠陥のある許容可能なシールを含む訓練包装物品画像のセットで訓練するステップをさらに含む、請求項16に記載のプロセス。
  18. シールに欠陥があると決定することが、シールの第2の領域に対して、シールの第1の領域においてより高いまたはより低い蛍光強度をフィルムが示すと決定することを含む、請求項11から17のいずれか一項に記載のプロセス。
  19. シールに欠陥があると決定することが、予想されるレベルの蛍光に対して、シールの第1の領域においてより高いまたはより低い蛍光強度をフィルムが示すと決定することを含む、請求項11から17のいずれか一項に記載のプロセス。
  20. シールに欠陥があると決定することが、(i)フィルムが、シールの第2の領域に対して、シールの第1の領域においてより高いまたはより低い蛍光強度を示すこと、(ii)フィルムが、予想されるレベルの蛍光に対して、シールの第1の領域においてより高いまたはより低い蛍光強度を示すこと、または(iii)(i)および(ii)の両方、のうちの少なくとも1つを決定することを含む、請求項11から17のいずれか一項に記載のプロセス。
  21. 画像データが、少なくとも1つのシールエリアの形成後に一度に取り込まれた時間遅延サーモグラフィデータである、請求項1から4のいずれか一項に記載のプロセス。
  22. 視覚システムが、シールエリアから放射された赤外線放射の量に基づいて温度分布を取り込むことができる赤外線撮像デバイスを備えるサーモグラフィ視覚システムである、請求項21に記載のプロセス。
  23. 少なくとも1つのシールエリアを形成した後、2から30秒の間に画像データが撮影される、請求項21または22に記載のプロセス。
  24. 少なくとも1つのシールエリアを形成した後、5から20秒の間に画像データが撮影される、請求項21から23のいずれか一項に記載のプロセス。
  25. 能動冷却システムをさらに含む、請求項21から24のいずれか一項に記載のプロセス。
  26. 視覚検査エンジンは、シールの取り込まれた熱画像データが欠陥シールを示すかどうかを決定するように構成されたコンピュータ実行可能命令を含むコンピューティング装置を備える、請求項21から25のいずれか一項に記載のプロセス。
  27. コンピュータ実行可能命令が、教師あり、教師なし、または半教師ありの方法論の群から選択された少なくとも1つの人工知能アルゴリズムを含む、請求項21から26のいずれか一項に記載のプロセス。
  28. 人工知能アルゴリズムを、欠陥のある許容可能なシールを含む訓練包装物品画像のセットで訓練するステップをさらに含む、請求項21から27のいずれか一項に記載のプロセス。
  29. シールに欠陥があると決定することが、シールの第2の領域に対して、シールの第1の領域においてより高いまたはより低い熱温度をフィルムが示すと決定することを含む、請求項21から28のいずれか一項に記載のプロセス。
  30. 視覚システムは、
    (v)第1の方向に配向された偏光方向を有する第1の直線偏光子と、
    (vi)第1の方向と直交して配向された偏光方向を有する第2の直線偏光子と、
    (vii)光源と、
    (viii)撮像デバイスと
    を備える光弾性視覚システムである、請求項1に記載のプロセス。
  31. 第1の直線偏光子が光源に統合される、請求項30に記載のプロセス。
  32. 第2の直線偏光子が撮像デバイスに統合される、請求項30または31に記載のプロセス。
  33. 光源は、400nmから700nmまでの波長スペクトルを有する白色光源である、請求項30から32のいずれか一項に記載のプロセス。
  34. 白色光源は拡散白色光源である、請求項30から33のいずれか一項に記載のプロセス。
  35. 光源と包装物品との間に配置された光ディフューザをさらに備える、請求項30から34のいずれか一項に記載のプロセス。
  36. 光弾性画像データの取得が、包装物品の形成とインラインで行われる、請求項30から35のいずれか一項に記載のプロセス。
  37. 視覚システムが第1の視覚システムであり、第1の視覚システムとは違う第2の視覚システムをさらに備える、請求項1に記載のプロセス。
  38. 第1の視覚システムが、赤外線撮像デバイスを備えるサーモグラフィ視覚システムであり、第2の視覚システムが、
    (v)第1の方向に配向された偏光方向を有する第1の直線偏光子と、
    (vi)第1の方向と直交して配向された偏光方向を有する第2の直線偏光子と、
    (vii)光源と、
    (viii)画像取込デバイスと
    を備える光弾性視覚システムである、請求項37に記載のプロセス。
  39. 第3の視覚システムをさらに備え、第3の視覚システムが、紫外光源を備える紫外線視覚システムである、請求項38に記載のプロセス。
  40. 第1の視覚システムが、赤外線撮像デバイスを備えるサーモグラフィ視覚システムであり、第2の視覚システムが、紫外光源を備える紫外線視覚システムである、請求項37に記載のプロセス。
  41. 第3の視覚システムをさらに備え、第3の視覚システムが、
    (v)第1の方向に配向された偏光方向を有する第1の直線偏光子と、
    (vi)第1の方向と直交して配向された偏光方向を有する第2の直線偏光子と、
    (vii)光源と、
    (viii)画像取込デバイスと
    を備える光弾性視覚システムである、請求項40に記載のプロセス。
  42. 第1の視覚システムが、紫外光源を備える紫外線視覚システムであり、第2の視覚システムが、
    (v)第1の方向に配向された偏光方向を有する第1の直線偏光子と、
    (vi)第1の方向と直交して配向された偏光方向を有する第2の直線偏光子と、
    (vii)光源と、
    (viii)画像取込デバイスと
    を備える光弾性視覚システムである、請求項37に記載のプロセス。
  43. 第3の視覚システムをさらに備え、第3の視覚システムが、赤外線撮像デバイスを備えるサーモグラフィ視覚システムである、請求項42に記載のプロセス。
  44. 視覚検査エンジンは、シールが取り込まれた視覚的画像データが欠陥シールを示すかどうかを決定するように構成されたコンピュータ実行可能命令を含むコンピューティング装置を備える、請求項1から43のいずれか一項に記載のプロセス。
  45. フィルムが、機械方向または横方向のいずれかにおいて、85℃で10%未満の総自由収縮を有する、請求項1から44のいずれか一項に記載のプロセス。
  46. フィルムが、機械方向または横方向のいずれかにおいて、85℃で少なくとも10%の総自由収縮を有する、請求項1から45のいずれか一項に記載のプロセス。
  47. シールに欠陥があると決定することが、包装物品のシールの隙間、包装物品のシールのプリーツ、弱いシール、または冷たいシールのうちの少なくとも1つを示す、請求項1から46のいずれか一項に記載のプロセス。
  48. 製品が食品製品である、請求項1から47のいずれか一項に記載のプロセス。
  49. 食品製品が、肉およびチーズからなる群から選択される少なくとも1つのメンバーを含む、請求項48に記載のプロセス。
  50. フィルムが単層フィルムである、請求項1から49のいずれか一項に記載のプロセス。
  51. フィルムが多層フィルムである、請求項1から50のいずれか一項に記載のプロセス。
  52. 多層フィルムが機能層を含み、蛍光ベースのインディケータが、機能層に存在する、請求項51に記載のプロセス。
  53. 機能層が、酸素バリア層、官能バリア層、水分バリア層、有害化学物質バリア層、微生物バリア層、酸性層、酸性塩層、バクテリオシン層、バクテリオファージ層、金属層、金属塩層、天然油層、天然抽出物層、ポリヘキサメチレンビグアニド塩酸塩を含む層、パラベンを含む層、グラフト化シラン-四級アミンを含む層、トリクロサンを含む層、銀、銅および/または亜鉛のゼオライトを含む層からなる群から選択されるメンバーである、請求項52に記載のプロセス。
  54. 機能層が、塩化ビニリデンコポリマー、ケン化エチレン/酢酸ビニルコポリマー、ポリアミド、ポリエステル、配向ポリプロピレンおよびエチレンホモポリマーからなる群から選択される少なくとも1つのメンバーを含む酸素バリア層である、請求項52に記載のプロセス。
  55. 多層フィルムが、
    A)ヒートシール層として機能するように構成された第1の外側フィルム層である第1の層と、
    B)酷使層として機能するように構成された第2の外側層である第2の層と、
    C)第1の層と第2の層との間にある第3の層であって、機能層として機能するように構成された第3の層と、
    D)第1の層と第3の層との間にある第4の層であって、第1のタイ層として機能するように構成された、第4の層と、
    E)第2の層と第3の層との間にある第5の層であって、第2のタイ層として機能するように構成された、第5の層と
    を備える、請求項51から54のいずれか一項に記載のプロセス。
  56. 包装物品が、エンドシールバッグ、サイドシールバッグ、パウチ、またはバックシーム式包装物品からなる群から選択される、請求項1から55のいずれか一項に記載のプロセス。
  57. 欠陥シールが検出された場合に、プロセスが、アラーム、パッケージのフラグ立て、欠陥シールの画像を表示すること、レポートを生成すること、包装物品をマーキングすること、および包装物品を方向転換することからなる群から選択される少なくとも1つのメンバーを含む信号を生成することをさらに含む、請求項1から56のいずれか一項に記載のプロセス。
  58. 視覚システムの少なくとも一部が、周囲光の少なくとも50%を遮断するように構成されたエンクロージャ内に含まれる、請求項1から57のいずれか一項に記載のプロセス。
  59. 視覚システムの少なくとも一部が、周囲光の少なくとも85%を遮断するように構成されたエンクロージャ内に含まれる、請求項1から58のいずれか一項に記載のプロセス。
  60. 画像データが、熱画像データ、光弾性画像データ、および紫外蛍光により放射された画像データからなる群から選択される、請求項1から59のいずれか一項に記載のプロセス。
  61. 欠陥シールが検出された場合に、プロセスが、アラーム、パッケージのフラグ立て、欠陥シールの画像を表示すること、レポートを生成すること、包装物品をマーキングすること、および包装物品を方向転換することからなる群から選択される少なくとも1つのメンバーを含む信号を生成することをさらに含む、請求項1から60のいずれか一項に記載のプロセス。
  62. 少なくとも1つのシールエリアの画像データが、毎秒少なくとも5画像の速度で画像取込デバイスによって取り込まれる、請求項1から61のいずれか一項に記載のプロセス。
  63. 少なくとも1つのシールエリアの画像データが、毎秒少なくとも30画像の速度で画像取込デバイスによって取り込まれる、請求項1から62のいずれか一項に記載のプロセス。
  64. 少なくとも1つのシールエリアの画像データが、毎秒少なくとも100画像の速度で画像取込デバイスによって取り込まれる、請求項1から63のいずれか一項に記載のプロセス。
  65. 少なくとも1つのシールエリアの画像データが、毎秒少なくとも250画像の速度で画像取込デバイスによって取り込まれる、請求項1から64のいずれか一項に記載のプロセス。
  66. 少なくとも1つのシールエリアの画像データが、包装製品を送り出す前に視覚システムによって取り込まれる、請求項1から65のいずれか一項に記載のプロセス。
  67. 視覚検査エンジンが、シールエリアの画像データにシールスコア値を割り当てる、請求項1から66のいずれか一項に記載のプロセス。
  68. 視覚検査エンジンが、シールエリアの画像データのシールスコア値を閾値と比較する、請求項1から67のいずれか一項に記載のプロセス。
  69. 視覚検査エンジンは、シールスコア値が閾値を超えている場合、シール欠陥機構に命令を送る、請求項67から67のいずれか一項に記載のプロセス。
  70. 視覚検査エンジンが、シールスコア値に確信度を割り当てる、請求項67から69のいずれか一項に記載のプロセス。
  71. A)少なくとも1つのシールエリアを形成することによって、包装物品を形成するために、フィルムを、それ自体、別のフィルム、または包装支持体にシールするように構成されたシーリング機構、
    B)視覚システムを用いて、少なくとも1つのシールエリアの画像データを取得するように構成された画像取込デバイスを備える視覚システム、
    C)シールの連続性、シールの強度、またはシールエリアの連続性および強度の両方を検証するために、視覚検査エンジンを用いてシールエリアの画像データを評価すること
    を備える、包装物品の欠陥シールを検出するためのシステム。
  72. シーリング機構がヒートシールを形成する、請求項71に記載のシステム。
  73. フィルムが、蛍光ベースのインディケータを含む少なくとも1つの層を含む、請求項71に記載のシステム。
  74. ブルーバンドパスフィルタをさらに備える、請求項71に記載のシステム。
  75. 視覚システムが、紫外光源をさらに備える紫外線視覚システムである、請求項71に記載のシステム。
  76. A)蛍光ベースのインディケータが蛍光を発するように、蛍光ベースのインディケータを励起するために、包装物品を入射放射線に曝露すること、
    B)インディケータが蛍光を発している間に、包装物品によってシールエリアから放射された蛍光の画像データを取得すること
    をさらに含む、請求項75に記載のシステム。
  77. 蛍光ベースのインディケータが、紫外線インディケータ、赤外線インディケータ、染料、顔料、光学光沢剤、蛍光増白剤、2,2’-(2,5-チオフェニレンジイル)ビス(5-tert-ブチルベンゾオキサゾール)、ヒドロキシル-4-)p-トリルアミノ)アントラセン-9,10-ジオン、2,5-チオフェンジイルビス(5-tert-ブチル-1,3-ベンゾオキサゾール)およびアントラキノン染料からなる群から選択される少なくとも1つのメンバーを含む、請求項76に記載のシステム。
  78. 視覚検査エンジンが、励起された蛍光ベースのインディケータによって放射された蛍光電磁エネルギーが欠陥シールを示すかどうかを決定するように構成されたコンピュータ実行可能命令を含むコンピューティング装置を備える、請求項75から77のいずれか一項に記載のシステム。
  79. コンピュータ実行可能命令が、教師あり、教師なし、または半教師ありの方法論の群から選択された少なくとも1つの人工知能アルゴリズムを含む、請求項78に記載のシステム。
  80. シールに欠陥があると決定することが、シールの第2の領域に対して、シールの第1の領域においてより高いまたはより低い蛍光強度をフィルムが示すと決定することを含む、請求項79に記載のシステム。
  81. シールに欠陥があると決定することが、予想されるレベルの蛍光に対して、シールの第1の領域においてより高いまたはより低い蛍光強度をフィルムが示すと決定することを含む、請求項79に記載のシステム。
  82. シールに欠陥があると決定することが、(i)フィルムが、シールの第2の領域に対して、シールの第1の領域においてより高いまたはより低い蛍光強度を示すこと、(ii)フィルムが、予想されるレベルの蛍光に対して、シールの第1の領域においてより高いまたはより低い蛍光強度を示すこと、または(iii)(i)および(ii)の両方、のうちの少なくとも1つを決定することを含む、請求項79に記載のシステム。
  83. 画像データが、少なくとも1つのシールエリアの形成後に一度に取り込まれた時間遅延サーモグラフィデータである、請求項71に記載のシステム。
  84. 視覚システムが、シールエリアから放射された赤外線放射の量に基づいて温度分布を取り込むことができる赤外線撮像デバイスを備えるサーモグラフィ視覚システムである、請求項83に記載のシステム。
  85. 少なくとも1つのシールエリアを形成した後、2から30秒の間に画像データが撮影される、請求項84に記載のシステム。
  86. 視覚検査エンジンは、シールの取り込まれた熱画像データが欠陥シールを示すかどうかを決定するように構成されたコンピュータ実行可能命令を含むコンピューティング装置を備える、請求項85に記載のシステム。
  87. シールに欠陥があると決定することが、シールの第2の領域に対して、シールの第1の領域においてより高いまたはより低い熱温度をフィルムが示すと決定することを含む、請求項86に記載のシステム。
  88. 視覚システムは、
    (v)第1の方向に配向された偏光方向を有する第1の直線偏光子と、
    (vi)第1の方向と直交して配向された偏光方向を有する第2の直線偏光子と、
    (vii)光源と、
    (viii)撮像デバイスと
    を備える光弾性視覚システムである、請求項71に記載のシステム。
  89. 画像データが、熱画像データ、光弾性画像データ、および紫外蛍光により放射された画像データからなる群から選択される、請求項71に記載のシステム。
  90. 少なくとも1つのシールエリアの画像データが、毎秒少なくとも30画像の速度で画像取込デバイスによって取り込まれる、請求項71に記載のシステム。
  91. 視覚検査エンジンが、シールエリアの画像データにシールスコア値を割り当てる、請求項71に記載のシステム。
  92. 視覚検査エンジンが、シールエリアの画像データのシールスコア値を閾値と比較する、請求項71に記載のシステム。
  93. 視覚検査エンジンが、シールスコア値に確信度を割り当てる、請求項71に記載のシステム。
JP2021558659A 2019-04-11 2020-04-10 シールの完全性のインライン検査のためのシステム Pending JP2022526967A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962832573P 2019-04-11 2019-04-11
US62/832,573 2019-04-11
PCT/US2020/027592 WO2020210574A1 (en) 2019-04-11 2020-04-10 System for in-line inspection of seal integrity

Publications (2)

Publication Number Publication Date
JP2022526967A true JP2022526967A (ja) 2022-05-27
JPWO2020210574A5 JPWO2020210574A5 (ja) 2023-04-05

Family

ID=70476529

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021558659A Pending JP2022526967A (ja) 2019-04-11 2020-04-10 シールの完全性のインライン検査のためのシステム

Country Status (8)

Country Link
US (1) US20220214243A1 (ja)
EP (1) EP3914903A1 (ja)
JP (1) JP2022526967A (ja)
CN (1) CN113677971A (ja)
AU (1) AU2020271090A1 (ja)
BR (1) BR112021015328A2 (ja)
MX (1) MX2021011991A (ja)
WO (1) WO2020210574A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024518600A (ja) * 2021-05-28 2024-05-01 テトラ ラバル ホールディングス アンド ファイナンス エス エイ 食品パッケージの品質評価方法及び包装システム
WO2023042059A1 (en) * 2021-09-15 2023-03-23 Atai Labs Private Limited "computer-implemented system and method for detecting presence and intactness of a container seal"
US20230251206A1 (en) * 2022-02-09 2023-08-10 Greyscale AI System and method to determine a score indicating seal integrity in a package
CN115170974B (zh) * 2022-09-08 2022-12-20 深圳市勘察研究院有限公司 基于ai智能检测溶洞连通性的方法及装置
CN116105950B (zh) * 2023-04-04 2023-07-14 常州亨达车业部件有限公司 一种汽车灯罩气密性自动化检测装置及检测方法
CN117541483B (zh) * 2024-01-10 2024-03-22 深圳市诚誉兴光电有限公司 一种扩散板的结构性能评估方法及系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4278738A (en) 1978-03-10 1981-07-14 W. R. Grace & Co. Ethylene-vinyl acetate copolymer film laminate
AUPS282902A0 (en) * 2002-06-07 2002-06-27 Pak Technologies Group Pty Ltd Flexible pouch, filling and heat sealing line for flexible pouches, and containers for supporting and moving the flexible pouches
US7142707B2 (en) * 2003-04-09 2006-11-28 Northrop Grumman Corporation Automated inspection of packaging materials for package integrity
US20060244954A1 (en) * 2005-03-29 2006-11-02 Daley Wayne D System and method for inspecting packaging quality of a packaged food product
US7464518B2 (en) * 2007-01-19 2008-12-16 Robert Bosch Gmbh Package heat seal quality indicator using UV visible thermochromic ink
FI124299B (fi) * 2009-10-08 2014-06-13 Focalspec Oy Mittalaite ja menetelmä kohteen ja kohteen pinnan ominaisuuksien mittaamiseksi
GB2507813B (en) * 2012-11-13 2017-06-21 Focalspec Oy Apparatus and method for inspecting seals of items
SG10201501672PA (en) * 2015-03-05 2016-10-28 Emage Vision Pte Ltd Inspection of sealing quality in blister packages
MX2019009274A (es) * 2017-02-08 2019-12-09 Cryovac Llc Procesos y sistemas para inspeccion en linea de capa de pelicula funcional que contiene componente detectable.

Also Published As

Publication number Publication date
AU2020271090A1 (en) 2021-09-02
BR112021015328A2 (pt) 2021-10-05
WO2020210574A1 (en) 2020-10-15
MX2021011991A (es) 2021-11-03
CN113677971A (zh) 2021-11-19
EP3914903A1 (en) 2021-12-01
US20220214243A1 (en) 2022-07-07

Similar Documents

Publication Publication Date Title
JP2022526967A (ja) シールの完全性のインライン検査のためのシステム
US11761845B2 (en) Inspection of vacuum packaged product for detection of gas inside package
US11628610B2 (en) Process for in-line inspection of functional film layer containing detectable component
US20220254005A1 (en) Yarn quality control
US11127134B2 (en) Film defect detection method and system
KR102206753B1 (ko) 결함 검사 장치
CN115375614A (zh) 用于对通过制造过程制造的产品进行分类的系统和方法
AU2018219852B2 (en) Processes and systems for in-line inspection of functional film layer containing detectable component
CN115457026A (zh) 一种基于改进YOLOv5的纸病检测方法
WO2021193733A1 (ja) 教師データ生成装置、検査装置及びプログラム
Anush et al. Bottle line detection using digital image processing with machine learning
US20210049396A1 (en) Optical quality control
Clark et al. Fabric composition classification using hyper-spectral imaging
Liu et al. Surface Defect Detection Based on Deep Convolutional Siamese Networks and Defect Saliency.
Kumarasinghe et al. A Combination of Deep Learning and Segmentation Algorithms applied to Appearance Inspection Problem
US20240212356A1 (en) Systems and methods for monitoring and controlling industrial processes
Moro et al. An Online Deep Learning Based System for Defects Detection in Glass Panels
Chen et al. Computerized image analysis in manufacturing industry anomaly detection using artificial intelligence techniques
Zhang et al. A novel approach for the non-destructive detection of shriveling degrees in walnuts using improved YOLOv5n based on X-ray images
Truong et al. A non-destructive, autoencoder-based approach to detecting defects and contamination in reusable food packaging
NZ754152B2 (en) Processes and systems for in-line inspection of functional film layer containing detectable component
Mawardi et al. Performance Analysis of ResNet50 and Inception-V3 Image Classification for Defect Detection in 3D Food Printing.
CN117576016A (zh) 一种烟箱外观缺陷的智能检测方法
Selvan et al. Detection of weld defects in radiographic images based on region counting and classification using feed forward neural network with back propagation
CN117522819A (zh) 一种基于改进ca注意力机制的编织袋缺陷实时检测方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230328

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230328

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240130

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240131

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240424