JP2023059400A - 物品検査装置および物品検査方法 - Google Patents

物品検査装置および物品検査方法 Download PDF

Info

Publication number
JP2023059400A
JP2023059400A JP2021169388A JP2021169388A JP2023059400A JP 2023059400 A JP2023059400 A JP 2023059400A JP 2021169388 A JP2021169388 A JP 2021169388A JP 2021169388 A JP2021169388 A JP 2021169388A JP 2023059400 A JP2023059400 A JP 2023059400A
Authority
JP
Japan
Prior art keywords
article
image
inspection
configuration
sensitivity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021169388A
Other languages
English (en)
Inventor
治 ▲高▼田
Osamu Takada
真也 脇
Shinya Waki
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anritsu Corp
Original Assignee
Anritsu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anritsu Corp filed Critical Anritsu Corp
Priority to JP2021169388A priority Critical patent/JP2023059400A/ja
Priority to US18/045,636 priority patent/US20230122223A1/en
Priority to CN202211252527.4A priority patent/CN115980098A/zh
Publication of JP2023059400A publication Critical patent/JP2023059400A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/0008Industrial image inspection checking presence/absence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/68Food, e.g. fruit or vegetables
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/02Food
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30128Food products

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

【課題】所要の検査感度を担保しながらも、品種ごとの検査パラメータとしての判定基準の設定作業の負担を軽減することができる物品検査装置および方法を提供する。【解決手段】複数の具材Wa、Wb、Wc、Wdを含むワークWをその検査画像を用いて検査する物品検査装置であって、検査画像に係る所定の検出値の情報を記憶するX線画像メモリ61と、視覚センサとしてワークWを撮像するカメラ41と、カメラ41により撮像されたワークWの画像データを基に所定の認識処理を実行して、ワークWの内容物の素材構成を判定する構成判定部53と、構成判定部53により内容物の素材構成が判定されたとき、X線画像メモリ61および管理感度メモリ64の記憶情報を基に所定の検出値に対する検出感度を推定し、物品検査の判定基準を提案出力する提案出力部54と、を備える。【選択図】図3

Description

本発明は、物品検査装置および物品検査方法に関し、特に被検査物品の検査画像を基に物品検査する物品検査装置および物品検査方法に関する。
従前より、各種の被検査物品(肉類、魚貝類、加工食品、医薬品等)の製造ライン中にX線検査領域を設けて、搬送中の被検査物品に対してX線を照射し、その被検査物品を、X線検査画像に基づいて物品検査する装置および方法、例えば異物が混入したり欠品や包装不良が生じたりしていないかを検査することができる物品検査装置および方法が知られている。
このような物品検査装置および方法では、搬送中の被検査物品を透過するX線をX線ラインセンサ等で逐次検出して、所定時間ごとのX線透過量分布に対応する多階調のX線画像データを作成し、そのX線画像データに対しフィルタ処理や微分処理その他の画像処理を施して、被検査物品中の異物や欠品の有無を判定するようになっている。
また、被検査物品の内容物やそのX線透過方向の厚さ、異物や欠品の有無等によってX線の透過量が相違することから、正確な検査結果が得られるよう、物品検査装置への新品種の登録時等に、その品種に対応するX線の波長や照射強度、画像処理条件等を特定するパラメータの設定に加えて、検査画像を基に異物や欠品を検出する際の判定閾値(以下、リミットともいう)の適否を物品サンプルや検出したい異物のテストピースを用いてチェックしているものが多い。
この種の物品検査装置および方法としては、例えば被検査物品が複数種の具材をパックに収納する弁当等である場合に、その物品のX線検査画像中に複数の検査領域を指定して、指定した領域ごとに、具材の種別や検出したい異物のサイズ等に対応するリミットを設定できるようにして、所要の感度での異物検出を実行できるようにしたものがある(例えば、特許文献1参照)。
特許第3888623号公報
しかしながら、従来の物品検査装置および物品検査方法にあっては、高感度の物品検査を行うために、被検査物品の品種ごとに検査パラメータとして判定閾値レベル等の判定基準の設定作業が必要となるため、類似する多品種の物品を検査対象とするような場合や新品種への入れ替えが頻繁に発生するような業界においては、判定基準の設定作業の負担が大きく感じられるものとなっていた。
また、前述の従来例のように、検査画像領域中に複数の検査対象領域を指定する場合、高感度の異物検出や欠品検査等が可能になるものの、領域指定数が多かったり経験の浅い作業者が設定作業を行ったりすると、指定領域ごとに判定閾値レベル等の判定基準の設定が必要であるために、設定作業の負担が大きくなっていた。
本発明は、かかる従来の課題を解決するものであり、所要の検査感度を担保しながらも、品種ごとの検査パラメータとなる判定基準の設定作業の負担を軽減することができる物品検査装置および物品検査方法を提供することを目的とする。
(1)本発明に係る物品検査装置は、上記目的達成のため、複数の内容物を含む被検査物品を検査画像を用いて物品検査する物品検査装置であって、前記検査画像に係る所定の検出値の情報を記憶する情報記憶部と、前記被検査物品を撮像する物品撮像部と、前記物品撮像部により撮像された前記被検査物品の画像データを基に所定の認識処理を実行して、前記被検査物品の前記内容物の素材構成を判定する構成判定部と、前記構成判定部により前記内容物の素材構成が判定されたとき、前記内容物の素材構成を基に前記所定の検出値に対する検出感度を推定し、前記物品検査の判定基準を提案出力する提案出力部と、を備えることを特徴とする。
この構成により、本発明では、物品撮像部により撮像された被検査物品の画像データを基に、構成判定部で所定の認識処理が実行され、被検査物品の内容物の素材構成が判定される。そして、提案出力部では、内容物の素材構成に応じて検査画像の画素値等に対応する所定の検出値の検出感度が推定されて、情報記憶部の記憶情報に基づく物品検査の判定基準が推定された検出感度に応じた好適な基準値レベルで提案出力される。その結果、品種ごとの検査パラメータとなる判定閾値レベル等の判定基準の設定作業の作業負担を十分に軽減可能となる。
(2)本発明の好ましい実施形態においては、複数の素材のそれぞれの前記所定の検出値に対する感度影響の情報を記憶する感度影響素材記憶部をさらに備えており、前記提案出力部は、前記構成判定部で前記所定の認識処理により取得された前記素材構成の情報および該素材構成に対応する前記感度影響素材記憶部の記憶情報を基に、前記所定の検出値に対する検出感度を推定する構成とすることができる。
この構成により、構成判定部で被検査物品の内容物の素材構成の情報が取得されると、その素材構成について、感度影響素材記憶部の記憶情報を基に所定の検出値に対する感度影響レベルが把握可能となる。したがって、所定の検出値に有意に影響する素材構成に応じて、適切な物品検査の判定基準を提案出力可能となる。
(3)本発明の好ましい実施形態において、前記構成判定部は、前記被検査物品の画像を文字認識可能な画像または/および画像認識可能な画像として入力する画像入力手段と、前記画像入力手段による入力画像を文字認識または/および画像認識して、少なくとも前記被検査物品の特定の内容物の素材構成に対応する第1の素材情報を取得する認識処理手段と、を有していてもよい。
このようにすると、画像入力手段による入力画像を基に、文字認識や画像認識によって、少なくとも特定の内容物の素材構成に対応する第1の素材情報が取得される。したがって、所定の検出値に有意に影響する第1の素材情報が取得されたときに、その感度影響レベルに応じて、必要な物品検査の判定基準の提案出力が可能となる。
(4)本発明の好ましい実施形態において、前記構成判定部の前記認識処理手段は、前記画像入力手段による入力画像を文字認識または/および画像認識した結果を基に、前記特定の内容物の素材構成に類似する他の内容物の素材構成について、前記第1の素材情報に加え、前記第1の素材情報との差分に相当する第2の素材情報を取得することを特徴とする。
この場合、入力画像から文字認識または/および画像認識した結果を基に、特定の内容物の素材構成に類似する他の内容物の素材構成について、第1の素材情報に加え、第1の素材情報との差分に相当する第2の素材情報が取得される。したがって、特定の内容物に代えて類似する他の内容物を有する被検査物品について、既知の感度情報を利用でき、品種ごとの検査パラメータとしての判定閾値レベルの設定作業を、迅速・容易にかつ的確に実行可能な物品検査装置となる。
(5)本発明の好ましい実施形態においては、前記被検査物品が、前記複数の内容物を対応する複数の配置領域に配置した構成となっており、前記構成判定部が、前記物品撮像部により撮像された前記複数の配置領域のそれぞれについて対応する配置領域ごとの前記内容物の画像データを基に前記所定の認識処理を実行して、前記複数の配置領域のそれぞれの内容物の素材構成を判定し、前記提案出力部は、前記構成判定部での判定結果を基に、前記複数の配置領域の領域ごとの判定基準を提案出力する構成とすることができる。
この場合、複数の内容物に係る所定の検出値の情報が、複数の配置領域に対応付けて記憶されることで、各配置領域における内容物の素材構成に応じて配置領域ごとの判定基準を的確に提案出力可能となる。
(6)本発明の好ましい実施形態においては、前記被検査物の品種および設定情報を前記素材構成の情報と共に記憶する品種登録情報記憶部をさらに備え、前記構成判定部が、前記被検査物品における前記複数の配置領域のそれぞれについて、前記品種登録情報記憶部の記憶情報と前記所定の認識処理による取得情報とを基に、各配置領域に対応する内容物の素材構成に、前記所定の検出値に有意に影響する部分変更が生じたか否かを判定する構成とすることができる。
この場合、複数の配置領域のそれぞれにつき、既に品種登録済みの内容物の素材構成と所定の認識処理による取得情報とを基に、検査対象の内容物の素材構成を品種登録済みの内容物の素材構成と比較することで、所定の検出値に有意に影響する部分変更が生じたか否かが判定される。したがって、品種登録済みの内容物の設定情報を利用しつつ、必要な判定基準の調整を的確に提案出力可能となる。
(7)本発明に係る物品検査方法は、複数の内容物を含む被検査物品を検査画像を用いて物品検査する物品検査方法であって、前記検査画像に係る所定の検出値の情報を記憶する情報記憶ステップと、前記被検査物品を撮像する物品撮像ステップと、前記物品撮像ステップで撮像した前記被検査物品の画像データを基に所定の認識処理を実行して、前記被検査物品の前記内容物の素材構成を判定する構成判定ステップと、前記構成判定ステップで判定した前記内容物の素材構成を基に、前記所定の検出値に対する検出感度を推定して、前記物品検査の判定基準を提案出力する提案出力ステップと、を含むことを特徴とするものである。
この構成により、本発明の物品検査方法では、物品撮像ステップで撮像した被検査物品の外観画像データを基に、構成判定ステップで所定の認識処理を実行し、被検査物品の内容物の素材構成を判定する。そして、提案出力ステップで、内容物の素材構成に対応する検出感度への影響を考慮しつつ検査画像の画素値等に対応する所定の検出値の検出感度を推定して、情報記憶ステップでの記憶情報に基づく物品検査の判定基準を、推定検出感度に応じた好適な基準値レベルで提案出力することになる。その結果、品種ごとの検査パラメータとなる判定閾値レベル等の判定基準の設定作業の作業負担を十分に軽減可能となる。
本発明によれば、所要の検査感度を担保しながらも、品種ごとの検査パラメータとなる判定基準の設定作業の負担を軽減することができる物品検査装置および物品検査方法を提供することができる。
本発明の一実施形態に係る物品検査装置の要部概略構成を概念的に示すその模式図である。 本発明の一実施形態に係る物品検査装置におけるX線検査領域付近の概略構成を示す部分斜視図である。 本発明の一実施形態に係る物品検査装置における制御系のシステム構成をブロック図で示す概略システム構成図である。 本発明の一実施形態に係る物品検査装置における動作モード選択および各種設定操作用の操作画面例の説明図である。 本発明の一実施形態に係る物品検査装置において異物検出モードおよび閾値設定モードを選択的なモード選択入力に応じて切り換えるためのモード切換え処理手順を示すフローチャートである。 本発明の一実施形態に係る物品検査装置における類似品種の有無に応じたリミット設定作業および感度テストの手順を示すフローチャートである。 本発明の一実施形態に係る物品検査装置における品種登録時等の手動でのリミット設定作業の手順を示すフローチャートである。
以下、本発明を実施するための形態について、図面を参照しつつ説明する。
図1ないし図4は、本発明の一実施形態に係る物品検査装置の構成を示している。
まず、その構成について説明する。
図1ないし図3に示す本実施形態の物品検査装置10は、被検査物であるワークW(被検査物)を搬送部11により搬送しつつ、搬送中のワークWを所定の検査画像、例えばX線検査画像を用いる検査部12によって物品検査するX線検査装置であり、例えばワークW中の混入異物の有無、あるいは欠品の有無を検出するようになっている。
ワークWは、肉類、魚貝類、加工食品、医薬品等として製造され出荷される製品であり、ここでは、食品、例えばパック詰めされた弁当を典型例として説明する。このワークWは、その複数の内容物として、複数の凹状の配置領域A~Dを有するパックPと、複数の配置領域A~Dに収納され配置された複数の具材、例えば主食Wa、主菜Wb、副菜Wc、副々菜Wdとが、それぞれ決められた配置領域A~Dに盛り付けられた形態を有している。勿論、ここにいうパックPは、図示しない透明な上蓋やラップ類によるカバー部を有している。また、ここにいう食品は、パック詰めされた麺類や包装されたおにぎり等であってもよく、複数の具材は、その麺類の主食材と具材、おにぎりの主食材と具材等であってもよいし、必ずしも主食Waや主菜Wbといった呼称にとらわれず、複数種類のケーキ類が組み合わされたアソートパック等であってもよい。
このように、パックPの配置領域A~Dのそれぞれに盛り付けられる複数種類の具材は、製造可能な具材としてあらかじめ決められた具材候補から選択的に組み合わされる。
また、一例としての弁当については、納入先ごとに一部の具材や盛り付けが異なる複数種類の弁当が製造され、納入先が同一で同種の弁当であっても、季節に応じて具材が変更され、また、キャンペーン等により一部の具材の盛り付け量が変更されることがある。
なお、主食Wa、主菜Wb、副菜Wc、副々菜Wdは、それぞれ加工・調理工程で加工もしくは調理された異なる種類の具材が運び込まれ、盛り付け工程においてパックPの各配置領域A~Dに所定量ずつ盛り付けられ、上蓋やラップ類により閉蓋されて、ワークWとして検査工程に搬入される。物品検査装置10(X線検査装置)は、この検査工程においてワークWを検査し、良品と判定されたものが次工程に搬出される。
搬送部11は、例えばベルトコンベア式のもので、無端のコンベアベルト11aをその内周面側に接する下流側ローラ11b、11cおよび上流側ローラ11d、11eによって図3に例示するような所定形状に支持することで、コンベアベルト11a上に載置された物品を同図中のD1方向に搬送することができるようになっている。
検査部12は、搬送部11のコンベアベルト11aの上方側に位置するX線管等からD1方向と直交する方向にX線を出力するX線源21と、搬送部11のコンベアベルト11aの内方に位置するX線ラインセンサ等のX線検出器22と、ワークWを透過しX線検出器22に検出されたX線の所定時間ごとの透過量に対応するライン画像データを生成するX線画像入力部23と、所定の検査領域Z1内へのワークWの進入を検知する物品検知センサ24と、を含んで構成されている。
X線源21は、内部に図示しないX線管を有しており、詳細を図示しないが、そのX線管内の外囲器内で陰極側のフィラメントから放出されて集束電極により集束される電子を、フィラメントに対向する陽極側のターゲットに衝突させることで、ターゲットからX線を発生させるようになっている。また、X線源21は、例えば回転タイプのターゲット等を用いたものでもよく、いずれであっても、搬送部11上のワークWに対してD1方向と直交するファンビーム状にX線照射でき、検査領域Z1内でワークWの通過断面をカバーする範囲にX線照射領域を形成するようになっている。
X線検出器22は、X線に当たると蛍光を発するシンチレータと受光素子であるフォトダイオードもしくは電荷結合素子とからなる検出素子を、搬送部11の通路幅方向にアレイ状に所定ピッチで配設して、所定解像度でのX線検出を行なうようにしたX線ラインセンサカメラで構成されている。また、X線検出器22は、X線変換膜を用いた半導体センサを用いたものでもよいし、複数の検出素子が2次元に配置されたエリアセンサであってもよく、ワークWの特性や検査に要求される性能に応じて選択される。
X線画像入力部23は、例えばX線検出器22の各検出素子からの透過量検出信号をA/D変換し、所定の単位搬送時間ごとの累積のX線透過量(以下、単に透過量ともいう)のデータを、例えば0から1023までの階調を表す濃度レベルのライン走査画像データとして生成可能である。また、X線画像入力部23は、各ワークWに対応する検査期間中にX線検出器22によるライン走査画像生成を所定回数だけ繰り返すことで、ワークWごとのX線透過画像データを出力することができるようになっている。
物品検知センサ24は、例えば図2に一点鎖線で示すように、搬送部11のコンベアベルト11a上の所定高さ位置に通路幅方向の光軸を有する光電センサで構成されている。
また、検査部12は、X線検出器22から所定時間ごとの透過量に対応する検出データを出力させるX線検出器駆動回路25と、搬送部11の搬送方向下流端側でコンベアベルト11aに係合する駆動ローラ11bに連結され、その駆動ローラ11bを介して搬送部11を駆動する搬送駆動モータ26と、搬送駆動モータ26を駆動制御可能なモータ駆動回路27と、X線源21のX線照射条件をそのX線管の管電流および管電圧等によって制御可能なX線発生器駆動回路28とを更に有している。
この検査部12においては、制御回路30によって、運転モードや諸条件の制御パラメータ等の設定情報、ワークWの品種登録情報等が管理されるとともに、物品検査条件がワークWの品種に応じて制御されるようになっている。
図3に示すように、制御回路30は、CPU31と、X線検査方式の異物検出を含む物品検査機能を発揮するプログラムを格納するプログラム格納部32と、タッチパネルまたはタブレット型その他の携帯情報端末等で構成され、設定や選択指示等の操作入力を行うとともにその入力に応じた画面を表示する操作入力部33および表示部34と、検査結果情報や物品検査に係る各種の設定条件その他の管理情報を記憶するデータ蓄積部35と、を具備している。
また、制御回路30には、視覚センサであるカメラ41が、カメラ用コントローラであるカメラ画像入力部42を介して接続されている。このカメラ41は、通常時において製造ライン監視用カメラとして設置されているものを品種確認にも兼用して設備を効率よく活用し、品種確認作業を監視記録として残せるようにしてもよいし、もしくは盛り付け工程の近傍位置に品種確認用カメラとして設置されて、検査工程にワークWのサンプルを持ち込む必要をなくし、またワークWの外観撮像に好適なカメラアングルや画角を得られるようにしてもよい。
CPU31は、操作入力部33からの操作入力に応じてプログラム格納部32内のプログラムを実行する産業用のコントローラやPC等で構成されており、検査部12のX線画像入力部23、X線検出器駆動回路25、モータ駆動回路27およびX線発生器駆動回路28のそれぞれに対して、所定のバス形式での通信(例えばフィールドネットワーク通信)が可能になっている。
このCPU31は、X線画像入力部23からのライン画像データもしくは各ワークWの検査期間ごとのX線透過画像データを、データ蓄積部35に順次記憶させる動作を実行することができる。また、CPU31は、カメラ41からの画像データを、カメラ画像入力部42を介してデータ蓄積部35に順次書き込む動作を実行することができる。
プログラム格納部32は、CPU31によって実行される複数の制御プログラムとして、物品検査、例えば異物検出や欠品検出が可能な物品検査の実行プログラムである物品検査プログラム51と、その物品検査に係るX線検査画像に基づく異物検出または欠品検出の判定に用いる判定閾値を設定するための閾値設定プログラム52と、ワークWの内容物である具材Wa~Wdの素材構成(例えば主たる材料の種別や量)をカメラ41からの画像を用いる画像認識や文字認識によって分類し特定するための構成判定プログラム53と、構成判定プログラム53により判定された各内容物の素材構成を基に、X線透過画像データに係るX線透過量等の所定の検出値に対する検出感度レベルを推定し、X線透過画像に基づく物品検査の判定基準を提案出力することができる感度調整プログラム54(提案出力部)と、図示しない各種のパラメータの登録・設定用のプログラム等を有している。
詳細は後述するが、感度調整プログラム54は、検査対象のワークWの各内容物具材Wa、Wb、WcまたはWdの素材構成が類似構成の基準ワークのそれに対する異物や欠品の判定閾値(リミット)を流用するのに適するか否かという観点で、素材構成によるX線透過量(所定の検出値)の相違を考慮して所定のX線の照射条件下での検出感度を推定し、判定閾値の流用が好適でない場合に、これから検査される新たなワークWと類似構成のワークWとの素材構成の差異に応じた感度調整を提案出力する機能を併有している。
データ蓄積部35には、各ワークWの検査期間ごとのX線透過画像データを順次記憶することができるX線画像メモリ61と、各ワークWの検査期間ごとのカメラ41からの画像データをカメラ画像入力部42を介して順次書き込むことができるカメラ画像メモリ62と、プログラム格納部32の物品検査プログラム51で使用される品種登録情報や、前述の登録・設定用のプログラムにより設定される他の各種のパラメータを記憶保持する品種登録・設定メモリ63と、閾値設定プログラム52により設定されるか、感度調整プログラム54により調整提案されオペレータに承諾されたワークWの品種ごとの素材構成に対応する異物や欠品の判定閾値を、対応する主要な素材構成の影響度合(感度影響)の情報と共に記憶する管理感度メモリ64(感度影響素材記憶手段)と、を有している。
ここで、X線画像メモリ61は、物品検査に係るX線透過量等の所定の検出値の情報をワークWごとのX線検査画像データ(X線透過量に応じた濃度画像データ)として記憶する情報記憶部となっており、カメラ画像メモリ62は、カメラ41からの画像を、後述する画像認識や文字認識の処理が可能なワークWごとの視覚センサ情報として記憶するようになっている。
品種登録・設定メモリ63は、ワークWの品種ごとの検査パラメータとしての判定閾値のほか、通常設定される各種の制御パラメータを、その品名や主たる素材構成、包装形態等と関連付けて記憶保持しており、ここで、既に設定された品種のワークWまたはその各内容物Wa、Wb、WcまたはWdは、後述する類似素材構成の基準ワークまたは基準の素材構成として用いることができる。
本実施形態におけるワークWは、複数の内容物である具材、例えば主食Wa、主菜Wb、副菜Wc、副々菜Wdを、パックPの複数の凹状の配置領域A~Dに配置した構成となっており、データ蓄積部35の管理感度メモリ64は、それら複数の内容物の素材構成に応じた感度影響、すなわちX線透過画像データ上の画素の濃淡変化として良否の判定に有意な差としてあらわれる内容物のX線透過率に対応する素材の特徴(例えば物質量、密度、厚さ等)に関する情報を、複数の配置領域A~Dに対応付けて記憶している。
カメラ41は、ワークWを撮像する物品撮像部で、例えばカラーカメラおよびモノクロカメラとして機能し得るベイヤー式ビデオカメラあるいは多板式プリズム分光カラーエリアスキャンカメラ等で構成されている。このカメラ41は、ネットワークカメラもしくはUSBビデオクラスカメラ(UVCカメラ)として製造ライン上、もしくは製造ラインの盛り付け工程における盛り付け作業位置の近傍に少なくとも1台設置されている。
カメラ画像入力部42は、例えばノイズ除去や画像強調、ひずみ補正等の前処理等を実行することができるようになっている。さらに、X線検査画像における搬送方向との関連付け、画像の切り出し処理や回転処理を実行できるようにして、カメラ41からの画像データとX線透過画像との間でパックPにおける配置領域A~Dのレイアウトを正確に関連させ、確実に特定できるようになっているとよい。これにより、カメラ41の設置条件や調整条件、特にワークWを真上から撮像する必要がなくなることにより、解像度さえ確保されればカメラアングルに関する制約や手間が緩和される。
より具体的には、X線検出器22からX線画像入力部23を介して順次データ蓄積部35のX線画像メモリ61に取り込まれるX線検査画像は、X線透過量等の所定の検出値に対応する画素値が算出された上で、前処理にて、例えば256階調の輝度値に変換されており、エッジ検出等のための特徴抽出フィルタ処理がなされた状態で、ワークWのX線検査画像として操作入力画面70中に表示可能な画像データ形式で記憶保存される。
また、物品検査プログラム51は、異物検出のための画像判定を行うことができ、例えばワークWが検査領域Z1を通過するのに同期して、データ蓄積部35の品種登録・設定メモリ63に記憶格納されている各配置領域A、B、CまたはDごとの異物検出用の判定閾値を読み出して、配置領域ごとに画素値が判定閾値を超えるか否かによりX線透過率が低い(X線吸収係数が大きい)異物の有無を判定することができるようになっている。
構成判定プログラム53は、類似構成の基準ワークに対してワークWの内容物Wa~Wdの主たる素材構成を判定する構成判定部の機能を発揮するように構成されている。そして、その構成判定のために、構成判定プログラム53は、カメラ画像入力部42を介したカメラ41からのワークWの画像を文字認識可能な画像または/および画像認識可能な画像として入力するワーク画像入力部53a(画像入力手段)と、カメラ41により撮像されたワークWの画像データを基に、所定の画像認識処理および文字認識処理を実行する認識処理部53bと、認識処理部53bの認識情報を基にワークW中の複数の内容物Wa~Wdの素材構成(具材の品名、素材種別、量等のいずれかまたは組合せ)を判定する判定手段の機能を有する素材構成判定部53cと、を含んで構成されている。
認識処理部53bによる画像認識処理は、例えば視覚センサ情報であるカメラ41からのデジタル画像中の画像や図形の形状に関する特徴量(面積、長さ、直径、特定形状、個数)、図形をなす画像の色や明るさ、その色や明るさの変化、その変化の方向等を抽出するものである。また、例えば統計的な判別分析、閾値判別による2値化、エッジ抽出、ラベリング処理、輪郭線追跡等を選択的に実行して幾何学的な特徴量の抽出計算やパターン認識を可能にすることで、抽出した特徴量を持つ素材や具材の画像を認識するものである。典型的には、文字認識は、例えばワークWに貼られた食品表示ラベル上の文字の読み取りで可能であり、画像認識は、例えば商品サンプルのカメラ撮影で可能である。
ここで、食品表示ラベル上での文字の読み取りについて説明する。
食品表示ラベルを撮像するときには、商品に貼り付けられたラベルまたは貼り付けられるラベルのサンプルを撮像し、画像認識により原材料表示の領域を抽出し、文字認識が行なわれる。そして、文字認識により特徴原材料が特定されると、あらかじめ対応付けられた具材の候補が表示される。
また、食品表示ラベルの印字情報を管理する不図示のラベル印刷システムとデータ連携し、商品識別のためのバーコードをカメラ撮影し、そのバーコード情報をこのラベル印刷システムに出力して得られた応答情報から、そのバーコードが付されて生産される弁当について特徴原材料の情報を取得するようにしてもよい。これにより、各種キャンペーンによる盛り付けや具材の変更についての情報を他のシステムから取得することもできる。
なお、各種キャンペーンに関する情報は、所定の形状や色彩により装飾された文字が印刷されたキャンペーンラベルにより特定することもできる。
認識処理部53bは、あるいは、指定した色を明度の最高階調とする256階調のグレー画像に変換するカラー濃淡処理、RGBそれぞれに256階調となる多階調の中から閾値に基づいて指定した色範囲だけを抽出するカラー2値化処理等を実行するものであってもよく、更にベイヤー式カメラを採用する場合に、カメラ41の出力画像データに対しベイヤー変換等を施す前処理を実行するものでもよい。
ここで、構成判定プログラム53の認識処理部53bは、ワーク画像入力部53aの画像入力機能による入力画像を文字認識または/および画像認識して、少なくともワークW中の特定の内容物、例えばパック詰めされた弁当W中の主食Wa、主菜Wb、副菜Wc、副々菜Wdのいずれかに対応する第1の素材情報を取得する機能(認識処理手段)を有している。また、ここにいうワークW中の特定の内容物は、勿論、開封可能な透明なカバーやパック状の容器で包装され具材表示シールが張られたおにぎりの主食材と具材のいずれか、あるいは、開封可能な透明な容器で包装され具材表示シールが張られた麺類の主食材と具材のいずれか等であってもよく、品種によって透明な箱の内方に収納されたり除外されたりする食材あるいは薬剤であってもよい。
また、構成判定プログラム53の素材構成判定部53cは、認識処理部53bと協働して、ワーク画像入力部53aの入力画像を文字認識または/および画像認識した結果を基に、類似構成の基準ワークに対し特定の内容物に類似する他の内容物、例えば図4に示すようなパック詰め弁当のワークW中の主菜Wb´を検出して、前述の特定の内容物Wbに対応する第1の素材情報との差分に相当する第2の素材情報を、追加された素材やトッピング、変更されたソース類等の食材または既知の食材の有意の増減(Wb´-Wb)等に関する情報として取得できるようになっている。
さらに、構成判定プログラム53は、カメラ41により撮像されたワークW中における複数の配置領域A~Dをそれぞれ特定するとともに、その特定した配置領域A、B、CまたはDごとに、その領域ごとの具材等の内容物Wa~Wdの画像データを基に画像認識や文字認識等の所定の認識処理を実行し、その領域ごとの内容物Wa、Wb、WcまたはWdの素材構成を判定する構成判定機能を有している。
また、構成判定プログラム53は、配置領域A、B、CまたはDごとの各内容物Wa、Wb、WcまたはWdの素材構成を既知の素材構成の登録情報と比較して、類似する素材構成の有無を配置領域ごとに判定する機能を併有している。
感度調整プログラム54は、構成判定プログラム53が複数の配置領域A~Dのそれぞれについて、各配置領域A、B、CまたはDに配置される内容物、例えば配置領域B中の主菜Wbについて素材構成が判定されたことを条件に、管理感度メモリ64に記憶された感度影響素材の情報を基に、判定済みの素材構成によるX線透過量等の所定の検出値への感度影響および適切な管理感度を推定し、その推定結果に応じて適切な管理感度が得られるように物品検査の判定閾値等の判定基準の調整を提案出力するように構成されている。
また、感度調整プログラム54は、図1に示す感度影響判定部54aおよび感度調整提案部54bの機能を発揮するようになっている。ここにいう感度影響判定部54aは、構成判定プログラム53からのワークWの素材構成情報を基にこれから検査する新たなワークWにおいて類似構成の基準ワークがあるかと判定される場合に、管理感度メモリ64からの感度影響素材に係る素材構成の変更が生じているかを判定する機能を有しており、感度調整提案部54bは、感度影響判定部54aの判定結果と管理感度メモリ64の記憶情報を基に、感度影響素材に係る素材構成の変更に対応するX線透過量等の所定の検出値の検出感度の変化度合いを推定し、その推定結果に応じて適切な管理感度が得られるように物品検査の判定閾値等の判定基準の調整を提案出力する機能を有している。
さらに、感度調整プログラム54は、構成判定プログラム53が複数の配置領域A~Dのいずれかに検査対象の素材構成を変化させる有意の部分変更(前述の第2の素材情報、例えば主菜Wb´、Wbの差分)が生じたと判定したとき、その部分変更が生じた配置領域A、B、CまたはDに対応するいずれかの内容物、例えば主菜Wb´について、そのX線透過量等の所定の検出値に対する物品検査の判定基準、すなわち、異物や欠品の検出のための判定閾値(リミット)の調整を提案出力するように構成されている。
図4に示すように、本実施形態の物品検査装置10においては、タッチパネルまたはタブレット端末等で構成される操作入力部33からの設定や選択指示等の操作入力を行う操作入力画面70が液晶ディスプレイ等で構成された表示部34に表示される。
この操作入力画面70においては、例えば検査部12のX線源21から搬送部11上のワークWに照射され、各ワークWに対応する検査期間ごとのX線透過画像データがX線画像メモリ61に記憶されるとき、そのワークWの検査中のX線透過画像が図4に示すように検査画面71中に表示される。また、異物の有無や欠品の有無を判定した結果が、例えば「OK」または「NG」の文字で検査画面71中に表示される。なお、ここでのX線透過画像には、異物画像を強調するための特徴抽出フィルタ処理等がなされ得る。
操作入力画面70には、異物検出モードの選択操作ボタン72と、閾値設定モードの選択操作ボタン73と、操作部位を指定するための移動操作可能なカーソル74と、複数方向、例えば上下左右方向への移動操作が可能な複数の移動操作ボタン75と、選択時に操作を確定させる確定ボタン76と、入力値や設定値を表示可能な数字表示器77と、テンキー入力部78と、エンターキー79とが、それぞれ操作入力や選択操作が可能な状態で表示出力される。
次に、本実施形態の物品検査装置10の動作について説明するとともに、物品検査装置10を用いて実施可能な本発明の物品検査方法の一実施形態について説明する。
[モード選択]
最初に、異物検出モードの選択操作ボタン72の押下、あるいは閾値設定モードの選択操作ボタン73の押下によるモード選択の操作入力手順について、図5のフローチャートを用いて説明する。
まず、物品検査装置10の運転条件等を決定するオペレータが、異物検出モードの選択操作ボタン72か閾値設定モードの選択操作ボタン73かを押下する操作を実行するまで、CPU31により、所定時間ごとにモード選択操作入力がなされたか否かがチェックされる(ステップS1でNOの場合)。
次いで、モード選択の操作入力がなされると(ステップS1でYESの場合)、異物検出モードの選択操作ボタン72と閾値設定モードの選択操作ボタン73のうちいずれを押下する選択操作がなされたかが判別され(ステップS2)、このとき、異物検出モードの選択操作ボタン72が選択されていれば、次いで、プログラム格納部32の異物検出プログラムを起動させて異物検出モードでの運転を実行させる(ステップS3)。一方、このとき、閾値設定モードの選択操作ボタン73が選択されていれば、次いで、プログラム格納部32の閾値の設定入力や増減操作が可能なパラメータ設定プログラムを起動させて閾値設定モードでの運転を実行させる(ステップS4)。
[異物検出モード]
異物検出モードでの運転の制御や後述する感度テスト(テスト測定)時の運転制御の手順については、従来の物品検査装置、例えば特許文献1に記載のものと略同様であるが、例えば、異物検出モードのボタン73を押下すると、プログラム格納部32内の図示しないモード実行プログラムにより、異物検出を実行可能な物品検査プログラムが起動され、異物検出処理が実行される。
このとき、CPU31により各駆動回路25、27、28に駆動指令が出力されて、X線源21から検査領域Z1内に、コンベアベルト11a上に載置されたワークWの搬送方向D1と直交するファンビーム状にX線が照射され、次いで、搬送駆動モータ26の回転駆動によって搬送部11が作動し、具材Wa~Wdを内容物とする弁当であるワークWの搬送が開始される。
そして、ワークWが物品検知センサ24の投受光器間を通過すると、所定のタイミングで、ワークWを透過したX線がX線検出器22により検出されて所定の検出値に対応する電気信号に変換され、X線ラインセンサ画像が生成されて、X線画像入力部23を介しX線画像メモリ61に順次取り込まれる(情報記憶ステップ)。
この間、異物検出のための画像判定処理は、ワークWの内容物である具材Wa~Wdが検査領域Z1を通過するのに同期して、X線画像メモリ61に格納されている各配置領域A、B、CまたはDごとに、対応する異物検出閾値を用いた前述の物品検査プログラム51による異物検出のための画像判定がなされるよう実行される。
[閾値設定モード]
閾値設定モードでの運転の場合、まず、閾値設定に先立って、オペレータが操作入力画面70上の閾値設定モードの選択操作ボタン73を押下すると、プログラム格納部32内の閾値設定プログラム52が実行されて、図6に示すような閾値設定処理が実行される。
なお、この閾値設定処理は、物品検査における良否を判定するための検査パラメータを設定するためのものであり、誤った操作により不適切な閾値が設定されてしまうことを防止するため、処理の一部をパスワード認証等によりアクセス許可された管理者のみが実行できるようにしてもよい。
まず、今回の閾値(図中ではリミット)の設定対象となる新たな種類のワークW、すなわちこれから製造ラインで製造され検査される商品もしくは製造が開始され検査工程に到達する前の商品に類似する素材構成の商品が既に品種登録されているか否かがチェックされる(ステップS11)。
このとき、カメラ41からの監視画像があれば、構成判定プログラム53を実行することにより、ワークWのパックPとそこに収納された具材Wa~Wdの素材構成が画像認識や文字認識の処理によって特定される。さらに、感度調整プログラム54の実行により、管理感度メモリ64内で閾値設定対象のワークWに類似する素材構成(パックを含む)が探索され、類似する素材構成が見つかれば類似商品が有ると判定される(ステップS11でYESの場合)。
ここで、類似する素材構成が見つかった場合で、かつ、品種登録・設定メモリ63にその素材構成に対応するカメラ画像が記憶保持されているとき、カメラ41により今回撮像された画像と、探索した記憶保持画像とを対比可能に並べて表示してもよく、一見類似する素材構成であっても、今回の閾値設定の参考にできないような不適切データをオペレータが把握できるようになっているとよい。
また、カメラ41からの監視画像がない場合でも、例えば閾値設定対象のワークWの品種登録時にベースとなる品種登録情報を利用している場合や、予め撮像したワークWのサンプル画像を利用できる場合には、類似商品ありと判定される。なお、品種登録時のサンプル画像を利用できる場合の処理については、図7を用いて、後述する。
図6に示す閾値設定処理(リミット調整)では、今回の設定対象のワークWに類似する素材構成の商品が未だ品種登録されていない場合、管理感度メモリ64内で類似する素材構成が見つからず、類似商品が無いと判定される(ステップS11でNOの場合)。
この場合、ワークWのパックPにおける複数の配置領域A~Dを指定するべく、オペレータが操作入力画面70中でタッチ操作し、または操作入力画面70中に十字状にまたは放射状に配置された複数の移動操作ボタン75を選択的に操作してカーソル74を移動させ、各配置領域A~Dの輪郭形状を特定可能な複数の点や線を選択したり選択済みの輪郭線で囲まれた領域内を選択したりした後に確定ボタン76で押下することで、配置領域A~Dをそれぞれに指定する(ステップS12)。図4中に例示するワークWの場合、例えば配置領域Bであれば、その四角形の対角の2頂点(同図中の黒丸位置)を指定することで、その領域を指定することができる。
次いで、ワークWの指定した領域、例えば配置領域B内の具材、例えば主菜Wbにおいて感度影響の大きい具材を特定する処理を実行する(ステップS13)。ここで、影響度合が大きいとは、その素材の追加もしくはその素材量の有意の増減に対して、異物や欠品の判定閾値を維持したままでは検出精度の低下が懸念されるため、判定閾値の調整が要求される程度の感度影響度合いであることをいう。
この場合、構成判定プログラム53の実行により、ワークWの各配置領域A、B、CまたはD内の素材構成が、その配置領域ごとのカメラ41からの画像を用いる画像認識や文字認識によって分類されおよび特定される。さらに、感度調整プログラム54の実行により、管理感度メモリ64内の類似する素材構成が各配置領域A、B、CまたはDについて抽出され、異物や欠品の判定閾値に対する影響度合(感度影響)の大きい主要な素材構成とその影響度合いが読み出される。
このとき、各配置領域A、B、CまたはDについて、その領域内の特定の内容物、例えば、弁当パックW中の主菜Wbの素材構成のうち感度影響の大きい素材の構成が、第1の素材情報として取得される。
そして、取得した第1の素材情報に対応する素材の感度影響が、管理感度メモリ64内の感度影響の情報を基に推定され、要求される判定閾値が、最適な検査感度に対応するリミットとして提案出力され(ステップS14)、オペレータとなる担当者に対してそのリミットを決定する操作入力が要求される(ステップS15)。また、最適なリミットの表示と併せて、そのリミット調整の方向や調整幅が一時的に表示され、後述するリミットの微調整の処理段階までその表示情報が読み出し可能に管理感度メモリ64内に記憶保持される。
次いで、上述のような各配置領域A、B、CまたはDについての必要なリミットの設定・調整が済んでいるか否かが判定され(ステップS16)、未設定・調整の残領域があれば(ステップS16でYESの場合)、その残領域について順次(ステップS20)、残領域設定以降の処理(ステップS12~S15)が実行される。
ここで、必要なリミット設定・調整が済んでいるか否かは、1つの配置領域A、B、CまたはDについてのリミットの設定・調整が済んだ段階で、例えば次の設定領域の選択操作を要求するかリミットの設定・調整の終了を選択操作させることで、判定可能である。あるいは、ワークWの画像のうち領域設定に利用されていない画像領域の大きさから、残領域の有無を推定することも考えられる。
すべての配置領域A~Dについてリミットの設定・調整が済めば、ワークWの製品サンプルおよびテストピースを用いて、あるいは、異物混入品や欠品サンプルを用いて、検査部12による試験的な物品検査を行うことがオペレータに要求され、判定閾値の値に応じた検査感度がテスト測定されて、正確な物品検査が可能な所要の検査感度(以下、管理感度という)が得られたか否かがチェックされる(ステップS17)。
なお、ここで、所要の検査感度である管理感度が得られることは、テスト測定する各配置領域A、B、CまたはDについて、例えば異物検出が要求される最小サイズのテストピースを配置した場合に、そのテストピースが検出されて、検査結果がNG判定となることを意味する。また、テスト測定は、すべての配置領域A~Dについて、単一領域内に最小サイズのテストピースが配置された場合にそれが検出されて、検査結果がNG判定となるか否かをチェックするまで、繰り返し実行される。
次いで、テスト測定中に検査結果がNG判定とならない領域が発生し、所要の管理感度が得られなかった領域か存在するか否かにより、管理感度が得られたか否かが判定される(ステップS18)。
そして、所要の管理感度が得られなかった領域か存在する場合には、その感度不足の配置領域A、B、CまたはDについて、前述の記憶保存したリミット値とその調整方向や調整幅が操作入力画面70上に再度表示され、リミットの微調整の操作入力を要求する表示がなされる。
具体的には、感度不足の各配置領域A、B、CまたはDについて、例えば操作入力画面70上の数字表示器77に表示されたリミット値に対し、テンキー入力部78での手動による数値入力や、強調表示された上下方向の移動操作キー75の選択操作が実行され、エンターキー79で確定されることで、リミットの微調整がなされる(ステップS19)。
このようなリミットの微調整後、再度のテスト測定(ステップS17)が実行された後、管理感度が得られたか否かが再度判定される(ステップS18)。
そして、このとき、所要の管理感度が得られていれば、今回の類似商品無しのワークWについての各配置領域設定およびリミット調整の処理が終了する。
一方、最初の判定ステップS11で、類似商品が有ると判定された場合(ステップS11でYESの場合)、今回の閾値(図中ではリミット)の設定対象となるワークWは、カメラ41からの画像等を基に構成判定プログラム53を実行することで、ワークWのパックPとそこに収納された具材Wa~Wbの素材構成が既に画像認識や文字認識処理によって特定されていることになり、感度調整プログラム54の実行により、管理感度メモリ64内で閾値設定対象のワークWに類似する素材構成(パックPを含む)が探索され、類似する素材構成が見つかっていることになる。
この場合、各配置領域A、B、CまたはDについて、類似商品中の感度影響の大きい特定の内容物に類似する他の内容物、例えば類似商品の弁当パックW中の主菜Wbに類似する主菜Wb´について、類似する素材構成中に含まれる前述の第1の素材情報に加え、その第1の素材情報との差分に相当する第2の素材情報が、追加された食材(Wb´-Wb)として、または既知の食材の増減(Wb´-Wb)として、取得された後、既存の配置領域A~Dのいずれかについて類似商品に対する素材構成の有意の差分が、第2の素材情報として検出されたか否かがチェックされる(ステップS21)。
そして、取得した第2の素材情報に対応する素材の感度影響が、管理感度メモリ64内の感度影響の情報を基に推定され、要求される調整後の判定閾値が、最適なリミットとして提案出力され(ステップS22)、オペレータとなる担当者に対してそのリミットを決定する操作入力が要求される(ステップS23)。また、最適なリミットの表示と併せて、そのリミット調整の方向や調整幅が一時的に表示され、リミットの微調整の処理段階までその表示情報が読み出し可能に管理感度メモリ64内に記憶保持される。
次いで、上述のような各配置領域A、B、CまたはDについての必要なリミット調整が済んでいるか否かが判定され(ステップS24)、未調整の残領域があれば(ステップS24でYESの場合)、次の領域に移動し(ステップS25)、その残領域について領域ごとの素材構成の差分の有無判定以降の処理(ステップS21~S23)が実行される。
ここで、必要なリミット調整が済んでいるか否かは、領域ごとの素材構成の差分の有無に基づいて自動判定可能であるが、1つの配置領域についてのリミット調整が済んだ段階で、次の設定領域の選択操作を要求するかリミット調整の終了を選択操作させるようにしてもよい。
次いで、すべての配置領域A~Dについてリミットの設定・調整が済めば、ワークWの製品サンプルおよびテストピースを用いて、あるいは、異物混入品や欠品サンプルを用いて、前述の検査感度のテスト測定がなされ、管理感度が得られたか否かがチェックされる(ステップS17~S18)。テスト測定中に検査結果がNG判定とならない領域が発生し、所要の管理感度が得られなかった領域か存在する場合(ステップS18でNOの場合)におけるリミットの微調整(ステップS19)については、前述の通りである。
[品種登録時]
図7に示すように、品種登録時に領域設定がなされる場合においては、まず、オペレータである担当者によってワークWとなる商品の種別が選択される(ステップS31)。例えば、コンビニエンスストアで販売される弁当、おにぎり、サラダ等のような上面側が透明な包装形態で、カメラ41での撮像により素材構成の把握が可能となる商品について、その商品種別が、段階的な分類やリスト等の形で表示され、その中で登録対象となるいずれかを選択操作することで、対象となる商品種別が選択される。
次いで、その商品種別のワークWのサンプルが、カメラ41により撮影される(ステップS32)。
次いで、カメラ41からの商品、例えば弁当の画像を読み出して、ワークWのパックPにおける複数の配置領域A~Dを指定すべく、操作入力画面70中の複数の移動操作ボタン75を選択的に操作してカーソル74を移動させ、各配置領域A~Dの輪郭形状を特定可能な複数の点や線を選択したり選択済みの輪郭線で囲まれた領域内を選択したりした後に確定ボタン76で押下することで、配置領域A~Dをそれぞれに指定し、特定する(ステップS33)。
次いで、カメラ41の撮影画像と特定済みの配置領域A~Dの情報を基に、構成判定プログラム53を実行することにより、各配置領域A、B、CまたはDについて、ワークWのパックPとそこに収納された具材の分類、例えばごはん、麺、ハンバーグ、唐揚げ等の分類と、各具材の素材構成が、画像認識や文字認識の処理によって特定される(ステップS34)。
次いで、具材の分類を特定できたか否かがチェックされ(ステップS35)、具材の分類ができないときには(ステップS35でNOの場合)、次いで、新規具材の分類名称を登録する操作入力がなされ(ステップS36)、データ蓄積部35の品種・登録設定メモリ63にデータベース登録される(ステップS37)。
この登録により、素材分類の特定が可能になると(ステップS35でYESの場合)、次いで、構成判定プログラム53の実行により、その素材分類の素材構成をなす具材の候補がデータ蓄積部35の品種登録・設定メモリ63から抽出され(ステップS38)、該当具材の選択操作が可能な形態でリストアップされる(ステップS39)。
次いで、リスト中に該当する具材があるか否かが選択操作入力によってチェックされ(ステップS40)、該当する具材が無い場合(ステップS40でNOの場合)には、新規の具材とその分類の名称が設定入力される(ステップS41)。
次いで、カメラ41の撮影画像と特定済みの配置領域の情報を基に、各配置領域について、構成判定プログラム53を実行して得られた素材構成に対し、感度調整プログラム54の実行により、管理感度メモリ64内で類似する素材構成(パックPを含む)が探索され、類似する素材構成が見つかれば、その素材構成との差分として取得した第2の素材情報に対応する素材の感度影響が、管理感度メモリ64内の感度影響の情報を基に推定され、要求される判定閾値が暫定的なリミットとして設定されるとともに(ステップS42)、新規の具材が、X線透過量等の所定の検出値および異物検出や欠品検出に係る判定閾値と関連付けて登録される(ステップS43)。
なお、新規の具材が登録される場合(ステップS41~ステップS43に対応)、実際にその具材が盛り付けられる商品が製造されるのに先立って、具材の登録のみを先行実施するように、ステップS43をもって一連の処理を終了できるようになっていてもよい。すなわち、実際にその具材が盛り付けられる商品の製造準備として、事前に新規具材の登録作業のみを実施できるとよい。これにより、実際の製造開始時点でステップS40がYESとなり、新規の具材を含む商品について円滑に閾値設定処理が実行できる。
これによりリスト内に該当具材がある状態になると(ステップS40でYESの場合)、次いで、登録済みの具材名やその具材の分類名称等を考慮して、構成判定プログラム53を実行して得られる対象領域の画像処理や文字認識等による認識情報が更新される。したがって、各配置領域について、具材の種別や量(質量でもよい)等を基に感度影響の度合いを算出可能となり(ステップS44)、当該領域に最適なリミット値を提案出力可能となる(ステップS45)。
次いで、残領域があるか否かがチェックされ(ステップS46)、新規分類の具材の登録およびそのリミット値の提案出力が済んでいない残領域がある場合(ステップS46でYESの場合)には、次の領域に移動して(ステップS47)、カメラ41の撮影画像と特定済みの配置領域情報を基にした各配置領域についての具材分類の特定ステップ以降の処理(ステップS34~S45)が、残領域無し(ステップS46でNOの場合)となるまで繰り返し実行される。
このように本実施形態では、複数の内容物である具材Wa~WdやパックPを含むワークWを検査画像を基に物品検査する物品検査を実行するに際して、X線検査画像に係るX線透過量等の所定の検出値の情報をX線画像メモリ61に記憶し(情報記憶ステップ)、ワークWをカメラ41で撮像し(物品撮像ステップ)、その撮像されたワークWの画像データを基に画像認識や文字認識等の所定の認識処理を実行して、ワークWのX線透過量等に有意に影響する感度影響素材を特定したりそのような内容物の素材構成を判定したりした上で(構成判定ステップ)、その判定した内容物の素材構成や管理感度メモリ64の記憶情報を基に、その素材構成に対応するX線透過量等の所定の検出値についての検出感度を推定し、適切な管理感度が得られるように物品検査の判定基準である判定閾値(リミット)を提案出力する(提案出力ステップ)。
したがって、物品検査に際しては、撮像されたワークWの画像データを基に所定の認識処理が実行され、ワークWに感度影響の大きい内容物の素材構成や管理感度メモリ64に記憶された感度影響素材に関する記憶情報を基に、内容物の素材構成に対応するX線透過量等の所定の検出値の増減度合を考慮して検出感度が推定されて、物品検査の判定基準がその推定感度に応じた好適な基準値として提案出力される。その結果、品種ごとの検査パラメータとなる判定閾値レベル等の判定基準の設定作業の作業負担を十分に軽減可能となり、経験の浅い管理者等でも軽負担で妥当性のある設定作業が実行可能となる。
しかも、本実施形態では、類似する多品種の物品を検査対象とするような場合に、類似品種の判定基準に対し好適に調整された基準値として提案できるので、品種ごとの検査パラメータとなる判定閾値レベル等の設定作業の作業負担を、より軽減可能となる。
また、本実施形態では、構成判定プログラム53でワークWの内容物の素材構成の情報が取得されると、その素材構成について、感度影響素材記憶部である管理感度メモリ64の記憶情報を基に、検査画像に係るX線透過量等の所定の検出値に対する感度影響レベルが把握可能となる。したがって、所定の検出値に有意に影響する素材構成に応じて、適切な物品検査の判定基準を提案出力可能となる。
また、本実施形態においては、構成判定プログラム53により、所定の認識処理の結果からワークW中の複数の内容物の素材構成に対応する第1の素材情報を取得し、その取得情報を基にワークWの所定の検出値に有意に影響する内容物を判定するので、所定の検出値に有意に影響する内容物の変更が生じたときに、必要な物品検査の判定基準の調整を適時に提案出力可能となる。
さらに、本実施形態では、構成判定プログラム53が、ワークWの画像を文字認識可能な画像または/および画像認識可能な画像として入力する画像入力手段53aと、その入力画像を認識処理して少なくともワークW中の特定の内容物の素材構成に対応する第1の素材情報を取得する認識処理手段53bとを有しているので、所定の検出値に有意に影響する第1の素材情報が取得されたときに、検査画像に係るX線透過量等の検出感度への感度影響レベルを的確に把握した上で、必要な判定基準の提案出力が可能となる。
加えて、本実施形態では、認識処理手段53bでの認識処理結果を基に、例えば特定の内容物Wbの素材構成に類似する他の内容物Wb´の素材構成について、第1の素材情報との差分に相当する第2の素材情報を取得するので、特定の内容物Wbに代えて類似する他の内容物Wb´を有するワークWについて、品種ごとの検査パラメータとしての判定閾値レベル等の設定作業を、迅速・容易にかつ的確に実行可能となる。
また、本実施形態では、ワークWが、複数の内容物Wa~Wdを対応する複数の配置領域A~Dに配置した構成となっており、複数の内容物Wa~Wdに係るX線透過量等の所定の検出値の情報が、複数の配置領域A~Dにそれぞれ対応付けて記憶されることで、各配置領域A、B、CまたはDにおける内容物Wa、Wb、WcまたはWdの素材構成に応じて、配置領域ごとの判定基準を的確に提案出力可能となる。
また、複数の配置領域A~Dのそれぞれにつき、既に品種登録済みの内容物の素材構成と所定の認識処理による検査対象の内容物の素材構成に関する取得情報とを比較することで、所定の検出値に有意に影響する部分変更が生じたか否かが判定される。したがって、品種登録済みの内容物の設定情報を利用しつつ、必要な判定基準の調整を的確に提案出力可能となる。
このように、本実施形態では、X線検査方式の物品検査の所要の検査感度を担保しながらも、ワークWの品種ごとの検査パラメータとなる判定基準の設定作業の負担を軽減することができる物品検査装置および物品検査方法を提供することができる。
なお、上述の物品検査方法では、パックPとその内方に収納された具材Wa~Wdについて説明したが、透過画像上でパックPを識別できるように、例えばX線発生器駆動回路28によりX線源21のX線照射条件を低出力としたり、画像処理条件をパックPの配置領域A~Dを認識するための領域抽出処理に設定したりして被検査物Wa~Wdが具材として収納されていない空のパックPのみを搬送することとしてもよい。これにより、パックPの配置領域A~Dに対応するX線画像を生成できるため、配置領域A~Dを精度よく指定することができる。
また、本発明にいう配置領域は、樹脂製のパックに形成された凹状の収納領域に限らず、検査用トレイ上の凹所または囲い付きの領域であってもよい。さらに、その上蓋やカバーは透明なものに限らず、半透明に近いのもの、あるいは、多孔もしくは開口部を有するもの等であってもよいが、例えばカメラ41で撮像するときは、開蓋状態とするのがよい。
さらに、上述の実施形態では、物品検査に用いる所定の検査画像を、ワークWを透過したX線の透過量分布に対応するX線検査画像として説明したが、他の観察方法による検査画像を用いる物品検査にも適用可能である。したがって、本発明にいう所定の検出値は、X線透過量に限定されるものではなく、例えばワークWの放熱状態や冷却状態を観察するサーモグラフから得られる温度等であってもよく、本発明は、そのような所定の検出値の感度影響が素材構成に応じて生じるような場合への応用も考えられる。
以上説明したように、本発明は、所要の検査感度を担保しながらも、品種ごとの検査パラメータとなる判定基準の設定作業の負担を軽減することができる物品検査装置および物品検査方法を提供することができるものであり、被検査物品の検査画像を基に物品検査する物品検査装置および方法全般に有用である。
10 物品検査装置(X線検査装置)
11 搬送部
11a コンベアベルト
11b 上流側ローラ(駆動ローラ)
11c 上流側ローラ
11d、11e 下流側ローラ
12 検査部
21 X線源
22 X線検出器
23 X線画像入力部
24 物品検知センサ
25 X線検出器駆動回路
26 搬送駆動モータ
27 モータ駆動回路
28 X線発生器駆動回路
30 制御回路
31 CPU
32 プログラム格納部
33 操作入力部
34 表示部
35 データ蓄積部
41 カメラ(物品撮像部)
42 カメラ画像入力部
51 物品検査プログラム
52 閾値設定プログラム
53 構成判定プログラム(構成判定部)
53a ワーク画像入力部(画像入力手段)
53b 認識処理部(認識処理手段)
53c 素材構成判定部(判定手段)
54 感度調整プログラム(提案出力部)
54a 感度影響判定部
54b 感度調整提案部
61 X線画像メモリ(情報記憶部)
62 カメラ画像メモリ
63 品種登録・設定メモリ
64 管理感度メモリ(感度影響素材記憶手段)
A、B、C、D 配置領域(複数の配置領域)
W ワーク(被検査物品)
Wa 主食(具材、内容物)
Wb 主菜(具材、内容物)
Wc 副菜(具材、内容物)
Wd 副々菜(具材、内容物)
Z1 検査領域

Claims (7)

  1. 複数の内容物(Wa、Wb、Wc、Wd)を含む被検査物品(W)を検査画像を用いて物品検査する物品検査装置であって、
    前記検査画像に係る所定の検出値の情報を記憶する情報記憶部(61)と、
    前記被検査物品を撮像する物品撮像部(41)と、
    前記物品撮像部により撮像された前記被検査物品の画像データを基に所定の認識処理を実行して、前記被検査物品の前記内容物の素材構成を判定する構成判定部(53)と、
    前記構成判定部により前記内容物の素材構成が判定されたとき、前記内容物の素材構成を基に前記所定の検出値に対する検出感度を推定し、前記物品検査の判定基準を提案出力する提案出力部(54)と、を備えることを特徴とする物品検査装置。
  2. 複数の素材のそれぞれの前記所定の検出値に対する感度影響の情報を記憶する感度影響素材記憶部(64)をさらに備えており、
    前記提案出力部(54)は、前記構成判定部で前記所定の認識処理により取得された前記素材構成の情報および該素材構成に対応する前記感度影響素材記憶部の記憶情報を基に、前記所定の検出値に対する検出感度を推定することを特徴とする請求項1に記載の物品検査装置。
  3. 前記構成判定部は、
    前記被検査物品の画像を文字認識可能な画像または/および画像認識可能な画像として入力する画像入力手段(53a)と、
    前記画像入力手段による入力画像を文字認識または/および画像認識して、少なくとも前記被検査物品の特定の内容物の素材構成に対応する第1の素材情報を取得する認識処理手段(53b)と、を有していることを特徴とする請求項1または2に記載の物品検査装置。
  4. 前記構成判定部の前記認識処理手段は、
    前記画像入力手段による入力画像を文字認識または/および画像認識した結果を基に、前記特定の内容物(Wb)の素材構成に類似する他の内容物(Wb´)の素材構成について、前記第1の素材情報に加え、前記第1の素材情報との差分に相当する第2の素材情報を取得することを特徴とする請求項3に記載の物品検査装置。
  5. 前記被検査物品が、前記複数の内容物(Wa、Wb、Wc、Wd)を対応する複数の配置領域(A、B、C、D)に配置した構成となっており、
    前記構成判定部が、前記物品撮像部により撮像された前記複数の配置領域のそれぞれについて対応する配置領域ごとの前記内容物の画像データを基に前記所定の認識処理を実行して、前記複数の配置領域のそれぞれの内容物の素材構成を判定し、
    前記提案出力部は、前記構成判定部での判定結果を基に、前記複数の配置領域の領域ごとの判定基準を提案出力することを特徴とする請求項1ないし4のいずれか一項に記載の物品検査装置。
  6. 前記被検査物の品種および設定情報を前記素材構成の情報と共に記憶する品種登録情報記憶部(63)をさらに備え、
    前記構成判定部が、前記被検査物品における前記複数の配置領域のそれぞれについて、前記品種登録情報記憶部の記憶情報と前記所定の認識処理による取得情報とを基に、各配置領域に対応する内容物の素材構成に、前記所定の検出値に有意に影響する部分変更が生じたか否かを判定することを特徴とする請求項5に記載の物品検査装置。
  7. 複数の内容物(Wa、Wb、Wc、Wd)を含む被検査物品(W)を検査画像を用いて物品検査する物品検査方法であって、
    前記検査画像に係る所定の検出値の情報を記憶する情報記憶ステップ(S43)と、
    前記被検査物品を撮像する物品撮像ステップ(S32)と、
    前記物品撮像ステップで撮像した前記被検査物品の画像データを基に所定の認識処理を実行して、前記被検査物品の前記内容物の素材構成を判定する構成判定ステップ(S34)と、
    前記構成判定ステップで判定した前記内容物の素材構成を基に、前記所定の検出値に対する検出感度を推定して、前記物品検査の判定基準を提案出力する提案出力ステップ(S45)と、を含むことを特徴とする物品検査方法。
JP2021169388A 2021-10-15 2021-10-15 物品検査装置および物品検査方法 Pending JP2023059400A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021169388A JP2023059400A (ja) 2021-10-15 2021-10-15 物品検査装置および物品検査方法
US18/045,636 US20230122223A1 (en) 2021-10-15 2022-10-11 Article inspection apparatus and article inspection method
CN202211252527.4A CN115980098A (zh) 2021-10-15 2022-10-13 物品检查装置及物品检查方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021169388A JP2023059400A (ja) 2021-10-15 2021-10-15 物品検査装置および物品検査方法

Publications (1)

Publication Number Publication Date
JP2023059400A true JP2023059400A (ja) 2023-04-27

Family

ID=85961331

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021169388A Pending JP2023059400A (ja) 2021-10-15 2021-10-15 物品検査装置および物品検査方法

Country Status (3)

Country Link
US (1) US20230122223A1 (ja)
JP (1) JP2023059400A (ja)
CN (1) CN115980098A (ja)

Also Published As

Publication number Publication date
CN115980098A (zh) 2023-04-18
US20230122223A1 (en) 2023-04-20

Similar Documents

Publication Publication Date Title
JP4519789B2 (ja) X線検査装置
US6347131B1 (en) Non-contact volume measurement
WO2019159440A1 (ja) 検査装置
JP6126230B2 (ja) 検査装置
JP6920988B2 (ja) 検査装置
WO2020071162A1 (ja) 教師データ生成装置及び教師データ生成プログラム
KR102387529B1 (ko) 검사 장치
WO2009012095A1 (en) Inspection apparatus and method using penetrating radiation
JP5864404B2 (ja) X線検査装置
JP2007263848A (ja) X線検査システム
KR101203325B1 (ko) 시트-기반 물품에 대한 재고품 제어
US20220318985A1 (en) Training data generation device, inspection device and program
JP4180581B2 (ja) 物品検査システム
JP2023059400A (ja) 物品検査装置および物品検査方法
JP7268341B2 (ja) 検査性能診断装置、検査性能診断方法、検査性能診断装置用のプログラム、および、検査性能診断システム
JPH0933350A (ja) シート状物の色差検査方法
JP3860144B2 (ja) X線検査装置
JP2015200595A (ja) 検査装置及びptp包装機
JP3140226B2 (ja) 自動色調判定方法
JP5875878B2 (ja) 密度算出装置
JP2016090494A (ja) X線検査装置
CN108885178B (zh) 粒状物外观品相判别装置
US20240288991A1 (en) Machine learning based recommendations for user interactions with machine vision systems
JP2018048846A (ja) 光検査装置及び光検査方法
JP2020038078A (ja) 食品用検査装置

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20221007

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20221012

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230508

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240312

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240425

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240730