JP2021039691A - 検査装置、検査方法及び検査プログラム - Google Patents

検査装置、検査方法及び検査プログラム Download PDF

Info

Publication number
JP2021039691A
JP2021039691A JP2019162319A JP2019162319A JP2021039691A JP 2021039691 A JP2021039691 A JP 2021039691A JP 2019162319 A JP2019162319 A JP 2019162319A JP 2019162319 A JP2019162319 A JP 2019162319A JP 2021039691 A JP2021039691 A JP 2021039691A
Authority
JP
Japan
Prior art keywords
pixels
color
article
inspected
models
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019162319A
Other languages
English (en)
Inventor
隆也 角森
Takaya Tsunomori
隆也 角森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Advanced Engineering Ltd
Original Assignee
Fujitsu Advanced Engineering Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Advanced Engineering Ltd filed Critical Fujitsu Advanced Engineering Ltd
Priority to JP2019162319A priority Critical patent/JP2021039691A/ja
Publication of JP2021039691A publication Critical patent/JP2021039691A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Abstract

【課題】 物品の外観の色に基づく検査において、検査精度を向上させる。【解決手段】 検査装置であって、検査対象の物品を撮影した画像データにおいて、該検査対象の物品の外接矩形領域を特定する特定部と、前記特定部により特定された外接矩形領域に含まれる、前記検査対象の物品の画素及び前記検査対象の物品以外の背景の画素について、各色の画素数を算出する算出部と、複数のモデルの物品を撮影した画像データに基づいて算出した、該複数のモデルの物品の外接矩形領域に含まれる、該複数のモデルの物品の画素及び該複数のモデルの物品以外の背景の画素についての各色の画素数から、各色の画素数の許容範囲を決定する決定部と、前記算出部により算出された各色の画素数が、前記決定部により決定された各色の画素数の許容範囲に含まれるか否かに応じて、前記検査対象の物品の合否を判定する判定部とを有する。【選択図】図１

Description

本発明は、検査装置、検査方法及び検査プログラムに関する。
従来より、特定の物品（例えば、野菜、果物、花、パン等の商品）を出荷する際の外観検査においては、当該物品の外観の色に着目して、合否の判定が行われている。例えば、下記特許文献では、検査画像（検査対象の物品を撮影した画像）の物品に含まれる各色の画素数と、モデル画像（合格と判定される物品を予め撮影した画像）の物品に含まれる各色の画素数とに基づいて、合否の判定を行っている。
特開２０１９−８６９１４号公報
ここで、上記判定方法によれば、検査対象の物品の表面の色の変化やサイズの変化を検出して合否を判定することができる。表面の色が変化した場合、モデル画像の物品に含まれる各色の画素数と比較して、検査画像の物品に含まれる特定の色（変色した部分の本来の色）の画素数が減少するからである。また、サイズが変化した場合、モデル画像の物品に含まれる各色の画素数と比較して、検査画像の物品に含まれる各色の画素数が増減するからである。
しかしながら、上記判定方法の場合、例えば、検査対象の物品の形状の変化（表面の色やサイズは正常であるが、形状がいびつなもの等）を検出して合否を判定することは難しい。このため、均一な形状が要求される物品が検査対象の場合、外観検査における検査精度が低下するという問題がある。
一つの側面では、物品の外観の色に基づく検査において、検査精度を向上させることを目的としている。
一態様によれば、検査装置は、
検査対象の物品を撮影した画像データにおいて、該検査対象の物品の外接矩形領域を特定する特定部と、
前記特定部により特定された外接矩形領域に含まれる、前記検査対象の物品の画素及び前記検査対象の物品以外の背景の画素について、各色の画素数を算出する算出部と、
複数のモデルの物品を撮影した画像データに基づいて算出した、該複数のモデルの物品の外接矩形領域に含まれる、該複数のモデルの物品の画素及び該複数のモデルの物品以外の背景の画素についての各色の画素数から、各色の画素数の許容範囲を決定する決定部と、
前記算出部により算出された各色の画素数が、前記決定部により決定された各色の画素数の許容範囲に含まれるか否かに応じて、前記検査対象の物品の合否を判定する判定部とを有する。
物品の外観の色に基づく検査において、検査精度を向上させることが可能となる。
物品検査システムのシステム構成の一例を示す図である。 検査装置のハードウェア構成の一例を示す図である。 許容範囲決定処理の概要を説明するための図である。 許容範囲決定処理の流れを示すフローチャートである。 合否判定処理の概要を説明するための図である。 合否判定処理の流れを示すフローチャートである。 合否判定処理による判定結果の一例を示す図である。 矩形領域特定処理の詳細を示す図である。
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
［第１の実施形態］
＜物品検査システムのシステム構成＞
はじめに、第１の実施形態に係る検査装置を含む物品検査システムのシステム構成について説明する。図１は、物品検査システムのシステム構成の一例を示す図である。
図１に示すように、物品検査システム１００は、撮像装置１１０と、検査装置１２０とを有する。撮像装置１１０と検査装置１２０とは、有線または無線を介して接続される。
撮像装置１１０は、合格と判定される物品を予め撮影したモデル画像を含む画像データを、検査装置１２０に送信する。また、撮像装置１１０は、検査対象の物品１４０を撮影した検査画像を含む画像データを、検査装置１２０に送信する。撮像装置１１０にて撮影される画像データは、例えば、Ｒ値、Ｇ値、Ｂ値を含むカラー画像であり、物品１４０と検査台１３０とを含む範囲を撮影範囲とする画像データである。
なお、第１の実施形態において、検査対象の物品１４０は、"野菜または果物"（例えば、トマト、かぼちゃ、いちご、すいか）であり、均一な背景色を提供する検査台１３０に載置された状態で、撮像装置１１０により撮影されるものとする。
検査装置１２０は、撮像装置１１０より送信される画像データを処理する。検査装置１２０には、検査プログラムがインストールされており、当該プログラムが実行されることで、検査装置１２０は、矩形領域特定部１２１、画素数算出部１２２、許容範囲決定部１２３、合否判定部１２４として機能する。
矩形領域特定部１２１は特定部の一例である。矩形領域特定部１２１は、撮像装置１１０より送信された画像データ（モデル画像、検査画像）を取得する。また、矩形領域特定部１２１は、取得した画像データに含まれる物品の外接矩形領域を特定し、特定した外接矩形領域の画像（矩形画像と称す）を抽出する。
画素数算出部１２２は算出部の一例である。画素数算出部１２２は、矩形画像に含まれる各色の画素数及び各色の画素数の合計値を算出する。
許容範囲決定部１２３は決定部の一例である。許容範囲決定部１２３は、モデル画像を含む画像データから抽出された矩形画像について、画素数算出部１２２が算出した各色の画素数及び各色の画素数の合計値を、画素数算出部１２２から取得する。また、許容範囲決定部１２３は、取得した各色の画素数及び各色の画素数の合計値を統計処理し、合否を判定するための各色の画素数の許容範囲及び各色の画素数の合計値の許容範囲（画素数の上限閾値、下限閾値）を決定する。
なお、モデル画像は、１種類につき、複数個（例えば、１００個）の物品を撮影することで取得されるものとする。そして、許容範囲決定部１２３では、例えば、１００枚のモデル画像を含む画像データそれぞれから抽出された矩形画像に基づいて、当該種類の物品についての許容範囲を決定する。
また、許容範囲決定部１２３は、各種類の物品について決定した許容範囲を含む許容範囲情報を、許容範囲情報格納部１２５に格納する。
合否判定部１２４は判定部の一例である。合否判定部１２４は、検査対象の物品１４０を撮影した検査画像を含む画像データから抽出された矩形画像について、画素数算出部１２２が算出した各色の画素数及び各色の画素数の合計値を、画素数算出部１２２から取得する。
また、合否判定部１２４は、検査対象の物品１４０についての許容範囲情報を、許容範囲情報格納部１２５から読み出し、取得した各色の画素数及び各色の画素数の合計値と対比することで、検査対象の物品１４０の合否を判定する。更に、合否判定部１２４は、検査対象の物品１４０の検査結果として、合否の判定結果を出力する。
＜検査装置のハードウェア構成＞
次に、検査装置１２０のハードウェア構成について説明する。図２は、検査装置のハードウェア構成の一例を示す図である。図２に示すように、検査装置１２０は、ＣＰＵ（Central Processing Unit）２０１、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Random Access Memory）２０３を有する。ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３は、いわゆるコンピュータを形成する。
また、検査装置１２０は、補助記憶装置２０４、操作装置２０５、表示装置２０６、Ｉ／Ｆ（Interface）装置２０７、ドライブ装置２０８を有する。なお、検査装置１２０の各ハードウェアは、バス２０９を介して相互に接続されている。
ＣＰＵ２０１は、補助記憶装置２０４にインストールされている各種プログラム（例えば、検査プログラム等）を実行する演算デバイスである。
ＲＯＭ２０２は、不揮発性メモリである。ＲＯＭ２０２は、補助記憶装置２０４にインストールされている各種プログラムをＣＰＵ２０１が実行するために必要な各種プログラム、データ等を格納する、主記憶デバイスとして機能する。具体的には、ＲＯＭ２０２はＢＩＯＳ（Basic Input/Output System）やＥＦＩ（Extensible Firmware Interface）等のブートプログラム等を格納する。
ＲＡＭ２０３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の揮発性メモリである。ＲＡＭ２０３は、補助記憶装置２０４にインストールされている各種プログラムがＣＰＵ２０１によって実行される際に展開される作業領域を提供する、主記憶デバイスとして機能する。
補助記憶装置２０４は、各種プログラムや、各種プログラムが実行されることで生成されるデータ等を格納する補助記憶デバイスである。例えば、許容範囲情報格納部１２５は、補助記憶装置２０４において実現される。
操作装置２０５は、検査装置１２０の管理者が検査装置１２０に対して各種指示を入力するための入力デバイスである。表示装置２０６は、検査装置１２０による検査結果である合否の判定結果等を表示する表示デバイスである。Ｉ／Ｆ装置２０７は、撮像装置１１０と接続するための接続デバイスである。
ドライブ装置２０８は、記録媒体２１０をセットするためのデバイスである。ここでいう記録媒体２１０には、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体２１０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
なお、ドライブ装置２０８は、例えば、補助記憶装置２０４に各種プログラムをインストールする際に用いられる。具体的には、検査装置１２０の管理者が、配布された記録媒体２１０をドライブ装置２０８にセットし、該記録媒体２１０に記録された各種プログラムをドライブ装置２０８が読み出すことで、補助記憶装置２０４に各種プログラムがインストールされる。
＜検査装置の各部の処理の詳細＞
次に、検査装置１２０の各部（矩形領域特定部１２１、画素数算出部１２２、許容範囲決定部１２３、合否判定部１２４）の処理の詳細について説明する。
（１）矩形領域特定部、画素数算出部、許容範囲決定部による許容範囲決定処理の概要
はじめに、矩形領域特定部１２１、画素数算出部１２２、許容範囲決定部１２３による許容範囲決定処理の概要について説明する。図３は、許容範囲決定処理の概要を説明するための図である。
図３において、画像データ３１０、３２０、３３０、・・・は、合格と判定される物品３１１、３２１、３３１、・・・等を撮影したモデル画像を含む画像データである。矩形領域特定部１２１では、画像データ３１０、３２０、３３０、・・・を取得すると、物品３１１、３２１、３３１、・・・等の外接矩形領域を特定し、矩形画像３１２、３２２、３３２、・・・等を抽出する。
続いて、画素数算出部１２２は、矩形画像３１２、３２２、３３２、・・・等にそれぞれ含まれる各色の画素数及び各色の画素数の合計値を算出する。テーブル３１３、３２３、３３３、・・・等は、矩形画像３１２、３２２、３３２、・・・等に基づいて算出した、各色の画素数及び各色の画素数の合計値を示すテーブルである。
テーブル３１３、３２３、３３３、・・・等は、情報の項目として、"ＲＧＢ値"と、"画素数"と、"合計"とを含む。"ＲＧＢ値"は、画像データとして表現可能な全ての色についてのＲ値、Ｇ値、Ｂ値の組み合わせが格納される。"画素数"には、矩形画像に含まれる、対応する色の画素数が格納される。"合計"には、各色の画素数の合計値が格納される。
なお、テーブル３１３、３２３、３３３、・・・等の"ＲＧＢ値"には、物品に含まれる色以外の色（物品の表面には存在しない色（例えば、物品の中身の色や背景色））も含まれる。
続いて、許容範囲決定部１２３は、画素数算出部１２２により生成されたテーブル３１３、３２３、３３３、・・・等を統計処理し、合否を判定するための各色の画素数の許容範囲及び各色の画素数の合計値の許容範囲（画素数の上限閾値、下限閾値）を決定する。これにより、許容範囲決定部１２３は、許容範囲情報３００を生成する。
なお、許容範囲決定部１２３では、矩形画像３１２、３２２、３３２、・・・等に含まれない色（画素数がゼロの色）について、上限閾値及び下限閾値をゼロに決定する。
許容範囲情報３００は、許容範囲決定部１２３が、テーブル３１３、３２３、３３３、・・・等を統計処理することで決定した、許容範囲を示すテーブルである。許容範囲情報３００に示すように、許容範囲決定部１２３では、テーブル３１３、３２３、３３３、・・・等に含まれる各色の画素数について、平均値及びばらつきを算出する。また、許容範囲決定部１２３では、テーブル３１３、３２３、３３３、・・・等に含まれる各色の画素数の合計値について、平均値及びばらつきを算出する。
また、許容範囲決定部１２３では、算出した平均値及びばらつきに基づいて、上限閾値と下限閾値とを算出する。例えば、許容範囲決定部１２３では、ＲＧＢ値＝Ｒ１Ｇ１Ｂ１の画素数について、上限閾値Ｔｈ１１＝Ａｖｇ１＋３σ１、下限閾値Ｔｈ２１＝Ａｖｇ１−３σ１を算出する。
このように、上限閾値及び下限閾値を算出する際、第１の実施形態では、（物品に含まれる各色の画素数ではなく）物品の外接矩形領域に含まれる色の画素数を算出対象とする。また、第１の実施形態では、物品に含まれる色以外の色についても、上限閾値及び下限閾値を決定する。
これにより、第１の実施形態によれば、従来（物品に含まれる各色の画素数等を用いた場合）の第１の効果に加えて以下に示す第２の効果を奏する。
・従来（物品に含まれる各色の画素数等を用いた場合）の第１の効果
・物品に含まれる各色の画素数が、モデル画像と比較して減少することで、物品の表面の色の変化を検出して合否を判定することができる。
・物品に含まれる各色の画素数が、モデル画像と比較して増減することで、物品のサイズの変化を検出して合否を判定することができる。
・第１の実施形態（物品の外接矩形領域に含まれる各色の画素数を算出対象とし、物品に含まれる色以外の色についても上限閾値及び下限閾値を決定する場合）の効果
・物品に含まれる色以外の色（背景色）の画素数が、モデル画像の背景色の画素数と比較して増加することで、物品の形状の変化（例えば、いびつな形状）を検出して合否を判定することができる。
・物品に含まれる色以外の色（物品の表面には存在しない色（例えば、物品の中身の色））の画素数が、ゼロ以外の値をとることで、物品の形状の変化（例えば、物品が割れて中身が露出しているような状態）を検出して合否を判定することができる。
この結果、第１の実施形態によれば、従来と比較して、均一な形状が要求される物品についての外観の色に基づく検査において、物品の形状の変化を検出することが可能となり、検査精度を向上させることができる。
（２）矩形領域特定部、画素数算出部、許容範囲決定部による許容範囲決定処理の流れ
次に、矩形領域特定部１２１、画素数算出部１２２、許容範囲決定部１２３による許容範囲決定処理の流れについて説明する。図４は、許容範囲決定処理の流れを示すフローチャートである。撮像装置１１０により、合格と判定される物品の撮影が開始されることで、図４に示す許容範囲決定処理が実行される。
ステップＳ４０１において、矩形領域特定部１２１は、撮影されたモデル画像を取得する。
ステップＳ４０２において、矩形領域特定部１２１は、取得したモデル画像に含まれる物品の外接矩形領域を特定し、矩形画像を抽出する。
ステップＳ４０３において、画素数算出部１２２は、抽出された矩形画像に含まれる各色の画素数及び各色の画素数の合計値を算出する。
ステップＳ４０４において、矩形領域特定部１２１は、所定数のモデル画像を取得したか否かを判定する。ステップＳ４０４において、所定数のモデル画像を取得していないと判定した場合には（ステップＳ４０４においてＮＯの場合には）、ステップＳ４０１に戻る。
一方、ステップＳ４０４において、所定数のモデル画像を取得したと判定した場合には（ステップＳ４０４においてＹＥＳの場合には）、ステップＳ４０５に進む。
ステップＳ４０５において、許容範囲決定部１２３は、各色の画素数及び各色の画素数の合計値を統計処理する。ステップＳ４０６において、許容範囲決定部１２３は、統計処理の結果に基づいて、合否を判定するための各色の画素数の許容範囲及び各色の画素数の合計値の許容範囲を決定する。また、許容範囲決定部１２３は、決定した許容範囲を含む許容範囲情報を、許容範囲情報格納部１２５に格納する。
（３）矩形領域特定部、画素数算出部、合否判定部による合否判定処理の概要
次に、矩形領域特定部１２１、画素数算出部１２２、合否判定部１２４による合否判定処理の概要について説明する。図５は、合否判定処理の概要を説明するための図である。
図５において、画像データ５１０は、検査対象の物品５１１を撮影した検査画像を含む画像データである。矩形領域特定部１２１では、画像データ５１０を取得すると、物品５１１の外接矩形領域を特定し、矩形画像５１２を抽出する。
続いて、画素数算出部１２２は、矩形画像５１２に含まれる各色の画素数及び各色の画素数の合計値を算出する。テーブル５１３は、矩形画像５１２に基づいて算出した、各色の画素数及び各色の画素数の合計値を示すテーブルである。
テーブル５１３は、情報の項目として、"ＲＧＢ値"と、"画素数"と、"合計"とを含む。"ＲＧＢ値"は、画像データとして表現可能な全ての色についてのＲ値、Ｇ値、Ｂ値の組み合わせが格納される。"画素数"には、矩形画像に含まれる、対応する色の画素数が格納される。"合計"には、各色の画素数の合計値が格納される。
続いて、合否判定部１２４は、許容範囲情報格納部１２５より、許容範囲情報３００を読み出し、上限閾値及び下限閾値と、テーブル５１３の各画素数とを対比する。
合否判定部１２４では、テーブル５１３のいずれの画素数も、対応する上限閾値及び下限閾値に含まれると判定した場合、物品５１１が合格であると判定する。一方、合否判定部１２４では、テーブル５１３のいずれかの画素数が、対応する上限閾値または下限閾値を超えていると判定した場合、物品５１１が不合格であると判定する。
（４）矩形領域特定部、画素数算出部、合否判定部による合否判定処理の流れ
次に、矩形領域特定部１２１、画素数算出部１２２、合否判定部１２４による合否判定処理の流れについて説明する。図６は、合否判定処理の流れを示すフローチャートである。撮像装置１１０により、検査対象の物品の撮影が開始されることで、図６に示す合否判定処理が実行される。
ステップＳ６０１において、合否判定部１２４は、許容範囲情報格納部１２５より、許容範囲情報３００を読み出す。
ステップＳ６０２において、矩形領域特定部１２１は、撮影された検査画像を取得する。
ステップＳ６０３において、矩形領域特定部１２１は、取得した検査画像に含まれる物品の外接矩形領域を特定し、矩形画像を抽出する。
ステップＳ６０４において、画素数算出部１２２は、抽出された矩形画像に含まれる各色の画素数及び各色の画素数の合計値を算出する。
ステップＳ６０５において、矩形領域特定部１２１は、矩形画像に含まれる各色の画素数及び各色の画素数の合計値が、許容範囲情報３００の、対応する上限閾値及び下限閾値に含まれるか否かを判定する。
ステップＳ６０５において、対応する上限閾値及び下限閾値に含まれると判定した場合には（ステップＳ６０５においてＹＥＳの場合には）、ステップＳ６０６に進む。
ステップＳ６０６において、合否判定部１２４は、検査対象の物品が合格であると判定し、判定結果を出力する。
一方、ステップＳ６０５において、上限閾値または下限閾値のいずれかを超えていると判定した場合には（ステップＳ６０５においてＮＯの場合には）、ステップＳ６０７に進む。
ステップＳ６０７において、合否判定部１２４は、検査対象の物品が不合格であると判定し、判定結果を出力する。
ステップＳ６０８において、矩形領域特定部１２１は、合否判定処理を終了するか否かを判定する。ステップＳ６０８において合否判定処理を終了しないと判定した場合には（ステップＳ６０８においてＮＯの場合には）、ステップＳ６０２に戻る。
一方、ステップＳ６０８において合否判定処理を終了すると判定した場合には（ステップＳ６０８においてＹＥＳの場合には）、合否判定処理を終了する。
＜合否判定処理による判定結果＞
次に、合否判定処理（図６）による判定結果の具体例について説明する。図７は、合否判定処理による判定結果の一例を示す図である。
図７（ａ）は、検査対象の物品がトマトであり、合格であると判定されたトマト７１１と不合格であると判定されたトマト７２１の一例を示している。図７（ａ）において、テーブル７１３は、画素数算出部１２２が矩形画像７１２に含まれる各色の画素数及び各色の画素数の合計値を算出した結果を示している。また、テーブル７２３は、画素数算出部１２２が矩形画像７２２に含まれる各色の画素数及び各色の画素数の合計値を算出した結果を示している。
トマト７２１の場合、全体サイズが小さいため、トマト７２１に含まれる各色の画素数が下限閾値を下回り（符号７２４参照）、かつ、合計の画素数も下限閾値を下回る（符号７２５参照）。これにより、合否判定部１２４では、トマト７２１が不合格であると判定する。
図７（ｂ）は、検査対象の物品がかぼちゃであり、合格であると判定されたかぼちゃ７３１と不合格であると判定されたかぼちゃ７４１の一例を示している。図７（ｂ）において、テーブル７３３は、画素数算出部１２２が矩形画像７３２に含まれる各色の画素数及び各色の画素数の合計値を算出した結果を示している。また、テーブル７４３は、画素数算出部１２２が矩形画像７４２に含まれる各色の画素数及び各色の画素数の合計値を算出した結果を示している。
かぼちゃ７４１の場合、全体サイズが大きいため、かぼちゃ７４１に含まれる色の一部の色の画素数が上限閾値を上回り（符号７４４参照）、また、形状がいびつであるため、背景色の画素数が多く、背景色の画素数が上限閾値を上回る（符号７４５参照）。これにより、合否判定部１２４では、かぼちゃ７４１が不合格であると判定する。
図７（ｃ）は、検査対象の物品がいちごであり、合格であると判定されたいちご７５１と不合格であると判定されたいちご７６１の一例を示している。図７（ｃ）において、テーブル７５３は、画素数算出部１２２が矩形画像７５２に含まれる各色の画素数及び各色の画素数の合計値を算出した結果を示している。また、テーブル７６３は、画素数算出部１２２が矩形画像７６２に含まれる各色の画素数及び各色の画素数の合計値を算出した結果を示している。
いちご７６１の場合、形状がいびつであるため、背景色の画素数が多く、背景色の画素数が上限閾値を上回る（符号７６４参照）。これにより、合否判定部１２４では、いちご７６１が不合格であると判定する。
図７（ｄ）は、検査対象の物品がすいかであり、合格であると判定されたすいか７７１と不合格であると判定されたすいか７８１の一例を示している。図７（ｄ）において、テーブル７７３は、画素数算出部１２２が矩形画像７７２に含まれる各色の画素数及び各色の画素数の合計値を算出した結果を示している。また、テーブル７８３は、画素数算出部１２２が矩形画像７８２に含まれる各色の画素数及び各色の画素数の合計値を算出した結果を示している。
すいか７８１の場合、割れているため、全体サイズが大きくなっており、合計の画素数が上限閾値を上回る（符号７８４参照）。また、中身が露出しているため、合格であると判定されるすいか７７１においては算出されない色について、画素数が算出されており、当該色の画素数が上限閾値を上回る（符号７８５）。これにより、合否判定部１２４では、すいか７８１が不合格であると判定する。
以上の説明から明らかなように、第１の実施形態に係る検査装置１２０は、検査対象の物品を撮影した検査画像において、検査対象の物品の外接矩形領域を特定し、矩形画像を抽出する。
また、第１の実施形態に係る検査装置１２０は、物品の画素及び物品以外の背景の画素を含む矩形画像について、各色の画素数及び各色の画素数の合計値を算出する。
また、第１の実施形態に係る検査装置１２０は、合格と判定される複数の物品（複数のモデルの物品）を撮影したモデル画像において、物品の外接矩形領域に含まれる各色の画素数及び各色の画素数の合計値を統計処理することで、上限閾値及び下限閾値を算出する。
更に、第１の実施形態に係る検査装置１２０は、検査画像より抽出した矩形画像に含まれる各色の画素数及び各色の画素数の合計値が、対応する上限閾値及び下限閾値に含まれるか否かを判定することで、検査対象の物品の合否を判定する。
このように、
・物品の外接矩形領域に含まれる各色の画素数を算出対象とし、
・物品に含まれる色以外の色（背景色、物品の中身の色）についても、画素数の上限閾値及び下限閾値を算出する、
ことで、検査対象の物品の形状の変化（いびつな形状や、割れて中身が露出しているような状態）を検出することが可能となる。この結果、第１の実施形態に係る検査装置１２０によれば、均一な形状が要求される物品についての外観の色に基づく検査において、物品の形状の変化を検出することが可能となり、検査精度を向上させることができる。
［第２の実施形態］
上記第１の実施形態では、矩形領域特定部１２１が、取得した画像データに含まれる物品の外接矩形領域を特定する際、検査対象の物品の向きが適切であるものとして説明した。しかしながら、検査対象の物品が、検査台１３０において、撮像装置１１０に対して適切な向きに載置されているとは限られない。このため、物品の向きによっては、矩形領域特定部１２１が適切な外接矩形領域を特定できない場合もある。
そこで、第２の実施形態では、矩形領域特定部１２１が、画像データにおいて、物品の向きを適切な向きに修正してから外接矩形領域を特定する。
図８は、矩形領域特定処理の詳細を示す図である。図８において、画像データ８１０は、検査対象の物品８１１が検査台１３０上において斜めに載置された状態で撮影された検査画像を含む画像データである。
仮に、画像データ８１０に基づいて、物品８１１の外接矩形領域を特定すると、矩形画像８１２が抽出されることになる。ここで、第２の実施形態における矩形領域特定部１２１では、物品８１１の主軸の角度を算出し、算出した角度が９０°となるように物品８１１を回転してから（物品８１１'参照）、外接矩形領域を特定する。
このように、検査対象の物品８１１の向きを適切な向きに修正してから外接矩形領域を特定することで、検査装置１２０によれば、検査対象の物品が検査台１３０に載置された向きに関わらず、当該物品について適切に合否を判定することが可能となる。この結果、第２の実施形態に係る検査装置１２０によれば、物品の外観の色に基づく検査において、検査精度を向上させることができる。
［第３の実施形態］
上記第１及び第２の実施形態では、撮像装置１１０を検査台１３０の上方に１台のみ配置するものとして説明した。しかしながら、撮像装置１１０の配置数及び配置位置はこれに限定されず、例えば、上下、左右、前後の６方向に撮像装置を配置してもよい。
この場合、許容範囲決定部１２３では、それぞれの撮影方向について、各色の画素数の許容範囲及び各色の画素数の合計値の許容範囲を決定し、それぞれの撮影方向についての許容範囲情報を、許容範囲情報格納部１２５に格納する。
また、上記第１及び第２の実施形態では、検査対象の物品が野菜（トマト、かぼちゃ、すいか）、果物（いちご）の場合について説明した。しかしながら、検査対象の物品はこれらに限定されず、他の農産物や魚介類、パン、花等のように、外観の色に基づいて、合否の判定が行われる物品であれば、他の物品であってもよい。
なお、開示の技術では、以下に記載する付記のような形態が考えられる。
（付記１）
検査対象の物品を撮影した画像データにおいて、該検査対象の物品の外接矩形領域を特定する特定部と、
前記特定部により特定された外接矩形領域に含まれる、前記検査対象の物品の画素及び前記検査対象の物品以外の背景の画素について、各色の画素数を算出する算出部と、
複数のモデルの物品を撮影した画像データに基づいて算出した、該複数のモデルの物品の外接矩形領域に含まれる、該複数のモデルの物品の画素及び該複数のモデルの物品以外の背景の画素についての各色の画素数から、各色の画素数の許容範囲を決定する決定部と、
前記算出部により算出された各色の画素数が、前記決定部により決定された各色の画素数の許容範囲に含まれるか否かに応じて、前記検査対象の物品の合否を判定する判定部と
を有する検査装置。
（付記２）
前記決定部は、前記複数のモデルの物品の外接矩形領域に含まれる各色の画素数の合計値の許容範囲を決定し、
前記判定部は、前記算出部により算出された各色の画素数の合計値が、前記決定部により決定された各色の画素数の合計値の許容範囲に含まれるか否かに応じて、前記検査対象の物品の合否を判定する、付記１に記載の検査装置。
（付記３）
前記決定部は、前記複数のモデルの物品の外接矩形領域に含まれる各色の画素数を統計処理し、各色の画素数の上限閾値及び下限閾値を算出することで、前記許容範囲を決定する、付記１に記載の検査装置。
（付記４）
前記決定部は、前記複数のモデルの物品の外接矩形領域に含まれない色について、上限閾値及び下限閾値をゼロにすることで、前記許容範囲を決定する、付記３に記載の検査装置。
（付記５）
前記特定部は、前記画像データにおいて、前記検査対象の物品の向きを変更してから、前記外接矩形領域を特定する、付記１に記載の検査装置。
（付記６）
前記決定部は、複数のモデルの物品を、異なる方向から撮影することでそれぞれの画像データに基づいて算出した、該複数のモデルの物品の外接矩形領域に含まれる該複数のモデルの物品の画素及び該複数のモデルの物品以外の背景の画素についての各色の画素数から、各色の画素数の許容範囲を、撮影方向ごとに決定する、付記１に記載の検査装置。
（付記７）
検査対象の物品を撮影した画像データにおいて、該検査対象の物品の外接矩形領域を特定し、
前記特定された外接矩形領域に含まれる、前記検査対象の物品の画素及び前記検査対象の物品以外の背景の画素について、各色の画素数を算出し、
複数のモデルの物品を撮影した画像データに基づいて算出した、該複数のモデルの物品の外接矩形領域に含まれる、該複数のモデルの物品の画素及び該複数のモデルの物品以外の背景の画素についての各色の画素数から、各色の画素数の許容範囲を決定し、
前記算出された各色の画素数が、前記決定された各色の画素数の許容範囲に含まれるか否かに応じて、前記検査対象の物品の合否を判定する、
処理をコンピュータが実行する検査方法。
（付記８）
検査対象の物品を撮影した画像データにおいて、該検査対象の物品の外接矩形領域を特定し、
前記特定された外接矩形領域に含まれる、前記検査対象の物品の画素及び前記検査対象の物品以外の背景の画素について、各色の画素数を算出し、
複数のモデルの物品を撮影した画像データに基づいて算出した、該複数のモデルの物品の外接矩形領域に含まれる、該複数のモデルの物品の画素及び該複数のモデルの物品以外の背景の画素についての各色の画素数から、各色の画素数の許容範囲を決定し、
前記算出された各色の画素数が、前記決定された各色の画素数の許容範囲に含まれるか否かに応じて、前記検査対象の物品の合否を判定する、
処理をコンピュータに実行させるための検査プログラム。
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
１００ ：物品検査システム
１１０ ：撮像装置
１２０ ：検査装置
１２１ ：矩形領域特定部
１２２ ：画素数算出部
１２３ ：許容範囲決定部
１２４ ：合否判定部
１３０ ：検査台
１４０ ：物品
３００ ：許容範囲情報
３１０、３２０、３３０ ：画像データ
３１１、３２１、３３１ ：物品
３１２、３２２、３３２ ：矩形画像
５１０ ：画像データ
５１１ ：物品
５１２ ：矩形画像

Claims (6)

  1. 検査対象の物品を撮影した画像データにおいて、該検査対象の物品の外接矩形領域を特定する特定部と、
    前記特定部により特定された外接矩形領域に含まれる、前記検査対象の物品の画素及び前記検査対象の物品以外の背景の画素について、各色の画素数を算出する算出部と、
    複数のモデルの物品を撮影した画像データに基づいて算出した、該複数のモデルの物品の外接矩形領域に含まれる、該複数のモデルの物品の画素及び該複数のモデルの物品以外の背景の画素についての各色の画素数から、各色の画素数の許容範囲を決定する決定部と、
    前記算出部により算出された各色の画素数が、前記決定部により決定された各色の画素数の許容範囲に含まれるか否かに応じて、前記検査対象の物品の合否を判定する判定部と
    を有する検査装置。
  2. 前記決定部は、前記複数のモデルの物品の外接矩形領域に含まれる各色の画素数の合計値の許容範囲を決定し、
    前記判定部は、前記算出部により算出された各色の画素数の合計値が、前記決定部により決定された各色の画素数の合計値の許容範囲に含まれるか否かに応じて、前記検査対象の物品の合否を判定する、請求項１に記載の検査装置。
  3. 前記決定部は、前記複数のモデルの物品の外接矩形領域に含まれる各色の画素数を統計処理し、各色の画素数の上限閾値及び下限閾値を算出することで、前記許容範囲を決定する、請求項１に記載の検査装置。
  4. 前記決定部は、前記複数のモデルの物品の外接矩形領域に含まれない色について、上限閾値及び下限閾値をゼロにすることで、前記許容範囲を決定する、請求項３に記載の検査装置。
  5. 検査対象の物品を撮影した画像データにおいて、該検査対象の物品の外接矩形領域を特定し、
    前記特定された外接矩形領域に含まれる、前記検査対象の物品の画素及び前記検査対象の物品以外の背景の画素について、各色の画素数を算出し、
    複数のモデルの物品を撮影した画像データに基づいて算出した、該複数のモデルの物品の外接矩形領域に含まれる、該複数のモデルの物品の画素及び該複数のモデルの物品以外の背景の画素についての各色の画素数から、各色の画素数の許容範囲を決定し、
    前記算出された各色の画素数が、前記決定された各色の画素数の許容範囲に含まれるか否かに応じて、前記検査対象の物品の合否を判定する、
    処理をコンピュータが実行する検査方法。
  6. 検査対象の物品を撮影した画像データにおいて、該検査対象の物品の外接矩形領域を特定し、
    前記特定された外接矩形領域に含まれる、前記検査対象の物品の画素及び前記検査対象の物品以外の背景の画素について、各色の画素数を算出し、
    複数のモデルの物品を撮影した画像データに基づいて算出した、該複数のモデルの物品の外接矩形領域に含まれる、該複数のモデルの物品の画素及び該複数のモデルの物品以外の背景の画素についての各色の画素数から、各色の画素数の許容範囲を決定し、
    前記算出された各色の画素数が、前記決定された各色の画素数の許容範囲に含まれるか否かに応じて、前記検査対象の物品の合否を判定する、
    処理をコンピュータに実行させるための検査プログラム。
JP2019162319A 2019-09-05 2019-09-05 検査装置、検査方法及び検査プログラム Pending JP2021039691A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019162319A JP2021039691A (ja) 2019-09-05 2019-09-05 検査装置、検査方法及び検査プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019162319A JP2021039691A (ja) 2019-09-05 2019-09-05 検査装置、検査方法及び検査プログラム

Publications (1)

Publication Number Publication Date
JP2021039691A true JP2021039691A (ja) 2021-03-11

Family

ID=74847196

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019162319A Pending JP2021039691A (ja) 2019-09-05 2019-09-05 検査装置、検査方法及び検査プログラム

Country Status (1)

Country Link
JP (1) JP2021039691A (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04369088A (ja) * 1991-06-17 1992-12-21 Yamatake Honeywell Co Ltd 色画像処理装置
JP2006208362A (ja) * 2004-12-27 2006-08-10 Omron Corp 画像処理方法、基板検査方法、基板検査装置、および基板検査用の検査データ作成方法
JP2012505485A (ja) * 2008-10-14 2012-03-01 シクパ ホールディング エスアー アイテム識別のための方法およびシステム
JP2018013436A (ja) * 2016-07-22 2018-01-25 株式会社クボタ 接合状態評価方法及び接合状態評価装置
JP2019086914A (ja) * 2017-11-02 2019-06-06 株式会社富士通アドバンストエンジニアリング 検品装置、検品方法及び検品プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04369088A (ja) * 1991-06-17 1992-12-21 Yamatake Honeywell Co Ltd 色画像処理装置
JP2006208362A (ja) * 2004-12-27 2006-08-10 Omron Corp 画像処理方法、基板検査方法、基板検査装置、および基板検査用の検査データ作成方法
JP2012505485A (ja) * 2008-10-14 2012-03-01 シクパ ホールディング エスアー アイテム識別のための方法およびシステム
JP2018013436A (ja) * 2016-07-22 2018-01-25 株式会社クボタ 接合状態評価方法及び接合状態評価装置
JP2019086914A (ja) * 2017-11-02 2019-06-06 株式会社富士通アドバンストエンジニアリング 検品装置、検品方法及び検品プログラム

Similar Documents

Publication Publication Date Title
US10672142B2 (en) Object recognition apparatus, method for recognizing object, and non-transitory computer-readable storage medium for storing program
US10366476B2 (en) Perspective correction for curved display screens
TWI581213B (zh) 物品缺陷檢測方法、影像處理系統與電腦可讀取記錄媒體
US11315229B2 (en) Method for training defect detector
US20200357106A1 (en) Method for detecting defects, electronic device, and computer readable medium
KR102559021B1 (ko) 불량 이미지 생성 장치 및 방법
US20100215266A1 (en) Image processing device and method, and program recording medium
JP3741672B2 (ja) 画像特徴学習型欠陥検出方法、欠陥検出装置及び欠陥検出プログラム
JP2016194833A (ja) 商品陳列位置の判定処理方法、商品陳列位置の判定処理プログラム、及び商品陳列位置の判定処理装置
US20130136379A1 (en) Method and apparatus for correcting rotation of video frames
CN112883955A (zh) 货架布局检测方法、装置及计算机可读存储介质
CN111681186A (zh) 图像处理方法、装置、电子设备及可读存储介质
JP7270842B2 (ja) 外観検査装置および外観検査方法
US9239230B2 (en) Computing device and method for measuring widths of measured parts
US11176419B1 (en) Method for labeling image
JP2021039691A (ja) 検査装置、検査方法及び検査プログラム
CN104198495A (zh) 检测半导体衬底出现阶梯演变异常的方法
US11455714B2 (en) Multi-access edge computing methods and systems for computer-vision-based product compliance verification
JP6403207B2 (ja) 情報端末装置
US11039096B2 (en) Image processing device, image processing method and storage medium
CN112102456B (zh) 一种陶瓷片高度检测方法、装置及计算机可读存储介质
JP2019086914A (ja) 検品装置、検品方法及び検品プログラム
JP4634250B2 (ja) 矩形部品の画像認識方法及び装置
JP6847337B2 (ja) メータ検出装置、メータ検出方法、及びメータ検出プログラム
JP6614029B2 (ja) ロボットハンドの位置検出装置、ロボット装置、及び、ロボットハンドの位置検出方法

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20210825

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220517

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230328

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230516

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230822

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240305