JP2023026031A - 検査プログラム、検査方法、および情報処理装置 - Google Patents

Abstract

【課題】所定物に検査対象物が配置されたかを高精度に検査する。
【解決手段】一実施形態に係る情報処理装置は、搬送される所定物への検査対象物の配置位置よりも前の位置で所定物を撮影した第１の画像データと、配置位置よりも後の位置で所定物を撮影した第２の画像データとの差分画像を生成する生成部と、検査対象物のサイズと対応する画像領域を、差分画像から切り出して複数の切り出し画像を生成する切出部と、検査対象物が撮影されているクエリ画像と、複数の切り出し画像との類似度を評価することで、所定物に検査対象物が配置されているかを検査する検査部と、を含む。
【選択図】図５

Description

本発明は、検査プログラム、検査方法、および情報処理装置に関する。

例えば、ベルトコンベア上を搬送される箱などに商品などを箱詰めする場合に、箱の中に詰められた商品や商品の個数を目視でチェックする検査作業が行われている。

また、画像解析を用いて対象を確認するための技術が知られている（例えば、特許文献１および特許文献２）。

特開２０２１－０１５３６３号公報 特開２０２０－１８４３５６号公報

しかしながら、例えば、検査作業は、ベルトコンベア上を絶えず流れる箱を見続ける過酷な作業であり、検査対象の数が膨大になると検査者の負担が大きい。また、昨今、物流分野でも、労働人口の減少、および作業コストの問題などにより作業の自動化が求められている。そのため、画像解析を用いて検査を高精度に行うことのできる技術の提供が望まれている。

１つの側面では、本発明は、所定物に検査対象物が配置されたかを高精度に検査するための技術を提供することを目的とする。

本発明の一つの態様の情報処理装置は、搬送される所定物への検査対象物の配置位置よりも前の位置で所定物を撮影した第１の画像データと、配置位置よりも後の位置で所定物を撮影した第２の画像データとの差分画像を生成する生成部と、検査対象物のサイズと対応する画像領域を、差分画像から切り出して複数の切り出し画像を生成する切出部と、検査対象物が撮影されているクエリ画像と、複数の切り出し画像との類似度を評価することで、所定物に検査対象物が配置されているかを検査する検査部と、を含む。

所定物に検査対象物が配置されたかを高精度に検査することができる。

実施形態に係る検査システムを例示する図である。 実施形態に係る情報処理装置の機能ブロック構成を例示する図である。 実施形態に係るクエリ画像情報を例示する図である。 実施形態に係る配置位置情報を例示する図である。 実施形態に係る検査対象物の検査処理の動作フローを例示する図である。 実施形態に係る差分画像の生成を例示する図である。 複数の切り出し画像の生成を例示する図である。 実施形態に係る情報処理装置を実現するためのコンピュータのハードウェア構成を例示する図である。

以下、図面を参照しながら、本発明のいくつかの実施形態について詳細に説明する。なお、複数の図面において対応する要素には同一の符号を付す。

例えば、ベルトコンベアなどで搬送される箱などの所定物に検査対象物が配置されたかを検査するために画像解析を利用することが考えられる。一例として、所定物に検査対象物を配置した後で所定物の画像を撮影し、得られた画像に検査対象物が写っているかを確認することが考えられる。

画像に検査対象物が写っているか否かの確認には、一例では機械学習により生成された学習済みモデルを利用することができる。しかしながら、高精度な学習済みモデルを生成するためには大量の教師データの用意が求められ、十分な教師データを用意することが難しいことがある。

画像に検査対象物が写っているか否かの確認するための別の技術としてパターンマッチングが挙げられる。例えば、検査対象物を撮影して得たクエリ画像と、所定物に検査対象物を配置した後で所定物の画像を撮影して得た画像との類似度を、局所特徴量を用いるパターンマッチングにより評価して、所定物に検査対象物が配置されているかを確認することが考えられる。なお、局所特徴量には、一例ではＢＲＩＥＦ（Binary Robust Independent Elementary Features）ベースの局所特徴量を用いることができる。しかしながら、例えば、所定物に次々と商品を箱詰めするような場合、見た目が類似する商品が他にも箱詰めされていることもある。この様な場合、類似した商品との類似度が高くでてしまい、所定物に検査対象物が配置できていないにもかかわらず、所定物に検査対象物が配置されていると判定してしまうといった、誤判定が起きることがある。

また、局所特徴量を用いたパターンマッチングによる画像間の類似度の評価では、画像において検査対象物が写っている領域の占める割合が類似度の上限になることがある。例えば、所定物を撮影して得た画像において検査対象物が全体の２５％程度の領域にしか写っていないとする。この場合、所定物を撮影した画像に写る検査対象物と、検査対象物を撮影して得たクエリ画像とが似ていたとしても、類似度は２５％程度に抑えられてしまうことがある。そのため、類似度の高さにより所定物に検査対象物が配置されたかを検査することが難しいことがある。従って、所定物に検査対象物が配置されたかを検査するための更なる技術の提供が望まれている。

図１は、実施形態に係る検査システム１００を例示する図である。検査システム１００は、例えば、情報処理装置１０１と、複数の撮影装置１０２とを含んでいる。複数の撮影装置１０２は、例えば、ベルトコンベア１０５上を搬送される所定物１１０を撮影する位置に設置されたカメラであってよい。所定物１１０には、例えば、ベルトコンベア１０５上を搬送されながら所定の順序で複数の検査対象物１１１が順次配置されてよい。そして、撮影装置１０２は、検査対象物１１１の配置が行われる配置位置の前の位置、および後の位置に設置されていてよい。情報処理装置１０１と、撮影装置１０２とは、例えば、無線接続または有線接続で通信可能に接続されていてよい。情報処理装置１０１は、複数の撮影装置１０２で撮影された画像を収集してよい。

図１の例では所定物１１０は、ベルトコンベア１０５上を搬送される箱である。ベルトコンベア１０５上を搬送される所定物１１０には順次、検査対象物１１１が箱詰めされて配置されてよく、検査対象物１１１が所定物１１０に配置されるたびに、所定物１１０を撮影できる位置に撮影装置１０２が設置されていてよい。そのため、情報処理装置１０１は、所定物１１０への検査対象物１１１の配置位置よりも前の位置で所定物１１０を撮影した第１の画像データを、配置位置の前に位置する撮影装置１０２から収集することができる。また、情報処理装置１０１は、所定物１１０への検査対象物１１１の配置位置よりも後の位置で所定物１１０を撮影した第２の画像データを、配置位置の後に位置する撮影装置１０２から収集することができる。

そして、実施形態では情報処理装置１０１は、第２の画像データと、第１の画像データとの差分画像を生成する。それにより、情報処理装置１０１は、検査対象物１１１の配置により変化の大きかった領域を強調した画像を生成することができる。

そして、情報処理装置１０１は、得られた差分画像から検査対象物１１１のサイズに合わせて、複数の画像領域を切り出して複数の切り出し画像を生成し、検査対象物１１１を撮影したクエリ画像との類似度を評価する。それにより、情報処理装置１０１は、所定物１１０に検査対象物１１１が配置されたかを高精度に検査することができる。以下、実施形態を更に詳細に説明する。

図２は、実施形態に係る情報処理装置１０１の機能ブロック構成を例示する図である。情報処理装置１０１は、例えば、制御部２０１、記憶部２０２、および通信部２０３を含む。制御部２０１は、例えば生成部２１１、切出部２１２、および検査部２１３などを含み、またその他の機能部を含んでもよい。情報処理装置１０１の記憶部２０２は、例えば、後述するクエリ画像情報３００、および配置位置情報４００などの情報を記憶している。通信部２０３は、例えば、制御部２０１の指示に従って撮影装置１０２などの他の装置と通信する。これらの各部の詳細および記憶部２０２に格納されている情報の詳細については後述する。

図３は、実施形態に係るクエリ画像情報３００を例示する図である。クエリ画像情報３００には、例えば、識別情報と、クエリ画像と、サイズと、文字列とが対応づけられたレコードが登録されている。クエリ画像情報３００の識別情報は、例えば、ベルトコンベア１０５上を搬送される所定物１１０に配置される検査対象物１１１を識別するための情報であってよい。クエリ画像情報３００のクエリ画像は、例えば、レコードの識別情報で識別される検査対象物１１１を撮影した画像であってよい。例えば、検査システム１００のユーザは、検査対象物１１１を撮影することでクエリ画像情報３００に登録するクエリ画像を生成してよい。クエリ画像は、例えば、検査対象物１１１が画像内の大部分を占めるように生成されていてよい。クエリ画像情報３００のサイズは、例えば、レコードの識別情報で識別される検査対象物１１１のサイズを示す情報であってよい。サイズは、例えば、長さの実測値（例えばｃｍなど）であってよく、または画像内での画素数などで表されたサイズであってもよい。クエリ画像情報３００の文字列は、例えば、レコードの識別情報で識別される検査対象物１１１の表面に記載されている文字列の情報であってよい。例えば、検査システム１００のユーザは、検査対象物１１１のサイズを計測して、クエリ画像情報３００のサイズに登録する値として用いてよい。また、例えば、検査システム１００のユーザは、検査対象物１１１の表面に記載されている文字列を確認し、クエリ画像情報３００の文字列に登録してもよい。なお、クエリ画像は、図３では正面から撮影した画像を登録する例を示しているが、実施形態はこれに限定されるものではない。例えば、別の実施形態では、レコードの識別情報で識別される検査対象物１１１を正面、側面、背面などの様々な角度から撮影した画像を含んでもよい。また、クエリ画像情報３００に登録されるクエリ画像は、例えば、検査対象物１１１が撮影される際に生成されてもよいし、事前に生成されて登録されていてもよい。

図４は、実施形態に係る配置位置情報４００を例示する図である。配置位置情報４００には、例えば、検査対象物、配置前、および配置後の情報を対応づけるレコードが登録されている。配置位置情報４００の検査対象物は、例えば、レコードと対応する検査対象物１１１を識別するための識別情報である。配置位置情報４００の配置前は、例えば、レコードと対応する検査対象物１１１を所定物１１０に配置する位置の前で撮影を行っている撮影装置１０２を識別するための識別情報である。配置位置情報４００の配置後は、例えば、レコードと対応する検査対象物１１１を所定物１１０に配置する位置の後で撮影を行っている撮影装置１０２を識別するための識別情報である。

続いて、実施形態に係る所定物１１０への検査対象物１１１の配置の検査処理を説明する。図５は、実施形態に係る検査処理の動作フローを例示する図である。例えば、情報処理装置１０１の制御部２０１は、検査処理の実行指示が入力されると図５の動作フローを開始してよい。

Ｓ５０１において制御部２０１は、所定物１１０への検査対象物１１１の配置が行われる配置位置の前の位置で撮影された第１の画像と、配置位置の後の位置で撮影された第２の画像とを取得する。例えば、制御部２０１は、ベルトコンベア１０５に沿って設置された複数の撮影装置１０２のうちで、検査対象物１１１の配置が行われる配置位置の直前の地点で所定物１１０を撮影する撮影装置１０２で撮影された画像を、第１の画像として取得してよい。また、例えば、制御部２０１は、ベルトコンベア１０５に沿って設置された複数の撮影装置１０２のうちで、検査対象物１１１の配置が行われる配置位置の直後の地点で所定物１１０を撮影する撮影装置１０２で撮影された画像を、第２の画像として取得してよい。

Ｓ５０２において制御部２０１は、取得した第２の画像と、第１の画像との差分画像を生成する。

図６は、実施形態に係る差分画像の生成を例示する図である。例えば、図６（ａ）では、制御部２０１は、検査対象物１１１（例えば、チョコレート）の配置位置の後の地点Ｂの位置で撮影を行う撮影装置１０２で撮影された第２の画像から、配置位置の前の地点Ａで撮影を行う撮影装置１０２で撮影された第１の画像との差分をとっている。それにより、配置された検査対象物１１１が映る領域で差分が大きくなっている差分画像を生成することができる。

また、図６（ｂ）では、制御部２０１は、検査対象物１１１（例えば、ラムネ）の配置位置の後の地点Ｃで撮影を行う撮影装置１０２で撮影された画像から、配置位置の前の地点Ｂで撮影を行う撮影装置１０２で撮影された画像との差分をとっている。それにより、配置された検査対象物１１１が映る領域で差分が大きくなっている差分画像を生成することができる。また、差分画像を生成することで、配置位置で配置される検査対象物１１１以外の他の物の特徴量を抑えることができ、例えば、類似するものが所定物１１０に含まれていたとしても、その特徴を除くことができ、影響を抑えることができる。その結果、検査対象物１１１が配置されたかの検査精度を高めることができる。

Ｓ５０３において制御部２０１は、検査対象物１１１のサイズに基づき、差分画像から複数の切り出し画像を生成する。

図７は、複数の切り出し画像の生成を例示する図である。例えば、制御部２０１は検査対象物１１１のサイズをクエリ画像情報３００のサイズから特定してよい。そして、制御部２０１は、差分画像において検査対象物１１１が写るサイズを切り出し画像のサイズとして用いて、差分画像から切り出し画像を生成する。図７（ａ）には、検査対象物１１１のサイズに応じて決定された切り出し画像のサイズを示すボックス７０１が示されている。切り出し画像のサイズは、例えば、撮影装置１０２からの所定物１１０の撮影距離などに基づいて特定することができる。

制御部２０１は、例えば、差分画像内をボックス７０１で走査して、ボックス７０１の位置を徐々にシフトさせながらボックス７０１のサイズで画像を切り出して複数の切り出し画像を生成してよい。図７（ｂ）は、差分画像から切り出された複数の切り出し画像を例示している。なお、差分画像内でのボックス７０１のシフトの大きさは、用途に応じて様々に設定することができる。一例では、制御部２０１は、差分画像の一辺の１／３および１／４の長さなどの所定値を、切り出し画像を生成する際のシフトの大きさとして用いてもよい。

Ｓ５０４において制御部２０１は、配置の検査対象の検査対象物１１１のクエリ画像を変換して複数のクエリ画像を生成する。例えば、制御部２０１は、クエリ画像情報３００に登録されている配置の検査対象の検査対象物１１１の画像を、所定の角度で回転させて複数のクエリ画像を生成してよい。また、制御部２０１は、例えば、クエリ画像情報３００に登録されている配置の検査対象の検査対象物１１１の画像を、所定の倍率で拡大したり、縮小したりして複数のクエリ画像を生成してよい。また、制御部２０１は、例えば、クエリ画像情報３００に登録されている配置の検査対象の検査対象物１１１の画像を、回転と倍率の変更とを組み合わせて変換し、複数のクエリ画像を生成してもよい。この様に、制御部２０１は、クエリ画像情報３００に登録されている配置の検査対象の検査対象物１１１の画像に、回転と倍率の変更との少なくとも一方を実行することで、複数のクエリ画像を生成することができる。

Ｓ５０５において制御部２０１は、例えば、複数のクエリ画像のそれぞれと、Ｓ５０３で生成した複数の切り出し画像とをマッチングし、類似度を評価する。なお、画像間の類似度の評価は、例えば、局所特徴量を用いるパターンマッチングにより実行されてよい。一例では、制御部２０１は、ＢＲＩＥＦベースの類似度の評価技術を用いて画像間の類似度を評価してよい。また、一例では、画像間の類似度の評価は、ＦＰＧＡなどのハードウェアとして実装されもよい。例えば、制御部２０１は、ＦＰＧＡなどのハードウェアを含んでよく、２つの画像の類似度の評価をＦＰＧＡなどのハードウェアに実行させて、ハードウェアから類似度の評価結果を取得してもよい。なお、実施形態で利用可能な画像間の類似度の評価技術は、ＢＲＩＥＦベースの類似度の評価技術に限定されるものではなく、ＢｏＶＷ（Bag of Visual Words）などの局所特徴量を用いて類似度を評価するその他の技術で実行されてもよい。

Ｓ５０６において制御部２０１は、マッチングの結果に基づき候補画像を出力する。例えば、制御部２０１は、類似度の評価が所定の条件を満たして高かった上位の所定数の切り出し画像を候補画像として出力してよい。

Ｓ５０７において制御部２０１は、候補画像に対して文字認識処理を実行する。それにより、制御部２０１は、候補画像に写る文字列を取得してよい。例えば、検査対象物１１１の外面には文字列が印字されていることがあり、制御部２０１は、文字認識を実行することで、その印字されている文字列を候補画像から検出することができる。

Ｓ５０８において制御部２０１は、文字認識で得られた認識文字列を、検査対象物１１１についての情報と比較し、検査対象物１１１と対応する文字列が認識文字列に含まれているかを判定する。例えば、制御部２０１は、検査対象の検査対象物１１１と対応する文字列をクエリ画像情報３００から取得し、取得した文字列が、文字認識結果の認識文字列に含まれているか否かを判定してよい。

Ｓ５０９において制御部２０１は、判定結果に基づき、検査対象物１１１が所定物１１０に配置されているかを検査する。一例では、制御部２０１は、類似度が所定の条件を満たして高い場合に、検査対象物１１１が配置されていると判定してよい。また、別の実施形態では、制御部２０１は、候補画像から文字認識された認識文字列に、検査対象物１１１と対応する文字列が含まれている場合に、検査対象物１１１が配置されていると判定してよい。また、更に別の実施形態では、制御部２０１は、類似度が所定の条件を満たして高く、かつ、候補画像から文字認識された認識文字列に検査対象物１１１と対応する文字列が含まれている場合に、検査対象物１１１が配置されていると判定してよい。

Ｓ５１０において制御部２０１は、検査結果を出力し、本動作フローは終了する。例えば、制御部２０１は、情報処理装置１０１に接続されている表示装置の表示画面に、所定物１１０に検査対象物１１１が配置されているか否かを示す情報を表示させるための表示情報を出力してよい。また、別の実施形態では、制御部２０１は、所定物１１０に検査対象物１１１が配置されていないと判定された場合に、音声および光などでアラートを出力してよい。

以上で述べたように実施形態によれば、検査対象物１１１が、所定物１１０に配置されたかを容易に検査することができる。

例えば、上述の実施形態では検査対象物１１１の所定物１１０への配置が行われる位置の前後の撮影装置１０２で撮影された２つの画像の差分を取って差分画像を生成している。例えば、ベルトコンベアなどを搬送される箱などの所定物１１０に、商品および部品などを順次箱詰めして配置していくような場合、位置によって箱詰めで配置される検査対象物１１１が決まっている。そのため、検査対象物１１１の配置が行われる配置位置の前後に設置した撮影装置１０２で、類似する撮影条件で所定物１１０を撮影して画像を取得する。そして、２つの画像の差分画像を生成することで、検査対象物１１１の配置により変化が生じた画像領域が強調された画像を生成することができる。例えば、箱詰めされる検査対象物１１１によっては、他に箱詰めされる物品と形状、色、模様などが類似していることがある。この場合、撮影された画像に直接、検査対象物１１１の画像をパターンマッチングしてしまうと類似する物品を誤検出してしまうことがある。しかしながら、上述の実施形態では、差分画像を生成するため、例え類似する物品があったとしても、その特徴が差分画像ではマスクされるため、検査対象物１１１の検出精度を向上させることができる。

また、上述の実施形態では、検査対象物１１１のサイズに合わせて差分画像から複数の切り出し画像を生成し、検索対象として用いている。例えば、画像間でパターンマッチングにより類似度を評価する場合、画像内で検索する対象が写っている領域が占める割合が類似度の上限となることがある。そのため、画像内で検索する対象が占める割合はできるだけ大きいことが好ましい。上述の実施形態では、検査対象物１１１のサイズに合わせて差分画像から画像を切り出して複数の切り出し画像を生成している。そのため、検査対象物１１１が大きな割合で写っている切り出し画像を取得することができ、高い精度で類似度の評価を行うことが可能になる。

また、上述の実施形態では、検査対象物１１１の画像に、回転および倍率の変更などを実行し、複数のクエリ画像を生成して、類似度の評価に用いている。例えば、検査対象物１１１を所定物１１０に配置する場合に、検査対象物１１１を所定の向きで正確に配置することは難しく、実際には様々な向きで配置されてしまうことがある。そのような場合にも、検査対象物１１１の画像を回転させて複数のクエリ画像を生成し、類似度の評価に用いることで高い精度で検査対象物１１１が所定物１１０に配置されたかを判定することができる。

また、例えば、検査対象物１１１の下に別のものが配置されている場合など検査対象物１１１を所定物１１０に配置する上で撮影装置１０２との検査対象物１１１との距離が変わってしまうことがある。その結果、画像に写る検査対象物１１１のサイズが均一なサイズで撮影されないことがある。この場合にも、例えば、検査対象物１１１の画像の倍率を変更して複数のクエリ画像を生成し、類似度の評価に用いることで高い精度で検査対象物１１１が所定物１１０に配置されたかを判定することができる。

また、上述の実施形態では制御部２０１は、複数の切り出し画像のうちから特定された候補画像に文字認識を実行し、文字認識の結果に、クエリ画像情報３００において検査対象物１１１と対応する文字列が含まれているか確認している。それにより、高い精度で検査対象物１１１が所定物１１０に配置されたかを判定することができる。

なお、上述の実施形態では、画像のパターンマッチングの例として局所特徴量を用いる例を述べている。制御部２０１は、例えば、以下のようにしてパターンマッチングを行ってよい。

例えば、制御部２０１は、クエリ画像と、切り出し画像の各画像内において予め決められた特徴点を中心に複数の画素からなる特徴領域（例えば、４８×４８画素）において、局所特徴量を算出する。局所特徴量としては、例えば、特徴領域内の各画素のペアが複数予め決められ、そのペアとなった各画素間の輝度差の符号に応じたビット値（例えば、輝度差が正値の場合は「１」、負値の場合は「０」など）で表される。制御部２０１は、各画像の画像データがＲＧＢにより表されたときは、公知の変換式により、各画素の輝度値を算出してもよい。また、局所特徴量は、例えば、ＢＲＩＥＦ特徴により表された局所特徴量であってよい。そして、制御部２０１は、クエリ画像における、ある特徴領域の局所特徴量に最も近似した、切り出し画像における特徴領域を探索し、最も近似した局所特徴量を持つ２つの特徴領域内の特徴点どうしを接続して、ベクトルを生成する。制御部２０１は、このようなベクトルを２つの画像間（クエリ画像と切り出し画像）全体で計算し、ベクトルに関するヒストグラムを計算する。そして、制御部２０１は、ヒストグラムの中で最も個数が多いベクトルを抽出し、１つの画像内において、そのようなベクトルを有する特徴点の個数を計算し、その個数が１つの画像に含まれる特徴点全部の個数に対する比率を、類似度として計算する。制御部２０１は、１枚のクエリ画像と、１枚の切り出し画像との画像間で１つの類似度と計算する。

なお、局所特徴量には、例えば、ＢＲＩＥＦ以外にも、ＯＲＢ（Oriented fast and Rotated BRIEF）やＢＲＩＳＫ（Binary Robust Invariant Scalable Keypoints）などのその他の局所特徴量が用いられてもよい。

以上において、実施形態を例示したが、実施形態はこれに限定されるものではない。例えば、上述の動作フローは例示であり、実施形態はこれに限定されるものではない。可能な場合には、動作フローは、処理の順番を変更して実行されてもよく、別に更なる処理を含んでもよく、または、一部の処理が省略されてもよい。例えば、図５のＳ５０７からＳ５０８の文字認識による検査処理は実行されなくてもよい。

また、上述の実施形態において、制御部２０１は、画像間の類似度の評価にＦＰＧＡなどのハードウェアにより実装される高速部分画像検索技術を利用してもよい。例えば、制御部２０１は、ＦＰＧＡなどのハードウェアを含んでもよく、２つの画像の類似度の評価をＦＰＧＡなどのハードウェアで実行して、ＦＰＧＡの出力を取得し、その後の処理に用いてもよい。それにより、高速に大量の画像データを処理することが可能になる。なお、実施形態で利用可能な画像間の類似度の評価技術は、ＢＲＩＥＦベースの類似度の評価技術に限定されるものではなく、ＢｏＶＷ（Bag of Visual Words）などの局所特徴量を用いて類似度を評価するその他の技術で実行されてもよい。

また、上述の実施形態では商品の箱詰めの確認に実施形態を適用する例を述べているが、実施形態はこれに限定されるものではない。例えば、実施形態はベルトコンベア上を流れる所定物に配置される部品の検査、所定物に対する塗装の確認作業などに利用することができる。或いは、実施形態は、配送中に伝票およびタグなどが外れてしまい、行き先が不明になった荷物を特定するためになど利用することができる。一例としては、制御部２０１は、搬送される荷物を撮影装置１０２で順次撮影しながら差分画像を生成し、タグの画像をクエリ画像として用いてタグが外れているか否かを判定してもよい。

なお、上述の実施形態においてＳ５０２の処理では制御部２０１は、例えば、生成部２１１として動作する。また、例えば、Ｓ５０３の処理では制御部２０１は、切出部２１２として動作する。Ｓ５０９の処理では制御部２０１は、例えば、検査部２１３として動作する。

図８は、実施形態に係る情報処理装置１０１を実現するためのコンピュータ８００のハードウェア構成を例示する図である。図８の情報処理装置１０１を実現するためのハードウェア構成は、例えば、プロセッサ８０１、メモリ８０２、記憶装置８０３、読取装置８０４、通信インタフェース８０６、および入出力インタフェース８０７を備える。なお、プロセッサ８０１、メモリ８０２、記憶装置８０３、読取装置８０４、通信インタフェース８０６、入出力インタフェース８０７は、例えば、バス８０８を介して互いに接続されている。

プロセッサ８０１は、例えば、シングルプロセッサであっても、マルチプロセッサやマルチコアであってもよい。プロセッサ８０１は、メモリ８０２を利用して例えば上述の動作フローの手順を記述したプログラムを実行することにより、上述した制御部２０１の一部または全部の機能を提供する。例えば、情報処理装置１０１のプロセッサ８０１は、記憶装置８０３に格納されているプログラムを読み出して実行することで、生成部２１１、切出部２１２、および検査部２１３として動作する。

メモリ８０２は、例えば半導体メモリであり、ＲＡＭ領域およびＲＯＭ領域を含んでいてよい。記憶装置８０３は、例えばハードディスク、フラッシュメモリ等の半導体メモリ、または外部記憶装置である。なお、ＲＡＭは、Random Access Memoryの略称である。また、ＲＯＭは、Read Only Memoryの略称である。

読取装置８０４は、プロセッサ８０１の指示に従って着脱可能記憶媒体８０５にアクセスする。着脱可能記憶媒体８０５は、例えば、半導体デバイス、磁気的作用により情報が入出力される媒体、光学的作用により情報が入出力される媒体などにより実現される。なお、半導体デバイスは、例えば、ＵＳＢ（Universal Serial Bus）メモリである。また、磁気的作用により情報が入出力される媒体は、例えば、磁気ディスクである。光学的作用により情報が入出力される媒体は、例えば、ＣＤ－ＲＯＭ、ＤＶＤ、Blu-ray Disc等（Blu-rayは登録商標）である。ＣＤは、Compact Discの略称である。ＤＶＤは、Digital Versatile Diskの略称である。

記憶部２０２は、例えばメモリ８０２、記憶装置８０３、および着脱可能記憶媒体８０５を含んでいる。例えば、情報処理装置１０１の記憶装置８０３には、クエリ画像情報３００、および配置位置情報４００が格納されている。

通信インタフェース８０６は、例えば、プロセッサ８０１の指示に従って、他の装置と通信する。一例では、情報処理装置１０１の通信インタフェース８０６は、有線または無線通信で撮影装置１０２とデータを送受信してよい。

入出力インタフェース８０７は、例えば、入力装置および出力装置との間のインタフェースであってよい。入力装置は、例えばユーザからの指示を受け付けるキーボード、マウス、タッチパネルなどのデバイスである。出力装置は、例えばディスプレーなどの表示装置、およびスピーカなどの音声装置である。

実施形態に係る各プログラムは、例えば、下記の形態で情報処理装置１０１に提供される。
（１）記憶装置８０３に予めインストールされている。
（２）着脱可能記憶媒体８０５により提供される。
（３）プログラムサーバなどのサーバから提供される。

なお、図８を参照して述べた情報処理装置１０１を実現するためのコンピュータ８００のハードウェア構成は、例示であり、実施形態はこれに限定されるものではない。例えば、上述の構成の一部が、削除されてもよく、また、新たな構成が追加されてもよい。また、別の実施形態では、例えば、上述の制御部２０１の一部または全部の機能がＦＰＧＡ、ＳｏＣ、ＡＳＩＣ、およびＰＬＤなどによるハードウェアとして実装されてもよい。なお、ＦＰＧＡは、Field Programmable Gate Arrayの略称である。ＳｏＣは、System-on-a-chipの略称である。ＡＳＩＣは、Application Specific Integrated Circuitの略称である。ＰＬＤは、Programmable Logic Deviceの略称である。

以上において、いくつかの実施形態が説明される。しかしながら、実施形態は上記の実施形態に限定されるものではなく、上述の実施形態の各種変形形態および代替形態を包含するものとして理解されるべきである。例えば、各種実施形態は、その趣旨および範囲を逸脱しない範囲で構成要素を変形して具体化できることが理解されよう。また、前述した実施形態に開示されている複数の構成要素を適宜組み合わせることにより、種々の実施形態が実施され得ることが理解されよう。更には、実施形態に示される全構成要素からいくつかの構成要素を削除して、または実施形態に示される構成要素にいくつかの構成要素を追加して種々の実施形態が実施され得ることが当業者には理解されよう。

１００ ：検査システム
１０１ ：情報処理装置
１０２ ：撮影装置
１０５ ：ベルトコンベア
１１０ ：所定物
１１１ ：検査対象物
２０１ ：制御部
２０２ ：記憶部
２０３ ：通信部
２１１ ：生成部
２１２ ：切出部
２１３ ：検査部
３００ ：クエリ画像情報
４００ ：配置位置情報
８００ ：コンピュータ
８０１ ：プロセッサ
８０２ ：メモリ
８０３ ：記憶装置
８０４ ：読取装置
８０５ ：着脱可能記憶媒体
８０６ ：通信インタフェース
８０７ ：入出力インタフェース
８０８ ：バス

Claims (5)

1. 搬送される所定物への検査対象物の配置位置よりも前の位置で前記所定物を撮影した第１の画像データと、前記配置位置よりも後の位置で前記所定物を撮影した第２の画像データとの差分画像を生成し、
   前記検査対象物のサイズと対応する画像領域を、前記差分画像から切り出して複数の切り出し画像を生成し、
   前記検査対象物が撮影されているクエリ画像と、前記複数の切り出し画像との類似度を評価することで、前記所定物に前記検査対象物が配置されているかを検査する、
   処理を情報処理装置に実行させる検査プログラム。
2. 前記検査する処理は、前記クエリ画像に回転および倍率の変更の少なくとも一方を実行することで、複数のクエリ画像を生成し、前記複数のクエリ画像と前記複数の切り出し画像との前記類似度を評価することで、前記所定物に前記検査対象物が配置されているかを検査する、請求項１に記載の検査プログラム。
3. 前記検査する処理は、更に、所定の条件を満たして前記類似度の高かった切り出し画像に文字認識を実行して得た認識文字列に、前記検査対象物と対応する文字列が含まれている場合、前記所定物に前記検査対象物が配置されていると判定する、請求項１または２に記載の情報処理装置。
4. 情報処理装置により実行される検査方法であって、前記情報処理装置が、
   搬送される所定物への検査対象物の配置位置よりも前の位置で前記所定物を撮影した第１の画像データと、前記配置位置よりも後の位置で前記所定物を撮影した第２の画像データとの差分画像を生成し、
   前記検査対象物のサイズと対応する画像領域を、前記差分画像から切り出して複数の切り出し画像を生成し、
   前記検査対象物が撮影されているクエリ画像と、前記複数の切り出し画像との類似度を評価することで、前記所定物に前記検査対象物が配置されているかを検査する、
   ことを特徴とする検査方法。
5. 搬送される所定物への検査対象物の配置位置よりも前の位置で前記所定物を撮影した第１の画像データと、前記配置位置よりも後の位置で前記所定物を撮影した第２の画像データとの差分画像を生成する生成部と、
   前記検査対象物のサイズと対応する画像領域を、前記差分画像から切り出して複数の切り出し画像を生成する切出部と、
   前記検査対象物が撮影されているクエリ画像と、前記複数の切り出し画像との類似度を評価することで、前記所定物に前記検査対象物が配置されているかを検査する検査部と、
   を含む、情報処理装置。

Images