JP2018045427A - 情報処理装置及びプログラム - Google Patents

Abstract

【課題】物体の特定の部位に含まれる複数の領域に配置された情報の正否を判定すること。【解決手段】情報処理装置１は、物体の特定の部位に含まれる第１領域１００の参照画像と撮影画像とに基づいて前記第１領域１００に配置された情報を取得し、取得された前記情報に関連付けられた、前記部位に含まれる１以上の第２領域２０１乃至２０５の参照画像と、前記１以上の第２領域２０１乃至２０５の撮影画像とに基づいて、前記１以上の第２領域２０１乃至２０５に配置された情報の正否を判定する。【選択図】図９

Description

本発明は、情報処理装置及びプログラムに関する。

特許文献１には、テンプレートマッチングによって回路などの製造物を評価する技術が記載されている。具体的には、最初に、設計データから回路パターンを描画した設計画像を作成する。設計画像は、形態部（輪郭）と背景部を含む画像である。次に、設計画像に対して線を太くする処理を行ってマッチング用設計画像を作成する。次に、一致度を評価する場所を示した一致度計算用設計画像を作成する。一致度計算用設計画像は、設計画像の形態部に相当する形態評価部と、そこから所定の距離内で近接する形態近傍無評価部と、それ以外の評価に利用する領域を含む形態外評価部を含む。次に、マッチング用設計画像と、設計データに基づいて製造した製造物を撮影した撮影画像との位置の対応関係を求める。次に、一致度計算用設計画像を参照し、位置の対応関係に基づいて、一致度計算用設計画像の形態評価部の位置に対応する撮影画像と、一致度計算用設計画像の形態外評価部の位置に対応する撮影画像とを作成し、撮影画像と一致度計算用設計画像の一致度を計算する。

特許文献２には、商品の陳列状態を示す情報を収集する技術が記載されている。具体的には、最初に、複数種の商品が陳列されている状態を撮像したレイアウト画像のデータを取得する。次に、レイアウト画像内における所定の領域である処理領域を特定し、処理領域内の画像と、複数種の商品各々の外観画像のデータを保持する外観データ保持部から取得した第１の外観画像とをパターンマッチングした後、処理領域を特定するための情報と、第１の外観画像で特定される商品を識別する商品識別情報と、パターンマッチングの結果とを対応付けてマッチング結果記憶部に記憶させる処理を行う。この処理を、レイアウト画像内における処理領域及びパターンマッチングに用いる外観画像の少なくとも一方を変更しながら繰り返し行う。次に、マッチング結果記憶部を参照し、パターンマッチングの結果に基づいて、処理領域に表示されている商品を推定し、推定の結果に基づいて、複数種の商品が陳列されている状態を推定する。

国際公開第２０１１／１３８８８２号 特開２０１２−１２６５３２号公報

一例として、電子機器などの製品に貼付されるラベルに着目する。製品が完成すると、製品の動作や外観などの検査が行われ、検査に合格した製品にラベルが貼付される。貼付されるラベルとしては、例えば、製造者名、機種名、シリアル番号、仕様、製造地などが記載されたラベル、製品が適合している基準を示す標識が記載されたラベル、注意事項が記載されたラベルなどがある。ところが、製品の仕向け地によってラベルの言語、記載事項、サイズ、位置などが異なる場合がある。また、機種によってもラベルの記載事項、サイズ、位置などが異なる場合がある。また、仕向け地や機種によっては貼付が定められていないラベルもある。このように、製品に貼付されるラベルの組合せは多岐にわたるため、誤ったラベルが貼付された製品が出荷されることを防ぐためには、製品に貼付されたラベルの検査が必要となる。
本発明は、物体の特定の部位に含まれる複数の領域に配置された情報の正否を判定することを目的とする。

請求項１に係る発明は、物体の特定の部位に含まれる第１領域の参照画像と撮影画像とに基づいて前記第１領域に配置された情報を取得する取得手段と、取得された前記情報に関連付けられた、前記部位に含まれる１以上の第２領域の参照画像と、前記１以上の第２領域の撮影画像とに基づいて、前記１以上の第２領域に配置された情報の正否を判定する判定手段とを備える情報処理装置を提供する。
請求項２に係る発明は、請求項１に記載の情報処理装置において、前記判定手段により前記１以上の第２領域に配置された情報が正しいと判定された場合に、取得された前記情報と前記第１領域の撮影画像と前記１以上の第２領域の撮影画像とを関連付けて記憶する記憶手段を備え、前記取得手段が、記憶された前記第１領域の撮影画像を前記第１領域の参照画像として使用し、前記判定手段が、記憶された前記１以上の第２領域の撮影画像を前記１以上の第２領域の参照画像として使用する。
請求項３に係る発明は、請求項１又は２に記載の情報処理装置において、前記判定手段が、複数の前記第２領域間で情報の配置が入れ替わることを許容する。

請求項４に係る発明は、物体の特定の部位の撮影画像から情報が配置された１以上の領域を抽出する抽出手段と、抽出された前記１以上の領域のグループの参照画像と撮影画像とに基づいて、当該１以上の領域に配置された前記情報の正否を判定する判定手段とを備える情報処理装置を提供する。
請求項５に係る発明は、請求項４に記載の情報処理装置において、前記判定手段により前記１以上の領域に配置された前記情報が正しいと判定された場合に、当該１以上の領域のグループと当該１以上の領域の撮影画像とを関連付けて記憶する記憶手段を備え、前記判定手段が、記憶された前記撮影画像を前記参照画像として使用する。
請求項６に係る発明は、請求項４又は５に記載の情報処理装置において、前記判定手段が、複数の前記領域間で情報の配置が入れ替わることを許容する。

請求項７に係る発明は、コンピュータを、物体の特定の部位に含まれる第１領域の参照画像と撮影画像とに基づいて前記第１領域に配置された情報を取得する取得手段と、取得された前記情報に関連付けられた、前記部位に含まれる１以上の第２領域の参照画像と、前記１以上の第２領域の撮影画像とに基づいて、前記１以上の第２領域に配置された情報の正否を判定する判定手段として機能させるためのプログラムを提供する。

請求項８に係る発明は、コンピュータを、物体の特定の部位の撮影画像から情報が配置された１以上の領域を抽出する抽出手段と、抽出された前記１以上の領域のグループの参照画像と撮影画像とに基づいて、当該１以上の領域に配置された前記情報の正否を判定する判定手段として機能させるためのプログラムを提供する。

請求項１、４、７、８に係る発明によれば、物体の特定の部位に含まれる複数の領域に配置された情報の正否を判定することができる。
請求項２、５に係る発明によれば、撮影画像を参照画像として利用することができる。
請求項３、６に係る発明によれば、複数の領域間で情報の配置が入れ替えられることを判定手段が許容する設定を行うことができる。

実施形態の構成の全体を示す図。 情報処理装置１のハードウェア構成を示す図。 第１実施形態に係る情報処理装置１の機能構成を示すブロック図。 電子機器３の背面３１を示す図。 電子機器３の背面３１に貼付されたラベル群を示す図。 ラベルを示す図。 ラベルを示す図。 領域テーブルを示す図。 第１実施形態に係る検査処理の手順を示す流れ図。 第２実施形態に係る情報処理装置１の機能構成を示すブロック図。 第２実施形態に係る検査処理の手順を示す流れ図。

本発明を実施するための形態の一例について説明する。
図１は、実施形態の構成を示す図である。情報処理装置１は、例えばパーソナルコンピュータである。撮影装置２は、例えばデジタルスチールカメラである。撮影装置２は、検査対象を撮影して画像データを生成し、この画像データを情報処理装置１に送信する。情報処理装置１は、この画像データを用いて後述する検査処理を実行する。

図２は、情報処理装置１のハードウェア構成を示す図である。制御部１１は、ＣＰＵ（Central Processing Unit）などの演算装置と、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などの記憶装置とを備える。ＲＯＭには、ハードウェアやＯＳ（Operating System）の起動の手順を記述したファームウェアが記憶される。ＲＡＭには、ＣＰＵが演算を実行する際のデータが記憶される。記憶部１２は、ハードディスク記憶装置や半導体メモリなどを備え、ＯＳやアプリケーションプログラムなどが記憶される。通信部１３は、情報処理装置１をＬＡＮ（Local Area Network）などの通信手段に接続するための通信Ｉ／Ｆ（Interface）である。

外部Ｉ／Ｆ部１６には、表示装置１４、受付装置１５、撮影装置２が接続される。表示装置１４は、例えば液晶表示装置を備え、操作者が情報処理装置１を操作するためのＧＵＩ（Graphical User Interface）の画面などを表示する。受付装置１５は、例えばキーボードやポインティングデバイスなどを備え、操作者が行った操作を受け付けて、その操作に応じた情報を制御部１１に出力する。なお、表示装置１４、受付装置１５、撮影装置２のうちの１つ以上が情報処理装置１と一体化されていてもよい。

＜第１実施形態＞
図３は、第１実施形態に係る情報処理装置１の機能構成を示すブロック図である。取得手段１１０は、物体の特定の部位に含まれる第１領域の参照画像と撮影画像とに基づいて前記第１領域に配置された情報を取得する。判定手段１２０は、取得された前記情報に関連付けられた、前記部位に含まれる１以上の第２領域の参照画像と、前記１以上の第２領域の撮影画像とに基づいて、前記１以上の第２領域に配置された情報の正否を判定する。以下、検査処理について具体的に説明する。

図４は、電子機器３の背面３１を示す図である。電子機器３は、例えば、複写機、プリンタ、イメージスキャナ、コンピュータ、コンピュータの周辺機器など、いかなる電子機器でもよい。電子機器３の背面３１は、本発明に係る物体の特定の部位の一例である。以下、物体の特定の部位を撮影した画像を撮影画像と呼ぶ。図中で塗りつぶされている図形は、背面３１に貼付されたラベル群である。

図５は、電子機器３の背面３１に貼付されたラベル群を示す図である。この例では、ラベルが貼付される領域として、第１領域１００、第２領域２０１、第２領域２０２、第２領域２０３、第２領域２０４、第２領域２０５が定められており、それぞれ第１ラベル１００Ｌ、第２ラベル２０１Ｌ、第２ラベル２０２Ｌ、第２ラベル２０３Ｌ、第２ラベル２０４Ｌ、第２ラベル２０５Ｌが貼付される。同図では、領域の輪郭が破線で示されているが、実際には領域の輪郭は視認されない。この例では、背面３１に扉３２とコネクタ３３が設けられており、第１ラベル１００Ｌ、第２ラベル２０２Ｌ、第２ラベル２０３Ｌ、第２ラベル２０４Ｌ、第２ラベル２０５Ｌが扉３２に貼付され、第２ラベル２０１Ｌが扉３２とコネクタ３３との間の位置に貼付されている。

図６、図７は、ラベルを示す図である。第１ラベル１００Ｌは、例えば、製造者名、機種名、シリアル番号、仕様、製造地などが記載されたラベルである。図中の■は、実際には、文字、数字、記号などである。第１ラベル１００Ｌは、仕向け地によって、言語、記載項目、サイズ、ラベル内のレイアウト、意匠などが異なる場合がある。図示した例では、Ａ国、Ｂ国、Ｄ国、Ｅ国、Ｆ国の第１ラベル１００Ｌはサイズが同じであり、Ｃ国の第１ラベル１００Ｌは他の仕向け地とサイズが異なっている。また、仕向け地毎に少なくともラベル内のレイアウトが異なっている。つまり、第１ラベル１００Ｌの撮影画像は、仕向け地毎に異なった画像となる。換言すれば、第１領域１００に配置された情報は、仕向け地に応じた情報である。そこで、本実施形態は、背面３１の撮影画像から抽出された第１領域１００の撮影画像と、仕向け地毎の第１ラベル１００Ｌの参照画像とのマッチングにより仕向け地を特定するように構成されている。

第１ラベル１００Ｌは、どの仕向け地の場合にも貼付することが定められている。第２ラベル２０１Ｌ乃至２０５Ｌは、仕向け地によって貼付が定められている場合と貼付が定められていない場合とがある。仕向け地がＡ国の場合、第１ラベル１００Ｌに加えて第２ラベル２０１Ｌ乃至２０５Ｌの貼付が定められている。仕向け地がＢ国の場合、第１ラベル１００Ｌに加えて第２ラベル２０１Ｌ及び２０２Ｌの貼付が定められているが、第２ラベル２０３Ｌ乃至２０５Ｌの貼付は定められていない。仕向け地がＣ国乃至Ｆ国の場合、第１ラベル１００Ｌに加えて第２ラベル２０１Ｌの貼付が定められているが、第２ラベル２０２Ｌ乃至２０５Ｌの貼付は定められていない。

第２ラベル２０１Ｌは、例えば、コネクタの規格が記載されたラベルである。第２ラベル２０２Ｌは、例えば、注意事項が記載されたラベルである。第２ラベル２０３Ｌ乃至２０５Ｌは、例えば、電子機器が適合している基準を示す標識が記載されたラベルである。第２ラベル２０１Ｌ乃至２０５Ｌも、第１ラベル１００Ｌと同様に、仕向け地によって言語、記載項目、サイズ、ラベル内のレイアウト、意匠などが異なる場合がある。図示した例では、第２ラベル２０１Ｌは全ての仕向け地で同一であるが、第２ラベル２０２Ｌは仕向け地（Ａ国、Ｂ国）によって異なっている。また、第２ラベル２０１Ｌ乃至２０５Ｌは、仕向け地によって貼付される位置が異なる場合がある。

記憶部１２には、仕向け地と関連付けて、各領域に貼付されるラベルの参照画像が記憶されている。参照画像は、例えば、ラベルの印刷のために作成されたラスタデータでもよく、印刷されたラベルを撮影した画像を表すラスタデータでもよい。

図８は、領域テーブルを示す図である。領域テーブルは、仕向け地と各領域を表す領域データとを対応付けたテーブルであり、記憶部１２に記憶されている。例えば、背面３１の一点を原点とする２次元直交座標系が予めアプリケーションに設定されており、この座標系によって領域データが記述されている。原点は、背面３１の撮影画像を画像処理することで認識される点である。例えば、図５の例では、コネクタ３３の左上隅又は右上隅や、扉３２の左下隅など、ラベル群に近接したいずれか１つの点が原点として認識されるようにアプリケーションが設定されていてもよい。

領域データは、どのような形式で記述されていてもよい。この例では各領域は矩形であるが、この場合、四隅の座標で記述されていてもよく、四隅のうちの一点の座標とその点を端点とする二辺の長さで記述されていてもよい。

また、領域データは、複数の領域間の位置関係によって記述されていてもよい。例えば、第１領域１００の左上隅を基準点として、この基準点と第２領域２０１乃至２０５の各々の左上隅との位置関係によって記述されていてもよい。

第１領域１００は、仕向け地に関わらず共通に設定される。図５の例では第１領域１００は扉３２の下部の左端側に設定されているが、前述のとおり、仕向け地によって第１ラベル１００Ｌのサイズが異なる場合があるため、全ての仕向け地の第１ラベル１００Ｌを包含するサイズの第１領域１００が設定されている。第２領域２０１乃至２０５は、前述のとおり仕向け地によってサイズと位置が異なる場合があるため、仕向け地毎に設定されている。換言すれば、第１領域１００に配置された情報には、物体の特定の部位に含まれる１以上の第２領域２０１乃至２０５が予め関連付けられている。

図９は、第１実施形態に係る検査処理の手順を示す流れ図である。情報処理装置には、検査処理の手順を記述したプログラムがインストールされており、制御部１１がこのプログラムに従って検査処理を実行する。ステップＡ０１乃至Ａ０５は、取得手段１１０の一例である。ステップＡ１１乃至Ａ１５、ステップＡ２１乃至Ａ２５、ステップＡ３１乃至Ａ３５は、判定手段１２０の一例である。

＜ステップＡ０１＞
制御部１１が、第１領域１００の撮影画像を抽出する。具体的には、撮影装置２によって電子機器の背面３１が撮影され、背面３１の撮影画像が情報処理装置に送信される。制御部１１は、受信した撮影画像に対して例えば二値化やラベリングなどの画像処理を施すことにより、領域データの座標系の原点を抽出する。制御部１１は、領域テーブルから第１領域１００の領域データを読み出し、この領域データに対応する撮影画像を、背面３１の撮影画像から抽出する。

＜ステップＡ０２＞
制御部１１が、第１領域１００の撮影画像の抽出に成功したか否かを判定する。例えば、撮影時に第１領域１００の一部又は全部が撮影装置の画角の外に位置していた場合には、第１領域１００の一部又は全部が背面３１の撮影画像に含まれなくなるため、仕向け地を特定できなくなる。そこで、第１領域１００の領域データで表される領域の全部が背面３１の撮影画像に含まれているならば、制御部１１は、第１領域１００の抽出に成功したと判定し（ステップＡ０２：ＹＥＳ）、制御部１１の処理はステップＡ０３に進む。一方、第１領域１００の領域データで表される領域の一部又は全部が背面３１の撮影画像に含まれていないならば、制御部１１は、第１領域１００の抽出に成功しなかったと判定し（ステップＡ０２：ＮＯ）、制御部１１の処理はステップＡ０６に進む。

＜ステップＡ０６＞
制御部１１が、エラー処理を行う。例えば、制御部１１が、ラベルや撮影画像の確認を操作者に促すメッセージを表示装置１４に表示させる。

＜ステップＡ０３＞
制御部１１が、第１領域１００の参照画像を選択する。具体的には、制御部１１が、全ての仕向け地の第１領域１００の参照画像を記憶部１２から読み出す。

＜ステップＡ０４＞
制御部１１が、撮影画像と参照画像とを照合する。具体的には、制御部１１が、背面３１の参照画像から抽出された第１領域１００の撮影画像と、全ての仕向け地の第１領域１００の参照画像とのマッチングを行って、仕向け地毎に撮影画像と参照画像との類似度を算出する。マッチングの手法は、テンプレートマッチング、パターンマッチングなど、公知の手法が用いられる。

＜ステップＡ０５＞
制御部１１が、算出された類似度に基づいて仕向け地を特定する。例えば、制御部１１が、類似度が閾値以上、且つ最大である参照画像から仕向け地を特定する。図５、図６の例では、Ａ国乃至Ｆ国のいずれかが仕向け地として特定される。仕向け地が特定されることにより、領域テーブル（図８参照）において仕向け地に予め関連付けられた１以上の第２領域のグループが特定される。仕向け地がＡ国の場合には、制御部１１の処理はステップＡ１１に進み、仕向け地がＢ国の場合には、制御部１１の処理はステップＡ２１に進み、仕向け地がＣ国乃至Ｆ国のいずれかの場合には、制御部１１の処理はステップＡ３１に進む。ただし、該当する仕向け地がない場合もある。該当する仕向け地がない場合には、制御部１１の処理はステップＡ０６に進む。

＜ステップＡ１１＞
制御部１１が、第２領域２０１乃至２０５の撮影画像を抽出する。具体的には、制御部１１が、領域テーブルからＡ国に対応する第２領域２０１乃至２０５の領域データを読み出し、この領域データに対応する撮影画像を、背面３１の撮影画像から抽出する。

＜ステップＡ１２＞
制御部１１が、撮影画像の抽出に成功したか否かを判定する。具体的には、第２領域２０１乃至２０５の領域データに対応する領域の全部が背面３１の撮影画像に含まれているならば、制御部１１は、第２領域２０１乃至２０５の抽出に成功したと判定し（ステップＡ１２：ＹＥＳ）、制御部１１の処理はステップＡ１３に進む。一方、第２領域２０１乃至２０５の領域データに対応する領域の一部又は全部が背面３１の撮影画像に含まれていないならば、制御部１１は、第２領域２０１乃至２０５の抽出に成功しなかったと判定し（ステップＡ１２：ＮＯ）、制御部１１の処理はステップＡ０６に進む。

＜ステップＡ１３＞
制御部１１が、第２領域２０１乃至２０５の参照画像を選択する。具体的には、制御部１１が、記憶部１２から全ての仕向け地の第２領域２０１乃至２０５の参照画像を読み出す。

＜ステップＡ１４＞
制御部１１が、撮影画像と参照画像とを照合する。具体的には、第２領域２０１の撮影画像については、Ａ国乃至Ｆ国の参照画像とのマッチングにより類似度が算出されるが、全ての仕向け地で参照画像が同一であるから、全ての仕向け地で類似度も同一となる。第２領域２０２の撮影画像については、Ａ国とＢ国の参照画像とのマッチングにより類似度が算出される。第２領域２０３乃至２０５の撮影画像については、Ａ国の参照画像とのマッチングにより類似度が算出される。

＜ステップＡ１５＞
制御部１１が、検査結果を判定する。具体的には、制御部１１が、領域毎に、類似度が閾値以上、且つ最大である参照画像を抽出する。その結果、全ての領域でＡ国の参照画像が抽出されたならば、制御部１１は、検査結果が合格と判定する。類似度が閾値以上である参照画像が抽出されない領域がある場合には、制御部１１は、検査結果が不合格と判定する。例えば、誤ったラベルが貼付されている領域では類似度が閾値未満となる。また、正しいラベルが貼付されている場合でもラベルの位置がずれていると、位置がずれていない場合と比べて類似度が低くなり、ずれの大きさによっては類似度が閾値未満となる場合がある。検査結果が合格である場合（ステップＡ１５：ＹＥＳ）には、制御部１１は、検査結果が合格であることを示すメッセージを表示装置に表示させて検査処理を終了する。一方、検査結果が不合格である場合（ステップＡ１５：ＮＯ）には、制御部１１の処理はステップＡ０６に進む。

なお、仕向け地がＡ国と特定されたにもかかわらず撮影画像と全ての仕向け地の参照画像とを照合する理由は、次のとおりである。例えば、第２領域２０２においてＡ国の参照画像とＢ国の参照画像とが似通っている状況を想定すると、第２領域２０２にＢ国のラベル（つまり、誤ったラベル）が貼付された場合に、このラベルの撮影画像とＡ国の参照画像との類似度が閾値以上となることがあり得る。これに対して、このラベルの撮影画像とＢ国の参照画像との類似度は、Ａ国の参照画像との類似度よりも高くなるから、Ｂ国のラベルが貼付されていることが判明する。このような理由から、撮影画像と全ての仕向け地の参照画像との照合を行うように構成されている。

＜ステップＡ２１＞
制御部１１が、第２領域２０１及び２０２の撮影画像を抽出する。具体的には、制御部１１が、領域テーブルからＢ国に対応する第２領域２０１及び２０２の領域データを読み出し、この領域データに対応する撮影画像を、背面３１の撮影画像から抽出する。

＜ステップＡ２２＞
制御部１１が、撮影画像の抽出に成功したか否かを判定する。具体的には、第２領域２０１及び２０２の領域データに対応する領域の全部が背面３１の撮影画像に含まれているならば、制御部１１は、第２領域２０１及び２０２の抽出に成功したと判定し（ステップＡ２２：ＹＥＳ）、制御部１１の処理はステップＡ２３に進む。一方、第２領域２０１及び２０２の領域データに対応する領域の一部又は全部が背面３１の撮影画像に含まれていないならば、制御部１１は、第２領域２０１及び２０２の抽出に成功しなかったと判定し（ステップＡ２２：ＮＯ）、制御部１１の処理はステップＡ０６に進む。

＜ステップＡ２３＞
制御部１１が、第２領域２０１及び２０２の参照画像を選択する。具体的には、制御部１１が、記憶部１２から全ての仕向け地の第２領域２０１及び２０２の参照画像を読み出す。

＜ステップＡ２４＞
制御部１１が、撮影画像と参照画像とを照合する。具体的には、第２領域２０１の撮影画像については、Ａ国乃至Ｆ国の参照画像とのマッチングにより類似度が算出されるが、図５、図６の例では全ての仕向け地で参照画像が同一であるから、全ての仕向け地で類似度も同一となる。第２領域２０２の撮影画像については、Ａ国とＢ国の参照画像とのマッチングにより類似度が算出される。

＜ステップＡ２５＞
制御部１１が、検査結果を判定する。具体的には、制御部１１が、領域毎に、類似度が閾値以上、且つ最大である参照画像を抽出する。その結果、全ての領域でＢ国の参照画像が抽出されたならば、制御部１１は、検査結果が合格と判定する。類似度が閾値以上である参照画像が抽出されない領域がある場合には、制御部１１は、検査結果が不合格と判定する。検査結果が合格である場合（ステップＡ２５：ＹＥＳ）には、制御部１１は、検査結果が合格であることを示すメッセージを表示装置１４に表示させて検査処理を終了する。一方、検査結果が不合格である場合（ステップＡ２５：ＮＯ）には、制御部１１の処理はステップＡ０６に進む。

＜ステップＡ３１＞
ここでは、仕向け地がＣ国の例で説明するが、Ｄ国乃至Ｆ国の場合も同様の処理が実行される。
制御部１１が、第２領域２０１の撮影画像を抽出する。具体的には、制御部１１が、領域テーブルからＣ国に対応する第２領域２０１の領域データを読み出し、この領域データに対応する撮影画像を、背面３１の撮影画像から抽出する。

＜ステップＡ３２＞
制御部１１が、撮影画像の抽出に成功したか否かを判定する。具体的には、第２領域２０１の領域データに対応する領域の全部が背面３１の撮影画像に含まれているならば、制御部１１は、第２領域２０１の抽出に成功したと判定し（ステップＡ３２：ＹＥＳ）、制御部１１の処理はステップＡ３３に進む。一方、第２領域２０１の領域データに対応する領域の一部又は全部が背面３１の撮影画像に含まれていないならば、制御部１１は、第２領域２０１の抽出に成功しなかったと判定し（ステップＡ３２：ＮＯ）、制御部１１の処理はステップＡ０６に進む。

＜ステップＡ３３＞
制御部１１が、第２領域２０１の参照画像を選択する。具体的には、制御部１１が、記憶部１２から全ての仕向け地の第２領域２０１の参照画像を読み出す。

＜ステップＡ３４＞
制御部１１が、撮影画像と参照画像とを照合する。具体的には、Ａ国乃至Ｆ国の参照画像とのマッチングにより類似度が算出されるが、図５、図６の例では全ての仕向け地で参照画像が同一であるから、全ての仕向け地で類似度も同一となる。

＜ステップＡ３５＞
制御部１１が、検査結果を判定する。具体的には、制御部１１が、第２領域２０１について、類似度が閾値以上、且つ最大である参照画像を抽出する。その結果、Ｃ国の参照画像が抽出されたならば、制御部１１は、検査結果が合格と判定する。類似度が閾値以上である参照画像が抽出されない場合には、制御部１１は、検査結果が不合格と判定する。検査結果が合格である場合（ステップＡ３５：ＹＥＳ）には、制御部１１は、検査結果が合格であることを示すメッセージを表示装置１４に表示させて検査処理を終了する。一方、検査結果が不合格である場合（ステップＡ３５：ＮＯ）には、制御部１１の処理はステップＡ０６に進む。

以上が、第１実施形態に係る検査処理の手順である。本実施形態によれば、物体の特定の部位に含まれる複数の領域に配置された情報の正否が判定される。

＜第２実施形態＞
図１０は、第２実施形態に係る情報処理装置１の機能構成を示すブロック図である。抽出手段１３０は、物体の特定の部位の撮影画像から情報が配置された１以上の領域を抽出する。判定手段１４０は、抽出された前記１以上の領域のグループの参照画像と撮影画像とに基づいて、当該１以上の領域に配置された前記情報の正否を判定する。以下、検査処理について具体的に説明する。

図１１は、第２実施形態に係る検査処理の手順を示す流れ図である。ステップＢ０１は、抽出手段１３０の一例である。ステップＢ０２、Ｂ１１乃至Ｂ１３、Ｂ２１乃至Ｂ２３、Ｂ３１乃至Ｂ３３は、判定手段１４０の一例である。

＜ステップＢ０１＞
制御部１１が、撮影画像から領域を抽出する。具体的には、撮影装置２によって電子機器の背面３１が撮影され、背面３１の撮影画像が情報処理装置１に送信される。制御部１１は、受信した撮影画像に対して例えば二値化やラベリングなどの画像処理を施すことにより、領域データの座標系の原点とラベルを抽出する。ラベルの抽出においては、ラベリングによって抽出された複数の黒画素塊同士の距離が閾値以下である場合には、制御部１１は、これらの黒画素塊を１つの黒画素塊として認識する。制御部１１は、認識された黒画素塊の外接矩形を求めることにより、情報が配置された１以上の領域を抽出する。

＜ステップＢ０２＞
制御部１１が、抽出された１以上の領域から仕向け地を特定する。具体的には、制御部１１は、抽出された１以上の領域と、領域テーブルに含まれる仕向け地毎の領域データとを比較することにより、仕向け地を特定する。抽出された領域が第１領域１００及び第２領域２０１乃至２０５に該当するならば、仕向け地はＡ国と特定され、制御部１１の処理はステップＢ１１に進む。抽出された領域が第１領域１００、第２領域２０１及び２０２に該当するならば、仕向け地はＢ国と特定され、制御部１１の処理はステップＢ２１に進む。抽出された領域が第１領域１００及び第２領域２０１に該当するならば、仕向け地はＣ国乃至Ｆ国のいずれかと特定され、制御部１１の処理はステップＢ３１に進む。該当する仕向け地がない場合には、制御部１１の処理はステップＢ０３に進む。

＜ステップＢ０３＞
制御部１１が、エラー処理を行う。例えば、制御部１１が、ラベルの確認を操作者に促すメッセージを表示装置１４に表示させる。

＜ステップＢ１１＞
制御部１１が、第１領域１００及び第２領域２０１乃至２０５の参照画像を選択する。具体的には、制御部１１が、記憶部１２から全ての仕向け地の第１領域１００及び第２領域２０１乃至２０５の参照画像を読み出す。

＜ステップＢ１２＞
制御部１１が、撮影画像と参照画像とを照合する。具体的には、第１領域１００、第２領域２０１の撮影画像については、Ａ国乃至Ｆ国の参照画像とのマッチングにより類似度が判定される。第２領域２０２の撮影画像については、Ａ国とＢ国の参照画像とのマッチングにより類似度が算出される。第２領域２０３乃至２０５の撮影画像については、Ａ国の参照画像とのマッチングにより類似度が算出される。

＜ステップＢ１３＞
制御部１１が、検査結果を判定する。具体的には、制御部１１が、領域毎に、類似度が閾値以上、且つ最大である参照画像を抽出する。その結果、全ての領域でＡ国の参照画像が抽出されたならば、制御部１１は、検査結果が合格と判定する。類似度が閾値以上である参照画像が抽出されない領域がある場合には、制御部１１は、検査結果が不合格と判定する。検査結果が合格である場合（ステップＢ１３：ＹＥＳ）には、制御部１１は、検査結果が合格であることを示すメッセージを表示装置に表示させて検査処理を終了する。一方、検査結果が不合格である場合（ステップＢ１３：ＮＯ）には、制御部１１の処理はステップＢ０３に進む。

＜ステップＢ２１＞
制御部１１が、第１領域１００、第２領域２０１及び２０２の参照画像を選択する。具体的には、制御部１１が、記憶部１２から全ての仕向け地の第１領域１００、第２領域２０１及び２０２の参照画像を読み出す。

＜ステップＢ２２＞
制御部１１が、撮影画像と参照画像とを照合する。具体的には、第１領域１００、第２領域２０１の撮影画像については、Ａ国乃至Ｆ国の参照画像とのマッチングにより類似度が判定される。第２領域２０２の撮影画像については、Ａ国とＢ国の参照画像とのマッチングにより類似度が算出される。

＜ステップＢ２３＞
制御部１１が、検査結果を判定する。具体的には、制御部１１が、領域毎に、類似度が閾値以上、且つ最大である参照画像を抽出する。その結果、全ての領域でＢ国の参照画像が抽出されたならば、制御部１１は、検査結果が合格と判定する。類似度が閾値以上である参照画像が抽出されない領域がある場合には、制御部１１は、検査結果が不合格と判定する。検査結果が合格である場合（ステップＢ２３：ＹＥＳ）には、制御部１１は、検査結果が合格であることを示すメッセージを表示装置１４に表示させて検査処理を終了する。一方、検査結果が不合格である場合（ステップＢ２３：ＮＯ）には、制御部１１の処理はステップＢ０３に進む。

＜ステップＢ３１＞
制御部１１が、第１領域１００及び第２領域２０１の参照画像を選択する。具体的には、制御部１１が、記憶部１２から全ての仕向け地の第１領域１００及び第２領域２０１の参照画像を読み出す。

＜ステップＢ３２＞
制御部１１が、撮影画像と参照画像とを照合する。具体的には、第１領域１００、第２領域２０１の撮影画像については、Ａ国乃至Ｆ国の参照画像とのマッチングにより類似度が判定される。

＜ステップＢ３３＞
制御部１１が、検査結果を判定する。具体的には、制御部１１が、領域毎に、類似度が閾値以上、且つ最大である参照画像を抽出する。その結果、全ての領域で同一国（ただし、Ｃ国乃至Ｆ国のいずれか）の参照画像が抽出されたならば、制御部１１は、検査結果が合格と判定する。類似度が閾値以上である参照画像が抽出されない領域がある場合には、制御部１１は、検査結果が不合格と判定する。検査結果が合格である場合（ステップＢ３３：ＹＥＳ）には、制御部１１は、検査結果が合格であることを示すメッセージを表示装置１４に表示させて検査処理を終了する。一方、検査結果が不合格である場合（ステップＢ３３：ＮＯ）には、制御部１１の処理はステップＢ０３に進む。

以上が、第２実施形態に係る検査処理の手順である。本実施形態によれば、物体の特定の部位に含まれる複数の領域に配置された情報の正否が判定される。

上記の実施形態を以下の変形例のように変形してもよい。複数の変形例を組み合せてもよい。

＜変形例１＞
実施形態ではラベルが電子機器の背面に貼付されている例を示したが、ラベルが貼付される部位は電子機器のどの部位でもよい。また、電子機器の筐体の一部が開閉あるいは着脱される構成（例えば、扉や引出し状の箱など）となっている場合には、これらの部分を操作することで視認される部位（例えば、扉の裏側、箱の内側など）にラベルが貼付されていてもよい。要するに、ラベルはユーザに視認される部位に貼付されていればよい。

実施形態では、情報が記載されたラベルを物体に貼付する例を示したが、これ以外の手段で情報が物体の特定の部位に配置されていてもよい。例えば、情報が記載された部材が紐、ネジ、粘着テープ、糸などの固定具を用いて物体に取り付けられていてもよい。また、印刷、押印、刻印などの手段によって物体の特定の部位に情報が配置されていてもよい。

実施形態では、物体の一例として電子機器を例示したが、物体は、電子機器以外の製品、農産物、廃棄物などいかなるものでもよい。また、物体が梱包された梱包材に情報が配置されていてもよい。

実施形態では、第１領域に配置される情報の一例として、仕向け地に応じた情報の例を示したが、第１領域に配置される情報は、例えば、電子機器の機種に応じた情報などでもよい。

＜変形例２＞
第１実施形態において、検査結果が合格である場合に撮影画像を参照画像として記憶し、この参照画像をそれ以降の検査に使用してもよい。すなわち、前記判定手段により前記１以上の第２領域に配置された情報が正しいと判定された場合に、取得された前記情報と前記第１領域の撮影画像と前記１以上の第２領域の撮影画像とを関連付けて記憶する記憶手段を備え、前記取得手段が、記憶された前記第１領域の撮影画像を前記第１領域の参照画像として使用し、前記判定手段が、記憶された前記以上の第２領域の撮影画像を前記以上の第２領域の参照画像として使用するように情報処理装置が構成されていてもよい。
第２実施形態において、検査結果が合格である場合に撮影画像を参照画像として記憶し、この参照画像をそれ以降の検査に使用してもよい。すなわち、前記判定手段により前記１以上の領域に配置された前記情報が正しいと判定された場合に、当該１以上の領域のグループと当該１以上の領域の撮影画像とを関連付けて記憶する記憶手段を備え、前記判定手段が、記憶された前記撮影画像を前記参照画像として使用するように情報処理装置が構成されていてもよい。

＜変形例３＞
判定手段１２０及び１４０が複数の領域間でラベルの配置が入れ替わることを許容するようにしてもよい。例えば、第２領域２０３の撮影画像と第２領域２０３乃至２０５の参照画像とを照合し、第２領域２０４の撮影画像と第２領域２０３乃至２０５の参照画像とを照合し、第２領域２０５の撮影画像と第２領域２０３乃至２０５の参照画像とを照合する。この構成によれば、第２領域２０３に第２ラベル２０３Ｌ、２０４Ｌ、２０５Ｌのいずれかが貼付され、第２ラベル２０３Ｌ、２０４Ｌ、２０５Ｌのうち第２領域２０２に貼付されたラベル以外のいずれかのラベルが第２領域２０４に貼付され、第２ラベル２０３Ｌ、２０４Ｌ、２０５Ｌのうち第２領域２０３、２０４に貼付されたラベル以外のラベルが第２領域２０５に貼付された場合でも不合格と判定されない。また、複数の領域間でラベルの配置が入れ替わることを許容する設定が操作者の操作に応じて行われるように構成されていてもよい。

＜変形例４＞
ステップＡ０５では、類似度が閾値以上、且つ最大である参照画像から仕向け地を特定する例を示したが、類似度が閾値以上である参照画像がない場合には、類似度が最大である参照画像から仕向け地を特定するように構成されていてもよい。
ステップＡ１５、Ａ２５、Ａ３５、Ｂ１３、Ｂ２３、Ｂ３３では、領域毎に、類似度が閾値以上、且つ最大である参照画像を抽出する例を示したが、類似度が閾値以上である参照画像がない場合には、類似度が最大である参照画像を抽出するように構成されていてもよい。

＜変形例５＞
上記の実施形態では、検査処理の機能をソフトウェアで実現する例を示したが、この機能の一部又は全部をハードウェア回路で実現してもよい。このソフトウェアを、光記録媒体や半導体メモリなど、コンピュータで読み取り可能な記録媒体に記録して提供し、この記録媒体からソフトウェアを読み取ってインストールするようにしてもよい。また、このソフトウェアを電気通信回線で提供してもよい。

１…情報処理装置、１１…制御部、１２…記憶部、１３…通信部、１４…表示装置、１５…受付装置、１６…外部Ｉ／Ｆ部、２…撮影装置、３…電子機器、３１…背面、３２…扉、３３…コネクタ、１００…第１領域、２０１、２０２、２０３、２０４、２０５…第２領域、１００Ｌ…第１ラベル、２０１Ｌ、２０２Ｌ、２０３Ｌ、２０４Ｌ、２０５Ｌ…第２ラベル

Claims (8)

1. 物体の特定の部位に含まれる第１領域の参照画像と撮影画像とに基づいて前記第１領域に配置された情報を取得する取得手段と、
   取得された前記情報に関連付けられた、前記部位に含まれる１以上の第２領域の参照画像と、前記１以上の第２領域の撮影画像とに基づいて、前記１以上の第２領域に配置された情報の正否を判定する判定手段と
   を備える情報処理装置。
2. 前記判定手段により前記１以上の第２領域に配置された情報が正しいと判定された場合に、取得された前記情報と前記第１領域の撮影画像と前記１以上の第２領域の撮影画像とを関連付けて記憶する記憶手段を備え、
   前記取得手段が、記憶された前記第１領域の撮影画像を前記第１領域の参照画像として使用し、
   前記判定手段が、記憶された前記１以上の第２領域の撮影画像を前記１以上の第２領域の参照画像として使用する
   請求項１に記載の情報処理装置。
3. 前記判定手段が、複数の前記第２領域間で情報の配置が入れ替わることを許容する請求項１又は２に記載の情報処理装置。
4. 物体の特定の部位の撮影画像から情報が配置された１以上の領域を抽出する抽出手段と、
   抽出された前記１以上の領域のグループの参照画像と撮影画像とに基づいて、当該１以上の領域に配置された前記情報の正否を判定する判定手段と
   を備える情報処理装置。
5. 前記判定手段により前記１以上の領域に配置された前記情報が正しいと判定された場合に、当該１以上の領域のグループと当該１以上の領域の撮影画像とを関連付けて記憶する記憶手段を備え、
   前記判定手段が、記憶された前記撮影画像を前記参照画像として使用する
   請求項４に記載の情報処理装置。
6. 前記判定手段が、複数の前記領域間で情報の配置が入れ替わることを許容する請求項４又は５に記載の情報処理装置。
7. コンピュータを、
   物体の特定の部位に含まれる第１領域の参照画像と撮影画像とに基づいて前記第１領域に配置された情報を取得する取得手段と、
   取得された前記情報に関連付けられた、前記部位に含まれる１以上の第２領域の参照画像と、前記１以上の第２領域の撮影画像とに基づいて、前記１以上の第２領域に配置された情報の正否を判定する判定手段
   として機能させるためのプログラム。
8. コンピュータを、
   物体の特定の部位の撮影画像から情報が配置された１以上の領域を抽出する抽出手段と、
   抽出された前記１以上の領域のグループの参照画像と撮影画像とに基づいて、当該１以上の領域に配置された前記情報の正否を判定する判定手段
   として機能させるためのプログラム。

Images