JP2018156674A - 画像認識装置及び商品情報処理装置 - Google Patents

Abstract

【課題】適切に対象物を認識することができる画像認識装置及び商品情報処理装置を提供する。
【解決手段】実施形態によれば、画像認識装置は、取得部と、操作部と、制御部と、を備える。取得部は、対象物を示すパターンを撮影した画像を取得する。操作部は、前記取得部が取得した前記画像上の位置を指定する操作を受け付ける。制御部は、前記取得部が取得した前記画像から前記パターンを含むパターン領域を特定し、前記操作部により受け付けられた、特定に失敗したパターン領域の位置に基づいて、パターン候補領域を設定し、設定された前記パターン候補領域を撮影するための撮影パラメータを再設定し、前記取得部を通じて、再設定された前記撮影パラメータに従って撮影したパターン候補領域を含む画像を取得し、取得された前記パターン候補領域を含む前記画像からパターン領域を特定し、特定されたパターン領域が含むパターンを認識する。
【選択図】図１

Description

本発明の実施形態は、画像認識装置及び商品情報処理装置に関する。

カメラが撮影する画像から商品を認識する画像認識装置は、撮影環境によって、商品の認識の精度が変動する。例えば、カメラを用いて商品のバーコードを認識するＰＯＳシステムの場合、カメラの撮影環境によって商品のバーコードの認識精度が変動する。

特開２００９−２８９２８６号公報

上記の課題を解決するために、適切に対象物を認識することができる画像認識装置及び商品情報処理装置を提供する。

実施形態によれば、画像認識装置は、取得部と、操作部と、制御部と、を備える。取得部は、対象物を示すパターンを撮影した画像を取得する。操作部は、前記取得部が取得した前記画像上の位置を指定する操作を受け付ける。制御部は、前記取得部が取得した前記画像から前記パターンを含むパターン領域を特定し、前記操作部により受け付けられた、特定に失敗したパターン領域の位置に基づいて、パターン候補領域を設定し、設定された前記パターン候補領域を撮影するための撮影パラメータを再設定し、前記取得部を通じて、再設定された前記撮影パラメータに従って撮影したパターン候補領域を含む画像を取得し、取得された前記パターン候補領域を含む前記画像からパターン領域を特定し、特定されたパターン領域が含むパターンを認識する。

図１は、第１実施形態に係る商品情報処理装置の構成例を概略的に示す図である。 図２は、第１実施形態に係る商品情報処理装置の構成例を示すブロック図である。 図３は、第１実施形態に係る商品情報処理装置が表示する認識結果の例を示す図である。 図４は、第１実施形態に係る商品情報処理装置におけるタッチ操作の例を示す図である。 図５は、第１実施形態に係る商品情報処理装置の動作例を示すフローチャートである。 図６は、第２実施形態に係る商品情報処理装置の動作例を示すフローチャートである。 図７は、第３実施形態に係る商品情報処理装置の構成例を概略的に示す図である。 図８は、第３実施形態に係る深度マップの例を示す図である。 図９は、第３実施形態に係るラベリング処理結果の例を示す図である。 図１０は、第３実施形態に係る商品情報処理装置の動作例を示すフローチャートである。 図１１は、第４実施形態に係る商品情報処理装置の動作例を示すフローチャートである。 図１２は、第４実施形態に係る商品情報処理装置の動作例を示すフローチャートである。

以下、図面を参照しながら実施形態について説明する。
（第１実施形態）
まず、第１実施形態に係る商品情報処理装置（画像認識装置）について説明する。
図１は、第１実施形態に係る商品情報処理装置１の構成例を概略的に示す。

商品情報処理装置１は、カゴ１０内の商品について決済処理する。商品情報処理装置１は、商品を販売する店舗などに設置される。商品情報処理装置１は、カゴ１０が所定の位置に配置された場合に、カゴ１０内の商品について決済処理を実行する。商品情報処理装置１は、利用者が自ら決済処理を行うセルフレジとして設置されてもよい。また、商品情報処理装置１は、店舗の店員が決済処理をする通常のレジとして設置されてもよい。

商品情報処理装置１は、商品（対象物）を特定するパターンに基づいて、商品を認識する。カゴ１０内の商品は、商品を特定するパターンを備える。たとえば、商品を特定するパターンは、バーコード、ＱＲコード（登録商標）、文字、数字又はマークなどである。
また、商品情報処理装置１は、オブジェクト認識（商品そのもののパターンの認識）により商品を認識しても良い。ここでは、商品を特定するパターンは、バーコードであるものとする。

図１が示すように、商品情報処理装置１は、筐体２、カメラ３、照明４ａ並びに４ｂ、表示部５、及び、操作部６などを備える。

筐体２は、商品情報処理装置１の外形を形成するフレームである。筐体２は、カゴ１０を設置することができるように形成される。図１が示す例においては、筐体２は、コの字型であり、カゴ１０を積載することができるように形成される。
また、筐体２は、内部にＣＰＵなどの制御部を格納する。

カメラ３（撮影部に対応）は、カゴ１０内の商品を撮影する。図１が示す例においては、カメラ３は、カゴ１０を上方から撮影するように設置される。カメラ３は、斜め上方からカゴ１０内を撮影するように設置されてもよい。カメラ３が設置される位置及び向きは、特定の構成に限定されるものではない。

なお、商品情報処理装置１は、複数個のカメラ３を備えてもよい。この場合、複数のカメラ３は、それぞれ異なる位置及び角度でカゴ１０内の商品を撮影するように設置されてもよい。

たとえば、カメラ３は、ＣＣＤカメラなどである。また、カメラ３は、不可視光を撮影するものであってもよい。カメラ３の構成は、特定の構成に限定されるものではない。

照明４ａ及び４ｂは、カゴ１０内の商品のパターンを照らす。照明４ａ及び４ｂは、カメラ３が適切にカゴ１０内の商品のパターンを撮影することができるように、筐体２内の制御部などからの制御に基づいてカゴ１０内の商品のパターンを照らす。

照明４ａ及び４ｂは、照度又は波長などを変更することができるものであってもよい。
照明４ａ及び４ｂは、赤外線などの不可視光を照射するものであってもよい。また、照明４ａ及び４ｂは、位置又は角度などを変更することができるものであってもよい。照明４ａ及び４ｂは、いずれか一方が点いてもよいし、両者とも点いてもよい。
また、照明４ａ及び４ｂは、位置又は角度が互いに異なるように設置されてもよい。

また、商品情報処理装置１は、１つの照明４を備えてもよいし、３つ以上の照明４を備えてもよい。商品情報処理装置１が備える照明４の個数は、特定の個数に限定されるものではない。

たとえば、照明４ａ及び４ｂは、電球、蛍光灯、又は、ＬＥＤなどである。照明４ａ及び４ｂの構成は、特定の構成に限定されるものではない。

表示部５は、制御部の制御により種々の情報を表示する表示装置である。表示部５は、たとえば、液晶モニタなどである。

操作部６は、商品情報処理装置１の利用者によって、種々の操作指示が入力される。操作部６は、操作者に入力された操作指示のデータを制御部へ送信する。操作部６は、たとえば、キーボード、テンキー、及び、タッチパネルなどである。また、操作部６は、利用者からジェスチャーの入力を受け付けてもよい。

また、操作部６は、表示部５が表示する画像上の位置を指定する操作を受け付ける。たとえば、操作部６は、表示部５上でタッチされた位置を取得する。
ここでは、操作部６は、タッチパネルであり、表示部５と一体的に形成されているものとする。

なお、カメラ３、照明４ａ及び４ｂ、表示部５又は操作部６は、筐体２と一体的に形成されてもよい。
また、商品情報処理装置１は、必要に応じて、適宜他の構成を備え、又は、上記の構成を欠いてもよい。

次に、商品情報処理装置１の構成例について説明する。
図２は、商品情報処理装置１の構成例を示すブロック図である。
図２が示すように、商品情報処理装置１は、カメラ３、照明４、表示部５、操作部６、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、ＮＶＭ２４、カメラインターフェース２５、及び、照明制御部２６などを備える。
カメラ３、照明４、表示部５、及び、操作部６は、上記の通りである。

ＣＰＵ２１は、商品情報処理装置１全体の制御を司る制御部である。ＣＰＵ２１は、ＲＯＭ２２あるいはＮＶＭ２４に記憶されている制御プログラム及び制御データに基づいて種々の処理を行う。たとえば、ＣＰＵ２１は、ＲＯＭ２２に記憶されているプログラムを実行することにより、商品情報処理装置１の動作制御あるいは商品情報処理装置１の運用形態に応じた種々の処理を行う。

なお、各種の機能のうちの一部は、ハードウエア回路により実現されるものであっても良い。この場合、ＣＰＵ２１は、ハードウエア回路により実行される機能を制御する。

ＲＯＭ２２は、予め制御用のプログラム及び制御データなどを記憶する不揮発性のメモリである。ＲＯＭ２２は、製造段階で制御プログラム及び制御データなどを記憶した状態で商品情報処理装置１に組み込まれる。即ち、ＲＯＭ２２に記憶される制御プログラム及び制御データは、予め商品情報処理装置１の仕様に応じて組み込まれる。

ＲＡＭ２３は、揮発性のメモリである。ＲＡＭ２３は、ＣＰＵ２１の処理中のデータなどを一時的に格納する。ＲＡＭ２３は、ＣＰＵ２１からの命令に基づき種々のアプリケーションプログラムを格納している。また、ＲＡＭ２３は、アプリケーションプログラムの実行に必要なデータ及びアプリケーションプログラムの実行結果などを格納してもよい。

ＮＶＭ２４は、例えば、ＥＥＰＲＯＭ（登録商標）あるいはフラッシュＲＯＭなどのデータの書き込み及び書換えが可能な不揮発性のメモリにより構成される。ＮＶＭ２４は、商品情報処理装置１の運用用途に応じて制御プログラム、アプリケーション、及び種々のデータを格納する。例えば、ＮＶＭ２４では、プログラムファイル及びデータファイルなどが作成される。作成された各ファイルは、制御プログラム及び種々のデータなどが書き込まれる。

カメラインターフェース２５は、ＣＰＵ２１がカメラ３と通信するためのインターフェースである。ＣＰＵ２１は、カメラインターフェース２５を通じて、撮影のためのカメラパラメータをカメラ３に設定する。カメラパラメータは、合焦距離、アイリス、ゲイン、又は、露光時間などである。また、カメラ３が角度又は位置を変更することができる場合には、カメラパラメータは、カメラ３の角度又は位置を含んでもよい。また、カメラ３が複数個ある場合、カメラパラメータは、撮影に使用するカメラ３を選択する情報を含んでもよい。ＣＰＵ２１が設定するカメラパラメータの構成は、特定の構成に限定されるものではない。

カメラインターフェース２５（取得部に対応）は、カメラ３が撮影した画像を取得する。即ち、ＣＰＵ２１は、カメラインターフェース２５を通じて、カメラ３が撮影した画像を取得する。

照明制御部２６は、ＣＰＵ２１からの信号に基づいて、照明４の照明パラメータを設定する。たとえば、照明パラメータは、照明４の明るさなどである。照明４が波長を変更することができるものである場合、照明パラメータは、照明４の波長を含んでもよい。照明４が位置又は角度を変更することができる場合、照明パラメータは、位置又は角度を含んでもよい。

照明パラメータは、いずれの照明４を点灯させるかを示す選択情報を含んでもよい。選択情報は、照明４ａ又は４ｂのいずれかを点灯させることを示す情報でもよいし、両者を点灯させることを示す情報でもよい。

照明制御部２６が設定する照明パラメータの構成は、特定の構成に限定されるものではない。

なお、照明制御部２６は、ＣＰＵ２１の機能として実現されてもよい。たとえば、ＣＰＵ２１は、所定のアプリケーションを実行することで、照明制御部２６を実現してもよい。

次に、ＣＰＵ２１が実現する機能について説明する。
まず、ＣＰＵ２１は、カゴ１０内の商品を示すバーコード（パターン）を含む商品画像（認識画像）を取得する機能を有する。商品画像は、商品を特定するためのバーコード（パターン）を含む。たとえば、ＣＰＵ２１は、カメラ３を用いてカゴ１０内の商品を撮影し、商品画像を取得する。ＣＰＵ２１は、商品画像を撮影するために、撮影パラメータを決定してもよい。撮影パラメータは、商品のバーコードを撮影するために設定されるパラメータである。たとえば、撮影パラメータは、カメラパラメータ又は／及び照明パラメータなどを含む。撮影パラメータは、他の要素を含んでもよい。撮影パラメータの構成は、特定の構成に限定されるものではない。

たとえば、ＣＰＵ２１は、カメラインターフェース２５を通じて、適切なカメラパラメータをカメラ３に設定してもよい。たとえば、ＣＰＵ２１は、ヒストグラムなどに基づいて、適切なカメラパラメータを決定してもよい。なお、ＣＰＵ２１は、予め決められたカメラパラメータをカメラ３に設定してもよい。

また、ＣＰＵ２１は、照明制御部２６を通じて、適切な照明パラメータを照明４に設定してもよい。たとえば、ＣＰＵ２１は、ヒストグラムなどに基づいて、適切な照明パラメータを決定してもよい。なお、ＣＰＵ２１は、予め決められた照明パラメータを照明４に設定してもよい。

なお、ＣＰＵ２１は、照明パラメータに応じてカメラパラメータを決定してもよいし、カメラパラメータに応じて照明パラメータを決定してもよい。

カメラパラメータ又は照明パラメータを決定する方法は、特定の方法に限定されるものではない。

なお、ＣＰＵ２１は、外部装置から商品画像を取得してもよい。

また、ＣＰＵ２１は、商品画像から、商品を特定するバーコード（パターン）が写るバーコード領域（パターン領域）を特定する機能を有する。たとえば、ＣＰＵ２１は、商品画像に対してパターンマッチングなどを用いるラスタスキャンを実行し、バーコード領域を特定する（バーコード領域特定処理）。なお、ＣＰＵ２１がバーコード領域を特定する方法は、特定の方法に限定されるものではない。

また、ＣＰＵ２１は、バーコード領域（パターン領域）が含むバーコード（パターン）を認識する機能を有する。たとえば、ＣＰＵ２１は、バーコード領域内のバーコードをデコードする。また、パターン領域がパターンとして文字列を含む場合、ＣＰＵ２１は、パターン領域に対してＯＣＲ処理などを実行して、パターンを認識する。ＣＰＵ２１がパターンを認識する方法は、特定の方法に限定されるものではない。

また、ＣＰＵ２１は、バーコード領域内のバーコードに基づいて商品情報を取得する機能を有する。たとえば、ＣＰＵ２１は、バーコードをデコードして、商品コードを取得する。ＣＰＵ２１は、バーコードからデコードされた商品コードに対応する商品情報を取得する。

たとえば、ＮＶＭ２４が商品コードと商品情報とを対応付けた商品テーブルを格納し、ＣＰＵ２１は、当該商品テーブルを参照して、商品情報を取得してもよい。また、商品情報処理装置１の上位装置が商品テーブルを格納し、ＣＰＵ２１は、通信部などを通じて、上位装置から商品コードに対応する商品情報を取得してもよい。

商品情報は、商品名及び価格などを備える。商品情報の構成は、特定の構成に限定されるものではない。

また、ＣＰＵ２１は、表示部５を通じて、取得された商品情報を利用者に提示する機能を有する。たとえば、ＣＰＵ２１は、商品情報を商品画像に重ねて表示する。また、ＣＰＵ２１は、商品情報をリスト化して表示してもよい。

図３は、ＣＰＵ２１が表示部５を通じて表示する商品情報の例を示す。
図３が示す例において、ＣＰＵ２１は、商品情報を商品画像に重ねて表示する。また、カゴ１０内の商品は、バーコードが上面を向くように配置されているものとする。

図３が示すように、カゴ１０内には、商品３１乃至３６が配置されている。ここでは、ＣＰＵ２１は、商品３２乃至３６のバーコード領域を特定し、バーコード領域内のバーコードに基づいて商品情報を取得したものとする。また、図３が示す例においては、ＣＰＵ２１は、商品３１についてはバーコード領域の特定に失敗したものとする。

図３が示すように、表示部５は、商品３２乃至３６に対応する商品情報を、それぞれ商品３２乃至３６が写る領域に表示する。表示部５は、商品情報として、商品名及び価格を表示する。

たとえば、商品３２が写る領域には、「商品名Ａ：ＸＸ円」が表示される。即ち、表示部５は、商品３２の商品情報が「商品名Ａ：ＸＸ円」であることを示す。

また、ＣＰＵ２１は、商品情報処理装置１の利用者から、特定に失敗したバーコード領域を指定する操作を受け付ける機能を有する（第１操作部）。たとえば、利用者は、操作部６（タッチパネル）上で、特定に失敗したバーコード領域をタッチし、ＣＰＵ２１は、利用者がタッチした箇所を特定することで特定に失敗したバーコード領域を指定する操作を受け付ける。

図４は、商品情報処理装置１の利用者によるタッチ操作の例を示す。
図４は、図３が示す商品情報の表示例に対して、利用者がタッチ操作を入力する例である。

図４が示すように、利用者は、特定に失敗したバーコード領域（即ち、商品３１のバーコード領域）をタッチする。
ＣＰＵ２１は、操作部６を通じて、利用者のタッチを検出し、タッチされた箇所を特定する。

また、ＣＰＵ２１は、利用者がバーコード領域としてタッチした位置に基づいてバーコード候補領域（パターン候補領域）を設定する機能を有する。たとえば、ＣＰＵ２１は、利用者がタッチした箇所の周辺をラスタスキャンしてバーコード候補領域を決定する。ＣＰＵ２１は、バーコード領域特定処理でバーコード領域を特定する条件よりも、緩い条件に従ってバーコード候補領域を特定する。たとえば、ＣＰＵ２１は、バーコード領域を識別する閾値よりも緩い閾値を用いてバーコード候補領域を特定する。ＣＰＵ２１がバーコード候補領域を特定する方法は、特定の方法に限定されるものではない。

また、ＣＰＵ２１は、バーコード候補領域を撮影するために撮影パラメータを再設定する機能を有する。たとえば、ＣＰＵ２１は、バーコード候補領域を適切に撮影するために、撮影パラメータとしてカメラパラメータ又は／及び照明パラメータを決定する。

たとえば、ヒストグラムなどに基づいてバーコード候補領域においてハレーション（白飛び）が発生していると判定した場合、ＣＰＵ２１は、照明パラメータとして、照明４の全部又は一部を点灯し又は消灯すること示す選択情報を決定する。たとえば、ＣＰＵ２１は、照明４においてバーコード候補領域に対する直射光を消灯することを決定する。また、ＣＰＵ２１は、照明４において直射光を消灯し間接光を点灯することを決定する。

また、ＣＰＵ２１は、照明パラメータとして、バーコード候補領域に対して直射光とならないように照明４の位置又は／及び向きを設定してもよい。また、ＣＰＵ２１は、カメラパラメータとして、低いアイリス、低いゲイン、又は／及び、短い露光時間を設定してもよい。

また、たとえば、ヒストグラムなどに基づいてバーコード候補領域において黒潰れが発生し又はバーコード候補領域のコントラストが低いと判定した場合、ＣＰＵ２１は、照明パラメータとして、照明４の全部又は一部を点灯することを決定する。また、ＣＰＵ２１は、照明パラメータとして、バーコード候補領域を明るくするように照明４の位置又は／及び向きを設定してもよい。なお、ＣＰＵ２１は、照明パラメータとして、バーコード候補領域に対して直射光を生じるように照明４の位置又は／及び向きを設定してもよい。また、ＣＰＵ２１は、カメラパラメータとして、高いアイリス、高いゲイン又は／及び長い露光時間を設定してもよい。

また、たとえば、濃度断面図などに基づいてバーコード候補領域のピントが合っていないと判定すると、ＣＰＵ２１は、カメラパラメータとして、バーコード候補領域にピントが合うように合焦距離又は／及びアイリスを設定する。

また、上記の場合の他に、ＣＰＵ２１は、カメラパラメータとして、バーコード候補領域を適切に撮影できるようにカメラ３の位置又は向きを設定してもよい。

また、ＣＰＵ２１は、バーコード候補領域を適切に撮影するために決定された撮影パラメータに従って撮影したバーコード候補領域（パターン候補領域）を含む画像（バーコード候補領域画像）を取得する機能を有する。たとえば、ＣＰＵ２１は、カメラインターフェース２５を通じて、撮影パラメータを構成するカメラパラメータをカメラ３に設定する。また、ＣＰＵ２１は、照明制御部２６を通じて、撮影パラメータを構成する照明パラメータを照明４に設定する。ＣＰＵ２１は、各パラメータを設定した後に、カメラ３を用いてバーコード候補領域を撮影する。なお、ＣＰＵ２１は、外部装置からバーコード候補領域画像を取得してもよい。

また、ＣＰＵ２１は、バーコード候補領域画像からパターン領域を特定する機能を有する。たとえば、ＣＰＵ２１は、バーコード候補領域をラスタスキャンすることでパターン領域を特定する。この機能は、商品画像からパターン領域を特定する機能と同様であるため、詳細な説明を省略する。

また、ＣＰＵ２１は、取得された商品情報に基づいて決済処理をする機能を有する。たとえば、ＣＰＵ２１は、商品情報に基づいて決済金額を算出し、利用者から決済処理を受け付ける。たとえば、ＣＰＵ２１は、クレジットカードを用いて決済処理を行ってもよいし、現金を用いて決済処理を行ってもよい。

次に、商品情報処理装置１の動作例について説明する。
図５は、商品情報処理装置１の動作例を説明するためのフローチャートである。
ここでは、利用者は、バーコード領域が上面を向くようにカゴ１０内に商品を投入しているものとする。また、利用者は、カメラ３がカゴ１０内の商品を撮影することが可能な所定の位置にカゴ１０を設置しているものとする。

まず、ＣＰＵ２１は、スタートボタンが押下されたか判定する（ＡＣＴ１１）。スタートボタンは、カゴ１０内の商品について決済処理を開始するボタンである。スタートボタンは、表示部５に表示されたアイコンであってもよいし、他の操作部であってもよい。

スタートボタンが押下されていないと判定すると（ＡＣＴ１１、ＮＯ）、ＣＰＵ２１は、ＡＣＴ１１へ戻る。

スタートボタンが押下されたと判定すると（ＡＣＴ１１、ＹＥＳ）、ＣＰＵ２１は、カメラ３を用いてカゴ１０内を撮影し、商品画像を取得する（ＡＣＴ１２）。

商品画像を取得すると、ＣＰＵ２１は、取得された商品画像からバーコード領域を特定する（ＡＣＴ１３）。バーコード領域を特定すると、ＣＰＵ２１は、特定されたバーコード領域内のバーコードをデコードする（ＡＣＴ１４）。

バーコードをデコードすると、ＣＰＵ２１は、デコードで得られた商品コードに対応する商品情報を取得する（ＡＣＴ１５）。商品情報を取得すると、ＣＰＵ２１は、利用者が決済する商品の商品情報として、取得された商品情報をＲＡＭ２３に格納する（ＡＣＴ１６）。なお、ＣＰＵ２１は、取得された商品情報をＮＶＭ２４に格納してもよい。

商品情報を格納すると、ＣＰＵ２１は、表示部５に、商品情報を表示する（ＡＣＴ１７）。

商品情報を表示すると、ＣＰＵ２１は、操作部６を通じて、利用者が特定に失敗したバーコード領域をタッチしたか判定する（ＡＣＴ１８）。

利用者がタッチしたと判定すると（ＡＣＴ１８、ＹＥＳ）、ＣＰＵ２１は、利用者がタッチした位置に基づいてバーコード候補領域を設定する（ＡＣＴ１９）。バーコード候補領域を設定すると、ＣＰＵ２１は、バーコード候補領域を適切に撮影するための撮影パラメータを決定する（ＡＣＴ２０）。撮影パラメータを決定すると、ＣＰＵ２１は、撮影パラメータに従ってカメラ３を用いてバーコード候補領域を撮影して、バーコード候補領域画像を取得する（ＡＣＴ２１）。

バーコード候補領域画像を取得すると、ＣＰＵ２１は、バーコード候補領域内のバーコードをデコードする（ＡＣＴ２２）。デコードに失敗したと判定すると（ＡＣＴ２３、ＮＯ）、ＣＰＵ２１は、ＡＣＴ１９に戻る。なお、ＡＣＴ１９に戻った場合は、ＣＰＵ２１は、新たに商品画像を取得して、バーコード候補領域を設定してもよい。

デコードに成功したと判定すると（ＡＣＴ２３、ＹＥＳ）、ＣＰＵ２１は、デコードされた商品コードに対応する商品情報を取得する（ＡＣＴ２４）。商品情報を取得すると、ＣＰＵ２１は、利用者が決済する商品の商品情報として、取得された商品情報をＲＡＭ２３に格納する（ＡＣＴ２５）。

商品情報を格納すると、ＣＰＵ２１は、ＣＰＵ２１は、ＡＣＴ１７へ進む。

利用者がタッチしていないと判定すると（ＡＣＴ１８、ＮＯ）、ＣＰＵ２１は、利用者が決済ボタンを押下したか判定する（ＡＣＴ２６）。決済ボタンは、商品の認識に問題がないことを確認するボタンである。決済ボタンは、表示部５が表示するアイコンであってもよいし、他の操作部であってもよい。また、ＣＰＵ２１は、決済ボタンが押下されたか判定する代わりに、所定の動作が行われたか判定してもよい。たとえば、ＣＰＵ２１は、現金の投入口などに現金が投入されたか、又は、カード投入口などにクレジットカードなどが投入されたかを判定してもよい。

利用者が決済ボタンを押下していないと判定すると（ＡＣＴ２６、ＮＯ）、ＣＰＵ２１は、ＡＣＴ１８に戻る。

利用者が決済ボタンを押下したと判定すると（ＡＣＴ２６、ＹＥＳ）、ＣＰＵ２１は、ＲＡＭ２３に利用者が決済する商品に対応する商品情報として格納される商品情報群に基づいて決済処理を行う（ＡＣＴ２７）。

決済処理を行うと、ＣＰＵ２１は、動作を終了する。

なお、ＣＰＵ２１は、ＡＣＴ２３で所定の回数デコードに失敗した場合に、バーコードを検出できない旨を通知してもよい。

以上のように構成された商品情報処理装置は、バーコード領域の認識に失敗した場合であっても、利用者から認識に失敗したバーコード領域の指定に基づいてバーコード候補領域を設定することができる。その結果、商品情報処理装置は、バーコード候補領域に適した撮影パラメータでバーコード候補領域を撮影することができる。そのため、商品情報処理装置は、認識に失敗したバーコードを適切に認識することができる。また、商品情報処理装置は、利用者に商品を触らせることなく認識に失敗したバーコードを認識することができ、不正を防止することができる。
（第２実施形態）
次に、第２実施形態について説明する。
第２実施形態に係る商品情報処理装置１は、誤検知されたバーコードを削除する点で、第１実施形態に係る商品情報処理装置１と異なる。従って、その他の点については、同一の符号を付して詳細な説明を省略する。

次に、ＣＰＵ２１が実現する機能について説明する。
ＣＰＵ２１は、操作部６を通じて利用者から、誤検知されたバーコード領域の位置を指定する操作を受け付ける機能を有する（操作部に対応）。たとえば、ＣＰＵ２１は、表示部５が商品画像に商品情報を重ねて表示している状態において誤検知されたバーコード領域をタッチされることで、誤検知されたバーコード領域の位置を特定する操作を受け付ける。即ち、ＣＰＵ２１は、タッチされた位置を含むバーコード領域に対応するバーコードが誤検知されたものであると認識する。

また、ＣＰＵ２１は、誤検知されたバーコード領域を認識結果から削除する機能を有する。たとえば、ＣＰＵ２１は、誤検知されたバーコード領域内のバーコードに対応する商品情報を、ＲＡＭ２３に利用者が決済する商品に対応する商品情報として格納されている商品情報群から削除する。

次に、第２実施形態に係る商品情報処理装置１の動作例について説明する。
図６は、第２実施形態に係る商品情報処理装置１の動作例を説明するためのフローチャートである。

第２実施形態に係る商品情報処理装置１の動作例は、ＡＣＴ３１及び３２が追加されている点で第１実施形態の動作例と異なる。従って、他のステップについては、同一の符号を付して詳細な説明を省略する。

利用者がタッチしたと判定すると（ＡＣＴ１８、ＹＥＳ）、ＣＰＵ２１は、利用者がタッチした位置がバーコード領域内であるか判定する（ＡＣＴ３１）。利用者がタッチした位置がバーコード領域内であると判定すると（ＡＣＴ３１、ＹＥＳ）、ＣＰＵ２１は、利用者がタッチした位置を含むバーコード領域内のバーコードに対応する商品情報を、ＲＡＭ２３に利用者が決済する商品の商品情報として格納されている商品情報群から削除する（ＡＣＴ３２）。

商品情報を削除すると、ＣＰＵ２１は、ＡＣＴ１７に戻る。

利用者がタッチした位置がバーコード領域内でないと判定すると（ＡＣＴ３１、ＮＯ）、ＣＰＵ２１は、ＡＣＴ１９に進む。

以上のように構成された商品情報処理装置は、誤検知されたバーコード領域内のバーコードに対応する商品情報を決済の対象から外すことができる。たとえば、店舗が単品の商品をセットで販売する場合、元の単品の商品のバーコードを隠して、新たにセット売り用のバーコードを添付することがある。しかしながら、商品情報処理装置は、隠されたバーコード領域を誤って検出することがある。具体的には、単品の商品のバーコードにラインを書き足すことで隠されている場合、商品情報処理装置は、ラインが書き足された領域以外のバーコード領域を誤検知することがある。また、単品の商品のバーコードが半透明のセロハンなどで覆い隠されている場合、商品情報処理装置は、半透明のセロハン越しにバーコード領域を誤検知することがある。商品情報処理装置は、以上のようにバーコード領域を誤検知した場合であっても、適切に決済処理を行うことができる。
（第３実施形態）
次に、第３実施形態について説明する。
第３実施形態に係る商品情報処理装置１は、１つの商品領域に複数のバーコード領域を検知した場合に各バーコード領域が含むバーコードの中から有効なバーコードを選定する点で、第１実施形態に係る商品情報処理装置１と異なる。従って、他の構成については同一の符号を付して詳細な説明を省略する。

まず、商品情報処理装置１の構成例について説明する。
図７は、商品情報処理装置１の構成例を示すブロック図である。
第３実施形態に係る商品情報処理装置１の構成例は、距離センサ２７を備える点で第１実施形態に係る商品情報処理装置１の構成例と異なる。従って、他の構成については同一の符号を付して詳細な説明を省略する。

商品情報処理装置１は、さらに、距離センサ２７などを備える。
距離センサ２７（測定部に対応）は、カゴ１０内の各部における基準点もしくは基準面からの距離(またはカメラからの距離)を測定する。即ち、距離センサ２７は、カゴの底面 (基準面)から商品を示すバーコードを含む所定の領域（たとえば、カゴ１０内の領域）までの距離(すなわち商品の高さ)を測定する。たとえば、距離センサ２７は、カゴ１０の上方から距離を測定する。この場合、距離センサ２７は、商品がある領域では商品の高さを測定し、商品がない領域では当該高さがないと測定する(カゴの底面と判断する)。

たとえば、距離センサ２７は、カゴ１０の上方に、カゴ１０を見下ろすように設置される。距離センサ２７は、たとえば、赤外線測距センサ、又は、ステレオカメラなどである。
距離センサ２７の構成は、特定の構成に限定されるものではない。

次に、ＣＰＵ２１は、１つのバーコード領域を含む領域（単一パターン領域）を特定する機能を有する。たとえば、ＣＰＵ２１は、商品領域を、単一パターン領域として特定する。

たとえば、ＣＰＵ２１は、距離センサ２７を用いて、カゴ１０内の深度マップを作成する。深度マップは、各領域の商品の高さ(カメラからの距離)を示すマップである。

図８は、ＣＰＵ２１が生成する深度マップの例を示す。
図８が示す例において、カゴ１０は、商品３１乃至３６を投入されているものとする。
また、図８が示す深度マップは、色が濃いほど商品の高さが低く、色が薄いほど商品の高さが高いことを示す(図８において一番濃い領域はカゴの底面とする)。

図８が示すように、深度マップは、商品がない領域においては色が濃く、商品がある領域（即ち、商品３１乃至３６がある領域）においては色が薄い。

また、ＣＰＵ２１は、深度マップに基づいて商品領域を特定する。たとえば、ＣＰＵ２１は、深度マップにおいて色が薄い領域を商品領域と特定する。

図９は、ＣＰＵ２１が特定した商品領域の例を示す。
図９が示すように、ＣＰＵ２１は、図８において色が薄い領域を、商品領域として特定する。

なお、ＣＰＵ２１は、距離センサ２７を用いずに商品領域を特定してもよい。たとえば、ＣＰＵ２１は、商品のない状態の画像と現在の画像との差分から商品領域を特定してもよい。

また、ＣＰＵ２１は、１つの単一パターン領域（商品領域）に複数個のバーコード領域を特定した場合に、各バーコード領域が含むバーコードから有効なバーコードを選択する機能を有する（選択部）。たとえば、ＣＰＵ２１は、１つの商品領域内にセット売り用のバーコードを含むバーコード領域と単品用のバーコードを含むバーコード領域と検知した場合に、セット売り用のバーコードを有効なバーコードとして選択する。なお、この場合、ＣＰＵ２１は、単品用のバーコードが示す商品が、セット売り用のバーコードが示すセットを構成する商品であることを確認してから、セット売り用のバーコードを有効なバーコードとして選択してもよい。

たとえば、ＮＶＭ２４がセットを構成する商品を示すセット情報を格納してもよい。ＣＰＵ２１は、ＮＶＭ２４が格納するセット情報に基づいて、単品用のバーコードが示す商品が、セット売り用のバーコードが示すセットを構成する商品であることを検証してもよい。また、ＣＰＵ２１は、商品情報処理装置１の上位端末からセット情報を取得してもよい。

次に、商品情報処理装置１の動作例について説明する。
図１０は、商品情報処理装置１の動作例を説明するためのフローチャートである。
ここでは、利用者は、バーコード領域が上面を向くようにカゴ１０内に商品を投入しているものとする。また、利用者は、カメラ３がカゴ１０内の商品を撮影することが可能な所定の位置にカゴ１０を設置しているものとする。

まず、ＣＰＵ２１は、スタートボタンが押下されたか判定する（ＡＣＴ４１）。

スタートボタンが押下されていないと判定すると（ＡＣＴ４１、ＮＯ）、ＣＰＵ２１は、ＡＣＴ４１へ戻る。

スタートボタンが押下されたと判定すると（ＡＣＴ４１、ＹＥＳ）、ＣＰＵ２１は、カメラ３を用いてカゴ１０内を撮影し、商品画像を取得する（ＡＣＴ４２）。

商品画像を取得すると、ＣＰＵ２１は、取得された商品画像からバーコード領域を特定する（ＡＣＴ４３）。バーコード領域を特定すると、ＣＰＵ２１は、特定されたバーコード領域内のバーコードをデコードする（ＡＣＴ４４）。

バーコードをデコードすると、ＣＰＵ２１は、デコードで得られた商品コードに対応する商品情報を取得する（ＡＣＴ４５）。商品情報を取得すると、ＣＰＵ２１は、距離センサ２７を用いて、深度マップを作成する（ＡＣＴ４６）。深度マップを作成すると、ＣＰＵ２１は、深度マップに基づいて商品領域（単一パターン領域）を特定する（ＡＣＴ４７）。

商品領域を特定すると、ＣＰＵ２１は、１つの商品領域内に複数個のバーコード領域があるか判定する（ＡＣＴ４８）。

１つの商品領域内に複数個のバーコード領域があると判定すると（ＡＣＴ４８、ＹＥＳ）、ＣＰＵ２１は、複数個のバーコード領域にあるバーコードから有効なバーコードを選択する（ＡＣＴ４９）。

１つの商品領域内に複数個のバーコード領域がないと判定した場合（ＡＣＴ４８、ＮＯ）、又は、有効なバーコードを選択した場合（ＡＣＴ４９）、ＣＰＵ２１は、ＡＣＴ４５で取得された商品情報又はＡＣＴ４９で選択されたバーコードに対応する商品情報を、利用者が決済する商品の商品情報としてＲＡＭ２３に格納する（ＡＣＴ５０）。即ち、ＡＣＴ４９で有効なバーコードを選択した場合、ＣＰＵ２１は、１つの商品領域内において選択されなかったバーコードに対応する商品情報を、利用者が決済する商品の商品情報としては格納しない。

なお、ＣＰＵ２１は、当該商品情報をＮＶＭ２４に格納してもよい。

商品情報を格納すると、ＣＰＵ２１は、表示部５に、商品情報を表示する（ＡＣＴ５１）。

商品情報を表示すると、ＣＰＵ２１は、利用者が決済ボタンを押下したか判定する（ＡＣＴ５２）。利用者が決済ボタンを押下したと判定すると（ＡＣＴ５２、ＹＥＳ）、ＣＰＵ２１は、決済処理を行う（ＡＣＴ５３）。

利用者が決済ボタンを押下しない（又は、決済ＮＧボタンを押下した）と判定した場合（ＡＣＴ５２、ＮＯ）、又は、決済処理を行った場合（ＡＣＴ５３）、ＣＰＵ２１は、動作を終了する。

なお、ＣＰＵ２１は、複数個のバーコードから有効なバーコードを選択できない場合には、認識に失敗した旨を示す通知してもよい。

以上のように構成された商品情報処理装置は、１つの商品領域に複数個のバーコード領域を検出しても、有効なバーコードを自動的に選択することができる。その結果、商品情報処理装置は、利用者の操作を伴わずに、不要なバーコードに対応する商品を除外して決済処理を行うことができる。
（第４実施形態）
次に、第４実施形態について説明する。
第４実施形態に係る商品情報処理装置１は、バーコード領域がない商品領域を再度撮影する点で第３実施形態に係る商品情報処理装置１と異なる。従って、他の構成については、同一の符号を付して詳細な説明を説明する。

まず、ＣＰＵ２１が実現する機能について説明する。
ＣＰＵ２１は、バーコード領域のない商品領域（未認識領域）を特定する機能を有する。たとえば、ＣＰＵ２１は、商品領域内にバーコード領域を検知できなかった商品領域を未認識領域として特定する。

また、ＣＰＵ２１は、未認識領域を適切に撮影するための撮影パラメータを再設定する機能を有する。この機能は、バーコード候補領域を適切に撮影するための撮影パラメータを設定する機能と同様であるので詳細な説明を省略する。

また、ＣＰＵ２１は、撮影パラメータに従って撮影した未認識領域（パターン領域のない単一パターン領域）を含む画像（未認識領域画像）を取得する機能を有する。たとえば、ＣＰＵ２１は、撮影パラメータに従ってカメラ３を用いて未認識領域を撮影して、未認識領域画像を取得する。なお、ＣＰＵ２１は、外部装置から未認識領域画像を取得してもよい。

また、ＣＰＵ２１は、未認識領域を撮影した未認識領域画像からバーコード領域を特定する機能を有する。たとえば、ＣＰＵ２１は、未認識領域画像を、パターンマッチングなどを用いたラスタスキャンすることで、バーコード領域を特定する。

次に、商品情報処理装置１の動作例について説明する。
図１１及び図１２は、商品情報処理装置１の動作例を説明するためのフローチャートである。

第４実施形態に係る商品情報処理装置１の動作例は、ＡＣＴ６１乃至６９が追加されている点で第３実施形態の動作例と異なる。従って、他のステップについては、同一の符号を付して詳細な説明を省略する。

商品情報を格納すると（ＡＣＴ５０）、ＣＰＵ２１は、バーコード領域のない商品領域があるか判定する（ＡＣＴ６１）。バーコード領域のない商品領域（未認識領域）があると判定すると（ＡＣＴ６１、ＹＥＳ）、ＣＰＵ２１は、未認識領域を適切に撮影する撮影パラメータを決定する（ＡＣＴ６２）。

撮影パラメータを決定すると、ＣＰＵ２１は、撮影パラメータに従ってカメラ３を用いて未認識領域を撮影して、未認識領域画像を取得する（ＡＣＴ６３）。未認識領域画像を取得すると、ＣＰＵ２１は、未認識領域画像からバーコード領域を抽出する（ＡＣＴ６４）。

バーコード領域を抽出すると、ＣＰＵ２１は、バーコード領域内のバーコードをデコードする（ＡＣＴ６５）。デコードに失敗したと判定すると（ＡＣＴ６６、ＮＯ）、ＣＰＵ２１は、ＡＣＴ６２に戻る。

デコードに成功したと判定すると（ＡＣＴ６６、ＹＥＳ）、ＣＰＵ２１は、デコードされた商品コードに対応する商品情報を取得する（ＡＣＴ６７）。商品情報を取得すると、ＣＰＵ２１は、利用者が決済する商品の商品情報として、取得された商品情報をＲＡＭ２３に格納する（ＡＣＴ６８）。

商品情報を格納すると、ＣＰＵ２１は、他にバーコード領域がない商品領域があるか判定する（ＡＣＴ６９）。他にバーコード領域がない商品領域があると判定すると（ＡＣＴ６９、ＹＥＳ）、ＣＰＵ２１は、ＡＣＴ６２に戻る。

バーコード領域のない商品領域（未認識領域）がないと判定した場合（ＡＣＴ６１、ＮＯ）、又は、他にバーコード領域がない商品領域がないと判定した場合（ＡＣＴ６９、ＮＯ）、ＣＰＵ２１は、ＡＣＴ５１に進む。

なお、ＣＰＵ２１は、ＡＣＴ６６で所定の回数デコードに失敗した場合、バーコードを検出できない旨を通知してもよい。

以上のように構成された商品情報処理装置は、バーコード領域のない商品領域を特定し、当該商品領域を再度撮影して、バーコード領域を抽出することができる。そのため、商品情報処理装置は、利用者の操作を伴わずに、バーコード領域を適切に抽出することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…商品情報処理装置、３…カメラ、４…照明、５…表示部、６…操作部、２１…ＣＰＵ、２３…ＲＡＭ、２５…カメラインターフェース、２６…照明制御部、２７…距離センサ。

実施形態によれば、パターンを認識する画像認識装置は、取得部と、制御部と、を備える。取得部は、対象物を示すパターンを撮影した画像を取得する。制御部は、前記取得部が取得した前記画像からパターン領域を特定し、前記取得部が取得した前記画像から、１つのパターン領域を含む単一パターン領域を特定し、特定された前記パターン領域が含むパターンを認識し、特定された前記単一パターン領域に複数個のパターン領域が特定された場合に、複数個のパターン領域が含むパターンから１つのパターンを選択する。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下に本件出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
パターンを認識する画像認識装置であって、
対象物を示すパターンを撮影した画像を取得する取得部と、
前記取得部が取得した前記画像上の位置を指定する操作を受け付ける操作部と、
前記取得部が取得した前記画像から前記パターンを含むパターン領域を特定し、
前記操作部により受け付けられた、特定に失敗したパターン領域の位置に基づいて、パターン候補領域を設定し、
設定された前記パターン候補領域を撮影するための撮影パラメータを再設定し、
前記取得部を通じて、再設定された前記撮影パラメータに従って撮影したパターン候補領域を含む画像を取得し、
取得された前記パターン候補領域を含む前記画像からパターン領域を特定し、
特定されたパターン領域が含むパターンを認識する、
制御部と、
を備える画像認識装置。
［Ｃ２］
パターンを認識する画像認識装置であって、
対象物を示すパターンを撮影した画像を取得する取得部と、
前記取得部が取得した前記画像からパターン領域を特定し、
前記取得部が取得した前記画像から、１つのパターン領域を含む単一パターン領域を特定し、
特定された前記パターン領域が含むパターンを認識し、
特定された前記単一パターン領域に複数個のパターン領域が特定された場合に、複数個のパターン領域が含むパターンから１つのパターンを選択する、
制御部と、
を備える画像認識装置。
［Ｃ３］
さらに、
基準点もしくは基準面からパターンを含む領域までの距離を測定する測定部を備え、
前記制御部は、
前記測定部が測定した距離に基づいて、前記単一パターン領域を特定する、
前記Ｃ２に記載の画像認識装置。
［Ｃ４］
制御部は、さらに
特定された前記単一パターン領域にパターン領域が特定されない場合、前記単一パターン領域を撮影するための撮影パラメータを再設定し、
前記取得部を通じて、再設定された前記撮影パラメータに従って撮影した前記単一パターン領域を含む画像を取得し、
取得された前記単一パターン領域を含む前記画像からパターン領域を特定する、
前記Ｃ２又は３に記載の画像認識装置。
［Ｃ５］
パターンを認識する商品情報処理装置であって、
対象物を示すパターンを撮影した画像を取得する取得部と、
前記取得部が取得した前記画像からパターン領域を特定し、
前記取得部が取得した前記画像から、１つのパターン領域を含む単一パターン領域を特定し、
特定された前記パターン領域が含むパターンを認識し、
特定された前記単一パターン領域に複数個のパターン領域が特定された場合に、複数個のパターン領域が含むパターンから１つのパターンを選択し、
選択された前記パターンに対応する商品情報を取得し、
取得された前記商品情報に基づいて決済処理を行う、
制御部と、
を備える商品情報処理装置。

Claims (5)

1. パターンを認識する画像認識装置であって、
   対象物を示すパターンを撮影した画像を取得する取得部と、
   前記取得部が取得した前記画像上の位置を指定する操作を受け付ける操作部と、
   前記取得部が取得した前記画像から前記パターンを含むパターン領域を特定し、
   前記操作部により受け付けられた、特定に失敗したパターン領域の位置に基づいて、パターン候補領域を設定し、
   設定された前記パターン候補領域を撮影するための撮影パラメータを再設定し、
   前記取得部を通じて、再設定された前記撮影パラメータに従って撮影したパターン候補領域を含む画像を取得し、
   取得された前記パターン候補領域を含む前記画像からパターン領域を特定し、
   特定されたパターン領域が含むパターンを認識する、
   制御部と、
   を備える画像認識装置。
2. パターンを認識する画像認識装置であって、
   対象物を示すパターンを撮影した画像を取得する取得部と、
   前記取得部が取得した前記画像からパターン領域を特定し、
   前記取得部が取得した前記画像から、１つのパターン領域を含む単一パターン領域を特定し、
   特定された前記パターン領域が含むパターンを認識し、
   特定された前記単一パターン領域に複数個のパターン領域が特定された場合に、複数個のパターン領域が含むパターンから１つのパターンを選択する、
   制御部と、
   を備える画像認識装置。
3. さらに、
   基準点もしくは基準面からパターンを含む領域までの距離を測定する測定部を備え、
   前記制御部は、
   前記測定部が測定した距離に基づいて、前記単一パターン領域を特定する、
   前記請求項２に記載の画像認識装置。
4. 制御部は、さらに
   特定された前記単一パターン領域にパターン領域が特定されない場合、前記単一パターン領域を撮影するための撮影パラメータを再設定し、
   前記取得部を通じて、再設定された前記撮影パラメータに従って撮影した前記単一パターン領域を含む画像を取得し、
   取得された前記単一パターン領域を含む前記画像からパターン領域を特定する、
   前記請求項２又は３に記載の画像認識装置。
5. パターンを認識する商品情報処理装置であって、
   対象物を示すパターンを撮影した画像を取得する取得部と、
   前記取得部が取得した前記画像からパターン領域を特定し、
   前記取得部が取得した前記画像から、１つのパターン領域を含む単一パターン領域を特定し、
   特定された前記パターン領域が含むパターンを認識し、
   特定された前記単一パターン領域に複数個のパターン領域が特定された場合に、複数個のパターン領域が含むパターンから１つのパターンを選択し、
   選択された前記パターンに対応する商品情報を取得し、
   取得された前記商品情報に基づいて決済処理を行う、
   制御部と、
   を備える商品情報処理装置。