JP6651705B2 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

Description

本発明は、装置により認識された商品が正しい商品であるか否かを判断する技術に関する。

精算対象の商品を登録する装置において、所謂バーコードといった商品を識別するコードを用いて精算対象の商品を認識した際、当該認識された商品を一時的に載置する場所に重量センサを設けて、当該装置で認識された商品の妥当性を判断する技術がある。ここでいう「妥当」とは、精算対象の商品を登録する装置において、顧客が購入する商品として正しい商品が認識されていることを意味する。この技術では、重量センサで測定される重量と、商品識別コードに紐付けられた商品の重量とに基づいて、両者が一致するか否かを判断している。

他にも、精算対象の商品を登録する装置により認識された商品の妥当性を適切に判断する技術の一例が、例えば、特許文献１に記載されている。特許文献１には、商品を識別するバーコードの読み取りに応じて、当該バーコードが付された物体（商品）の画像と、当該バーコードに関連付けられた商品の基本図形とを取得し、当該画像から認識される物体の形状と読み取られたバーコードに紐付く基本図形とを用いて算出される相関値によって、認識された商品の妥当性を判定する技術が開示されている。

特許文献２および特許文献３には、画像によるオブジェクト認識で商品を特定する技術が開示されている。詳細には、特許文献２および特許文献３には、商品ＩＤと共に商品画像が紐付けられており、当該商品画像と撮像された画像に含まれる物体とを、表面の色合い、模様、表面の凸凹などの表面状態、形状などの特徴量に基づいてマッチングし、その類似度によって画像内の物体に対応する商品の候補を特定する技術が開示されている。また、特許文献３には、遠赤外線を用いたサーモカメラを用いて画像の中から人物の手の部分にあたる領域を検出し、当該領域を除外して上述の特徴量マッチングを行う技術が開示されている。

特開２０１４−１３２５０１号公報 特開２０１３−１８２３２３号公報 特開２０１４−０５２８０６号公報

上述したような、精算対象の商品を登録する装置により認識された商品の妥当性を判断する技術の精度は高いほど好ましい。

本発明の目的は、精算対象の商品を登録する装置により認識された商品の妥当性を精度よく判断する技術を提供することにある。

本発明によれば、
精算対象の商品の商品識別コードを取得するコード取得手段と、
載置場所に載置された、前記商品識別コードを取得した前記精算対象の商品を少なくとも撮像範囲に含み、前記撮像範囲に含まれる商品の奥行方向の距離を示す奥行情報が対応付けられた画像を用いて、前記画像内の商品の大きさ又は形状を認識する画像認識手段と、
前記取得された商品識別コードに紐付けられた大きさ／形状情報を取得する大きさ／形状情報取得手段と、
前記画像から認識された前記商品の大きさ又は形状と、前記商品識別コードを用いて取得された大きさ／形状情報とが、所定の基準を満たしているか否かを判定する判定手段と、
を備える情報処理装置が提供される。

本発明によれば、
コンピュータが、
精算対象の商品の商品識別コードを取得し、
載置場所に載置された、前記商品識別コードを取得した前記精算対象の商品を少なくとも撮像範囲に含み、前記撮像範囲に含まれる商品の奥行方向の距離を示す奥行情報が対応付けられた画像を用いて、前記画像内の商品の大きさ又は形状を認識し、
前記取得された商品識別コードに紐付けられた大きさ／形状情報を取得し、
前記画像から認識された前記商品の大きさ又は形状と、前記商品識別コードを用いて取得された大きさ／形状情報とが、所定の基準を満たしているか否かを判定する、
ことを含む情報処理方法が提供される。

本発明によれば、
コンピュータを、
精算対象の商品の商品識別コードを取得するコード取得手段、
載置場所に載置された、前記商品識別コードを取得した前記精算対象の商品を少なくとも撮像範囲に含み、前記撮像範囲に含まれる商品の奥行方向の距離を示す奥行情報が対応付けられた画像を用いて、前記画像内の商品の大きさ又は形状を認識する画像認識手段、
前記取得された商品識別コードに紐付けられた大きさ／形状情報を取得する大きさ／形状情報取得手段、
前記画像から認識された前記商品の大きさ又は形状と、前記商品識別コードを用いて取得された大きさ／形状情報とが、所定の基準を満たしているか否かを判定する判定手段、
として機能させるためのプログラムが提供される。

本発明によれば、精算対象の商品を登録する装置により認識された商品の妥当性を精度よく判断することができる。

第１実施形態における情報処理装置の処理構成を概念的に示す図である。 大きさ／形状情報記憶部が記憶する情報の一例を示す図である。 情報処理装置のハードウエア構成を概念的に示す図である。 第１実施形態の情報処理装置の処理の流れを示すフローチャートである。 第２実施形態における情報処理装置の取付例を示す図である。 第３実施形態における情報処理装置の処理構成を概念的に示す図である。 第３実施形態の情報処理装置の処理の流れを示すフローチャートである。 第４実施形態における情報処理装置の処理構成を概念的に示す図である。 重量情報記憶部が記憶する情報の一例を示す図である。 第４実施形態の情報処理装置の処理の流れを示すフローチャートである。 第５実施形態における情報処理装置の処理構成を概念的に示す図である。 第５実施形態の情報処理装置の処理の流れを示すフローチャートである。 第６実施形態における精算システムのシステム構成を概念的に示す図である。 第６実施形態の精算システムの処理の流れを示すシーケンス図である。

以下、本発明の実施形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。

［第１実施形態］
〔処理構成〕
図１は、第１実施形態における情報処理装置１０の処理構成を概念的に示す図である。情報処理装置１０は、精算対象の商品を登録する機能を少なくとも有する、所謂ＰＯＳ（Point of Sales）端末などの商品登録装置である。情報処理装置１０は、登録された商品の代金を精算する機能を更に有していてもよい。本実施形態の情報処理装置１０は、画像認識部１１０、商品認識部１２０（コード取得部１２２、撮像部１２４、及びサーモグラフィ情報取得部１２６）、大きさ／形状情報取得部１３０、大きさ／形状情報記憶部１３２、および判定部１４０を備える。

＜精算対象の商品の登録＞
本実施形態において、精算対象の商品は次のように登録される。

精算対象の商品は、図１の点線に示されるように移動される。すなわち、精算対象の商品として登録される前の商品（以下、このような商品を「未登録商品」と表記）は、未登録商品を一時的に載置する場所から取り出され、商品認識部１２０の位置に移動される。ここで、詳細には後述するが、未登録商品が精算対象の商品として登録される。そして、精算対象として登録された商品（以下、このような商品を「登録済商品」と表記）は、登録済商品を一時的に載置する場所に移動される。

未登録商品は、例えば、以下のようにして精算対象の商品として登録される。まず、商品認識部１２０のコード取得部１２２により、コード取得部１２２は、商品認識部１２０にかざされた未登録商品の商品識別コードを、精算対象の商品の商品識別コードとして取得する。ここで、商品識別コードとは、各商品を特定するために予め決められた、文字、数字、記号などから形成されるデータである。商品識別コードには、ＰＬＵ（Price Look Up）コード（例えば、ＪＡＮ（Japan Article Number）コードなど）、またはＮｏｎ−ＰＬＵコードなどが利用され得る。

商品識別コードは、商品情報シンボルを精算対象の商品から検出して解析することにより取得される。商品情報シンボルは、商品に関する情報を特定するシンボルである。ここで、シンボルとは、バーコード、２次元コード（ＱＲコード（登録商標）など）、又は文字列シンボルなどである。なお、ここでいう文字列には、数値列も含まれる。そして、商品情報シンボルは、商品情報を特定する情報（商品情報のＩＤなど）が符号化されたバーコード等、又は商品情報を特定する情報を表す文字列シンボルなどである。この場合、例えば、光源とフォトダイオードといった受光素子とを備えるコードリーダーや、レンズとＣＣＤ（Charge Coupled Device）イメージセンサーといった撮像素子とを備えるコードリーダーなどを用いることにより、商品情報シンボルから商品識別コードが取得される。またレンズと撮像素子とを備えるコードリーダーの場合、精算対象の商品を含む画像から当該商品の特徴量（例えば色、形状、包装、または商品を識別する特定の印や文字列など）を抽出し、商品識別コードと商品の特徴量とを対応付けて記憶する記憶部（図示せず）を参照してマッチング処理を行うことにより、商品識別コードを取得することもできる。

そして、商品認識部１２０は、コード取得部１２２により取得された商品識別コードを用いて、商品識別コードと商品情報（例えば、商品名、商品の単価、値引や割引の有無など）とを紐付けて記憶する記憶部（図示せず）を参照し、当該取得された商品識別コードに紐付けられた商品情報を読み出す。そして、商品認識部１２０は、読み出した商品情報を、情報処理装置１０で実行される精算処理に用いる情報として追加する。これにより、情報処理装置１０上で登録前商品が認識され、精算対象の商品として登録される。

＜装置で認識された商品の妥当性の判定＞
また、本実施形態において、上記のとおり精算対象として登録された商品の妥当性は、以下で説明する各処理部により判定される。なお本実施形態における「妥当」とは、情報処理装置１０において、顧客が購入する商品として正しい商品が認識されていることを意味する。

撮像部１２４は、所謂３Ｄカメラなどであり、撮像範囲に含まれる商品（未登録商品）の奥行方向の距離を示す奥行情報を対応付けて、画像を生成可能に構成されている。撮像部１２４は、例えばステレオカメラにおける視差を用いる手法などの既知の手法によって、画像と奥行情報とを対応付けて生成する。本実施形態の撮像部１２４は、商品認識部１２０の近傍を撮像範囲に含み、商品認識部１２０に移動されてきた未登録商品を撮像できるようにその向きや位置が調整される。なお、撮像部１２４は、例えば商品をオブジェクト認識する際に用いられるカメラなどのように、情報処理装置１０と一体的に備えられていてもよいし、例えば外付けのカメラなどのように、情報処理装置１０の周囲に設置されていてもよい。

また、撮像部１２４は、好ましくは、コード取得部１２２が商品識別コードを読み取るタイミングに応じて、画像を撮像する。例えば、コード取得部１２２は商品の商品情報シンボルの存在などを検知した場合、その旨を示す通知を撮像部１２４に送る。この通知をうけ、撮像部１２４はコード取得部１２２がコードを読み取るタイミングを知ることができる。このようにすると、上述の商品情報シンボルなどを有する商品の場合、コード取得部１２２が商品識別コードを読み取るタイミングで撮像部１２４が画像を撮像すれば、当該画像に含まれる商品の姿勢が安定し、取得される画像毎の姿勢の変化が小さくなる。これにより、画像のマッチングで用いるテンプレートの数を減らして処理負荷を低減させる効果、および、画像のマッチングによる認識精度の向上効果などが見込める。

サーモグラフィ情報取得部１２６は、赤外線などを用いる所謂サーモグラフィカメラなどであり、撮像範囲に含まれる物体が放射する赤外放射エネルギーを捉え、当該物体の温度分布を示すサーモグラフィ情報を生成する。サーモグラフィ情報取得部１２６は、撮像部１２４の撮像タイミングに合わせて、サーモグラフィ情報を取得するように構成される。また、サーモグラフィ情報取得部１２６は、撮像部１２４の撮像範囲と同じ撮像範囲または１２４の撮像範囲を包含する撮像範囲のサーモグラフィ情報を取得可能に、その位置や向きが調整されている。そして、サーモグラフィ情報取得部１２６は、例えば画像空間の座標変換処理などによって、撮像部１２４で生成される画像とサーモグラフィ情報との位置関係を整合させる。このようにして、サーモグラフィ情報取得部１２６は、撮像部１２４で生成される画像と対応付けられたサーモグラフィ情報を取得する。

画像認識部１１０は、撮像部１２４で生成された画像、および、サーモグラフィ情報取得部１２６で取得されたサーモグラフィ情報を用いて、以下のような処理を行う。

画像認識部１１０は、撮像部１２４で生成された画像に既知の画像認識処理を施して例えば画像内の商品のエッジなどを検出する。そして、画像認識部１１０は、例えば、検出したエッジで示される形状を、予め設定されている２次元形状または３次元形状のテンプレートデータとマッチングし、最も類似度の高い形状を商品の形状として認識する。さらに、画像認識部１１０は、撮像部１２４で生成された画像に対応付けられた奥行情報と、画像内で商品が占める領域の大きさとを用いて、例えば、画像内の商品の実際の大きさ（例えば、高さ、幅、奥行き幅、各面の面積など）を算出する。奥行情報を基に撮像装置から商品までの実際の距離が分かるため、画像認識部１１０は、その距離に基づいて、画像内で商品が占める領域の大きさを商品の実際の大きさに換算することができる。

また、画像認識部１１０は、サーモグラフィ情報取得部１２６で取得されたサーモグラフィ情報を用いて、撮像部１２４で生成された画像から認識される商品の形状から、人物と推定される領域を除外する。例えば、画像認識部１１０には、例えば人物の体温の範囲（例えば３５〜４０℃）を示す情報が予め設定されており、画像認識部１１０は、設定された温度を示す領域をサーモグラフィ情報の中から抽出する。そして、画像認識部１１０は、サーモグラフィ情報取得部１２６で取得されたサーモグラフィ情報と撮像部１２４で生成された画像との位置関係に基づいて、エッジを検出する処理の対象領域から上記抽出した領域に対応する領域を除外する、あるいは、検出されたエッジを基に認識された形状から上記抽出された領域に対応する領域を除外する。これにより、画像認識部１１０は、撮像部１２４で生成された画像から、商品に対応する領域としてより正確な領域を認識することができ、結果として、当該領域から換算される商品の実際の大きさをより精度よく算出することができる。

大きさ／形状情報取得部１３０は、コード取得部１２２で取得された商品識別コードを用いて、大きさ／形状情報記憶部１３２を参照し、当該商品識別コードに紐付けられた大きさ／形状情報を取得する。大きさ／形状情報とは、各商品の大きさ（例えば、商品の高さ、幅、奥行き、およびこれらから算出される各面の面積など）および各商品の外観形状を示す情報である。大きさ／形状情報記憶部１３２は、例えば図２に示されるように、商品識別コードと大きさ／形状情報とを紐付けて記憶している。図２は、大きさ／形状情報記憶部１３２が記憶する情報の一例を示す図である。大きさ／形状情報記憶部１３２が記憶する情報は、図２の例に制限されない。

大きさ／形状情報取得部１３０は、大きさ／形状情報記憶部１３２を検索してコード取得部１２２で取得された商品識別コードと同一の商品識別コードを検出し、当該検出した商品識別コードに紐付けられた大きさ／形状情報を取得する。なお、図１の例では、大きさ／形状情報記憶部１３２が情報処理装置１０に備えられている例が示されているが、大きさ／形状情報記憶部１３２は、情報処理装置１０と通信可能な他の装置に備えられていてもよい。この場合、大きさ／形状情報取得部１３０は当該他の装置と通信することにより、コード取得部１２２で取得された商品識別コードに紐付く大きさ／形状情報を取得する。

判定部１４０は、撮像部１２４生成されたで画像から認識された大きさ又は形状と、商品識別コードを用いて取得された大きさ／形状情報とが、所定の基準を満たすか否かを判定する。ここで、所定の基準とは、商品の大きさ又は形状に関する基準であり、画像から認識される商品と、商品識別コードから識別される商品とが、同一の商品を示すことを確認可能とする基準である。例えば、判定部１４０は、大きさおよび形状に係る所定の類似度算出アルゴリズムに従って両者の類似度を算出し、その類似度が所定の基準値（同一の商品と見做す値として予め設定される閾値）以上か否かを判定する。

判定の結果として、両者の一致度合が所定の基準値以上であれば、商品認識部１２０の位置に移動された商品と、情報処理装置１０で認識された商品とが同一のものである可能性が高く、判定部１４０は情報処理装置１０による認識結果を妥当なものと判断できる。一方、両者の一致度合が所定の基準値未満であれば、商品認識部１２０の位置に移動された商品と、情報処理装置１０で認識された商品とが異なるものである可能性が高く、判定部１４０は、情報処理装置１０による認識結果を不当なものと判断できる。またこの場合は、例えば、コードの読取ミスや誤ったコードが張り付けられていたなど、何らかの不良が発生していると考えられる。そこで、判定部１４０は、両者の一致度合が所定の基準値未満である場合、商品の再読み込みを促すメッセージや所定の警告メッセージなどを、情報処理装置１０の表示部に表示、あるいは、音声で出力するように構成されていてもよい。

なお、本実施形態において、大きさ／形状情報記憶部１３２は、各商品識別コードに対して、複数の大きさ／形状情報を紐付けて記憶していてもよい。具体的には、大きさ／形状情報記憶部１３２は、例えば、正面から見た場合の大きさ／形状情報、上から見た場合の大きさ／形状情報、および斜め上から見た場合の大きさ／形状情報など、複数の方向から見た商品の姿勢を示す大きさ／形状情報を、各商品識別コードに紐付けて記憶していてもよい。この場合、判定部１４０は、各商品識別コードに紐付けられている複数の大きさ／形状情報の各々について、画像認識部１１０により認識された大きさ又は形状との類似度を算出し、両者の一致度合が所定の基準値以上か否かを判定する。このようにすることで、撮像部１２４で生成された画像に含まれる商品の姿勢によって、判定部１４０による判定の精度が下がることを抑制できる。

〔ハードウエア構成〕
図３は、情報処理装置１０のハードウエア構成を概念的に示す図である。図３に示されるように、情報処理装置１０は、ＣＰＵ１０１、メモリ１０２、ストレージ１０３、入出力インターフェース（入出力Ｉ／Ｆ）１０４、および通信モジュール１０５などを備える。
ＣＰＵ１０１、メモリ１０２、ストレージ１０３、入出力インターフェース１０４、および通信モジュール１０５は、相互にデータを送受信するためのデータ伝送路で接続されている。

メモリ１０２は、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。ストレージ１０３は、例えばハードディスク、ＳＳＤ（Solid State Drive）、又はメモリカードなどの記憶装置である。ストレージ１０３は、情報処理装置１０の画像認識部１１０、商品認識部１２０、コード取得部１２２、撮像部１２４、サーモグラフィ情報取得部１２６、大きさ／形状情報取得部１３０、及び判定部１４０を含む各処理部の機能を実現するためのプログラムモジュールを記憶している。ＣＰＵ１０１は、これら各プログラムモジュールを実行することで、各処理部の機能をそれぞれ実現する。ＣＰＵ１０１は、上記各モジュールを実行する際、これらのモジュールをメモリ１０２上に読み出してから実行してもよいし、メモリ１０２上に読み出さずに実行してもよい。また、ストレージ１０３は、大きさ／形状情報記憶部１３２としても機能する。

入出力インターフェース１０４は、表示装置１０４１、入力装置１０４２、撮像装置１０４３、および読取装置１０４４などと接続される。表示装置１０４１は、ＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）ディスプレイのような、ＣＰＵ１０１やＧＰＵ（Graphics Processing Unit）（図示せず）等により処理された描画データに対応する画面を表示する装置である。入出力インターフェース１０４には１つまたはそれ以上の表示装置１０４１が接続され得る。入力装置１０４２は、オペレータの操作による入力を受け付ける装置であり、例えば、キーボード、マウス、タッチセンサ等として実現される。表示装置１０４１および入力装置１０４２は一体化され、タッチパネルとして実現されていてもよい。撮像装置１０４３は、所謂３Ｄカメラなどであり、単眼式の撮像モジュールまたは２眼式の撮像モジュール（図示せず）を備える。この場合、撮像装置１０４３は、上述の撮像部１２４の機能を実現し得る。また、撮像装置１０４３は、所謂サーモグラフィカメラなどであり、物体から放射される赤外線エネルギーを検知し、その赤外線エネルギー量により物体の温度分布を示す画像を生成する撮像モジュール（図示せず）を備える。この場合、撮像装置１０４３は、上述のサーモグラフィ情報取得部１２６の機能を実現し得る。読取装置１０４４は、光源とフォトダイオードといった受光素子とを備えるコードリーダーや、レンズとＣＣＤ（Charge Coupled Device）イメージセンサーといった撮像素子とを備えるコードリーダーなどの装置である。読取装置１０４４は、上述のコード取得部１２２の機能を実現し得る。

通信モジュール１０５は、外部の装置等との間でデータを送受信するために用いられる。なお、通信モジュール１０５を介して情報処理装置１０と外部の装置とを接続する方法は様々である。例えばこの接続は、バス回線（例えばＵＳＢ（Universal Serial Bus）回線）を介したバス接続や、ネットワーク回線を介したネットワーク接続などである。なお、ネットワーク回線は無線回線であってもよいし有線回線であってもよい。

なお、情報処理装置１０のハードウエア構成は図３に示される構成に制限されない。例えば、入出力インターフェース１０４には、商品の精算処理に必要な各種装置（金銭投入装置、釣銭払出装置など）が接続されていてもよい。

〔動作例〕
図４を用いて、本実施形態の情報処理装置１０の動作例を説明する。図４は、第１実施形態の情報処理装置１０の処理の流れを示すフローチャートである。

商品認識部１２０の位置に商品が移動されると、コード取得部１２２は当該商品の商品識別コードを取得する（Ｓ１０１）。また、商品識別コードの取得に応じて、撮像部１２４は、奥行方向の距離を示す奥行情報を対応付けて商品の画像を生成し（Ｓ１０２）、サーモグラフィ情報取得部１２６は、撮像部１２４で生成された画像に対応付けて、サーモグラフィ情報を取得する（Ｓ１０３）。

そして、画像認識部１１０は、生成された画像と、当該画像に対応付けられた奥行情報およびサーモグラフィ情報とを用いて、商品の大きさ又は形状を認識する（Ｓ１０４）。例えば、画像認識部１１０は、奥行情報から得られる商品までの実際の距離を用いて、当該商品が画像内で占める領域の大きさを、商品の実際の大きさに換算する。また例えば、画像認識部１１０は、エッジ処理など既知の画像認識処理を用いて画像から商品の領域を抽出し、当該領域の形状を商品の形状として取得する。

また、大きさ／形状情報取得部１３０は、コード取得部１２２で取得された商品識別コードを用いて大きさ／形状情報記憶部１３２を参照し、当該商品識別コードに紐付けられた大きさ／形状情報を大きさ／形状情報記憶部１３２から読み出す（Ｓ１０５）。

判定部１４０は、画像認識部１１０で認識された商品の大きさ又は形状と、商品識別コードに紐付けられた大きさ／形状情報とを比較し、所定の基準を満たすか否かを判定する（Ｓ１０６）。例えば、判定部１４０は、所定の類似度算出アルゴリズムに従って両者の類似度を算出し、その類似度が所定の閾値以上か否かによって、両者が所定の基準を満たすか否かを判定することができる。判定部１４０は、所定の基準を満たすと判定した場合（Ｓ１０６：ＹＥＳ）、情報処理装置１０によって正常に商品が認識されたと判断し、後述のＳ１０７の処理を実行しない。一方、判定部１４０は、所定の基準を満たさないと判定した場合（Ｓ１０６：ＮＯ）、所定の出力（例えば商品の再読み込みを促すメッセージ、警告メッセージ、警告音など）を図示しないディスプレイやスピーカーなどを介して出力する（Ｓ１０７）。

〔第１実施形態の作用および効果〕
以上、本実施形態によれば、商品認識部１２０で読み取られた商品について、画像から算出される当該商品の実際の大きさ又は形状と、当該商品の商品識別コードに紐付けられた、当該商品の大きさ又は形状を示す大きさ／形状情報との類似度が算出される。そして、両者の類似度が所定の閾値（同一の商品と見做す値として予め設定される閾値）以上か否かによって、両者が所定の基準を満たすか否かが判定される。そして、両者の大きさ又は形状が略一致し、所定の基準を満たしていれば、商品認識部１２０の位置に移動された商品と、情報処理装置１０で認識された商品とが同一のものである可能性が高く、判定部１４０によって、情報処理装置１０による認識結果が妥当なものと判断される。一方、両者の大きさ又は形状が一致せず、所定の基準を満たさない場合であれば、商品認識部１２０の位置に移動された商品と、情報処理装置１０で認識された商品とが異なるものである可能性が高く、判定部１４０によって、情報処理装置１０による認識結果が不当なものと判断される。このように、画像から認識される商品の実際の大きさ又は形状と、商品識別コードに紐付けられた、商品の理論的な大きさ又は形状とを比較することにより、情報処理装置１０により認識された商品の妥当性を精度よく判断することができる。

［第２実施形態］
顧客が購入する商品を入れて持ち運ぶバスケットに、精算対象の商品を読み取る装置を取り付け、バスケットに商品を入れる際に精算対象の商品として登録し、レジ端末では代金の精算のみを行う運用方法もある。このような場合において、第１実施形態の情報処理装置１０と同様の構成を有する装置を当該バスケットに備えることにより、第１実施形態と同様の効果を得ることができる。

〔処理構成／ハードウエア構成〕
本実施形態の情報処理装置１０は、図１に示される構成と同様に、画像認識部１１０、商品認識部１２０（コード取得部１２２、撮像部１２４、サーモグラフィ情報取得部１２６）、大きさ／形状情報取得部１３０、大きさ／形状情報記憶部１３２、及び判定部１４０を備える。また、本実施形態の情報処理装置１０も、第１実施形態と同様のハードウエア構成を有し、第１実施形態と同様にして各処理部を実現する。但し、図４に示される情報処理装置１０の各ハードウエア構成要素は、バスケット２０に取り付けるために、第１実施形態よりも小型化される。

図５は、第２実施形態における情報処理装置１０の取付例を示す図である。情報処理装置１０は、図５に示されるように、バスケット２０に取り付けられている。図５に示されるように、未登録商品は、情報処理装置１０で精算対象の商品として登録された後に、バスケット２０の中に載置される。

〔動作例〕
本実施形態の情報処理装置１０は、図４で示されるように、第１実施形態の情報処理装置１０と同様に動作する。

〔第２実施形態の作用および効果〕
以上、本実施形態によっても、第１実施形態と同様の作用および効果を得ることができる。

［第３実施形態］
本実施形態は、情報処理装置１０が個数取得部１５０を更に備える点を除いて、第１実施形態および第２実施形態と同様である。

〔処理構成〕
図６は、第３実施形態における情報処理装置１０の処理構成を概念的に示す図である。図６に示されるように、本実施形態の情報処理装置１０は、個数取得部１５０を更に備える。

個数取得部１５０は、撮像部１２４で生成された画像の撮像範囲に含まれる商品の個数を取得する。詳細には、個数取得部１５０は、画像認識部１１０により認識された商品の形状の個数を、商品の個数として取得する。または、個数取得部１５０は、予め記憶された商品の特徴量のパターンマッチングによって、画像内から検出されたオブジェクトの個数を、商品の個数として取得する。

本実施形態の判定部１４０は、コード取得部１２２で取得された商品識別コードの個数と、個数取得部１５０で取得された商品の個数とが一致するか否かを判定する。なお、ここでの「一致」は完全一致を意味する。本実施形態において、画像内に複数の商品情報シンボルが存在する場合、コード取得部１２２は、例えば画像認識処理を行って各商品情報シンボルをそれぞれ検出し、略同じタイミングで複数の商品識別コードを取得する。本実施形態のコード取得部１２２は、ここで取得された商品識別コードの数を判定部１４０に更に通知する。

〔ハードウエア構成〕
本実施形態の情報処理装置１０も、第１実施形態および第２実施形態と同様に、図４に示されるようなハードウエア構成を有する。ストレージ１０３は、個数取得部１５０の機能を実現するプログラムモジュールを更に記憶しており、ＣＰＵ１０１が当該プログラムモジュールを実行することにより、個数取得部１５０が実現される。

〔動作例〕
図７を用いて、本実施形態の情報処理装置１０の動作例について説明する。図７は、第３実施形態の情報処理装置１０の処理の流れを示すフローチャートである。なお、以下では、第１実施形態および第２実施形態と異なる工程（Ｓ２０１〜Ｓ２０３）について主に説明する。

コード取得部１２２は、商品識別コードを取得する際、取得された商品識別コードの個数を集計する（Ｓ２０１）。そして、個数取得部１５０は、画像認識部１１０で認識された商品の形状の個数を、撮像部１２４で生成された画像に含まれる商品の個数として取得する（Ｓ２０２）。また、判定部１４０は、Ｓ２０１で集計された商品識別コードの個数と、Ｓ２０２で取得された商品の個数とを比較し、両者が一致するか否かを確認する（Ｓ２０３）。商品の個数と商品識別コードの個数とが一致しない場合は（Ｓ２０３：ＮＯ）、判定部１４０は、商品の読み取りミスなどの何らかのエラーが発生していると判定し、例えば商品の再読み込みを促すメッセージや警告メッセージといった所定のメッセージなどを、ディスプレイに表示、または、音声情報として出力する（Ｓ１０７）。一方、商品の個数と商品識別コードの個数とが一致する場合（Ｓ２０３：ＹＥＳ）、判定部１４０は、商品の読み取りミスといったエラーは発生していないと判定し、第１実施形態でその詳細を説明したように、画像から得られる大きさ又は形状と、商品識別コードから得られる大きさ／形状情報とが所定の基準を満たすか否かを確認する（Ｓ１０６）。

〔第３実施形態の作用および効果〕
以上、本実施形態では、画像から認識される商品の個数と、情報処理装置１０で実際に認識された商品識別コードの個数とが一致するか否かが更に判定される。これにより、本実施形態によれば、商品の読み取りミスなどのエラーが発生しているか否かを判定することができ、そのようなエラーが発生している場合には、情報処理装置１０における商品の認識を正確に行うように促すことができる。

［第４実施形態］
本実施形態は、重量センサを用いる技術に、上記各実施形態で説明した情報処理装置１０を組み合わせる形態について説明する。

重量センサで測定される重量と、商品識別コードに紐付けられた商品の重量とに基づいて、情報処理装置１０で認識される商品の妥当性を判定する場合、商品の重量が極端に軽い場合や、同じ商品でも重量にばらつきがある場合などは、正しい判定結果が得られないことがある。本実施形態の情報処理装置１０は、そのような商品を対象とする場合は、上述の各実施形態で説明したような、画像から認識される商品の大きさ又は形状と、商品識別コードから取得される大きさ／形状情報とに基づいて、認識の妥当性を判定する。

〔処理構成〕
図８は、第４実施形態における情報処理装置１０の処理構成を概念的に示す図である。なお、本実施形態の情報処理装置１０は、未登録商品の載置場所および登録済商品の載置場所に、それぞれ重量センサ（１６０および１６２）を備え、基本的には、この重量センサで計測される重量の変化量によって、情報処理装置１０で認識される商品の妥当性を判定している。

図８に示されるように、本実施形態の情報処理装置１０は重量情報記憶部１４２を更に備える。重量情報記憶部１４２は、商品識別コードに紐付けて、当該商品識別コードの商品１つあたりの重量を示す情報（以下、重量情報と表記）、または、当該商品の重量偏差を示す情報（以下、重量偏差情報と表記）の少なくともいずれか一方を記憶している。重量情報記憶部１４２が記憶する情報の一例を図９に示す。図９は、重量情報記憶部１４２が記憶する情報の一例を示す図である。図９の例では、重量情報記憶部１４２は、商品識別コードに紐付けて、重量情報および重量偏差情報を記憶している。

本実施形態の判定部１４０は、コード取得部１２２から商品識別コードを取得し、当該商品識別コードを用いて重量情報記憶部１４２から、コード取得部１２２で取得された商品識別コードに紐付けられた重量情報または重量偏差情報を取得する。重量情報記憶部１４２が図９に示されるような情報を記憶している場合、判定部１４０は、重量情報と重量偏差情報とを取得することができる。そして、判定部１４０は、取得した重量情報または重量偏差情報に基づいて、（１）取得された商品識別コードに紐付けられた重量が基準値以下である、（２）取得された商品識別コードに紐付けられた重量が未設定である、（３）取得された商品識別コードに紐付けられた重量偏差が所定の閾値以上である、という条件うちの少なくともいずれか１つを満たすか否かを判定する。

これらの条件は、コード取得部１２２で取得された商品識別コードの商品が、重量センサによる処理に向かない商品か否かを判定する条件である。上記（１）は、例えば、商品が非常に軽い場合など、重量センサで検知できる重量の変化量が小さい商品は重量センサによる処理で誤認識が発生しやすく、そのような商品か否かを判定する条件である。また、上記（２）は、重量が未設定である場合、そもそも重量センサによる処理ができず、そのような商品か否かを判定する条件である。また、上記（３）は、重量のばらつきが大きい商品などは、重量センサによる処理で誤認識が発生しやすく、そのような商品か否かを判定する条件である。

本実施形態の判定部１４０は、上記（１）から（３）の何れかに該当すると判定した場合、上述の各実施形態で説明した判定、すなわち、商品の大きさ又は形状を用いた情報処理装置１０による認識の妥当性を判定する処理を実行する。具体的には、本実施形態の判定部１４０は、上記（１）から（３）の何れかに該当すると判定した場合、画像認識部１１０および大きさ／形状情報取得部１３０に対して、上述の各実施形態で説明した処理の実行要求を通知する。この通知を受けた画像認識部１１０は、撮像部１２４で生成された画像から認識される商品の大きさ又は形状を判定部１４０に送る。また、この通知を受けたコード取得部１２２は、コード取得部１２２で取得された商品識別コードに紐付けられた大きさ／形状情報を判定部１４０に送る。判定部１４０は、画像認識部１１０から受け取った商品の大きさ又は形状と、大きさ／形状情報取得部１３０から受け取った大きさ／形状情報を用いて、上述の各実施形態の説明したように、判定処理を実行する。

〔ハードウエア構成〕
本実施形態の情報処理装置１０も、第１実施形態および第２実施形態と同様に、図４に示されるようなハードウエア構成を有する。ストレージ１０３は、本実施形態の判定部１４０の機能を実現するプログラムモジュールを更に記憶しており、ＣＰＵ１０１が当該プログラムモジュールを実行することにより、本実施形態の判定部１４０が実現される。また、ストレージ１０３は、重量情報記憶部１４２の機能を実現し得る。

〔動作例〕
図１０を用いて、本実施形態の情報処理装置１０の動作例について説明する。図１０は、第４実施形態の情報処理装置１０の処理の流れを示すフローチャートである。なお、以下の説明では、図４のフローチャートをベースとして、本実施形態で追加される処理（Ｓ３０１〜Ｓ３０３）について主に説明する。

判定部１４０は、Ｓ１０１でコード取得部１２２により取得された商品識別コードを用いて、重量情報記憶部１４２を参照し、当該商品識別コードに紐付く重量情報または重量偏差情報を取得する（Ｓ３０１）。そして、判定部１４０は、取得した重量情報または重量偏差情報を用いて、Ｓ１０１でコード取得部１２２により取得された商品識別コードの商品が、重量センサを用いた判定処理に向かない商品か否かを判定する（Ｓ３０２）。判定部１４０は、具体的には、（１）取得された商品識別コードに紐付けられた重量が基準値以下である、（２）取得された商品識別コードに紐付けられた重量が未設定である、（３）取得された商品識別コードに紐付けられた重量偏差が所定の閾値以上である、という条件うちの少なくともいずれか１つを満たすか否かを判定する。

Ｓ１０１でコード取得部１２２により取得された商品識別コードの商品が、重量センサを用いた判定処理に向かない商品である場合（Ｓ３０２：ＹＥＳ）、判定部１４０は、画像認識部１１０および大きさ／形状情報取得部１３０にその旨を通知し、第１実施形態で説明した処理が実行される（Ｓ１０２〜Ｓ１０７）。一方、Ｓ１０１でコード取得部１２２により取得された商品識別コードの商品が、重量センサを用いた判定処理を行っても問題ない商品である場合（Ｓ３０２：ＮＯ）、重量センサを用いた判定処理が実行される（Ｓ３０３）。

〔第４実施形態の作用と効果〕
以上、本実施形態では、コード取得部１２２で取得された商品識別コードの商品が重量センサを用いた判定処理に向かない商品か否かが判定される。そして、コード取得部１２２で取得された商品識別コードの商品が重量センサを用いた判定処理に向かない商品と判定された場合、画像から認識される商品の大きさ又は形状と、商品識別コードに紐付けられた大きさ／形状情報とに基づく判定処理が実行される。これにより、重量センサなどを用いた場合に発生し得る誤認識を防止し、情報処理装置１０で認識される商品の妥当性を判定する精度を向上させることができる。

〔第４実施形態の変形例〕
本実施形態において、判定部１４０は、基本的には、重量センサで計測される重量の変化量による判定処理を行い、所定の条件を満たす商品に関しては、画像から認識される大きさ又は形状に基づく判定処理を行う例を示した。しかし、これに限らず、判定部１４０は、基本的には、画像から認識される大きさ又は形状に基づく判定処理を行い、上記所定の条件とは異なる条件を満たす商品に関しては、重量センサで計測される重量の変化量による判定処理を行うように構成されていてもよい。ここで「異なる条件を満たす商品」とは、例えば、厚さを持たない薄い商品など、向きや姿勢によっては多くの特徴点が認識される可能性があり、画像認識処理に向かない商品である。このような場合、情報処理装置１０は、画像認識処理に向かない商品の商品識別コードを図示しない記憶部に記憶しており、判定部１４０は、当該記憶部に記憶されている商品識別コードと同じ商品識別コードがコード取得部１２２により取得されると、重量センサで計測される重量の変化に基づいて、情報処理装置１０で認識される商品の妥当性を判定する。

［第５実施形態］
本実施形態は、本発明の効果を得ることのできる最小の構成を有する情報処理装置１０について説明する。精算対象の商品を登録する装置（以下、商品登録装置と表記）とは別の装置（例えばサーバ装置）として、商品登録装置と例えばＬＡＮ（Local Area Network）を介して通信可能に設けられる。

〔処理構成〕
図１１は、第５実施形態における情報処理装置１０の処理構成を概念的に示す図である。図１１に示されるように、本実施形態の情報処理装置１０は、画像認識部１１０、コード取得部１２２、大きさ／形状情報取得部１３０、および判定部１４０を備える。

画像認識部１１０は、撮像範囲に含まれる商品の奥行方向の距離を示す奥行情報が対応付けられた画像を用いて、画像内の商品の大きさ又は形状を認識する。コード取得部１２２は、大きさ／形状情報取得部１３０は、取得された商品識別コードに紐付けられた大きさ／形状情報を取得する。判定部１４０は、画像から認識された商品の大きさ又は形状と、商品識別コードを用いて取得された大きさ／形状情報とが所定の基準を満たすか否かを判定する。

〔ハードウエア構成〕
本実施形態の情報処理装置１０は、図３に示されるようなハードウエア構成を有する。なお、本実施形態の情報処理装置１０の入出力インターフェース１０４には、撮像装置１０４３および読取装置１０４４が接続されておらず、通信モジュール１０５を介して他の装置から画像や商品識別コードを取得可能に構成されていてもよい。本実施形態の画像認識部１１０、コード取得部１２２、大きさ／形状情報取得部１３０、および判定部１４０は、上述の各実施形態と同様に、ＣＰＵ１０１が各処理部の機能を実現するプログラムモジュールを実行することにより実現される。

〔動作例〕
図１２を用いて、本実施形態の情報処理装置１０の動作例について説明する。図１２は、第５実施形態の情報処理装置１０の処理の流れを示すフローチャートである。

コード取得部１２２は、例えばＬＡＮなどのネットワークを介して商品登録装置と通信し、商品登録装置で読み取られた精算対象の商品の商品識別コードを取得する（Ｓ４０１）。そして、大きさ／形状情報取得部１３０は、Ｓ４０１で取得された商品識別コードを用いて、当該商品識別コードに紐付く大きさ／形状情報を読み出す（Ｓ４０２）。本実施形態において、大きさ／形状情報は、例えば、情報処理装置１０と通信可能な他の装置の記憶部（図示せず）などに、商品識別コードと紐付けて記憶されている。

また、画像認識部１１０は、例えばＬＡＮなどのネットワークを介して商品登録装置と通信し、商品登録装置に設けられた撮像手段などにより生成された画像を取得する（Ｓ４０３）。この商品登録装置に設けられた撮像手段は、所謂３Ｄカメラであり、画像と奥行情報とを対応付けて生成することができる。そして、画像認識部１１０は、既知の画像認識処理を用いて画像内の商品の形状を認識し、また、画像に対応付けられた奥行情報と画像内の商品の領域の大きさとに基づいて当該商品の実際の大きさを算出する（Ｓ４０４）。

判定部１４０は、Ｓ４０２で取得された大きさ／形状情報と、Ｓ４０４で取得された商品の大きさおよび形状が所定の基準を満たすか否かを判定し（Ｓ４０５）、その結果を商品登録装置へ送信する（Ｓ４０６）。

〔第５実施形態の作用と効果〕
以上、本実施形態では、画像から認識される商品の実際の大きさ又は形状と、商品識別コードに紐付けられた、商品の理論的な大きさ又は形状とが比較される。これにより、商品登録装置により認識された商品の妥当性を精度よく判断することができる。

［第６実施形態］
本実施形態では、精算対象の商品の登録処理を行う商品登録装置と、精算対象として登録された商品の代金の精算処理を行う精算装置とを含む精算システムについて説明する。

〔システム構成〕
図１３は、第６実施形態における精算システム１のシステム構成を概念的に示す図である。図１３に示されるように、精算システム１は、商品登録装置として機能する情報処理装置１０と、情報処理装置１０で登録された商品の代金の精算処理を行う精算装置３０と、サーバ装置４０と、を含む。この場合、情報処理装置１０、精算装置３０、及びサーバ装置４０はＬＡＮなどのネットワークを介して通信可能に接続されている。また、情報処理装置１０は、第１乃至第４実施形態のいずれか１つと同様の構成を有する。以下の説明では、本実施形態の情報処理装置１０が、第１実施形態と同様に、図１の構成を有する場合を例示する。なお、図１３の例に限らず、情報処理装置１０の画像認識部１１０、コード取得部１２２、大きさ／形状情報取得部１３０、及び判定部１４０は、第５実施形態で説明したように、商品登録装置とは別の装置（例えば、サーバ装置４０）として、当該商品登録装置と例えばＬＡＮなどを介して通信可能に設けられていてもよい。この場合、商品登録装置は、情報処理装置１０のコード取得部１２２とは別に、商品情報シンボルなどから商品識別コードを取得する処理部を有する。

〔動作例〕
図１４を用いて、本実施形態の精算システム１の処理の流れを説明する。図１４は、第６実施形態の精算システム１の処理の流れを示すシーケンス図である。

情報処理装置１０は、第１実施形態で説明したように、図４のフローチャートのＳ１０１〜Ｓ１０５の処理を実行する。そして、図４のフローチャートのＳ１０６の判定を行う。判定部１４０が所定の基準を満たさないと判定した場合（Ｓ１０６：ＮＯ）、判定部１４０は所定の出力（例えば、商品の再認識を促す出力）を行い（Ｓ１０７）、Ｓ１０１〜Ｓ１０５の処理が再度実行される。一方、商品認識部１２０は、判定部１４０が所定の基準を満たすと判定した場合（Ｓ１０６：ＹＥＳ）、情報処理装置１０によって正常に商品が認識されたと判断し、コード取得部１２２で取得された商品識別コードに紐付けられた商品情報を読み出す（Ｓ５０１）。具体的には、商品認識部１２０は、コード取得部１２２で取得された商品識別コードを用いて、商品識別コードと商品情報（例えば、商品名、商品の単価、値引や割引の有無など）とを紐付けて記憶する記憶部（図示せず）を参照し、当該取得された商品識別コードに紐付けられた商品情報を読み出す。そして、商品認識部１２０は、読み出した商品情報を、情報処理装置１０で実行される精算処理に用いる情報（以下、精算情報と表記）として追加する（Ｓ５０２）。精算情報は、少なくとも、精算対象の各商品の名称、精算対象の各商品の単価および個数、精算対象の商品全ての合計金額などを含む。Ｓ１０１〜Ｓ１０７、Ｓ５０１、およびＳ５０２の処理は、１つの取引における精算対象の商品の登録が完了するまで繰り返される（Ｓ５０３：ＮＯ）。情報処理装置１０は、例えば、情報処理装置１０に設けられた入力装置などによる「小計」ボタンの押下といったイベントを検知し、１つの取引における精算対象の商品の登録が完了したことを検出する。

１つの取引における精算対象の商品の登録が完了したことが検出された場合（Ｓ５０３：ＹＥＳ）、情報処理装置１０は、Ｓ５０２で生成された当該取引の精算情報を、サーバ装置４０を介して、精算装置３０に送信する（Ｓ５０４）。情報処理装置１０は、例えば、情報処理装置１０のオペレータの入力操作により、精算情報を送信すべき精算装置３０を特定し、精算情報を送信する。この場合、情報処理装置１０は、精算情報と当該精算情報の送信先の精算装置３０を指定する情報とをサーバ装置４０に送信する。そして、サーバ装置４０は、情報処理装置１０により指定された精算装置３０に対して精算情報を送信し、精算装置３０は、サーバ装置４０から送信された精算情報を用いて代金の精算処理を行う（Ｓ５０５）。また、これに限らず、情報処理装置１０は、精算情報を例えばサーバ装置４０に送信すると共に、当該精算情報を識別する情報を含み、精算装置３０で読み取り可能な可搬型媒体を顧客に払い出し、当該可搬媒体を顧客の操作により任意の精算装置３０に読み込ませてもよい。この場合、精算装置３０は、可搬型媒体に含まれる識別情報を用いてサーバ装置４０から精算情報を読み出し、代金の精算処理を行う（Ｓ５０５）。

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。

例えば、第１実施形態などにおいて、撮像部１２４は、商品認識部１２０に登録前の商品をかざすために、未登録商品の載置場所（例えばバスケットなど）から商品が取り出されるときの画像を取得し、画像認識部１１０は当該画像から商品の大きさ又は形状を認識するように構成されていてもよい。この場合、当該載置場所から取り出された未登録商品と、実際に精算対象として登録された商品とが一致するか否かを判断することができる。また例えば、撮像部１２４は、登録済商品が載置場所に置かれるときの画像を取得し、画像認識部１１０は当該画像から商品の大きさ又は形状を認識するように構成されていてもよい。この場合、当該載置場所に置かれた登録済商品と、実際に精算対象として登録された商品とが一致するか否かを判断することができる。このようにすることで、商品登録時における商品のすり替えといった不正行為を発見し、認識された商品が正しい商品であるか否かを判断することができる。

また、上述の説明で用いた複数のフローチャート、または、シーケンス図では、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。

以下、参考形態の例を付記する。
１．
撮像範囲に含まれる商品の奥行方向の距離を示す奥行情報が対応付けられた画像を用いて、前記画像内の商品の大きさ又は形状を認識する画像認識手段と、
精算対象の商品の商品識別コードを取得するコード取得手段と、
前記取得された商品識別コードに紐付けられた大きさ／形状情報を取得する大きさ／形状情報取得手段と、
前記画像から認識された前記商品の大きさ又は形状と、前記商品識別コードを用いて取得された大きさ／形状情報とが、所定の基準を満たしているか否かを判定する判定手段と、
を備える商品登録装置。
２．
前記画像に対応付けてサーモグラフィ情報を取得するサーモグラフィ情報取得手段を更に備え、
前記画像認識手段は、
前記取得されたサーモグラフィ情報を用いて、前記画像から認識する前記商品の形状から、人物と推定される部分を除外する、
１．に記載の商品登録装置。
３．
前記商品識別コードには、複数の前記大きさ／形状情報が紐付けられており、
前記判定手段は、前記認識された大きさ又は形状と、各々の前記複数の大きさ／形状情報とについて、前記所定の基準を満たしているか否かを判定する、
１．または２．に記載の商品登録装置。
４．
前記コード取得手段が前記商品識別コードを読み取るタイミングに応じて、前記画像を撮像する撮像手段を更に備える、
１．から３．のいずれか１つに記載の商品登録装置。
５．
前記撮像範囲に含まれる商品の個数を取得する個数取得手段を更に備え、
前記判定手段は、前記取得された商品識別コードの個数と、前記取得された商品の個数とが一致するか否かを判定する、
１．から４．のいずれか１つに記載の商品登録装置。
６．
前記商品識別コードには、当該商品識別コードの商品の重量または重量偏差が更に紐付けられており、
前記判定手段は、前記取得された商品識別コードに紐付けられた前記重量が基準値以下の場合、前記取得された商品識別コードに紐付けられた前記重量が未設定の場合、または、前記取得された商品識別コードに紐付けられた前記重量偏差が所定の閾値以上である場合、の少なくともいずれか１つの場合に、前記判定を実行する、
１．から５．のいずれか１つに記載の商品登録装置。
７．
コンピュータが、
撮像範囲に含まれる商品の奥行方向の距離を示す奥行情報が対応付けられた画像を用いて、前記画像内の商品の大きさ又は形状を認識し、
精算対象の商品の商品識別コードを取得し、
前記取得された商品識別コードに紐付けられた大きさ／形状情報を取得し、
前記画像から認識された前記商品の大きさ又は形状と、前記商品識別コードを用いて取得された大きさ／形状情報とが、所定の基準を満たしているか否かを判定する、
ことを含む制御方法。
８．
前記コンピュータが、
前記画像に対応付けてサーモグラフィ情報を取得し、
前記取得されたサーモグラフィ情報を用いて、前記画像から認識する前記商品の形状から、人物と推定される部分を除外する、
ことを含む７．に記載の制御方法。
９．
前記商品識別コードには、複数の前記大きさ／形状情報が紐付けられており、
前記コンピュータが、
前記認識された大きさ又は形状と、各々の前記複数の大きさ／形状情報とについて、前記所定の基準を満たしているか否かを判定する、
ことを含む７．または８．に記載の制御方法。
１０．
前記コンピュータが、
前記商品識別コードを読み取るタイミングに応じて、前記画像を撮像する、
ことを含む７．から９．のいずれか１つに記載の制御方法。
１１．
前記コンピュータが、
前記撮像範囲に含まれる商品の個数を取得し、
前記取得された商品識別コードの個数と、前記取得された商品の個数とが一致するか否かを判定する、
ことを含む７．から１０．のいずれか１つに記載の制御方法。
１２．
前記商品識別コードには、当該商品識別コードの商品の重量または重量偏差が更に紐付けられており、
前記コンピュータが、
前記取得された商品識別コードに紐付けられた前記重量が基準値以下の場合、前記取得された商品識別コードに紐付けられた前記重量が未設定の場合、または、前記取得された商品識別コードに紐付けられた前記重量偏差が所定の閾値以上である場合、の少なくともいずれか１つの場合に、前記判定を実行する、
ことを含む７．から１１．のいずれか１つに記載の制御方法。
１３．
コンピュータを、
撮像範囲に含まれる商品の奥行方向の距離を示す奥行情報が対応付けられた画像を用いて、前記画像内の商品の大きさ又は形状を認識する画像認識手段、
精算対象の商品の商品識別コードを取得するコード取得手段、
前記取得された商品識別コードに紐付けられた大きさ／形状情報を取得する大きさ／形状情報取得手段、
前記画像から認識された前記商品の大きさ又は形状と、前記商品識別コードを用いて取得された大きさ／形状情報とが、所定の基準を満たしているか否かを判定する判定手段、
として機能させるためのプログラム。
１４．
前記コンピュータを、
前記画像に対応付けてサーモグラフィ情報を取得するサーモグラフィ情報取得手段、
前記画像認識手段であって、
前記取得されたサーモグラフィ情報を用いて、前記画像から認識する前記商品の形状から、人物と推定される部分を除外する手段、
として更に機能させるための１３．に記載のプログラム。
１５．
前記商品識別コードには、複数の前記大きさ／形状情報が紐付けられており、
前記コンピュータを、
前記判定手段であって、前記認識された大きさ又は形状と、各々の前記複数の大きさ／形状情報とについて、前記所定の基準を満たしているか否かを判定する手段、
として更に機能させるための１３．または１４．に記載のプログラム。
１６．
前記コンピュータを、
前記コード取得手段が前記商品識別コードを読み取るタイミングに応じて、前記画像を撮像する撮像手段、
として更に機能させるための１３．から１５．のいずれか１つに記載のプログラム。
１７．
前記コンピュータを、
前記撮像範囲に含まれる商品の個数を取得する個数取得手段、
前記判定手段であって、前記取得された商品識別コードの個数と、前記取得された商品の個数とが一致するか否かを判定する手段、
として更に機能させるための１３．から１６．のいずれか１つに記載のプログラム。
１８．
前記商品識別コードには、当該商品識別コードの商品の重量または重量偏差が更に紐付けられており、
前記コンピュータを、
前記判定手段であって、前記取得された商品識別コードに紐付けられた前記重量が基準値以下の場合、前記取得された商品識別コードに紐付けられた前記重量が未設定の場合、または、前記取得された商品識別コードに紐付けられた前記重量偏差が所定の閾値以上である場合、の少なくともいずれか１つの場合に、前記判定を実行する手段、
として機能させるための１３．から１７．のいずれか１つに記載のプログラム。

１ 精算システム
１０ 情報処理装置
１０１ ＣＰＵ
１０２ メモリ
１０３ ストレージ
１０４ 入出力インターフェース
１０４１ 表示装置
１０４２ 入力装置
１０４３ 撮像装置
１０４４ 読取装置
１０５ 通信モジュール
１１０ 画像認識部
１２０ 商品認識部
１２２ コード取得部
１２４ 撮像部
１２６ サーモグラフィ情報取得部
１３０ 大きさ／形状情報取得部
１３２ 大きさ／形状情報記憶部
１４０ 判定部
１４２ 重量情報記憶部
１５０ 個数取得部
１７０ 重量情報取得部
２０ バスケット
３０ 精算装置
４０ サーバ装置

Claims (8)

1. 精算対象の商品の商品識別コードを取得するコード取得手段と、
   載置場所に載置された、前記商品識別コードを取得した前記精算対象の商品を少なくとも撮像範囲に含み、前記撮像範囲に含まれる商品の奥行方向の距離を示す奥行情報が対応付けられた画像を用いて、前記画像内の商品の大きさ又は形状を認識する画像認識手段と、
   前記取得された商品識別コードに紐付けられた大きさ／形状情報を取得する大きさ／形状情報取得手段と、
   前記画像から認識された前記商品の大きさ又は形状と、前記商品識別コードを用いて取得された大きさ／形状情報とが、所定の基準を満たしているか否かを判定する判定手段と、
   を備える情報処理装置。
2. 前記画像に対応付けてサーモグラフィ情報を取得するサーモグラフィ情報取得手段を更に備え、
   前記画像認識手段は、
   前記取得されたサーモグラフィ情報を用いて、前記画像から認識する前記商品の形状から、人物と推定される部分を除外する、
   請求項１に記載の情報処理装置。
3. 前記商品識別コードには、複数の前記大きさ／形状情報が紐付けられており、
   前記判定手段は、前記認識された大きさ又は形状と、各々の前記複数の大きさ／形状情報とについて、前記所定の基準を満たしているか否かを判定する、
   請求項１または２に記載の情報処理装置。
4. 前記コード取得手段が前記商品識別コードを読み取るタイミングに応じて、前記画像を撮像する撮像手段を更に備える、
   請求項１から３のいずれか１項に記載の情報処理装置。
5. 前記撮像範囲に含まれる商品の個数を取得する個数取得手段を更に備え、
   前記判定手段は、前記取得された商品識別コードの個数と、前記取得された商品の個数とが一致するか否かを判定する、
   請求項１から４のいずれか１項に記載の情報処理装置。
6. 前記商品識別コードには、当該商品識別コードの商品の重量または重量偏差が更に紐付けられており、
   前記判定手段は、前記取得された商品識別コードに紐付けられた前記重量が基準値以下の場合、前記取得された商品識別コードに紐付けられた前記重量が未設定の場合、または、前記取得された商品識別コードに紐付けられた前記重量偏差が所定の閾値以上である場合、の少なくともいずれか１つの場合に、前記判定を実行する、
   請求項１から５のいずれか１項に記載の情報処理装置。
7. コンピュータが、
   精算対象の商品の商品識別コードを取得し、
   載置場所に載置された、前記商品識別コードを取得した前記精算対象の商品を少なくとも撮像範囲に含み、前記撮像範囲に含まれる商品の奥行方向の距離を示す奥行情報が対応付けられた画像を用いて、前記画像内の商品の大きさ又は形状を認識し、
   前記取得された商品識別コードに紐付けられた大きさ／形状情報を取得し、
   前記画像から認識された前記商品の大きさ又は形状と、前記商品識別コードを用いて取得された大きさ／形状情報とが、所定の基準を満たしているか否かを判定する、
   ことを含む情報処理方法。
8. コンピュータを、
   精算対象の商品の商品識別コードを取得するコード取得手段、
   載置場所に載置された、前記商品識別コードを取得した前記精算対象の商品を少なくとも撮像範囲に含み、前記撮像範囲に含まれる商品の奥行方向の距離を示す奥行情報が対応付けられた画像を用いて、前記画像内の商品の大きさ又は形状を認識する画像認識手段、
   前記取得された商品識別コードに紐付けられた大きさ／形状情報を取得する大きさ／形状情報取得手段、
   前記画像から認識された前記商品の大きさ又は形状と、前記商品識別コードを用いて取得された大きさ／形状情報とが、所定の基準を満たしているか否かを判定する判定手段、
   として機能させるためのプログラム。

Images