JP2018147445A - 情報処理装置、制御方法、及びプログラム - Google Patents

Abstract

【課題】画像から商品を特定して精算対象として登録するために要する時間を短くする。【解決手段】商品登録装置は、抽出部、特定部、及び登録部を有する。抽出部は、撮像画像から商品領域を抽出する。取得部は、購入予定リストを取得する。特定部は、商品領域に含まれる商品を、購入予定リストに含まれる商品の中から特定する。登録部は、特定された商品を精算対象として登録する。【選択図】図１

Description

本発明は商品の精算に関する。

店舗で買い物をする顧客は、購入したい商品の精算を行う必要がある。そのため、顧客は、購入したい商品をレジカウンタへ持って行く。レジ端末では、顧客が持ってきた商品を精算対象として登録する処理が行われる。そして顧客は、精算対象として登録された商品の代金を支払うことで、その商品を購入する。

このように商品を精算対象として登録するためのシステムが開発されている。特許文献１は、ビデオカメラで撮影された商品を特定し、特定した商品を精算対象とする技術を開示している。ここで、商品の特定のために、商品の画像データと商品コードとを対応づけた情報が予め用意されている。

特開平０６−０２８５７５号公報

画像から商品を特定する処理は、バーコードなどのコードを読み取って商品を特定する処理と比較して、長い時間を要する。そこで本発明者は、画像から商品を特定して精算対象として登録するために要する時間を短くする方法を検討した。

本発明は、以上の課題に鑑みてなされたものである。本発明の目的の一つは、画像から商品を特定して精算対象として登録するために要する時間を短くする技術を提供することである。

本発明の情報処理装置は、１）精算対象の商品が撮像された撮像画像から、商品を含む画像領域を抽出する抽出手段と、２）顧客によって提供される購入予定リストを取得する取得手段と、３）前記抽出した画像領域に含まれる商品を、前記取得した購入予定リストに含まれる商品の中から特定する特定手段と、４）前記特定した商品を精算対象として登録する登録手段と、を有する。

本発明の制御方法は、コンピュータによって実行される。当該制御方法は、１）精算対象の商品が撮像された撮像画像から、商品を含む画像領域を抽出する抽出ステップと、２）顧客によって提供される購入予定リストを取得する取得ステップと、３）前記抽出した画像領域に含まれる商品を、前記取得した購入予定リストに含まれる商品の中から特定する特定ステップと、４）前記特定した商品を精算対象として登録する登録ステップと、を有する。

本発明のプログラムは、本発明の制御方法の各ステップをコンピュータに実行させる。

本発明によれば、画像から商品を特定して精算対象として登録するために要する時間を短くする技術が提供される。

実施形態１の商品登録装置を例示する図である。 商品登録装置の機能構成を例示する図である。 商品登録装置を実現するための計算機を例示する図である。 実施形態１の商品登録装置によって実行される処理の流れを例示するフローチャートである。 商品情報の構成をテーブル形式で例示する図である。 商品領域によって表される商品を特定する処理の流れを例示するフローチャートである。 商品領域によって表される商品が特定できなかった場合に出力されるメッセージを例示する図である。 購入予定リストに示されていない商品が精算対象として登録されようしている場合に出力されるメッセージを例示する図である。 精算リストの構成をテーブル形式で例示する図である。 購入予定リストの中に精算対象として登録されていない商品がある旨を通知するメッセージを例示する図である。 実施形態２の商品登録装置を例示するブロック図である。 指定受付部によって表示されるメッセージを例示する図である。 購入し忘れている商品がないかどうかを確認するメッセージが出力される流れを例示する図である。 精算対象として登録すべき商品の候補を示すメッセージを例示する図である。

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また各ブロック図において、特に説明がない限り、各ブロックは、ハードウエア単位の構成ではなく機能単位の構成を表している。

［実施形態１］
図１は、実施形態１の情報処理装置（以下、商品登録装置２０００と表記する）を例示する図である。なお、図１は商品登録装置２０００の動作の理解を容易にするための図であり、商品登録装置２０００の動作を限定するものではない。

顧客がお店で買い物をする場合、顧客が購入しようとする商品がレジカウンタなどで精算対象として登録される。顧客は、精算対象として登録された商品の精算を行う（代金を支払う）ことにより、その商品を購入する。

本実施形態の商品登録装置２０００は、顧客が購入しようとする商品を精算対象として登録するために利用される装置である。そのために、商品登録装置２０００は、商品が撮像された撮像画像１２を取得する。撮像画像１２は、カメラ１０によって生成される。カメラ１０は、精算対象として登録する商品が撮像できる位置に設けられる。例えば、カメラ１０は、商品登録装置２０００と共に、レジカウンタなどに設置される。例えばレジカウンタにいる店員が、顧客が購入しようとしてレジカウンタへ持ってきた商品をカメラ１０に撮像させることで、その商品が撮像された撮像画像１２が生成される。ただし、商品をカメラ１０に撮像させる動作は、店員ではなく、顧客によって行われてもよい。

商品登録装置２０００は、撮像画像１２から、商品を含む画像領域（以下、商品領域２０）を抽出する。商品登録装置２０００は、商品領域２０に含まれる商品に関する情報を、予め用意されている各商品の情報（以下、商品情報）と照合することで、商品領域２０によって表される商品を特定する。例えば商品情報は、商品情報を管理しているデータベースから取得される。そして商品登録装置２０００は、特定した商品を精算対象として登録する。

商品領域２０に含まれる商品に関する情報は、商品領域２０に含まれる商品の外観を表す情報である。また、商品情報は、商品領域２０に含まれる商品に関する情報との照合に利用される照合情報を含む。照合情報は、商品の外観を表す情報（例えばテンプレート画像など）である。商品領域２０に含まれる商品に関する情報と商品情報との照合（以降、商品領域２０と商品情報との照合とも言う）は、商品領域２０に含まれる商品の外観を商品情報によって示される商品の外観と比較することによって行われる。この照合の具体的な方法については後述する。

ここで商品登録装置２０００は、商品領域２０と商品情報とを照合する際、その照合に利用する商品情報を、予め用意されている商品情報の内の一部に限定する。そのために、商品登録装置２０００は、顧客によって提供される購入予定リスト３０を取得する。購入予定リスト３０は、顧客が購入する予定の商品を示す情報として作成されたものである。後述するように、顧客が実際に購入する商品には、購入予定リスト３０に示されていない商品が含まれていてもよい。同様に、購入予定リスト３０に示されている商品には、実際には顧客によって購入されないものも含まれうる。

商品登録装置２０００は、商品領域２０との照合に利用する商品情報を、この購入予定リスト３０に含まれる各商品の商品情報に限定する。すなわち、商品登録装置２０００は、購入予定リスト３０に含まれる各商品の商品情報の中から、商品領域２０に含まれる商品の商品情報を特定する。そして商品登録装置２０００は、その特定された商品情報に示される商品を、精算対象の商品として登録する。

本実施形態の商品登録装置２０００によれば、撮像画像１２に含まれる商品領域２０と照合される商品情報が、購入予定リスト３０に示される商品の商品情報に限定される。よって、このような限定をせずに照合を行う場合と比較し、商品領域２０と商品情報との照合に要する時間が短くなる。よって、商品を精算対象として登録するために要する時間が短くなる。その結果、顧客が商品の精算に要する時間が短くなり、顧客にとって店舗の利便性が向上する。

なお、このように商品が撮像された画像を使って商品を特定する方法は、例えば野菜や果物など、バーコードなどを付しておくことが難しいものに利用されることが好適である。ただし、この方法は、箱で梱包されている商品など、バーコードなどを容易に付すことができる商品に利用されてもよい。

以下、本実施形態についてさらに詳細を述べる。

＜機能構成の例＞
図２は、商品登録装置２０００の機能構成を例示する図である。商品登録装置２０００は、抽出部２０２０、取得部２０３０、特定部２０４０、及び登録部２０６０を有する。抽出部２０２０は、撮像画像１２から商品領域２０を抽出する。取得部２０３０は、購入予定リスト３０を取得する。特定部２０４０は、商品領域２０に含まれる商品を、購入予定リスト３０に含まれる商品の中から特定する。登録部２０６０は、特定された商品を精算対象として登録する。

＜商品登録装置２０００のハードウエア構成の例＞
商品登録装置２０００の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、商品登録装置２０００の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。

図３は、商品登録装置２０００を実現するための計算機１０００を例示する図である。計算機１０００は、例えば POS 端末などのレジ端末である。ただし、計算機１０００は、レジ端末に限定されない。例えば計算機１０００は、Personal Computer（PC）、サーバマシン、タブレット端末、又はスマートフォンなどである。計算機１０００は、商品登録装置２０００を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。

計算機１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０を有する。バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０が、相互にデータを送受信するためのデータ伝送路である。プロセッサ１０４０は、CPU（Central Processing Unit）や GPU（Graphics Processing Unit）などの演算処理装置である。メモリ１０６０は、RAM（Random Access Memory）などで実現される主記憶装置である。ストレージデバイス１０８０は、ハードディスク、SSD（Solid State Drive）、メモリカード、又は ROM（Read Only Memory）などで実現される補助記憶装置である。

入出力インタフェース１１００は、計算機１０００と入出力デバイスとを接続するためのインタフェースである。図３では、入出力インタフェース１１００に、カメラ１０が接続されている。ただし、カメラ１０は商品登録装置２０００と接続されていなくてもよい。

ネットワークインタフェース１１２０は、通信網に接続するためのインタフェースである。ネットワークインタフェース１１２０は、無線回線で通信網に接続するインタフェースであってもよいし、有線回線で通信網に接続するインタフェースであってもよい。

ストレージデバイス１０８０は商品登録装置２０００の各機能を実現するプログラムモジュールを記憶している。プロセッサ１０４０は、これら各プログラムモジュールをメモリ１０６０に読み出して実行することで、そのプログラムモジュールに対応する各機能を実現する。

計算機１０００のハードウエア構成は図３に示した構成に限定されず、他の様々な構成をとりうる。例えば、プロセッサ１０４０などを互いに接続する方法は、バス接続に限定されない。

＜処理の流れ＞
図４は、実施形態１の商品登録装置２０００によって実行される処理の流れを例示するフローチャートである。抽出部２０２０は、撮像画像１２を取得する（Ｓ１０２）。抽出部２０２０は、撮像画像１２から商品領域２０を抽出する（Ｓ１０４）。取得部２０３０は、購入予定リスト３０を取得する（Ｓ１０６）。特定部２０４０は、商品領域２０によって表される商品を、購入予定リスト３０に含まれる商品の中から特定する（Ｓ１０８）。登録部２０６０は、特定された商品を精算対象として登録する（Ｓ１１０）。

＜商品登録装置２０００の実現例＞
商品登録装置２０００を実現する計算機１０００は、例えば、レジカウンタに設置されるレジ端末である。その他にも例えば、計算機１０００は、レジカウンタに設置されているレジ端末と通信する機能を有するサーバ装置（店舗の管理を行うための店舗サーバなど）として実現される。この場合、計算機１０００は、レジ端末の付近に設けられているカメラ１０によって生成された撮像画像１２を取得して商品を特定し、その商品を精算対象として登録する。そして、計算機１０００は、特定した商品に関する情報（商品名や価格など）をレジ端末へ通知する。

＜商品の撮像方法＞
カメラ１０によって一度に撮像される商品の数は、１つであってもよいし、複数であってもよい。言い換えれば、１つの撮像画像１２に含まれる商品領域２０の数は、１つであってもよいし、複数であってもよい。後者の場合、特定部２０４０は、撮像画像１２に含まれる複数の商品領域２０それぞれについて、その商品領域２０によって表される商品を特定する。

＜撮像画像１２の取得：Ｓ１０２＞
抽出部２０２０は、撮像画像１２を取得する（Ｓ１０２）。カメラ１０は、例えば静止画像データを生成するスチルカメラである。この場合、例えばカメラ１０は、ユーザ（例えば店員又は顧客）の操作（所定のボタンの押下など）に応じて撮像を行い、撮像画像１２を生成する。ただし、カメラ１０は、ユーザの操作によらずに撮像を行うように（例えば定期的に撮像を行うように）構成されていてもよい。

カメラ１０は、動画データを生成するビデオカメラであってもよい。この場合、撮像画像１２は、カメラ１０によって生成される動画データを構成する動画フレームである。この場合も同様に、カメラ１０は、ユーザの操作に応じて撮像を行うように構成されていてもよいし、ユーザの操作によらずに撮像を行うように構成されていてもよい。

抽出部２０２０が撮像画像１２を取得する方法は任意である。例えば抽出部２０２０は、撮像画像１２が記憶されている記憶装置にアクセスすることで、撮像画像１２を取得する。撮像画像１２が記憶されている記憶装置は、撮像画像１２を生成したカメラ１０の内部に設けられていてもよいし、カメラ１０の外部に設けられていてもよい。その他にも例えば、抽出部２０２０は、カメラ１０などから送信される撮像画像１２を受信することで、撮像画像１２を取得してもよい。

＜商品領域２０の抽出：Ｓ１０４＞
抽出部２０２０は、撮像画像１２から商品領域２０を抽出する。ここで、精算対象として登録する商品が撮像された画像から、商品を表す画像領域を抽出する技術には、既存の技術を利用することができる。例えば、カメラ１０の撮像範囲の背景が既知であるとする。この場合、抽出部２０２０は、撮像画像１２と既知の背景との差分を算出することによって抽出される画像領域を、商品領域２０とする。ここで、この処理によって互いに離間する複数の画像領域が抽出された場合、抽出部２０２０は、これら複数の画像領域それぞれを、商品領域２０として抽出する。つまり、一つの撮像画像１２から商品領域２０が複数抽出される。

＜商品情報について＞
商品情報は、商品の識別子（以下、商品識別子）、商品名、及び価格など、商品に関する情報を示す。さらに商品情報は、前述した照合情報を含む。照合情報は、商品の外観を表す情報である。例えば照合情報は、商品の外観の特徴を表す１つ以上の値である特徴量を示す。その他にも例えば、照合情報は、商品の外観を表す画像（以下、テンプレート画像）を示す。テンプレート画像は、例えば商品の写真を示す。

図５は、商品情報の構成をテーブル形式で例示する図である。図５のテーブルを、テーブル２００と表記する。テーブル２００は、商品識別子２０２、商品名２０４、価格２０６、及び照合情報２０８という５つの列を有する。図５において、照合情報２０８には、商品のテンプレート画像が示されている。

＜購入予定リスト３０の取得：Ｓ１０６＞
取得部２０３０は、購入予定リスト３０を取得する（Ｓ１０６）。取得部２０３０が購入予定リスト３０を取得する方法は様々である。例えば取得部２０３０は、顧客の携帯端末（例えばスマートフォン）から購入予定リスト３０を取得する。顧客の携帯端末から情報を取得する方法には、様々な方法を利用できる。例えば取得部２０３０は、顧客の携帯端末から無線通信で送信される購入予定リスト３０を取得する。その他にも例えば、購入予定リスト３０を符号化した情報（例えば QR コード（登録商標））が、顧客の携帯端末の表示画面に表示されるようにしてもよい。例えばこの表示は、顧客が携帯端末を操作することによって行われる。取得部２０３０は、上記符号化された情報を認識して復号することにより、購入予定リスト３０を取得する。なお、QR コード（登録商標）などの符号化された情報を読み取ってその情報を復号する技術には、既存の技術を利用することができる。

その他にも例えば、商品登録装置２０００からアクセス可能な記憶装置に、予め購入予定リスト３０が記憶されておくようにしてもよい。この場合、購入予定リスト３０は、顧客の識別子と対応づけて記憶される。例えば商品登録装置２０００が利用されている店舗において、会員制度が導入されているとする。この場合、例えば顧客は、会員に提供される Web ページを利用して、購入予定リスト３０をアップロードする。このアップロードされた購入予定リスト３０は、顧客識別子と対応づけて、商品登録装置２０００からアクセス可能な記憶装置に記憶される。

この場合、例えば商品登録装置２０００は、顧客が購入する商品を精算対象として登録する前に、顧客の会員カードを読み取るなどの方法により、顧客識別子を取得する。そして商品登録装置２０００は、取得した顧客識別子に対応づけて記憶されている購入予定リスト３０を、上記記憶装置から取得する。

購入予定リスト３０を顧客の携帯端末から取得する方法によれば、会員制度などが導入されていない店舗においても商品登録装置２０００を導入できるといった利点がある。一方、購入予定リスト３０を予め記憶装置に記憶させておく方法によれば、商品を精算対象として登録する処理をよりスムーズに実行できるといった利点がある。

＜商品領域と商品情報の照合：Ｓ１０８＞
特定部２０４０は、商品領域２０と商品情報とを照合することで、商品領域２０に含まれる商品を特定する（Ｓ１０８）。ここで、商品の特定は、商品領域２０に含まれる商品に関する情報を示す商品情報を特定することによって行われる。

商品領域２０と商品情報を照合する方法は様々である。例えばこの照合は、特徴量マッチングによって行われる。この場合、商品情報の照合情報は、その商品の特徴量を示す。特定部２０４０は、商品領域２０から商品の特徴量を算出し、その特徴量と各商品情報が示す商品の特徴量とをマッチングすることで、商品領域２０に含まれる商品の商品情報を特定する。なお、画像に含まれるオブジェクトを特徴量マッチングによって特定する技術には、既存の技術を利用することができる。

その他にも例えば、商品領域２０と商品情報の照合は、テンプレートマッチングによって行われる。この場合、商品情報の照合情報は、その商品のテンプレート画像を示す。特定部２０４０は、商品領域２０に含まれる商品の画像と各商品のテンプレート画像とをマッチングすることで、商品領域２０に含まれる商品の商品情報を特定する。なお、画像に含まれるオブジェクトをテンプレートマッチングによって特定する技術には、既存の技術を利用することができる。

ここで、特定部２０４０は、購入予定リスト３０を利用して、商品領域２０に含まれる商品の特定を行う。以下、この処理の流れを、フローチャートを用いて説明する。図６は、商品領域２０に含まれる商品を特定する処理の流れを例示するフローチャートである。このフローチャートは、図４のＳ１０８において行われる処理を具体的に例示するものである。

Ｓ２０２からＳ２１０は、購入予定リスト３０に含まれる各商品について実行されるループ処理Ａである。Ｓ２０２において、購入予定リスト３０に含まれる商品のいずれもが既にループ処理Ａの対象とされている場合、ループ処理Ａは終了する。その結果、図６の処理は終了する。

購入予定リスト３０に含まれる商品の中に、まだループ処理Ａの対象とされていない商品がある場合、特定部２０４０は、まだループ処理Ａの対象とされていない商品の中から１つを選択する。ここで選択された商品を、商品ｉと表記する。そして、図６の処理はＳ２０４に進む。

特定部２０４０は、商品ｉの商品情報を取得する（Ｓ２０４）。特定部２０４０は、商品領域２０と、商品ｉの照合情報とを照合することで、商品領域２０に含まれる商品が、商品ｉであるか否かを判定する（Ｓ２０６）。商品領域２０に含まれる商品が商品ｉである場合（Ｓ２０６：ＹＥＳ）、登録部２０６０は、商品領域２０に含まれる商品が商品ｉであることを特定する（Ｓ２０８）。そして、図６の処理は終了する。

商品領域２０に含まれる商品が商品ｉでない場合（Ｓ２０６：ＮＯ）、図６の処理はＳ２１０に進む。Ｓ２１０はループ処理Ａの終端であるため、図６の処理はＳ２０２に進む。

なお、商品領域２０に含まれる商品が、購入予定リスト３０に含まれるいずれの商品でもないケースが考えられる。この場合、例えば商品登録装置２０００は、精算対象として登録しようとしている商品を特定できなかった旨を示す通知を出力する。例えばこの通知は、ブザー音などの音声の出力である。その他にも例えば、この通知は、商品を特定できなかった旨を示すメッセージの出力である。図７は、商品領域２０によって表される商品が特定できなかった場合に出力されるメッセージを例示する図である。メッセージ５０は、商品領域２０に含まれる商品を、購入予定リスト３０に含まれる商品から特定できなかったことを示すメッセージである。例えばメッセージ５０は、商品登録装置２０００に接続されているタッチパネルに表示される。

その他にも例えば、商品領域２０に含まれる商品が、購入予定リスト３０に含まれるいずれの商品でもない場合、特定部２０４０は、購入予定リスト３０に示されていない各商品の商品情報と商品領域２０とをさらに照合することで、商品領域２０に含まれる商品を特定する。なお、このように購入予定リスト３０に含まれていない商品との照合により、商品領域２０に含まれる商品が特定された場合、すなわち、商品領域２０に含まれる商品が購入予定リスト３０に含まれていない商品であった場合、商品登録装置２０００は、所定の通知を行うことが好適である。

例えばこの通知は、ブザー音などの音声による通知である。その他にも例えば、この通知は、購入予定リスト３０に含まれていない商品が精算対象として登録されようとしている旨を示すメッセージである。図８は、購入予定リスト３０に含まれていない商品が精算対象として登録されようしている場合に出力されるメッセージ６０を例示する図である。このメッセージ６０は、メッセージ５０と同様に、例えば商品登録装置２０００に接続されているタッチパネルに表示される。

＜精算対象とする商品の登録＞
登録部２０６０は、特定部２０４０によって特定された商品を、精算対象の商品として登録する。例えば登録部２０６０は、精算対象の商品の商品識別子が示されたリスト（以下、精算リスト）に対して、特定部２０４０に特定された商品の商品識別子を追加することにより、商品を精算対象として登録する。

図９は、精算リストの構成をテーブル形式で例示する図である。図９のテーブルをテーブル３００と表記する。テーブル３００は、商品識別子３０２及び購入数３０４という２つの列を有する。

ここで、特定部２０４０により、商品領域２０に含まれる商品が、購入予定リスト３０に含まれていない商品の中から特定されたとする。この場合、この商品は、顧客によって意図的に追加された商品であることもあれば、顧客に購入の意思がない商品（例えば顧客が誤って持ってきてしまった商品）であることもある。そこでこのようなケースでは、この商品を購入する意思があるかどうかを顧客に確認することが好ましい。

そこで、商品領域２０に含まれる商品が、購入予定リスト３０に含まれていない商品の中から特定された場合、登録部２０６０は、商品を精算対象として登録するか否かを指定するための入力を受け付ける。商品を精算対象として登録する旨の入力操作が行われた場合、登録部２０６０は、特定部２０４０によって特定された商品を精算対象として登録する。一方、商品を精算対象として登録しない旨の入力操作が行われた場合、登録部２０６０は、特定部２０４０によって特定された商品を精算対象として登録しない。

例えば前述した図８のメッセージ６０には、ＯＫボタン６２とキャンセルボタン６４が含まれる。ＯＫボタン６２が押された場合、登録部２０６０は、特定された商品を精算対象として登録する。一方、キャンセルボタン６４が押された場合、登録部２０６０は、特定された商品を精算対象として登録しない。このようにすることで、顧客に購入の意思がない商品（例えば間違って持ってきてしまった商品）が精算対象として登録されてしまうことを防ぐことができる。

例えばメッセージ６０は、顧客によって閲覧可能なタッチパネルに表示される。顧客は、このタッチパネルにおいてＯＫボタン６２又はキャンセルボタン６４を押下することで、入力操作を行う。その他にも例えば、メッセージ６０は、店員によってのみ閲覧可能なタッチパネルに表示される。この場合、店員は、商品を購入するかどうかを顧客に尋ね、その回答に応じてタッチパネルを操作する。

＜登録する商品についての確認＞
顧客が購入しようとしている商品の特定を商品登録装置２０００が終えた後、商品登録装置２０００は、所定の確認処理を実行してもよい。例えば、購入予定リスト３０の中に、精算対象として登録されていない商品が含まれる場合、商品登録装置２０００はその旨の通知を行う。例として、購入予定リスト３０が商品Ａ、商品Ｂ、及び商品Ｃを示しているとする。また、精算対象として登録された商品は商品Ａと商品Ｂであり、商品Ｃは精算対象として登録されていないとする。この場合、顧客が商品Ｃの購入を忘れている可能性がある。そこで商品登録装置２０００は、例えば、商品Ｃを購入しなくてもよいのかどうかを確認するメッセージを出力する。

図１０は、購入予定リスト３０の中に精算対象として登録されていない商品がある旨を通知するメッセージ７０を例示する図である。図１０の例では、購入予定リスト３０の中に含まれている商品のうち、バナナが精算対象として登録されていないことを想定している。そこでメッセージ７０は、バナナを買い忘れている可能性がある旨の通知をしている。顧客が実際にバナナを買い忘れている場合、例えば顧客又は店員が、追加登録ボタン７２を押下する。これにより、商品登録装置２０００の状態が、商品を精算対象として登録する状態に遷移する。よって、例えば顧客が、買い忘れていた商品を取りに売り場へ取りに戻ることで、その商品を買い忘れることなく購入することができる。

一方、顧客が買い忘れをしていない場合（例えば顧客がバナナを買うことを止めた場合）、例えば顧客又は店員が、ＯＫボタン７４を押下する。これにより、精算対象の商品を登録する処理が完了する。

商品登録装置２０００によって行われる所定の確認処理は、上述の確認処理に限定されない。例えば確認処理は、特定された商品の合計数が、購入予定リスト３０に示されている商品の合計数よりも多い場合に、登録結果が正しいかどうかを確認する処理である。なおこの場合、購入予定リスト３０には、各商品について購入予定の数が示されているとする。

なお、顧客が購入しようとしている商品の特定が終わったこと（顧客が購入しようとしている全ての商品を精算対象として登録し終えたこと）を商品登録装置２０００が把握する方法には、既存の技術を利用することができる。例えば商品登録装置２０００は、顧客が購入しようとしている商品の特定が終わったことを指定する入力を顧客や店員から受け付ける。例えば商品登録装置２０００は、小計ボタンなどの所定のボタンが押されたことを検出することで、商品の登録処理が完了したことを検出する。

［実施形態２］
図１１は、実施形態２の商品登録装置２０００を例示するブロック図である。以下で説明する点を除き、実施形態２の商品登録装置２０００は、実施形態１の商品登録装置２０００と同様の機能を有する。

実施形態２の商品登録装置２０００は指定受付部２０８０を有する。指定受付部２０８０は、購入予定リスト３０に含まれない商品が、精算対象の商品（精算対象として登録しようとしている商品）に含まれるか否かを指定する入力を受け付ける。例えばこの指定は、商品を精算対象として登録する処理を開始する前に入力される。

図１２は、指定受付部２０８０によって表示されるメッセージ８０を例示する図である。ＹＥＳボタン８２は、購入予定リスト３０に含まれない商品が精算対象の商品に含まれることを指定するためのボタンである。ＮＯボタン８４は、購入予定リスト３０に含まれない商品が精算対象の商品に含まれていないことを指定するためのボタンである。メッセージ８０は、メッセージ５０などと同様に、例えば商品登録装置２０００と接続されているタッチパネルに表示される。このタッチパネルは、顧客によって閲覧可能なものであってもよいし、店員によってのみ閲覧可能なものであってもよい。

購入予定リスト３０に含まれない商品が精算対象の商品に含まれることが指定された場合、特定部２０４０は、商品領域２０と照合する商品情報に、購入予定リスト３０に示されない商品の商品情報も利用する。例えば特定部２０４０は、まず購入予定リスト３０に示されている商品の商品情報と商品領域２０とを照合し、商品領域２０に含まれる商品が特定されなかった場合のみ、購入予定リスト３０に示されていない商品の商品情報と商品領域２０とを照合する。その他にも例えば、特定部２０４０は、最初から、照合に利用する商品情報を限定せず、全ての商品情報と商品領域２０とを照合してもよい。

一方、購入予定リスト３０に含まれない商品が精算対象の商品に含まれない（精算対象の商品が全て購入予定リスト３０に含まれる）ことが指定された場合、特定部２０４０は、商品領域２０と照合する商品情報に、購入予定リスト３０に示される商品の商品情報のみを利用する。

このように、本実施形態の商品登録装置２０００では、上述の指定に応じて、商品領域２０との照合に利用される商品情報の範囲が決定される。こうすることで、顧客が意図した適切な範囲で商品情報と商品領域２０の照合が行われる。よって、精算対象として登録する商品の特定を迅速に行いつつ、例えば顧客が当初予定していなかった商品を追加で購入する場合であっても、全ての商品を精算対象として正しく登録できるようになる。

＜確認メッセージ＞
購入予定リスト３０に含まれない商品が精算対象の商品に含まれることが指定された場合に、精算対象として登録された商品が全て購入予定リスト３０に含まれていたとする。この場合、顧客が何らかの商品を購入し忘れている可能性がある。そこで商品登録装置２０００は、購入し忘れている商品がないかどうかを確認するメッセージを出力することが好適である。

図１３は、購入し忘れている商品がないかどうかを確認するメッセージ９０が出力される流れを例示する図である。この例では、商品の登録が行われる前に前述したメッセージ８０が表示され、ＮＯボタン８４が押下されている。よって、顧客は、購入予定リストに含まれない商品を購入しようとしていると考えられる。しかし、その後に商品を精算対象に登録する処理が行われた結果、精算対象として登録された商品が全て購入予定リスト３０に含まれている。そこで、商品登録装置２０００は、購入し忘れている商品がないかどうかを確認するメッセージ９０を表示させている。

購入し忘れている商品がない場合、ＯＫボタン９２が押下される。こうすることで、商品を精算対象として登録する処理が完了する。一方、購入し忘れている商品がある場合、追加登録ボタン９４が押下される。これにより、商品登録装置２０００の状態が、商品を精算対象として登録する状態に遷移する。よって、例えば顧客が、買い忘れていた商品を取りに売り場へ取りに戻ることで、その商品を買い忘れることなく購入することができる。

メッセージ９０は、例えば顧客が閲覧可能なタッチパネルに表示される。その他にも例えば、メッセージ９０は、店員のみが閲覧可能なタッチパネルに表示される。後者の場合、確認メッセージを見た店員が、購入し忘れている商品がないかどうかを顧客に尋ね、その返答に応じて入力操作を行う。

＜商品の候補の表示＞
購入予定リスト３０に含まれない商品が精算対象に含まれることが指定された場合において、商品領域２０と商品情報との照合をした結果、商品領域２０によって表される商品が一つに特定できなかったとする。例えば、商品領域２０が、外見上類似している複数の種類の商品（レタスとキャベツなど）の照合情報のいずれもと類似していることが考えられる。このような場合、商品登録装置２０００は、商品領域２０に含まれる商品の候補を表示させ、その候補の中から精算対象として登録すべき商品を選択させてもよい。

図１４は、精算対象として登録すべき商品の候補を示すメッセージ１００を例示する図である。表示１０２は、商品の照合処理が実行中であることを表している。例えば、表示１０２は、点滅表示される。選択エリア１０４には、精算対象として登録する商品の候補が、種類ごとに分かれて表示されている。顧客又は店員は、表示されている候補のいずれかを選択（例えば、表示を押下する）ことにより、精算対象として登録すべき商品を指定する。

＜ハードウエア構成＞
実施形態２の商品登録装置２０００を実現する計算機のハードウエア構成は、実施形態１と同様に、例えば図３によって表される。ただし、本実施形態の商品登録装置２０００を実現する計算機１０００のストレージデバイス１０８０には、本実施形態の商品登録装置２０００の機能を実現するプログラムモジュールがさらに記憶される。

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記各実施形態の組み合わせ、又は上記以外の様々な構成を採用することもできる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
１． 精算対象の商品が撮像された撮像画像から、商品を含む画像領域を抽出する抽出手段と、
顧客によって提供される購入予定リストを取得する取得手段と、
前記抽出した画像領域に含まれる商品を、前記取得した購入予定リストに含まれる商品の中から特定する特定手段と、
前記特定した商品を精算対象として登録する登録手段と、を有する情報処理装置。
２． 前記特定手段は、前記抽出した画像領域と、複数の商品それぞれの識別子がその商品の外観を表す照合情報と対応づけられている商品情報とを、前記購入予定リストに示される商品の範囲内で照合することで、前記抽出した画像領域に含まれる商品を特定する、１．に記載の情報処理装置。
３． 前記特定手段は、前記購入予定リストに示される商品の範囲内における前記照合で、前記抽出した画像領域に含まれる商品が特定されない場合、前記購入予定リストに示されない商品の範囲においても前記商品情報と前記抽出した画像領域との照合を行う、２．に記載の情報処理装置。
４． 前記購入予定リストに示されない商品の範囲において前記商品情報と前記抽出した画像領域との照合を行うことにより、前記抽出した画像領域に含まれる商品が特定された場合、所定の通知を行う３．に記載の情報処理装置。
５． 購入予定リストに含まれない商品が精算対象の商品に含まれるか否かを指定する入力を受け付ける第１指定受付手段を有し、
前記特定手段は、前記購入予定リストに含まれない商品が精算対象の商品に含まれることが指定された場合、前記購入予定リストに示されない商品の範囲においても前記商品情報と前記抽出した画像領域との照合を行う、２．に記載の情報処理装置。
６． 前記特定手段は、前記購入予定リストに含まれない商品が精算対象の商品に含まれることが指定されている場合において、精算対象として登録された商品が全て前記購入予定リストに含まれているとき、所定の通知を行う、５．に記載の情報処理装置。
７． 前記顧客が購入する各商品の特定を前記特定手段が終えた後、前記特定された商品の数が前記購入予定リストに示される商品の数より多い場合、所定の通知を行う、１．乃至４．いずれか一つに記載の情報処理装置。
８． 前記顧客が購入する各商品の特定を前記特定手段が終えた後、前記購入予定リストの中に前記特定手段によって特定されていない商品が含まれる場合に、所定の通知を行う、１．乃至４．いずれか一つに記載の情報処理装置。
９． 前記取得手段は、前記顧客の携帯端末から前記購入予定リストを取得する、１．乃至８．いずれか一つに記載の情報処理装置。
１０． 前記取得手段は、前記顧客の識別子を取得し、前記識別子と対応づけて記憶装置に記憶されている前記購入予定リストを取得する、１．乃至８．いずれか一つに記載の情報処理装置。

１１． コンピュータによって実行される制御方法であって、
精算対象の商品が撮像された撮像画像から、商品を含む画像領域を抽出する抽出ステップと、
顧客によって提供される購入予定リストを取得する取得ステップと、
前記抽出した画像領域に含まれる商品を、前記取得した購入予定リストに含まれる商品の中から特定する特定ステップと、
前記特定した商品を精算対象として登録する登録ステップと、を有する制御方法。
１２． 前記特定ステップにおいて、前記抽出した画像領域と、複数の商品それぞれの識別子がその商品の外観を表す照合情報と対応づけられている商品情報とを、前記購入予定リストに示される商品の範囲内で照合することで、前記抽出した画像領域に含まれる商品を特定する、１１．に記載の制御方法。
１３． 前記特定ステップにおいて、前記購入予定リストに示される商品の範囲内における前記照合で、前記抽出した画像領域に含まれる商品が特定されない場合、前記購入予定リストに示されない商品の範囲においても前記商品情報と前記抽出した画像領域との照合を行う、１２．に記載の制御方法。
１４． 前記購入予定リストに示されない商品の範囲において前記商品情報と前記抽出した画像領域との照合を行うことにより、前記抽出した画像領域に含まれる商品が特定された場合、所定の通知を行う１３．に記載の制御方法。
１５． 購入予定リストに含まれない商品が精算対象の商品に含まれるか否かを指定する入力を受け付ける第１指定受付ステップを有し、
前記特定ステップにおいて、前記購入予定リストに含まれない商品が精算対象の商品に含まれることが指定された場合、前記購入予定リストに示されない商品の範囲においても前記商品情報と前記抽出した画像領域との照合を行う、１２．に記載の制御方法。
１６． 前記特定ステップにおいて、前記購入予定リストに含まれない商品が精算対象の商品に含まれることが指定されている場合において、精算対象として登録された商品が全て前記購入予定リストに含まれているとき、所定の通知を行う、１５．に記載の制御方法。
１７． 前記顧客が購入する各商品の特定を前記特定ステップで終えた後、前記特定された商品の数が前記購入予定リストに示される商品の数より多い場合、所定の通知を行う、１１．乃至１４．いずれか一つに記載の制御方法。
１８． 前記顧客が購入する各商品の特定を前記特定ステップで終えた後、前記購入予定リストの中に前記特定ステップによって特定されていない商品が含まれる場合に、所定の通知を行う、１１．乃至１４．いずれか一つに記載の制御方法。
１９． 前記取得ステップにおいて、前記顧客の携帯端末から前記購入予定リストを取得する、１１．乃至１８．いずれか一つに記載の制御方法。
２０． 前記取得ステップにおいて、前記顧客の識別子を取得し、前記識別子と対応づけて記憶装置に記憶されている前記購入予定リストを取得する、１１．乃至１８．いずれか一つに記載の制御方法。

２１． １１．乃至２０．いずれか一つに記載の制御方法の各ステップをコンピュータに実行させるプログラム。

１０ カメラ
１２ 撮像画像
２０ 商品領域
３０ 購入予定リスト
５０ メッセージ
６０ メッセージ
６２ ＯＫボタン
６４ キャンセルボタン
７０ メッセージ
７２ 追加登録ボタン
７４ ＯＫボタン
８０ メッセージ
８２ ＹＥＳボタン
８４ ＮＯボタン
９０ メッセージ
９２ ＯＫボタン
９４ 追加登録ボタン
１００ メッセージ
１０２ 表示
１０４ 選択エリア
２００ テーブル
２０２ 商品識別子
２０４ 商品名
２０６ 価格
２０８ 照合情報
３００ テーブル
３０２ 商品識別子
３０４ 購入数
１０００ 計算機
１０２０ バス
１０４０ プロセッサ
１０６０ メモリ
１０８０ ストレージデバイス
１１００ 入出力インタフェース
１１２０ ネットワークインタフェース
２０００ 商品登録装置
２０００ 情報処理装置
２０２０ 抽出部
２０３０ 取得部
２０４０ 特定部
２０６０ 登録部
２０８０ 指定受付部

Claims (12)

1. 精算対象の商品が撮像された撮像画像から、商品を含む画像領域を抽出する抽出手段と、
   顧客によって提供される購入予定リストを取得する取得手段と、
   前記抽出した画像領域に含まれる商品を、前記取得した購入予定リストに含まれる商品の中から特定する特定手段と、
   前記特定した商品を精算対象として登録する登録手段と、を有する情報処理装置。
2. 前記特定手段は、前記抽出した画像領域に含まれる商品に関する情報と、複数の商品それぞれの識別子がその商品の外観を表す照合情報と対応づけられている商品情報とを、前記購入予定リストに示される商品の範囲内で照合することで、前記抽出した画像領域に含まれる商品を特定する、請求項１に記載の情報処理装置。
3. 前記特定手段は、前記購入予定リストに示される商品の範囲内における前記照合で、前記抽出した画像領域に含まれる商品が特定されない場合、前記購入予定リストに示されない商品の範囲においても前記商品情報と前記抽出した画像領域に含まれる商品に関する情報との照合を行う、請求項２に記載の情報処理装置。
4. 前記購入予定リストに示されない商品の範囲において前記商品情報と前記抽出した画像領域に含まれる商品に関する情報との照合を行うことにより、前記抽出した画像領域に含まれる商品が特定された場合、所定の通知を行う請求項３に記載の情報処理装置。
5. 購入予定リストに含まれない商品が精算対象の商品に含まれるか否かを指定する入力を受け付ける第１指定受付手段を有し、
   前記特定手段は、前記購入予定リストに含まれない商品が精算対象の商品に含まれることが指定された場合、前記購入予定リストに示されない商品の範囲においても前記商品情報と前記抽出した画像領域に含まれる商品に関する情報との照合を行う、請求項２に記載の情報処理装置。
6. 前記特定手段は、前記購入予定リストに含まれない商品が精算対象の商品に含まれることが指定されている場合において、精算対象として登録された商品が全て前記購入予定リストに含まれているとき、所定の通知を行う、請求項５に記載の情報処理装置。
7. 前記顧客が購入する各商品の特定を前記特定手段が終えた後、前記特定された商品の数が前記購入予定リストに示される商品の数より多い場合、所定の通知を行う、請求項１乃至４いずれか一項に記載の情報処理装置。
8. 前記顧客が購入する各商品の特定を前記特定手段が終えた後、前記購入予定リストの中に前記特定手段によって特定されていない商品が含まれる場合に、所定の通知を行う、請求項１乃至４いずれか一項に記載の情報処理装置。
9. 前記取得手段は、前記顧客の携帯端末から前記購入予定リストを取得する、請求項１乃至８いずれか一項に記載の情報処理装置。
10. 前記取得手段は、前記顧客の識別子を取得し、前記識別子と対応づけて記憶装置に記憶されている前記購入予定リストを取得する、請求項１乃至８いずれか一項に記載の情報処理装置。
11. コンピュータによって実行される制御方法であって、
    精算対象の商品が撮像された撮像画像から、商品を含む画像領域を抽出する抽出ステップと、
    顧客によって提供される購入予定リストを取得する取得ステップと、
    前記抽出した画像領域に含まれる商品を、前記取得した購入予定リストに含まれる商品の中から特定する特定ステップと、
    前記特定した商品を精算対象として登録する登録ステップと、を有する制御方法。
12. 請求項１１に記載の制御方法の各ステップをコンピュータに実行させるプログラム。

Images