JP2015228079A - 情報処理装置、制御方法、及びプログラム - Google Patents

Abstract

【課題】１つの商品に付された商品情報シンボルとサービス情報シンボルとを容易に対応付ける技術を提供する。【解決手段】画像取得部２０２０は、商品が撮像された画像である商品画像を取得する。商品領域特定部２０４０は、商品画像から、商品を表す領域である商品領域を特定する。商品情報シンボル検出部２０６０は、商品画像から、商品情報シンボルを検出する。サービス情報シンボル検出部２０８０は、商品画像から、サービス情報シンボルを検出する。対応付け部２１００は、１つの商品を表す商品領域の内部に含まれている商品情報シンボル及びサービス情報シンボルについて、その商品情報シンボルに対応する商品情報と、そのサービス情報シンボルに対応するサービス情報とを対応付ける。【選択図】図１

Description

本発明は、情報処理装置、制御方法、及びプログラムに関する。

一般に、販売されている商品には、その商品に関する情報を得るためのシンボル（以下、商品情報シンボル）が付されている。ここで、シンボルとは、例えばバーコードなどの符号や、文字列などである。さらに、割り引きなどのサービスの対象となっている商品には、そのサービスに関する情報を得るためのシンボル（以下、サービス情報シンボル）が付されている。

商品の精算を行う POS（Point of Service）端末では、上述の商品情報シンボルとサービス情報シンボルとを読み取ることにより、商品に対してサービスが適用される。例えば、商品情報シンボルを読み取ることで商品の価格が特定される。また、サービス情報シンボルを読み取ることで値引き率が特定される。そして、商品の価格と値引率とから商品の売価を算出することにより、商品に対して値引きサービスが適用される。

特開２０１０−２６７４５号公報

POS 端末は、商品情報シンボルとサービス情報シンボルとを正しく対応付ける必要がある。商品情報シンボルとサービス情報シンボルとの対応付けを誤ると、サービス対象の商品にサービスが適用されなかったり、サービス対象外の商品にサービスが適用されてしまったりするためである。

例えば特許文献１の POS 端末装置は、商品情報シンボルをスキャンするスキャナ及び値引きシールを撮像するカメラを有する。ここで、商品情報シンボルをスキャンしている際に値引きシールがカメラの撮像範囲に含まれるように、カメラはスキャナの近傍に設置されている。そして、このカメラは、スキャナによる商品情報シンボルのスキャンに連動して撮像を行うように構成されている。

しかしこの POS 端末装置では、オペレータはシンボルと読み取り装置の位置関係を把握しながら POS 端末を利用しなければならない。具体的には、商品を POS 端末に読み取らせる際、「商品情報シンボルの位置がスキャナによって読み取り可能な位置になり、かつ値引きシールの位置が撮像装置によって読み取り可能な位置になる」ようにする必要がある。そのため、POS 端末の利便性が低くなる。

本発明は、上記の課題に鑑みてなされたものである。本発明の目的は、１つの商品に付された商品情報シンボルとサービス情報シンボルとを容易に対応付ける技術を提供することである。

本発明が提供する情報処理装置は、画像から商品を表す商品領域を特定する商品領域特定手段と、画像から商品情報シンボルを検出する商品情報シンボル検出手段と、画像からサービス情報シンボルを検出するサービス情報シンボル検出手段と、１つの商品を表す商品領域の内部に含まれている前記商品情報シンボル及び前記サービス情報シンボルについて、その商品情報シンボルに対応する商品情報と、そのサービス情報シンボルに対応するサービス情報との対応付けを行う対応付け手段と、を有する。

本発明が提供する制御方法は、コンピュータによって実行される。当該制御方法は、画像から商品を表す商品領域を特定する商品領域特定ステップと、商品から商品情報シンボルを検出する商品情報シンボル検出ステップと、画像からサービス情報シンボルを検出するサービス情報シンボル検出ステップと、１つの商品を表す商品領域の内部に含まれている前記商品情報シンボル及び前記サービス情報シンボルについて、その商品情報シンボルに対応する商品情報と、そのサービス情報シンボルに対応するサービス情報との対応付けを行う対応付けステップと、を有する。

本発明が提供するプログラムは、本発明が提供する情報処理装置の各機能構成部が有する機能をコンピュータ持たせる。

本発明によれば、１つの商品に付された商品情報シンボルとサービス情報シンボルとを容易に対応付ける技術が提供される。

実施形態１に係る情報処理装置を示すブロック図である。 １つの商品が撮像されている商品画像を例示する図である。 第一実施形態における情報処理装置のハードウエア構成例を概念的に示す図である。 実施形態１の情報処理装置によって実行される処理の流れを例示するフローチャートである。 バーコードの一部を検出する様子を例示する図である。 商品情報をテーブル形式で例示する図である。 値引きシールの一部を検出する様子を例示する図である。 サービス情報をテーブル形式で例示する図である。 対応付け情報をテーブル形式で例示する図である。 ３つの商品が撮像されている商品画像を例示する図である。 実施形態２の情報処理装置が行う処理の流れを例示するフローチャートである。 １つの商品を異なる角度から撮像した様子を例示する図である。 実施形態３の情報処理装置によって実行される処理の流れを例示するフローチャートである。 ＰＯＳレジスタ装置の構成例を示す図である。 ＰＯＳシステムの構成例を示す図である。 実施形態４に係る情報処理装置を示すブロック図である。

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。

［実施形態１］
図１は、実施形態１に係る情報処理装置２０００を示すブロック図である。図１において、矢印は情報の流れを表している。さらに、図１において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。

情報処理装置２０００は、商品情報シンボルが付された商品を扱う。商品情報シンボルは、商品に関する情報を得るためのシンボルである。ここで、シンボルとは、バーコード及び２次元コード（ＱＲコード（登録商標）など）、並びに文字列シンボルなどである。そして、商品情報シンボルは、商品情報を特定する情報（商品情報のＩＤなど）が符号化されたバーコード等、又は商品情報を特定する情報を表す文字列シンボルなどである。

また、商品の中には、割り引きなどのサービスの対象となっている物がある。そして、サービスの対象となっている商品には、サービス情報シンボルが付されている。サービス情報シンボルは、サービスに関する情報を得るためのシンボルであり、サービス情報を特定する情報（サービス情報のＩＤなど）が符号化されたバーコード等、又はサービス情報を特定する情報を表す文字列シンボルなどである。

情報処理装置２０００は、画像取得部２０２０、商品領域特定部２０４０、商品情報シンボル検出部２０６０、サービス情報シンボル検出部２０８０、及び対応付け部２１００を有する。画像取得部２０２０は、商品が撮像された画像である商品画像を取得する。商品領域特定部２０４０は、商品画像から、商品を表す領域である商品領域を特定する。ここで、「商品を表す領域」とは、商品画像に含まれる領域のうち、商品が写っている領域を意味する。また、商品領域は、商品全体が写っている領域であってもよいし、商品の一部が写っている領域であってもよい。商品情報シンボル検出部２０６０は、商品画像から、商品情報シンボルを検出する。サービス情報シンボル検出部２０８０は、商品画像から、サービス情報シンボルを検出する。対応付け部２１００は、１つの商品を表す商品領域の内部に含まれている商品情報シンボル及びサービス情報シンボルについて、その商品情報シンボルに対応する商品情報と、そのサービス情報シンボルに対応するサービス情報とを対応付ける。

図２を用いて、本実施形態の情報処理装置２０００の動作を概念的に説明する。図２は、１つの商品（商品２０）が撮像されている商品画像１０を例示する図である。商品画像１に写っている商品２０には、バーコード７０及び値引きシール８０が付されている。バーコード７０は商品情報シンボルの一形態であり、値引きシール８０はサービス情報シンボルの一形態である。情報処理装置２０００は、以下のように処理を行うことにより、バーコード７０に対応する商品情報と、値引きシール８０に対応するサービス情報とを対応付ける。

画像取得部２０２０は、上記商品画像１０を取得する。商品領域特定部２０４０は、商品画像１０の中から、商品２０を表す商品領域９０を特定する。商品情報シンボル検出部２０６０は、商品画像１０の中からバーコード７０を検出する。サービス情報シンボル検出部２０８０は、商品画像１０の中から値引きシール８０を検出する。ここで、バーコード７０と値引きシール８０はいずれも、商品領域９０の内部に存在する。そのため、サービス情報シンボル検出部２０８０は、バーコード７０に対応する商品情報と、値引きシール８０に対応するサービス情報とを対応付ける。例えばバーコード７０に対応する商品情報は、商品２０の価格である。また、値引きシール８０に対応するサービス情報は、「商品の価格を３０％値引く」という情報である。

なお、商品情報やサービス情報を得るために商品上に設けられている表示は任意の表示でよく、上述のシンボルに限定されない。商品領域特定部２０４０や商品情報シンボル検出部２０６０は、これら商品上に設けられた表示を検出できるように構成される。

＜ハードウエア構成＞
図３は、第一実施形態における情報処理装置のハードウエア構成を例示する図である。図３に示されるように、情報処理装置２０００は、CPU（Central Processing Unit）１、メモリ２、入出力インタフェース（Ｉ／Ｆ）３、通信部４等を有する。CPU１は、他の各部とバス等の通信線により接続される。メモリ２は、RAM（Random Access Memory）、ROM（Read Only Memory）、フラッシュメモリ等である。通信部４は、他の装置や機器と信号のやりとりを行う。通信部４には、可搬型記録媒体等も接続され得る。入出力I/F３は、表示部５、入力部６、撮像部７、集音部８等と接続される。

表示部５は、LCD（Liquid Crystal Display）やCRT（Cathode Ray Tube）ディスプレイのような、CPU１ や GPU（Graphics Processing Unit）（図示せず）等により処理された描画データに対応する画面を表示するユニットである。入力部６は、ユーザ操作の入力を受け付けるユニットであり、例えば、ハードウエアボタンユニット、タッチセンサ等として実現される。表示部５及び入力部６は一体化され、タッチパネルとして実現されることもできる。撮像部７は、レンズ、撮像素子等から形成されるカメラであり、静止画像及び動画像を撮像する。集音部８は、マイクロフォンユニットである。

情報処理装置２０００のハードウエア構成は、図３に示される構成に限定されない。情報処理装置２０００は、図３に示される構成以外の構成を更に有してもよい。また、情報処理装置２０００は、表示部５、入力部６、撮像部７及び集音部８を有していなくてもよい。この場合、情報処理装置２０００は、通信部４を介した通信により、他の装置が有する表示部５への表示、撮像部７により撮像された画像の取得、集音部８により得られた音声データの取得を用いることができる。

＜処理の流れ＞
図４は、実施形態１の情報処理装置２０００によって実行される処理の流れを例示するフローチャートである。ステップＳ１０２において、画像取得部２０２０は、商品が撮像された商品画像を取得する。ステップＳ１０４において、商品領域特定部２０４０は、商品画像から、商品を表す商品領域を特定する。ステップＳ１０６において、商品情報シンボル検出部２０６０は、商品画像から、商品情報シンボルを検出する。ステップＳ１０８において、サービス情報シンボル検出部２０８０は、商品画像から、サービス情報シンボルを検出する。ステップＳ１１０において、対応付け部２１００は、１つの商品を表す商品領域の内部に含まれている商品情報シンボル及びサービス情報シンボルについて、その商品情報シンボルに対応する商品情報と、そのサービス情報シンボルに対応するサービス情報とを対応付ける。ここで、各ステップが実行される順番は、図４に示した順番に限定されない。例えばステップＳ１０４の前にステップＳ１０６やＳ１０８が実行されてもよい。

本実施形態によれば、商品情報シンボルとサービス情報シンボルを撮像する撮像装置によって撮像された商品画像を得ることで、商品情報とサービス情報とを対応付けることができる。具体的には、１つの商品を表す商品領域の内部に含まれている商品情報シンボル及びサービス情報シンボルについて、その商品情報シンボルに対応する商品情報と、そのサービス情報シンボルに対応するサービス情報とが対応付けられる。これにより、商品情報シンボルやサービス情報シンボルを個別に読み取る場合と比較し、商品情報とサービス情報とを対応付ける操作が容易になり、かつ対応付けが正確になる。

以下、本実施形態についてさらに詳細を述べる。

＜画像取得部２０２０の詳細＞
画像取得部２０２０が商品画像を取得する方法は様々である。例えば画像取得部２０２０は、撮像部７から商品画像を取得する。また、画像取得部２０２０は、撮像部７によって撮像された商品画像を格納している格納部やデータベース等から商品画像を取得してもよい。

＜商品領域特定部２０４０の詳細＞
商品領域特定部２０４０は、商品画像についてオブジェクト認識処理を行うことにより、商品領域を特定する。ここで、画像に撮像されているオブジェクトを背景と区別して抽出するというオブジェクト認識は、既知の技術である。そのため、オブジェクト認識に関する詳細な説明は省略する。

例えば商品領域特定部２０４０は、商品の特徴量を格納部等から取得し、その特徴量を用いて商品画像から商品を表す商品領域を特定する。前述したように、商品領域は、商品全体が写っている領域であってもよいし、商品の一部が写っている領域であってもよい。また例えば、商品領域特定部２０４０は、商品のパッケージごとなどに特徴量を取得してもよい。例えば、同様のパッケージに入っている異なる種類の弁当について、共通の特徴量を取得する。

また、商品領域特定部２０４０は、商品の特徴量を用いずに商品領域を特定してもよい。例えば商品領域特定部２０４０は、商品として考えられる形状（直方体、円錐、四角形、又は円など）を商品画像から検出し、検出した形状に対応する部分を商品領域する。また例えば、商品領域特定部２０４０は、商品画像から、商品以外（商品が置かれている作業台等）を表す領域（以下、背景領域）を特定し、背景領域以外の各領域をそれぞれ商品領域として特定する。特に、作業台の色を一つの色のみで構成したり、作業台の模様を単純なパターンなどで構成すると、背景領域と商品領域とを容易に区別できるようになる。

なお、情報処理装置２０００は、商品以外の物を表す領域も誤って商品領域として特定してしまったとしても、正しく動作することができる。商品以外の物には商品情報シンボルが付されておらず、商品以外の物について誤って商品情報とサービス情報の対応付けがなされることは無いためである。ただし、対応付け部２１００によって実行される計算の計算量が多くなるため、画像取得部２０２０は商品を表す領域のみを商品領域として特定することが好ましい。

＜商品情報シンボル検出部２０６０の詳細＞
商品情報シンボル検出部２０６０は、商品画像についてオブジェクト認識処理を行うことにより、商品情報シンボルを特定する。例えば商品情報シンボル検出部２０６０は、商品情報シンボルの特徴量を格納部等から取得し、その特徴量を用いて商品画像から商品情報シンボルを検出する。

また、商品情報シンボル検出部２０６０は、商品画像全体ではなく、商品領域特定部２０４０によって特定された商品領域に着目して商品情報シンボルの検出処理を行ってもよい。この場合、商品情報シンボル検出部２０６０が行う処理の計算量が少なくなるため、商品情報シンボル検出部２０６０が行う処理の所要時間が短くなる。

なお、商品情報シンボルの形態によっては、商品情報シンボル検出部２０６０は、商品情報シンボルの一部のみを検出すれば十分な場合もある。例えば商品情報シンボルが図２に示したバーコード７０である場合、図５の実線で示す領域１００などのようにバーコード７０の一部のみからでも、バーコード７０によって符号化された情報を復号することができる。

＜商品情報の詳細＞
図６は、商品情報をテーブル形式で例示する図である。図６に示すテーブルを、商品情報テーブル２００と表記する。商品情報テーブル２００は、商品情報ＩＤ２０２、商品名２０４、価格２０６、特徴量２０８という４つの列を有する。商品情報ＩＤ２０２は商品情報を特定するＩＤを示す。商品名２０４は商品の名前を示す。価格２０６は商品の価格を示す。特徴量２０８は商品画像から商品情報シンボルを検出するために用いられる特徴量を示す。

例えば図６の１行目のレコードは、「商品名が XXX であり、価格が 1000 円である」という商品に関する情報が、商品情報ＩＤ２０２＝ I001 の商品情報として管理されていることを示す。さらにこのレコードは、「商品情報ＩＤ２０２ = I001」の商品情報に対応する商品情報シンボルの特徴量が FI001 であることを示す。

なお、商品情報テーブル２００は、商品名や価格以外の情報を示してもよい。

＜サービス情報シンボル検出部２０８０の詳細＞
サービス情報シンボル検出部２０８０は、商品画像についてオブジェクト認識処理を行うことにより、サービス情報シンボルを特定する。例えば商品情報シンボル検出部２０６０は、サービス情報シンボルの特徴量を格納部等から取得し、その特徴量を用いて商品画像からサービス情報シンボルを検出する。

また、サービス情報シンボル検出部２０８０は、商品情報シンボル検出部２０６０と同様に、商品画像全体ではなく、商品領域特定部２０４０によって特定された商品領域に着目してサービス情報シンボルの検出処理を行ってもよい。

なお、サービス情報シンボルの形態によっては、サービス情報シンボル検出部２０８０は、サービス情報シンボルの一部のみを検出すれば十分な場合もある。例えばサービス情報シンボルが図２で示す値引きシール８０である場合、図７の実線で示す領域１１０などのように値引きシール８０の一部のみからでも、値引きシール８０で表されている情報を得ることができる。

＜サービス情報の詳細＞
図８は、サービス情報をテーブル形式で例示する図である。図８に示すテーブルを、サービス情報テーブル３００と表記する。サービス情報テーブル３００は、サービス情報ＩＤ３０２、サービス内容３０４、及び特徴量３０６という３つの列を有する。サービス情報ＩＤ３０２はサービス情報を特定するＩＤを示す。サービス内容３０４はサービスの内容を示す。特徴量３０６は、商品画像の中からサービス情報シンボルを検出するために用いられる特徴量を示す。

例えば図８の１行目のレコードは、「３０％引きというサービス」に関する情報が、「サービス情報ＩＤ３０２＝ S001」のサービス情報として管理されていることを示す。さらにこのレコードは、「サービス情報ＩＤ３０２ = S001」のサービス情報に対応するサービス情報シンボルの特徴量が FS001 であることを示す。

なお、サービス情報テーブル３００は、サービス内容以外の情報を示してもよい。

＜対応付け部２１００の詳細＞
例えば対応付け部２１００は、商品画像内における商品情報シンボルの座標及びサービス情報シンボルの座標を用いて、商品情報シンボルやサービス情報シンボルが商品領域に含まれていることを割り出す。ここで、商品情報シンボルの座標は、商品情報シンボル内の任意の座標でよい。例えば商品シンボルの座標は、商品シンボルの左上の頂点の座標や、商品情報シンボルの中心の座標である。サービス情報シンボルの座標についても同様である。

＜対応付け情報＞
対応付け部２１００は、商品情報シンボルとサービス情報シンボルを対応付けた情報を生成してもよい。この情報を対応付け情報と表記する。図９は、対応付け情報をテーブル形式で例示する図である。図９が示すテーブル形式の対応情報を、対応付け情報テーブル４００と表記する。対応付け情報テーブル４００は、商品情報ＩＤ４０２及びサービス情報ＩＤ４０４という２つの列を有する。対応付け情報テーブル４００の各レコードは、商品情報ＩＤ４０２で特定される商品情報と、サービス情報ＩＤ４０４で特定されるサービス情報とを対応付けている。

[実施形態２]
実施形態２の情報処理装置２０００の構成は、実施形態１の情報処理装置２０００と同様に、図１によって例示される。

実施形態２の情報処理装置２０００は、１つの商品画像に複数の商品が写っている場合に、それら複数の商品それぞれについて、商品情報とサービス情報の対応付けを行う。具体的には、商品領域特定部２０４０が、１つの商品画像に含まれている複数の商品について、各商品を表す商品領域をそれぞれ特定する。そして、対応付け部２１００が、特定された商品領域のうち、商品情報シンボルとサービス情報シンボルの双方を含む商品領域について、前述した商品情報とサービス情報との対応付けを行う。

図１０を用いて、本実施形態の情報処理装置２０００の動作を概念的に説明する。図１０は、３つの商品２０−１、２０−２、及び２０−３が撮像されている商品画像６０を例示する図である。商品領域特定部２０４０は、商品２０−１を表す商品領域９０−１、商品２０−２を表す商品領域９０−２、及び商品２０−３を表す商品領域９０−３を特定する。また、商品情報シンボル検出部２０６０は、バーコード７０−１、バーコード７０−２、及びバーコード７０−３を検出する。さらに、サービス情報シンボル検出部２０８０は、値引きシール８０−１及び値引きシール８０−３を検出する。

対応付け部２１００は、バーコード７０−１に対応する商品情報と値引きシール８０−１に対応するサービス情報を対応付ける。また、対応付け部２１００は、バーコード７０−３に対応する商品情報と値引きシール８０−３に対応するサービス情報を対応付ける。このように、商品２０−１と商品２０−３についてはそれぞれ、商品情報とサービス情報が対応付けられる。一方、商品領域９０−２の内部には値引きシールが含まれていないため、商品２０−２については対応付けが行われない。

なお、商品領域特定部２０４０が行う処理、商品情報シンボル検出部２０６０が行う処理、及びサービス情報シンボル検出部２０８０が行う処理はそれぞれ、実施形態１で説明した処理と同様である。

＜処理の流れ＞
図１１は、実施形態２の情報処理装置２０００が行う処理の流れを例示するフローチャートである。実施形態２の情報処理装置２０００は、図４に示すステップＳ１０２からＳ１０８の処理を実行した後、図１１に示すステップＳ２０２以降の処理を行う。図を簡潔にするため、図１１においてステップＳ１０２からＳ１０６は省略されている。

ステップＳ２０２からＳ２１２は、検出された商品情報シンボルそれぞれについて実行されるループ処理Ａである。ステップＳ２０２において、対応付け部２１００は、まだループ処理Ａの対象としていない商品情報シンボルがあるか否かを判定する。既に全ての商品情報シンボルについてループ処理Ａを実行した場合、図１１の処理は終了する。一方、まだループ処理Ａの対象としていない商品情報シンボルがある場合、対応付け部２１００はその内の１つを選択する。ここで、選択された商品情報シンボルを商品情報シンボルｉと表記する。そして、図１１の処理はステップＳ２０４に進む。

ステップＳ２０４からＳ２０８は、検出されたサービス情報シンボルそれぞれについて実行されるループ処理Ｂである。ステップＳ２０４において、対応付け部２１００は、まだループ処理Ｂの対象としていない商品情報シンボルがあるか否かを判定する。既に全ての商品情報シンボルについてループ処理Ｂを実行した場合、図１１の処理はステップＳ２１２に進む。一方、まだループ処理Ｂの対象としていないサービス情報シンボルがある場合、対応付け部２１００はその内の１つを選択する。ここで、選択されたサービス情報シンボルをサービス情報シンボルｊと表記する。そして、図１１の処理はステップＳ２０６に進む。

ステップＳ２０６において、対応付け部２１００は、商品情報シンボルｉを内部に含む商品領域と、サービス情報シンボルｊを内部に含む商品領域とが、１つの商品を表すか否かを判定する。これら２つの商品領域が１つの商品を表さない場合（ステップＳ２０６：ＮＯ）、図１１の処理はステップＳ２０８に進む。ステップＳ２０８はループ処理Ｂの終端であるため、図１１の処理はステップＳ２０４に進む。

一方、ステップＳ２０６において、商品情報シンボルｉを内部に含む商品領域と、サービス情報シンボルｊを内部に含む商品領域とが、１つの商品を表す場合（ステップＳ２０６：ＹＥＳ）、図１１の処理はステップＳ２１０に進む。ステップＳ２１０において、対応付け部２１００は、商品情報シンボルｉに対応する商品情報と、サービス情報シンボルｊに対応するサービス情報とを対応付ける。

ステップＳ２１２はループ処理Ａの終端であるため、図１１の処理はステップＳ２０２に進む。

＜作用・効果＞
本実施形態によれば、１つの画像に複数の商品が含まれている場合に、各商品について商品情報とサービス情報との対応付けを行うことができる。したがって、商品を１つ１つスキャン等する方法と比較し、商品情報とサービス情報との対応付けを行うための手間を少なくすることできる。

[実施形態３]
実施形態３の情報処理装置２０００の構成は、実施形態１の情報処理装置２０００と同様に、図１によって例示される。

本実施形態の情報処理装置２０００は、１つの商品について商品情報シンボルとサービス情報シンボルとが異なる画像に撮像されている場合でも、その商品について商品情報とサービス情報との対応付けを行う。本実施形態の情報処理装置２０００は、例えば図１２に示すように、商品情報シンボルとサービス情報シンボルを同時に撮像することが難しい状況を想定している。図１２は、１つの商品を異なる角度から撮像した様子を例示する図である。図１２の商品２０は、上面（面２１）に値引きシール８０が付されており、底面（面２３）にバーコード７０が付されている。

図１２（ａ）は、面２１を見下ろす角度から商品２０を撮像した様子を表している。この場合、面２１に付されている値引きシール８０は写っているものの、面２３に付されているバーコード７０は写っていない。一方、図１２（ｂ）は、面２３を見下ろす角度から商品２０を撮像した様子を表している。この場合、面２３に付されているバーコード７０は写っているものの、面２１に付されている値引きシール８０は写っていない。

このように、上面と底面のように同時に撮像することが難しい２つの面にバーコード７０と値引きシール８０とが分かれて付されている場合、１つの商品画像から商品情報シンボルとサービス情報シンボルの双方を検出することは難しい。また、バーコード７０と値引きシール８０が同一面上の離れた位置に付されている場合にも、１つの商品画像から商品情報シンボルとサービス情報シンボルの双方を検出することが難しいことがある。本実施形態の情報処理装置２０００は、このような状況に対処するために、１つの商品について商品情報シンボルとサービス情報シンボルとが異なる画像に撮像されている場合に、その商品について商品情報とサービス情報との対応付けを行う。

具体的には、本実施形態の対応付け部２１００は、１）第１の商品画像内の第１の商品領域に商品情報シンボルが撮像されており、２）第１の商品画像とは異なる第２の商品画像内の第２の商品領域にサービス情報シンボルが表示されており、かつ３）第１の商品領域と第２の商品領域が１つの商品を表している場合、その商品情報シンボル領域が表す商品情報シンボルに対応する商品情報と、そのサービス情報シンボル領域が表すサービス情報シンボルに対応するサービス情報とを対応付ける。

ここで、第１の商品領域が表す商品と第２の商品領域が表す商品が１つの商品であることは、例えば次のように割り出すことができる。まず、商品画像を撮像する撮像部７が、繰り返し画像を撮像するように構成されているとする。例えば撮像部７は動画を構成する複数の画像を順次撮像していく。そして、対応付け部２１００は、繰り返し撮像されている複数の画像から、画像をまたがって撮像されている１つの商品を認識する。画像をまたがって撮像されている１つの商品を認識する方法は様々である。例えば、ある画像において検出された商品領域を複数の画像にまたがってトラッキングする方法がある。また例えば、複数の画像について同じ又は類似する特徴量を持つ商品領域が特定された場合に、それらの商品領域が１つの商品を表しているとみなしてもよい。また、所定時間以内に撮像された画像に含まれる商品領域は同じ商品を表していると見なしてもよい。さらに、複数の撮像装置を用いて商品画像を撮像し、各商品画像に同じ又は類似する特徴量を持つ商品領域が検出された場合に、それらの商品領域が１つの商品を表していると見なしてもよい。ただし、画像をまたがって撮像されている１つの商品を認識する方法は、上記の方法に限定されない。複数の画像にまたがって撮像されているオブジェクトを１つのオブジェクトであると認識する手法には様々な既知の手法があり、対応付け部２１００はこれら様々な手法を利用できる。ここで、既知の手法についての詳細な説明は省略する。

また、対応付け部２１００は、商品が写っていない画像が現れた場合、対象の商品が切り替わったと見なしてもよい。例えば、商品が写っていない画像１、商品が写っている画像２から画像５、商品が写っていない画像６の順に画像が撮像されたとする。この場合、対応付け部２１００は、画像２から画像５に含まれる商品領域は１つの商品を表しているとみなす。ここで、対応付け部２１００は、商品が繰り返し撮像された時間が短い場合に、撮像された画像に含まれる商品領域が１つの商品を表すとみなすようにしてもよい。例えば対応付け部２１００は、商品が写っている画像が繰り返し撮像された時間が１秒以内である場合に、撮像された画像に含まれる商品が１つの商品を表すとみなす。この場合、商品が写っている画像が１秒より長い間繰り返し撮像された場合、例えば対応付け部２１００は、前述したトラッキング等の手法を利用する。

例えば図１２に示す商品２０の場合、図１２（ａ）で表されている状態から商品２０を裏返して図１２（ｂ）の状態にするまでの一連の流れを、撮像部７が動画として撮像する。そして、情報処理装置２０００は、撮像された動画をトラッキング等することにより、図１２の商品領域９０−ａと商品領域９０−ｂが１つの商品を表す商品領域であることが分かる。そして、対応付け部２１００は、商品領域９０−ａの内部にある値引きシール８０と、商品領域９０−ｂの内部にあるバーコード７０とを対応付ける。

＜処理の流れ＞
図１３は、実施形態３の情報処理装置２０００によって実行される処理の流れを例示するフローチャートである。ステップＳ３０２において、情報処理装置２０００は、変数 x を０に初期化する。ここで、x は商品に割り振る ID である。

ステップＳ３０４において、画像取得部２０２０は、商品画像を取得する。ステップＳ３０６において、商品領域特定部２０４０は、商品画像から商品領域を特定する。なお、フローチャートを簡潔にするため、図１３における処理の流れは、１つの商品画像に含まれる商品領域が１つであることを前提としている。１つの商品画像に複数の商品領域が含まれる場合、情報処理装置２０００は、ステップＳ３０８以降の処理を商品領域ごとに行う。

ステップＳ３０８において、商品領域特定部２０４０は、特定された商品領域によって表される商品が既に検出されたものであるか否かを判定する。ここで、「商品が既に検出されたものである」とは、「同種類の異なる商品が検出されている」という状況は含まない。特定された商品領域によって表される商品がまだ検出されていないものである場合（ステップＳ３０８：ＮＯ）、図１３の処理はステップＳ３１０に進む。一方、特定された商品領域によって表される商品が既に検出されたものである場合（ステップＳ３０８：ＹＥＳ）、図１３の処理はステップＳ３１８に進む。

ステップＳ３１０において、商品領域特定部２０４０は、検出された商品を特定する情報を I[x] に入れる。ここで、I[x] は、ID として x を割り振った商品に関する情報を格納するデータ領域である。ステップＳ３１２において、商品領域特定部２０４０は、I[x].ItemInfSymbol を０に初期化する。I[x].ItemInfSymbol は、x で特定される商品について、商品領域内に含まれる商品情報シンボルを特定する情報を格納するデータ領域である。ステップＳ３１４において、商品領域特定部２０４０は、I[x].ServInfSymbol を０に初期化する。I[x].ServInfSymbol は、x で特定される商品について、商品領域内に含まれるサービス情報シンボルを特定する情報を格納するデータ領域である。ステップＳ３１６において、商品領域特定部２０４０は x の値に１を加算する。

ステップＳ３１８において、商品情報シンボル検出部２０６０は、特定された商品領域について商品情報シンボルの検出処理を行う。ステップＳ３２０において、商品情報シンボル検出部２０６０は、商品領域内で商品情報シンボルが検出されたか否かを判定する。商品領域内で商品情報シンボルが検出された場合（ステップＳ３２０：ＹＥＳ）、図１３の処理はステップＳ３２２に進む。一方、商品領域内で商品情報シンボルが検出されなかった場合（ステップＳ３２０：ＮＯ）、図１３の処理はステップＳ３２４に進む。

ステップＳ３２２において、商品情報シンボル検出部２０６０は、I[x].ItemInfSymbol に検出された商品情報シンボルを特定する情報を格納する。

ステップＳ３２４において、サービス情報シンボル検出部２０８０は、特定された商品領域についてサービス情報シンボルの検出処理を行う。ステップＳ３２６において、サービス情報シンボル検出部２０８０は、商品領域内でサービス情報シンボルが検出されたか否かを判定する。商品領域内でサービス情報シンボルが検出された場合（ステップＳ３２６：ＹＥＳ）、図１３の処理はステップＳ３２８に進む。一方、商品領域内で商品情報シンボルが検出されなかった場合（ステップＳ３２６：ＮＯ）、図１３の処理はステップＳ３３０に進む。

ステップＳ３２８において、サービス情報シンボル検出部２０８０は、I[x].ServInfSymbol に検出されたサービス情報シンボルを特定する情報を格納する。

ステップＳ３３０において、対応付け部２１００は、「I[x].ItemInfSymbol≠０であり、かつ I[x].ServInfSymbol≠０である」という条件が満たされているか否かを判定する。この条件は、「商品情報シンボルとサービス情報シンボルの双方が検出されている」ということを意味している。上記条件が満たされている場合、図１３の処理はステップＳ３３２に進む。一方、この条件が満たされていない場合、図１３の処理はステップＳ３０４に進む。

ステップＳ３３２において、対応付け部２１００は、I[x].ItemInfSymbol で特定される商品情報シンボルに対応する商品情報と、I[x].ServInfSymbol で特定されるサービス情報シンボルに対応するサービス情報とを対応付ける。そして、図１３の処理はステップＳ３０４に進む。

ステップＳ３０４に進むと、さらに次の商品画像が取得され、上述の処理が繰り返される。

＜作用・効果＞
本実施形態によれば、１つの商品に付されている商品情報シンボルとサービス情報シンボルを同時に撮像できない場合であっても、その商品に付されている商品情報シンボルに対応する商品情報と、サービス情報シンボルに対応するサービス情報とを対応付けることできる。そのため、情報処理装置２０００の利便性が向上する。

また、商品情報シンボルとサービス情報シンボルを同時に撮像できなければいけない場合、商品情報シンボルとサービス情報シンボルの位置関係に制限がある。そのため、商品情報シンボルやサービス情報シンボルを店員等が付す場合、その店員等は、商品情報シンボルとサービス情報シンボルとの位置関係を意識しながら作業をしなければいけない。これに対し、本実施形態の情報処理装置２０００によれば、商品情報シンボルとサービス情報シンボルとの位置関係に上述のような制限がない。そのため、店員等が行う作業の労力を減らすことができる。

[実施例]
以下に複数の実施例を挙げ、上述の各実施形態を更に詳細に説明する。本発明は以下の各実施例から何ら限定を受けない。

＜実施例１＞
図１４は、ＰＯＳレジスタ装置の構成例を示す図である。図１４に示されるように、実施例１は、上述の情報処理装置２０００及び商品画像提示方法が、ＰＯＳ（Point Of Sale）レジスタ装置３０に適用された例を示す。実施例１におけるＰＯＳレジスタ装置３０は、チェッカ装置３１及びキャッシャ装置４１から構成される。チェッカ装置３１は、商品を精算対象に登録し、精算対象商品の情報をキャッシャ装置４１に送る。キャッシャ装置４１は、精算対象の商品の決済処理を行う。精算対象は、チェッカ装置３１及びキャッシャ装置４１のいずれにおいても登録可能である。

実施例１におけるチェッカ装置３１及びキャッシャ装置４１は、図１と同様に、CPU１、メモリ２、入出力Ｉ／Ｆ３及び通信部４等を有する。上述の情報処理装置２０００は、チェッカ装置３１及びキャッシャ装置４１のいずれにも適用可能であり、上述の商品画像提示方法は、チェッカ装置３１及びキャッシャ装置４１のいずれでも実行可能である。

上述の表示部５は、タッチパネルユニット３２の表示部３２ａ及び表示部４２の少なくとも一方に相当する。上述の入力部６は、タッチパネルユニット３２のタッチパネル３２ｂ及びキーボード３３、並びに、キーボード４３の少なくとも１つに相当する。上述の撮像部７は、スキャナ装置３４に相当する。スキャナ装置３４は、読取窓３６にかざされた商品の外観を映し出す商品画像を撮像する。上述の集音部８は、例えば、チェッカ装置３１における部材３５、ＰＯＳレジスタ装置３０のオペレータ等に装着される。

実施例１によれば、ＰＯＳレジスタ装置３０のオペレータは、商品を清算対象に登録するにあたり、その商品を読取窓３６にかざす。これにより、その商品の商品画像が撮像され、その商品について、商品情報とサービス情報との対応付けが行われる。その結果、商品は、サービスと対応付けられて精算対象に登録される。

なお、実施形態２で説明したように複数の商品を１つの商品画像に写す場合、例えばオペレータは、複数の商品を同時に読取窓３６にかざす。また、スキャナ装置３４を部材３５等に設置することで、スキャナ装置３４が作業台３７を上から撮像するようにしてもよい。この場合、例えばオペレータは、複数の商品を作業台３７上に置いてスキャナ装置３４を動作させる。また、スキャナ装置３４をオペレータが手で保持できる形態の物として構成してもよい。この場合、オペレータは作業台３７の上などに置いた複数の商品を所望の角度から撮像することで、各商品の商品情報シンボルとサービス情報シンボルを撮像することができる。

また、実施形態３で説明したように１つの商品に付されている商品情報シンボルとサービス情報シンボルを同時に撮像できない場合、例えばオペレータは、角度を変えながら商品を読取窓３６にかざすことで、その商品に付された商品情報シンボルとサービス情報シンボルの双方を撮像する。また、上述したようにスキャナ装置３４をオペレータが手で保持できる形態にしてもよい。この場合、例えばオペレータは、スキャナ装置３４の位置を変えながら１つの商品を撮像することで、その商品に付された商品情報シンボルとサービス情報シンボルの双方を撮像することができる。

実施例１では、図１４に示されるように、ＰＯＳレジスタ装置３０がチェッカ装置３１及びキャッシャ装置４１を有したが、ＰＯＳレジスタ装置３０は、キャッシャ装置４１のみで構成されてもよい。この場合、キャッシャ装置４１が、スキャナ装置３４を有していればよい。

＜実施例２＞
図１５は、ＰＯＳシステムの構成例を示す図である。図１５に示されるように、実施例２は、上述の情報処理装置２０００及び商品画像提示方法が、ＰＯＳシステム５０に適用された例を示す。実施例２におけるＰＯＳシステム５０は、サーバ装置５１及び店舗側構成５２から構成され、サーバ装置５１と店舗側構成５２とは、通信網５３により通信可能に接続される。店舗側構成５２には、通信中継装置を介して通信網５３に接続可能な店舗端末５４、スタンド５５等が含まれる。スタンド５５は、店舗端末５４と、他の機器（ハンディスキャナ、キャッシュドロア、レシートプリンタ等）とを通信可能に接続するための機器である。

店舗端末５４は、ＰＣ（Personal Computer）、ノートＰＣ、タブレット型端末、スマートフォン等のような汎用コンピュータであり、サーバ装置５１との間でデータのやり取りをすることにより、上述のＰＯＳレジスタ装置３０と同様の機能を実現する。店舗端末５４は、タッチパネルユニット５６、撮像部５７、マイクロフォン（図示せず）等を有する。上述の表示部５は、タッチパネルユニット５６の表示部に相当する。上述の入力部６は、タッチパネルユニット５６のタッチパネルに相当する。上述の撮像部７は、撮像部５７に相当する。上述の集音部８は、店舗端末５４に内蔵されるマイクロフォンに相当する。

サーバ装置５１は、一般的なサーバコンピュータであり、ＷＥＢサーバ、アプリケーションサーバ等として実現される。店舗端末５４及びサーバ装置５１は、図３と同様に、CPU１、メモリ２、入出力Ｉ／Ｆ３及び通信部４等を有する。

上述の情報処理装置２０００は、店舗端末５４のみ、又はサーバ装置５１と店舗端末５４との組み合わせとして実現され得る。情報処理装置２０００の一部をサーバ装置５１で実現する場合、例えば対応付け部２１００がサーバ装置５１で実現され、その他の処理部が店舗端末５４で実現される。

実施例２によれば、店舗端末５４のオペレータは、商品を清算対象に登録するにあたりその商品を撮像部５７にかざすことで、その商品に関する商品情報とサービス情報とを対応付けることができる。その結果として、適用されるサービスと対応付けて商品を清算対象に登録することができる。清算時だけでなく、例えば顧客から「サービス適用後の商品の価格はいくらなのか」といった質問をされた場合に、店舗端末５４のオペレータは、同様の作業を行う。これにより、その商品の商品情報とサービス情報との対応付けを行い、その結果、サービス適用後の商品の価格などに関する情報を顧客に教えることができる。

＜実施例３＞
上述の情報処理装置２０００及び商品画像提示方法は、ＰＯＳレジスタ装置３０及びＰＯＳシステム５０のみに適用可能なわけではなく、様々な装置に適用可能である。例えば、上述の情報処理装置２０００及び制御方法は、一般ユーザに利用されるＰＣやスマートデバイスのような汎用コンピュータに適用されてもよい。この場合、ユーザは、手に取った商品について、サービス適用後の価格などを把握したい場合に、その商品をそのコンピュータの撮像部で撮影することにより、その商品に対してサービスが適用された後の価格などを見ることができる。

［実施形態４］
図１６は、実施形態４に係る情報処理装置２０００を示すブロック図である。図１６において、矢印は情報の流れを表している。さらに、図１６において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。

情報処理装置２０００は、商品領域特定部２０４０、商品情報シンボル検出部２０６０、サービス情報シンボル検出部２０８０、及び対応付け部２１００を有する。商品領域特定部２０４０は、商品画像から商品領域を特定する。商品情報シンボル検出部２０６０は、商品画像から商品情報シンボルを検出する。サービス情報シンボル検出部２０８０は、商品画像からサービス情報シンボルを検出する。対応付け部２１００は、１つの商品を表す商品領域の内部に含まれている商品情報シンボル及びサービス情報シンボルについて、その商品情報シンボルに対応する商品情報と、そのサービス情報シンボルに対応するサービス情報とを対応付ける。

ここで、実施形態４の商品領域特定部２０４０、商品情報シンボル検出部２０６０、サービス情報シンボル検出部２０８０、対応付け部２１００が実行する処理の詳細はそれぞれ、実施形態１の商品領域特定部２０４０、商品情報シンボル検出部２０６０、サービス情報シンボル検出部２０８０、対応付け部２１００と同様である。

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。

１ CPU
２ メモリ
３ 入出力I/F
４ 通信部
５ 表示部
６ 入力部
７ 撮像部
８ 集音部
１０ 商品画像
２０ 商品
２１、２２、２３ 面
３０ ＰＯＳレジスタ装置
３１ チェッカ装置
３２ タッチパネルユニット
３２ａ 表示部
３２ｂ タッチパネル
３３ キーボード
３４ スキャナ装置
３５ 部材
３６ 読取窓
３７ 作業台
４１ キャッシャ装置
４２ 表示部
４３ キーボード
５０ ＰＯＳシステム
５１ サーバ装置
５２ 店舗側構成
５３ 通信網
５４ 店舗端末
５５ スタンド
５６ タッチパネルユニット
５７ 撮像部
６０ 商品画像
７０ バーコード
８０ 値引きシール
９０ 商品領域
１００、１１０ 領域
２００ 商品情報テーブル
２０２ 商品情報ＩＤ
２０４ 商品名
２０６ 価格
２０８ 特徴量
３００ サービス情報テーブル
３０２ サービス情報ＩＤ
３０４ サービス内容
３０６ 特徴量
４００ 対応付け情報テーブル
４０２ 商品情報ＩＤ
４０４ サービス情報ＩＤ
２０００ 情報処理装置
２０２０ 画像取得部
２０４０ 商品領域特定部
２０６０ 商品情報シンボル検出部
２０８０ サービス情報シンボル検出部
２１００ 対応付け部

Claims (9)

1. 取得した画像から商品を表す商品領域を特定する商品領域特定手段と、
   画像から商品情報シンボルを検出する商品情報シンボル検出手段と、
   画像からサービス情報シンボルを検出するサービス情報シンボル検出手段と、
   １つの商品を表す商品領域の内部に含まれている前記商品情報シンボル及び前記サービス情報シンボルについて、その商品情報シンボルに対応する商品情報と、そのサービス情報シンボルに対応するサービス情報との対応付けを行う対応付け手段と、
   を有する情報処理装置。
2. 前記商品領域特定手段は、画像に複数の商品が含まれる場合、各商品を表す商品領域をそれぞれ特定し、
   前記対応付け手段は、特定された商品領域のうち、前記商品情報シンボルと前記サービス情報シンボルの双方を含む商品領域について、前記対応付けを行う請求項１に記載の情報処理装置。
3. 当該情報処理装置は、複数の画像を取得し、
   前記対応付け手段は、第１の画像内の商品情報シンボル領域を含む第１の商品領域と、前記第１の画像とは別の第２の画像内のサービス情報シンボル領域を含む第２の商品領域とが、１つの商品を表す場合、その商品情報シンボル領域が表す商品情報シンボルに対応する商品情報と、そのサービス情報シンボル領域が表すサービス情報シンボルに対応するサービス情報とを対応付ける請求項１又は２に記載の情報処理装置。
4. コンピュータによって実行される制御方法であって、
   画像から商品を表す商品領域を特定する商品領域特定ステップと、
   画像から商品情報シンボルを検出する商品情報シンボル検出ステップと、
   画像からサービス情報シンボルを検出するサービス情報シンボル検出ステップと、
   １つの商品を表す商品領域の内部に含まれている前記商品情報シンボル及び前記サービス情報シンボルについて、その商品情報シンボルに対応する商品情報と、そのサービス情報シンボルに対応するサービス情報との対応付けを行う対応付けステップと、
   を有する制御方法。
5. 前記商品領域特定ステップは、画像に複数の商品が含まれる場合、各商品を表す商品領域をそれぞれ特定し、
   前記対応付けステップは、特定された商品領域のうち、前記商品情報シンボルと前記サービス情報シンボルの双方を含む商品領域について、前記対応付けを行う請求項４に記載の制御方法。
6. 複数の画像を取得する画像取得ステップを有し、
   前記対応付けステップは、第１の画像内の商品情報シンボル領域を含む第１の商品領域と、前記第１の画像とは別の第２の画像内のサービス情報シンボル領域を含む第２の商品領域とが、１つの商品を表す場合、その商品情報シンボル領域が表す商品情報シンボルに対応する商品情報と、そのサービス情報シンボル領域が表すサービス情報シンボルに対応するサービス情報とを対応付ける請求項４又は５に記載の制御方法。
7. コンピュータに、
   画像から商品を表す商品領域を特定する商品領域特定機能と、
   画像から商品情報シンボルを検出する商品情報シンボル検出機能と、
   画像からサービス情報シンボルを検出するサービス情報シンボル検出機能と、
   １つの商品を表す商品領域の内部に含まれている前記商品情報シンボル及び前記サービス情報シンボルについて、その商品情報シンボルに対応する商品情報と、そのサービス情報シンボルに対応するサービス情報との対応付けを行う対応付け機能と、
   を持たせるプログラム。
8. 前記商品領域特定機能は、画像に複数の商品が含まれる場合、各商品を表す商品領域をそれぞれ特定し、
   前記対応付け機能は、特定された商品領域のうち、前記商品情報シンボルと前記サービス情報シンボルの双方を含む商品領域について、前記対応付けを行う請求項７に記載のプログラム。
9. 前記コンピュータに、複数の画像を取得する画像取得機能を持たせ、
   前記対応付け機能は、第１の画像内の商品情報シンボル領域を含む第１の商品領域と、前記第１の画像とは別の第２の画像内のサービス情報シンボル領域を含む第２の商品領域とが、１つの商品を表す場合、その商品情報シンボル領域が表す商品情報シンボルに対応する商品情報と、そのサービス情報シンボル領域が表すサービス情報シンボルに対応するサービス情報とを対応付ける請求項７又は８に記載のプログラム。

Images