JP2019168818A - 商品情報取得装置、商品情報取得方法、およびプログラム - Google Patents

Abstract

【課題】顧客の欲する商品に関する情報を容易に特定する技術を提供する。【解決手段】商品情報取得装置１０は、複数の商品の情報が表示された表示媒体２０と、指示オブジェクトＯＢＪとを含む画像Ｐを取得する画像取得部１１０と、画像Ｐの中での指示オブジェクトＯＢＪの位置に基づいて、複数の商品の中で当該指示オブジェクトＯＢＪが指し示す商品である対象商品を認識する対象商品認識部１２０と、対象商品の商品識別情報を取得する商品情報取得部１３０と、を備える。【選択図】図１

Description

本発明は、店舗の業務を支援する技術に関する。

画像を解析することによって店舗の業務を支援する技術の一例が、下記特許文献１乃至３に開示されている。下記特許文献１には、カメラ部により撮像された紙カタログの画像を解析することによって当該紙カタログの画像内の商品を識別し、識別した商品の注文処理を行う技術が開示されている。また、下記特許文献２には、ＰＯＳ（Point of Sale）システムに登録されていない商品（未登録商品）の画像を、その商品の担当者の端末に送信し、その商品の価格といった情報を担当者の端末から受け付ける技術が開示されている。また、下記特許文献３には、購入者の金融取引の金融取引カードに関する情報を、撮影した写真の解析結果を基にシステムに入力することが開示されている。

特開２０１３−２３５４７８号公報 再表ＷＯ２０１４／０２７４３０号公報 特表２０１４−５０４４１４号公報

小売店等の店舗に設けられた店舗装置において様々な業務が行われているが、これらの業務の多くにおいて顧客の欲する商品に関する情報が必要となる。顧客の欲する商品に関する情報を容易に特定することができれば、店舗装置を用いて行う業務を円滑に進めることができる。

本発明は、上記の課題に鑑みてなされたものである。本発明の目的の一つは、顧客の欲する商品に関する情報を容易に特定する技術を提供することである。

本発明の商品情報取得装置は、
複数の商品の情報が表示された表示媒体と、指示オブジェクトとを含む画像を取得する画像取得手段と、
前記画像の中での前記指示オブジェクトの位置に基づいて、前記複数の商品の中で当該指示オブジェクトが指し示す商品である対象商品を認識する対象商品認識手段と、
前記対象商品の商品識別情報を取得する商品識別情報取得手段と、
を備える。

本発明の商品情報取得方法は、
コンピュータが、
複数の商品の情報が表示された表示媒体と、指示オブジェクトとを含む画像を取得し、
前記画像の中での前記指示オブジェクトの位置に基づいて、前記複数の商品の中で当該指示オブジェクトが指し示す商品である対象商品を認識し、
前記対象商品の商品識別情報を取得する、
ことを含む。

本発明のプログラムは、コンピュータに、上述の商品情報取得方法を実行させる。

本発明によれば、客の欲する商品に関する情報を容易に特定することが可能となる。

第１実施形態における商品情報取得装置の機能構成を概念的に例示する図である。 表示媒体に記載される内容の一例を示す図である。 商品情報取得装置のハードウエア構成を例示するブロック図である。 第１実施形態の商品情報取得装置により実行される処理の流れを例示するフローチャートである。 第２実施形態における商品情報取得装置の機能構成を概念的に示す図である。 商品情報記憶部に記憶される情報の一例を示す図である。 第２実施形態の変形例における商品情報取得装置の機能構成を例示する図である。 第３実施形態における商品情報取得装置の機能構成を概念的に示す図である。 第３実施形態における商品情報取得装置のハードウエア構成を例示する図である。 売場情報記憶部に記憶される情報の一例を示す図である。 第３実施形態における商品情報取得装置のハードウエア構成を例示する図である。 第４実施形態の対象商品認識部がディスプレイに出力する情報の一例を示す図である。

以下、本発明の実施形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、特に説明する場合を除き、各ブロック図において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。

［第１実施形態］
〔機能構成例〕
図１は、第１実施形態における商品情報取得装置１０の機能構成を概念的に例示する図である。図１に示されるように、本実施形態の商品情報取得装置１０は、画像取得部１１０、対象商品認識部１２０、および商品情報取得部１３０を有する。

画像取得部１１０は、表示媒体２０および指示オブジェクトＯＢＪが含まれている画像Ｐを取得する。ここで、表示媒体２０は、例えば、複数の商品の情報を載せている媒体である。具体的な例として、表示媒体２０は、カタログ、商品チラシ、商品パンフレットなどである。また、表示媒体２０に表示されている商品の情報は、その商品を識別可能な情報を含んでいる。具体的な例として、表示媒体２０に表示されている商品の情報は、例えば、商品ＩＤ（Identifier）や商品の名称といった文字情報、または、商品の外観を示す商品画像を含んでいる。また、指示オブジェクトＯＢＪは、表示媒体２０に記載されている複数の商品のうち、対象とする商品を指し示す物体あるいは印である。具体的な例として、指示オブジェクトＯＢＪは、人間の手や指、特定の色または模様を有する棒などの物体、付箋などの表示媒体２０に貼り付けられた物体、赤いペンでの書込みといった表示媒体２０に直接書き込まれた印などである。図１では、指示オブジェクトＯＢＪとして、人物の指が例示されている。

対象商品認識部１２０は、画像取得部１１０により取得された画像Ｐの中の指示オブジェクトＯＢＪの位置に基づいて、対象商品を認識する。ここで、対象商品とは、表示媒体２０に載っている複数の商品の中で当該指示オブジェクトＯＢＪが指し示す商品である。対象商品認識部１２０は、例えば以下のようにして、指示オブジェクトＯＢＪが指し示す対象商品を認識することができる。まず、対象商品認識部１２０は、表示媒体２０に表示されている複数の商品それぞれに対応する領域を識別する。一例として、表示媒体２０に商品の外観画像が含まれている場合、対象商品認識部１２０は、エッジ特徴量などから各商品の領域を識別することができる。他の一例として、表示媒体２０において、複数の商品それぞれの近傍に商品の領域の基準点を示す印が含まれているとする（例：図２）。図２は、表示媒体２０に記載される内容の一例を示す図である。この場合、対象商品認識部１２０は、商品の基準点を示す印Ａを基準とした一定の範囲Ｂを各商品の領域を識別することができる。そして、対象商品認識部１２０は、各商品の領域の識別結果と指示オブジェクトＯＢＪとの位置関係に基づいて、当該指示オブジェクトＯＢＪが指し示す商品（対象商品）を認識することができる。例えば、対象商品認識部１２０は、指示オブジェクトＯＢＪの先端（例えば、指の先など）と各商品の領域の重心とを比較し、最も近い領域に対応する商品を対象商品として認識することができる。

なお、対象商品認識部１２０は、画像Ｐの中の人物の手または指を指示オブジェクトＯＢＪとして認識することができる。例えば、対象商品認識部１２０は、機械学習により構築された物体識別エンジン或いはパターンマッチング技術を利用して、画像Ｐの中から人物の手または指を指示オブジェクトＯＢＪとして認識することができる。または、対象商品認識部１２０は、人物の手や指を認識する場合と同様にして、特定の色または模様を有する棒などの物体を指示オブジェクトＯＢＪとして認識してもよい。この場合、対象商品認識部１２０は、手、指、または物体の先端を基準として、その先端が指し示す方向において最も近い領域に位置する商品を対象商品として認識することができる。

また、対象商品認識部１２０は、画像Ｐにおいて、表示媒体２０に後から追加された特定の印を指示オブジェクトＯＢＪとして認識してもよい。この場合、特定の印は、付箋などの表示媒体２０に貼り付けられた物体、または、赤いペンで表示媒体２０に直接書込こまれた丸い印などである。この場合、対象商品認識部１２０は、例えば付箋や丸印などを識別できるように事前に学習させた物体識別エンジンを用いて、表示媒体２０に貼り付けられた付箋や表示媒体２０に書き込まれた丸い印などを、指示オブジェクトＯＢＪとして認識することができる。この場合、対象商品認識部１２０は、当該印によって囲まれた領域の内部に位置する商品を、対象商品として認識することができる。

その他にも、表示媒体２０を使った商品の注文時に、対象商品認識部１２０が指示オブジェクトＯＢＪを認識するための所定の予備動作が実行されてもよい。この予備動作は、例えば、表示媒体２０の中で予め決められた特定エリア（例えば、表示媒体２０の左隅や中央など）を指示オブジェクトＯＢＪで指し示す動作などである。なおこの場合において、特定エリアがどこに位置しているかを分かり易く示す特殊な印や文字（例えば、「まずここを指してください」など）が、表示媒体２０の中の特定エリアに対応する場所に描かれていてもよい。

一例として、この予備動作は、表示媒体２０上で商品を指し示す前に実行される。この場合において、対象商品認識部１２０は例えば次のように動作する。まず、対象商品認識部１２０は、画像取得部１１０により取得された画像を解析することによって特定エリアを指し示す物体（指示オブジェクトＯＢＪ）を検出する。例えば、対象商品認識部１２０は、特定エリアを指示オブジェクトＯＢＪで指し示す前後の画像の差分を用いて、特定エリアを指し示す物体を検出することができる。そして、対象商品認識部１２０は、検出した物体から、指示オブジェクトＯＢＪを認識するための特徴量を抽出する。そして、対象商品認識部１２０は、抽出した特徴量を用いて指示オブジェクトＯＢＪを追跡することで、表示媒体２０上で当該指示オブジェクトＯＢＪによって指し示された対象商品を認識する。

また、対象商品認識部１２０は、画像取得部１１０により取得された画像から指示オブジェクトＯＢＪが検出できなかった場合に、上述の予備動作を実行するように促すメッセージを、図示しないディスプレイやスピーカーを介して出力してもよい。顧客等がこのメッセージに従って予備動作を実行することで、対象商品認識部１２０は、指示オブジェクトＯＢＪを正しく認識できるようになる。

また、どれが対象商品かわかりにくい位置（例えば複数の商品の領域の中間点など）に指示オブジェクトＯＢＪが位置していると、対象商品認識部１２０が対象商品を誤認識してしまう可能性もある。例えば、２つの商品のほぼ中間点に指示オブジェクトＯＢＪが位置した場合を考える。ここで、例えば顧客が対象商品として意図していたのは第１の商品であるにもかかわらず、指示オブジェクトＯＢＪの位置が悪く、第１の商品よりも第２の商品の方が指示オブジェクトＯＢＪに近かったとする。この場合、対象商品認識部１２０は、第２の商品を対象商品として誤って認識してしまう可能性がある。そこで、対象商品認識部１２０は、指示オブジェクトＯＢＪから各商品の領域までの距離をそれぞれ取得し、それらの少なくとも一部について差分が所定の閾値未満である場合に、指示オブジェクトＯＢＪの位置を修正させる処理を実行するように構成されていてもよい。例えば、対象商品認識部１２０は、指示オブジェクトＯＢＪの位置を移動させるように通知するメッセージなどを、図示しないディスプレイやスピーカーを介して出力するように構成されていてもよい。

商品情報取得部１３０は、対象商品認識部１２０によって認識された対象商品の商品識別情報を取得する。商品識別情報は、例えば、商品別に割り当てられた商品ＩＤ、商品の名称、商品の外観を示す商品画像など、その商品を識別可能な情報である。一例として、対象商品認識部１２０により対象商品の領域として識別された領域に、商品ＩＤや商品名称といった文字情報が含まれていたとする。この場合、商品情報取得部１３０は、ＯＣＲ（Optical Character Recognition）技術などを用いて画像内に含まれる文字情報をテキストデータ化することによって、商品ＩＤや商品の名称といった商品識別情報を取得することができる。また、他の一例として、対象商品認識部１２０により対象商品の領域として識別された領域に、その対象商品の商品画像が含まれていたとする。この場合、商品情報取得部１３０は、対象商品の商品画像または当該商品画像から抽出される画像特徴量を、商品識別情報として取得することができる。

〔ハードウエア構成例〕
商品情報取得装置１０の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、商品情報取得装置１０の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。

図３は、商品情報取得装置１０のハードウエア構成を例示するブロック図である。商品情報取得装置１０は、バス１０１０、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０を有する。

バス１０１０は、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０２０などを互いに接続する方法は、バス接続に限定されない。

プロセッサ１０２０は、ＣＰＵ（Central Processing Unit） やＧＰＵ（Graphics Processing Unit）などで実現されるプロセッサである。

メモリ１０３０は、ＲＡＭ（Random Access Memory）などで実現される主記憶装置である。

ストレージデバイス１０４０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、又はＲＯＭ（Read Only Memory）などで実現される補助記憶装置である。ストレージデバイス１０４０は商品情報取得装置１０の各機能（画像取得部１１０、対象商品認識部１２０、商品情報取得部１３０など）を実現するプログラムモジュールを記憶している。プロセッサ１０２０がこれら各プログラムモジュールをメモリ１０３０上に読み込んで実行することで、そのプログラムモジュールに対応する各機能が実現される。

入出力インタフェース１０５０は、商品情報取得装置１０と各種入出力デバイスとを接続するためのインタフェースである。入出力インタフェース１０５０には、撮像装置３０が接続されている。撮像装置３０は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを搭載するカメラである。撮像装置３０は、例えば図１に示されるように、表示媒体２０と指示オブジェクトＯＢＪとを含む画像Ｐを生成する。商品情報取得装置１０は、入出力インタフェース１０５０を介して、撮像装置３０により生成された画像Ｐを取得することができる。また、入出力インタフェース１０５０には、マウスやキーボードなどの入力装置、スピーカーやディスプレイなどの出力装置が更に接続されていてもよい。なお、ディスプレイは、タッチパネル機能を備えたタッチパネルディスプレイであってもよい。

ネットワークインタフェース１０６０は、商品情報取得装置１０をネットワークに接続するためのインタフェースである。このネットワークは、例えばＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）である。ネットワークインタフェース１０６０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。

なお、商品情報取得装置１０のハードウエア構成は図３に例示される構成に限定されない。例えば、入出力インタフェース１０５０には、撮像装置３０のほか、店舗の業務で利用するその他の装置が接続されていてもよい。店舗の業務で利用するその他の装置とは、例えば、バーコードスキャナ、キャッシャ、ドロワ、自動釣銭機、レシートプリンタなどである。また、撮像装置３０、入力装置、出力装置、および、店舗の業務で利用するその他の装置は、ネットワークインタフェース１０６０を介して、商品情報取得装置１０と接続されていてもよい。

〔処理の流れ〕
図４を用いて、本実施形態の商品情報取得装置１０により実行される処理の流れについて説明する。図４は、第１実施形態の商品情報取得装置１０により実行される処理の流れを例示するフローチャートである。

まず、画像取得部１１０は、表示媒体２０と指示オブジェクトＯＢＪとが写っている画像を取得する（Ｓ１０２）。ここでは、表示媒体２０と指示オブジェクトＯＢＪとが写っている画像を画像取得部１１０が取得できるようにするため、例えば、店員が、表示媒体２０を撮像装置３０にかざしつつ所望の商品を指し示すように顧客に依頼する。あるいは、商品情報取得装置１０が、図示しないディスプレイやスピーカー等を用いて、ユーザに表示媒体２０を撮像装置３０にかざしつつ、所望の商品を指し示すように促すメッセージを出力してもよい。

そして、対象商品認識部１２０は、Ｓ１０２の処理で取得された画像を解析することによって、指示オブジェクトＯＢＪの位置を検出する（Ｓ１０４）。また、対象商品認識部１２０は、Ｓ１０２の処理で取得された画像を解析することによって、表示媒体２０に表示されている複数の商品のそれぞれに対応する領域を検出する（Ｓ１０６）。そして、対象商品認識部１２０は、指示オブジェクトＯＢＪの検出位置と各商品の検出位置との関係に基づいて、指示オブジェクトＯＢＪが指し示す商品（対象商品）を認識する（Ｓ１０８）。ここで、表示媒体２０および指示オブジェクトＯＢＪが写る複数の画像（例えば動画）が取得される場合、対象商品認識部１２０は、指示オブジェクトＯＢＪが基準時間以上指示した領域の商品を、対象商品として認識することができる。これにより、顧客等が表示媒体２０上で指示オブジェクトＯＢＪを移動させている画像が得られた場合に、対象商品が誤って認識されることを防止できる。なお、基準時間は、対象商品認識部１２０の機能を実現するプログラムモジュール内で予め定義しておくことができる。

商品情報取得部１３０は、Ｓ１０８で認識された対象商品の商品識別情報を取得する（Ｓ１１０）。例えば、対象商品として認識された商品の領域に、商品名や商品ＩＤなどの文字情報が含まれていたとする。この場合、商品情報取得部１３０は、その商品名や商品ＩＤなどをＯＣＲ技術によってテキストデータ化し、その対象商品の商品識別情報として取得することができる。また例えば、対象商品として認識された商品の領域に、商品の外観を示す商品画像が含まれていたとする。この場合、商品情報取得部１３０は、その商品画像そのもの、または、その商品画像から抽出可能な画像特徴量を、その対象商品の商品識別情報として取得することができる。

本実施形態によれば、表示媒体２０上で対象商品（顧客が欲する商品）を指示オブジェクトＯＢＪによって指し示すという簡易な動作で、その対象商品の商品識別情報が取得される。そして、このように取得された商品識別情報を用いて、その対象商品に関する情報が取得可能となる。これにより、例えば後述の各実施形態で示すようなサービスを顧客に提供することが可能となる。

［第２実施形態］
本実施形態では、第１実施形態で説明した商品情報取得装置１０を用いて提供されるサービスの一例について説明する。本実施形態の商品情報取得装置１０は、レジ業務に関するサービスを提供する。

〔機能構成例〕
図５は、第２実施形態における商品情報取得装置１０の機能構成を概念的に示す図である。本実施形態の商品情報取得装置１０は、第１実施形態の構成に加えて、商品登録部１４０および商品情報記憶部１４２を有している。

商品登録部１４０は、商品情報取得部１３０により取得された、対象商品の商品識別情報に基づいて、当該対象商品を購入商品として登録する処理を実行する。言い換えると、商品登録部１４０は、一般的なレジ業務においてバーコードやタッチパネル等を操作する代わりに、表示媒体２０と指示オブジェクトＯＢＪとが写る画像を解析することによって識別された商品を、購入商品として登録する。

〔ハードウエア構成例〕
本実施形態の商品情報取得装置１０は、第１実施形態と同様のハードウエア構成（例：図３）を有する。本実施形態において、ストレージデバイス１０４０は、上述の商品登録部１４０の機能を実現するプログラムモジュールを更に記憶している。プロセッサ１０２０が、これらのプログラムモジュールをメモリ１０３０上に読み出して実行することにより、本実施形態の商品登録部１４０の機能が実現される。また、本実施形態において、ストレージデバイス１０４０は、後述するような商品情報を記憶する装置としても利用され得る。

〔動作例〕
商品登録部１４０は、例えば次のように動作する。商品登録部１４０は、商品情報取得部１３０により取得された商品識別情報を用いて、その商品に関する各種情報（商品情報）を取得する。この商品情報は、商品情報記憶部１４２に予め記憶されている。商品情報記憶部１４２は、例えば、図６に示されるような情報を記憶している。図６は、商品情報記憶部１４２に記憶される情報の一例を示す図である。図６の例において、商品情報記憶部１４２は、例えば、商品ＩＤ、商品の名称、商品の外観を示すサンプル画像または当該サンプル画像の画像特徴量といった情報と対応付けて、商品の価格、商品に適用される特典（例えば、値引きの額や付与されるポイントの数など）といった情報を記憶している。なお、商品情報記憶部１４２は、商品情報取得装置１０または商品情報取得装置１０と通信可能な外部装置（図示せず）に備えられている。そして、商品登録部１４０は、商品情報取得部１３０により取得された、商品ＩＤ、商品名、あるいは、商品画像の画像特徴量といった商品識別情報を用いて、商品の価格や特典情報など、ある商品を購入商品として登録する際に必要な情報を取得することができる。これにより、商品情報取得装置１０は、対象商品認識部１２０により対象商品として認識された商品を購入商品として登録することができる。

以上、本実施形態によれば、表示媒体２０上で所望の商品を指し示すという簡易な動作によって、顧客が所望する商品が購入商品として登録される。これにより、商品を購入するときに行われる作業の負荷を低減させることができる。

特に限定されないが、例えば、サービスカウンターでカタログを使って商品を注文する場合などにおいて、本実施形態の商品情報取得装置１０は有用である。顧客は、カタログに表示された商品を指し示すだけで、注文票などを記入することなく、所望の商品を購入することが可能となる。また、本実施形態の商品情報取得装置１０が一般的なレジカウンターに設けられている場合においても、顧客は、カタログに表示された商品を指し示すだけで、所望の商品を注文することができる。レジカウンターで注文された商品がサービスカウンターなどで受け渡される場合には、商品情報取得装置１０は、商品の受け渡し時の個人認証に用いるための識別番号などが印字されたレシート類を出力してもよい。また、お中元やお歳暮など、顧客が贈答用に商品を購入する場合もある。この場合、商品情報取得装置１０は、任意のタイミングで、顧客を特定する情報（例えば、店舗の会員ＩＤなど）を取得する処理を実行してもよい。商品情報取得装置１０は、顧客を特定する情報に関連付けられている、その顧客の住所を示す情報を、商品の送り主の情報として取得することができる。

なお、本実施形態の商品情報取得装置１０の機能は、購入商品の登録から代金の支払いまでの操作を店員用の装置で行う一般的な方式のみならず、所謂セミセルフ方式やセルフ方式にも適用できる。セミセルフ方式では、商品登録用のレジ装置と代金支払い用の精算装置が別々に設けられている。そして、この商品登録用のレジ装置または代金支払い用の精算装置に、上述の商品情報取得装置１０の機能を持たせることができる。この場合、顧客は、商品登録用のレジ装置が設けられているレジカウンターまたは代金支払い用の精算装置に設けられた撮像装置３０に表示媒体２０をかざして所望の商品を指し示すことにより、その商品を購入することができる。セルフ方式では、購入商品の登録から代金の支払いまでを顧客が操作する装置で行う。そして、この顧客が操作する装置に、上述の商品情報取得装置１０の機能を持たせることができる。この場合、顧客は、顧客が操作する装置に設けられた撮像装置３０に表示媒体２０をかざして所望の商品を指し示すことにより、その商品を購入することができる。

〔第２実施形態の変形例〕
なお、上述の第２実施形態の商品情報取得装置１０を使って注文および購入された商品について、エビデンスを残しておくことが望ましい。本変形例では、商品の購入時に利用した画像を、エビデンスとして保存しておく構成を更に有する。

図７は、第２実施形態の変形例における商品情報取得装置１０の機能構成を例示する図である。図７に示されるように、本変形例における商品情報取得装置１０は、画像保存部１５０を更に有する。

画像保存部１５０は、対象商品として認識された商品が購入商品として登録された場合、画像取得部１１０により取得された画像Ｐを、顧客の情報やその時点での時刻情報と共にストレージデバイス１０４０などの記憶装置に保存する。すなわち、画像保存部１５０は、対象商品を認識するときに用いられた画像Ｐを、ストレージデバイス１０４０などの記憶装置に保存する。画像Ｐには、少なくとも、表示媒体２０、および、顧客が購入した商品を指し示す指示オブジェクトＯＢＪが写っている。よって、画像保存部１５０により保存された画像は、顧客が購入した商品についてのエビデンスとなる情報として利用することができる。

［第３実施形態］
本実施形態では、第１実施形態で説明した商品情報取得装置１０を用いて提供されるサービスの一例について説明する。本実施形態の商品情報取得装置１０は、顧客に商品の売り場を知らせるサービスを提供する。

〔機能構成例〕
図８は、第３実施形態における商品情報取得装置１０の機能構成を概念的に示す図である。本実施形態の商品情報取得装置１０は、第１実施形態の構成に加えて、売場情報出力部１６０および売場情報記憶部１６２を有している。

売場情報出力部１６０は、商品情報取得部１３０により取得された、対象商品の商品別情報に基づいて、その対象商品の売り場を示す情報（売り場情報）を取得する。そして、売場情報出力部１６０は、取得した売り場情報を、図示しないディスプレイやスピーカーといった出力装置を介して出力する。

〔ハードウエア構成例〕
図９は、第３実施形態における商品情報取得装置１０のハードウエア構成を例示する図である。図９に示されるように、本実施形態の商品情報取得装置１０は、入出力インタフェース１０５０を介して出力装置４０と接続されている。出力装置４０は、例えば、ディスプレイやスピーカーなどである。出力装置４０は、売場情報出力部１６０からの指示に従って、売場情報出力部１６０により取得された売り場情報を顧客に向けて通知する。

本実施形態において、ストレージデバイス１０４０は、上述の売場情報出力部１６０の機能を実現するプログラムモジュールを更に記憶している。プロセッサ１０２０が、これらのプログラムモジュールをメモリ１０３０上に読み出して実行することにより、本実施形態の売場情報出力部１６０の機能が実現される。また、本実施形態において、ストレージデバイス１０４０は、後述するような売り場情報を記憶する装置としても利用され得る。

〔動作例〕
売場情報出力部１６０は、例えば次のように動作する。売場情報出力部１６０は、商品情報取得部１３０により取得された商品識別情報を用いて、その商品の売り場情報を取得する。この商品情報は、売場情報記憶部１６２に予め記憶されている。売場情報記憶部１６２は、例えば、図１０に示されるような情報を記憶している。図１０は、売場情報記憶部１６２に記憶される情報の一例を示す図である。図１０の例において、売場情報記憶部１６２は、例えば、商品ＩＤ、商品の名称、商品の外観を示すサンプル画像または当該サンプル画像の画像特徴量と対応付けて、その商品の売り場を示す売り場情報を記憶している。また、図１０に示されるように、売場情報記憶部１６２は、商品の価格、商品に適用される特典（例えば、値引きの額や付与されるポイントの数など）といった情報を更に記憶していてもよい。なお、売場情報記憶部１６２は、商品情報取得装置１０または商品情報取得装置１０と通信可能な外部装置（図示せず）に備えられている。そして、売場情報出力部１６０は、商品情報取得部１３０により取得された、商品ＩＤ、商品名、あるいは、商品画像の画像特徴量といった商品識別情報を用いて、その商品の売り場を示す売り場情報を取得することができる。そして、売場情報出力部１６０は、取得した売り場情報を出力装置４０を介して出力する。例えば、売場情報出力部１６０は、商品情報取得装置１０と接続されたディスプレイ上に、商品の売り場を示すメッセージを表示させることができる。また、売場情報出力部１６０は、商品情報取得装置１０と接続されたスピーカーから、当該メッセージを音声で出力することができる。また、売場情報出力部１６０は、その商品の価格や特典情報に関するメッセージを更に出力することもできる。

以上、本実施形態によれば、顧客が、表示媒体２０上で所望の商品を指し示すという簡易な動作によって、その商品の売り場を知ることができる。

［第４実施形態］
上述の各実施形態において、後のトラブルを回避するために、対象商品認識部１２０の認識結果を顧客や店員が確認できるようにしておくことが好ましい。本実施形態の商品情報取得装置１０は、対象商品認識部１２０の認識結果を店員や顧客が確認できるようにする構成を更に備えている。

〔機能構成〕
本実施形態の商品情報取得装置１０は、上述の各実施形態と同様の機能構成を有する。また、本実施形態の対象商品認識部１２０は、対象商品の認識結果を図示しないディスプレイに出力する。

〔ハードウエア構成例〕
図１１は、第３実施形態における商品情報取得装置１０のハードウエア構成を例示する図である。図１１に示されるように、本実施形態の商品情報取得装置１０は、入出力インタフェース１０５０を介してディスプレイ５０と接続されている。ディスプレイ５０は、顧客または店員に対して、対象商品認識部１２０による対象商品の認識結果を出力するための装置である。

本実施形態において、ストレージデバイス１０４０は、上述の対象商品認識部１２０の機能を実現するプログラムモジュールを更に記憶している。プロセッサ１０２０が、これらのプログラムモジュールをメモリ１０３０上に読み出して実行することにより、本実施形態の対象商品認識部１２０の機能が実現される。

〔動作例〕
本実施形態の対象商品認識部１２０は、例えば以下のように動作する。対象商品認識部１２０は、画像Ｐを用いて、表示媒体２０に表示された複数の商品の中から対象商品を認識すると、その対象商品の認識結果をディスプレイ５０に出力する。一例として、対象商品認識部１２０は、対象商品として認識した商品の領域に加工を施し、対象商品を区別可能とした加工画像をディスプレイ５０に表示させる（例：図１２）。図１２は、第４実施形態の対象商品認識部１２０がディスプレイ５０に出力する情報の一例を示す図である。図１２の例では、対象商品認識部１２０は、対象商品として認識した商品（商品Ｄ）の領域を点線の印Ｍで囲むことにより、その商品が対象商品であることを識別可能としている。なお、図１２はあくまで一例であり、本発明は図１２の例に制限されない。

以上、本実施形態によれば、商品情報取得装置１０上で対象商品として認識された商品を識別可能とする情報が、ディスプレイ５０を介して出力される。これにより、顧客または店員が、指示オブジェクトＯＢＪにより指し示されることで対象商品として認識された商品を一目で把握することが可能となる。

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。

また、上述の説明で用いたフローチャートでは、複数の工程（処理）が順番に記載されているが、当該フローチャートに記載される複数の工程の実行順序は、その記載の順番に制限されない。また、各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。

上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１．
複数の商品の情報が表示された表示媒体と、指示オブジェクトとを含む画像を取得する画像取得手段と、
前記画像の中での前記指示オブジェクトの位置に基づいて、前記複数の商品の中で当該指示オブジェクトが指し示す商品である対象商品を認識する対象商品認識手段と、
前記対象商品の商品識別情報を取得する商品識別情報取得手段と、
を備える商品情報取得装置。
２．
前記対象商品の商品識別情報に基づいて、当該対象商品を購入商品として登録する処理を実行する商品登録手段を更に備える、
１．に記載の商品情報取得装置。
３．
前記対象商品が購入商品として登録された場合、当該対象商品を認識するときに用いられた前記画像を記憶装置に保存する画像保存手段を更に備える、
２．に記載の商品情報取得装置。
４．
前記対象商品の商品識別情報に基づいて当該対象商品の売り場を示す売り場情報を取得し、当該売り場情報を出力装置に出力する売場情報出力手段を更に備える、
１．に記載の商品情報取得装置。
５．
前記対象商品認識手段は、前記画像の中の人物の手または指を前記指示オブジェクトとして認識する、
１．から４．のいずれか１つに記載の商品情報取得装置。
６．
前記対象商品認識手段は、前記表示媒体に後から追加された印を前記指示オブジェクトとして認識する、
１．から４．のいずれか１つに記載の商品情報取得装置。
７．
前記対象商品認識手段は、前記指示オブジェクトが基準時間以上指し示した商品を、前記対象商品として認識する、
１．から６．のいずれか１つに記載の商品情報取得装置。
８．
前記対象商品認識手段は、前記対象商品の認識結果を表示装置に出力する、
１．から７．のいずれか１つに記載の商品情報取得装置。
９．
コンピュータが、
複数の商品の情報が表示された表示媒体と、指示オブジェクトとを含む画像を取得し、
前記画像の中での前記指示オブジェクトの位置に基づいて、前記複数の商品の中で当該指示オブジェクトが指し示す商品である対象商品を認識し、
前記対象商品の商品識別情報を取得する、
ことを含む商品情報取得方法。
１０．
前記コンピュータが、
前記対象商品の商品識別情報に基づいて、当該対象商品を購入商品として登録する処理を実行する、
ことを含む９．に記載の商品情報取得方法。
１１．
前記コンピュータが、
前記対象商品が購入商品として登録された場合、当該対象商品を認識するときに用いられた前記画像を記憶装置に保存する、
ことを含む１０．に記載の商品情報取得方法。
１２．
前記コンピュータが、
前記対象商品の商品識別情報に基づいて当該対象商品の売り場を示す売り場情報を取得し、当該売り場情報を出力装置に出力する、
ことを含む９．に記載の商品情報取得方法。
１３．
前記コンピュータが、
前記画像の中の人物の手または指を前記指示オブジェクトとして認識する、
ことを含む９．から１２．のいずれか１つに記載の商品情報取得方法。
１４．
前記コンピュータが、
前記表示媒体に後から追加された印を前記指示オブジェクトとして認識する、
ことを含む９．から１２．のいずれか１つに記載の商品情報取得方法。
１５．
前記コンピュータが、
前記指示オブジェクトが基準時間以上指し示した商品を、前記対象商品として認識する、
ことを含む９．から１４．のいずれか１つに記載の商品情報取得方法。
１６．
前記コンピュータが、
前記対象商品の認識結果を表示装置に出力する、
ことを含む９．から１５．のいずれか１つに記載の商品情報取得方法。
１７．
コンピュータに、９．から１６．のいずれか１つに記載の商品情報取得方法を実行させるプログラム。

１０ 商品情報取得装置
１０１０ バス
１０２０ プロセッサ
１０３０ メモリ
１０４０ ストレージデバイス
１０５０ 入出力インタフェース
１０６０ ネットワークインタフェース
１１０ 画像取得部
１１０ 商品情報取得装置
１２０ 対象商品認識部
１３０ 商品情報取得部
１４０ 商品登録部
１４２ 商品情報記憶部
１５０ 画像保存部
１６０ 売場情報出力部
１６２ 売場情報記憶部
２０ 表示媒体
３０ 撮像装置
４０ 出力装置
５０ ディスプレイ
ＯＢＪ 指示オブジェクト

Claims (10)

1. 複数の商品の情報が表示された表示媒体と、指示オブジェクトとを含む画像を取得する画像取得手段と、
   前記画像の中での前記指示オブジェクトの位置に基づいて、前記複数の商品の中で当該指示オブジェクトが指し示す商品である対象商品を認識する対象商品認識手段と、
   前記対象商品の商品識別情報を取得する商品識別情報取得手段と、
   を備える商品情報取得装置。
2. 前記対象商品の商品識別情報に基づいて、当該対象商品を購入商品として登録する処理を実行する商品登録手段を更に備える、
   請求項１に記載の商品情報取得装置。
3. 前記対象商品が購入商品として登録された場合、当該対象商品を認識するときに用いられた前記画像を記憶装置に保存する画像保存手段を更に備える、
   請求項２に記載の商品情報取得装置。
4. 前記対象商品の商品識別情報に基づいて当該対象商品の売り場を示す売り場情報を取得し、当該売り場情報を出力装置に出力する売場情報出力手段を更に備える、
   請求項１に記載の商品情報取得装置。
5. 前記対象商品認識手段は、前記画像の中の人物の手または指を前記指示オブジェクトとして認識する、
   請求項１から４のいずれか１項に記載の商品情報取得装置。
6. 前記対象商品認識手段は、前記表示媒体に後から追加された印を前記指示オブジェクトとして認識する、
   請求項１から４のいずれか１項に記載の商品情報取得装置。
7. 前記対象商品認識手段は、前記指示オブジェクトが基準時間以上指し示した商品を、前記対象商品として認識する、
   請求項１から６のいずれか１項に記載の商品情報取得装置。
8. 前記対象商品認識手段は、前記対象商品の認識結果を表示装置に出力する、
   請求項１から７のいずれか１項に記載の商品情報取得装置。
9. コンピュータが、
   複数の商品の情報が表示された表示媒体と、指示オブジェクトとを含む画像を取得し、
   前記画像の中での前記指示オブジェクトの位置に基づいて、前記複数の商品の中で当該指示オブジェクトが指し示す商品である対象商品を認識し、
   前記対象商品の商品識別情報を取得する、
   ことを含む商品情報取得方法。
10. コンピュータに、請求項９に記載の商品情報取得方法を実行させるプログラム。

Images