JP6598321B1 - 情報処理装置、制御方法、及びプログラム - Google Patents

情報処理装置、制御方法、及びプログラム Download PDF

Info

Publication number
JP6598321B1
JP6598321B1 JP2018096856A JP2018096856A JP6598321B1 JP 6598321 B1 JP6598321 B1 JP 6598321B1 JP 2018096856 A JP2018096856 A JP 2018096856A JP 2018096856 A JP2018096856 A JP 2018096856A JP 6598321 B1 JP6598321 B1 JP 6598321B1
Authority
JP
Japan
Prior art keywords
product
customer
information
evaluation value
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018096856A
Other languages
English (en)
Other versions
JP2019204148A (ja
Inventor
怜央 益田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Platforms Ltd
Original Assignee
NEC Platforms Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Platforms Ltd filed Critical NEC Platforms Ltd
Priority to JP2018096856A priority Critical patent/JP6598321B1/ja
Priority to CN201980033709.2A priority patent/CN112154488B/zh
Priority to PCT/JP2019/017073 priority patent/WO2019225260A1/ja
Priority to US17/052,909 priority patent/US20210241356A1/en
Application granted granted Critical
Publication of JP6598321B1 publication Critical patent/JP6598321B1/ja
Publication of JP2019204148A publication Critical patent/JP2019204148A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0633Lists, e.g. purchase orders, compilation or processing
    • G06Q30/0635Processing of requisition or of purchase orders
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/04Inference or reasoning models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/08Payment architectures
    • G06Q20/20Point-of-sale [POS] network systems
    • G06Q20/208Input by product or record sensing, e.g. weighing or scanner processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07GREGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00Cash registers
    • G07G1/0036Checkout procedures
    • G07G1/0045Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G07G1/0063Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the geometric dimensions of the article of which the code is read, such as its size or height, for the verification of the registration
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07GREGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00Cash registers
    • G07G1/01Details for indicating

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • General Engineering & Computer Science (AREA)
  • Finance (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Geometry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】商品を精算対象として登録する作業を支援する。【解決手段】商品登録装置10は、商品を精算対象として登録する商品登録作業のために操作される装置である。商品登録装置10には、ディスプレイ装置20が設けられている。ディスプレイ装置20には、複数の選択画像30が表示されている。或る選択画像30を操作すると、その選択画像30に対応する商品が精算対象として登録される。情報処理装置2000は、顧客ごとに、その顧客が購入すると推定される商品を示す情報(推定情報)を生成する。推定情報は、複数の顧客それぞれの行動に基づいて生成される。或る顧客について生成される推定情報は、その顧客の識別情報と、その顧客が購入すると推定される商品の識別情報とを対応づけて示す。情報処理装置2000は、複数の推定情報を用い、顧客についての商品登録作業に利用されるディスプレイ装置20について、選択画像30の表示を制御する。【選択図】図1

Description

本発明は、商品を精算対象として登録する技術に関する。
スーパーやコンビニエンスストアなどの店舗では、いわゆるレジ端末において、顧客が購入する商品を精算対象として登録する作業(以下、商品登録作業)が行われる。顧客は、登録された商品について代金を支払う(精算する)ことで、商品を購入する。
上述した商品登録作業を支援するための技術が開発されている。例えば特許文献1は、店舗における顧客の動線の情報を利用して、登録作業を支援する技術を開示している。商品の登録に利用される POS(Point of Sales)端末装置は、登録対象の商品が撮像された画像を用いて、商品の認識を行う。商品の認識は、画像から抽出された商品の特徴データと各商品の基準画像とをマッチングすることにより、認識対象の商品を特定することで実現される。この際、マッチングの対象とする基準画像が、顧客の動線の情報を用いて絞り込まれる。具体的には、或る顧客が購入する商品について商品登録作業を行う際、その顧客の動線に対応する位置に陳列されている各商品が特定され、特定された各商品の基準画像がマッチングに利用される。
国際公開第2015/140853号
顧客の動線上にある商品が、必ずしも顧客によって購入される蓋然性が高い商品であるとは限らない。そこで本発明者は、顧客によって購入される蓋然性が高い商品を推定する新たな技術を発明した。本発明の目的は、商品を精算対象として登録する作業を支援する新たな技術を提供することである。
本発明の第1の情報処理装置は、1)複数の顧客それぞれの行動に基づき、顧客の識別情報とその顧客が購入すると推定される商品の識別情報とを対応づけた推定情報を生成する生成手段と、2)複数の推定情報を用いて、対象顧客が購入する商品を精算対象として登録する商品登録作業に利用されるディスプレイ装置に、商品を精算対象として登録するための選択情報を表示させる表示制御手段と、を有する。表示制御手段は、複数の推定情報それぞれに示される各商品について、その商品が対象顧客によって購入される確率の高さを表す評価値を算出し、算出した評価値を用いて、選択情報の表示を制御する。推定情報が示す顧客の識別情報は、顧客の特徴量である。表示制御手段は、対象顧客について商品登録作業が行われる際に対象顧客を撮像することで生成された第1撮像画像から、対象顧客の特徴量を算出し、推定情報によって示される顧客の特徴量と、第1撮像画像を用いて算出された対象顧客の特徴量との類似度を算出し、その類似度を用いてその推定情報に示される各商品の評価値を決定する
本発明の第2の情報処理装置は、1)複数の顧客それぞれの行動に基づき、顧客の識別情報とその顧客が購入すると推定される商品の識別情報とを対応づけた推定情報を生成する生成手段と、2)複数の推定情報を用いて、対象顧客が購入する商品を精算対象として登録する商品登録作業に利用されるディスプレイ装置に、商品を精算対象として登録するための選択情報を表示させる表示制御手段と、を有する。表示制御手段は、複数の推定情報それぞれに示される各商品について、その商品が対象顧客によって購入される確率の高さを表す評価値を算出し、算出した評価値を用いて、選択情報の表示を制御し、対象顧客についての商品登録作業で既に登録された商品を特定し、特定された商品を含む推定情報を特定し、特定された推定情報を用いて評価値を再計算することで評価値を更新し、更新後の評価値を用いて、ディスプレイ装置における選択情報の表示を更新する。
本発明の第1の制御方法は、コンピュータによって実行される。当該制御方法は、1)複数の顧客それぞれの行動に基づき、顧客の識別情報とその顧客が購入すると推定される商品の識別情報とを対応づけた推定情報を生成する生成ステップと、2)複数の推定情報を用いて、対象顧客が購入する商品を精算対象として登録する商品登録作業に利用されるディスプレイ装置に、商品を精算対象として登録するための選択情報を表示させる表示制御ステップと、を有する。表示制御ステップにおいて、複数の推定情報それぞれに示される各商品について、その商品が対象顧客によって購入される確率の高さを表す評価値を算出し、算出した評価値を用いて、選択情報の表示を制御する。推定情報が示す顧客の識別情報は、顧客の特徴量である。表示制御ステップにおいて、対象顧客について商品登録作業が行われる際に対象顧客を撮像することで生成された第1撮像画像から、対象顧客の特徴量を算出し、推定情報によって示される顧客の特徴量と、第1撮像画像を用いて算出された対象顧客の特徴量との類似度を算出し、その類似度を用いてその推定情報に示される各商品の評価値を決定する。
本発明の第2の制御方法は、コンピュータによって実行される。当該制御方法は、1)複数の顧客それぞれの行動に基づき、顧客の識別情報とその顧客が購入すると推定される商品の識別情報とを対応づけた推定情報を生成する生成ステップと、2)複数の推定情報を用いて、対象顧客が購入する商品を精算対象として登録する商品登録作業に利用されるディスプレイ装置に、商品を精算対象として登録するための選択情報を表示させる表示制御ステップと、を有する。表示制御ステップにおいて、複数の推定情報それぞれに示される各商品について、その商品が対象顧客によって購入される確率の高さを表す評価値を算出し、算出した評価値を用いて、選択情報の表示を制御し、対象顧客についての商品登録作業で既に登録された商品を特定し、特定された商品を含む推定情報を特定し、特定された推定情報を用いて評価値を再計算することで評価値を更新し、更新後の評価値を用いて、ディスプレイ装置における選択情報の表示を更新する。
本発明のプログラムは、本発明の制御方法の各ステップをコンピュータに実行させる。
本発明によれば、商品を精算対象として登録する作業を支援する新たな技術が提供される。
実施形態1の情報処理装置の動作の概要を説明するための図である。 実施形態1の情報処理装置の機能構成を例示する図である。 情報処理装置を実現するための計算機を例示する図である。 実施形態1の情報処理装置によって実行される処理の流れを例示するフローチャートである。 推定情報の構造を例示する図である。 店舗の入り口に第1カメラが設置されている様子を例示する図である。 店舗の入り口に4つの第1カメラが設置される様子を例示する図である。 複数の顧客識別情報を示す推定情報を例示する図である。 商品の陳列場所に第2カメラが設置されている様子を例示する図である。 陳列場所に戻された商品の商品識別情報を示す推定情報を例示する図である。 レイアウト情報によって定められる各表示位置の優先度を例示する図である。 商品登録装置の付近に設置された第3カメラを例示する図である。 顧客識別情報の類似度を用いて算出される商品の評価値を例示する図である。 図13に示した例において、推定情報が返却情報を含むケースを例示している。 商品登録作業によって登録される商品を撮像する第4カメラを例示する図である。 第4カメラによって生成される撮像画像を利用して算出される評価値を例示する図である。 商品登録装置の付近に設置された RFID リーダを例示する図である。 RFID リーダを用いて評価値を決定する方法を例示する図である。 第1評価値から第3評価値を加算することで算出される総合評価値を例示する図である。 図19に示す総合評価値に基づいて制御された選択画像の表示を例示する図である。 対象顧客についての商品登録作業の途中経過に基づく対象顧客の候補の絞り込みを例示する第1の図である。 対象顧客についての商品登録作業の途中経過に基づく対象顧客の候補の絞り込みを例示する第2の図である。 対象顧客以外の顧客についての商品登録作業の途中経過に基づく対象顧客の候補の絞り込みを例示する図である。 RFID リーダの認識範囲に、複数のレジカウンタが含まれる状況を例示する第3の図である。 実施形態3の情報処理装置が評価値を補正する方法を例示する図である。
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また各ブロック図において、特に説明がない限り、各ブロックは、ハードウエア単位の構成ではなく機能単位の構成を表している。
[実施形態1]
<概要>
図1は、実施形態1の情報処理装置(後述する図2における情報処理装置2000)の動作の概要を説明するための図である。以下で説明する情報処理装置2000の動作は、情報処理装置2000の理解を容易にするための例示であり、情報処理装置2000の動作は以下の例に限定されるわけではない。情報処理装置2000の動作の詳細やバリエーションについては後述する。
情報処理装置2000は、店舗において、精算対象の商品を登録する作業に利用される。店舗において顧客が商品を購入する場合、顧客が購入する商品を精算対象として登録する作業(以下、商品登録作業)が行われる。例えば、商品登録作業は、バーコードリーダを利用して商品に付されているバーコードを読み取る作業である。顧客が購入しようとしている商品の全てが精算対象として登録されると、顧客は、現金やクレジットカードなどを利用して代金の支払い(精算)を行う。
以下、商品登録作業のために店員などが操作する装置(例えば前述したバーコードリーダが設置されている端末)を商品登録装置と呼ぶ。商品登録装置は、例えばレジ端末などとも呼ばれる。図1において、商品登録装置は、符号10で表されている。なお、商品登録装置10は、店員によって操作されてもよいし、顧客によって操作されてもよい。
本実施形態では、商品を精算対象として登録する方法の一つとして、ディスプレイ装置に表示された選択情報を操作する方法が含まれる。選択情報は、商品を精算対象として登録するための入力操作に利用される情報である。例えば選択情報は、商品の画像や、商品の名称を表す文字列などである。以降の説明では、選択情報の例として、商品の画像である選択画像を用いる。図1において、商品登録装置10には、ディスプレイ装置20が設けられている。ディスプレイ装置20は、タッチパネル22を有する。タッチパネル22には、複数の選択画像30が表示されている。選択画像30は、選択情報の一例である。或る選択画像30を操作(例えばタッチ)すると、その選択画像30に対応する商品が精算対象として登録される。例えば、お茶Aを表す選択画像30をタッチすると、お茶Aという商品が精算対象として登録される。
本実施形態の情報処理装置2000は、ディスプレイ装置20における選択画像30の表示を制御する。例えば情報処理装置2000は、店舗で販売されている商品のうち、どの商品の選択画像30をディスプレイ装置20に表示させるかを決定し、決定した各商品の選択画像30をディスプレイ装置20に表示させる。その他にも例えば、情報処理装置2000は、ディスプレイ装置20に表示させる複数の選択画像30のレイアウトを決定する。
ディスプレイ装置20における選択画像30の表示を制御するため、情報処理装置2000は、顧客ごとに、その顧客が購入すると推定される商品を示す情報(以下、推定情報)を生成する。推定情報は、複数の顧客それぞれの行動に基づいて生成される。或る顧客について生成される推定情報は、その顧客の識別情報と、その顧客が購入すると推定される商品の識別情報とを対応づけて示す。
情報処理装置2000は、複数の推定情報を用い、顧客についての商品登録作業に利用されるディスプレイ装置20について、選択画像30の表示を制御する。以下、情報処理装置2000の処理の対象となる顧客を、対象顧客と呼ぶ。言い換えれば、或る顧客についての商品登録作業に利用されるディスプレイ装置20について、情報処理装置2000が選択画像30の表示を制御する場合に、その顧客を対象顧客と呼ぶ。
なお、情報処理装置2000が利用される店舗は、顧客が商品を購入することができる任意の場所である。例えば店舗は、スーパーマーケットやコンビニエンスストアなどである。なお、店舗は必ずしも屋内に設けられている必要はなく、屋外に設けられていてもよい。
<作用・効果>
本実施形態の情報処理装置2000によれば、或る顧客について商品登録作業が行われる際、その商品登録作業に利用されるディスプレイ装置20に、登録する商品の選択に利用される選択画像30が表示される。ここで、情報処理装置2000は、複数の顧客それぞれについて、その顧客が購入すると推定される商品を示す推定情報が生成する。そして情報処理装置2000は、ディスプレイ装置20における選択画像30の表示を、商品登録作業の対象となっている対象顧客の推定情報だけでなく、その他の顧客の推定情報も利用して制御する。
このように複数の顧客それぞれについて生成された推定情報を利用する方法によれば、対象顧客について生成された情報のみに着目する場合と比較し、精算対象として登録される商品の候補に漏れが生じる恐れが小さくなる。そのため、登録すべき商品が誤って候補に含まれないことによって商品登録作業の効率が低下するといった不都合が生じることを防ぐことができる。
以下、本実施形態についてさらに詳細を述べる。
<情報処理装置2000の機能構成の例>
図2は、実施形態1の情報処理装置2000の機能構成を例示する図である。情報処理装置2000は、生成部2020及び表示制御部2040を有する。生成部2020は、複数の顧客それぞれの行動に基づき、各顧客について推定情報を生成する。表示制御部2040は、複数の推定情報を用いて、対象顧客についての商品登録作業に利用されるディスプレイ装置20に、選択画像30を表示させる。
<情報処理装置2000のハードウエア構成>
情報処理装置2000の各機能構成部は、各機能構成部を実現するハードウエア(例:ハードワイヤードされた電子回路など)で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ(例:電子回路とそれを制御するプログラムの組み合わせなど)で実現されてもよい。以下、情報処理装置2000の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
図3は、情報処理装置2000を実現するための計算機1000を例示する図である。計算機1000は任意の計算機である。例えば計算機1000は、Personal Computer(PC)、サーバマシン、タブレット端末、又はスマートフォンなどである。計算機1000は、情報処理装置2000を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。
例えば情報処理装置2000は、制御対象のディスプレイ装置20が設けられている商品登録装置10である。ただし情報処理装置2000は、ディスプレイ装置20を制御できる装置であればよく、必ずしも商品登録装置10である必要はない。
計算機1000は、バス1020、プロセッサ1040、メモリ1060、ストレージデバイス1080、入出力インタフェース1100、及びネットワークインタフェース1120を有する。バス1020は、プロセッサ1040、メモリ1060、ストレージデバイス1080、入出力インタフェース1100、及びネットワークインタフェース1120が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ1040などを互いに接続する方法は、バス接続に限定されない。プロセッサ1040は、CPU(Central Processing Unit)や GPU(Graphics Processing Unit)などの種々のプロセッサである。メモリ1060は、RAM(Random Access Memory)などを用いて実現される主記憶装置である。ストレージデバイス1080は、ハードディスク、SSD(Solid State Drive)、メモリカード、又は ROM(Read Only Memory)などを用いて実現される補助記憶装置である。ただし、ストレージデバイス1080は、RAM など、主記憶装置を構成するハードウエアと同様のハードウエアで構成されてもよい。
入出力インタフェース1100は、計算機1000と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース1100には、ディスプレイ装置20が接続される。その他にも例えば、入出力インタフェース1100には、商品登録作業に利用される種々のハードウエアが接続されうる。例えば商品登録作業には、バーコードリーダや RFID(Radio Frequency Identifier)リーダなどが接続される。
ネットワークインタフェース1120は、計算機1000をネットワークに接続するためのインタフェースである。この通信網は、例えば LAN(Local Area Network)や WAN(Wide Area Network)である。ネットワークインタフェース1120がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。例えば情報処理装置2000は、ネットワークを介して、商品の情報が管理されているデータベースサーバ(以下、商品データベース120)に接続される。
ストレージデバイス1080は、情報処理装置2000の各機能構成部を実現するプログラムモジュールを記憶している。プロセッサ1040は、これら各プログラムモジュールをメモリ1060に読み出して実行することで、各プログラムモジュールに対応する機能を実現する。その他にも例えば、ストレージデバイス1080には、推定情報が記憶される。ただし、推定情報を記憶する記憶部は、情報処理装置2000の外部に設けられてもよい。
<処理の流れ>
図4は、実施形態1の情報処理装置2000によって実行される処理の流れを例示するフローチャートである。生成部2020は、複数の顧客それぞれについて推定情報を生成する(S102)。表示制御部2040は、複数の推定情報を用いて、対象顧客についての商品登録作業に利用されるディスプレイ装置20に、選択画像30を表示させる(S104)。
<推定情報の生成:S102>
生成部2020は、顧客ごとに推定情報を生成する(S102)。図5は、推定情報の構造を例示する図である。図5において、推定情報記憶部40は、顧客ごとに推定情報200を記憶している。推定情報200は、顧客識別情報202に対して商品識別情報204を対応づけている。
顧客識別情報202は、各顧客を識別するための情報である顧客識別情報を示す。顧客識別情報は、例えば、撮像画像を画像解析することで得られる、顧客の外見の特徴量(以下、顧客の特徴量)である。顧客の特徴量は、例えば、任意の1つ以上の方向(正面や背面など)から見たその顧客の特徴、及びその顧客が所持している物の特徴のうち、少なくとも1つ以上を表す。ここで、撮像画像からこれらの特徴を表す特徴量を算出する技術には、既存の技術を利用することができる。
商品識別情報204は、顧客識別情報202に示される顧客識別情報と対応づけられている各商品の商品識別情報を示す。商品識別情報は、各商品を識別するための情報(例えば識別番号)である。各商品の商品識別情報は、商品データベース120で管理されている。
推定情報200は、顧客をカメラで撮像することで生成される撮像画像を用いて生成される。例えば生成部2020は、以下の流れで推定情報200を生成する。
生成部2020は、新たに店舗に来店した顧客について、推定情報200を新規に生成する。或る顧客について生成される新規な推定情報200は、顧客識別情報202にその顧客の顧客識別情報を示し、その顧客識別情報202に対応づけられている商品識別情報204が空となっている推定情報200である。
そのために生成部202は、店舗の所定位置に設置されたカメラ(以下、第1カメラ)によって生成された撮像画像を取得する。第1カメラが設置される所定位置は、例えば店舗の入り口である。図6は、店舗の入り口に第1カメラ50が設置されている様子を例示する図である。
生成部2020は、第1カメラによって生成された撮像画像に対して人物検出処理を行うことで、その撮像画像から顧客を検出する。さらに生成部2020は、顧客が検出された撮像画像を用いて、その顧客の特徴量を算出する。
生成部2020は、検出された顧客についての推定情報200が既に生成されているか否かを判定する。具体的には、生成部2020は、検出されている顧客についての推定情報200が推定情報記憶部40に記憶されているか否かを判定する。
検出された顧客についての推定情報200が推定情報記憶部40に記憶されていない場合、生成部2020は、検出された顧客について新たな推定情報200を生成する。具体的には、生成部2020は、検出された顧客の特徴量を顧客識別情報202に示し、商品識別情報204が空である推定情報200を生成する。そして生成部2020は、生成した推定情報200を推定情報記憶部40に記憶させる。
なお、或る推定情報200が、検出された顧客についての推定情報200であるか否かは、その推定情報200が示す顧客識別情報と、顧客が検出された撮像画像から算出された顧客識別情報(顧客の特徴量)とを比較することで判定できる。例えば、或る推定情報200が示す顧客識別情報と、顧客が検出された撮像画像から算出された顧客識別情報との類似度が所定値以上である場合、その推定情報200は、検出された顧客についての推定情報200であると判定される。一方、或る推定情報200が示す顧客識別情報と、顧客が検出された撮像画像から算出された顧客識別情報との類似度が所定値未満である場合、その推定情報200は、検出された顧客についての推定情報200ではないと判定される。
ここで、推定情報200は、顧客識別情報を複数示してもよい。例えば、それぞれ異なる角度から顧客を撮像する複数の第1カメラ50を設置しておき、各第1カメラ50によって生成される撮像画像を利用することで、一人の顧客について複数の顧客識別情報を生成することができる。例えば一人の顧客について、正面、左側、右側、及び後側という4方向についての特徴量を算出する。図7は、店舗の入り口に4つの第1カメラ50が設置される様子を例示する図である。図8は、一人の顧客について複数の顧客識別情報を示す推定情報200を例示する図である。一人の顧客についての複数の顧客識別情報とは、顧客の顔の特徴量、顧客の服装の特徴量、顧客の持ち物の特徴量などである。
なお、一人の顧客についての複数の顧客特徴量は、1つの撮像画像から算出されてもよい。例えば、顧客が含まれる1つの撮像画像から、その顧客の顔の特徴量、その顧客の服装の特徴量、その顧客の持ち物の特徴量などを算出することができる。
<<陳列場所から取り出された商品の検出>>
生成部2020は、推定情報記憶部40に記憶されている推定情報200に、その推定情報200に係る顧客が購入すると推定される商品の商品識別情報を追加していく。この処理は、例えば、商品の陳列場所を撮像するように設置されているカメラ(以下、第2カメラ)によって生成される撮像画像を画像解析することで行われる。図9は、商品の陳列場所に第2カメラ70が設置されている様子を例示する図である。図9において、第2カメラ70は、商品棚72の上部に設置されている。なお、第2カメラ70は、複数の商品棚72のそれぞれに設置されている。
まず生成部2020は、第2カメラ70によって生成される撮像画像を画像解析することで、商品が陳列場所から取り出されたことを検出する。この検出は、例えば、顧客が商品を取り出したとき又はその前後に生成された撮像画像を画像解析することで行われる。なお、商品が陳列場所から取り出されたことを検出する技術には、既存の技術を利用することができる。
また、生成部2020は、陳列場所から取り出された商品の推定も行う。陳列場所から取り出された商品を推定する技術にも、既存の技術を利用することができる。
そして生成部2020は、陳列場所から取り出された商品の商品識別情報を推定情報200に追加する。例えば、生成部2020は、商品が陳列場所から取り出されたことが検出されたら、その検出に利用された撮像画像に含まれる全ての顧客それぞれについて、顧客識別情報を算出する。そして、生成部2020は、算出された顧客識別情報との類似度が高い(例えば類似度が所定値以上である)顧客識別情報を示す推定情報200に、取り出された商品の商品識別情報を追加する。例えば図9の例では、第2カメラ70の撮像範囲に3人の顧客が含まれている。そのため、これら3人の推定情報200それぞれに、取り出された商品の商品識別情報が追加される。
上記方法によれば、陳列場所から商品を取り出した可能性がある複数の顧客それぞれについての推定情報200に、取り出された商品の商品識別情報が追加される。商品を取り出した顧客を一意に特定する必要がないため、推定情報200に商品識別情報を追加する処理に要する処理負荷を軽減することができる。この方法は、商品を取り出した顧客を必ずしも一意に特定できないという状況において有用である。例えば第2カメラ70が、顧客を背後から撮像するケースが考えられる。
ただし生成部2020は、商品を取り出した顧客を一意に特定し、その顧客についての推定情報200に商品識別情報を追加してもよい。この方法によれば、顧客とその顧客が購入すると推定される商品とを、高い精度で対応づけることができる。
<<陳列場所に戻された商品の検出>>
生成部2020は、顧客が陳列場所に商品を戻したことを検出し、その検出結果を推定情報200に反映させてもよい。上記検出は、第2カメラ70によって生成された撮像画像を用いて行われる。ここで、商品が陳列場所に戻されたことを検出する技術、及び陳列場所に戻された商品を推定する技術には、既存の技術を利用することができる。
商品が陳列場所に戻されたことを推定情報200に反映する方法は様々である。例えば生成部2020は、顧客が陳列場所に商品を戻したら、その顧客の推定情報200から、陳列場所に戻された商品の商品識別情報を削除する。
その他にも例えば、生成部2020は、商品を陳列場所に戻した顧客の推定情報200に、陳列場所から取り出された商品と識別可能な態様で、陳列場所に戻された商品の商品識別情報を含めるようにしてもよい。図10は、陳列場所に戻された商品の商品識別情報を示す推定情報200を例示する図である。図10の推定情報200は、顧客識別情報202及び商品識別情報204に加え、返却情報206を有する。返却情報206は、陳列場所に戻された商品の商品識別情報を示す。
図10の例において、商品識別情報が P3 である商品(以下、商品 P3)は、商品識別情報204と返却情報206の双方に含まれる。これは、顧客が商品 P3 を陳列場所から取り出した後、商品 P3 を陳列場所に戻したことを表している。
ここで生成部2020は、商品を陳列場所から取り出した顧客と同様に、商品を陳列場所に戻した顧客を一意に特定しなくてもよい。具体的には、生成部2020は、商品が陳列場所に戻されたことを第2カメラ70によって生成された撮像画像を用いて検出したら、その撮像画像に含まれる各顧客を、商品を陳列場所に戻した顧客として扱う。例えば生成部2020は、商品が陳列場所に戻されたことが検出された撮像画像に含まれる顧客それぞれの推定情報200から、陳列場所に戻された商品を削除する。その他にも例えば、生成部2020は、商品が陳列場所に戻されたことが検出された撮像画像に含まれる顧客それぞれの推定情報200の返却情報に、陳列場所に戻された商品の商品識別情報を追加する。
なお、顧客が或る商品を陳列場所に戻した後、再度その商品を陳列場所から取り出すこともある。推定情報200が返却情報206を含む構造である場合(すなわち、陳列場所に戻された商品の商品識別情報を推定情報200から削除する場合)、例えば生成部2020は、陳列場所から取り出された商品の商品識別情報を、再度推定情報200に追加する。一方、推定情報200が返却情報206を含まない構造である場合、例えば生成部2020は、陳列場所から取り出された商品の商品識別情報を商品推定情報200に追加する。
<<一意に特定できない商品について>>
陳列場所から取り出された商品や、陳列場所に戻された商品を、一意に特定できないことがある。例えば、陳列場所から取り出された商品と外観が類似する商品が存在すると、陳列場所から取り出された商品が含まれる撮像画像を解析しても、互いに類似する複数の商品のうちのいずれかが取り出されたということしか分からず、陳列場所から取り出された商品の商品識別情報を特定できない。陳列場所に戻された商品についても同様である。
この様なケースに対処するため、例えば、外観が互いに類似する複数の商品を、類似商品グループとして予め商品データベース120に登録しておく。例えば、牛乳パックA,B,Cの外観が互いに類似する場合、類似商品グループを表す情報として、牛乳パックA,B,Cのそれぞれの商品識別情報と、これらの商品の類似商品グループ識別情報とを対応づけて、予め商品データベース120に登録しておく。類似商品グループ識別情報とは、類似商品グループのすべての商品に共通する識別情報であって、類似商品グループのひとつであることは判別できるものの、一意に特定することまではできない情報である。類似商品グループ識別情報とは、例えば、商品の形状と色に関する情報である。商品データベース120には、類似商品グループが複数登録されていてもよい。
生成部2020は、陳列場所から取り出された商品を一意に特定できず、なおかつその商品を含む類似商品グループが存在する場合、その類似商品グループに含まれるすべての商品の商品識別情報を推定情報200に追加する。例えば、生成部2020は、陳列場所から取り出された商品を一意に特定できず、その商品が類似商品グループに属する場合、その商品が検出された撮像画像に含まれる全ての顧客それぞれについて、顧客識別情報を算出する。そして、生成部2020は、算出された顧客識別情報との類似度が高い(例えば類似度が所定値以上である)顧客識別情報を示す推定情報200に、取り出された商品が属する類似商品グループに含まれるすべての商品の商品識別情報を追加する。例えば図9の例では、第2カメラ70の撮像範囲に3人の顧客が含まれている。そのため、これら3人の推定情報200それぞれに、取り出された商品が属する類似商品グループに含まれるすべての商品の商品識別情報が追加される。陳列場所に戻された商品を一意に特定できず、なおかつその商品を含む類似商品グループが存在する場合も同様である。
<選択画像30の制御:S104>
表示制御部2040は、複数の推定情報200を用いて、対象顧客についての商品登録作業に利用されるディスプレイ装置20に、選択画像30を表示させる(S104)。そのために、例えば表示制御部2040は、複数の推定情報200を用いて、これらの推定情報200に示される各商品について、その商品が対象顧客によって購入される確率の高さを表す評価値を算出する。対象顧客によって購入される確率が高い商品ほど、大きい評価値が算出される。評価値の算出方法については後述する。
表示制御部2040は、各商品の評価値に基づいて、ディスプレイ装置20における選択画像30の表示を制御する。例えば表示制御部2040は、どの商品の選択画像30をディスプレイ装置20に表示させるかを、評価値を用いて決定する。ここで、ディスプレイ装置20に表示させることができる選択画像30の数がn個(nは正の整数)であるとする。この場合、表示制御部2040は、評価値の大きさが上位n位以内である各商品の選択画像30をディスプレイ装置20に表示させる。こうすることで、対象顧客が購入する蓋然性の高い商品が、ディスプレイ装置20に表示されるようになる。
例えば図1の例において、ディスプレイ装置20に表示される選択画像30の数は9個である。そのため表示制御部2040は、評価値の大きさが最も大きい商品から、評価値の大きさが9番目に大きい商品までの、9種類の商品それぞれについて、ディスプレイ装置20に選択画像30を表示させる。
その他にも例えば、表示制御部2040は、上記評価値に基づいて、各商品の選択画像30のレイアウトを決定する。例えば予め、ディスプレイ装置20において選択画像30を表示できる複数の表示位置それぞれに対し、優先度が割り当てられているとする。例えば、ディスプレイ装置20を操作する人にとって操作しやすい表示位置や見やすい表示位置ほど、高い優先度が割り当てられる。以下、各表示位置の優先度を示す情報を、レイアウト情報と呼ぶ。
図11は、レイアウト情報によって定められる各表示位置の優先度を例示する図である。図11のレイアウト情報300を利用する場合、表示制御部2040は、「1」と表記されている表示位置に、評価値が最も大きい商品の選択画像30を表示させる。同様に、表示制御部2040は、「2」と表記されている表示位置に、評価値が2番目に大きい商品の選択画像30を表示させる。
表示制御部2040は、ディスプレイ装置20に選択画像30を表示させる各商品の評価値と、レイアウト情報300に示される各表示位置の優先度とに基づいて、各表示位置に選択画像30を対応づける。具体的には、より評価値が大きい商品の選択画像30を、より優先度が高い表示位置に対応づける。こうすることで、ディスプレイ装置20において、対象顧客によって購入される確率が高い商品ほど、より操作性や視認性が良い場所に表示されるようになる。よって、商品登録作業を行う人の作業負担を軽減させることができる。
<選択画像30の取得>
表示制御部2040は、ディスプレイ装置20に選択画像30を表示させる各商品について、選択画像30を取得する。例えば、ディスプレイ装置20に選択画像30を表示させる商品としてお茶Aが決定されたら、表示制御部2040は、お茶Aの選択画像30を取得する。
各商品について選択画像30を取得する技術には、既存の技術を利用することができる。例えば予め、商品の商品識別情報に対応づけて、その商品の選択画像30を、商品データベース120に記憶させておく。表示制御部2040は、ディスプレイ装置20に選択画像30を表示させる商品を決定したら、その商品の商品識別情報で商品データベース120を検索することで、その商品の選択画像30を取得する。
<評価値の算出方法>
表示制御部2040は、複数の推定情報200を用いて商品の評価値を算出する。以下、評価値の算出方法について具体的に説明する。以下で説明する各方法は、いずれか1つのみが利用されてもよいし、いずれか複数が利用されてもよい。複数の方法を利用する場合、後述するように、複数の方法で算出された各評価値を用いて総合的な評価値を算出し、その総合的な評価値に基づいて選択画像30の表示を制御する。
<<方法1>>
この方法では、商品登録作業が行われる際に対象顧客が撮像される。表示制御部2040は、その撮像結果を用いて商品の評価値を算出する。そのため、前提として、商品登録作業が行われる場所(商品登録装置10が設置されている場所)の付近に、対象顧客を撮像するカメラが設置されているとする。以下、このカメラを第3カメラと呼ぶ。
図12は、商品登録装置10の付近に設置された第3カメラ80を例示する図である。なお図12において、対象顧客は符号60で表されている。第3カメラ80は、第1カメラ50と略同一の方向から顧客を撮像するように設置されていることが好適である。なお、第3カメラを複数設置し、顧客60を複数の方向から撮像するようにしてもよい。
表示制御部2040は、第3カメラ80によって生成された撮像画像を用いて、対象顧客の顧客識別情報を生成する。さらに表示制御部2040は、複数の推定情報200それぞれについて、その推定情報200が示す顧客識別情報と、対象顧客の顧客識別情報との類似度を算出する。表示制御部2040は、算出した類似度を用いて、複数の推定情報200が示す各商品についての評価値を算出する。なお、「推定情報200が示す商品」とは、その推定情報200によって商品識別情報が示されている商品を意味する。
例えば表示制御部2040は、或る推定情報200について算出された上記類似度を、その推定情報200によって示される各商品の評価値とする。図13は、顧客識別情報の類似度を用いて算出される商品の評価値を例示する図である。この例では、推定情報記憶部40に、3つの推定情報200が記憶されている。なお、ここでは、図示を容易にするため、複数の推定情報200が1つのテーブルにまとめられている。
3つの推定情報200はそれぞれ、C1、C2、及び C3 という顧客識別情報を示している。なお、以下の説明では、顧客識別情報が Cn(n は任意の整数)である顧客を、顧客 Cn と呼ぶ。同様に、商品識別情報が Pm(m は任意の整数)である商品を、商品 Pm と呼ぶ。なお、説明が煩雑になることを避けるため、商品P1〜P6が、店舗内で購入可能な全商品であるものとする。
表示制御部2040は、第3カメラ80が対象顧客を撮像することで生成された撮像画像を解析する。その結果、Ca という顧客識別情報が生成されたとする。表示制御部2040は、生成された顧客識別情報 Ca と、各推定情報200が示す顧客識別情報との類似度を算出する。3つの推定情報200について算出された類似度はそれぞれ、0.52、0.26、0.20 である。そこで表示制御部2040は、算出された類似度に基づいて、各商品の評価値を決定している。例えば、顧客識別情報 C1 に対応づけられている商品 P1、P3、及び P4 の評価値をいずれも 0.52 としている。
ここで、或る商品の商品識別情報が複数の推定情報200に示されていることもある。例えば図13の例において、商品 P1 は、顧客識別情報 C1 を示す推定情報200と、顧客識別情報 C3 を示す推定情報200の双方に示されている。この場合、複数の推定情報200に示されている商品については、評価値の候補が複数存在する。
そこで表示制御部2040は、例えば、算出された複数の評価値の候補を用いて、商品の評価値を決定する。例えば表示制御部2040は、複数の評価値の候補の最大値を、商品の評価値にする。図13の例では、商品 P1 についての評価値の候補である 0.52 と 0.20 のうち、最大値である 0.52 が商品 P1 の評価値とされている。その他にも例えば、表示制御部2040は、複数の評価値の候補を加算した値を、商品の評価値としてもよい。
なお前述したように、推定情報200は、顧客によって陳列場所に戻された可能性がある商品の商品識別情報のリスト(返却情報)を示してもよい。この場合、表示制御部2040は、返却情報を考慮して、商品の評価値を算出してもよい。
例えば表示制御部2040は、返却情報に示される商品については、前述した方法で算出した評価値に1より小さい所定値(例えば 0.75)を掛けることで、評価値を補正する。図14は、図13に示した例において、推定情報200が返却情報を含むケースを例示している。この例では、顧客識別情報 C2 を示す推定情報200の返却情報が商品 P2 を示している。そのため、商品 P2 の評価値が 0.23 から 0.17(0.23*0.75)に補正されている。
さらに表示制御部2040は、評価値が算出された各商品について、その商品の属性と顧客の属性との相関に基づいて、その商品の評価値を補正してもよい。具体的には、表示制御部2040は、商品の属性と顧客の属性との相関に基づき、その商品をその顧客が買う確率を算出する。例えば、或る種類の商品に、それぞれ金額が異なる複数の商品があり、若い人ほど安価な商品を買う傾向にあるとする。この場合、その種類の商品については、商品の価格と顧客の年齢との間に負の相関があると言える。そのため、その種類の商品については、顧客の年齢が若いほど、安価な商品が購入される確率が高くなる。
そこで例えば、「顧客の属性、その顧客が購入した商品の属性」という販売実績を教師データとして利用して、予測モデルを生成しておく。この予測モデルは、例えば、顧客の属性と商品の属性とを入力として取得し、その商品をその顧客が購入する確率を出力する。
表示制御部2040は、この予測モデルを利用し、前述した方法で評価値が算出された各商品について、顧客ごとに、その顧客がその商品を購入する確率を算出する。そして表示制御部2040は、前述した方法で算出した評価値に、予測モデルから得られた確率を乗算することで、評価値を補正する。
予測モデルには、ニューラルネットワークや SVM(サポートベクトルマシン)などの種々のモデルを利用できる。例えば予測モデルは、或る顧客の属性と或る商品の属性との間で算出される相関係数やコサイン類似度に基づいて、その顧客がその商品を購入する確率を算出するように構成される。
顧客の属性としては、例えば、性別、年齢、身長、服装、カバンの大きさ、及び来店時間などを利用することができる。また、商品の属性としては、例えば、商品の種類、価格、重さ、パッケージの色、及びカロリーなどを利用することができる。
<<方法2>>
この方法では、表示制御部2040は、商品登録作業によって登録される商品をその登録前に撮像することで生成された撮像画像を取得し、その撮像画像を用いて、商品の評価値を算出する。上記撮像画像を生成するために、商品登録装置10の付近には、商品登録作業によって登録される商品を撮像するカメラ(以下、第4カメラ)が設置される。
例えば、商品登録作業によって登録される商品は、商品登録装置10に併設されているレジカウンタなどに置かれる。そこで第4カメラは、例えばこのレジカウンタを撮像範囲に含むように設定される。図15は、商品登録作業によって登録される商品を撮像する第4カメラを例示する図である。図15において、第4カメラ90は、レジカウンタ100に置かれている商品を撮像する。
表示制御部2040は、第4カメラ90によって生成された撮像画像に含まれる各商品の特徴量を算出し、算出した特徴量を用いて、商品の評価値を決定する。その方法は様々である。例えば表示制御部2040は、算出した特徴量で商品データベース120を検索することで、撮像画像に含まれる商品を特定する。そして表示制御部2040は、特定された商品に対して評価値を割り当てる。商品の評価値を0以上1以下の値とする場合、例えば表示制御部2040は、上記特定された商品に、最大の評価値「1」を割り当てる。ただし、特定された商品に割り当てる評価値は、必ずしも最大の評価値である必要はない。
ここで、撮像画像に含まれる商品を特定する技術には、既存の技術を利用することができる。例えば、商品データベース120において、商品の商品識別情報(識別番号など)に、その商品の特徴量を対応づけて記憶させておく。表示制御部2040は、撮像画像から算出された商品の特徴量で商品データベース120を検索することで、その商品の商品識別情報を取得する。こうすることで、商品が特定される。
図16は、第4カメラ90によって生成される撮像画像を利用して算出される評価値を例示する図である。図16の各推定情報200は、図13の各推定情報200と同様である。第4カメラ90によって生成される撮像画像には、商品 P1 及び商品 P4 が含まれるとする。そのため、商品 P1 と P4 にはそれぞれ、1という評価値が与えられる。
なお、商品の特徴量で商品データベースを検索する際、商品データベース120に記憶されている商品全てを検索対象とするのではなく、その一部を検索対象とするようにしてもよい。例えば、表示制御部2040は、いずれの推定情報200にも示されていない商品については、検索対象から除外するようにしてもよい。ただしこの際、表示制御部2040は、後述する近距離無線通信を利用して認識された商品については、推定情報200に含まれていなくても、検索対象に含めるようにしてもよい。すなわち、いずれか1つ以上の推定情報200に含まれる商品、及び近距離無線通信を利用して認識される商品を、検索対象の商品とする。このように検索対象の商品を一部の商品に絞ることで、商品データベース120の検索に要する時間を短くすることができる。
<<方法3>>
この方法では、商品登録作業によって登録される商品がその登録前に近距離無線通信を用いて認識される。表示制御部2040は、その認識結果を用いて、商品の評価値を算出する。前提として、商品登録作業が行われる場所(商品登録装置10が設置されている場所)の付近に、近距離無線通信を用いて商品を認識するための装置(例えば、RFID リーダ)が設置されているとする。以下では、説明を分かりやすくするため、「少なくとも一部の商品に RFID タグが取り付けられており、RFID リーダを用いてその商品を特定できる」という状況を前提として説明する。ただし、近距離無線通信を用いて商品を認識する方法には、RFID リーダ及び RFID タグを利用する方法に限定されない。なお、RFID タグとは、RFID リーダによって読み取り可能な情報が記憶されている機器である。具体的には、或る商品に取り付けられている RFID タグには、その商品の商品識別情報が記憶されている。
図17は、商品登録装置10の付近に設置された RFID リーダ110を例示する図である。RFID リーダ110は、商品登録装置10の周囲に存在する RFID タグ132と通信を行うことで、RFID タグ132が取り付けられている商品130の商品識別子を読み取る。図17の例では、商品130−1に RFID タグ132−1が取り付けられており、商品130−2に RFID タグ132−2が取り付けられている。情報処理装置2000は、RFID リーダ110によってRFID タグ132−1が読み取られたことに応じ、商品130−1が存在することを把握できる。同様に、情報処理装置2000は、RFID リーダ110によってRFID タグ132−2が読み取られたことに応じ、商品130−2が存在することを把握できる。一方で、商品130−3には、RFID タグが取り付けられていない。そのため、RFID リーダ110を利用する方法では、商品130−3の存在が認識されない。
表示制御部2040は、RFID リーダ110を用いて認識された各商品について、評価値を決定する。例えば表示制御部2040は、認識された商品に対して所定の評価値を割り当てる。商品の評価値を0以上1以下の値とする場合、例えば表示制御部2040は、上記特定された商品に、最大の評価値「1」を割り当てる。ただし、特定された商品に割り当てる評価値は、必ずしも最大の評価値である必要はない。
図18は、RFID リーダ110を用いて評価値を決定する方法を例示する図である。図18では、図17と同様に、3つの商品のうちの2つに、RFID タグ132が取り付けられて
いる。そして、RFID タグ132−1とRFID タグ132−2のそれぞれをRFID リーダ110で読み取ることで、商品 P1 と P3 が認識されている。そのため、商品 P1 と P3 にはそれぞれ、1という評価値が与えられる。
<<複数の評価値を用いる方法>>
表示制御部2040は、前述した評価値を算出する方法を複数利用することで、各商品の評価値を算出してもよい。例えば、方法1から方法3で算出される評価値をそれぞれ第1評価値から第3評価値と呼び、表示制御部2040がディスプレイ装置20に表示させる選択画像30の決定に利用する総合的な評価値を総合評価値と呼ぶ。
表示制御部2040は、第1評価値から第3評価値を用いて総合評価値を算出する。そして、表示制御部2040は、各商品について算出された総合評価値を、その商品の評価値として扱って、ディスプレイ装置20における選択画像30の表示を制御する。具体的には、総合評価値が大きい商品の選択画像30を優先的にディスプレイ装置20に表示させたり、総合評価値の大きさに基づいて選択画像30のレイアウトを決定したりする。
総合評価値の算出方法は任意である。例えば表示制御部2040は、第1評価値から第3評価値を加算することで、総合評価値を算出する。図19は、第1評価値から第3評価値を加算することで算出される総合評価値を例示する図である。例えば、商品 P1 の総合評価値は、「第1評価値=0.72」、「第2評価値=1」、及び「第3評価値=1」を積算した 2.72 となっている。
図20は、図19に示す総合評価値に基づいて制御された選択画像30の表示を例示する図である。タッチパネル22は、ディスプレイ装置20に設けられているタッチパネルである。この例において、表示制御部2040は、図20に示すレイアウト情報300に従って、選択画像30のレイアウトを決定する。
ここで、商品を総合評価値の降順に並べると、「P1、P4、P3、P6、P5、P2」である。表示制御部2040は、この順序とレイアウト情報300とをマッチングする。その結果、選択画像30のレイアウトは、図20に示すようになる。なお、Pn(nは整数)と表示されている選択画像30は、商品 Pn の選択画像30を表している。
さらに表示制御部2040は、第1評価値から第3評価値の積算値を補正し、補正後の値を総合評価値としてもよい。例えば表示制御部2040は、顧客の属性と商品の属性との相関を利用する。具体的には、表示制御部2040は、評価値が算出された各商品について、顧客ごとに、その顧客がその商品を購入する確率を算出する。そして表示制御部2040は、第1評価値から第3評価値の積算値にこの確率を乗算することで得られる値を、総合評価値とする。なお、顧客の属性と商品の属性との相関から、その顧客がその商品を購入する確率を算出する方法については、前述した通りである。
[実施形態2]
実施形態2の情報処理装置2000の機能構成は、実施形態1の情報処理装置2000と同様に、例えば図2で表される。
実施形態2の情報処理装置2000は、商品登録作業の進行に伴い、ディスプレイ装置20の表示を更新する。商品登録作業が進行すると、対象顧客が購入する商品のうち、一部の商品が精算対象として登録される。すなわち対象顧客が購入する商品の一部が確実に特定されることとなる。そこで情報処理装置2000は、このように対象顧客によって購入することが確実に特定された商品(すなわち、精算対象として登録された商品)の情報に基づいて、ディスプレイ装置20の表示を更新する。
具体的には、表示制御部2040は、商品登録作業の途中経過を反映して、評価値を更新する。そして、表示制御部2040は、更新された評価値を用い、実施形態1で説明した方法で、ディスプレイ装置20における選択画像30の表示を制御する。例えば表示制御部2040は、更新後の評価値が上位n位以内の各商品の選択画像30がディスプレイ装置20に表示されるように、ディスプレイ装置20の表示を更新する。その他にも例えば、表示制御部2040は、更新後の評価値とレイアウト情報300とをマッチングすることで、ディスプレイ装置20における選択画像30のレイアウトを更新する。
より具体的には、表示制御部2040は、商品登録作業の途中経過に基づいて、対象顧客の候補の絞り込みを行い、絞り込み後の各候補の推定情報200のみを利用して第1評価値を再計算することで、第1評価値を更新する。対象顧客の候補の絞り込みは、商品登録作業によって登録された商品に基づいて行われる。表示制御部2040は、対象顧客について行われた商品登録作業において登録された商品を含む推定情報200を特定し、その推定情報200のみを用いて、第1評価値を再計算する。言い換えれば、対象顧客について行われた商品登録作業において登録された商品を含まない推定情報200は、第1評価値の計算から除外される。このような第1評価値の再計算により、除外された推定情報200に示されていた各商品の第1評価値が小さくなる。
図21は、対象顧客についての商品登録作業の途中経過に基づく対象顧客の候補の絞り込みを例示する第1の図である。図21の上段は、絞り込み前の第1評価値を示している。絞り込み前は、顧客 C1 から C3 が対象顧客の候補となっている。そのため、第1評価値は、顧客 C1 から C3 の推定情報200を利用して算出されている。
その後、商品登録作業により、商品 P1 が登録されたとする。商品 P1 は、顧客 C1 と C3 の推定情報200には含まれているが、顧客 C2 の推定情報200には含まれていない。このことから、対象顧客の候補が、顧客 C1 と C3 に絞り込まれる。
そこで表示制御部2040は、顧客 C1 と C3 の推定情報200のみを用いて、第1評価値を再計算する。図21の下段は、再計算後の第1評価値を示している。再計算により、除外された顧客 C2 の推定情報200に含まれていた商品 P2、P4、及び P5 の第1評価値が小さくなっている。また、既に登録が行われた商品 P1 については、第1評価値が0になっている。
図22は、対象顧客についての商品登録作業の途中経過に基づく対象顧客の候補の絞り込みを例示する第2の図である。図21に示す状況の後、さらに商品 P3 が登録されたとする。ここで、対象顧客の候補である C1 と C3 のうち、推定情報200に商品 P3 が示されているのは C1 のみである。そのため、対象顧客が C1 であることが確定する。
そこで表示制御部2040は、顧客 C1 の推定情報200のみを用いて、第1評価値を再計算する。図22の下段は、再計算後の第1評価値を示している。再計算により、顧客 C3 の推定情報200に含まれていた商品 P4 及び P5 の第1評価値が小さくなっている。また、既に登録が行われた商品 P3 については、第1評価値が0になっている。
なお、総合評価値を利用する場合、表示制御部2040は、前述した方法で第1評価値が更新されたことに応じ、総合評価値も更新する。そして、表示制御部2040は、更新後の総合評価値に基づいてディスプレイ装置20の表示を更新する。
<RFID を利用した商品登録作業について>
RFID が付されている商品の登録は、RFID が読み取られたことによって自動的に行われてもよいし、手動で行われてもよい。後者の場合、例えば表示制御部2040は、RFID が読み取られた商品の選択画像30を強調表示する(色を変えるなど)。こうすることで、商品登録作業を行う店員等は、RFID が読み取られた商品を容易に把握することができる。そして、店員等が強調表示された選択画像30を選択することにより、RFID が読み取られた商品についての商品登録が行われる。そして、商品登録が行われたら、前述した様に、評価値の再計算が行われ、ディスプレイ装置20の表示が変更される。
<ハードウエア構成の例>
実施形態2の情報処理装置2000を実現する計算機のハードウエア構成は、実施形態1と同様に、例えば図3によって表される。ただし、本実施形態の情報処理装置2000を実現する計算機1000のストレージデバイス1080には、本実施形態の情報処理装置2000の機能を実現するプログラムモジュールがさらに記憶される。
<作用・効果>
本実施形態の情報処理装置2000によれば、対象顧客についての商品登録作業の状態(既に登録された商品に関する情報)を用いて、ディスプレイ装置20における選択画像30の表示が更新される。対象顧客についての商品登録作業が進行すると、対象顧客が購入する商品のうち、一部の商品が精算対象として登録されるため、対象顧客が購入する商品の一部が特定される。このように対象顧客によって購入されることが決まった商品に関する情報を利用することで、対象顧客が購入する他の商品をより高い精度で推定することができるようになる。よって、ディスプレイ装置20における選択画像30の表示をより適切に行うことができ、商品登録作業の作業負担をより軽減させることができる。
[実施形態3]
実施形態3の情報処理装置2000の機能構成は、実施形態1の情報処理装置2000と同様に、例えば図2で表される。
実施形態3の情報処理装置2000は、対象顧客以外の顧客についての商品登録作業に関する情報を利用して、ディスプレイ装置20の表示を更新する。具体的には、表示制御部2040は、前述した第1評価値及び第3評価値のいずれか1つ以上を更新し、更新後の評価値に基づいてディスプレイ装置20の表示を更新する。なお、総合評価値を用いる場合には、更新後の第1評価値や第3評価値を用いて、総合評価値の更新が行われる。以下、第1評価値と第3評価値それぞれについて、更新方法を説明する。
<<第1評価値の更新>>
対象顧客以外の顧客についての商品登録作業が進行することにより、対象顧客を絞り込めることがある。例えば、或る時点において、対象顧客の候補が C1、C2 、及び C3 であったとする。すなわち、顧客 C1 から C3 それぞれの推定情報200を利用して、第1評価値が算出されていたとする。このとき、他の商品登録作業が進行したことにより、当該他の商品登録作業の対象が顧客 C2 であることが分かったとする。すると、対象顧客の候補から C2 を除外することができ、候補は C1 と C3 に絞られる。そこで表示制御部2040は、顧客 C1 と C3 の推定情報200のみを利用して第1評価値を再計算することで、第1評価値を更新する。
図23は、対象顧客以外の顧客についての商品登録作業の途中経過に基づく対象顧客の候補の絞り込みを例示する図である。図23の上段は、絞り込み前の第1評価値を示している。絞り込み前は、顧客 C1 から C3 が対象顧客の候補となっている。そのため、第1評価値は、顧客 C1 から C3 の推定情報200を利用して算出されている。
その後、対象顧客以外の顧客の商品登録作業により、顧客 C2 は対象顧客でないことが分かったとする。すると、対象顧客の候補が C1 と C3 に絞り込まれる。
そこで表示制御部2040は、顧客 C1 と C3 の推定情報200のみを用いて、第1評価値を再計算する。図23の下段は、再計算後の第1評価値を示している。再計算により、除外された顧客 C2 の推定情報200に含まれていた商品 P2、P4、及び P5 の第1評価値が小さくなっている。
<<第3評価値の更新>>
例えば、或る商品登録装置10の周辺に設置されている RFID リーダ110が商品を認識する範囲に、その商品登録装置10のレジカウンタ100だけでなく、その商品登録装置10の隣に設置されている商品登録装置10のレジカウンタ100も含まれているとする。この場合、RFID リーダ110によって認識される商品には、対象顧客が購入する商品だけでなく、隣の商品登録装置10で商品登録作業が行われている他の顧客が購入する商品も含まれる。
図24は、RFID リーダ110の認識範囲に、複数のレジカウンタ100が含まれる状況を例示する図である。図24において、顧客60−1についての商品登録作業は、商品登録装置10−1で行われている。一方、顧客60−2についての商品登録作業は、商品登録装置10−2で行われている。商品登録装置10−1と商品登録装置10−2にはそれぞれレジカウンタ100−1とレジカウンタ100−2が併設されている。レジカウンタ100−1には、顧客60−1が購入する商品 P1及び商品 P2が置かれている。また、レジカウンタ100−2には、顧客60−2が購入する商品 P3 及び商品 P4 が置かれている。
RFID リーダ110の認識範囲には、商品登録装置10−1に併設されているレジカウンタ100−1と、商品登録装置10−2に併設されているレジカウンタ100−2の2つが含まれる。そのため、顧客60−1の商品登録作業が開始される際、RFID リーダ110によって商品を認識すると、商品 P1 から P4 が1つずつ認識される。つまり、顧客60−1が購入しない商品 P3 と P4 も、RFID リーダ110の認識結果に含まれることとなる。
この状況で顧客60−2についての商品登録作業が進行すると、商品 P3 や P4 が、顧客60−2が購入する商品として登録される。ここで、この登録結果を参照すると、RFID リーダ110によって認識された商品のうち、商品 P3 と P4 は、顧客60−1によって購入される商品では無いことが分かる。
そこで実施形態3の情報処理装置2000は、対象顧客の商品登録作業に利用されている商品登録装置10と所定の関係にある他の商品登録装置10で行われた商品登録作業に関する情報を用いて、対象顧客について各商品の第3評価値を更新する。そして、表示制御部2040は、更新後の評価値を用い、実施形態1で説明した方法で、ディスプレイ装置20における選択画像30の表示を制御する。例えば表示制御部2040は、変更後の評価値が上位n位以内の各商品の選択画像30がディスプレイ装置20に表示されるように、ディスプレイ装置20の表示を更新する。その他にも例えば、表示制御部2040は、更新後の評価値とレイアウト情報300とをマッチングすることで、ディスプレイ装置20における選択画像30のレイアウトを更新する。
ここで、「対象顧客の商品登録作業に利用されている商品登録装置10と所定の関係にある商品登録装置10」とは、その商品登録装置10の商品登録作業の対象となる商品が置かれる場所(図24におけるレジカウンタ100−2)の少なくとも一部が、対象顧客の商品登録作業に利用されている商品登録装置10の周辺に設けられている RFID リーダ110の認識範囲内(通信範囲内)に含まれる商品登録装置10である。
図25は、実施形態3の情報処理装置2000が第3評価値を変更する方法を例示する図である。図25において、情報処理装置2000は、商品登録装置10−1における選択画像30に表示を制御するとする。
図25では、図24に示す状況を前提とする。そのため、RFID リーダ110により、商品 P1、P2、P3、及び P4 が認識される。よって、情報処理装置2000は、商品 P1 から P3 それぞれに、1という第3評価値を割り当てる。
その後、商品登録装置10−2において、商品 P3 が精算対象として登録されたとする。すると、情報処理装置2000は、商品 P3 の第3評価値を0に更新する。そして、補正後の評価値を用いて、ディスプレイ装置20の表示を更新する。
さらにその後、商品登録装置10−2において、商品 P4 が精算対象として登録されたとする。すると、情報処理装置2000は、商品 P4 の第3評価値を0に更新する。そして、補正後の評価値を用いて、ディスプレイ装置20の表示を更新する。
<<総合評価値について>>
総合評価値を利用する場合、表示制御部2040は、前述したように第1評価値や第3評価値が更新されたことに応じ、総合評価値も更新する。そして表示制御部2040は、更新後の総合評価値に基づいてディスプレイ装置20の表示を更新する。
<ハードウエア構成の例>
実施形態3の情報処理装置2000を実現する計算機のハードウエア構成は、実施形態1と同様に、例えば図3によって表される。ただし、本実施形態の情報処理装置2000を実現する計算機1000のストレージデバイス1080には、本実施形態の情報処理装置2000の機能を実現するプログラムモジュールがさらに記憶される。
<作用・効果>
本実施形態の情報処理装置2000によれば、対象顧客について商品登録作業が行われる商品登録装置10における評価値が、他の商品登録装置10における商品登録作業の結果に基づいて更新される。そのため、対象顧客について商品登録作業が行われる商品登録装置10において、選択画像30の表示がより適切に行われるように、ディスプレイ装置20の表示を更新していくことができる。よって、ディスプレイ装置20を利用して商品登録作業の作業負担をより軽減させることができる。
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記各実施形態の組み合わせ、又は上記以外の様々な構成を採用することもできる。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
1. 複数の顧客それぞれの行動に基づき、顧客の識別情報とその顧客が購入すると推定される商品の識別情報とを対応づけた推定情報を生成する生成手段と、
複数の前記推定情報を用いて、対象顧客が購入する商品を精算対象として登録する商品登録作業に利用されるディスプレイ装置に、商品を精算対象として登録するための選択情報を表示させる表示制御手段と、を有する情報処理装置。
2. 前記表示制御手段は、複数の前記推定情報それぞれに示される各商品について、その商品が前記対象顧客によって購入される確率の高さを表す評価値を算出し、前記算出した評価値を用いて、前記選択情報の表示を制御する、1.に記載の情報処理装置。
3. 前記ディスプレイ装置に表示される選択情報の数をnとすると、前記表示制御手段は、前記評価値の大きさの順位で上位n位に含まれる各商品の前記選択情報を、前記ディスプレイ装置に表示させる、2.に記載の情報処理装置。
4. 前記表示制御手段は、
前記選択情報を表示できる前記ディスプレイ装置上の各表示位置について優先度を示すレイアウト情報を取得し、
前記評価値がより大きい商品の選択情報を、前記レイアウト情報において優先度がより高い前記ディスプレイ上の表示位置に表示させる、2.又は3.に記載の情報処理装置。
5. 前記推定情報が示す前記顧客の識別情報は、前記顧客の特徴量であり、
前記表示制御手段は、
前記対象顧客について前記商品登録作業が行われる際に前記対象顧客を撮像することで生成された第1撮像画像から、前記対象顧客の特徴量を算出し、
前記推定情報によって示される前記顧客の特徴量と、前記第1撮像画像を用いて算出された前記対象顧客の特徴量との類似度を算出し、その類似度を用いてその推定情報に示される各商品の評価値を決定する、2.乃至4.いずれか一つに記載の情報処理装置。
6. 前記推定情報が示す前記顧客の識別情報は、前記顧客の特徴量であり、
前記生成手段は、商品の陳列場所から商品が取り出されるとき又はその前後においてその陳列場所を撮像することで生成された第2撮像画像から、その第2撮像画像に含まれる各前記顧客の特徴量を算出し、算出された特徴量を示す前記推定情報に、前記陳列場所から取り出された商品の識別情報を含める、5.に記載の情報処理装置。
7. 前記顧客の特徴量は、その顧客の正面の特徴、その顧客の背面の特徴、及びその顧客が所持している物の特徴の少なくとも1つを含む、6.に記載の情報処理装置。
8. 前記表示制御手段は、
前記対象顧客についての前記商品登録作業で登録される商品をその登録前に撮像することで生成された第3撮像画像を用いて、前記商品登録作業で登録される商品の少なくとも一部を特定し、
前記特定された商品の前記評価値を、所定値を用いて算出する、2.乃至7.いずれか一つに記載の情報処理装置。
9. 前記対象顧客についての前記商品登録作業が行われる場所又はその周辺には、近距離無線通信を用いて少なくとも1つの商品の識別情報を読み取ることができるリーダが設けられており、
前記表示制御手段は、前記リーダによって識別情報が読み取られた商品の前記評価値を、所定値を用いて算出する、2.乃至7.いずれか一つに記載の情報処理装置。
10. 前記表示制御手段は、前記対象顧客についての前記商品登録作業で既に登録された商品を特定し、その商品の前記評価値を補正し、補正後の前記評価値を用いて、前記ディスプレイ装置における前記選択情報の表示を更新する、2.乃至9.いずれか一つに記載の情報処理装置。
11. 前記リーダの通信範囲には、前記対象顧客について商品登録作業が行われる場所、及び他の顧客について商品登録作業が行われる場所が含まれており、
前記表示制御手段は、前記他の顧客が購入する商品として登録された商品を特定し、その商品の前記評価値を補正し、補正後の前記評価値を用いて、前記ディスプレイ装置における前記選択情報の表示を更新する、9.に記載の情報処理装置。
12. コンピュータによって実行される制御方法であって、
複数の顧客それぞれの行動に基づき、顧客の識別情報とその顧客が購入すると推定される商品の識別情報とを対応づけた推定情報を生成する生成ステップと、
複数の前記推定情報を用いて、対象顧客が購入する商品を精算対象として登録する商品登録作業に利用されるディスプレイ装置に、商品を精算対象として登録するための選択情報を表示させる表示制御ステップと、を有する制御方法。
13. 前記表示制御ステップにおいて、複数の前記推定情報それぞれに示される各商品について、その商品が前記対象顧客によって購入される確率の高さを表す評価値を算出し、前記算出した評価値を用いて、前記選択情報の表示を制御する、11.に記載の制御方法。
14. 前記ディスプレイ装置に表示される選択情報の数をnとすると、前記表示制御ステップにおいて、前記評価値の大きさの順位で上位n位に含まれる各商品の前記選択情報を、前記ディスプレイ装置に表示させる、13.に記載の制御方法。
15. 前記表示制御ステップにおいて、
前記選択情報を表示できる前記ディスプレイ装置上の各表示位置について優先度を示すレイアウト情報を取得し、
前記評価値がより大きい商品の選択情報を、前記レイアウト情報において優先度がより高い前記ディスプレイ上の表示位置に表示させる、13.又は14.に記載の制御方法。
16. 前記推定情報が示す前記顧客の識別情報は、前記顧客の特徴量であり、
前記表示制御ステップにおいて、
前記対象顧客について前記商品登録作業が行われる際に前記対象顧客を撮像することで生成された第1撮像画像から、前記対象顧客の特徴量を算出し、
前記推定情報によって示される前記顧客の特徴量と、前記第1撮像画像を用いて算出された前記対象顧客の特徴量との類似度を算出し、その類似度を用いてその推定情報に示される各商品の評価値を決定する、13.乃至15.いずれか一つに記載の制御方法。
17. 前記推定情報が示す前記顧客の識別情報は、前記顧客の特徴量であり、
前記生成ステップにおいて、商品の陳列場所から商品が取り出されるとき又はその前後においてその陳列場所を撮像することで生成された第2撮像画像から、その第2撮像画像に含まれる各前記顧客の特徴量を算出し、算出された特徴量を示す前記推定情報に、前記陳列場所から取り出された商品の識別情報を含める、16.に記載の制御方法。
18. 前記顧客の特徴量は、その顧客の正面の特徴、その顧客の背面の特徴、及びその顧客が所持している物の特徴の少なくとも1つを含む、17.に記載の制御方法。
19. 前記表示制御ステップにおいて、
前記対象顧客についての前記商品登録作業で登録される商品をその登録前に撮像することで生成された第3撮像画像を用いて、前記商品登録作業で登録される商品の少なくとも一部を特定し、
前記特定された商品の前記評価値を、所定値を用いて算出する、13.乃至18.いずれか一つに記載の制御方法。
20. 前記対象顧客についての前記商品登録作業が行われる場所又はその周辺には、近距離無線通信を用いて少なくとも1つの商品の識別情報を読み取ることができるリーダが設けられており、
前記表示制御ステップにおいて、前記リーダによって識別情報が読み取られた商品の前記評価値を、所定値を用いて算出する、13.乃至18.いずれか一つに記載の制御方法。
21. 前記表示制御ステップにおいて、前記対象顧客についての前記商品登録作業で既に登録された商品を特定し、その商品の前記評価値を補正し、補正後の前記評価値を用いて、前記ディスプレイ装置における前記選択情報の表示を更新する、13.乃至20.いずれか一つに記載の制御方法。
22. 前記リーダの通信範囲には、前記対象顧客について商品登録作業が行われる場所、及び他の顧客について商品登録作業が行われる場所が含まれており、
前記表示制御ステップにおいて、前記他の顧客が購入する商品として登録された商品を特定し、その商品の前記評価値を補正し、補正後の前記評価値を用いて、前記ディスプレイ装置における前記選択情報の表示を更新する、20.に記載の制御方法。
23. 12.乃至22.いずれか一つに記載の制御方法の各ステップをコンピュータに実行させるプログラム。
10 商品登録装置
20 ディスプレイ装置
22 タッチパネル
30 選択画像
40 推定情報記憶部
50 第1カメラ
60 顧客
70 第2カメラ
72 商品棚
80 第3カメラ
90 第4カメラ
100 レジカウンタ
110 RFIDリーダ
120 商品データベース
130 商品
132 タグ
200 推定情報
202 顧客識別情報
204 商品識別情報
206 返却情報
300 レイアウト情報
1000 計算機
1020 バス
1040 プロセッサ
1060 メモリ
1080 ストレージデバイス
1100 入出力インタフェース
1120 ネットワークインタフェース
2000 情報処理装置
2020 生成部
2040 表示制御部

Claims (9)

  1. 複数の顧客それぞれの行動に基づき、顧客の識別情報とその顧客が購入すると推定される商品の識別情報とを対応づけた推定情報を生成する生成手段と、
    複数の前記推定情報を用いて、対象顧客が購入する商品を精算対象として登録する商品登録作業に利用されるディスプレイ装置に、商品を精算対象として登録するための選択情報を表示させる表示制御手段と、を有し、
    前記表示制御手段は、複数の前記推定情報それぞれに示される各商品について、その商品が前記対象顧客によって購入される確率の高さを表す評価値を算出し、前記算出した評価値を用いて、前記選択情報の表示を制御し、
    前記推定情報が示す前記顧客の識別情報は、前記顧客の特徴量であり、
    前記表示制御手段は、
    前記対象顧客について前記商品登録作業が行われる際に前記対象顧客を撮像することで生成された第1撮像画像から、前記対象顧客の特徴量を算出し、
    前記推定情報によって示される前記顧客の特徴量と、前記第1撮像画像を用いて算出された前記対象顧客の特徴量との類似度を算出し、その類似度を用いてその推定情報に示される各商品の前記評価値を決定する、情報処理装置。
  2. 複数の顧客それぞれの行動に基づき、顧客の識別情報とその顧客が購入すると推定される商品の識別情報とを対応づけた推定情報を生成する生成手段と、
    複数の前記推定情報を用いて、対象顧客が購入する商品を精算対象として登録する商品登録作業に利用されるディスプレイ装置に、商品を精算対象として登録するための選択情報を表示させる表示制御手段と、を有し、
    前記表示制御手段は、
    複数の前記推定情報それぞれに示される各商品について、その商品が前記対象顧客によって購入される確率の高さを表す評価値を算出し、前記算出した評価値を用いて、前記選択情報の表示を制御し、
    前記対象顧客についての前記商品登録作業で既に登録された商品を特定し、前記特定された商品を含む前記推定情報を特定し、前記特定された推定情報を用いて前記評価値を再計算することで前記評価値を更新し、更新後の前記評価値を用いて、前記ディスプレイ装置における前記選択情報の表示を更新する、情報処理装置。
  3. 前記生成手段は、商品の陳列場所から商品が取り出されるとき又はその前後においてその陳列場所を撮像することで生成された第2撮像画像に含まれる顧客の前記推定情報に、前記陳列場所から取り出された商品の識別情報を含める、請求項1又は2に記載の情報処理装置。
  4. 前記生成手段は、商品の陳列場所から取り出された商品を一意に特定できず、なおかつその商品を含む類似商品グループが存在する場合、その類似商品グループに含まれる1つ以上の商品の識別情報を前記推定情報に含める、請求項1乃至のいずれか一項に記載の情報処理装置。
  5. 前記表示制御手段は、
    前記対象顧客についての前記商品登録作業で登録される商品をその登録前に撮像することで生成された第3撮像画像を用いて、前記商品登録作業で登録される商品の少なくとも一部を特定し、
    前記特定された商品の前記評価値を、所定値を用いて算出する、請求項乃至のいずれか一項に記載の情報処理装置。
  6. 前記対象顧客についての前記商品登録作業が行われる場所又はその周辺には、近距離無線通信を用いて少なくとも1つの商品の識別情報を読み取ることができるリーダが設けられており、
    前記表示制御手段は、前記リーダによって識別情報が読み取られた商品の前記評価値を、所定値を用いて算出する、請求項乃至のいずれか一項に記載の情報処理装置。
  7. コンピュータによって実行される制御方法であって、
    複数の顧客それぞれの行動に基づき、顧客の識別情報とその顧客が購入すると推定される商品の識別情報とを対応づけた推定情報を生成する生成ステップと、
    複数の前記推定情報を用いて、対象顧客が購入する商品を精算対象として登録する商品登録作業に利用されるディスプレイ装置に、商品を精算対象として登録するための選択情報を表示させる表示制御ステップと、を有し、
    前記表示制御ステップにおいて、複数の前記推定情報それぞれに示される各商品について、その商品が前記対象顧客によって購入される確率の高さを表す評価値を算出し、前記算出した評価値を用いて、前記選択情報の表示を制御し、
    前記推定情報が示す前記顧客の識別情報は、前記顧客の特徴量であり、
    前記表示制御ステップにおいて、
    前記対象顧客について前記商品登録作業が行われる際に前記対象顧客を撮像することで生成された第1撮像画像から、前記対象顧客の特徴量を算出し、
    前記推定情報によって示される前記顧客の特徴量と、前記第1撮像画像を用いて算出された前記対象顧客の特徴量との類似度を算出し、その類似度を用いてその推定情報に示される各商品の前記評価値を決定する、制御方法。
  8. 複数の顧客それぞれの行動に基づき、顧客の識別情報とその顧客が購入すると推定される商品の識別情報とを対応づけた推定情報を生成する生成ステップと、
    複数の前記推定情報を用いて、対象顧客が購入する商品を精算対象として登録する商品登録作業に利用されるディスプレイ装置に、商品を精算対象として登録するための選択情報を表示させる表示制御ステップと、を有し、
    前記表示制御ステップにおいて、
    複数の前記推定情報それぞれに示される各商品について、その商品が前記対象顧客によって購入される確率の高さを表す評価値を算出し、前記算出した評価値を用いて、前記選択情報の表示を制御し、
    前記対象顧客についての前記商品登録作業で既に登録された商品を特定し、前記特定された商品を含む前記推定情報を特定し、前記特定された推定情報を用いて前記評価値を再計算することで前記評価値を更新し、更新後の前記評価値を用いて、前記ディスプレイ装置における前記選択情報の表示を更新する、制御方法。
  9. 請求項7又は8に記載の制御方法の各ステップをコンピュータに実行させるプログラム。
JP2018096856A 2018-05-21 2018-05-21 情報処理装置、制御方法、及びプログラム Active JP6598321B1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018096856A JP6598321B1 (ja) 2018-05-21 2018-05-21 情報処理装置、制御方法、及びプログラム
CN201980033709.2A CN112154488B (zh) 2018-05-21 2019-04-22 信息处理装置、控制方法和程序
PCT/JP2019/017073 WO2019225260A1 (ja) 2018-05-21 2019-04-22 情報処理装置、制御方法、及びプログラム
US17/052,909 US20210241356A1 (en) 2018-05-21 2019-04-22 Information processing apparatus, control method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018096856A JP6598321B1 (ja) 2018-05-21 2018-05-21 情報処理装置、制御方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP6598321B1 true JP6598321B1 (ja) 2019-10-30
JP2019204148A JP2019204148A (ja) 2019-11-28

Family

ID=68383254

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018096856A Active JP6598321B1 (ja) 2018-05-21 2018-05-21 情報処理装置、制御方法、及びプログラム

Country Status (4)

Country Link
US (1) US20210241356A1 (ja)
JP (1) JP6598321B1 (ja)
CN (1) CN112154488B (ja)
WO (1) WO2019225260A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7370845B2 (ja) 2019-12-17 2023-10-30 東芝テック株式会社 販売管理装置及びその制御プログラム
JP2023050597A (ja) * 2021-09-30 2023-04-11 富士通株式会社 通知プログラム、通知方法および情報処理装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPQ212499A0 (en) * 1999-08-10 1999-09-02 Ajax Cooke Pty Ltd Item recognition method and apparatus
JP2002133515A (ja) * 2000-10-18 2002-05-10 Ntt Data Corp 店舗における顧客購買行動調査システム及び顧客支援システム
JP4068505B2 (ja) * 2003-05-26 2008-03-26 Necシステムテクノロジー株式会社 顧客購買行動分析システム
US7275690B1 (en) * 2005-07-01 2007-10-02 Ncr Corporation System and method of determining unprocessed items
JP2009181272A (ja) * 2008-01-30 2009-08-13 Toppan Printing Co Ltd 店頭レコメンドシステム及び方法
JP5666772B2 (ja) * 2008-10-14 2015-02-12 Necソリューションイノベータ株式会社 情報提供装置、情報提供方法及びプログラム
CN102341830B (zh) * 2009-05-11 2015-07-22 东芝全球商业解决方案控股公司 从电子货架标签(esl)取得内容的自助购物支持
JP5720146B2 (ja) * 2010-08-31 2015-05-20 株式会社寺岡精工 Posレジスタ
US20120074218A1 (en) * 2010-09-27 2012-03-29 Ncr Corporation Checkout Methods and Apparatus
JP6529078B2 (ja) * 2013-09-06 2019-06-12 日本電気株式会社 顧客行動分析システム、顧客行動分析方法、顧客行動分析プログラム及び棚システム
JP6059122B2 (ja) * 2013-10-11 2017-01-11 カルチュア・コンビニエンス・クラブ株式会社 顧客データ解析システム
JP6141208B2 (ja) * 2014-01-08 2017-06-07 東芝テック株式会社 情報処理装置及びプログラム
JP6354233B2 (ja) * 2014-03-19 2018-07-11 日本電気株式会社 販売促進装置、情報処理装置、情報処理システム、販売促進方法及びプログラム
JP6215183B2 (ja) * 2014-11-20 2017-10-18 東芝テック株式会社 商品販売データ処理装置及びその制御プログラム
JP6443184B2 (ja) * 2015-03-31 2018-12-26 日本電気株式会社 精算システム、商品登録装置、精算装置、プログラム、及び精算方法
JPWO2017085771A1 (ja) * 2015-11-16 2018-09-20 富士通株式会社 精算支援システム、精算支援プログラム、及び精算支援方法
WO2017196822A1 (en) * 2016-05-09 2017-11-16 Grabango Co. System and method for computer vision driven applications within an environment
CN106548369A (zh) * 2016-10-14 2017-03-29 五邑大学 基于蚁群算法的电子商务消费者意图识别方法
CN106779808A (zh) * 2016-11-25 2017-05-31 上海斐讯数据通信技术有限公司 一种商圈中消费者空间行为分析系统及方法
JP6890996B2 (ja) * 2017-02-17 2021-06-18 東芝テック株式会社 チェックアウト装置およびプログラム
US11308297B2 (en) * 2017-04-27 2022-04-19 Datalogic Usa, Inc. Self-checkout system with scan gate and exception handling
CN110869963A (zh) * 2017-08-02 2020-03-06 麦克赛尔株式会社 生物认证结算系统、结算系统和收银系统

Also Published As

Publication number Publication date
CN112154488A (zh) 2020-12-29
CN112154488B (zh) 2022-12-20
WO2019225260A1 (ja) 2019-11-28
JP2019204148A (ja) 2019-11-28
US20210241356A1 (en) 2021-08-05

Similar Documents

Publication Publication Date Title
JP7248689B2 (ja) 自動販売方法および装置、ならびにコンピュータ可読記憶媒体
RU2727084C1 (ru) Устройство и способ определения информации о заказе
RU2739542C1 (ru) Система автоматической регистрации для торговой точки
US10290031B2 (en) Method and system for automated retail checkout using context recognition
US11663571B2 (en) Inventory management computer system
US20180253708A1 (en) Checkout assistance system and checkout assistance method
JP6458861B2 (ja) 商品情報管理装置、商品情報管理システム、商品情報管理方法およびプログラム
US20240013541A1 (en) Computer-readable recording medium, information processing method, and information processing apparatus
JP6598321B1 (ja) 情報処理装置、制御方法、及びプログラム
JP3837475B2 (ja) 自動化ショッピングシステム
KR20210039783A (ko) 맞춤형 의류 구매 서비스 제공 방법 및 이를 위한 사용자 단말
US20190043033A1 (en) Point-of-sale terminal
JP2021182400A (ja) 決済システム、携帯端末、および決済方法
JP2019174959A (ja) 商品棚位置登録プログラム、及び情報処理装置
JP6375924B2 (ja) 商品登録装置、商品特定方法及びプログラム
JP2019211891A (ja) 行動分析装置、行動分析システム、行動分析方法、プログラムおよび記録媒体
JP2009134479A (ja) 商品販売データ処理装置及びコンピュータプログラム
JP2022118266A (ja) 情報処理装置およびプログラム
JP2016110480A (ja) 商品登録装置および商品登録方法
JP2018025882A (ja) 情報処理装置及びその制御方法、表示装置、コンピュータプログラム
JP2016024601A (ja) 情報処理装置、情報処理システム、情報処理方法、商品推薦方法、およびプログラム
EP4160533A1 (en) Estimation program, estimation method, and estimation device
US20240005750A1 (en) Event-triggered capture of item image data and generation and storage of enhanced item identification data
WO2023188068A1 (ja) 商品数特定装置、商品数特定方法、及び記録媒体
JP2018142293A (ja) 商品判別装置、商品判別プログラム及び商品の判別方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180521

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190520

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190625

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190820

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190903

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190927

R150 Certificate of patent or registration of utility model

Ref document number: 6598321

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150