JP2022184491A - 販売データ処理システムおよびプログラム - Google Patents

販売データ処理システムおよびプログラム Download PDF

Info

Publication number
JP2022184491A
JP2022184491A JP2021092380A JP2021092380A JP2022184491A JP 2022184491 A JP2022184491 A JP 2022184491A JP 2021092380 A JP2021092380 A JP 2021092380A JP 2021092380 A JP2021092380 A JP 2021092380A JP 2022184491 A JP2022184491 A JP 2022184491A
Authority
JP
Japan
Prior art keywords
mobile terminal
unit
information
operator
sales data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021092380A
Other languages
English (en)
Inventor
詩乃 西川
Shino Nishikawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba TEC Corp
Original Assignee
Toshiba TEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba TEC Corp filed Critical Toshiba TEC Corp
Priority to JP2021092380A priority Critical patent/JP2022184491A/ja
Priority to US17/581,241 priority patent/US20220383331A1/en
Publication of JP2022184491A publication Critical patent/JP2022184491A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/01Customer relationship services
    • G06Q30/015Providing customer assistance, e.g. assisting a customer within a business location or via helpdesk
    • G06Q30/016After-sales
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/08Payment architectures
    • G06Q20/20Point-of-sale [POS] network systems
    • G06Q20/208Input by product or record sensing, e.g. weighing or scanner processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07GREGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00Cash registers
    • G07G1/0036Checkout procedures
    • G07G1/0045Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • General Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Development Economics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Cash Registers Or Receiving Machines (AREA)

Abstract

Figure 2022184491000001
【課題】小売店の売り場を移動する顧客が店員のサポートを要する状態になったときに、その状態を店員に知らせ、サポート可能にする。
【解決手段】販売データ処理システムは、移動端末が取得する情報で特定される商品の情報を販売データとして登録する登録部と、前記登録部による処理と並行して、前記移動端末が取得する情報により当該移動端末の操作者の状態を認識する状態認識部と、前記状態認識部が認識した前記操作者の状態に基づいて、店員によるサポートを要するか判断する判断部と、前記サポートを要すると前記判断部が判断すると、店員が操作する店員端末に対して前記操作者のサポートを依頼する情報を出力する依頼出力部と、を備える。
【選択図】図1

Description

本発明の実施形態は、販売データ処理システムおよびプログラムに関する。
例えば、顧客が自身で売り場を巡って購入する商品を陳列場所から運ぶ小売店などの店舗では、目的の商品を発見できなかった顧客が店員に訊ねる、というようなことがある。このようなことは、例えば店舗が広い場合に起きがちである。さらに、訊ねようにも店員が見当たらないこともある。このような場合、顧客は不満を感じる。したがって、こういった事例は顧客満足度を低下させる原因となる。
ここで、特許文献1には、受付を行う装置で顧客の顔画像を撮像し、顔画像に基づいて顧客の感情を分析して、応対者の端末に送信する技術が開示されている。顧客の不満を検知できれば、不満を感じている顧客の元に店員が駆けつけてサポートすることが可能になる。しかしながら従来の技術では、店内を移動中の顧客の感情を認識することはできない。
なお、上記は一例であって、営業形態によらず、店員のサポートが欲しい状態が継続するほど顧客の満足度は低下する。
本発明が解決しようとする課題は、小売店の売り場を移動する顧客が店員のサポートを要する状態になったときに、その状態を店員に知らせ、サポート可能にすることである。
実施形態の販売データ処理システムは、移動端末が取得する情報で特定される商品の情報を販売データとして登録する登録部と、前記登録部による処理と並行して、前記移動端末が取得する情報により当該移動端末の操作者の状態を認識する状態認識部と、前記状態認識部が認識した前記操作者の状態に基づいて、店員によるサポートを要するか判断する判断部と、前記サポートを要すると前記判断部が判断すると、店員が操作する店員端末に対して前記操作者のサポートを依頼する情報を出力する依頼出力部と、を備える。
図1は、実施形態における販売データ処理システムの構成の一例を示す図である。 図2は、カートPOSの外観の一例を示す図である。 図3は、移動端末のハードウェア構成の一例を示す図である。 図4は、移動端末の機能構成の一例を示す図である。 図5は、サーバのハードウェア構成の一例を示す図である。 図6は、サーバの機能構成の一例を示す図である。 図7は、店員端末のハードウェア構成の一例を示す図である。 図8は、店員端末の機能構成の一例を示す図である。 図9は、販売データ処理システムの各構成の処理の流れの一例を概略的に示す図である。
実施形態について図面を用いて説明する。図1は、実施形態における販売データ処理システムの構成の一例を示す図である。販売データ処理システムは、サーバ100、移動端末200、店員端末300を含んで構成されている。
移動端末200は、店内を移動する顧客が使用する端末装置である。移動端末200は、商品を識別可能なコードをサーバ100に送信し、サーバ100から商品情報を受信する。また、移動端末200は、顧客の顔画像や音声をサーバ100に送信する。
サーバ100は、店舗サーバ或いは店舗端末等とも呼ばれるものであって、例えば店舗のバックヤード等に設置されたPC(Personal Computer)である。サーバ100は、複数の店舗を束ねる本部に属する本部サーバと専用回線等のネットワークを介して接続されており、本部サーバと各種データの送受信が可能である。
サーバ100は、移動端末200から受信したコードに基づいて特定される商品の情報(商品情報)を、移動端末200に送信する。商品情報は、例えば、価格や名称である。また、サーバ100は、移動端末200から受信した顔画像や音声に基づいて顧客の状態を認識する。顧客が、店員のサポートを必要とする状態であれば、サーバ100は店員端末300にサポートを依頼することを示す情報を送信する。
店員端末300は、店員が使用する端末装置であって、例えばスマートフォンである。店員端末300は、サーバ100から顧客のサポートを依頼する情報を受信すると、表示デバイスへの表示やスピーカーで音声を発することにより、サポート依頼を店員に報知する。
図2は、カートPOS500の外観の一例を示す図である。カートPOS500は、店内で顧客が購入する商品を運搬する際に用いるショッピングカート510に、移動端末200と、スキャナ520と、バッテリー530とが取り付けられたものである。
ショッピングカート510は、収納部511と、キャスタ部512と、ハンドル部513とを備える。収納部511は、上面が開口した籠状の容器であって、客が購入する商品を収納する。キャスタ部512は、収納部511を支える脚の下部に備えられた複数の車輪であって、キャスタ部512によりショッピングカート510は前後左右に移動可能である。ハンドル部513は、客がショッピングカート510を移動させる際に把持する部分である。
スキャナ520は、商品に照明光を照射するLED(Light Emitting Diode)と、商品に付されたコードシンボルで反射した光を受光するCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の受光素子と、受光素子が受光した光で描かれるコードシンボルをデコードするデコーダ(いずれも非図示)等を内蔵する。また、スキャナ520の一面には、LEDからの光を出射し、コードシンボルを読み取らせるための読取窓が設けられている。
客は、購入する商品を収納部511に収納する際に、当該商品に付されたコードシンボルを読取窓に翳して、スキャナ520にコードシンボルを読み取らせる。スキャナ520は、商品に付されたバーコードや二次元コード等のコードシンボルを読み取る。すなわち、コードシンボル(画像)をデコードすることにより、商品を一意に特定する商品コードを取得し、これらを移動端末200に出力する。
なお、カートPOS500は、スキャナ520の代わりに、客が自ら把持して、商品に付されたコードシンボルに近接させることによって、当該コードシンボルを読み取るハンドスキャナを備えてもよい。
移動端末200は、スキャナ520から入力される商品コードに基づいて識別(一意に特定)される商品の情報(商品情報)を、販売データとして登録する。商品の特定は、移動端末200から商品コードを入力されたサーバ100が行う。サーバ100は、商品コードに対応する商品情報すなわち価格や名称(商品名)等を、移動端末200に出力する。
バッテリー530は、移動端末200やスキャナ520に、電力を供給(給電)する。バッテリー530は、重量物であるため、できるだけ下方、例えば、収納部511の下方等に設置される。なお、バッテリー530は、例えばリチウムイオン電池、ニッケル水素電池等の充電可能な電池(二次電池)である。
図3は、移動端末200のハードウェア構成の一例を示す図である。移動端末200は、CPU(Central Processing Unit)211、ROM(Read Only Memory)212、RAM(Random Access Memory)213、通信I/F(Interface)214、表示部215、操作部216、近距離通信I/F217、カメラ218、マイク219、記憶部220等を備えている。
表示部215は、例えば、LCD(Liquid Crystal Display)などの表示デバイスであって、移動端末200の操作者(顧客)に向けて情報を表示する。操作部216は、例えば、表示部215の表示面に重ねて設けられたタッチパネル等であって、移動端末200に対する入力操作を受け付け、操作に基づく情報を出力する。
通信I/F214は、外部装置との通信を可能にするもので、サーバ100等との通信を仲介する。近距離通信I/F217は、スキャナ520との間で、NFC(Near Field communication)や、Bluetooth(登録商標)等による非接触通信(近距離無線通信)を行う。CPU211は、近距離通信I/F217を介して、スキャナ520を制御し、スキャナ520が出力する商品コードを取得する。
カメラ218は、CCDやCMOS等の受光素子を備え、受光素子が受光した光を電気信号に変換して出力する。カメラ218は、移動端末200の外装筐体に設けられ、表示部215や操作部216が面する側を、撮像する。表示部215は、移動端末200の操作者(顧客)が見るものであるので、顧客の顔に面している。つまり、カメラ218が出力する撮像画像は、顧客が移動端末200を見ているとき、顧客の顔画像を含む。なお、カメラ218の撮像画像は、表示部215に表示しなくてよい。マイク219は、移動端末200の外の音を集音し、入力される音声を電気信号に変換して出力する。
記憶部220は、プログラムや各種ファイルを記憶する。記憶部220は記憶装置であればよく、例えばSSD(Solid State Drive)である。記憶部220に記憶されているプログラムは、移動端末200の起動時に、その全部または一部がCPU211により実行される。記憶部220が記憶するプログラムの一つが、POSアプリ221である。POSアプリ221は、移動端末200をPOS(Point Of Sales)端末として機能させるアプリケーションソフトウェアである。
ROM212は、CPU211が実行する各種プログラムや各種データを記憶する。RAM213は、CPU211が実行するプログラムの展開や各種値の一時的な記憶に用いられる。CPU211は、ROM212や記憶部220に記憶されているプログラムを実行することにより、制御部210として機能する。CPU211がPOSアプリ221を実行することにより、制御部210が次に説明する各種機能部(図4参照)として機能する。
図4は、移動端末200の機能構成の一例を示す図である。制御部210は、撮像部201、読取部202、登録部203等を備える。
撮像部201は、カメラ218を制御してカメラ218が出力する撮像画像を取得し、サーバ100に送信する。読取部202は、スキャナ520を制御してスキャナ520が出力する商品コードを取得し、サーバ100に送信する。登録部203は、販売データ登録を行う。すなわち登録部203は、サーバ100から入力された商品情報を、販売データとして記憶部220に記憶させる。商品情報は、サーバ100から受信する情報であって、移動端末200が取得した商品コードで一意に特定される情報である。
次に、サーバ100について説明する。図5は、サーバ100のハードウェア構成の一例を示す図である。サーバ100は、CPU111、ROM112、RAM113、通信I/F114、記憶部120等を備えている。通信I/F114は、外部装置との通信を可能にするもので、移動端末200や店員端末300等との通信を仲介する。
記憶部120は、プログラムや各種ファイルを記憶する。記憶部120は記憶装置であればよく、例えばHDD(Hard Disc Drive)やSSDである。記憶部120に記憶されているプログラムは、サーバ100の起動時に、その全部または一部がCPU111により実行される。記憶部120が記憶するファイルの一つが、商品マスタ121である。商品マスタ121は、商品を識別(一意に特定)可能な識別コードである商品コードに関連付けて、価格や名称(商品名)等の商品情報を記憶している。
ROM112は、CPU111が実行する各種プログラムや各種データを記憶する。RAM113は、CPU111が実行するプログラムの展開や各種値の一時的な記憶に用いられる。CPU111は、ROM112や記憶部120に記憶されているプログラムを実行することにより、制御部110として機能する。制御部110は、次に説明する各種機能部(図6参照)を備える。
図6は、サーバ100の機能構成の一例を示す図である。制御部110は、商品識別部101、状態認識部102、判断部103、依頼出力部104等を備える。
商品識別部101は、移動端末200から入力される商品コードをキーに商品マスタ121から価格や商品名を取得し、それらを移動端末200へ出力する。
なお、本実施形態では、スキャナ520がコードシンボルを読み取って出力する商品コードに基づいて商品を識別しているが、実施にあたってはこれに限らず、例えば一般物体認識(オブジェクト認識)技術を用い、外観の特徴量に基づいて商品を特定するのであっても構わない。
状態認識部102は、移動端末200が取得する情報により、移動端末200の操作者の状態を認識する。より具体的には、状態認識部102は、カメラ218が出力する画像情報に含まれる操作者の表情から、操作者の感情を推定する。また、状態認識部102は、マイク219が出力する音声情報から、操作者の状態を認識する。この処理は、登録部203による処理と並行して行われる。
カメラ218が出力する画像情報やマイク219が出力する音声情報は、移動端末200が取得する情報の例である。移動端末200は、これらの画像情報や音声情報を取得すると、サーバ100に出力する。移動端末200からサーバ100に画像情報や音声情報が入力されると、入力された情報に基づいて、状態認識部102が、移動端末200の操作者の状態を認識する。操作者の状態は、例えば、不満や怒りなどの感情や、商品が見つからず探し回っているような事態である。
移動端末200からサーバ100に画像情報が入力されると、状態認識部102は、画像情報に含まれる顔画像を抽出し、顔画像を分析して、表情から感情を推定する。この分析処理には、既存の技術を用いて構わない。また、移動端末200からサーバ100に音声情報が入力されると、状態認識部102は、音声情報に含まれる言葉を抽出する。
判断部103は、状態認識部102が認識した操作者の状態に基づいて、店員によるサポートを要するか判断する。例えば、状態認識部102が、操作者が不満や怒りを感じていたり、或いは困っていたりすると判断した場合、店員によるサポートを要すると判断する。
より具体的には、移動端末200から取得した情報が画像情報の場合、当該画像情報に含まれている顔画像から推定された感情が、例えば、不満、怒り、当惑などに関連するものであると、判断部103は、店員のサポートを要すると判断する。また、移動端末200から取得した情報が音声情報の場合、当該音声情報に含まれている言葉の中に、不満や怒りに関連する言葉や、例えば「どこだろう」「見つからない」等のような言葉があると、判断部103は、店員のサポートを要すると判断する。
依頼出力部104は、サポートを要すると判断部103が判断すると、店員が操作する店員端末300に対して、操作者のサポートを依頼する情報を出力する。また、依頼出力部104は、サポートを依頼する情報に、操作者を特定可能な情報を含める。操作者を特定可能な情報としては、例えば、顔画像などがある。
さらに、依頼出力部104は、サポートを依頼する情報に、移動端末200の位置を示す情報を含める。移動端末200の位置を示す情報としては、例えば、店内マップ上に移動端末200の現在値を示す画像を表示させるための情報や、或いは、移動端末200の付近の売り場の名称などである。
なお、例えば店舗がその広さや造りから店内のいずれの場所からでも見通し可能であるような場合には、移動端末200の位置を示す情報を含めなくともこと足りる。
次に、店員端末300について説明する。図7は、店員端末300のハードウェア構成の一例を示す図である。店員端末300は、CPU311、ROM312、RAM313、通信I/F314、表示部315、操作部316、記憶部320等を備えている。
表示部315は、例えば、LCDなどの表示デバイスであって、店員端末300の操作者(店員)に向けて情報を表示する。操作部316は、例えば、表示部315の表示面に重ねて設けられたタッチパネル等であって、店員端末300に対する入力操作を受け付け、操作に基づく情報を出力する。通信I/F314は、外部装置との通信を可能にするもので、サーバ100等との通信を仲介する。
記憶部320は、プログラムや各種ファイルを記憶する。記憶部320は記憶装置であればよく、例えばSSDである。記憶部320に記憶されているプログラムは、店員端末300の起動時に、その全部または一部がCPU311により実行される。
ROM312は、CPU311が実行する各種プログラムや各種データを記憶する。RAM313は、CPU311が実行するプログラムの展開や各種値の一時的な記憶に用いられる。CPU311は、ROM312や記憶部320に記憶されているプログラムを実行することにより、制御部310として機能する。制御部310は、次に説明する各種機能部(図8参照)を備える。
図8は、店員端末300の機能構成の一例を示す図である。制御部310は、受信部301、報知部302等を備える。
受信部301は、サーバ100から、各種情報の入力を受ける。報知部302は、受信部301が操作者のサポートを依頼する情報を受信した場合に、これを表示部315に表示させる等して店員に報知する。
なお、店員端末300が、スピーカー等を備えているのであれば、報知部302は、表示部315での報知に伴い、スピーカーによって音声を発するなどすると、店員端末300を所持する店員がサポート依頼に気付きやすくなる。
このような構成の販売データ処理システムにおいて、移動端末200は入店した顧客によるPOSアプリ221起動に伴いカメラ218による撮像を開始し、サーバ100はカメラ218が出力する撮像画像を分析して客の状態を認識し、サポートを要する場合は店員端末300にサポート依頼を出力する。この一連の処理の流れについて、図9を参照してより詳細に説明する。図9は、販売データ処理システムの各構成の処理の流れの一例を概略的に示す図である。
まず、入店した顧客が、移動端末200の使用を開始すると、移動端末200ではPOSアプリ221が起動され、顧客にログインを求める。顧客は、会員IDを入力する等して、ログインを行う(ステップS11)。会員IDの入力は、会員証に表示されたバーコードや二次元コード等のコードシンボルをスキャナ520に読み取らせる等により入力してもよいし、操作部216を用いた手入力により行ってもよい。
ログインの後、移動端末200は、表示部215に、販売データとして登録された商品の情報を一覧表示する画面(商品登録画面)を表示する。この画面はスキャナ520によるコードシンボルの読み取り開始を指示するボタンを含んでいる。当該ボタンが操作部216を介して操作を受けると、スキャナ520は照射および撮像を開始する。
上述のような販売データ処理と並行して、移動端末200は、カメラ218による撮像を行い(ステップS12)、撮像画像をサーバ100に送信する。なお、カメラ218による撮像画像は、表示部215に表示させる必要はない。撮像は、移動端末200で会計処理が行われるまで続けられる(ステップS13のNo)。操作部216が操作者(顧客)から会計を行う旨の操作を受けると(ステップS13のYes)移動端末200は撮像を終了して本処理を終了する。
サーバ100は、移動端末200から撮像画像が入力されると、これを分析し(ステップS21)、顧客の状態を認識する(ステップS22)。次にサーバ100は、顧客の状態から、店員による顧客のサポートの要否を判断する(ステップS23)。ステップS23においてサポートが不要と判断された場合、サーバ100は本処理を終了する。
また、ステップS23において、サポートが必要と判断された場合、サーバ100は、サポート依頼を行う(ステップS24)。
店員端末300は、サーバ100からサポート依頼が入力されるとこれを受信し(ステップS31)、表示部315に表示させて(ステップS32)、本処理を終了する。
このように、本実施形態の販売データ処理システムによれば、顧客が購入する商品の登録に用いる移動端末200によって、顧客の表情や言葉を収集して顧客の状態を認識し、必要に応じて店員端末300を介して店員にサポートを依頼する。このようにすることにより、小売店の売り場を移動する顧客が店員のサポートを要する状態になったときに、その状態を店員に知らせ、サポート可能にすることができる。
移動端末200は、店内を移動する顧客とともに移動するものであり、また、顧客が移動端末200の表示内容を見たり操作したりするとき、カメラ218により顧客の表情を捉えることができる。よって、例えば、ハンドル部513を掴んでカートPOS500を押して歩く顧客が、目的の商品を見つけられない等で困ると、その表情をカメラ218が捉え、状態認識部102が顧客の表情を分析することで、顧客の困っている状態を認識し、店員によるサポートにつなげることができる。
さらに、マイク219で顧客の発する言葉を捉えることにより、顧客の言葉に困っている等の様子をうかがわせる表現が含まれていれば、これを認識し、店員によるサポートにつなげることができる。
なお、本実施形態では、顧客の状態の認識に用いる情報として、顔画像や音声を、移動端末200から取得するが、実施にあたっては、顔画像や音声以外の情報から、顧客の状態を認識するようにしても構わない。
また、本実施形態では、移動端末200がタブレット端末である例を説明したが、実施にあたっては、移動端末200は、例えば、スマートフォンなどの携帯端末であってもよい。また、携帯端末としてのスマートフォンは、店内貸与のものでもよいし、顧客が所持するものであってもよい。
また、本実施形態では、移動端末200がショッピングカート510に備え付けのタブレット端末である例を説明したが、実施にあたっては、移動端末200は、例えば、顧客が所持するスマートフォン等の顧客端末であってもよく、この場合には、例えば、ショッピングカート510に、顧客端末を保持するホルダーを設ける等すると好適である。なお、この場合、顧客端末は、インストールされた所定のアプリケーションソフトウェア(実施形態におけるPOSアプリ221に相当)を起動することで、本実施形態の移動端末として機能する。また、スマートフォンが移動端末として使用される場合、下記のように、スマートフォンがスキャナ520の働きをも行うことができる。
顧客が所持するスマートフォンを移動端末として使用する場合についてより詳しく述べる。近年のスマートフォンは、表示デバイスがある側とその背面側との両面にカメラを備えているものが少なくなく、そのようなスマートフォンは、両面を撮像可能である。そういったスマートフォンが移動端末として使用される場合、ホルダーは、表示デバイスの背面側のカメラを収納部511側に向けて、スマートフォンを保持する。このような使用形態において、顧客は、商品を収納部511に入れる際に、背面側のカメラ(背面カメラ)で商品を撮像する。また、表示デバイス側のカメラ(正面カメラ)は、顧客を撮像する。このように、スマートフォンを、上記実施形態のタブレット端末である移動端末200およびスキャナ520に代えて使用することができる。
また、客が所持するスマートフォンを移動端末として使用する場合、移動端末であるスマートフォンは、ステップS11のログインに代えて、入店処理を行う。入店処理は、例えば、次のようなものである。まず、顧客は、入店時にPOSアプリ221を起動(実行)する。次に、顧客は、POSアプリ221の指示に従い、店舗の入口等に表示された二次元コードをカメラに読み取らせるなどすることで、店内システムへ無線接続するためのアクセスコードを取得する。以上の入店処理を経ると、POSアプリ221は、商品登録処理を開始する。
入店処理後、POSアプリ221は、背面カメラによる商品登録処理と、それと並行して、正面カメラによる顧客の顔画像の撮像を行う。なお、このとき、表示デバイス(表示部215に相当)は、商品登録画面を表示している。
さらに、本実施形態では、移動端末200から顧客の顔画像を含む撮像画像をサーバ100に送信し、サーバ100にて顧客の状態を認識する処理を行っているが、実施にあたってはこれに限らない。つまり、例えば、本実施形態の状態認識部102や判断部103、依頼出力部104に相当する機能部を、移動端末200が備えていてもよい。
また、本実施形態では、サーバ100は、例えば店舗のバックヤード等に設置されたPCであるとして説明したが、実施にあたってはこれに限らない。例えば、サーバ100は、クラウド環境にある仮想サーバであっても構わない。この場合の仮想サーバは、例えば、本部に属する本部サーバ内に、店舗毎、或いは適宜構成されたグループ毎に構築される。またこの場合、移動端末200および店員端末300は、仮想サーバと通信する。
本実施形態の販売データ処理システムは、CPUなどの制御装置と、ROMやRAMなどの記憶装置と、HDD、CDドライブ装置などの外部記憶装置と、ディスプレイ装置などの表示装置と、キーボードやマウスなどの入力装置を備えており、通常のコンピュータを利用したハードウェア構成となっている。
また、本実施形態の販売データ処理システムで実行されるプログラムは、ROM等の記憶装置に予め組み込まれて提供される。
本実施形態の販売データ処理システムで実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD-ROM、フレキシブルディスク(FD)、CD-R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
さらに、本実施形態の販売データ処理システムで実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の販売データ処理システムで実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
本実施形態の販売データ処理システムで実行されるプログラムは、上述した各部(商品識別部101、状態認識部102、判断部103、依頼出力部104、撮像部201、読取部202、登録部203、受信部301、報知部302等)を含むモジュール構成となっている。CPU(プロセッサ)は、上記記憶装置からプログラムを読み出して実行することにより、上記各部を主記憶装置上にロードする。これにより、商品識別部101、状態認識部102、判断部103、依頼出力部104、撮像部201、読取部202、登録部203、受信部301、報知部302が、主記憶装置上に生成される。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
100…サーバ、
101…商品識別部、102…状態認識部、103…判断部、104…依頼出力部、
110…制御部、
111…CPU、112…ROM、113…RAM、114…通信I/F、
120…記憶部、121…商品マスタ、
200…移動端末、
201…撮像部、202…読取部、203…登録部、
210…制御部、
211…CPU、212…ROM、213…RAM、214…通信I/F、
215…表示部、216…操作部、217…近距離通信I/F、
218…カメラ、219…マイク、
220…記憶部、221…POSアプリ、
300…店員端末、
301…受信部、302…報知部、
310…制御部、
311…CPU、312…ROM、313…RAM、314…通信I/F、
315…表示部、316…操作部、
320…記憶部、
500…カートPOS、
510…ショッピングカート、
511…収納部、512…キャスタ部、513…ハンドル部、
520…スキャナ、
530…バッテリー。
特開2018-036712号公報

Claims (6)

  1. 移動端末が取得する情報で特定される商品の情報を販売データとして登録する登録部と、
    前記登録部による処理と並行して、前記移動端末が取得する情報により当該移動端末の操作者の状態を認識する状態認識部と、
    前記状態認識部が認識した前記操作者の状態に基づいて、店員によるサポートを要するか判断する判断部と、
    前記サポートを要すると前記判断部が判断すると、店員が操作する店員端末に対して前記操作者のサポートを依頼する情報を出力する依頼出力部と、
    を備える販売データ処理システム。
  2. 前記移動端末は、当該移動端末の操作者に向けて情報を表示する表示部または前記移動端末に対する操作を受け付ける操作部が面する側を撮像するカメラを備え、
    前記状態認識部は、前記カメラが出力する画像情報に含まれる前記操作者の表情から、前記操作者の感情を推定する
    請求項1に記載の販売データ処理システム。
  3. 前記移動端末は、マイクを備え、
    前記状態認識部は、前記マイクが出力する音声情報から、前記操作者の状態を認識する
    請求項1または2に記載の販売データ処理システム。
  4. 前記依頼出力部は、前記サポートを依頼する情報に、前記操作者を特定可能な情報を含める
    請求項1~3のいずれか1つに記載の販売データ処理システム。
  5. 前記依頼出力部は、前記サポートを依頼する情報に、前記移動端末の位置を示す情報を含める
    請求項1~4のいずれか1つに記載の販売データ処理システム。
  6. 販売データ処理システムのコンピュータに、
    移動端末が取得する情報で特定される商品の情報を販売データとして登録する登録機能と、
    前記登録機能による処理と並行して、前記移動端末が取得する情報により当該移動端末の操作者の状態を認識する状態認識機能と、
    前記状態認識機能が認識した前記操作者の状態に基づいて、店員によるサポートを要するか判断する判断機能と、
    前記サポートを要すると前記判断機能が判断すると、店員が操作する店員端末に対して前記操作者のサポートを依頼する情報を出力する依頼出力機能と、
    を実現させるためのプログラム。
JP2021092380A 2021-06-01 2021-06-01 販売データ処理システムおよびプログラム Pending JP2022184491A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021092380A JP2022184491A (ja) 2021-06-01 2021-06-01 販売データ処理システムおよびプログラム
US17/581,241 US20220383331A1 (en) 2021-06-01 2022-01-21 Sales data processing system and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021092380A JP2022184491A (ja) 2021-06-01 2021-06-01 販売データ処理システムおよびプログラム

Publications (1)

Publication Number Publication Date
JP2022184491A true JP2022184491A (ja) 2022-12-13

Family

ID=84194184

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021092380A Pending JP2022184491A (ja) 2021-06-01 2021-06-01 販売データ処理システムおよびプログラム

Country Status (2)

Country Link
US (1) US20220383331A1 (ja)
JP (1) JP2022184491A (ja)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6134235A (en) * 1997-10-08 2000-10-17 At&T Corp. Pots/packet bridge
US10360571B2 (en) * 2013-07-19 2019-07-23 Alpha Modus, Corp. Method for monitoring and analyzing behavior and uses thereof

Also Published As

Publication number Publication date
US20220383331A1 (en) 2022-12-01

Similar Documents

Publication Publication Date Title
US10115139B2 (en) Systems and methods for collaborative shopping
JP4824793B2 (ja) ウエアラブル端末装置及びプログラム
US10062066B2 (en) Systems and methods for retrieving items for a customer at checkout
KR20190053878A (ko) 주문 정보 결정 방법 및 장치
JP2013033361A (ja) 商品買取装置、プログラム、および商品買取方法
JP2013054593A (ja) 情報処理装置及びプログラム
WO2014057704A1 (ja) 商品情報提供システム、商品情報提供装置、及び商品情報出力装置
JP2012069091A (ja) コード読取装置、携帯端末、および商品情報処理システム
JP5142306B1 (ja) 商品情報提供システム、商品情報提供装置、及び商品情報出力装置
US11216651B2 (en) Information processing device and reporting method
JP2021152895A (ja) 読取装置、商品登録装置及び記録媒体
US20140209687A1 (en) Camera Time Out Feature For Customer Product Scanning Device
JP6795667B1 (ja) ネットワークシステム、不審者検知装置、および不審者検知方法
JP6885814B2 (ja) 商品読取装置および商品読取プログラム
JP2013050927A (ja) 健康度報知装置、プログラム及び健康度報知方法
US10719673B2 (en) System and method for collecting and/or retrieving information relating to objects
JP5220953B1 (ja) 商品情報提供システム、商品情報提供装置、及び商品情報出力装置
CN111178923A (zh) 线下导购方法、装置及电子设备
WO2016006136A1 (ja) 情報処理システム
JP2022184491A (ja) 販売データ処理システムおよびプログラム
JP2019168876A (ja) 呼出対応装置、呼出システム、呼出方法および呼出プログラム
US20230410802A1 (en) Information processing system, information processing method, and storage medium
JP5496971B2 (ja) 読取装置、読取システム、およびプログラム
JP7268670B2 (ja) 情報処理装置、制御方法、及びプログラム
JP2021149238A (ja) 携帯端末、情報処理装置、システムおよびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240603