JP2021128683A - 情報処理装置 - Google Patents

情報処理装置 Download PDF

Info

Publication number
JP2021128683A
JP2021128683A JP2020024278A JP2020024278A JP2021128683A JP 2021128683 A JP2021128683 A JP 2021128683A JP 2020024278 A JP2020024278 A JP 2020024278A JP 2020024278 A JP2020024278 A JP 2020024278A JP 2021128683 A JP2021128683 A JP 2021128683A
Authority
JP
Japan
Prior art keywords
comment
processor
display
information
user terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020024278A
Other languages
English (en)
Inventor
美香 平間
Mika Hirama
美香 平間
泰宏 木下
Yasuhiro Kinoshita
泰宏 木下
悠 吉家
Yu Yoshiie
悠 吉家
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba TEC Corp
Original Assignee
Toshiba TEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba TEC Corp filed Critical Toshiba TEC Corp
Priority to JP2020024278A priority Critical patent/JP2021128683A/ja
Priority to CN202011294840.5A priority patent/CN113269579A/zh
Priority to US17/172,016 priority patent/US20210253152A1/en
Publication of JP2021128683A publication Critical patent/JP2021128683A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0281—Customer communication at a business location, e.g. providing product or service information, consulting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62B—HAND-PROPELLED VEHICLES, e.g. HAND CARTS OR PERAMBULATORS; SLEDGES
    • B62B3/00—Hand carts having more than one axis carrying transport wheels; Steering devices therefor; Equipment therefor
    • B62B3/14—Hand carts having more than one axis carrying transport wheels; Steering devices therefor; Equipment therefor characterised by provisions for nesting or stacking, e.g. shopping trolleys
    • B62B3/1408—Display devices mounted on it, e.g. advertisement displays
    • B62B3/1416—Display devices mounted on it, e.g. advertisement displays mounted on the handle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62B—HAND-PROPELLED VEHICLES, e.g. HAND CARTS OR PERAMBULATORS; SLEDGES
    • B62B3/00—Hand carts having more than one axis carrying transport wheels; Steering devices therefor; Equipment therefor
    • B62B3/14—Hand carts having more than one axis carrying transport wheels; Steering devices therefor; Equipment therefor characterised by provisions for nesting or stacking, e.g. shopping trolleys
    • B62B3/1408—Display devices mounted on it, e.g. advertisement displays
    • B62B3/1424—Electronic display devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】ユーザからコメントと当該コメントを表示する位置との入力を受け付けることができる情報処理装置を提供する。
【解決手段】情報処理装置（ユーザ端末１０）は、カメラ１７と、ディスプレイと、タッチパネルと、センサ１３と、プロセッサ１１と、を備える。カメラ１７は、画像を撮影する。ディスプレイは、カメラ１７が撮影した撮影画像を表示する。タッチパネルは、ディスプレイと一体的に形成される。センサ１３は、自身の位置を特定する。プロセッサ１１は、タッチパネルを通じて、ディスプレイが表示する商品領域においてタップの入力を受け付け、自身の位置に基づいて、タップされた位置の座標に対応する、実空間における座標を算出し、コメントの入力を受け付け、コメントと実空間における座標とを含むコメント情報を生成する。
【選択図】図２

Description

本発明の実施形態は、情報処理装置に関する。
商品を販売する店舗などにおいて商品を積載するカートなどに付属するユーザ端末が提供されている。そのようなユーザ端末には、店舗内のおすすめ情報やお得な情報などが表示するものがある。
従来、店舗内のおすすめ情報などをユーザ端末に表示する場合、ポスターやチラシなどを作成し、ユーザ端末に表示させるように、ポスターやチラシ情報などを管理するコンテンツサーバに登録する必要があった。また、ユーザがおすすめの情報や商品に対する感想などを店舗やほかの人に伝える場合には、店舗内にある要望カードに記入したり、メールやインターネット上などのソーシャルメディアなど、ユーザ端末を介さない方法で伝えることになり、リアルタイムに伝えられず、また、ユーザ端末からコメントを入力することはできなかった。
特開２００９−２５９２３９号公報
上記の課題を解決するため、ユーザからコメントと当該コメントを表示する位置との入力を受け付けることができる情報処理装置を提供する。
実施形態によれば、情報処理装置は、カメラと、ディスプレイと、タッチパネルと、センサと、プロセッサと、を備える。カメラは、画像を撮影する。ディスプレイは、前記カメラが撮影した撮影画像を表示する。タッチパネルは、前記ディスプレイと一体的に形成される。センサは、自身の位置を特定する。プロセッサは、前記タッチパネルを通じて、前記ディスプレイが表示する商品領域においてタップの入力を受け付け、自身の位置に基づいて、タップされた位置の座標に対応する、実空間における座標を算出し、コメントの入力を受け付け、前記コメントと実空間における前記座標とを含むコメント情報を生成する。
図１は、実施形態に係る店舗システムの構成例を概略的に示す図である。 図２は、実施形態に係るユーザ端末の構成例を示すブロック図である。 図３は、実施形態に係るユーザ端末の表示例を示す図である。 図４は、実施形態に係るユーザ端末の表示例を示す図である。 図５は、実施形態に係るユーザ端末の表示例を示す図である。 図６は、実施形態に係るユーザ端末の動作例を示すフローチャートである。
以下、図面を参照しながら実施形態について説明する。
実施形態に係る店舗システムは、ユーザが商品を搬送するために用いるカートに付属するユーザ端末を通じて商品に関連するコメントを提供する。ユーザ端末は、自身が撮影した画像を表示する。ユーザ端末は、撮影画像を表示し、さらに商品の位置に当該商品に関連するコメントを表示する。即ち、ユーザ端末は、撮影画像に、商品に関連するコメントを重ねて表示する。店舗システムは、店舗などに設置される。即ち、店舗システムは、店舗などに陳列されている商品に関連するコメントを表示する。
図１は、実施形態に係る店舗システム１の構成例を示す。図１が示すように、店舗システム１は、ユーザ端末１０、カート２０及びサーバ３０を示す。サーバ３０は、ユーザ端末１０と通信可能に接続する。
カート２０は、ユーザが商品などの物品を搬送するために用いられる。カート２０は、ユーザが投入する商品を保持しながら移動可能な構造を有する。カート２０は、物品が投入されるカゴ及びカゴを移動可能に支持するローラなどから構成される。
カート２０には、ユーザ端末１０が設置される。
ユーザ端末１０（情報処理装置）は、カート２０の所定の位置に設置される。たとえば、ユーザ端末１０は、ユーザがユーザ端末１０の表示部を視認可能な位置に設置される。図１が示す例では、ユーザ端末１０は、ユーザがカートを押す際にユーザと対面する位置に設置される。即ち、ユーザ端末１０は、カート２０の上端に設置される。
サーバ３０（上位装置）は、店舗システム１全体を管理する。サーバ３０は、商品に関するコメントと当該コメントを表示する位置とを示す表示情報をユーザ端末１０に送信する。また、サーバ３０は、ユーザ端末１０に入力されたコメントと入力されたコメント位置などを示すコメント情報を受信する。
次に、ユーザ端末１０について説明する。
図２は、ユーザ端末１０の構成例を示すブロック図である。図２が示すように、ユーザ端末１０は、プロセッサ１１、メモリ１２、センサ１３、通信部１４、操作部１５、表示部１６及びカメラ１７などを備える。プロセッサ１１と、メモリ１２、センサ１３、通信部１４、操作部１５、表示部１６及びカメラ１７とは、データバス又は所定のインターフェースなどを通じて互いに接続する。
なお、ユーザ端末１０は、図２が示すような構成の他に必要に応じた構成をさらに具備したり、ユーザ端末１０から特定の構成が除外されたりしてもよい。
プロセッサ１１は、ユーザ端末１０全体の動作を制御する。たとえば、プロセッサ１１は、カメラ１７が撮影した撮影画像を表示部１６に表示する。また、プロセッサ１１は、撮影画像にコメントを重ねて表示する。
たとえば、プロセッサ１１は、ＣＰＵなどから構成される。また、プロセッサ１１は、ＡＳＩＣ（Application Specific Integrated Circuit）などから構成されるものであってもよい。また、プロセッサ１１は、ＦＰＧＡ（Field Programmable Gate Array）などから構成されるものであってもよい。
メモリ１２は、種々のデータを格納する。たとえば、メモリ１２は、ＲＯＭ、ＲＡＭ及びＮＶＭとして機能する。
たとえば、メモリ１２は、制御プログラム及び制御データなどを記憶する。制御プログラム及び制御データは、ユーザ端末１０の仕様に応じて予め組み込まれる。たとえば、制御プログラムは、ユーザ端末１０で実現する機能をサポートするプログラムなどである。
また、メモリ１２は、プロセッサ１１の処理中のデータなどを一時的に格納する。また、メモリ１２は、アプリケーションプログラムの実行に必要なデータ及びアプリケーションプログラムの実行結果などを格納してもよい。
センサ１３は、ユーザ端末１０の位置を特定するためのセンサである。センサ１３は、ユーザ端末１０の位置又は位置を特定するためのデータを検出する。センサ１３は、ユーザ端末１０の位置又は検出したデータをプロセッサ１１に送信する。
たとえば、センサ１３は、所定の送信機から測位信号を受信する。また、センサ１３は、ジャイロセンサ及び加速度センサなどから構成されてもよい。センサ１３の構成は、特定の構成に限定されるものではない。
通信部１４は、サーバ３０と通信するためのインターフェースである。たとえば、通信部１４は、無線でサーバ３０と通信する。たとえば、通信部１４は、無線のＬＡＮ（Local Area Network）接続をサポートするものである。
操作部１５は、オペレータから種々の操作の入力を受け付ける。操作部１５は、入力された操作を示す信号をプロセッサ１１へ送信する。ここでは、操作部１５は、タッチパネルなどから構成される。
表示部１６は、プロセッサ１１からの信号に従って種々のデータを表示する。たとえば、表示部１６は、ディスプレイから構成される。ここでは、表示部１６は、操作部１５と一体的に形成されたディスプレイから構成される。
表示部１６は、ユーザ端末１０がカート２０に設置された状態においてカート２０を押すユーザに視認可能な位置に形成されている。たとえば、表示部１６は、ユーザ端末１０がカート２０に設置された状態においてユーザに対向する位置に形成されている。
カメラ１７は、プロセッサ１１からの信号に従って画像を撮影する。カメラ１７は、撮影した画像をプロセッサ１１に送信する。たとえば、カメラ１７は、ＣＣＤ（charge coupled device）イメージセンサ又はＣＭＯＳ（complementary MOS）イメージセンサなどから構成される。
カメラ１７は、カート２０の進行方向の画像を撮影する。即ち、カメラ１７は、ユーザ端末１０がカート２０に設置された状態においてカート２０の進行方向を向くように形成されている。
次に、ユーザ端末１０が実現する機能について説明する。ユーザ端末１０が実現する機能は、プロセッサ１１が内部メモリ又はメモリ１２などに格納されるプログラムを実行することで実現される。
まず、プロセッサ１１は、カメラ１７で撮影した撮影画像を表示部１６に表示する機能を有する。
プロセッサ１１は、操作部１５などを通じて撮影動作を開始する操作の入力を受け付ける。当該操作の入力を受け付けると、プロセッサ１１は、カメラ１７に画像を撮影させる。カメラ１７に画像を撮影させると、プロセッサ１１は、カメラ１７からの撮影画像を表示部１６に表示する。プロセッサ１１は、連続して（リアルタイムで）、カメラ１７からの撮影画像を表示部１６に表示する。
図３は、プロセッサ１１が表示部１６に表示する撮影画像の例を示す。図３が示すように、ここでは、撮影画像の左側に、商品１０１が写るものとする。
また、プロセッサ１１は、操作部１５を通じて、コメントを表示する位置（コメント位置）の入力を受け付ける機能を有する。
コメント位置は、実空間（たとえば、店舗）における三次元座標である。即ち、コメント位置は、プロセッサ１１がコメントを重ねて表示する対象物が存在する、実空間における座標である。
まず、プロセッサ１１は、センサ１３を用いて自身の位置を取得する。即ち、プロセッサ１１は、実空間において自身が存在する三次元座標を取得する。自身の位置を特定すると、プロセッサ１１は、操作部１５を通じて、コメント位置を入力するためのタップを受け付ける。
操作部１５へのタップを受け付けると、プロセッサ１１は、操作部１５においてタップされた位置の座標（二次元座標）を取得する。ここでは、プロセッサ１１は、表示部１６において商品の写る商品領域を表示する。また、プロセッサ１１は、操作部１５を通じて商品領域へのタップを受け付けたものとする。即ち、タップされた位置は、商品領域に含まれる。
タップされた位置の座標を取得すると、プロセッサ１１は、タップされた位置の座標がコメントを入力することができるエリア（コメント可能エリア）に含まれるかを判定する。ここでは、コメント可能エリアは、表示部１６においてコメントが表示されている領域（コメント領域）以外のエリアである。
タップされた位置の座標がコメント可能エリアであると判定すると、プロセッサ１１は、カメラ１７の画角、自身の位置及びタップされた位置の座標などに基づいて、タップされた位置に写る対象物の位置（タップされた座標に対応する、実空間における三次元座標）を取得する。即ち、プロセッサ１１は、実空間において対象物が存在する三次元座標を取得する。プロセッサ１１は、取得した位置をコメント位置として取得する。
図３が示す例では、ユーザは、矢印が示す位置（商品１０１が写る領域に含まれる点）をタップしたものとする。プロセッサ１１は、コメント位置として、実空間において商品１０１が存在する位置を取得する。
コメント位置を取得すると、プロセッサ１１は、タップされた位置の周辺の画像（周辺画像）を取得する。周辺画像は、タップされた位置の座標を含む所定の領域の画像である。たとえば、周辺画像は、矩形の領域の画像である。
図３が示す例では、プロセッサ１１は、周辺領域１０２を取得する。
また、プロセッサ１１は、コメント位置に表示するコメントの入力を受け付ける機能を有する。
コメントは、コメント位置に存在する商品に関連する。たとえば、コメントは、当該商品の販促を目的とするコメントである。
周辺画像を取得すると、プロセッサ１１は、コメントの入力を受け付けるためのボタンを表示部１６に表示する。
図４は、プロセッサ１１がコメントの入力を受け付けるために表示する画面の例を示す。図４が示すように、プロセッサ１１は、ボタン１０３乃至１０５を表示する。
ボタン１０３乃至１０５は、予め設定されたコメントの入力を受け付ける。ボタン１０３乃至１０５は、それぞれ自身に設定されているコメントの入力を受け付ける。
プロセッサ１１は、操作部１５を通じて、ユーザからボタン１０３乃至１０５の何れかへのタップを受け付ける。プロセッサ１１は、タップされたボタンに設定されているコメントの入力を受け付ける。
なお、プロセッサ１１は、キーボード（たとえば、物理キーボード又はスクリーンキーボードなど）を通じて、ユーザからコメントの入力を受け付けてもよい。また、プロセッサ１１は、音声入力を用いてコメントの入力を受け付けてもよい。
また、プロセッサ１１は、コメントとして、絵文字又はマークなどのアイコンの入力を受け付けてもよい。
コメントの入力方法及び内容は、特定の構成に限定されるものではない。
また、プロセッサ１１は、通信部１４を通じて、入力されたコメント及びコメント位置などを含むコメント情報をサーバ３０に送信する。
コメントの入力を受け付けると、プロセッサ１１は、コメント、コメント位置及び周辺画像を含むコメント情報を生成する。コメント情報を生成すると、プロセッサ１１は、メモリ１２にコメント情報を格納する。コメント情報を格納すると、プロセッサ１１は、通信部１４を通じて、コメント情報をサーバ３０に送信する。
また、プロセッサ１１は、サーバ３０からの表示情報に基づいて、コメントを表示する機能を有する。
表示情報は、コメントと当該コメントを表示する、実空間における三次元座標とを示す。プロセッサ１１は、起動時又はリアルタイムで、サーバ３０から表示情報を受信する。
プロセッサ１１は、受信した表示情報に基づいて撮影画像にコメントを重ねて表示する。たとえば、プロセッサ１１は、カメラ１７の画角及び自身の位置などに基づいて、表示画像の各部に対応する、実空間における三次元座標を算出する。各部の三次元座標を算出すると、プロセッサ１１は、表示情報が示す三次元座標と算出された各部の三次元座標とが対応するか（一致するか）を判定する。
算出された三次元座標の中に表示情報が示す三次元座標と対応する三次元座標が存在する場合、プロセッサ１１は、当該三次元座標に対応する、表示部１６における二次元座標を特定する。即ち、プロセッサ１１は、当該三次元座標の位置が写る二次元座標を特定する。プロセッサ１１は、特定された二次元座標に基づく位置に表示情報が示すコメントを表示する。
なお、プロセッサ１１は、複数の表示情報に基づいて、複数のコメントを撮影画像に重ねて表示してもよい。
図５は、プロセッサ１１がコメントを表示する画面の例を示す。図５が示すように、プロセッサ１１は、コメント領域１０６を撮影画像に重ねて表示部１６に表示する。
コメント領域１０６は、表示情報が示すコメントを表示する。また、コメント領域１０６は、表示情報が示す三次元座標に対応する二次元座標に基づく位置に表示される。
図５が示す例では、コメント領域１０６の矢印が指す位置が、表示情報が示す三次元座標に対応する二次元座標である。
また、プロセッサ１１は、各ユーザにコメントがタップされた回数を表示してもよい。この場合、表示情報は、タップされた回数を格納する。プロセッサ１１は、コメント領域にタップされた回数をさらに表示する。
また、プロセッサ１１は、コメント領域１０６へのタップを受け付ける機能を有する。
プロセッサ１１は、操作部１５を通じて、コメント領域１０６へのタップを受け付ける。コメント領域１０６へのタップを受け付けると、プロセッサ１１は、コメント領域１０６に表示されるコメントがタップされたことを示すタップ情報を生成する。
なお、タップ情報は、コメントに対応する表示情報を特定するものであってもよい。また、タップ情報は、タップされた二次元座標に対応する、実空間における三次元座標を含むものであってもよい。
タップ情報を生成すると、プロセッサ１１は、タップ情報をメモリ１２に格納する。タップ情報をメモリ１２に格納すると、プロセッサ１１は、通信部１４を通じてタップ情報をサーバ３０に送信する。
なお、表示情報がタップされた回数を示す場合、プロセッサ１１は、タップされた回数として表示情報が示す回数に１を加えた値をさらに示すタップ情報を生成してもよい。
次に、ユーザ端末１０の動作例について説明する。
図６は、ユーザ端末１０が備えるプロセッサ１１の動作例について説明するためのフローチャートである。
まず、ユーザ端末１０のプロセッサ１１は、センサ１３を用いて自身の位置を取得する（ＡＣＴ１１）。自身の位置を取得すると、プロセッサ１１は、カメラ１７を用いて画像を撮影する（ＡＣＴ１２）。
画像を撮影すると、プロセッサ１１は、撮影画像を表示部１６に表示する（ＡＣＴ１３）。撮影画像を表示部１６に表示すると、プロセッサ１１は、サーバ３０からの表示情報に基づいてコメントを表示するかを判定する（ＡＣＴ１４）。
コメントを表示すると判定すると（ＡＣＴ１４、ＹＥＳ）、プロセッサ１１は、表示情報に基づいてコメントを含むコメント領域を撮影画像に重ねて表示部１６に表示する（ＡＣＴ１５）。
コメントを表示ないと判定した場合（ＡＣＴ１４、ＮＯ）、又は、コメント領域を撮影画像に重ねて表示部１６に表示した場合（ＡＣＴ１５）、プロセッサ１１は、操作部１５を通じてコメント可能エリアへのタップを受け付けたかを判定する（ＡＣＴ１６）。
コメント可能エリアへのタップを受け付けたと判定すると（ＡＣＴ１６、ＹＥＳ）、プロセッサ１１は、タップされた位置などに基づいてコメント位置を取得する（ＡＣＴ１７）。コメント位置を取得すると、プロセッサ１１は、周辺画像を取得する（ＡＣＴ１８）。
周辺画像を取得すると、プロセッサ１１は、コメントの入力を受け付けたかを判定する（ＡＣＴ１９）。コメントの入力を受け付けたと判定すると（ＡＣＴ１９、ＹＥＳ）、プロセッサ１１は、コメント、コメント位置及び周辺画像を含むコメント情報をメモリ１２に格納する（ＡＣＴ２０）。
コメント情報をメモリ１２に格納すると、プロセッサ１１は、通信部１４を通じてコメント情報をサーバ３０に送信する（ＡＣＴ２１）。
コメントの入力を受け付けないと判定した場合（ＡＣＴ１９、ＮＯ）（たとえば、コメントの入力をキャンセルする操作の入力を受け付けた場合）、又は、コメント情報をサーバ３０に送信した場合（ＡＣＴ２１）、プロセッサ１１は、動作を終了するかを判定する（ＡＣＴ２５）。
コメント可能エリアへのタップを受け付けていないと判定すると（ＡＣＴ１６、ＮＯ）、プロセッサ１１は、コメント領域へのタップを受け付けたかを判定する（ＡＣＴ２２）。
コメント領域へのタップを受け付けたと判定すると（ＡＣＴ２２、ＹＥＳ）、プロセッサ１１は、コメント領域に表示されるコメントがタップされたことを示すタップ情報をメモリ１２に格納する（ＡＣＴ２３）。タップ情報をメモリ１２に格納すると、プロセッサ１１は、通信部１４を通じてタップ情報をサーバ３０に送信する（ＡＣＴ２４）。
コメント領域へのタップを受け付けていないと判定した場合（ＡＣＴ２２、ＮＯ）、又は、タップ情報をサーバ３０に送信した場合（ＡＣＴ２４）、プロセッサ１１は、ＡＣＴ２５に進む。
動作を終了しないと判定すると（ＡＣＴ２５、ＮＯ）、プロセッサ１１は、ＡＣＴ１１に戻る。
動作を終了すると判定すると（ＡＣＴ２５、ＹＥＳ）（たとえば、動作を終了する操作の入力を受け付けた場合）、プロセッサ１１は、動作を終了する。
なお、コメント情報は、周辺画像を含まなくてもよい。
また、プロセッサ１１は、所定の間隔でコメント情報及びタップ情報をサーバ３０に送信してもよい。
また、ユーザ端末１０は、ユーザが把持して持ち歩く端末であってもよい。
また、メモリ１２は、表示情報を予め格納するものであってもよい。プロセッサ１１は、メモリ１２が格納する表示情報を取得する。
また、プロセッサ１１は、撮影画像に基づいて自身の位置を取得してもよい。たとえば、プロセッサ１１は、店舗内に設定されているコードなどを読み取り、読み取ったコードに基づいて自身の位置を取得してもよい。
以上のように構成されたユーザ端末は、コメント位置として、操作部においてタップされた位置に対応する、実空間における三次元座標を取得する。また、ユーザ端末は、当該位置に表示させるコメントの入力を受け付ける。従って、ユーザ端末は、ユーザからコメント及びコメント位置の入力を受け付けることができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
１…店舗システム、１０…ユーザ端末、１１…プロセッサ、１２…メモリ、１３…センサ、１４…通信部、１５…操作部、１６…表示部、１７…カメラ、２０…カート、３０…サーバ、１０１…商品、１０２…周辺領域、１０３…ボタン、１０４…ボタン、１０５…ボタン、１０６…コメント領域。

Claims (5)

  1. 画像を撮影するカメラと、
    前記カメラが撮影した撮影画像を表示するディスプレイと、
    前記ディスプレイと一体的に形成されるタッチパネルと、
    自身の位置を特定するためのセンサと、
    前記タッチパネルを通じて、前記ディスプレイが表示する商品領域においてタップの入力を受け付け、
    自身の位置に基づいて、タップされた位置の座標に対応する、実空間における座標を算出し、
    コメントの入力を受け付け、
    前記コメントと実空間における前記座標とを含むコメント情報を生成する、
    プロセッサと、
    を備える情報処理装置。
  2. 前記コメント情報は、タップされた前記位置の座標を含む領域の画像を含む、
    請求項１に記載の情報処理装置。
  3. 前記プロセッサは、
    コメントと前記コメントを表示する位置とを含む表示情報を取得し、
    前記表示情報に基づいて、前記撮影画像に前記コメントを表示するコメント領域を重ねて表示する、
    請求項１又は２に記載の情報処理装置。
  4. 前記プロセッサは、前記コメント領域へのタップを受け付けると、前記コメント領域へタップされたことを示すタップ情報を生成する、
    請求項３に記載の情報処理装置。
  5. 上位装置と通信するためのインターフェースを備え、
    前記プロセッサは、前記インターフェースを通じて、前記コメント情報を前記上位装置に送信する、
    請求項１乃至４の何れか１項に記載の情報処理装置。
JP2020024278A 2020-02-17 2020-02-17 情報処理装置 Pending JP2021128683A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020024278A JP2021128683A (ja) 2020-02-17 2020-02-17 情報処理装置
CN202011294840.5A CN113269579A (zh) 2020-02-17 2020-11-18 信息处理装置及店铺系统
US17/172,016 US20210253152A1 (en) 2020-02-17 2021-02-09 Information processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020024278A JP2021128683A (ja) 2020-02-17 2020-02-17 情報処理装置

Publications (1)

Publication Number Publication Date
JP2021128683A true JP2021128683A (ja) 2021-09-02

Family

ID=77227802

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020024278A Pending JP2021128683A (ja) 2020-02-17 2020-02-17 情報処理装置

Country Status (3)

Country Link
US (1) US20210253152A1 (ja)
JP (1) JP2021128683A (ja)
CN (1) CN113269579A (ja)

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4601729B2 (ja) * 1996-09-29 2010-12-22 雅信 鯨田 遠隔オークションのための装置
JP2002259662A (ja) * 2001-02-28 2002-09-13 Toshiba Corp 商品販売方法およびシステム、販売行為評価情報収集方法およびシステム、ならびにプログラム
JP2003345941A (ja) * 2002-05-27 2003-12-05 Nihon Keizai Advertising Co Ltd 情報配信システム、該情報配信システムを用いた商品宣伝方法、及び該情報配信システムのプログラム
JP2008250615A (ja) * 2007-03-30 2008-10-16 Toshiba Corp 店舗評価システム、サーバ装置及び携帯端末
JP4477653B2 (ja) * 2007-05-14 2010-06-09 株式会社つくばマルチメディア ウェブカメラ買物システム
US10121133B2 (en) * 2010-10-13 2018-11-06 Walmart Apollo, Llc Method for self-checkout with a mobile device
JP5590557B2 (ja) * 2010-11-16 2014-09-17 株式会社Ｎｔｔドコモ 情報評価装置、情報評価方法及びプログラム
US9083997B2 (en) * 2012-05-09 2015-07-14 YooToo Technologies, LLC Recording and publishing content on social media websites
US10146301B1 (en) * 2015-03-26 2018-12-04 Amazon Technologies, Inc. Rendering rich media content based on head position information
JP6115599B2 (ja) * 2015-08-03 2017-04-19 カシオ計算機株式会社 表示制御装置、表示装置及びプログラム
CN105488705A (zh) * 2015-11-23 2016-04-13 深圳正品创想科技有限公司 网上购物辅助系统及方法
US11563895B2 (en) * 2016-12-21 2023-01-24 Motorola Solutions, Inc. System and method for displaying objects of interest at an incident scene
JP7130355B2 (ja) * 2017-03-06 2022-09-05 東芝テック株式会社 チェック装置、及びチェックプログラム
JP7036548B2 (ja) * 2017-07-21 2022-03-15 東芝テック株式会社 画像処理装置、情報処理装置、システム及びプログラム
CN107766432A (zh) * 2017-09-18 2018-03-06 维沃移动通信有限公司 一种数据交互方法、移动终端及服务器
US10685233B2 (en) * 2017-10-24 2020-06-16 Google Llc Sensor based semantic object generation

Also Published As

Publication number Publication date
CN113269579A (zh) 2021-08-17
US20210253152A1 (en) 2021-08-19

Similar Documents

Publication Publication Date Title
JP6202215B2 (ja) 情報処理装置、棚札管理システム、制御方法、及びプログラム
US20170023362A1 (en) Method and apparatus for determining spatial parameter based on image and terminal device
US10755260B2 (en) Methods and apparatuses for mailing items
CN103942242A (zh) 图像处理设备、图像处理方法以及显示装置
KR20220119344A (ko) 모니터링된 물류 상태를 반영하여 지속적으로 변경된 qr 코드를 출력하는 장치
JP2016095560A (ja) 電子機器、オーダーエントリーシステム、及びプログラム
US20170302908A1 (en) Method and apparatus for user interaction for virtual measurement using a depth camera system
CN111723843A (zh) 一种签到方法、装置、电子设备及存储介质
JP6915611B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP5614116B2 (ja) 通信端末
JP2021128683A (ja) 情報処理装置
JP2018106439A (ja) 計測支援装置
JP6514310B1 (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
US10997410B2 (en) Information processing device and information processing system
WO2017169909A1 (ja) 作業支援装置、ウェアラブル端末、作業支援方法および記録媒体
JP6818795B2 (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
JP2015090514A (ja) 検品支援装置、検品支援システム及びプログラム
CN108632485B (zh) 图像形成系统和图像形成装置
US20220101077A1 (en) System that associates object with n-dimensional symbol
JP2020161006A (ja) オブジェクト姿勢制御プログラムおよび情報処理装置
JP2016170495A (ja) 点検支援装置、点検支援装置の制御方法、プログラム及び点検支援システム
JP2016058054A (ja) メニュー画面構築装置、メニュー処理装置、メニュー画面生産方法、メニュー処理方法、及びプログラム
JP2020051856A (ja) カメラのキャリブレーション方法および装置
JP7013615B2 (ja) 情報処理装置、情報処理方法、コンピュータプログラム、及びコンピュータ装置
KR102550027B1 (ko) 물류 상태 관리 서비스를 제공하는 시스템, 장치 및 방법