JP2017084090A - Customer service system - Google Patents
Customer service system Download PDFInfo
- Publication number
- JP2017084090A JP2017084090A JP2015211640A JP2015211640A JP2017084090A JP 2017084090 A JP2017084090 A JP 2017084090A JP 2015211640 A JP2015211640 A JP 2015211640A JP 2015211640 A JP2015211640 A JP 2015211640A JP 2017084090 A JP2017084090 A JP 2017084090A
- Authority
- JP
- Japan
- Prior art keywords
- display
- customer
- processor
- sight
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Position Input By Displaying (AREA)
Abstract
Description
本発明は、レジやチケットカウンターなどの接客場所に配置されるディスプレイを含む接客システムに関する。 The present invention relates to a customer service system including a display arranged at a customer service location such as a cash register or a ticket counter.
従来から、商品の販売などの支援に利用される機器が提案されている。たとえば、特開２０１２−２２５８９号公報（特許文献１）には、商品選択支援方法が開示されている。特開２０１２−２２５８９号公報（特許文献１）によると、表示画面の前に注視する利用者が居ない場合には、表示画面に複数の商品の画像がランダムな配列でスクロールする商品一覧画面が表示され、利用者が表示画面に近づいて商品一覧画面の特定の商品の画像を注視すると、その注視点を含む注視領域内の商品の画像が、中央部に注視領域が設定されて、この注視領域内に位置付けられた商品一覧画面が表示される。さらに、この注視領域内の商品の画像を注視続けると、この商品の画像が強調表示される。 2. Description of the Related Art Conventionally, devices used for support such as sales of products have been proposed. For example, Japanese Unexamined Patent Application Publication No. 2012-22589 (Patent Document 1) discloses a product selection support method. According to Japanese Patent Laying-Open No. 2012-22589 (Patent Document 1), when there is no user to watch before the display screen, a product list screen in which images of a plurality of products are scrolled in a random arrangement on the display screen. When the user approaches the display screen and gazes at the image of a specific product on the product list screen, the product image in the gaze area including the gaze point is set to the gaze area in the center. The product list screen positioned in the area is displayed. Further, when the image of the product in the gaze area is continuously watched, the product image is highlighted.
また、特開２００８−２２６１６１号公報（特許文献２）には、注視認識システムが開示されている。特開２００８−２２６１６１号公報（特許文献２）よると、この注視認識システムは、改札通路に沿って配置され、所定の場所に広告画面表示部が付設された改札機本体と、この改札機本体に配置され、かつ改札通路を移動する通行人の顔の存在領域に設定された視線検知範囲を撮像するカメラと、カメラから得られた撮像情報に基づいて、広告画面表示部に対する通行人の視線変化を検出する視線変化検出部とを備えるように構成される。 Japanese Unexamined Patent Application Publication No. 2008-226161 (Patent Document 2) discloses a gaze recognition system. According to Japanese Patent Application Laid-Open No. 2008-226161 (Patent Document 2), this gaze recognition system is arranged along a ticket gate passage and has a ticket gate main body provided with an advertisement screen display unit at a predetermined location, and the ticket gate main body. And a camera that captures a gaze detection range set in a presence area of a passer's face moving in the ticket gate, and a passer's gaze on the advertising screen display unit based on imaging information obtained from the camera And a line-of-sight change detection unit that detects a change.
従来よりも有用な接客システムが求められている。そこで、本発明の目的は、従来よりも有用な接客システムを提供することにある。 There is a need for a customer service system that is more useful than before. Accordingly, an object of the present invention is to provide a customer service system that is more useful than conventional ones.
この発明のある態様に従うと、第１のディスプレイと、センサと、出力部と、制御部と、を備える接客システムが提供される。前記制御部は、前記センサからの情報に基づいて、前記第１のディスプレイの前にいる人の視線に関する情報を前記出力部に出力させる。 According to an aspect of the present invention, a customer service system including a first display, a sensor, an output unit, and a control unit is provided. The control unit causes the output unit to output information related to the line of sight of a person in front of the first display based on information from the sensor.
好ましくは、前記出力部は、第２のディスプレイである。前記制御部は、前記第２のディスプレイに、前記第１のディスプレイに表示されている画面上に前記視線の位置を表示させる。 Preferably, the output unit is a second display. The control unit causes the second display to display the position of the line of sight on the screen displayed on the first display.
好ましくは、接客システムは、入力部をさらに備える。前記制御部は、前記入力部を介して前記第１のディスプレイの画面に表示されるオブジェクトを指定する命令を受け付け、前記第１のディスプレイにおける指定された前記オブジェクトの表示を変える。 Preferably, the customer service system further includes an input unit. The control unit receives an instruction for designating an object displayed on the screen of the first display via the input unit, and changes the display of the designated object on the first display.
好ましくは、前記制御部は、前記入力部を介して、前記画面に表示されるオブジェクトの選択命令を受け付ける。 Preferably, the control unit receives an object selection command displayed on the screen via the input unit.
好ましくは、前記制御部は、前記センサからの情報に基づいて、前記視線が前記ディスプレイから外れた場合に、前記第１のディスプレイの周辺における前記視線に関する情報を前記出力部に出力させる。 Preferably, based on information from the sensor, the control unit causes the output unit to output information on the line of sight around the first display when the line of sight deviates from the display.
好ましくは、前記制御部は、前記センサからの情報に基づいて、前記視線が店員のいる方向を向いていることを前記出力部に出力させる。 Preferably, the control unit causes the output unit to output that the line of sight is directed in a direction where a store clerk is present based on information from the sensor.
好ましくは、接客システムは、マイクをさらに備える。前記制御部は、前記視線が第１のディスプレイの近傍または前記出力部の近傍を向いている場合に、前記マイクを介して入力された音声の処理の結果を前記出力部に出力させる。 Preferably, the customer service system further includes a microphone. The control unit causes the output unit to output the processing result of the voice input via the microphone when the line of sight is directed to the vicinity of the first display or the vicinity of the output unit.
以上のように、この発明によれば、従来よりも有用な接客システムが提供される。 As described above, according to the present invention, a customer service system that is more useful than conventional ones is provided.
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
＜第１の実施の形態＞
＜システム１の全体構成＞
Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the following description, the same parts are denoted by the same reference numerals. Their names and functions are also the same. Therefore, detailed description thereof will not be repeated.
<First Embodiment>
<Overall configuration of
まず、図１および図２を参照して、本実施の形態にかかるシステム１の全体構成について説明する。なお、図１は、本実施の形態にかかるシステム１の全体構成と第１のユースシーンとを示すイメージ図である。図２は、本実施の形態にかかるシステム１の全体構成と第２のユースシーンとを示すイメージ図である。
First, the overall configuration of the
図１および図２を参照して、本実施の形態にかかるシステム１は、コンビニやスーパーなどのレジ付近に配置される。システム１は、客が閲覧するためのディスプレイ装置１００と、ディスプレイ装置１００の前にいる客の視線を取得するためのカメラ２００とを含む。
With reference to FIG. 1 and FIG. 2, the
ディスプレイ装置１００は、顧客が閲覧するための第１のディスプレイと、店員が閲覧するための第２のディスプレイとを有する。本実施の形態においては、第１のディスプレイと第２のディスプレイとは、背中合わせに配置されている。
The
ディスプレイ装置１００と、カメラ２００とは、有線または無線によって接続されている。ディスプレイ装置１００は、カメラ２００が取得した画像データを取得することができる。ただし、カメラ２００は、ディスプレイ装置１００の客側の表面に搭載される形態であってもよい。
＜システムのユースシーン＞
The
<System use scene>
次に、本実施の形態にかかるシステム１の代表的なユースシーンについて説明する。まず、図１を参照して、本実施の形態にかかるシステム１の第１のユースシーンについて説明する。
Next, a typical use scene of the
図１（ａ）に示すように、客がレジのディスプレイ装置１００の前に来ると、自動的に、あるいは店員によって、第１のディスプレイがお薦めの商品を選択可能に表示する。そして、カメラ２００が、逐次、客の顔の画像データを、ディスプレイ装置１００に送信する。ディスプレイ装置１００は、第２のディスプレイに、第１のディスプレイと同様の画面を表示しながら、客の視線の先にある第１のディスプレイの位置を表示する。これによって、店員が、客の見ている位置や商品などを把握することができる。
As shown in FIG. 1 (a), when a customer comes in front of the cash
図１（ｂ）に示すように、店員が、第２のディスプレイの客が見ている商品のボタンにタッチすると、第１のディスプレイにおける当該商品の表示が変わる。たとえば、当該商品の周囲を、黄色や赤で点滅させたりする。この状態で、店員が、当該商品の説明をすることが好ましい。 As shown in FIG. 1B, when the store clerk touches the button of the product that the customer on the second display is viewing, the display of the product on the first display changes. For example, the surroundings of the product are blinked in yellow or red. In this state, it is preferable that the store clerk explains the product.
このように、本実施の形態にかかるシステム１においては、客が見ている商品を店員が把握することができるで、効果的な営業を行うことができる。また、客も、店員が説明してくれている商品がどれであるかをすぐに理解することができる。
As described above, in the
次に、図２を参照して、本実施の形態にかかるシステム１の第２のユースシーンについて説明する。図２（ａ）に示すように、客がレジのディスプレイ装置１００の前に来ると、自動的に、あるいは店員によって、第１のディスプレイは、言語の選択画面を表示する。そして、カメラ２００が、逐次、客の顔の画像データを、ディスプレイ装置１００に送信する。ディスプレイ装置１００は、第２のディスプレイに、第１のディスプレイと同様の画面を表示しながら、客の視線の先の位置を表示する。これによって、店員が、客の見ている位置を把握することができる。
Next, a second use scene of the
図２（ｂ）に示すように、店員が、第２のディスプレイの客が見ている言語のボタンにタッチすると、第１のディスプレイにおける当該言語の表示が変わる。たとえば、当該言語の周囲を、黄色や赤で点滅させたりする。この状態で、店員が、当該言語の説明をしたり、そのまま店員が当該言語の選択命令を入力したりする。なお、言語の選択命令は、客が第１のディスプレイにタッチするか、店員が第２のディスプレイに２回タッチする、または長押しするなどして、入力される。 As shown in FIG. 2B, when the store clerk touches the button of the language that the customer on the second display is viewing, the display of the language on the first display changes. For example, the surroundings of the language are blinked in yellow or red. In this state, the store clerk explains the language, or the store clerk directly inputs a selection instruction for the language. The language selection command is input when the customer touches the first display, or the store clerk touches the second display twice or presses and holds it.
このように、本実施の形態にかかるシステム１においては、客が見ている言語を店員が把握することができるで、接客がスムーズに行われ、店員の言語を話すことができない客も安心してレジにて買い物ができる。
As described above, in the
以下では、このような機能を実現するためのシステム１について詳細に説明する。
＜ディスプレイ装置１００のハードウェア構成＞
Below, the
<Hardware Configuration of
まず、システム１を構成するディスプレイ装置１００のハードウェア構成の一態様について説明する。なお、図３は、本実施の形態にかかるシステム１のハードウェア構成を表わすブロック図である。
First, an aspect of the hardware configuration of the
図３を参照して、本実施の形態にかかるディスプレイ装置１００は、主たる構成要素として、プロセッサ１１０と、メモリ１２０と、第１のタッチパネル１３０（ディスプレイ１３１とポインティングデバイス１３２）と、第２のタッチパネル１４０（ディスプレイ１４１とポインティングデバイス１４２）と、通信インターフェイス１６０と、マイク１７０と、スピーカ１８０とを含む。
Referring to FIG. 3,
プロセッサ１１０は、メモリ１２０あるいは外部の記憶媒体に記憶されているプログラムを実行することによって、ディスプレイ装置１００の各部を制御する。すなわち、プロセッサ１１０は、メモリ１２０に格納されているプログラムを実行することによって、後述する各種の処理を実現する。
The
メモリ１２０は、各種のＲＡＭ（Random Access Memory）や各種のＲＯＭ（Read Only Memory）などによって実現される。メモリ１２０は、たとえば、プロセッサ１１０によって実行されるプログラムや、プロセッサ１１０によるプログラムの実行により生成されたデータ、第１および第２のタッチパネル１３０，１４０から入力されたデータ、カメラ２００から受信した画像データ、画像データから算出した視線の位置データ、第１および第２のタッチパネル１３０，１４０に表示すべき商品のデータや広告のデータなどを記憶する。
The
第１および第２のディスプレイ１３１，１４１は、プロセッサ１１０からの信号に基づいて、文字や画像、たとえば図１および図２などに示す画面を出力する。第１および第２のポインティングデバイス１３２，１４２は、ユーザからの命令を受け付けて当該命令をプロセッサ１１０に入力する。なお、本実施の形態においては、ディスプレイ装置１００は、第１のディスプレイ１３１と第１のポインティングデバイス１３２とが組み合わされた第１のタッチパネル１３０と、第２のディスプレイ１４１と第２のポインティングデバイス１４２とが組み合わされた第２のタッチパネル１４０とを有する。
The first and
通信インターフェイス１６０は、アンテナやコネクタによって実現される。通信インターフェイス１６０は、有線通信あるいは無線通信によって他の装置、たとえばカメラ２００との間でデータをやり取りする。プロセッサ１１０は、通信インターフェイス１６０を介して、カメラ２００から画像データを受信したり、商品の購入履歴をサーバに送信したりする。
The
マイク１７０は、各種の音声を受け付けて、音声信号をプロセッサ１１０に入力する。スピーカ１８０は、プロセッサ１１０からの音声信号に基づいて、各種の音声を出力する。
＜カメラ２００のハードウェア構成＞
The
<Hardware Configuration of
次に、システム１を構成するカメラ２００のハードウェア構成の一態様について説明する。
Next, an aspect of the hardware configuration of the
図３を参照して、本実施の形態にかかるカメラ２００は、主たる構成要素として、プロセッサ２１０と、メモリ２２０と、画像センサ２３０と、通信インターフェイス２６０とを含む。
Referring to FIG. 3,
プロセッサ２１０は、メモリ２２０あるいは外部の記憶媒体に記憶されているプログラムを実行することによって、カメラ２００の各部を制御する。すなわち、プロセッサ２１０は、メモリ２２０に格納されているプログラムを実行することによって、後述する各種の処理を実現する。
The
メモリ２２０は、各種のＲＡＭや各種のＲＯＭなどによって実現される。メモリ２２０は、たとえば、画像センサ２３０が読み取った画像データを一時的に記憶する。
The
画像センサ２３０は、複数の撮像素子を含む。画像センサ２３０は、外部からの光を検知して、画像信号をプロセッサ２１０に入力する。プロセッサ３１０は、画像信号に基づいて、画像データをメモリ２２０に格納する。
The
通信インターフェイス２６０は、アンテナやコネクタによって実現される。通信インターフェイス２６０は、有線通信あるいは無線通信によって他の装置、たとえばディスプレイ装置１００との間でデータをやり取りする。たとえば、プロセッサ２１０は、通信インターフェイス１６０を介して、メモリ２２０に一時的に記憶した画像データをディスプレイ装置１００に送信する。
＜ディスプレイ装置１００のプロセッサ１１０の処理＞
The
<Processing of
次に、図４を参照しながら、本実施の形態にかかるディスプレイ装置１００の情報処理について説明する。なお、図４は、本実施の形態にかかるディスプレイ装置１００の情報処理を示すフローチャートである。
Next, information processing of the
まず、カメラ２００は、定期的に画像データを取得して、ディスプレイ装置１００に画像データを送信する。ディスプレイ装置１００のプロセッサ１１０は、カメラ２００からデータを受信すると、以下の処理を実行する。
First, the
プロセッサ１１０は、受信したデータから画像データを取得する（ステップＳ１０２）。
The
プロセッサ１１０は、画像データから、カメラ２００に対する客の視線の方向を取得する。プロセッサ１１０は、カメラ２００に対する客の視線の方向と、カメラ２００に対する第１のディスプレイ１３１の位置および向きと基づいて、第１のディスプレイ１３１の画面のうちの視線の先の位置を計算する（ステップＳ１０４）。
The
プロセッサ１１０は、第２のディスプレイ１４１に、第１のディスプレイ１３１に表示されている画像を表示させるともに、当該画像上に客の視線の位置を表示させる（ステップＳ１０６）。
The
プロセッサ１１０は、第２のポインティングデバイス１４２を介して、店員が第２のタッチパネル１４０にタッチしたか否かを判断する（ステップＳ１０８）。プロセッサ１１０は、店員が第２のタッチパネル１４０にタッチしなかった場合（ステップＳ１０８にてＮＯの場合）、ステップＳ１１２からの処理を実行する。
The
一方、プロセッサ１１０は、店員が第２のタッチパネル１４０のいずれかの商品または言語にタッチした場合（ステップＳ１０８にてＹＥＳの場合）、第１のディスプレイ１３１の当該商品または当該言語の部分が目立つように、表示態様を変更する（ステップＳ１１０）。
On the other hand, when the store clerk touches any product or language on the second touch panel 140 (YES in step S108), the
プロセッサ１１０は、第１のポインティングデバイス１３２を介して、客が第１のタッチパネル１３０にタッチしたか否かを判断する（ステップＳ１１２）。プロセッサ１１０は、客が第１のタッチパネル１３０にタッチしなかった場合（ステップＳ１１２にてＮＯの場合）、通信インターフェイス１６０を介して、次の画像データを待ち受ける。
The
一方、プロセッサ１１０は、客が第１のタッチパネル１３０のいずれかの商品または言語にタッチした場合（ステップＳ１１２にてＹＥＳの場合）、当該命令を実行する（ステップＳ１１４）。たとえば、プロセッサ１１０は、客が商品のボタンにタッチした場合は、当該商品の詳細な説明を第１のディスプレイ１３１に表示させたり、当該商品の購入を受け付けたりする。あるいは、プロセッサ１１０は、客が言語のボタンにタッチした場合は、第１のディスプレイ１３１の表示言語を当該言語のものに変更する。プロセッサ１１０は、通信インターフェイス１６０を介して、次の画像データを待ち受ける。
On the other hand, when the customer touches any product or language on first touch panel 130 (YES in step S112),
なお、プロセッサ１１０は、店員が第２のタッチパネル１４０のいずれかの商品または言語をダブルクリックした場合にも、ステップＳ１１４と同様の処理を実行することが好ましい。
＜第２の実施の形態＞
In addition, it is preferable that the
<Second Embodiment>
第１の実施の形態にかかるシステム１は、客が第１のディスプレイのどの部分をみているのかを店員に伝えるものであった。本実施の形態にかかるシステム１は、第１の実施の形態のシステム１に、第１のディスプレイの周囲、たとえばレジ付近のどのエリアをみているかを店員に伝える機能を追加したものである。
＜システムの全体構成＞
The
<Overall system configuration>
まず、図５を参照して、本実施の形態にかかるシステム１の全体構成について説明する。なお、図５は、本実施の形態にかかるシステム１の全体構成とユースシーンとを示すイメージ図である。
First, the overall configuration of the
図５を参照して、本実施の形態にかかるシステム１は、客が閲覧するためのディスプレイ装置１００と、ディスプレイ装置１００の前にいる客の視線を取得するための第１のカメラ２００Ａと、客の方向からディスプレイ装置１００の周辺を撮影するための第２のカメラ２００Ｂとを含む。
Referring to FIG. 5,
ディスプレイ装置１００は、顧客が閲覧するための第１のディスプレイと、店員が閲覧するための第２のディスプレイとを有する。本実施の形態においても、第１のディスプレイと第２のディスプレイとが、背中合わせに配置されている。
The
ディスプレイ装置１００と、第１のカメラ２００Ａおよび第２のカメラ２００Ｂとは、有線または無線によって接続されている。ディスプレイ装置１００は、第１のカメラ２００Ａと第２のカメラ２００Ｂとが取得した画像データを取得することができる。
＜システムのユースシーン＞
The
<System use scene>
次に、本実施の形態にかかるシステム１の代表的なユースシーンについて説明する。まず、図５を参照して、本実施の形態にかかるシステム１のユースシーンについて説明する。
Next, a typical use scene of the
図５（ａ）に示すように、客がレジの第１のディスプレイの前に来ると、自動的に、あるいは店員によって、第１のディスプレイは、お薦めの商品を表示する。そして、第１のカメラ２００Ａが、逐次、客の顔の画像データを、ディスプレイ装置１００に送信する。第２のカメラ２００Ｂは、ディスプレイ装置１００を含む、レジ周辺の画像データをディスプレイ装置１００に送信する。
As shown in FIG. 5 (a), when the customer comes in front of the first display of the cash register, the first display automatically or by the store clerk displays the recommended products. Then, the
ディスプレイ装置１００は、客が第１のディスプレイを見ている場合には、第２のディスプレイに、第１のディスプレイと同様の画面を表示しながら、客の視線がある位置を画面上に表示する。そして、本実施の形態においては、ディスプレイ装置１００は、客が第１のディスプレイの周囲を見ている場合には、第２のカメラ２００Ｂからの画像を利用して、第２のディスプレイに、第１のディスプレイの周囲あるいはレジ周辺の画像を表示しながら、客の視線がある位置を画面上に表示する。これによって、店員は、第１のディスプレイの画面に限らず、客の見ている位置を把握することができる。
When the customer is looking at the first display, the
図５（ｂ）に示すように、店員が、第２のディスプレイの客が見ている部分にタッチすると、第１のディスプレイは、第１のディスプレイの周囲の画像を表示しながら、店員がタッチした位置にポインタなどを表示する。この状態で、店員が、当該商品の説明をすることが好ましい。 As shown in FIG. 5B, when the clerk touches the portion of the second display that the customer is viewing, the clerk touches the first display while displaying an image around the first display. A pointer etc. is displayed at the position. In this state, it is preferable that the store clerk explains the product.
このように、本実施の形態にかかるシステム１においては、客が見ている商品を店員が把握することができるで、効果的な営業を行うことができる。また、客も、店員が説明している商品がどれかをすぐに理解できるため、商品の理解が容易になる。
As described above, in the
以下では、このような機能を実現するためのシステム１について詳細に説明する。ただし、ディスプレイ装置１００のハードウェア構成は、第１の実施の形態のディスプレイ装置１００のハードウェア構成と同様であるため、ここでは説明を繰り返さない。また、第１のカメラ２００Ａと第２のカメラのハードウェア構成は、第１の実施の形態のカメラ２００のハードウェア構成と同様であるため、ここでは説明を繰り返さない。
＜ディスプレイ装置１００のプロセッサ１１０の処理＞
Below, the
<Processing of
次に、図６を参照しながら、本実施の形態にかかるディスプレイ装置１００の情報処理について説明する。なお、図６は、本実施の形態にかかるディスプレイ装置１００の情報処理を示すフローチャートである。
Next, information processing of the
カメラ２００は、定期的に画像データを取得して、ディスプレイ装置１００に送信する。ディスプレイ装置１００のプロセッサ１１０は、カメラ２００からデータを受信すると、以下の処理を実行する。
The
プロセッサ１１０は、受信したデータから画像データを取得する（ステップＳ２０２）。
The
プロセッサ１１０は、画像データから、カメラ２００に対する客の視線の方向を取得する。プロセッサ１１０は、カメラ２００に対する客の視線の方向と、カメラ２００に対する第１のディスプレイ１３１の位置および向きと基づいて、第１のディスプレイ１３１に対する視線の位置を計算する（ステップＳ２０４）。
The
本実施の形態においては、プロセッサ１１０は、客の視線の先が第１のディスプレイ１３１の画面内にあるか否かを判断する（ステップＳ２０５）。
In the present embodiment, the
客の視線が第１のディスプレイ１３１の画面内にある場合（ステップＳ２０５にてＹＥＳである場合）、プロセッサ１１０は、第２のディスプレイ１４１に、第１のディスプレイ１３１に表示されている画像を表示させるともに、当該画像のうちの客の視線の先の位置を表示させる（ステップＳ２０６）。プロセッサ１１０は、ステップＳ２０８からの処理を実行する。
When the line of sight of the customer is within the screen of first display 131 (YES in step S205),
一方、客の視線が第１のディスプレイ１３１の外側にある場合（ステップＳ２０５にてＮＯである場合）、プロセッサ１１０は、第２のディスプレイ１４１に、第２のカメラ２００Ｂからの画像データに基づいて第１のディスプレイ１３１の周囲の画像を表示させるともに、当該画像のうちの客の視線の先の位置を表示させる（ステップＳ２０７）。
On the other hand, when the customer's line of sight is outside the first display 131 (NO in step S205), the
プロセッサ１１０は、第２のポインティングデバイス１４２を介して、店員が第２のタッチパネル１４０にタッチしたか否かを判断する（ステップＳ２０８）。プロセッサ１１０は、店員が第２のタッチパネル１４０にタッチしなかった場合（ステップＳ２０８にてＮＯの場合）、ステップＳ２１２からの処理を実行する。
The
一方、プロセッサ１１０は、店員が第２のタッチパネル１４０のいずれかの商品または言語にタッチした場合（ステップＳ２０８にてＹＥＳの場合）、第１のディスプレイ１３１の当該商品または当該言語の部分が目立つように、表示態様を変更する（ステップＳ２１０）。
On the other hand, when the clerk touches any product or language on the second touch panel 140 (YES in step S208), the
より詳細には、店員が第２のタッチパネル１４０にタッチした時に、客の視線が第１のディスプレイ１３１の内側にある場合には、プロセッサ１１０は、第１のディスプレイ１３１に、通常の画面において、当該商品または当該言語の部分が目立つように、表示態様を変更させる。一方、店員が第２のタッチパネル１４０にタッチした時に、客の視線が第１のディスプレイ１３１の外側にある場合には、プロセッサ１１０は、第１のディスプレイ１３１に、第２のカメラ２００Ｂが撮影したレジ周辺の画像を表示させながら、店員がタッチした部分が目立つように、表示態様を変更したり、当該部分にポインタを表示させたりする。
More specifically, when the customer's line of sight is inside the
プロセッサ１１０は、第１のポインティングデバイス１３２を介して、客が第１のタッチパネル１３０にタッチしたか否かを判断する（ステップＳ２１２）。プロセッサ１１０は、客が第１のタッチパネル１３０にタッチしなかった場合（ステップＳ２１２にてＮＯの場合）、通信インターフェイス１６０を介して、次の画像データを待ち受ける。
The
一方、プロセッサ１１０は、客が第１のタッチパネル１３０のいずれかの商品または言語にタッチした場合（ステップＳ２１２にてＹＥＳの場合）、該当する命令を実行する（ステップＳ２１４）。たとえば、プロセッサ１１０は、客が商品のボタンにタッチした場合は、当該商品の詳細な説明を第１のディスプレイ１３１に表示させたり、当該商品の購入を受け付けたりする。あるいは、プロセッサ１１０は、客が言語のボタンにタッチした場合は、第１のディスプレイ１３１の表示言語を当該言語のものに変更する。プロセッサ１１０は、通信インターフェイス１６０を介して、次の画像データを待ち受ける。
On the other hand, when the customer touches any product or language on first touch panel 130 (YES in step S212),
なお、プロセッサ１１０は、店員が第２のタッチパネル１４０のいずれかの商品または言語をダブルクリックした場合にも、ステップＳ１１４と同様の処理を実行することが好ましい。
＜第３の実施の形態＞
In addition, it is preferable that the
<Third Embodiment>
本実施の形態にかかるシステム１は、第１または第２の実施の形態のシステム１に、客が店員の方を向いているときに、その旨を店員に伝えることができる機能を追加したものである。
＜システムの全体構成＞
The
<Overall system configuration>
まず、図７を参照して、本実施の形態にかかるシステム１の全体構成について説明する。なお、図７は、本実施の形態にかかるシステム１の全体構成とユースシーンとを示すイメージ図である。
First, the overall configuration of the
図７を参照して、本実施の形態にかかるシステム１は、客が閲覧するためのディスプレイ装置１００と、ディスプレイ装置１００の前にいる客の視線を取得するためのカメラ２００とを含む。ディスプレイ装置１００は、顧客が閲覧するための第１のディスプレイと、店員が閲覧するための第２のディスプレイとを有する。第１のディスプレイと第２のディスプレイとが、背中合わせに配置されている。
Referring to FIG. 7,
ディスプレイ装置１００とカメラ２００とは、有線または無線によって接続されている。ディスプレイ装置１００は、カメラ２００が取得した画像データを取得することができる。
＜システムのユースシーン＞
The
<System use scene>
次に、本実施の形態にかかるシステム１の代表的なユースシーンについて説明する。まず、図７を参照して、本実施の形態にかかるシステム１のユースシーンについて説明する。
Next, a typical use scene of the
図７（ａ）に示すように、客がレジのディスプレイ装置１００の前に来ると、自動的に、あるいは店員によって、第１のディスプレイは、お薦め商品の選択画面や言語の選択画面を表示する。そして、カメラ２００が、逐次、客の顔の画像データを、ディスプレイ装置１００に送信する。ディスプレイ装置１００は、第２のディスプレイに、第１のディスプレイと同様の画面を表示しながら、客の視線がある位置を画面上に表示する。これによって、店員が、客の見ている位置を把握することができる。
As shown in FIG. 7A, when the customer comes in front of the cash
図７（ｂ）に示すように、客が店員の方を見ると、ディスプレイ装置１００は、カメラ２００からの画像データに基づいて、客の視線が店員の方向を向いていること把握する。ディスプレイ装置１００は、第２のディスプレイに、客が店員の方を向いていることを表示する。
As shown in FIG. 7B, when the customer looks at the store clerk, the
このように、本実施の形態にかかるシステム１においては、店員が第２のディスプレイに集中して、客が店員の方を向いていることに気が付かないという事態の発生を抑制することができる。
As described above, in the
以下では、このような機能を実現するためのシステム１について詳細に説明する。ただし、ディスプレイ装置１００のハードウェア構成は、第１の実施の形態のディスプレイ装置１００のハードウェア構成と同様であるため、ここでは説明を繰り返さない。また、カメラ２００のハードウェア構成は、第１の実施の形態のカメラ２００のハードウェア構成と同様であるため、ここでは説明を繰り返さない。
＜ディスプレイ装置１００のプロセッサ１１０の処理＞
Below, the
<Processing of
次に、図８を参照しながら、本実施の形態にかかるディスプレイ装置１００の情報処理について説明する。なお、図８は、本実施の形態にかかるディスプレイ装置１００の情報処理を示すフローチャートである。
Next, information processing of the
カメラ２００は、定期的に画像データを取得して、ディスプレイ装置１００に送信する。ディスプレイ装置１００のプロセッサ１１０は、カメラ２００からデータを受信すると、以下の処理を実行する。
The
プロセッサ１１０は、受信したデータから画像データを取得する（ステップＳ３０２）。
The
プロセッサ１１０は、画像データから、カメラ２００に対する客の視線の方向を取得する。プロセッサ１１０は、カメラ２００に対する客の視線の方向と、カメラ２００に対する第１のディスプレイ１３１の位置および向きと基づいて、第１のディスプレイ１３１の画面に対する視線の位置を計算する（ステップＳ３０４）。
The
本実施の形態においては、プロセッサ１１０は、客の視線が第１のディスプレイ１３１内にあるか否かを判断する（ステップＳ３０５）。
In the present embodiment, the
客の視線が第１のディスプレイ１３１の内側にある場合（ステップＳ３０５にてＹＥＳである場合）、プロセッサ１１０は、第２のディスプレイ１４１に、第１のディスプレイ１３１に表示されている画像を表示させるともに、当該画像のうちの客の視線の位置を表示させる（ステップＳ３０６）。プロセッサ１１０は、ステップＳ３０８からの処理を実行する。
If the customer's line of sight is inside first display 131 (YES in step S305),
一方、客の視線が第１のディスプレイ１３１の外側にある場合（ステップＳ３０５にてＮＯである場合）、プロセッサ１１０は、第２のディスプレイ１４１に、第１のディスプレイ１３１の周囲の画像を表示させるともに、当該画像のうちの客の視線の位置を表示させる（ステップＳ３０７）。
On the other hand, when the customer's line of sight is outside the first display 131 (NO in step S305), the
さらに、プロセッサ１１０は、客の視線が店員の方へ向いているか否かを判断する（ステップＳ３２２）。たとえば、プロセッサ１１０は、客の視線が第１のディスプレイ１３１または第２のディスプレイ１４１の上方に位置する場合に、客の視線が店員の方へ向いていると判断する。あるいは、プロセッサ１１０は、第２のカメラ２００Ｂから店員の位置を取得して、第１のカメラ２００Ａからのデータに基づいて、客の視線が店員の方へ向いているか否かを判断してもよい。
Further, the
そして、客の視線が店員の方へ向いていない場合（ステップＳ３２２にてＮＯの場合）、プロセッサ１１０は、ステップＳ３０８の処理へ進む。一方、客の視線が店員の方へ向いている場合（ステップＳ３３２にてＹＥＳである場合）、プロセッサ１１０は、第２のディスプレイ１４１に、客が店員の方を向いている旨を出力する（ステップＳ３２４）。
If the customer's line of sight is not pointing toward the store clerk (NO in step S322), the
ステップＳ３０８以降の処理については、第２の実施の形態のステップＳ２０８以降の処理と同様であるため、ここでは説明を繰り返さない。
＜第４の実施の形態＞
Since the processing after step S308 is the same as the processing after step S208 of the second embodiment, description thereof will not be repeated here.
<Fourth embodiment>
第１の実施の形態にかかるシステム１は、客が第１のディスプレイのどの部分をみているのかを店員に伝えるものであった。本実施の形態にかかるシステム１は、第１〜第３の実施の形態のシステム１に、客がレジやディスプレイ装置１００の方を向いているときに音声認識処理を実行し、客がいない場合や客が別の方向を向いているときに音声認識処理を実行しないという機能を追加したものである。
＜システムの全体構成＞
The
<Overall system configuration>
まず、図９を参照して、本実施の形態にかかるシステム１の全体構成について説明する。なお、図９は、本実施の形態にかかるシステム１の全体構成とユースシーンとを示すイメージ図である。
First, the overall configuration of the
図９を参照して、本実施の形態にかかるシステム１は、客が閲覧するためのディスプレイ装置１００と、ディスプレイ装置１００の前にいる客の視線を取得するためのカメラ２００とを含む。ディスプレイ装置１００は、顧客が閲覧するための第１のディスプレイと、店員が閲覧するための第２のディスプレイと、マイクとを有する。本実施の形態においても、第１のディスプレイと第２のディスプレイとが、背中合わせに配置されている。
Referring to FIG. 9,
ディスプレイ装置１００と、カメラ２００とは、有線または無線によって接続されている。ディスプレイ装置１００は、カメラ２００が取得した画像データを取得することができる。
＜システムのユースシーン＞
The
<System use scene>
次に、本実施の形態にかかるシステム１の代表的なユースシーンについて説明する。まず、図９を参照して、本実施の形態にかかるシステム１のユースシーンについて説明する。
Next, a typical use scene of the
図９（ａ）に示すように、客がレジのディスプレイ装置１００の前に来ると、自動的に、あるいは店員によって、第１のディスプレイは、お薦めの商品を表示する。そして、カメラ２００が、逐次、客の顔の画像データを、ディスプレイ装置１００に送信する。ディスプレイ装置１００は、客が第１のディスプレイを見ている場合には、第２のディスプレイに、第１のディスプレイと同様の画面を表示しながら、客の視線がある位置を画面上に表示する。
As shown in FIG. 9A, when the customer comes in front of the cash
そして、特に、本実施の形態においては、客が横を向いて話をしている場合には、マイクが音声認識処理を実行しない。 In particular, in the present embodiment, when the customer is talking sideways, the microphone does not execute the voice recognition process.
一方、図９（ｂ）に示すように、客がディスプレイ装置１００や店員の方向を見ている場合には、ディスプレイ装置１００はマイクが拾った音声を認識し、店員の言語に翻訳し、翻訳結果を第２のディスプレイに表示する。
On the other hand, as shown in FIG. 9B, when the customer is looking at the direction of the
そして、図９（ｃ）に示すように、店員は、客が見ている商品または位置と、翻訳結果とに基づいて、返事をする。ディスプレイ装置１００は、返事の音声をマイクで取得して、客の言語に翻訳し、翻訳結果をスピーカから出力する。
Then, as shown in FIG. 9C, the store clerk replies based on the product or position that the customer is viewing and the translation result. The
なお、店員は、第２のディスプレイの客が見ている部分にタッチすることによって、第１のディスプレイが店員のタッチした位置にポインタなどを表示した状態で、当該商品の説明を音声で入力してもよい。 The store clerk touches the portion of the second display that the customer is viewing, and the first display displays a pointer or the like at the position touched by the store clerk, and inputs the description of the product by voice. May be.
このように、本実施の形態にかかるシステム１においては、店員に問いかけられた可能性が高い場合にだけ翻訳結果を出力するため、システム１や店員が無駄な労力を払う必要がなくなる。
As described above, in the
以下では、このような機能を実現するためのシステム１について詳細に説明する。ただし、ディスプレイ装置１００のハードウェア構成は、第１の実施の形態のディスプレイ装置１００のハードウェア構成と同様であるため、ここでは説明を繰り返さない。また、カメラ２００のハードウェア構成も、第１の実施の形態のカメラ２００のハードウェア構成と同様であるため、ここでは説明を繰り返さない。
Below, the
なお、本実施の形態にかかるディスプレイ装置１００は、１つのマイク１７０を有するものであるが、たとえばディスプレイ装置１００は客の方に向けた第１の指向性マイクと店員の方に向けた第２の指向性マイクとを有するものであってもよい。そして、プロセッサ１１０は、客が向いている方向に応じて、第１の指向性マイクで取得した音声認識処理を実行するか否かを判断し、店員が向いている方向に応じて、第２の指向性マイクで取得した音声認識処理を実行するか否かを判断してもよい。
＜ディスプレイ装置１００のプロセッサ１１０の処理＞
In addition, although the
<Processing of
次に、図１０を参照しながら、本実施の形態にかかるディスプレイ装置１００の情報処理について説明する。なお、図１０は、本実施の形態にかかるディスプレイ装置１００の情報処理を示すフローチャートである。
Next, information processing of the
カメラ２００は、定期的に画像データを取得して、ディスプレイ装置１００に送信する。ディスプレイ装置１００のプロセッサ１１０は、カメラ２００からデータを受信すると、以下の処理を実行する。
The
プロセッサ１１０は、受信したデータから画像データを取得する（ステップＳ４０２）。
The
プロセッサ１１０は、画像データから、カメラ２００に対する客の視線の方向を取得する。プロセッサ１１０は、カメラ２００に対する客の視線の方向と、カメラ２００に対する第１のディスプレイ１３１の位置および向きと基づいて、第１のディスプレイ１３１に対する視線の位置を計算する（ステップＳ４０４）。
The
本実施の形態においては、プロセッサ１１０は、客の視線がディスプレイ装置１００や店員の方向を向いているか否かを判断する（ステップＳ４０６）。
In the present embodiment, the
客の視線がディスプレイ装置１００や店員の方向を向いていない場合（ステップＳ４０６にてＮＯである場合）、プロセッサ１１０は、通信インターフェイス１６０を介して、次の画像データを待ち受ける。
If the customer's line of sight is not facing the
客の視線がディスプレイ装置１００や店員の方向を向いている場合（ステップＳ４０６にてＹＥＳである場合）、プロセッサ１１０は、マイク１７０を介して音声を取得し、音声を翻訳し、翻訳結果をスピーカ１８０または第２のディスプレイ１４１に出力させる（ステップＳ４０８）。プロセッサ１１０は、通信インターフェイス１６０を介して、次の画像データを待ち受ける。
＜第５の実施の形態＞
When the line of sight of the customer is facing the
<Fifth embodiment>
第４の実施の形態にかかるシステム１は、客がレジやディスプレイ装置１００の方を向いているときにマイクから音声を取得し、音声認識処理を実行し、翻訳処理を実行し、翻訳結果を出力するものであった。一方、客がいない場合や客が別の方向を向いているときに音声認識処理以降を実行しないというものであった。
The
しかしながら、ディスプレイ装置１００のプロセッサ１１０は、客がいない場合や客が別の方向を向いているときはマイクを動作させずに音声を取得することしないものであってもよい。
＜第６の実施の形態＞
However, the
<Sixth Embodiment>
あるいは、ディスプレイ装置１００のプロセッサ１１０は、客がいない場合や客が別の方向を向いているときはマイクから音声を取得し、音声認識処理を実行するが、翻訳処理以降を実行しないものであってもよい。
＜第７の実施の形態＞
Alternatively, the
<Seventh embodiment>
あるいは、ディスプレイ装置１００のプロセッサ１１０は、客がいない場合や客が別の方向を向いているときはマイクから音声を取得し、音声認識処理を実行し、翻訳処理も実行するが、翻訳結果を出力しないものであってもよい。
＜第８の実施の形態＞
Alternatively, the
<Eighth Embodiment>
第１〜第７の実施の形態にかかるシステム１は、ディスプレイ装置１００がほとんどの処理を実行するものであった。しかしながら、ディスプレイ装置１００やカメラ２００の役割分担は、そのような形態には限られない。
In the
たとえば、図１１に示すように、システム１は、サーバ３００を有するものであってもよい。サーバ３００は、ＬＡＮまたはＷＡＮおよび／またはインターネットなどを介して、ディスプレイ装置１００とデータの送受信が可能である。そして、ディスプレイ装置１００のプロセッサ１１０の役割の一部または全部をサーバ３００のプロセッサが担ったり、ディスプレイ装置１００が記憶しているデータの一部または全部をサーバ３００が記憶したりしてもよい。
＜第９の実施の形態＞
For example, as illustrated in FIG. 11, the
<Ninth embodiment>
第１〜第８の実施の形態にかかるシステム１は、第１のディスプレイと第２のディスプレイとが背中合わせに配置されるものであった。しかしながら、第１のディスプレイと第２のディスプレイとはそのような配置に限定されるものではない。
In the
たとえば、図１２に示すように、第１のディスプレイと第２のディスプレイとが別々の装置であってもよい。換言すれば、第１の装置１００Ａが第１のディスプレイ１３１を搭載し、第２の装置１００Ｂが第２のディスプレイ１４１を搭載し、いずれかの装置１００Ａ，１００Ｂがディスプレイ装置１００の機能の大部分を搭載してもよい。そして、第１の装置１００Ａと第２の装置１００Ｂとカメラ２００とが、互いにデータ通信可能であればよい。
＜第１０の実施の形態＞
For example, as shown in FIG. 12, the first display and the second display may be separate devices. In other words, the
<Tenth Embodiment>
あるいは、図１３に示すように、レジ付近または店員の控室または店の事務室に配置されるパーソナルコンピュータ４００などの別の通信機器が、第１から第９の実施の形態のディスプレイ装置１００の機能の一部、たとえばプロセッサ１１０やメモリ１２０やマイク１７０やスピーカ１８０などの機能の一部、または全部を搭載してもよい。そして、第１の装置１００Ａが第１のディスプレイ１３１を搭載し、第２の装置１００Ｂが第２のディスプレイ１４１を搭載してもよい。当然に、パーソナルコンピュータ４００は、第１の装置１００Ａ、第２の装置１００Ｂ、カメラ２００などと、直接的または間接的にデータ通信可能である。
＜第１１の実施の形態＞
Alternatively, as shown in FIG. 13, another communication device such as a
<Eleventh embodiment>
また、図１４に示すように、パーソナルコンピュータ４００の代わりに、システム１は、第１のディスプレイ１３１と第２のディスプレイ１４１とカメラ２００と、ＬＡＮまたはＷＡＮおよび／またはインターネットなどを介して通信可能なサーバ３００を利用してもよい。
＜第１２の実施の形態＞
As shown in FIG. 14, instead of the
<Twelfth embodiment>
第１〜第１１の実施の形態にかかるシステム１は、店員向けの各種の情報を第２のディスプレイからテキストまたは画像によって出力するものであり、客向けの各種の情報を第１のディスプレイからテキストまたは画像によって出力するものであった。しかしながら、出力形態はこれに限定されるものではない。
The
図１５に示すように、店員向けの各種の情報は、店員が装着しているイヤホン５００から出力されるものであってもよい。すなわち、本実施の形態にかかるディスプレイ装置１００のプロセッサ１１０は、第２のディスプレイ１４１に出力するべき情報を、通信インターフェイス１６０を介して、イヤホン５００から出力させる。たとえば、プロセッサ１１０は、イヤホン５００に、「お客様はディスプレイの唐揚げを見ています」と出力させたり、「お客様は肉まんの棚を見ています」と出力させたり、「お客様はタバコの棚を見ています」と出力させたり、「お客様が店員を見ています。」と出力させたり、翻訳結果を出力させたりする。
As shown in FIG. 15, various kinds of information for the store clerk may be output from the
これによって、店員は、第２のディスプレイを見なくても、客が見ているものを知ることができるので、「唐揚げ、できたてですよ。」とか「肉まん、１割引きですよ。」などと、効率的な商品の提案ができる。 This allows the store clerk to know what the customer is looking at without having to look at the second display, such as “Fried chicken, freshly made.” Efficient product proposals can be made.
なお、この場合にも、プロセッサ１１０は、各種情報の音声出力に合わせて、第２のディスプレイ１４１にも各種情報を表示させてもよい。
＜第１３の実施の形態＞
Also in this case, the
<Thirteenth embodiment>
あるいは、システム１のプロセッサ１１０は、客向けの各種の情報を、ディスプレイ装置１００のスピーカ１８０から出力させてもよい。
Alternatively, the
この場合も、プロセッサ１１０は、各種情報の音声出力に合わせて、第１のディスプレイ１３１にも各種情報を表示させてもよい。
＜第１４の実施の形態＞
Also in this case, the
<Fourteenth embodiment>
第１〜第１３の実施の形態にかかるシステム１は、レジの前にいる客の視線を、レジの後にいる店員が利用するためのものであった。しかしながら、客や店員は、レジの前ではなく、別の場所にいてもよい。
The
たとえば、第１のディスプレイは客に見える場所であれば、レジに限らず、商品棚の近くに配置してもよい。あるいは、第１のディスプレイは、テレビショッピングの視聴に利用されるテレビであってもよいし、ネットショッピングに利用されるパーソナルコンピュータのディスプレイであってもよい。 For example, the first display is not limited to the cash register as long as it is visible to the customer, and may be arranged near the product shelf. Alternatively, the first display may be a television used for watching TV shopping or a personal computer display used for online shopping.
また、第２のディスプレイは、サービスや商品の提供者に見える場所であれば、レジに限らず、店員の控室や、テレフォンセンターなどに配置されてもよい。
＜第１５の実施の形態＞
In addition, the second display is not limited to the cash register as long as it is visible to the service or product provider, and may be disposed in a waiting room of a store clerk, a telephone center, or the like.
<Fifteenth embodiment>
さらに上記のシステム１は、サービスや商品の販売以外の目的で利用されてもよい。たとえば、店員と客とに利用される代わりに、上記のシステム１を利用する教師が、生徒の視線を確認しながら、授業を進めることも可能である。
＜第１６の実施の形態＞
Furthermore, the
<Sixteenth Embodiment>
上記の第１〜第１５の実施の形態にかかるシステム１は、カメラ２００からの画像に基づいて客の視線を取得するものであった。しかしながら、本実施の形態として、システム１は、カメラ２００からの画像データに限らず、他の画像センサ、熱センサ、音センサ、人感センサなどからの情報に基づいて、客の位置や視線を取得するものであってもよい。なお、視線の方向の検出方法は、公知のいずれかの方法を採用すればよい。
＜その他の応用例＞
The
<Other application examples>
本発明は、システム或いは装置にプログラムを供給することによって達成される場合にも適用できることはいうまでもない。そして、本発明を達成するためのソフトウェアによって表されるプログラムを格納した記憶媒体（あるいはメモリ）を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、本発明の効果を享受することが可能となる。 It goes without saying that the present invention can also be applied to a case where it is achieved by supplying a program to a system or apparatus. Then, a storage medium (or memory) storing a program represented by software for achieving the present invention is supplied to the system or apparatus, and the computer (or CPU or MPU) of the system or apparatus stores it in the storage medium. The effect of the present invention can also be enjoyed by reading and executing the program code.
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。 In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiment, and the storage medium storing the program code constitutes the present invention.
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれることは言うまでもない。 Further, by executing the program code read by the computer, not only the functions of the above-described embodiments are realized, but also an OS (operating system) running on the computer based on the instruction of the program code However, it is needless to say that a case where the function of the above-described embodiment is realized by performing part or all of the actual processing and the processing is included.
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わる他の記憶媒体に書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
＜まとめ＞
Furthermore, after the program code read from the storage medium is written to another storage medium provided in the function expansion board inserted into the computer or the function expansion unit connected to the computer, based on the instruction of the program code, It goes without saying that the CPU of the function expansion board or function expansion unit performs part or all of the actual processing and the functions of the above-described embodiments are realized by the processing.
<Summary>
以上、第１〜第１６の実施の形態およびその応用例においては、第１のディスプレイ１３１と、センサ２００と、出力部１４１，５００と、制御部１１０と、を備えるシステム１が提供される。制御部１１０は、センサ２００からの情報に基づいて、第１のディスプレイ１３１の前にいる人の視線に関する情報を出力部１４１に出力させる。
As described above, in the first to sixteenth embodiments and application examples thereof, the
好ましくは、出力部１４１は、第２のディスプレイ１４１である。制御部１１０は、第２のディスプレイ１４１に、第１のディスプレイ１３１に表示されている画面上に視線の位置を表示させる。
Preferably, the
好ましくは、システム１は、入力部１４２をさらに備える。制御部１１０は、入力部１４２を介して第１のディスプレイ１３１の画面に表示されるオブジェクトを指定する命令を受け付け、第１のディスプレイ１３１における指定されたオブジェクトの表示を変える。
Preferably, the
好ましくは、制御部１１０は、入力部１４２を介して、画面に表示されるオブジェクトの選択命令を受け付ける。
Preferably,
好ましくは、制御部１１０は、センサ２００からの情報に基づいて、視線が第１のディスプレイ１３１から外れた場合に、第１のディスプレイ１３１の周辺における視線に関する情報を出力部１４１，５００に出力させる。
Preferably, the
好ましくは、制御部１１０は、センサ２００からの情報に基づいて、視線が店員のいる方向を向いていることを出力部１４１，５００に出力させる。
Preferably, based on information from
好ましくは、システム１は、マイク１７０をさらに備える。制御部１１０は、視線が第１のディスプレイ１３１の近傍または出力部１４１，５００の近傍を向いている場合に、マイク１７０を介して入力された音声の処理の結果を出力部１４１，５００に出力させる。
Preferably, the
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。 The embodiment disclosed this time should be considered as illustrative in all points and not restrictive. The scope of the present invention is defined by the terms of the claims, rather than the description above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims.
１ ：システム
１００ ：ディスプレイ装置
１００Ａ ：第１の装置
１００Ｂ ：第２の装置
１１０ ：プロセッサ（制御部）
１２０ ：メモリ
１３０ ：第１のタッチパネル
１３１ ：第１のディスプレイ（出力部）
１３２ ：第１のポインティングデバイス（入力部）
１４０ ：第２のタッチパネル
１４１ ：第２のディスプレイ（出力部）
１４２ ：第２のポインティングデバイス（入力部）
１６０ ：通信インターフェイス
１７０ ：マイク
１８０ ：スピーカ
２００ ：カメラ
２００Ａ ：第１のカメラ
２００Ｂ ：第２のカメラ
２１０ ：プロセッサ
２２０ ：メモリ
２３０ ：画像センサ
２６０ ：通信インターフェイス
３００ ：サーバ
３１０ ：プロセッサ
４００ ：パーソナルコンピュータ
５００ ：イヤホン（出力部）
1: System 100:
120: Memory 130: First touch panel 131: First display (output unit)
132: First pointing device (input unit)
140: second touch panel 141: second display (output unit)
142: second pointing device (input unit)
160: Communication interface 170: Microphone 180: Speaker 200:
Claims (7)
センサと、
出力部と、
制御部と、を備え、前記制御部は、
前記センサからの情報に基づいて、前記第１のディスプレイの前にいる人の視線に関する情報を前記出力部に出力させる、接客システム。 A first display;
A sensor,
An output section;
A control unit, the control unit,
A customer service system that causes the output unit to output information relating to the line of sight of a person in front of the first display based on information from the sensor.
前記制御部は、前記第２のディスプレイに、前記第１のディスプレイに表示されている画面上に前記視線の位置を表示させる、請求項１に記載の接客システム。 The output unit is a second display,
The customer service system according to claim 1, wherein the control unit causes the second display to display a position of the line of sight on a screen displayed on the first display.
前記制御部は、前記入力部を介して前記第１のディスプレイの画面に表示されるオブジェクトを指定する命令を受け付け、前記第１のディスプレイにおける指定された前記オブジェクトの表示を変える、請求項２に記載の接客システム。 An input unit,
The control unit receives an instruction to specify an object displayed on the screen of the first display via the input unit, and changes a display of the specified object on the first display. The customer service system described.
前記制御部は、前記視線が前記第１のディスプレイの近傍または前記出力部の近傍を向いている場合に、前記マイクを介して入力された音声の処理の結果を前記出力部に出力させる、請求項１から６のいずれか１項に記載の接客システム。 A microphone,
The said control part makes the said output part output the result of the process of the audio | voice input via the said microphone, when the said eyes | visual_axis has faced the vicinity of the said 1st display, or the vicinity of the said output part. Item 7. The customer service system according to any one of items 1 to 6.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015211640A JP2017084090A (en) | 2015-10-28 | 2015-10-28 | Customer service system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015211640A JP2017084090A (en) | 2015-10-28 | 2015-10-28 | Customer service system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2017084090A true JP2017084090A (en) | 2017-05-18 |
Family
ID=58713475
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015211640A Pending JP2017084090A (en) | 2015-10-28 | 2015-10-28 | Customer service system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2017084090A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018020828A1 (en) * | 2016-07-28 | 2018-02-01 | パナソニックＩｐマネジメント株式会社 | Translation device and translation system |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002015140A (en) * | 2000-06-29 | 2002-01-18 | Hitachi Ltd | Counseling terminal, counseling system using the same and device using the same |
| JP2004133909A (en) * | 2002-09-17 | 2004-04-30 | Matsushita Electric Ind Co Ltd | Portable electronic equipment |
| JP2007286995A (en) * | 2006-04-19 | 2007-11-01 | Hitachi Ltd | Attention level measurement device and attention level measurement system |
| JP2014175944A (en) * | 2013-03-11 | 2014-09-22 | Ricoh Co Ltd | Television conference apparatus, control method of the same, and program |
| WO2015133608A1 (en) * | 2014-03-07 | 2015-09-11 | 国立大学法人京都大学 | Surgery assistance system and camera unit used therein |
| WO2015147168A1 (en) * | 2014-03-28 | 2015-10-01 | 大和ハウス工業株式会社 | Communication unit |
-
2015
- 2015-10-28 JP JP2015211640A patent/JP2017084090A/en active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002015140A (en) * | 2000-06-29 | 2002-01-18 | Hitachi Ltd | Counseling terminal, counseling system using the same and device using the same |
| JP2004133909A (en) * | 2002-09-17 | 2004-04-30 | Matsushita Electric Ind Co Ltd | Portable electronic equipment |
| JP2007286995A (en) * | 2006-04-19 | 2007-11-01 | Hitachi Ltd | Attention level measurement device and attention level measurement system |
| JP2014175944A (en) * | 2013-03-11 | 2014-09-22 | Ricoh Co Ltd | Television conference apparatus, control method of the same, and program |
| WO2015133608A1 (en) * | 2014-03-07 | 2015-09-11 | 国立大学法人京都大学 | Surgery assistance system and camera unit used therein |
| WO2015147168A1 (en) * | 2014-03-28 | 2015-10-01 | 大和ハウス工業株式会社 | Communication unit |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018020828A1 (en) * | 2016-07-28 | 2018-02-01 | パナソニックＩｐマネジメント株式会社 | Translation device and translation system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11216847B2 (en) | System and method for retail customer tracking in surveillance camera network | |
| US20160253843A1 (en) | Method and system of management for switching virtual-reality mode and augmented-reality mode | |
| KR101894022B1 (en) | Method and device for payment processing in virtual reality space | |
| US9361501B2 (en) | Headheld scanner and POS display with mobile phone | |
| JP4928592B2 (en) | Image processing apparatus and program | |
| US9491368B2 (en) | Information obtaining and viewing device, data processing method thereof, and non-transitory computer readable medium storing a program | |
| JP6323586B1 (en) | Store system, electronic shelf label, store system processing method and program | |
| US20170213277A1 (en) | Goods purchase apparatus and goods purchase system having the same | |
| US9741062B2 (en) | System for collaboratively interacting with content | |
| CN112182426A (en) | User interface information display method and device and electronic equipment | |
| CN111243200A (en) | Shopping method, wearable device and medium | |
| JP2019039084A (en) | Mirror device with display function and system | |
| JP2023029520A (en) | Display control device, control method, program, and storage medium | |
| KR20180000007A (en) | Shoping inducing system using augmented reality | |
| US20150100464A1 (en) | Information displaying apparatus and method of object | |
| CN114926242A (en) | Live broadcast commodity processing method and device, electronic equipment and storage medium | |
| WO2019116620A1 (en) | Processing device, processing method, and program | |
| KR101431804B1 (en) | Apparatus for displaying show window image using transparent display, method for displaying show window image using transparent display and recording medium thereof | |
| JP2017084090A (en) | Customer service system | |
| JP2010032851A (en) | Advertisement output system and advertisement output method | |
| CN113259773B (en) | Live broadcast data processing method and device, terminal, server and readable storage medium | |
| US11436826B2 (en) | Augmented reality experience for shopping | |
| KR20180077881A (en) | System for intelligent exhibition based on transparent display and method thereof | |
| KR20170103453A (en) | Electronic catalog service system | |
| JP2017146939A (en) | Image display device, display control method and display control program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180920 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190704 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190716 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190906 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200204 |