JP2018055320A - Information processing apparatus and information processing method - Google Patents

Information processing apparatus and information processing method Download PDF

Info

Publication number
JP2018055320A
JP2018055320A JP2016189242A JP2016189242A JP2018055320A JP 2018055320 A JP2018055320 A JP 2018055320A JP 2016189242 A JP2016189242 A JP 2016189242A JP 2016189242 A JP2016189242 A JP 2016189242A JP 2018055320 A JP2018055320 A JP 2018055320A
Authority
JP
Japan
Prior art keywords
guidance
video
display
user
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016189242A
Other languages
Japanese (ja)
Other versions
JP6733461B2 (en
Inventor
邦和 鈴木
Kunikazu Suzuki
邦和 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP2016189242A priority Critical patent/JP6733461B2/en
Priority to PCT/JP2017/018772 priority patent/WO2018061299A1/en
Publication of JP2018055320A publication Critical patent/JP2018055320A/en
Application granted granted Critical
Publication of JP6733461B2 publication Critical patent/JP6733461B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a guidance video suitable for a user even in a first operation by the user.SOLUTION: An information processing apparatus includes: an eye detection unit for detecting an eye area from a user's video inputted from an imaging unit; a line-of-sight detection unit for detecting which of an area of a display unit displaying a guidance video the line of sight faces by analyzing the eye area detected by the eye detection unit; and a control unit for performing display control on the guidance video on the basis of the fact that line of sight has not stayed in a setting area set in advance with respect to the guidance video.SELECTED DRAWING: Figure 4

Description

本発明は、情報処理装置および情報処理方法に関する。   The present invention relates to an information processing apparatus and an information processing method.

現在、ユーザは、銀行またはコンビニエンスストアなどに設置されている現金自動預け払い機（ＡＴＭ）または駅に設置されている乗車券発券機などの情報処理装置を用いて複数の異なる手続きを行うことができる。しかし、これらの情報処理装置における手続の中には難解な操作を行う手続がある。そのため、これらのＡＴＭまたは乗車券発券機においては、音声によるまたは画像表示によるガイダンスが行われる場合がある。   Currently, a user can perform a plurality of different procedures using an information processing device such as an automated teller machine (ATM) installed in a bank or a convenience store or a ticket issuing machine installed in a station. it can. However, among procedures in these information processing apparatuses, there are procedures for performing difficult operations. Therefore, in these ATMs or ticket issuing machines, guidance by voice or image display may be performed.

このようなガイダンスを行うシステムに関して下記の特許文献１が開示されている。特許文献１に開示されている音声ガイダンスシステムでは、ユーザの操作回数または前回の操作日から今回の操作日までの間隔日数などに基づいてガイダンスレベルが設定されることが記載されている。   The following patent document 1 is disclosed regarding the system which performs such guidance. The voice guidance system disclosed in Patent Document 1 describes that the guidance level is set based on the number of user operations or the number of interval days from the previous operation date to the current operation date.

特開平９−１６０７５１号公報Japanese Patent Laid-Open No. 9-160751

上述した特許文献１に開示されている音声ガイダンスシステムでは、ユーザの操作回数またはユーザが操作を行った日の間隔に基づいてガイダンスレベルが設定されるため、初めて情報処理装置を操作するユーザに対して適切なガイダンスが提供されない。   In the voice guidance system disclosed in Patent Document 1 described above, the guidance level is set based on the number of user operations or the interval of the day on which the user performs an operation. Does not provide appropriate guidance.

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ユーザの初回操作においてもユーザに応じたガイダンス映像を提供することが可能な、新規かつ改良された情報処理装置および情報処理方法を提供することにある。   Therefore, the present invention has been made in view of the above problems, and an object of the present invention is to provide a new and improved guidance image that can provide a user with a guidance video even in the first operation of the user. Another object is to provide an information processing apparatus and an information processing method.

上記課題を解決するために、本発明のある観点によれば、撮影部から入力されたユーザの映像から目領域を検出する目検出部と、前記目検出部によって検出された目領域の分析により、ガイダンス映像を表示する表示部のいずれの領域に視線が向いているかを検出する視線検出部と、前記ガイダンス映像に関して事前に設定された設定領域での視線の滞在がなかったことに基づき、前記ガイダンス映像に関する表示制御を行う制御部と、を備える、情報処理装置が提供される。   In order to solve the above-described problem, according to an aspect of the present invention, an eye detection unit that detects an eye region from a user's video input from an imaging unit, and an analysis of the eye region detected by the eye detection unit A line-of-sight detection unit that detects which region of the display unit that displays the guidance video is directed to the line-of-sight, and the absence of a line-of-sight stay in a preset region that is set in advance with respect to the guidance video, There is provided an information processing apparatus including a control unit that performs display control related to a guidance video.

前記制御部は、ある時間区間内に前記設定領域での視線の滞在があったことに基づき、前記時間区間の後区間において前記ガイダンス映像を非表示に制御し、前記時間区間内に前記設定領域での視線の滞在がなかったことに基づき、前記後区間においても前記ガイダンス映像を前記表示部に表示させてもよい。   The control unit controls the guidance video to be hidden in a subsequent section of the time interval based on the stay of the line of sight in the setting region within a certain time interval, and the setting region within the time interval The guidance video may be displayed on the display unit even in the rear section based on the fact that the line of sight was not stayed at.

前記制御部は、間隔を有する複数の時間区間において同一のガイダンス映像または異なるガイダンス情報を前記表示部に表示させ、一の時間区間で前記設定領域での視線の滞在がなかったことに基づき、前記一の時間区間と次の時間区間との間隔区間でも前記一の時間区間に表示された前記ガイダンス映像を前記表示部に表示させてもよい。   The control unit causes the display unit to display the same guidance video or different guidance information in a plurality of time intervals having intervals, and based on the fact that there was no stay of the line of sight in the setting area in one time interval, The guidance video displayed in the one time interval may be displayed on the display unit even in an interval between one time interval and the next time interval.

前記制御部は、前記設定領域での視線の滞在が無かったことに基づき、前記設定領域の表示を強調してもよい。   The control unit may emphasize the display of the setting area based on the absence of a line of sight staying in the setting area.

前記制御部は、前記後区間における前記ガイダンス映像の表示が、何回目の前記ガイダンス映像の表示であるかに基づき、前記設定領域の表示を強調するか否かを制御してもよい。   The control unit may control whether to emphasize the display of the setting area based on how many times the guidance video is displayed in the rear section.

前記情報処理装置は、前記ユーザの映像からユーザの表情を検出する表情検出部をさらに備え、前記制御部は、前記表情検出部により検出された前記ユーザの表情にさらに基づいて前記表示部の表示を制御してもよい。   The information processing apparatus further includes a facial expression detection unit that detects a facial expression of the user from the video of the user, and the control unit displays the display unit based on the facial expression of the user detected by the facial expression detection unit. May be controlled.

前記制御部は、前記ユーザの表情が所定の基準を満たす場合、前記ガイダンス映像の表示の後に、前記ガイダンス映像を補足する補足映像を前記表示部に表示させてもよい。   The control unit may display a supplemental video supplementing the guidance video on the display unit after the guidance video is displayed when the facial expression of the user satisfies a predetermined criterion.

前記制御部は、前記ユーザの表情の困惑度に応じて異なる補足映像を前記表示部に表示させてもよい。   The control unit may cause the display unit to display different supplemental images depending on the degree of embarrassment of the user's facial expression.

また、上記課題を解決するために、本発明の別の観点によれば、撮影部から入力されたユーザの映像から目領域を検出することと、検出された目領域の分析により、ガイダンス映像を表示する表示部のいずれの領域に視線が向いているかを検出することと、前記ガイダンス映像に関して事前に設定された設定領域での視線の滞在がなかったことに基づき、前記ガイダンス映像に関する表示制御を行うことと、を含む、情報処理方法が提供される。   In order to solve the above-described problem, according to another aspect of the present invention, a guidance image is detected by detecting an eye area from a user's image input from a photographing unit and analyzing the detected eye area. Based on the detection of which area of the display unit to display the line of sight is directed and the absence of the line of sight staying in the preset area for the guidance video, display control for the guidance video is performed. And an information processing method is provided.

以上説明したように本発明によれば、ユーザの初回操作においてもユーザに応じたガイダンス映像を提供することが可能である。   As described above, according to the present invention, it is possible to provide a guidance video corresponding to a user even in the first operation of the user.

本発明の実施形態に係るガイダンス装置の外観の一例を示す図である。It is a figure which shows an example of the external appearance of the guidance apparatus which concerns on embodiment of this invention. ガイダンス表示画面の具体例を示す説明図である。It is explanatory drawing which shows the specific example of a guidance display screen. ガイダンス映像の表示例を示す説明図である。It is explanatory drawing which shows the example of a display of a guidance image | video. 本発明の実施形態によるガイダンス装置の内部構成を示す説明図である。It is explanatory drawing which shows the internal structure of the guidance apparatus by embodiment of this invention. 表示部の領域分割の具体例を示す説明図である。It is explanatory drawing which shows the specific example of the area | region division of a display part. ユーザの顔画像から得られる複数の特徴点の例を示す図である。It is a figure which shows the example of the some feature point obtained from a user's face image. ニュートラルな表情と困惑の表情の関係を説明するための図である。It is a figure for demonstrating the relationship between a neutral expression and an embarrassed expression. 各特徴点の位置の管理例を示す説明図である。It is explanatory drawing which shows the example of management of the position of each feature point. 設定テーブルの具体例を示す説明図である。It is explanatory drawing which shows the specific example of a setting table. 補足映像の具体例を示す説明図である。It is explanatory drawing which shows the specific example of a supplementary image | video. 第１のガイダンス制御例を示すフローチャートである。It is a flowchart which shows the 1st example of guidance control. フラグ設定の具体例を示す説明図である。It is explanatory drawing which shows the specific example of flag setting. ガイダンス映像の表示例を示す説明図である。It is explanatory drawing which shows the example of a display of a guidance image | video. 第２のガイダンス制御例を示すフローチャートである。It is a flowchart which shows the 2nd example of guidance control. 第３のガイダンス制御例を示すフローチャートである。It is a flowchart which shows the 3rd example of guidance control. 第４のガイダンス制御例を示すフローチャートである。It is a flowchart which shows the 4th example of guidance control. 困惑度と表示される映像の関係の一例を示す説明図である。It is explanatory drawing which shows an example of the relationship between a confusion degree and the image | video displayed. 第５のガイダンス制御例を示すフローチャートである。It is a flowchart which shows the 5th example of guidance control.

以下に添付図面を参照しながら、本発明の実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. In addition, in this specification and drawing, about the component which has the substantially same function structure, duplication description is abbreviate | omitted by attaching | subjecting the same code | symbol.

＜１．ガイダンス装置の概要＞
図１は、本発明の実施形態に係るガイダンス装置１００の外観の一例を示す図である。本発明の実施形態に係るガイダンス装置１００は、現金自動預け払い機（ＡＴＭ）または乗車券発券機のようなガイダンス情報をユーザに提供する情報処理装置である。ガイダンス装置１００は、複数の異なる機能を有しており、ユーザはガイダンス装置１００を操作することによって、複数の手続きを行うことができる。 <1. Outline of guidance device>
FIG. 1 is a diagram illustrating an example of an appearance of a guidance device 100 according to an embodiment of the present invention. A guidance device 100 according to an embodiment of the present invention is an information processing device that provides guidance information to a user such as an automated teller machine (ATM) or a ticket issuing machine. The guidance device 100 has a plurality of different functions, and the user can perform a plurality of procedures by operating the guidance device 100.

ここで、例えばガイダンス装置１００がＡＴＭである場合、ガイダンス装置１００が有する複数の異なる機能には、「現金の預け入れ」、「現金の引き出し」、「通帳記入」、「残高照会」、「振り込み」、「振り替え」、「暗証番号の変更」などが該当する。また例えばガイダンス装置１００が乗車券発券機である場合、ガイダンス装置１００が有する複数の異なる機能には、「乗車券の購入」、「回数券の購入」、「定期券の購入」、「指定席の変更」、「電子マネーのチャージ」などが該当する。   Here, for example, when the guidance device 100 is an ATM, a plurality of different functions of the guidance device 100 include “cash deposit”, “cash withdrawal”, “passbook entry”, “balance inquiry”, “transfer”. , “Transfer”, “Change PIN”, etc. Further, for example, when the guidance device 100 is a ticket issuing machine, a plurality of different functions of the guidance device 100 include “buy ticket”, “purchase ticket”, “purchase commuter pass”, “designated seat” Change ”and“ charge electronic money ”.

また、ガイダンス装置１００は、図１に示したように、表示部１０２と、撮影部１０６と、スピーカ１０８とを備える。表示部１０２は、ユーザに操作を案内する映像、または現在行われているキャンペーンを案内する映像などのガイダンス映像を含むガイダンス表示画面を表示する。ここで、図２を参照し、表示部１０２に表示されるガイダンス表示画面の具体例を説明する。   Further, the guidance device 100 includes a display unit 102, a photographing unit 106, and a speaker 108, as shown in FIG. The display unit 102 displays a guidance display screen including a guidance video such as a video for guiding an operation to a user or a video for guiding a campaign that is currently being performed. Here, a specific example of the guidance display screen displayed on the display unit 102 will be described with reference to FIG.

図２は、「振り込み」の操作を案内するガイダンス表示画面の具体例を示す説明図である。図２に示したように、ガイダンス表示画面は、簡略メッセージ映像４０、およびガイダンス映像５０を含む。簡略メッセージ映像４０は、ユーザによる操作を案内する簡略なメッセージを示す。例えば、「振り込み」の機能における金融機関の選択フェーズにおいては、図２に示したように、「振込先の金融機関を選んで下さい。」というメッセージを含む簡略メッセージ映像４０が表示される。   FIG. 2 is an explanatory diagram showing a specific example of a guidance display screen for guiding the “transfer” operation. As shown in FIG. 2, the guidance display screen includes a simplified message video 40 and a guidance video 50. The simplified message video 40 shows a simple message that guides the operation by the user. For example, in the financial institution selection phase in the “transfer” function, as shown in FIG. 2, a simplified message video 40 including a message “Please select a transfer destination financial institution” is displayed.

ガイダンス映像５０は、ユーザが実行しようとしている機能、および当該機能の実行のための操作のフェーズに応じて表示（再生）される映像である。例えば、「振り込み」の機能における金融機関の選択フェーズにおいて表示されるガイダンス映像５０は、図２に示したように、「振込先の金融機関名のボタンが有る場合には、そのボタンを選択して下さい。」、「無い場合には、５０音検索またはフリーワード検索を選択して下さい。」のように、金融機関の選択フェーズにおける操作方法を具体的に案内する表示を含む。当該ガイダンス映像５０は、静止画であってもよいし、動画であってもよい。   The guidance video 50 is a video that is displayed (reproduced) in accordance with the function that the user is trying to execute and the phase of the operation for executing the function. For example, the guidance video 50 displayed in the financial institution selection phase in the “transfer” function, as shown in FIG. 2, “if there is a button for the name of the financial institution to which the transfer is made, select that button. ”,“ If there is not, please select a 50-sound search or a free word search. ”A display that specifically guides the operation method in the selection phase of the financial institution is included. The guidance video 50 may be a still image or a moving image.

撮影部１０６は、ガイダンス装置１００を操作するユーザを撮影する。後述するように撮影部１０６は、ユーザの視線および表情を検出するために用いられる画像を撮影する。例えば、撮影部１０６は、ＣＣＤ（Ｃｈａｒｇｅｄ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）カメラであってもよい。スピーカ１０８は、ガイダンス表示画面に対応する音声ガイダンスを出力する。   The photographing unit 106 photographs a user who operates the guidance device 100. As will be described later, the imaging unit 106 captures an image used to detect the user's line of sight and facial expression. For example, the photographing unit 106 may be a CCD (Charged Coupled Devices) camera. The speaker 108 outputs voice guidance corresponding to the guidance display screen.

（背景）
上述したガイダンス表示画面において、ガイダンス映像は、例えば図３に示すように所定の間隔で表示される。所定の間隔で表示される複数のガイダンス映像は、同一のガイダンス映像であってもよいし、異なるガイダンス映像であってもよい。この所定の間隔で表示されるガイダンス映像は、基本ガイダンス情報とも呼ばれる。 (background)
On the guidance display screen described above, the guidance video is displayed at a predetermined interval as shown in FIG. 3, for example. The plurality of guidance videos displayed at predetermined intervals may be the same guidance video or different guidance videos. The guidance video displayed at this predetermined interval is also called basic guidance information.

しかし、どのユーザにも同一のガイダンス表示画面を同一の区間で提供する方法では、ユーザによる操作を効果的に誘導することが困難である。例えば、ガイダンス表示画面の内容を理解できずに困惑しているユーザにはより丁寧な情報が提供されることが望まれる。また、ガイダンス表示画面における重要部分を未だ見ていないユーザにはガイダンス表示画面の表示の継続が望まれる。   However, in the method of providing the same guidance display screen to any user in the same section, it is difficult to effectively guide the user's operation. For example, it is desirable to provide more polite information to users who are confused because they cannot understand the content of the guidance display screen. Further, it is desired that the user who has not yet seen the important part on the guidance display screen to continue displaying the guidance display screen.

そこで、上記事情を一着眼点にして本発明の実施形態を創作するに至った。本発明の実施形態によれば、ユーザの視線および表情の検出に基づき、ユーザに効果的なガイダンス映像を提供することが可能である。以下、このような本発明の実施形態によるガイダンス装置１００の構成および動作を順次詳細に説明する。   Then, it came to create embodiment of this invention from the above circumstances. According to the embodiment of the present invention, it is possible to provide an effective guidance video to the user based on detection of the user's line of sight and facial expression. Hereinafter, the configuration and operation of the guidance device 100 according to the embodiment of the present invention will be sequentially described in detail.

＜２．ガイダンス装置の構成＞
図４は、本発明の実施形態によるガイダンス装置１００の内部構成を示す説明図である。図４に示したように、本発明の実施形態によるガイダンス装置１００は、図１を参照して説明した表示部１０２、撮影部１０６およびスピーカ１０８に加えて、操作部１０４、処理部１１４、通信部１１０および記憶部１１２と、を有する。処理部１１４は、ガイダンス制御部１１６と、操作処理部１１８と、情報取得部１２０と、画像処理部１２２と、を有する。 <2. Configuration of guidance device>
FIG. 4 is an explanatory diagram showing an internal configuration of the guidance device 100 according to the embodiment of the present invention. As shown in FIG. 4, the guidance device 100 according to the embodiment of the present invention includes an operation unit 104, a processing unit 114, a communication in addition to the display unit 102, the imaging unit 106, and the speaker 108 described with reference to FIG. 1. Unit 110 and storage unit 112. The processing unit 114 includes a guidance control unit 116, an operation processing unit 118, an information acquisition unit 120, and an image processing unit 122.

（操作部）
操作部１０４は、例えばタッチパネルであってもよく、またはテンキーなどのハードキーであってもよい。通信部１１０は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などのネットワークを通じて外部のデータベースなどとデータの送受信を行うために用いられる。通信部１１０は、有線通信に対応する機能を有してもよいし、また無線通信に対応する機能を有してもよい。 (Operation section)
The operation unit 104 may be a touch panel, for example, or may be a hard key such as a numeric keypad. The communication unit 110 is used to exchange data with an external database or the like through a network such as a LAN (Local Area Network). The communication unit 110 may have a function corresponding to wired communication or may have a function corresponding to wireless communication.

（記憶部）
記憶部１１２には、各種のプログラムおよびデータが記憶されている。記憶部１１２は、半導体メモリまたはハードディスク装置であってもよく、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）および不揮発性メモリなどで構成されていてもよい。ハードディスク装置には、ＯＳ（Ｏｐｅｒａｔｉｏｎ Ｓｙｓｔｅｍ）および各種アプリケーションが記憶されていてもよい。ＲＡＭは、処理部１１４がプログラムに基づいて処理を実行するために用いられる各種のデータを記憶するワークメモリであってもよい。ＲＡＭには、表示部１０２に表示される表示画面、操作部１０４から入力された操作情報、撮影部１０６で撮影されたユーザの顔画像などの各種情報が記憶されてもよい。なお、不揮発性メモリは、電源をオフにしても記憶内容が消去されないメモリ（フラッシュメモリ）であり、各種設定情報が記憶される。 (Memory part)
The storage unit 112 stores various programs and data. The storage unit 112 may be a semiconductor memory or a hard disk device, and may be configured by a RAM (Random Access Memory), a nonvolatile memory, or the like. The hard disk device may store an OS (Operation System) and various applications. The RAM may be a work memory that stores various data used for the processing unit 114 to execute processing based on a program. The RAM may store various types of information such as a display screen displayed on the display unit 102, operation information input from the operation unit 104, and a user's face image captured by the image capturing unit 106. The nonvolatile memory is a memory (flash memory) whose stored contents are not erased even when the power is turned off, and stores various setting information.

（ガイダンス制御部）
ガイダンス制御部１１６は、表示部１０２によるガイダンス表示画面の表示、およびスピーカ１０８からの音声ガイダンスの出力を制御する制御部の一例である。詳細については後述するように、ガイダンス制御部１１６は、画像処理部１２２により検出されるユーザの視線および表情に応じて、ガイダンス表示画面および音声ガイダンスに関する制御を行う。また、ガイダンス制御部１１６は、他の表示画面を表示部１０２に表示させる表示制御部としての機能を有してもよい。例えば、ガイダンス制御部１１６は、操作部１０４からの指示に基づいて記憶部１１２から表示する情報を読み込み、読み込まれた情報に基づく画面を表示部１０２に表示させてもよい。 (Guidance control unit)
The guidance control unit 116 is an example of a control unit that controls display of a guidance display screen by the display unit 102 and output of voice guidance from the speaker 108. As will be described in detail later, the guidance control unit 116 performs control related to the guidance display screen and voice guidance according to the user's line of sight and facial expression detected by the image processing unit 122. Further, the guidance control unit 116 may have a function as a display control unit that causes the display unit 102 to display another display screen. For example, the guidance control unit 116 may read information to be displayed from the storage unit 112 based on an instruction from the operation unit 104 and cause the display unit 102 to display a screen based on the read information.

（操作処理部）
操作処理部１１８は、操作部１０４から入力された操作情報を取得する。操作処理部１１８は、操作部１０４から入力された操作情報を記憶部１１２に送る。また、操作処理部１１８は、操作部１０４がユーザによって操作された位置に対応する表示部１０２上の表示座標位置を算出する。そして操作処理部１１８は、算出された表示位置座標と対応するオブジェクトをユーザが操作したと判定する。 (Operation processing part)
The operation processing unit 118 acquires operation information input from the operation unit 104. The operation processing unit 118 sends the operation information input from the operation unit 104 to the storage unit 112. Further, the operation processing unit 118 calculates a display coordinate position on the display unit 102 corresponding to a position where the operation unit 104 is operated by the user. Then, the operation processing unit 118 determines that the user has operated an object corresponding to the calculated display position coordinates.

（画像処理部）
画像処理部１２２は、撮影部１０６から入力された画像情報を処理する。画像処理部１２２は、顔検出部１２４と、目検出部１２６と、視線検出部１２８と、表情検出部１３０と、を有する。 (Image processing unit)
The image processing unit 122 processes the image information input from the imaging unit 106. The image processing unit 122 includes a face detection unit 124, an eye detection unit 126, a line-of-sight detection unit 128, and a facial expression detection unit 130.

/顔検出部/
顔検出部１２４は、ユーザの顔を検出する。顔検出部１２４は、例えばエッジ検出または形状パターン検出によって候補領域を抽出し、抽出された候補領域を小領域に分割し、各領域の特徴点を予め設定された顔領域パターンと照合してもよい。また、顔検出部１２４は、各候補領域の濃度が所定の閾値に対応する値である場合に胴体候補領域を抽出し、顔および胴体候補領域の濃度または彩度のコントラストを用いて顔領域を抽出してもよい。 / Face detector /
The face detection unit 124 detects the user's face. For example, the face detection unit 124 extracts candidate regions by edge detection or shape pattern detection, divides the extracted candidate regions into small regions, and collates the feature points of each region with a preset face region pattern. Good. In addition, the face detection unit 124 extracts a body candidate area when the density of each candidate area is a value corresponding to a predetermined threshold, and uses the density or saturation contrast of the face and the body candidate area to determine the face area. It may be extracted.

/目検出部/
目検出部１２６は、ユーザの目を検出するために用いられる。目検出部１２６は、例えば顔検出部１２４によって検出された顔領域の中から、目の白目部分を角膜反射の候補として検出し、また目の黒目部分を瞳孔の候補として検出する。 / Eye detector /
The eye detection unit 126 is used to detect the user's eyes. The eye detection unit 126 detects, for example, the white eye part of the eye as a candidate for corneal reflection from the face area detected by the face detection unit 124, and detects the black eye part of the eye as a candidate for pupil.

/視線検出部/
視線検出部１２８は、ユーザの視線が表示部１０２のいずれの領域に視線が向いているかを検出するために用いられる。視線検出部１２８による視線の検出は、例えば、目検出部１２６により検出された目頭の位置に対して、視点となる虹彩がどの位置にあるのかを判定することによって行われる。具体的には、左目の虹彩が目頭から離れていればユーザが表示部１０２の左側を見ていると判定し、左目の目頭と虹彩が近ければユーザが表示部１０２の右側を見ていると判定する。 / Gaze detection unit /
The line-of-sight detection unit 128 is used to detect in which area of the display unit the line of sight of the user is directed. The detection of the line of sight by the line-of-sight detection unit 128 is performed, for example, by determining the position of the iris serving as the viewpoint with respect to the position of the eye head detected by the eye detection unit 126. Specifically, if the iris of the left eye is far from the eye, it is determined that the user is looking at the left side of the display unit 102, and if the iris of the left eye is close to the iris, the user is looking at the right side of the display unit 102. judge.

図５は、表示部１０２の領域分割の具体例を示す説明図である。図５に示したように、表示部１０２は複数の領域に分割され、視線検出部１２８は、ユーザの視線が表示部１０２のいずれの領域に向いているかを検出する。図５に示した例では、領域Ｅ１〜Ｅ３が図２に示した簡略メッセージ映像４０の表示領域に対応し、領域Ｅ４〜Ｅ１５が図２に示したガイダンス映像５０の表示領域に対応する。   FIG. 5 is an explanatory diagram illustrating a specific example of area division of the display unit 102. As shown in FIG. 5, the display unit 102 is divided into a plurality of regions, and the line-of-sight detection unit 128 detects which region of the display unit 102 the user's line of sight is facing. In the example shown in FIG. 5, the areas E1 to E3 correspond to the display area of the simplified message video 40 shown in FIG. 2, and the areas E4 to E15 correspond to the display area of the guidance video 50 shown in FIG.

なお、表示部１０２が１７インチディスプレイであり、表示部１０２の表示ドット数が１２８０×１０２４ドットである場合、図５で示される領域Ｅ１〜Ｅ１５の各々の大きさは、おおよそ４２３×２０８ドットである。   When the display unit 102 is a 17-inch display and the number of display dots on the display unit 102 is 1280 × 1024 dots, the size of each of the areas E1 to E15 shown in FIG. 5 is approximately 423 × 208 dots. is there.

視線検出部１２８は、さらに、特定された視線位置に対して視線が留まっていた時間を測定する。例えば、視線検出部１２８は、ある視線位置から７５ドットの範囲内に視線が留まっていた時間を、上記視線位置に対して視線が留まっていた時間として測定してもよい。   The line-of-sight detection unit 128 further measures the time during which the line of sight has remained with respect to the specified line-of-sight position. For example, the line-of-sight detection unit 128 may measure the time during which the line of sight remains within a range of 75 dots from a certain line-of-sight position as the time during which the line of sight remained with respect to the line-of-sight position.

７５ドットという値は、上述した大きさおよびドット数を有する表示部１０２をユーザが６０ｃｍの離れたところから見ていると想定した場合の中心視の大きさを考慮して算出される値である。中心視は、人が一点を凝視しているときに色や形を正確に捉えることができる領域であり、上述した表示部１０２において当該領域の径は２ｃｍである。そして、上述した大きさとドット数を有する表示部１０２においては、２ｃｍは７５ドットに相当する。なお、上述した視線を判定するために用いられるドット数は、表示部１０２が有するドット数に応じて変更されてもよい。   The value of 75 dots is a value calculated in consideration of the size of central vision when it is assumed that the user is viewing the display unit 102 having the above-described size and the number of dots from a distance of 60 cm. . Central vision is an area where the color and shape can be accurately captured when a person is staring at one point, and the diameter of the area is 2 cm in the display unit 102 described above. In the display unit 102 having the above-described size and the number of dots, 2 cm corresponds to 75 dots. Note that the number of dots used to determine the line of sight described above may be changed according to the number of dots that the display unit 102 has.

/表情検出部/
表情検出部１３０は、ユーザが表示部１０２を見ているときの表情を検出するために用いられる。表情検出部１３０は、顔検出部１２４で検出された顔領域の中で目や口の動きの変化を測定し、測定された変化と、あらかじめ設定された表情推定用データを照合して表情を検出する。 / Face detection unit /
The expression detection unit 130 is used to detect an expression when the user is looking at the display unit 102. The facial expression detection unit 130 measures changes in eye and mouth movements in the face area detected by the face detection unit 124, and collates the measured changes with preset facial expression estimation data to obtain facial expressions. To detect.

図６は、ユーザ３００の顔画像から得られる複数の特徴点の例を示す図である。図６に示すように、顔検出部１２４によって、ユーザ３００の顔画像から特徴点として、左眉Ｐ１〜Ｐ３、右眉Ｐ４〜Ｐ６、左目Ｐ７〜Ｐ１０、右目Ｐ１１〜Ｐ１４、口Ｐ１５〜Ｐ１８が検出される。   FIG. 6 is a diagram illustrating an example of a plurality of feature points obtained from the face image of the user 300. As shown in FIG. 6, the left eyebrow P <b> 1 to P <b> 3, the right eyebrow P <b> 4 to P <b> 6, the left eye P <b> 7 to P <b> 10, the right eye P <b> 11 to P <b> 14, and the mouth P <b> 15 to P < Detected.

以下では、具体的な例として、ニュートラルな表情と比較した困惑の表情の特徴について説明する。しかし、他の表情も困惑の表情と同様に固有の特徴を有している。したがって、それぞれの表情は、固有の特徴に基づいて認識され得る。   In the following, as a specific example, the characteristics of the embarrassed facial expression compared to the neutral facial expression will be described. However, other facial expressions have unique features as well as puzzled facial expressions. Accordingly, each facial expression can be recognized based on unique features.

図７は、ニュートラルな表情と困惑の表情の関係を説明するための図である。画像Ｆ１は、ユーザ３００の表情がニュートラルな表情である場合に撮像された左眉毛画像（Ｐ１〜Ｐ３）と左目画像（Ｐ７〜Ｐ１０）である。一方、画像Ｆ２は、ユーザ３００の表情が困惑の表情である場合に撮像された左眉毛画像（Ｐ１〜Ｐ３）と左目画像（Ｐ７〜Ｐ１０）である。画像Ｆ１に写るニュートラルな表情と比較すると、画像Ｆ２に写る困惑の表情においては、眉毛と目の距離が短くなり（特に、眉毛の特徴点Ｐ１〜Ｐ３と目の上部の特徴点Ｐ７〜Ｐ９が変化しており）、目の開きが細くなっている（特に、目の特徴点Ｐ８とＰ１０が変化している）。   FIG. 7 is a diagram for explaining the relationship between a neutral expression and a confused expression. Image F1 is a left eyebrow image (P1 to P3) and a left eye image (P7 to P10) captured when the facial expression of user 300 is a neutral facial expression. On the other hand, the image F2 is a left eyebrow image (P1 to P3) and a left eye image (P7 to P10) captured when the facial expression of the user 300 is a confusing expression. Compared with the neutral facial expression shown in the image F1, in the embarrassed facial expression shown in the image F2, the distance between the eyebrows and the eyes is shortened (particularly, the eyebrows feature points P1 to P3 and the upper eye feature points P7 to P9). The eye opening is narrowed (in particular, the eye feature points P8 and P10 are changing).

図８は、各特徴点の位置の管理例を示す説明図である。図８に示したように、ニュートラルな表情における各特徴点の位置（ニュートラル位置）、および各特徴点の現在位置が管理される。表情検出部１３０は、各特徴点のニュートラル位置と現在位置との差分の傾向を、表情推定用データと照合することにより、ユーザの表情を推定する。図８には、検出結果として、ユーザの表情が困惑の表情であり、困惑度がＬ１である例を示している。なお、表情検出部１３０は、ユーザがガイダンス装置１００の操作を開始した時のユーザの表情をニュートラルな表情として扱ってもよい。   FIG. 8 is an explanatory diagram showing an example of management of the position of each feature point. As shown in FIG. 8, the position of each feature point (neutral position) in the neutral facial expression and the current position of each feature point are managed. The facial expression detection unit 130 estimates the user's facial expression by collating the tendency of the difference between the neutral position and the current position of each feature point with the facial expression estimation data. FIG. 8 shows an example in which the user's facial expression is a confused expression and the confusing degree is L1 as a detection result. The facial expression detection unit 130 may treat the facial expression of the user when the user starts operating the guidance device 100 as a neutral facial expression.

上述した視線検出部１２８および表情検出部１３０により得られる検出情報は、記憶部１１２に記憶され、ガイダンス制御部１１６によるガイダンスの制御に用いられる。   Detection information obtained by the above-described line-of-sight detection unit 128 and facial expression detection unit 130 is stored in the storage unit 112 and used for guidance control by the guidance control unit 116.

＜３．ガイダンスの制御例＞
以上、本発明の実施形態によるガイダンス装置１００の構成を説明した。続いて、ガイダンス制御部１１６によるガイダンス映像の表示制御についてより詳細に説明する。 <3. Guidance control example>
The configuration of the guidance device 100 according to the embodiment of the present invention has been described above. Next, the guidance video display control by the guidance control unit 116 will be described in more detail.

ガイダンス映像は複数の領域から構成され、各領域が有する情報の重要性（有用性）は異なり得る。相対的に重要な情報を有する領域はユーザに視認されることが望まれる。このため、ガイダンス情報ごとに、相対的に重要な情報を有する領域（以下、設定領域と称する。）が設定される。また、ガイダンス映像の内容を理解できずに困惑しているユーザにはより丁寧な情報が提供されることが望まれる。このため、ガイダンス情報ごとに、当該ガイダンス情報を補足する補足映像が設定される。以下、図９を参照し、ガイダンス情報ごとの設定を示す設定テーブルの具体例を説明する。   The guidance video is composed of a plurality of areas, and the importance (usefulness) of information included in each area may be different. It is desired that the area having relatively important information is visually recognized by the user. Therefore, an area having relatively important information (hereinafter referred to as a setting area) is set for each guidance information. In addition, it is desired that more polite information be provided to users who are confused because they cannot understand the content of the guidance video. For this reason, a supplementary video supplementing the guidance information is set for each guidance information. Hereinafter, a specific example of a setting table indicating settings for each guidance information will be described with reference to FIG.

図９は、設定テーブルの具体例を示す説明図である。図９に示したように、設定テーブルにおいては、各ガイダンス映像に、設定領域および補足映像が関連付けられる。図９に示した例では、ガイダンス映像１には、設定領域として領域Ｅ８、Ｅ９、Ｅ１１およびＥ１２が関連付けられ、補足映像として補足映像１が関連付けられる。当該設定テーブルは記憶部１１２に記憶され、ガイダンス制御部１１６により参照される。なお、例えば図２に示したガイダンス映像に関連付けられる補足映像としては、例えば図１０に示したように、５０音検索の説明を補足する情報を含む映像が挙げられる。   FIG. 9 is an explanatory diagram of a specific example of the setting table. As shown in FIG. 9, in the setting table, a setting area and a supplementary video are associated with each guidance video. In the example shown in FIG. 9, the guidance video 1 is associated with regions E8, E9, E11, and E12 as setting regions, and supplemental video 1 is associated with supplemental video. The setting table is stored in the storage unit 112 and is referred to by the guidance control unit 116. For example, as a supplementary video associated with the guidance video shown in FIG. 2, for example, as shown in FIG. 10, a video including information supplementing the explanation of the 50-sound search can be cited.

ガイダンス制御部１１６は、上述した設定テーブルに基づき、ガイダンス映像に関する表示制御を行う。以下、ガイダンス制御部１１６が行い得る幾つかのガイダンス制御を順次説明する。   The guidance control unit 116 performs display control related to the guidance video based on the setting table described above. Hereinafter, several guidance controls that can be performed by the guidance control unit 116 will be sequentially described.

（３−１．第１のガイダンス制御例）
図１１は、第１のガイダンス制御例を示すフローチャートである。まず、ガイダンス装置１００が人体センサなどによってユーザを検出すると、撮影部１０６が起動して撮像を開始し、表示部１０２が、記憶部１１２に記憶されたガイダンス映像（基本ガイダンス映像）を含むガイダンス表示画面の表示を開始する（Ｓ３０２）。なお、本フローは、ユーザの検出でなく、表示部１０２の画面遷移に連動して開始してもよい。また、Ｓ３０２において、スピーカ１０８も、ガイダンス制御部１１６による制御に基づいて、記憶部１１２に記憶された音声ガイダンスの出力を開始してもよい。 (3-1. First Guidance Control Example)
FIG. 11 is a flowchart illustrating a first guidance control example. First, when the guidance device 100 detects a user using a human body sensor or the like, the photographing unit 106 is activated to start imaging, and the display unit 102 displays guidance including a guidance video (basic guidance video) stored in the storage unit 112. The display of the screen is started (S302). Note that this flow may be started in conjunction with the screen transition of the display unit 102 instead of the user detection. In S <b> 302, the speaker 108 may also start outputting the voice guidance stored in the storage unit 112 based on the control by the guidance control unit 116.

そして、顔検出部１２４が撮影部１０６から入力されるユーザの映像からユーザの顔を検出し（Ｓ３０４）、目検出部１２６がユーザの顔から目領域を検出する（Ｓ３０６）。さらに、視線検出部１２８が、ユーザの目領域の分析により、ユーザの視線がガイダンス映像のいずれの領域に向いているかを検出する（Ｓ３０８）。例えば、視線検出部１２８が、図５に示した領域Ｅ１〜Ｅ１５のいずれの領域にユーザの視線が向いているかを検出し、例えば図１２に示すように１００ｍｓなどの単位時間ごとに検出結果を記憶部１１２に記録する。   Then, the face detection unit 124 detects the user's face from the user's video input from the photographing unit 106 (S304), and the eye detection unit 126 detects the eye area from the user's face (S306). Furthermore, the line-of-sight detection unit 128 detects to which area of the guidance video the user's line of sight is directed by analyzing the user's eye area (S308). For example, the line-of-sight detection unit 128 detects which area of the areas E1 to E15 illustrated in FIG. 5 the user's line of sight is directed to, and for example, displays the detection result for each unit time such as 100 ms as illustrated in FIG. Record in the storage unit 112.

その後、ガイダンス制御部１１６が、図９に示した設定テーブルに基づき、全ての設定領域での視線の滞在が認められたか、すなわち、全ての設定領域をユーザが見たかを判断する（Ｓ３１２）。ここで、ガイダンス制御部１１６は、視線がある領域に所定時間以上に渡って留まっていた場合に、当該領域に視線が滞在していたと判断する。所定時間は、例えば２００ｍｓであってもよい。２００ｍｓという時間は、一般的な視線のサッケードの時間（人が物体を見ようとして注視点を変えるときに要する時間）を考慮した時間である。   After that, the guidance control unit 116 determines whether stay of the line of sight in all the setting areas is recognized based on the setting table shown in FIG. 9, that is, whether the user has seen all the setting areas (S312). Here, the guidance control unit 116 determines that the line of sight has stayed in the area when the line of sight has remained in the area having the line of sight for a predetermined time or more. The predetermined time may be 200 ms, for example. The time of 200 ms is a time in consideration of a general gaze saccade time (a time required for a person to change a point of sight while looking at an object).

Ｓ３１２において全ての設定領域での視線の滞在が認められなかった場合（Ｓ３１２／ｎｏ）、ガイダンス制御部１１６は、ガイダンス映像の再表示フラグをセットする（Ｓ３１４）。一方、Ｓ３１２において全ての設定領域での視線の滞在が認められた場合（Ｓ３１２／ｙｅｓ）、ガイダンス制御部１１６は、ガイダンス映像の再表示フラグをクリアする（Ｓ３２０）。例えば、ガイダンス制御部１１６は、図１２に示したように、全ての設定領域での視線の滞在が認められない間は再表示フラグを「１」にセットし、全ての設定領域での視線の滞在が認められた後は再表示フラグを「０」にクリアする。   If the stay of the line of sight in all the setting areas is not recognized in S312 (S312 / no), the guidance control unit 116 sets a guidance video redisplay flag (S314). On the other hand, when the stay of the line of sight is recognized in all the setting areas in S312 (S312 / yes), the guidance control unit 116 clears the guidance video redisplay flag (S320). For example, as shown in FIG. 12, the guidance control unit 116 sets the re-display flag to “1” while staying in the line of sight in all the setting areas is not recognized, and the line of sight in all the setting areas. After the stay is recognized, the redisplay flag is cleared to “0”.

また、表情検出部１３０が、ユーザの顔の映像から、ユーザの表情を検出する（Ｓ３２２）。そして、ガイダンス制御部１１６は、ユーザの表情が困惑の表情である場合（Ｓ３２４／ｙｅｓ）、図１２に示すように困惑フラグをセットする（Ｓ３２６）。上述したＳ３０４〜Ｓ３２６の処理が、ガイダンス映像の表示の時間区間が終了するまで繰り返される。   In addition, the facial expression detection unit 130 detects the user's facial expression from the video of the user's face (S322). When the user's facial expression is a confused expression (S324 / yes), the guidance control unit 116 sets a confusing flag as shown in FIG. 12 (S326). The processes of S304 to S326 described above are repeated until the time interval for displaying the guidance video ends.

その後、ユーザによる操作が開始されると、ガイダンス制御が終了する（Ｓ３３２／ｙｅｓ）。ユーザによる操作が開始されない場合（Ｓ３３２／ｎｏ）、ガイダンス制御部１１６は、困惑フラグがセットされた頻度、すなわち、ガイダンス映像の表示時間に対して困惑フラグがセットされた時間の割合を確認する（Ｓ３３４）。   Thereafter, when an operation by the user is started, the guidance control ends (S332 / yes). When the operation by the user is not started (S332 / no), the guidance control unit 116 confirms the frequency of setting the puzzle flag, that is, the ratio of the time when the puzzle flag is set to the display time of the guidance video ( S334).

そして、ガイダンス制御部１１６は、ガイダンス映像の表示が終了した時点での再表示フラグが「１」にセットされている場合（Ｓ３３６／ｙｅｓ）、ガイダンス映像を表示部１０２に再度表示させる（Ｓ３３８）。一方、ガイダンス制御部１１６は、ガイダンス映像の表示が終了した時点での再表示フラグが「０」にクリアされている場合（Ｓ３３６／ｎｏ）、困惑フラグの頻度に応じて表示を制御する。具体的には、困惑フラグの頻度が所定値（例えば、３０％）より低い場合（Ｓ３４０／ｙｅｓ）、ガイダンス制御部１１６はガイダンス映像を表示部１０２に再度表示させる（Ｓ３３８）。一方、困惑フラグの頻度が所定値（例えば、３０％）以上である場合（Ｓ３４０／ｎｏ）、ガイダンス制御部１１６は、設定テーブルを参照し、表示されていたガイダンス映像に関連付けられた補足映像を表示部１０２に表示させる（Ｓ３４２）。   Then, when the re-display flag at the time when the display of the guidance video ends is set to “1” (S336 / yes), the guidance control unit 116 causes the display unit 102 to display the guidance video again (S338). . On the other hand, when the re-display flag at the time when the display of the guidance video ends is cleared to “0” (S336 / no), the guidance control unit 116 controls the display according to the frequency of the confusing flag. Specifically, when the frequency of the puzzle flag is lower than a predetermined value (for example, 30%) (S340 / yes), the guidance control unit 116 displays the guidance video on the display unit 102 again (S338). On the other hand, when the frequency of the confusing flag is equal to or higher than a predetermined value (for example, 30%) (S340 / no), the guidance control unit 116 refers to the setting table and displays the supplemental video associated with the displayed guidance video. It is displayed on the display unit 102 (S342).

要すると、Ｓ３０２においてガイダンス映像１が表示され、Ｓ３３８の処理が行われる場合、図１３に示したようにガイダンス映像１が繰り返して表示される。一方、Ｓ３４２の処理が行われる場合、図１３に示したようにガイダンス映像１の補足映像が表示される。当該補足映像が表示された後、ガイダンス映像が非表示となり、次にガイダンス映像１と異なるガイダンス映像２の表示が開始され、Ｓ３０２からの処理が繰り返されてもよい。   In short, the guidance video 1 is displayed in S302, and when the process of S338 is performed, the guidance video 1 is repeatedly displayed as shown in FIG. On the other hand, when the process of S342 is performed, a supplementary video of the guidance video 1 is displayed as shown in FIG. After the supplemental video is displayed, the guidance video is not displayed, and then the display of the guidance video 2 different from the guidance video 1 is started, and the processing from S302 may be repeated.

以上説明したように、第１のガイダンス制御例によれば、ユーザの視線および表情の検出に基づき、ユーザに適切なガイダンス映像を提供することが可能である。例えば、ガイダンス映像の内容を理解できずに困惑しているユーザにはより丁寧な情報を提供し、ガイダンス映像における設定領域を未だ見ていないユーザにはガイダンス映像の表示を継続することが可能である。   As described above, according to the first guidance control example, it is possible to provide an appropriate guidance video to the user based on the detection of the user's line of sight and facial expression. For example, it is possible to provide more polite information to users who are puzzled because they cannot understand the contents of the guidance video, and to continue displaying the guidance video to users who have not yet seen the setting area in the guidance video. is there.

（３−２．第２のガイダンス制御例）
続いて、第２のガイダンス制御例を説明する。図１４は、第２のガイダンス制御例を示すフローチャートである。図１４に示したフローチャートのＳ３０２〜Ｓ３３６およびＳ３４０〜Ｓ３４２の処理は、図１１に示した第１のガイダンス制御例におけるＳ３０２〜Ｓ３３６およびＳ３４０〜Ｓ３４２の処理と実質的に同一である。 (3-2. Second guidance control example)
Subsequently, a second guidance control example will be described. FIG. 14 is a flowchart illustrating a second guidance control example. The processes of S302 to S336 and S340 to S342 in the flowchart shown in FIG. 14 are substantially the same as the processes of S302 to S336 and S340 to S342 in the first guidance control example shown in FIG.

第２のガイダンス制御例は、第１のガイダンス制御例との主な差異として、Ｓ３３９の処理を有する。具体的には、ガイダンス制御部１１６は、ガイダンス映像の表示が終了した時点での再表示フラグが「１」にセットされている場合（Ｓ３３６／ｙｅｓ）、設定領域が強調されるように、ガイダンス映像を表示部１０２に再度表示させる（Ｓ３３９）。強調の方法は、設定領域を囲う枠を表示することであってもよいし、設定領域と他の領域の表示態様を異ならせること（例えば、設定領域の輝度を相対的に上げる、設定領域はカラー表示で他の領域は白黒表示とする、など）であってもよい。   The second guidance control example has the process of S339 as a main difference from the first guidance control example. Specifically, when the redisplay flag at the time when the display of the guidance video ends is set to “1” (S336 / yes), the guidance control unit 116 sets the guidance so that the setting area is emphasized. The video is displayed again on the display unit 102 (S339). The emphasis method may be to display a frame that surrounds the setting area, or to change the display mode of the setting area and other areas (for example, to increase the luminance of the setting area relatively, Other areas may be monochrome display in color display.

かかる構成により、設定領域を未だ見ていないユーザが、再度のガイダンス映像の表示の際に設定領域に視線を向ける可能性を高めることが可能である。   With this configuration, it is possible to increase the possibility that a user who has not yet viewed the setting area turns his / her line of sight to the setting area when the guidance video is displayed again.

（３−３．第３のガイダンス制御例）
続いて、第３のガイダンス制御例を説明する。図１５は、第３のガイダンス制御例を示すフローチャートである。図１５に示したフローチャートのＳ３０２〜Ｓ３３２およびＳ３４０〜Ｓ３４２の処理は、図１４に示した第２のガイダンス制御例におけるＳ３０２〜Ｓ３３２およびＳ３４０〜Ｓ３４２の処理と実質的に同一である。 (3-3. Third Guidance Control Example)
Subsequently, a third guidance control example will be described. FIG. 15 is a flowchart illustrating a third guidance control example. The processes of S302 to S332 and S340 to S342 in the flowchart shown in FIG. 15 are substantially the same as the processes of S302 to S332 and S340 to S342 in the second guidance control example shown in FIG.

第３のガイダンス制御例は、第２のガイダンス制御例との主な差異として、Ｓ３０３、Ｓ３３５、およびＳ３４４〜Ｓ３４８の処理を有する。すなわち、ガイダンス制御部１１６は、Ｓ３０２でのガイダンス映像の表示に基づき、再生回数カウンタを「０」にセットする（Ｓ３０３）。そして、Ｓ３０２〜Ｓ３３６の後、ガイダンス制御部１１６は再生回数カウンタをインクリメントする（Ｓ３３５）。   The third guidance control example includes the processes of S303, S335, and S344 to S348 as main differences from the second guidance control example. That is, the guidance control unit 116 sets the reproduction number counter to “0” based on the guidance video display in S302 (S303). Then, after S302 to S336, the guidance control unit 116 increments the reproduction number counter (S335).

その後、ガイダンス制御部１１６は、ガイダンス映像の表示が終了した時点での再表示フラグがセットされている場合（Ｓ３３６／ｙｅｓ）、再生回数カウンタの値に応じて異なる制御を行う。具体的には、ガイダンス制御部１１６は、再生回数カウンタが「ｎ（例えば、ｎ＝１）」を上回る場合には、設定領域が強調されるように、ガイダンス映像を表示部１０２に再度表示させる（Ｓ３４８）。一方、ガイダンス制御部１１６は、再生回数カウンタが「ｎ」以下である場合には、強調無しにガイダンス映像を表示部１０２に再度表示させる（Ｓ３４６）。Ｓ３４６およびＳ３４８の後は、Ｓ３０４からの処理が繰り返される。   After that, the guidance control unit 116 performs different control depending on the value of the reproduction number counter when the re-display flag at the time when the display of the guidance video ends is set (S336 / yes). Specifically, when the playback number counter exceeds “n (for example, n = 1)”, the guidance control unit 116 causes the display unit 102 to display the guidance video again so that the setting area is emphasized. (S348). On the other hand, when the reproduction number counter is “n” or less, the guidance control unit 116 causes the display unit 102 to display the guidance video again without emphasis (S346). After S346 and S348, the processing from S304 is repeated.

以上説明した第３のガイダンス制御例によれば、ガイダンス映像の「ｎ＋１」回目以降の表示において、設定領域を強調することが可能である。   According to the third guidance control example described above, it is possible to emphasize the setting region in the “n + 1” th and subsequent displays of the guidance video.

（３−４．第４のガイダンス制御例）
次に、第４のガイダンス制御例を説明する。図１６は、第４のガイダンス制御例を示すフローチャートである。図１６に示したフローチャートのＳ３０２〜Ｓ３４８の処理は、図１５に示した第３のガイダンス制御例におけるＳ３０２〜Ｓ３４８の処理と実質的に同一である。 (3-4. Fourth guidance control example)
Next, a fourth guidance control example will be described. FIG. 16 is a flowchart illustrating a fourth guidance control example. The processes of S302 to S348 in the flowchart shown in FIG. 16 are substantially the same as the processes of S302 to S348 in the third guidance control example shown in FIG.

第４のガイダンス制御例は、第３のガイダンス制御例との主な差異として、Ｓ３５０〜Ｓ３５４の処理を有する。すなわち、第４のガイダンス制御例においては、１つのガイダンス映像に対して詳細度が異なる複数の補足映像が関連付けられており、ガイダンス制御部１１６は、困惑フラグの頻度が第１の閾値以上（Ｓ３４０／ｎｏ）、第２の閾値未満である場合（Ｓ３５０／ｎｏ）、簡易な補足映像を表示部１０２に表示させる（Ｓ３５４）。一方、ガイダンス制御部１１６は、第２の閾値以上である場合（Ｓ３５０／ｙｅｓ）、詳細な補足映像を表示部１０２に表示させる（Ｓ３５２）。   The fourth guidance control example has the processes of S350 to S354 as the main difference from the third guidance control example. That is, in the fourth guidance control example, a plurality of supplemental videos having different levels of detail are associated with one guidance video, and the guidance control unit 116 sets the frequency of the confusing flag to be equal to or higher than the first threshold (S340). / No), if it is less than the second threshold (S350 / no), a simple supplemental video is displayed on the display unit 102 (S354). On the other hand, when it is more than the 2nd threshold (S350 / yes), guidance control part 116 displays a detailed supplement picture on display part 102 (S352).

例えば、第１の閾値が３０％であり、第２の閾値が７０％である場合、当該第４のガイダンス制御例は、図１７に示すように整理される。具体的には、困惑度が３０％未満である場合にはガイダンス映像が再表示され、困惑度が３０％以上７０％未満である場合には簡易な補足映像が表示され、困惑度が７０％以上である場合には詳細な補足映像が表示される。   For example, when the first threshold is 30% and the second threshold is 70%, the fourth guidance control example is arranged as shown in FIG. Specifically, when the degree of confusion is less than 30%, the guidance video is displayed again, and when the degree of confusion is 30% or more and less than 70%, a simple supplementary video is displayed, and the degree of confusion is 70%. In the case described above, a detailed supplemental video is displayed.

以上説明したように、第４のガイダンス制御例によれば、ユーザの困惑度に応じてよりきめ細かな対応をすることが可能となる。   As described above, according to the fourth guidance control example, it is possible to take a finer response according to the degree of user confusion.

（３−５．第５のガイダンス制御例）
続いて、第５のガイダンス制御例を説明する。第１〜第４のガイダンス制御例では、ユーザの視線および表情の双方が用いられたが、ユーザの視線または表情の一方に基づくガイダンス制御も可能である。以下では、ユーザの表情は用いず、ユーザの視線を用いる第５のガイダンス制御例を説明する。 (3-5. Fifth guidance control example)
Subsequently, a fifth guidance control example will be described. In the first to fourth guidance control examples, both the user's line of sight and facial expression are used, but guidance control based on one of the user's line of sight or facial expression is also possible. Below, the 5th guidance control example which does not use a user's facial expression but uses a user's eyes | visual_axis is demonstrated.

図１８は、第５のガイダンス制御例を示すフローチャートである。まず、ガイダンス装置１００が人体センサなどによってユーザを検出すると、撮影部１０６が起動して撮像を開始し、表示部１０２が、記憶部１１２に記憶されたガイダンス映像（基本ガイダンス映像）を含むガイダンス表示画面の表示を開始する（Ｓ３０２）。   FIG. 18 is a flowchart illustrating a fifth guidance control example. First, when the guidance device 100 detects a user using a human body sensor or the like, the photographing unit 106 is activated to start imaging, and the display unit 102 displays guidance including a guidance video (basic guidance video) stored in the storage unit 112. The display of the screen is started (S302).

そして、顔検出部１２４が撮影部１０６から入力されるユーザの映像からユーザの顔を検出し（Ｓ３０４）、目検出部１２６がユーザの顔から目領域を検出する（Ｓ３０６）。さらに、視線検出部１２８が、ユーザの目領域の分析により、ユーザの視線がガイダンス映像のいずれの領域に向いているかを検出する（Ｓ３０８）。   Then, the face detection unit 124 detects the user's face from the user's video input from the photographing unit 106 (S304), and the eye detection unit 126 detects the eye area from the user's face (S306). Furthermore, the line-of-sight detection unit 128 detects to which area of the guidance video the user's line of sight is directed by analyzing the user's eye area (S308).

その後、ガイダンス制御部１１６が、図９に示した設定テーブルに基づき、全ての設定領域での視線の滞在が認められたか、すなわち、全ての設定領域をユーザが見たかを判断する（Ｓ３１２）。   After that, the guidance control unit 116 determines whether stay of the line of sight in all the setting areas is recognized based on the setting table shown in FIG. 9, that is, whether the user has seen all the setting areas (S312).

Ｓ３１２において全ての設定領域での視線の滞在が認められなかった場合（Ｓ３１２／ｎｏ）、ガイダンス制御部１１６は、ガイダンス映像の再表示フラグをセットする（Ｓ３１４）。一方、Ｓ３１２において全ての設定領域での視線の滞在が認められた場合（Ｓ３１２／ｙｅｓ）、ガイダンス制御部１１６は、ガイダンス映像の再表示フラグをクリアする（Ｓ３２０）。例えば、ガイダンス制御部１１６は、図１２に示したように、全ての設定領域での視線の滞在が認められない間は再表示フラグを「１」にセットし、全ての設定領域での視線の滞在が認められた後は再表示フラグを「０」にクリアする。上述したＳ３０４〜Ｓ３２０の処理が、ガイダンス映像の表示の時間区間が終了するまで繰り返される。   If the stay of the line of sight in all the setting areas is not recognized in S312 (S312 / no), the guidance control unit 116 sets a guidance video redisplay flag (S314). On the other hand, when the stay of the line of sight is recognized in all the setting areas in S312 (S312 / yes), the guidance control unit 116 clears the guidance video redisplay flag (S320). For example, as shown in FIG. 12, the guidance control unit 116 sets the re-display flag to “1” while staying in the line of sight in all the setting areas is not recognized, and the line of sight in all the setting areas. After the stay is recognized, the redisplay flag is cleared to “0”. The above-described processes of S304 to S320 are repeated until the time period for displaying the guidance video ends.

その後、ユーザによる操作が開始されると、ガイダンス制御が終了する（Ｓ３３２／ｙｅｓ）。ユーザによる操作が開始されない場合（Ｓ３３２／ｎｏ）、ガイダンス制御部１１６は、かつ、ガイダンス映像の表示が終了した時点での再表示フラグが「１」にセットされている場合（Ｓ３３６／ｙｅｓ）、後区間においてガイダンス映像を表示部１０２に再度表示させる（Ｓ３３８）。一方、ガイダンス制御部１１６は、ガイダンス映像の表示が終了した時点での再表示フラグが「０」にクリアされている場合（Ｓ３３６／ｎｏ）、後区間においてガイダンス映像の再表示を行わず、ガイダンス映像の非表示とする（Ｓ３５８）。   Thereafter, when an operation by the user is started, the guidance control ends (S332 / yes). When the operation by the user is not started (S332 / no), the guidance control unit 116, and when the re-display flag at the time when the display of the guidance video ends is set to “1” (S336 / yes), In the rear section, the guidance video is displayed again on the display unit 102 (S338). On the other hand, when the redisplay flag at the time when the display of the guidance video ends is cleared to “0” (S336 / no), the guidance control unit 116 does not redisplay the guidance video in the subsequent section, and does not perform the guidance video display. The video is not displayed (S358).

上述した第５のガイダンス制御例のように、設定領域を見たユーザにはガイダンス映像を再表示しない制御も実現可能である。   As in the above-described fifth guidance control example, it is also possible to realize control that does not redisplay the guidance video for the user who has viewed the setting area.

＜４．むすび＞
以上説明したように、本発明の実施形態によれば、ユーザの視線または表情の検出に基づき、ユーザに適切なガイダンス映像を提供することが可能である。例えば、ガイダンス映像の内容を理解できずに困惑しているユーザにはより丁寧な情報を提供し、ガイダンス映像における設定領域を未だ見ていないユーザにはガイダンス映像の表示を継続することが可能である。 <4. Conclusion>
As described above, according to the embodiment of the present invention, it is possible to provide an appropriate guidance video to the user based on the detection of the user's line of sight or facial expression. For example, it is possible to provide more polite information to users who are puzzled because they cannot understand the contents of the guidance video, and to continue displaying the guidance video to users who have not yet seen the setting area in the guidance video. is there.

なお、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。   Although the preferred embodiments of the present invention have been described in detail with reference to the accompanying drawings, the present invention is not limited to such examples. It is obvious that a person having ordinary knowledge in the technical field to which the present invention pertains can come up with various changes or modifications within the scope of the technical idea described in the claims. Of course, it is understood that these also belong to the technical scope of the present invention.

例えば、上記ではＡＴＭまたは乗車券発券機のようなガイダンス装置１００に本発明の実施形態が適用される例を主に説明したが、本発明の実施形態は他の情報処理システムにも適用可能である。他の情報処理システムとしては、教育支援システムが挙げられる。例えば、教育支援システムに本発明の実施形態を適用することにより、説明画面におけるポイント部分にユーザが視線を向けていない場合には当該説明画面を繰り返し表示することや、ユーザが説明内容を理解できずに困惑している場合には当該説明画面の補足画面を表示することが可能である。   For example, the example in which the embodiment of the present invention is applied to the guidance device 100 such as an ATM or a ticket issuing machine has been mainly described above. However, the embodiment of the present invention can be applied to other information processing systems. is there. Another information processing system is an education support system. For example, by applying the embodiment of the present invention to an education support system, when the user does not look at the point on the explanation screen, the explanation screen can be repeatedly displayed, or the user can understand the explanation contents. If you are confused, you can display a supplementary screen for the explanation screen.

また、上記実施形態では、ＣＣＤカメラのような撮影部１０６により得られた映像が視線検出に用いられる例を説明したが、ガイダンス装置１００は他の映像を用いて視線検出を行ってもよい。例えば、ガイダンス装置１００は、赤外線ＬＥＤおよび赤外線カメラにより得られる赤外線映像における角膜反射や瞳孔の位置から視線を検出してもよい。さらに、スマートグラスのようなウェアラブル端末が撮影部１０６として使用されてもよい。   Moreover, although the said embodiment demonstrated the example which uses the image | video obtained by the imaging | photography parts 106 like a CCD camera for a gaze detection, the guidance apparatus 100 may perform a gaze detection using another image | video. For example, the guidance device 100 may detect the line of sight from the corneal reflection or the position of the pupil in an infrared image obtained by an infrared LED and an infrared camera. Furthermore, a wearable terminal such as a smart glass may be used as the photographing unit 106.

また、上記実施形態では、表情検出のための特徴点として、左眉および右眉の各々について３つの特徴点を説明し、左目、右目および口の各々について４つの特徴点を説明したが、特徴点の数および配置は上述した例に限定されない。例えば、口の特徴点は上唇の特徴点および下唇の特徴点に分けられてもよい。その他、視線検出および表情検出の方法は、実施形態として説明した方法に限定されない。   In the above embodiment, three feature points are described for each of the left and right eyebrows and four feature points for each of the left eye, right eye, and mouth as feature points for facial expression detection. The number and arrangement of the points are not limited to the example described above. For example, the mouth feature points may be divided into upper lip feature points and lower lip feature points. In addition, the method of gaze detection and facial expression detection is not limited to the method described as the embodiment.

また、ガイダンス制御部１１６は、ユーザの視線および表情を組み合わせてガイダンス制御を行ってもよい。例えば、ガイダンス制御部１１６は、ユーザが困惑の表情をしている場合、ユーザがいずれの領域に視線を向けているかに応じて、異なる補足映像を表示部１０２に表示させてもよい。例えば、ガイダンス制御部１１６は、図２に示した５０音検索の領域に視線が向けられている時にユーザが困惑の表情をしている場合、５０音検索についての補足画面を表示部１０２に表示させ、図２に示したフリーワード検索の領域に視線が向けられている時にユーザが困惑の表情をしている場合、フリーワード検索についての補足画面を表示部１０２に表示させてもよい。かかる構成により、よりユーザに合ったガイダンスを提供することが可能となる。   The guidance control unit 116 may perform guidance control by combining the user's line of sight and facial expression. For example, when the user has a confused expression, the guidance control unit 116 may display different supplemental images on the display unit 102 depending on which region the user is looking at. For example, the guidance control unit 116 displays a supplemental screen for 50-sound search on the display unit 102 when the user is looking confused when the line of sight is directed to the 50-sound search area shown in FIG. If the user is looking confused when the line of sight is directed to the free word search area shown in FIG. 2, a supplement screen for free word search may be displayed on the display unit 102. With this configuration, it is possible to provide guidance more suitable for the user.

また、本明細書のガイダンス装置１００の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、ガイダンス装置１００処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。   Further, each step in the processing of the guidance device 100 of the present specification does not necessarily have to be processed in time series in the order described as a flowchart. For example, each step in the guidance device 100 process may be processed in an order different from the order described as the flowchart, or may be processed in parallel.

また、ガイダンス装置１００に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアに、上述したガイダンス装置１００の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。   Further, it is possible to create a computer program for causing hardware such as a CPU, a ROM, and a RAM built in the guidance device 100 to perform the same functions as the components of the guidance device 100 described above. A storage medium storing the computer program is also provided.

１００ ガイダンス装置
１０２ 表示部
１０４ 操作部
１０６ 撮影部
１０８ スピーカ
１１０ 通信部
１１２ 記憶部
１１４ 処理部
１１６ ガイダンス制御部
１１８ 操作処理部
１２０ 情報取得部
１２２ 画像処理部
１２４ 顔検出部
１２６ 目検出部
１２８ 視線検出部
１３０ 表情検出部
DESCRIPTION OF SYMBOLS 100 Guidance apparatus 102 Display part 104 Operation part 106 Image | photographing part 108 Speaker 110 Communication part 112 Storage part 114 Processing part 116 Guidance control part 118 Operation processing part 120 Information acquisition part 122 Image processing part 124 Face detection part 126 Eye detection part 128 Eye-gaze detection Part 130 facial expression detection part

Claims (9)

撮影部から入力されたユーザの映像から目領域を検出する目検出部と、
前記目検出部によって検出された目領域の分析により、ガイダンス映像を表示する表示部のいずれの領域に視線が向いているかを検出する視線検出部と、
前記ガイダンス映像に関して事前に設定された設定領域での視線の滞在がなかったことに基づき、前記ガイダンス映像に関する表示制御を行う制御部と、
を備える、情報処理装置。 An eye detection unit for detecting an eye region from the user's video input from the imaging unit;
By analyzing the eye area detected by the eye detection unit, a line-of-sight detection unit that detects which area of the display unit that displays the guidance video is directed to the line of sight;
A control unit that performs display control related to the guidance video based on the absence of a gaze stay in a preset area set in advance with respect to the guidance video;
An information processing apparatus comprising: 前記制御部は、
ある時間区間内に前記設定領域での視線の滞在があったことに基づき、前記時間区間の後区間において前記ガイダンス映像を非表示に制御し、
前記時間区間内に前記設定領域での視線の滞在がなかったことに基づき、前記後区間においても前記ガイダンス映像を前記表示部に表示させる、請求項１に記載の情報処理装置。 The controller is
Based on the stay of the line of sight in the set area within a certain time interval, the guidance video is controlled to be hidden in the latter interval of the time interval,
The information processing apparatus according to claim 1, wherein the guidance video is displayed on the display unit even in the rear section based on the absence of a line of sight in the setting area within the time section. 前記制御部は、間隔を有する複数の時間区間において同一のガイダンス映像または異なるガイダンス情報を前記表示部に表示させ、一の時間区間で前記設定領域での視線の滞在がなかったことに基づき、前記一の時間区間と次の時間区間との間隔区間でも前記一の時間区間に表示された前記ガイダンス映像を前記表示部に表示させる、請求項１または２に記載の情報処理装置。   The control unit causes the display unit to display the same guidance video or different guidance information in a plurality of time intervals having intervals, and based on the fact that there was no stay of the line of sight in the setting area in one time interval, The information processing apparatus according to claim 1, wherein the guidance video displayed in the first time interval is displayed on the display unit even in an interval between one time interval and a next time interval. 前記制御部は、前記設定領域での視線の滞在が無かったことに基づき、前記設定領域の表示を強調する、請求項１〜３のいずれか一項に記載の情報処理装置。   The information processing apparatus according to any one of claims 1 to 3, wherein the control unit emphasizes the display of the setting area based on the absence of a gaze stay in the setting area. 前記制御部は、前記後区間における前記ガイダンス映像の表示が、何回目の前記ガイダンス映像の表示であるかに基づき、前記設定領域の表示を強調するか否かを制御する、請求項２に記載の情報処理装置。   The said control part controls whether the display of the said setting area | region is emphasized based on how many times the display of the said guidance image | video in the said back area is the display of the said guidance image | video. Information processing device. 前記情報処理装置は、前記ユーザの映像からユーザの表情を検出する表情検出部をさらに備え、
前記制御部は、前記表情検出部により検出された前記ユーザの表情にさらに基づいて前記表示部の表示を制御する、請求項１に記載の情報処理装置。 The information processing apparatus further includes a facial expression detection unit that detects a facial expression of the user from the video of the user,
The information processing apparatus according to claim 1, wherein the control unit controls display of the display unit further based on the facial expression of the user detected by the facial expression detection unit. 前記制御部は、前記ユーザの表情が所定の基準を満たす場合、前記ガイダンス映像の表示の後に、前記ガイダンス映像を補足する補足映像を前記表示部に表示させる、請求項６に記載の情報処理装置。   The information processing apparatus according to claim 6, wherein when the user's facial expression satisfies a predetermined criterion, the control unit causes the display unit to display a supplemental video supplementing the guidance video after the guidance video is displayed. . 前記制御部は、前記ユーザの表情の困惑度に応じて異なる補足映像を前記表示部に表示させる、請求項７に記載の情報処理装置。   The information processing apparatus according to claim 7, wherein the control unit causes the display unit to display different supplemental images depending on a degree of embarrassment of the user's facial expression. 撮影部から入力されたユーザの映像から目領域を検出することと、
検出された目領域の分析により、ガイダンス映像を表示する表示部のいずれの領域に視線が向いているかを検出することと、
前記ガイダンス映像に関して事前に設定された設定領域での視線の滞在がなかったことに基づき、前記ガイダンス映像に関する表示制御を行うことと、
を含む、情報処理方法。 Detecting an eye area from the user's video input from the imaging unit;
By detecting the detected eye area, detecting which area of the display unit displaying the guidance video is facing,
Performing display control on the guidance video based on the absence of a line of sight in a preset area set in advance on the guidance video;
Including an information processing method.
JP2016189242A 2016-09-28 2016-09-28 Information processing apparatus and information processing method Active JP6733461B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016189242A JP6733461B2 (en) 2016-09-28 2016-09-28 Information processing apparatus and information processing method
PCT/JP2017/018772 WO2018061299A1 (en) 2016-09-28 2017-05-19 Information processing device and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016189242A JP6733461B2 (en) 2016-09-28 2016-09-28 Information processing apparatus and information processing method

Publications (2)

Publication Number Publication Date
JP2018055320A true JP2018055320A (en) 2018-04-05
JP6733461B2 JP6733461B2 (en) 2020-07-29

Family

ID=61759603

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016189242A Active JP6733461B2 (en) 2016-09-28 2016-09-28 Information processing apparatus and information processing method

Country Status (2)

Country Link
JP (1) JP6733461B2 (en)
WO (1) WO2018061299A1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021251107A1 (en) * 2020-06-11 2021-12-16 ソニーグループ株式会社 Information processing device, information processing system, information processing method, and program
WO2022113745A1 (en) * 2020-11-30 2022-06-02 マクセル株式会社 Floating-in-space-image display device
DE112021008145T5 (en) 2021-10-25 2024-06-13 Mitsubishi Electric Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND INFORMATION PROCESSING PROGRAM

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008003816A (en) * 2006-06-21 2008-01-10 Matsushita Electric Ind Co Ltd Operation guide apparatus and operation guide method
JP2009048336A (en) * 2007-08-16 2009-03-05 Oki Electric Ind Co Ltd Automatic teller machine and automatic teller system
JP2010117964A (en) * 2008-11-14 2010-05-27 Toyota Central R&D Labs Inc Device and program for estimating confusion
JP2013210909A (en) * 2012-03-30 2013-10-10 Dainippon Printing Co Ltd Viewpoint guidance device and electronic book terminal
JP2013222299A (en) * 2012-04-16 2013-10-28 Toyota Central R&D Labs Inc Operation support device, operation system, operation support method and program
WO2013179424A1 (en) * 2012-05-30 2013-12-05 パイオニア株式会社 Display device, head-mounted display, display method, display program, and recording medium
WO2014034065A1 (en) * 2012-08-31 2014-03-06 株式会社デンソー Moving body warning device and moving body warning method
JP2014109916A (en) * 2012-12-03 2014-06-12 Fujitsu Ltd User operation terminal device and user operation terminal program
JP2015184698A (en) * 2014-03-20 2015-10-22 京セラドキュメントソリューションズ株式会社 Electronic instrument and operation support program
JP2016066115A (en) * 2014-09-22 2016-04-28 カシオ計算機株式会社 Digital content browsing support device, browsing support method, and program

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008003816A (en) * 2006-06-21 2008-01-10 Matsushita Electric Ind Co Ltd Operation guide apparatus and operation guide method
JP2009048336A (en) * 2007-08-16 2009-03-05 Oki Electric Ind Co Ltd Automatic teller machine and automatic teller system
JP2010117964A (en) * 2008-11-14 2010-05-27 Toyota Central R&D Labs Inc Device and program for estimating confusion
JP2013210909A (en) * 2012-03-30 2013-10-10 Dainippon Printing Co Ltd Viewpoint guidance device and electronic book terminal
JP2013222299A (en) * 2012-04-16 2013-10-28 Toyota Central R&D Labs Inc Operation support device, operation system, operation support method and program
WO2013179424A1 (en) * 2012-05-30 2013-12-05 パイオニア株式会社 Display device, head-mounted display, display method, display program, and recording medium
WO2014034065A1 (en) * 2012-08-31 2014-03-06 株式会社デンソー Moving body warning device and moving body warning method
JP2014109916A (en) * 2012-12-03 2014-06-12 Fujitsu Ltd User operation terminal device and user operation terminal program
JP2015184698A (en) * 2014-03-20 2015-10-22 京セラドキュメントソリューションズ株式会社 Electronic instrument and operation support program
JP2016066115A (en) * 2014-09-22 2016-04-28 カシオ計算機株式会社 Digital content browsing support device, browsing support method, and program

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021251107A1 (en) * 2020-06-11 2021-12-16 ソニーグループ株式会社 Information processing device, information processing system, information processing method, and program
WO2022113745A1 (en) * 2020-11-30 2022-06-02 マクセル株式会社 Floating-in-space-image display device
DE112021008145T5 (en) 2021-10-25 2024-06-13 Mitsubishi Electric Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND INFORMATION PROCESSING PROGRAM

Also Published As

Publication number Publication date
WO2018061299A1 (en) 2018-04-05
JP6733461B2 (en) 2020-07-29

Similar Documents

Publication Publication Date Title
JP6753331B2 (en) Information processing equipment, methods and information processing systems
US8964066B2 (en) Apparatus and method for generating image including multiple people
US9489574B2 (en) Apparatus and method for enhancing user recognition
KR102092931B1 (en) Method for eye-tracking and user terminal for executing the same
US9740282B1 (en) Gaze direction tracking
US10254831B2 (en) System and method for detecting a gaze of a viewer
US10281980B2 (en) System and method for eye-reactive display
US20180321739A1 (en) Electronic device and method for controlling display
CN107111749A (en) System and method for improved display
CN105892642A (en) Method and device for controlling terminal according to eye movement
JP2016530562A (en) A method to support the visual search of individuals suffering from retinal diseases that cause dark spots
US11808940B2 (en) Eye tracking system for smart glasses and method therefor
WO2018061299A1 (en) Information processing device and information processing method
WO2018216402A1 (en) Information processing apparatus, information processing method, and program
JP7099377B2 (en) Information processing equipment and information processing method
US20240078846A1 (en) Grid-Based Enrollment for Face Authentication
KR20190048144A (en) Augmented reality system for presentation and interview training
US20180173305A1 (en) Line-of-sight operation apparatus, method, and medical device
US20230244307A1 (en) Visual assistance
KR20190085466A (en) Method and device to determine trigger intent of user
CN115857856A (en) Information prompting method, information prompting device, electronic equipment and readable storage medium
KR101996039B1 (en) Apparatus for constructing training template of facial emotion recognition and method thereof
US11250242B2 (en) Eye tracking method and user terminal performing same
US8223220B2 (en) Image processing device, image processing method, and information storage medium
JP2017004258A (en) Image processing apparatus, image processing method, and program

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190327

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190328

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190515

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200410

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200609

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200622

R150 Certificate of patent or registration of utility model

Ref document number: 6733461

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150