JP2015055718A - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JP2015055718A
JP2015055718A JP2013188220A JP2013188220A JP2015055718A JP 2015055718 A JP2015055718 A JP 2015055718A JP 2013188220 A JP2013188220 A JP 2013188220A JP 2013188220 A JP2013188220 A JP 2013188220A JP 2015055718 A JP2015055718 A JP 2015055718A
Authority
JP
Japan
Prior art keywords
user
predetermined object
information processing
processing apparatus
sight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013188220A
Other languages
English (en)
Other versions
JP2015055718A5 (ja
JP6221535B2 (ja
Inventor
麻紀 井元
Maki Imoto
麻紀 井元
野田 卓郎
Takuro Noda
卓郎 野田
安田 亮平
Ryohei Yasuda
亮平 安田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2013188220A priority Critical patent/JP6221535B2/ja
Priority to US14/916,899 priority patent/US20160217794A1/en
Priority to PCT/JP2014/003947 priority patent/WO2015037177A1/en
Publication of JP2015055718A publication Critical patent/JP2015055718A/ja
Publication of JP2015055718A5 publication Critical patent/JP2015055718A5/ja
Application granted granted Critical
Publication of JP6221535B2 publication Critical patent/JP6221535B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques
    • G10L17/22Interactive procedures; Man-machine interfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】音声認識が行われる場合におけるユーザの利便性の向上を図ることが可能な、情報処理装置、情報処理方法、およびプログラムを提供する。【解決手段】表示画面におけるユーザの視線の位置に関する情報に基づいて、ユーザが所定のオブジェクトを見たかを判定する判定部と、ユーザが所定のオブジェクトを見たと判定された場合に、音声認識処理を制御する音声認識制御部とを備える、情報処理装置が提供される。【選択図】図8

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
近年、アイトラッキング技術などの視線検出技術を利用し、ユーザが視線により操作を行うことが可能なユーザインタフェースが登場している。ユーザが視線により操作を行うことが可能なユーザインタフェースに関する技術としては、例えば下記の特許文献1に記載の技術が挙げられる。
特開2009−64395号公報
音声認識が行われる場合、音声認識を開始するトリガーとしては、例えば、ボタンを押すなどユーザが特定のユーザ操作を行うことや、ユーザが特定のワードを発話することが挙げられる。しかしながら、上記のような特定のユーザ操作や特定のワードの発話によって音声認識が行われる場合には、ユーザが行っていた操作や会話などを妨げる可能性がある。よって、上記のような特定のユーザ操作や特定のワードの発話によって音声認識が行われる場合には、ユーザの利便性を低下させる恐れがある。
本開示では、音声認識が行われる場合におけるユーザの利便性の向上を図ることが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。
本開示によれば、表示画面におけるユーザの視線の位置に関する情報に基づいて、ユーザが所定のオブジェクトを見たかを判定する判定部と、ユーザが所定のオブジェクトを見たと判定された場合に、音声認識処理を制御する音声認識制御部と、を備える、情報処理装置が提供される。
また、本開示によれば、表示画面におけるユーザの視線の位置に関する情報に基づいて、ユーザが所定のオブジェクトを見たかを判定するステップと、ユーザが所定のオブジェクトを見たと判定された場合に、音声認識処理を制御するステップと、を有する、情報処理装置により実行される情報処理方法が提供される。
また、本開示によれば、表示画面におけるユーザの視線の位置に関する情報に基づいて、ユーザが所定のオブジェクトを見たかを判定するステップ、ユーザが所定のオブジェクトを見たと判定された場合に、音声認識処理を制御するステップ、をコンピュータに実行させるためのプログラムが提供される。
本開示によれば、音声認識が行われる場合におけるユーザの利便性の向上を図ることができる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握されうる他の効果が奏されてもよい。
本実施形態に係る所定のオブジェクトの一例を示す説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理装置の構成の一例を示すブロック図である。 本実施形態に係る情報処理装置のハードウェア構成の一例を示す説明図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、以下では、下記に示す順序で説明を行う。
1.本実施形態に係る情報処理方法
2.本実施形態に係る情報処理装置
3.本実施形態に係るプログラム
(本実施形態に係る情報処理方法)
本実施形態に係る情報処理装置の構成について説明する前に、まず、本実施形態に係る情報処理方法について説明する。以下では、本実施形態に係る情報処理方法に係る処理を、本実施形態に係る情報処理装置が行う場合を例に挙げて、本実施形態に係る情報処理方法について説明する。
[1]本実施形態に係る情報処理方法に係る処理の概要
上述したように、特定のユーザ操作や特定のワードの発話によって音声認識が行われる場合には、ユーザの利便性を低下させる恐れがある。また、特定のユーザ操作や特定のワードの発話を音声認識を開始するトリガーとする場合には、ユーザが行っていた他の操作や会話などを妨げる可能性があることから、特定のユーザ操作や特定のワードの発話は、自然な操作であるとは言い難い。
そこで、本実施形態に係る情報処理装置は、音声認識処理を制御することによって、特定のユーザ操作や特定のワードの発話が検出された場合に音声認識を行わせるのではなく、ユーザが表示画面に表示されている所定のオブジェクトを見たと判定された場合に、音声認識を行わせる。
ここで、本実施形態に係る情報処理装置が音声認識処理を制御する対象としては、例えば、自装置(本実施形態に係る情報処理装置。以下、同様とする。)や、通信部(後述する)や接続されている外部の通信デバイスを介して通信可能な外部装置が挙げられる。上記外部装置としては、例えば、サーバなど音声認識処理を行うことが可能な任意の装置が挙げられる。また、上記外部装置は、例えば、クラウドコンピューティングなどのように、ネットワークへの接続(または各装置間の通信)を前提とした、1または2以上の装置からなるシステムであってもよい。
音声認識処理を制御する対象が自装置である場合、本実施形態に係る情報処理装置は、例えば、自装置において音声認識(音声認識処理)を行い、自装置において行われた音声認識の結果を利用する。本実施形態に係る情報処理装置は、例えば、音声を認識することが可能な任意の技術を用いて音声を認識する。
また、音声認識処理を制御する対象が上記外部装置である場合、本実施形態に係る情報処理装置は、例えば、音声認識を制御する命令を含む制御データを、通信部(後述する)などに、上記外部装置へと送信させる。本実施形態に係る音声認識を制御する命令としては、例えば、音声認識処理を行わせる命令と、音声認識処理を終了させる命令とが挙げられる。また、上記制御データには、例えば、さらにユーザが発話した音声を示す音声信号が含まれていてもよい。音声認識処理を行わせる命令を含む上記制御データを上記外部装置へと送信させる場合、本実施形態に係る情報処理装置は、例えば、上記外部装置から取得された“外部装置において行われた音声認識の結果を示すデータ”を利用する。
以下では、本実施形態に係る情報処理装置が音声認識処理を制御する対象が、自装置である場合、すなわち、本実施形態に係る情報処理装置が音声認識を行う場合を主に例に挙げて、本実施形態に係る情報処理方法に係る処理について説明する。
また、本実施形態に係る表示画面とは、例えば、様々な画像が表示され、ユーザが視線を向ける表示画面である。本実施形態に係る表示画面としては、例えば、本実施形態に係る情報処理装置が備える表示部(後述する)の表示画面や、本実施形態に係る情報処理装置と無線または有線で接続されている外部の表示装置(または、外部の表示デバイス)の表示画面などが挙げられる。
図1は、本実施形態に係る所定のオブジェクトの一例を示す説明図である。図1のA〜図1のCは、表示画面に表示されている、所定のオブジェクトを含む画像の一例をそれぞれ示している。
本実施形態に係る所定のオブジェクトとしては、例えば、図1のAのO1に示すような音声認識を行わせるためのアイコン(以下、「音声認識アイコン」と示す。)や、図1のBのO2に示すような音声認識を行わせるための画像(以下、「音声認識画像」と示す。)が挙げられる。図1のBに示す例では、本実施形態に係る音声認識画像として、キャラクターを示すキャラクター画像を示している。なお、本実施形態に係る音声認識アイコンや、本実施形態に係る音声認識画像が、図1のAや図1のBに示す例に限られないことは言うまでもない。
なお、本実施形態に係る所定のオブジェクトは、音声認識アイコンや音声認識画像に限られない。例えば、本実施形態に係る所定のオブジェクトは、例えば図1のCのO3に示すオブジェクトのように、ユーザ操作により選択されうるオブジェクト(以下、「選択候補オブジェクト」と示す。)であってもよい。図1のCに示す例では、本実施形態に係る選択候補オブジェクトとして、映画のタイトルなどを示すサムネイル画像を示している。なお、図1のCでは、符号O3が付されていないサムネイル画像やアイコンが、本実施形態に係る選択候補オブジェクトであってもよい。また、本実施形態に係る選択候補オブジェクトが、図1のCに示す例に限られないことは言うまでもない。
本実施形態に係る情報処理装置が、ユーザが表示画面に表示されている図1に示すような所定のオブジェクトを見たと判定したときに、音声認識を行う場合、ユーザは、例えば、所定のオブジェクトに視線を向けて所定のオブジェクトを見ることによって、本実施形態に係る情報処理装置に音声認識を開始させることが可能となる。
また、仮に、ユーザが、他の操作や会話などを行っていたとしても、ユーザが所定のオブジェクトを見ることにより当該他の操作や会話を妨げる可能性は、特定のユーザ操作や特定のワードの発話によって音声認識が行われる場合よりも低い。
さらに、ユーザが表示画面に表示されている所定のオブジェクトを見たことを、音声認識を開始するトリガーとする場合には、ユーザが行っていた他の操作や会話などを妨げる可能性が低いことから、ユーザが表示画面に表示されている所定のオブジェクトを見ることは、上記特定のユーザ操作や特定のワードの発話よりも、より自然な操作であるといえる。
したがって、本実施形態に係る情報処理装置が、本実施形態に係る情報処理方法に係る処理として、ユーザが表示画面に表示されている所定のオブジェクトを見たと判定したときに音声認識を行わせることによって、音声認識が行われる場合におけるユーザの利便性の向上を図ることができる。
[2]本実施形態に係る情報処理方法に係る処理
次に、本実施形態に係る情報処理方法に係る処理について、より具体的に説明する。
本実施形態に係る情報処理装置は、例えば、本実施形態に係る情報処理方法に係る処理として、例えば、下記に示す(1)判定処理、および(2)音声認識制御処理を行うことによって、ユーザの利便性の向上を図る。
(1)判定処理
本実施形態に係る情報処理装置は、例えば、表示画面におけるユーザの視線の位置に関する情報に基づいて、ユーザが所定のオブジェクトを見たかを判定する。
ここで、本実施形態に係るユーザの視線の位置に関する情報とは、例えば、ユーザの視線の位置を示すデータ、または、ユーザの視線の位置の特定に用いることが可能なデータ(または、ユーザの視線の位置の推定に用いることが可能なデータ。以下、同様とする。)である。
本実施形態に係るユーザの視線の位置を示すデータとしては、例えば、表示画面におけるユーザの視線の位置を示す座標データが挙げられる。表示画面におけるユーザの視線の位置は、例えば、表示画面における基準位置を原点とする座標系における座標で表される。また、本実施形態に係るユーザの視線の位置を示すデータには、視線の方向を示すデータ(例えば、表示画面に対する角度を示すデータなど)が含まれていてもよい。
また、本実施形態に係るユーザの視線の位置の特定に用いることが可能なデータとしては、例えば、表示画面において画像(動画像または静止画像)が表示される方向が撮像された撮像画像データが挙げられる。また、本実施形態に係るユーザの視線の位置の特定に用いることが可能なデータには、さらに、表示画面において画像が表示される方向の赤外線を検出する赤外線センサの検出データなど、ユーザの視線の位置の推定精度の向上に用いることが可能な検出値を得る、任意のセンサの検出データが含まれていてもよい。
本実施形態に係るユーザの視線の位置に関する情報として、表示画面におけるユーザの視線の位置を示す座標データが用いられる場合、本実施形態に係る情報処理装置は、例えば、視線検出技術を用いてユーザの視線の位置を特定(または推定)した外部装置から取得された、表示画面におけるユーザの視線の位置を示す座標データを用いて、表示画面におけるユーザの視線の位置を特定する。また、本実施形態に係るユーザの視線の位置に関する情報として、視線の方向を示すデータが用いられる場合、本実施形態に係る情報処理装置は、例えば、上記外部装置から取得された視線の方向を示すデータを用いて、ユーザの視線の方向を特定する。
ここで、例えば、視線検出技術を用いて検出された視線と、表示画面において画像が表示される方向が撮像された撮像画像から検出される表示画面に対するユーザの位置や顔の向きなどとを用いることによって、表示画面におけるユーザの視線の位置や、ユーザの視線の方向を特定することが可能である。なお、本実施形態に係る表示画面におけるユーザの視線の位置やユーザの視線の方向の特定方法は、上記に限られない。例えば、本実施形態に係る情報処理装置や、外部装置は、表示画面におけるユーザの視線の位置やユーザの視線の方向を特定することが可能な任意の技術を用いることが可能である。
また、本実施形態に係る視線検出技術としては、例えば、目の基準点(例えば、目頭や角膜反射などの目における動かない部分に対応する点)に対する、目の動点(例えば、虹彩や瞳孔などの目における動く部分に対応する点)の位置に基づいて、視線を検出する方法が挙げられる。なお、本実施形態に係る視線検出技術は、上記に限られず、例えば、視線を検出することが可能な任意の視線検出技術であってもよい。
本実施形態に係るユーザの視線の位置に関する情報として、ユーザの視線の位置の特定に用いることが可能なデータが用いられる場合、本実施形態に係る情報処理装置は、例えば、自装置が備える撮像部(後述する)や外部の撮像デバイスから取得された撮像画像データ(ユーザの視線の位置の特定に用いることが可能なデータの一例)を用いる。また、上記の場合、本実施形態に係る情報処理装置は、例えば、自装置が備えるユーザの視線の位置の推定精度の向上に用いることが可能なセンサや、外部のセンサから取得された検出データ(ユーザの視線の位置の特定に用いることが可能なデータの一例)を用いてもよい。本実施形態に係る情報処理装置は、例えば上記のように取得されたユーザの視線の位置の特定に用いることが可能なデータを用いて、本実施形態に係る表示画面におけるユーザの視線の位置やユーザの視線の方向の特定方法に係る処理を行い、表示画面におけるユーザの視線の位置やユーザの視線の方向を特定する。
(1−1)判定処理の第1の例
本実施形態に係る情報処理装置は、例えば、ユーザの視線の位置に関する情報が示す視線の位置が、所定のオブジェクトを含む表示画面における第1領域内に含まれる場合に、ユーザが所定のオブジェクトを見たと判定する。
ここで、本実施形態に係る第1領域は、例えば、所定のオブジェクトにおける基準位置を基に設定される。本実施形態に係る基準位置としては、例えば、オブジェクトの中心点など、予め設定されているオブジェクト内の任意の位置が挙げられる。本実施形態に係る第1領域の大きさや形状は、予め設定されていてもよいし、ユーザ操作などに基づいて設定されてもよい。一例を挙げると、本実施形態に係る第1領域としては、例えば、所定のオブジェクトを含む領域のうちの最小の領域(すなわち、所定のオブジェクトが表示される領域)や、所定のオブジェクトの基準点を中心とする円形や矩形の領域などが挙げられる。また、本実施形態に係る第1領域は、例えば、表示画面における表示領域が分割された領域(以下、「分割領域」と示す。)であってもよい。
より具体的には、本実施形態に係る情報処理装置は、例えば、ユーザの視線の位置に関する情報が示す視線の位置が、所定のオブジェクトを含む表示画面における第1領域内に含まれたときに、ユーザが所定のオブジェクトを見たと判定する。
なお、第1の例に係る判定処理は、上記に限られない。
例えば、本実施形態に係る情報処理装置は、例えば、ユーザの視線の位置に関する情報が示す視線の位置が、第1領域内である時間が、設定されている第1設定時間よりも長い場合に、ユーザが所定のオブジェクトを見たと判定してもよい。また、本実施形態に係る情報処理装置は、例えば、ユーザの視線の位置に関する情報が示す視線の位置が第1領域内である時間が、第1設定時間以上である場合に、ユーザが所定のオブジェクトを見たと判定することも可能である。
本実施形態に係る第1設定時間としては、例えば、本実施形態に係る情報処理装置の製造者やユーザ操作などに基づいて予め設定されている時間が挙げられる。本実施形態に係る第1設定時間が、予め設定されている時間である場合、本実施形態に係る情報処理装置は、ユーザの視線の位置に関する情報が示す視線の位置が第1領域内である時間と、予め設定されている第1設定時間とに基づいて、ユーザが所定のオブジェクトを見たかを判定する。
本実施形態に係る情報処理装置は、例えば上記第1の例に係る判定処理を行うことによって、ユーザの視線の位置に関する情報に基づいて、ユーザが所定のオブジェクトを見たか否かを判定する。
上述したように、本実施形態に係る情報処理装置は、ユーザが表示画面に表示されている所定のオブジェクトを見たと判定された場合に、音声認識を行わせる。つまり、本実施形態に係る情報処理装置は、例えば上記第1の例に係る判定処理を行った結果、ユーザが所定のオブジェクトを見たと判定された場合に、後述する(2)の処理(音声認識制御処理)を開始して音声認識を行わせる。
なお、本実施形態に係る判定処理は、上記第1の例に係る判定処理のように、ユーザが所定のオブジェクトを見たかを判定する処理に限られない。
例えば、本実施形態に係る情報処理装置は、ユーザの視線の位置に関する情報に基づいて、ユーザが所定のオブジェクトを見たと判定された後に、ユーザが所定のオブジェクトを見ていないことを判定する。第2の例に係る判定処理において、ユーザが所定のオブジェクトを見たと判定された後に、当該ユーザが所定のオブジェクトを見ていないと判定された場合には、後述する(2)の処理(音声認識制御処理)では、当該ユーザに対する音声認識を終了させることとなる。
具体的には、ユーザが所定のオブジェクトを見たと判定した場合、本実施形態に係る情報処理装置は、例えば、下記の第2の例に係る判定処理や、下記の第3の例に係る判定処理を行うことによって、ユーザが所定のオブジェクトを見ていないことを判定する。
(1−2)判定処理の第2の例
本実施形態に係る情報処理装置は、例えば、所定のオブジェクトを見たと判定されたユーザに対応するユーザの視線の位置に関する情報が示す視線の位置が、所定のオブジェクトを含む表示画面における第2領域内に含まれなくなったときに、ユーザが所定のオブジェクトを見ていないと判定する。
本実施形態に係る第2領域としては、例えば、本実施形態に係る第1領域と同一の領域が挙げられる。なお、本実施形態に係る第2領域は、上記に限られない。例えば、本実施形態に係る第2領域は、本実施形態に係る第1領域よりも大きな領域であってもよい。
一例を挙げると、本実施形態に係る第2領域としては、例えば、所定のオブジェクトを含む領域のうちの最小の領域(すなわち、所定のオブジェクトが表示される領域)や、所定のオブジェクトの基準点を中心とする円形や矩形の領域などが挙げられる。また、本実施形態に係る第2領域は、例えば、分割領域であってもよい。本実施形態に係る第2領域の具体例については、後述する。
例えば、本実施形態に係る第1領域と本実施形態に係る第2領域とが、共に所定のオブジェクトを含む領域のうちの最小の領域(すなわち、所定のオブジェクトが表示される領域)であるときには、本実施形態に係る情報処理装置は、ユーザが所定のオブジェクトから目を逸らした場合に、ユーザが所定のオブジェクトを見ていないと判定する。そして、本実施形態に係る情報処理装置は、後述する(2)の処理(音声認識制御処理)において、上記ユーザに対する音声認識を終了させる。
また、例えば、本実施形態に係る第2領域が、上記最小の領域より大きい領域であるときには、本実施形態に係る情報処理装置は、ユーザが第2領域から目を逸らした場合に、ユーザが所定のオブジェクトを見ていないと判定する。そして、本実施形態に係る情報処理装置は、後述する(2)の処理(音声認識制御処理)において、上記ユーザに対する音声認識を終了させる。
図2は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。図2は、表示画面に表示された画像の一例を示している。また、図2では、本実施形態に係る所定のオブジェクトを符号Oで表しており、所定のオブジェクトが音声認識アイコンである例を示している。以下では、本実施形態に係る所定のオブジェクトを、「所定のオブジェクトO」と示す場合がある。図2に示す領域R1〜R3は、表示画面の表示領域を3分割した領域であり、本実施形態に係る分割領域に該当する。
例えば、本実施形態に係る第2領域が、分割領域R1である場合、本実施形態に係る情報処理装置は、ユーザが分割領域R1から目を逸らした場合に、ユーザが所定のオブジェクトO1を見ていないと判定する。そして、本実施形態に係る情報処理装置は、後述する(2)の処理(音声認識制御処理)において、上記ユーザに対する音声認識を終了させる。
本実施形態に係る情報処理装置は、例えば、図2に示す分割領域R1のように、設定されている第2領域に基づいて、ユーザが所定のオブジェクトO1を見ていないことを判定する。なお、本実施形態に係る第2領域が、図2に示す例に限られないことは、言うまでもない。
(1−3)判定処理の第3の例
本実施形態に係る情報処理装置は、例えば、所定のオブジェクトを見たと判定されたユーザに対応するユーザの視線の位置に関する情報が示す視線の位置が、所定の領域内に含まれない状態が、設定された第2設定時間以上継続する場合に、ユーザが所定のオブジェクトを見ていないと判定する。また、本実施形態に係る情報処理装置は、例えば所定のオブジェクトを見たと判定されたユーザに対応するユーザの視線の位置に関する情報が示す視線の位置が、所定の領域内に含まれない状態が、第2設定時間より長く継続する場合に、ユーザが所定のオブジェクトを見ていないと判定してもよい。
本実施形態に係る第2設定時間としては、例えば、本実施形態に係る情報処理装置の製造者やユーザ操作などに基づいて予め設定されている時間が挙げられる。本実施形態に係る第2設定時間が、予め設定されている時間である場合、本実施形態に係る情報処理装置は、ユーザの視線の位置に関する情報が示す視線の位置が第2領域に含まれなくなってからの時間と、予め設定されている第2設定時間とに基づいて、ユーザが所定のオブジェクトを見ていないことを判定する。
なお、本実施形態に係る第2設定時間は、予め設定されている時間に限られない。
例えば、本実施形態に係る情報処理装置は、所定のオブジェクトを見たと判定されたユーザに対応するユーザの視線の位置に関する情報が示す視線の位置の履歴に基づいて、第2設定時間を動的に設定することも可能である。
本実施形態に係る情報処理装置は、例えば、ユーザの視線の位置に関する情報を、記憶部(後述する)や外部記録媒体などの記録媒体に逐次記録する。また、本実施形態に係る情報処理装置は、例えば、上記記録媒体に記憶されてから設定されている所定の時間が経過したユーザの視線の位置に関する情報を、上記記録媒体から削除してもよい。
そして、本実施形態に係る情報処理装置は、上記記録媒体に逐次記憶されているユーザの視線の位置に関する情報(すなわち、ユーザの視線の位置の履歴を示す、ユーザの視線の位置に関する情報。以下、「履歴情報」と示す。)を用いて、第2設定時間を動的に設定する。
例えば、本実施形態に係る情報処理装置は、履歴情報の中に、履歴情報が示すユーザの視線の位置と第2領域の境界部分との距離が、設定されている所定の距離以下の履歴情報が存在する場合に、第2設定時間を長くする。また、本実施形態に係る情報処理装置は、例えば、履歴情報の中に、履歴情報が示すユーザの視線の位置と第2領域の境界部分との距離が、設定されている所定の距離より小さい履歴情報が存在する場合に、第2設定時間を長くしてもよい。
本実施形態に係る情報処理装置は、例えば、第2設定時間を設定されている固定の時間分長くする。また、本実施形態に係る情報処理装置は、例えば、上記距離以下の履歴情報(または、上記距離より小さい履歴情報)のデータ数に応じて第2設定時間を長くする時間を変えてもよい。
例えば上記のように、第2設定時間が動的に設定されることによって、本実施形態に係る情報処理装置は、ユーザが所定のオブジェクトを見ていないことを判定する場合においてヒステリシスを考慮することができる。
なお、本実施形態に係る判定処理は、上記第1の例に係る判定処理〜上記第3の例に係る判定処理に限られない。
(1−4)判定処理の第4の例
本実施形態に係る情報処理装置は、例えば、一のユーザが所定のオブジェクトを見たと判定した後に、当該一のユーザが所定のオブジェクトを見ていないと判定されていない場合には、他のユーザが所定のオブジェクトを見たとは判定しない。
例えば、後述する(2)の処理(音声認識制御処理)において音声認識を行わせるとき、処理を行う音声による命令が、機器の操作に関する命令である場合には、一度に受け入れる音声による命令が1つである方が、望ましい。一度に受け入れる音声による命令が複数である場合には、例えば、相反する命令が連続して実行されるなど、ユーザの利便性の低下を招く恐れがあるからである。
本実施形態に係る情報処理装置が、第4の例に係る判定処理を行うことによって、仮に、他のユーザが所定のオブジェクトを見た場合であっても、当該他のユーザが所定のオブジェクトを見たとは判定されないので、上記のようなユーザの利便性の低下を招く恐れがある事態を防止することができる。
(1−5)判定処理の第5の例
また、本実施形態に係る情報処理装置は、ユーザを特定し、特定されたユーザに対応するユーザの視線の位置に関する情報に基づいて、ユーザが所定のオブジェクトを見たかを判定してもよい。
本実施形態に係る情報処理装置は、例えば、表示画面において画像が表示される方向が撮像された撮像画像に基づいてユーザを特定する。具体的には、本実施形態に係る情報処理装置は、例えば、撮像画像に対して顔認識処理を行うことによって、ユーザを特定するが、ユーザの特定方法は、上記に限られない。
ユーザが特定されると、本実施形態に係る情報処理装置は、例えば、特定したユーザに対応するユーザIDを認識し、認識したユーザIDに対応するユーザの視線の位置に関する情報に基づいて、上記第1の例に係る判定処理と同様の処理を行う。
(2)音声認識制御処理
本実施形態に係る情報処理装置は、例えば、上記(1)の処理(判定処理)においてユーザが所定のオブジェクトを見たと判定された場合に、音声認識処理を制御し、音声認識を行わせる。
より具体的には、本実施形態に係る情報処理装置は、例えば下記の第1の例に係る音声認識制御処理や第2の例に係る音声認識制御処理に示すように、音源分離や音源定位を利用して、音声認識を行わせる。ここで、本実施形態に係る音源分離とは、様々な音の中から目的の音声のみを抽出する技術をいう。また、本実施形態に係る音源定位とは、音源の位置(角度)を測定する技術をいう。
(2−1)音声認識制御処理の第1の例:音源分離が利用される場合
本実施形態に係る情報処理装置は、音源分離を行うことが可能な音声入力デバイスと連携して、音声認識を行わせる。本実施形態に係る音源分離を行うことが可能な音声入力デバイスは、例えば、本実施形態に係る情報処理装置が備える音声入力デバイスであってもよいし、本実施形態に係る情報処理装置の外部の音声入力デバイスであってもよい。
本実施形態に係る情報処理装置は、例えば、所定のオブジェクトを見たと判定されたユーザに対応するユーザの視線の位置に関する情報に基づいて、音源分離を行うことが可能な音声入力デバイスに、所定のオブジェクトを見たと判定されたユーザの位置から発せられる音声を示す音声信号を取得させる。そして、本実施形態に係る情報処理装置は、上記音声入力デバイスにより取得された音声信号に対して音声認識を行わせる。
本実施形態に係る情報処理装置は、例えば、所定のオブジェクトを見たと判定されたユーザに対応するユーザの視線の位置に関する情報に基づいて、当該ユーザの視線の向き(例えば、表示画面に対する視線の角度)を算出する。また、ユーザの視線の位置に関する情報に視線の方向を示すデータが含まれる場合には、本実施形態に係る情報処理装置は、当該視線の方向を示すデータが示すユーザの視線の向きを用いる。そして、本実施形態に係る情報処理装置は、例えば、算出することなどにより得られたユーザの視線の向きに対して音源分離を行わせるための制御命令を、音源分離を行うことが可能な音声入力デバイスに送信する。上記制御命令に基づき音源分離を行うことによって、上記音声入力デバイスは、所定のオブジェクトを見たと判定されたユーザの位置から発せられる音声を示す音声信号を取得する。なお、本実施形態に係る音源分離を行うことが可能な音声入力デバイスにおける音声信号の取得方法が、上記に限られないことは、言うまでもない。
図3は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、音声認識制御処理において音源分離が利用される場合の概要を示している。図3に示すD1は、表示画面を表示させる表示デバイスの一例を示しており、図3に示すD2は、音源分離を行うことが可能な音声入力デバイスの一例を示している。また、図3では、所定のオブジェクトOが音声認識アイコンである例を示している。また、図3では、ユーザU1〜U3という3人のユーザが、それぞれ表示画面を見ている例を示している。また、図3のCに示すR0は、音声入力デバイスD2が音声を取得することが可能な領域の一例を示しており、図3のCに示すR1は、音声入力デバイスD2が音声を取得する領域の一例を示している。図3では、本実施形態に係る情報処理方法に係る処理の流れを、図3に示すA、図3に示すB、図3に示すCの順番で時系列に表している。
ユーザU1〜U3それぞれが表示画面をみている場合において、例えば、ユーザU1が、表示画面の右端を見ると(図3に示すA)、本実施形態に係る情報処理装置は、表示画面に所定のオブジェクトOを表示する(図3に示すB)。本実施形態に係る情報処理装置は、例えば、後述する本実施形態に係る表示制御処理を行うことによって、表示画面に所定のオブジェクトOを表示する。
表示画面に所定のオブジェクトOを表示すると、本実施形態に係る情報処理装置は、例えば、上記(1)の処理(判定処理)を行うことによって、ユーザが所定のオブジェクトOを見ているかを判定する。図3のBに示す例では、本実施形態に係る情報処理装置は、ユーザU1が所定のオブジェクトOを見たと判定する。
ユーザU1が所定のオブジェクトOを見たと判定されると、本実施形態に係る情報処理装置は、ユーザU1に対応するユーザの視線の位置に関する情報に基づく制御命令を、音源分離を行うことが可能な音声入力デバイスD2に送信する。音声入力デバイスD2は、上記制御命令に基づいて、所定のオブジェクトを見たと判定されたユーザの位置から発せられる音声を示す音声信号を取得する(図3のC)。そして、本実施形態に係る情報処理装置は、音声入力デバイスD2から音声信号を取得する。
音声入力デバイスD2から音声信号が取得されると、本実施形態に係る情報処理装置は、当該音声信号に対して音声認識に係る処理(後述する)を行い、音声認識に係る処理の結果、認識された命令を実行する。
音源分離が利用される場合、本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として、例えば図3を参照して示したような処理を行う。なお、音源分離が利用される場合における本実施形態に係る情報処理方法に係る処理の例が、図3を参照して示した例に限られないことは、言うまでもない。
(2−2)音声認識制御処理の第2の例:音源定位が利用される場合
本実施形態に係る情報処理装置は、音源定位を行うことが可能な音声入力デバイスと連携して、音声認識を行わせる。本実施形態に係る音源定位を行うことが可能な音声入力デバイスは、例えば、本実施形態に係る情報処理装置が備える音声入力デバイスであってもよいし、本実施形態に係る情報処理装置の外部の音声入力デバイスであってもよい。
本実施形態に係る情報処理装置は、例えば、所定のオブジェクトを見たと判定されたユーザに対応するユーザの視線の位置に関する情報に基づくユーザの位置と、音源定位を行うことが可能な音声入力デバイスが測定した音源の位置との差分に基づいて、音源定位を行うことが可能な音声入力デバイスにより取得された音声を示す音声信号に対して選択的に音声認識を行わせる。
より具体的には、本実施形態に係る情報処理装置は、例えば、上記ユーザの視線の位置に関する情報に基づくユーザの位置と上記音源の位置との差分が、設定された閾値以下の場合(または、上記ユーザの視線の位置に関する情報に基づくユーザの位置と上記音源の位置との差分が、当該閾値より小さい場合。以下、同様とする。)に、上記音声信号に対して選択的に音声認識を行わせる。ここで、第2の例に係る音声認識制御処理に係る閾値は、例えば、予め設定されている固定値であってもよいし、ユーザ操作などに基づき変更可能な可変値であってもよい。
本実施形態に係る情報処理装置は、例えば、音源定位を行うことが可能な音声入力デバイスから適宜送信される、音源の位置を示す情報(データ)を用いる。また、本実施形態に係る情報処理装置は、例えば、上記(1)の処理(判定処理)においてユーザが所定のオブジェクトを見ていると判定された場合に、音源定位を行うことが可能な音声入力デバイスに対して、音源の位置を示す情報の送信を要求する命令を送信し、当該命令に応じて音声入力デバイスから送信された音源の位置を示す情報を用いることも可能である。
図4は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、音声認識制御処理において音源定位が利用される場合の概要を示している。図4に示すD1は、表示画面を表示させる表示デバイスの一例を示しており、図4に示すD2は、音源分離を行うことが可能な音声入力デバイスの一例を示している。また、図4では、所定のオブジェクトOが音声認識アイコンである例を示している。また、図4では、ユーザU1〜U3という3人のユーザが、それぞれ表示画面を見ている例を示している。また、図4のCに示すR0は、音声入力デバイスD2が音源定位を行うことが可能な領域の一例を示しており、図4のCに示すR2は、音声入力デバイスD2により特定された音源の位置の一例を示している。図4では、本実施形態に係る情報処理方法に係る処理の流れを、図4に示すA、図4に示すB、図4に示すCの順番で時系列に表している。
ユーザU1〜U3それぞれが表示画面をみている場合において、例えば、ユーザU1が、表示画面の右端を見ると(図4に示すA)、本実施形態に係る情報処理装置は、表示画面に所定のオブジェクトOを表示する(図4に示すB)。本実施形態に係る情報処理装置は、例えば、後述する本実施形態に係る表示制御処理を行うことによって、表示画面に所定のオブジェクトOを表示する。
表示画面に所定のオブジェクトOを表示すると、本実施形態に係る情報処理装置は、例えば、上記(1)の処理(判定処理)を行うことによって、ユーザが所定のオブジェクトOを見ているかを判定する。図4のBに示す例では、本実施形態に係る情報処理装置は、ユーザU1が所定のオブジェクトOを見たと判定する。
ユーザU1が所定のオブジェクトOを見たと判定されると、本実施形態に係る情報処理装置は、所定のオブジェクトを見たと判定されたユーザに対応するユーザの視線の位置に関する情報に基づくユーザの位置と、音源定位を行うことが可能な音声入力デバイスが測定した音源の位置との差分を算出する。ここで、本実施形態に係るユーザの視線の位置に関する情報に基づくユーザの位置と、音声入力デバイスが測定した音源の位置とは、例えば、表示画面に対する角度で表される。なお、本実施形態に係るユーザの視線の位置に関する情報に基づくユーザの位置と、音声入力デバイスが測定した音源の位置とは、表示画面に対応する平面を示す2軸と、表示画面に対する垂直方向を示す1軸とからなる3次元座標系の座標で表されていてもよい。
本実施形態に係る情報処理装置は、例えば、算出された差分が設定されている閾値以下の場合に、音源定位を行うことが可能な音声入力デバイスD2により取得された音声を示す音声信号に対して音声認識に係る処理(後述する)を行う。そして、本実施形態に係る情報処理装置は、音声認識に係る処理の結果、認識された命令を実行する。
音源定位が利用される場合、本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として、例えば図4を参照して示したような処理を行う。なお、音源定位が利用される場合における本実施形態に係る情報処理方法に係る処理の例が、図4を参照して示した例に限られないことは、言うまでもない。
本実施形態に係る情報処理装置は、例えば、上記(2−1)に示す第1の例に係る音声認識制御処理や、上記(2−2)に示す第2の例に係る音声認識制御処理に示すように、音源分離や音源定位を利用して音声認識を行わせる。
次に、本実施形態に係る音声認識制御処理における、音声認識に係る処理について説明する。
本実施形態に係る情報処理装置は、取得された音声信号から、上記(1)の処理(判定処理)においてユーザが見たと判定された所定のオブジェクトによらずに、認識可能な全ての命令を認識する。そして、本実施形態に係る情報処理装置は、認識された命令を実行する。
なお、本実施形態に係る音声認識に係る処理において認識する命令は、上記に限られない。
例えば、本実施形態に係る情報処理装置は、上記(1)の処理(判定処理)においてユーザが見たと判定された所定のオブジェクトに基づいて、認識する命令を動的に変えるように制御することも可能である。本実施形態に係る情報処理装置は、例えば、上述した音声認識処理を制御する対象と同様に、自装置や、通信部(後述する)や接続されている外部の通信デバイスを介して通信可能な外部装置を、認識する命令を動的に変える制御の制御対象とする。より具体的には、本実施形態に係る情報処理装置は、例えば下記の(A)、(B)に示すように、認識する命令を動的に変えるように制御する。
(A)本実施形態に係る音声認識に係る処理における、認識する命令の動的な変更の第1の例
本実施形態に係る情報処理装置は、上記(1)の処理(判定処理)においてユーザが見たと判定された所定のオブジェクトに対応する命令を認識するように制御する。
(A−1)
認識する命令を動的に変える制御の制御対象が自装置である場合、本実施形態に係る情報処理装置は、例えば、オブジェクトと命令(または、命令群)とが対応付けられているテーブル(または、データベース)と、判定された所定のオブジェクトとに基づいて、判定された所定のオブジェクトに対応する命令(または、命令群)を特定する。そして、本実施形態に係る情報処理装置は、取得された音声信号から、特定された命令を認識することによって、所定のオブジェクトに対応する命令を認識する。
(A−2)
また、認識する命令を動的に変える制御の制御対象が上記外部装置である場合、本実施形態に係る情報処理装置は、例えば、“認識する命令を動的に変えさせる命令”と、所定のオブジェクトに対応するオブジェクトを示す情報とを含む制御データを、通信部(後述する)などに、上記外部装置へと送信させる。本実施形態に係るオブジェクトを示す情報としては、例えば、オブジェクトを示すIDや、オブジェクトを示すデータなどが挙げられる。また、上記制御データには、例えば、さらにユーザが発話した音声を示す音声信号が含まれていてもよい。上記制御データを取得した上記外部装置は、例えば、上記(A−1)に示す本実施形態に係る情報処理装置と同様の処理行うことによって、所定のオブジェクトに対応する命令を認識する。
(B)本実施形態に係る音声認識に係る処理における、認識する命令の動的な変更の第2の例
本実施形態に係る情報処理装置は、上記(1)の処理(判定処理)においてユーザが見たと判定された所定のオブジェクトを含む表示画面における領域内に含まれる、他のオブジェクトに対応する命令を認識するように制御する。また、本実施形態に係る情報処理装置は、例えば、上記(A)に示すように所定のオブジェクトに対応する命令を認識することに加え、さらに(B)の処理を行ってもよい。
ここで、本実施形態に係る所定のオブジェクトを含む表示画面における領域としては、例えば、本実施形態に係る第1領域よりも大きな領域が挙げられる。一例を挙げると、本実施形態に係る所定のオブジェクトを含む表示画面における領域としては、例えば、所定のオブジェクトの基準点を中心とする円形や矩形の領域や、分割領域などが挙げられる。
(B−1)
認識する命令を動的に変える制御の制御対象が自装置である場合、本実施形態に係る情報処理装置は、例えば、本実施形態に係る所定のオブジェクトを含む表示画面における領域に基準位置が含まれるオブジェクトのうち、所定のオブジェクト以外のオブジェクトを、他のオブジェクトと判定する。なお、本実施形態に係る他のオブジェクトの判定方法は、上記に限られない。例えば、本実施形態に係る情報処理装置は、本実施形態に係る所定のオブジェクトを含む表示画面における領域内に少なくとも一部が表示されるオブジェクトのうち、所定のオブジェクト以外のオブジェクトを、他のオブジェクトとして判定してもよい。
また、本実施形態に係る情報処理装置は、例えば、オブジェクトと命令(または、命令群)とが対応付けられているテーブル(または、データベース)と、判定された他のオブジェクトとに基づいて、他のオブジェクトに対応する命令(または、命令群)を特定する。本実施形態に係る情報処理装置は、例えば、上記テーブル(または、データベース)と、判定された所定のオブジェクトとに基づいて、判定された所定のオブジェクトに対応する命令(または、命令群)をさらに特定してもよい。そして、本実施形態に係る情報処理装置は、取得された音声信号から、特定された命令を認識することによって、他のオブジェクトに対応する命令に対応する命令(または、さらに所定のオブジェクトに対応する命令)を認識する。
(B−2)
また、認識する命令を動的に変える制御の制御対象が上記外部装置である場合、本実施形態に係る情報処理装置は、例えば、“認識する命令を動的に変えさせる命令”と、他のオブジェクトに対応するオブジェクトを示す情報とを含む制御データを、通信部(後述する)などに、上記外部装置へと送信させる。また、上記制御データには、例えば、さらにユーザが発話した音声を示す音声信号や、所定のオブジェクトに対応するオブジェクトを示す情報が含まれていてもよい。上記制御データを取得した上記外部装置は、例えば、上記(B−1)に示す本実施形態に係る情報処理装置と同様の処理行うことによって、他のオブジェクトに対応する命令に対応する命令(または、さらに所定のオブジェクトに対応する命令)を認識する。
本実施形態に係る情報処理装置は、本実施形態に係る音声認識制御処理として、例えば上記のような処理を行う。
なお、本実施形態に係る音声認識制御処理は、上記に示す処理に限られない。
例えば、上記(1)の処理(判定処理)において、ユーザが所定のオブジェクトを見たと判定した後に、ユーザが所定のオブジェクトを見ていないと判定された場合には、本実施形態に係る情報処理装置は、所定のオブジェクトを見たと判定されたユーザに対する音声認識を終了させる。
本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として、例えば、上記(1)の処理(判定処理)、および上記(2)の処理(音声認識制御処理)を行う。
ここで、本実施形態に係る情報処理装置は、上記(1)の処理(判定処理)において所定のオブジェクトを見たと判定したときに、上記(2)の処理(音声認識制御処理)を行う。つまり、ユーザは、例えば、所定のオブジェクトに視線を向けて所定のオブジェクトを見ることによって、本実施形態に係る情報処理装置に音声認識を開始させることが可能となる。また、上述したように、仮に、ユーザが、他の操作や会話などを行っていたとしても、ユーザが所定のオブジェクトを見ることにより当該他の操作や会話を妨げる可能性は、特定のユーザ操作や特定のワードの発話によって音声認識が行われる場合よりも低い。また、上述したように、ユーザが所定のオブジェクトを見ることは、上記特定のユーザ操作や特定のワードの発話よりも、より自然な操作であるといえる。
したがって、本実施形態に係る情報処理装置が、本実施形態に係る情報処理方法に係る処理として、上記(1)の処理(判定処理)、および上記(2)の処理(音声認識制御処理)を行うことによって、音声認識が行われる場合におけるユーザの利便性の向上を図ることができる。
なお、本実施形態に係る情報処理方法に係る処理は、上記(1)の処理(判定処理)、および上記(2)の処理(音声認識制御処理)に限られない。
例えば、本実施形態に係る情報処理装置は、本実施形態に係る所定のオブジェクトを表示画面に表示させる処理(表示制御処理)を行うことも可能である。そこで、次に、本実施形態に係る表示制御処理について説明する。
(3)表示制御処理
本実施形態に係る情報処理装置は、本実施形態に係る所定のオブジェクトを表示画面に表示させる。より具体的には、本実施形態に係る情報処理装置は、例えば、下記の第1の例に係る表示制御処理〜下記の第4の例に係る表示制御処理の処理を行う。
(3−1)表示制御処理の第1の例
本実施形態に係る情報処理装置は、例えば、表示画面における設定されている位置に、所定のオブジェクトを表示させる。つまり、本実施形態に係る情報処理装置は、ユーザの視線の位置に関する情報が示す視線の位置がどのような位置であっても、ユーザの視線の位置に関する情報が示す視線の位置によらずに、設定されている位置に、所定のオブジェクトを表示させる。
本実施形態に係る情報処理装置は、例えば、所定のオブジェクトを常に表示画面に表示させる。なお、本実施形態に係る情報処理装置は、例えば、視線による操作以外のユーザ操作に基づいて、所定のオブジェクトを選択的に表示させることも可能である。
図5は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、本実施形態に係る表示制御処理により表示される所定のオブジェクトOの表示位置の一例を示している。図5では、所定のオブジェクトOが音声認識アイコンである例を示している。
所定のオブジェクトが表示される位置の一例としては、例えば、図5のAに示すような表示画面の画面端の位置や、図5のBに示すような表示画面の中央の位置、図1において符号O1〜O3で表されるオブジェクトが表示されている位置など様々な位置が挙げられる。なお、所定のオブジェクトが表示される位置は、図1、図5に示す例に限られず、表示画面の任意の位置であってもよい。
(3−2)表示制御処理の第2の例
本実施形態に係る情報処理装置は、例えば、ユーザの視線の位置に関する情報に基づいて、所定のオブジェクトを選択的に表示させる。
より具体的には、本実施形態に係る情報処理装置は、例えば、ユーザの視線の位置に関する情報が示す視線の位置が、設定されている領域に含まれる場合に、所定のオブジェクトを表示させる。ユーザの視線の位置に関する情報が示す視線の位置が設定されている領域に含まれるときに、所定のオブジェクトが表示される場合には、ユーザが、設定されている領域を一度見ることによって、所定のオブジェクトが表示される。
ここで、本実施形態に係る表示制御処理における上記領域としては、例えば、所定のオブジェクトを含む領域のうちの最小の領域(すなわち、所定のオブジェクトが表示される領域)や、所定のオブジェクトの基準点を中心とする円形や矩形の領域、分割領域などが挙げられる。
なお、第2の例に係る表示制御処理は、上記に限られない。
例えば、所定のオブジェクトを表示させる場合、本実施形態に係る情報処理装置は、ユーザの視線の位置に関する情報が示す視線の位置に基づいて、段階的に所定のオブジェクトを表示させてもよい。本実施形態に係る情報処理装置は、例えば、ユーザの視線の位置に関する情報が示す視線の位置が設定されている領域に含まれる時間に応じて、段階的に所定のオブジェクトを表示させる。
図6は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、本実施形態に係る表示制御処理により段階的に表示される所定のオブジェクトOの一例を示している。図6では、所定のオブジェクトOが音声認識アイコンである例を示している。
例えば、本実施形態に係る情報処理装置は、ユーザの視線の位置に関する情報が示す視線の位置が設定されている領域に含まれる時間が、第1の時間以上である場合(または、当該設定されている領域に含まれる時間が、第1の時間より大きい場合)に、所定のオブジェクトOの一部を表示画面に表示させる(図6に示すA)。本実施形態に係る情報処理装置は、例えば、ユーザの視線の位置に関する情報が示す視線の位置に対応する位置に、所定のオブジェクトOの一部を表示させる。
ここで、本実施形態に係る第1の時間としては、例えば、設定された固定の時間が挙げられる。
また、本実施形態に係る情報処理装置は、取得されているユーザの視線の位置に関する情報の数(すなわち、ユーザ数)に基づいて、第1の時間を動的に変えてもよい。本実施形態に係る情報処理装置は、例えば、ユーザ数が多い程、第1の時間を長く設定する。第1の時間がユーザ数に応じて動的に設定されることによって、例えば、一のユーザが、偶然、所定のオブジェクトを表示させてしまうことを防止することができる。
例えば図6のAに示すように所定のオブジェクトOの一部が表示画面に表示されると、本実施形態に係る情報処理装置は、所定のオブジェクトOの一部が表示画面に表示されてからのユーザの視線の位置に関する情報が示す視線の位置が設定されている領域に含まれる時間が、第2の時間以上である場合(または、当該設定されている領域に含まれる時間が、第2の時間より大きい場合)に、所定のオブジェクトOの全体を表示画面に表示させる(図6に示すB)。
ここで、本実施形態に係る第2の時間としては、例えば、設定された固定の時間が挙げられる。
また、本実施形態に係る情報処理装置は、上記第1の時間と同様に、取得されているユーザの視線の位置に関する情報の数(すなわち、ユーザ数)に基づいて、第2の時間を動的に変えてもよい。第2の時間がユーザ数に応じて動的に設定されることによって、例えば、一のユーザが、偶然、所定のオブジェクトを表示させてしまうことを防止することができる。
また、所定のオブジェクトを表示させる場合、本実施形態に係る情報処理装置は、例えば、設定されている表示方法を用いて、所定のオブジェクトを表示させてもよい。
本実施形態に係る設定されている表示方法としては、例えば、スライドインや、フェードインなどが挙げられる。
また、本実施形態に係る情報処理装置は、例えば、ユーザの視線の位置に関する情報に基づいて、本実施形態に係る設定されている表示方法を動的に変えることも可能である。
一例を挙げると、本実施形態に係る情報処理装置は、ユーザの視線の位置に関する情報に基づいて目の動きの方向(例えば、上下や左右など)を特定する。そして、本実施形態に係る情報処理装置は、特定された目の動きの方向に対応する方向から、所定のオブジェクトが現れるような表示方法を用いて、所定のオブジェクトを表示させる。また、本実施形態に係る情報処理装置は、例えば、さらに、ユーザの視線の位置に関する情報が示す視線の位置に応じて、所定のオブジェクトが現れる位置を変えてもよい。
(3−3)表示制御処理の第3の例
本実施形態に係る情報処理装置は、例えば、上記(2)の処理(音声認識制御処理)により音声認識が行われている場合、所定のオブジェクトの表示態様を変える。本実施形態に係る情報処理装置が所定のオブジェクトの表示態様を変えることによって、本実施形態に係る情報処理方法に係る処理の状態を、ユーザに対してフィードバックすることが可能となる。
図7は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、本実施形態に係る所定のオブジェクトの表示態様の一例を示している。図7のA〜図7Eは、本実施形態に係る所定のオブジェクトの表示態様の一例をそれぞれ示している。
本実施形態に係る情報処理装置は、例えば、図7のAに示すように、上記(1)の処理(判定処理)において所定のオブジェクトを見たと判定されたユーザに応じて、所定のオブジェクトの色や所定のオブジェクトが光る色を変える。所定のオブジェクトの色や所定のオブジェクトが光る色が変わることによって、上記(1)の処理(判定処理)において所定のオブジェクトを見たと判定されたユーザを、表示画面をみている1または2以上のユーザに対してフィードバックすることができる。
ここで、本実施形態に係る情報処理装置は、例えば、上記(1)の処理(判定処理)においてユーザIDを認識する場合には、ユーザIDに対応する色の所定のオブジェクトや、ユーザIDに対応する色で光る所定のオブジェクトを表示させる。また、本実施形態に係る情報処理装置は、例えば、上記(1)の処理(判定処理)において所定のオブジェクトを見たと判定されるごとに、異なる色の所定のオブジェクトや、異なる色で光る所定のオブジェクトを表示させてもよい。
また、本実施形態に係る情報処理装置は、例えば、図7のBや図7のCに示すように、上記(2)の処理(音声認識制御処理)において認識した音声の方向を視覚的に示してもよい。認識した音声の方向を視覚的に示すことによって、本実施形態に係る情報処理装置が認識した音声の方向を、表示画面をみている1または2以上のユーザに対してフィードバックすることができる。
図7のBに示す例では、図7のBに示す符号DIで示されているように、音声の方向部分が空いたバーによって、認識した音声の方向を示している。また、図7のCに示す例では、キャラクター画像(音声認識画像の一例)が認識した音声の方向を見ることによって、認識した音声の方向を示している。
また、本実施形態に係る情報処理装置は、例えば、図7のDや図7のEに示すように、上記(1)の処理(判定処理)において所定のオブジェクトを見たと判定されたユーザに対応する撮像画像を、音声認識アイコンと併せて示してもよい。撮像画像を音声認識アイコンと併せて示すことによって、上記(1)の処理(判定処理)において所定のオブジェクトを見たと判定されたユーザを、表示画面をみている1または2以上のユーザに対してフィードバックすることができる。
図7のDに示す例は、撮像画像が音声認識アイコンと並んで表示された例を示している。また、図7のEに示す例は、撮像画像を音声認識アイコンに合成して表示された例を示している。
本実施形態に係る情報処理装置は、例えば図7に示すように、所定のオブジェクトの表示態様を変えることによって、本実施形態に係る情報処理方法に係る処理の状態を、ユーザに対してフィードバックする。
なお、第3の例に係る表示制御処理は、図7に示す例に限られない。例えば、本実施形態に係る情報処理装置は、上記(1)の処理(判定処理)においてユーザIDを認識する場合には、ユーザIDに対応するオブジェクト(例えば、音声認識アイコンや、キャラクター画像などの音声認識画像など)を表示させてもよい。
(3−4)表示制御処理の第4の例
本実施形態に係る情報処理装置は、例えば、上記第1の例に係る表示制御処理または第2の例に係る表示制御処理と、第3の例に係る表示制御処理とを組み合わせ処理を行うことも可能である。
(本実施形態に係る情報処理装置)
次に、上述した本実施形態に係る情報処理方法に係る処理を行うことが可能な、本実施形態に係る情報処理装置の構成の一例について、説明する。
図8は、本実施形態に係る情報処理装置100の構成の一例を示すブロック図である。情報処理装置100は、例えば、通信部102と、制御部104とを備える。
また、情報処理装置100は、例えば、ROM(Read Only Memory。図示せず)や、RAM(Random Access Memory。図示せず)、記憶部(図示せず)、ユーザが操作可能な操作部(図示せず)、様々な画面を表示画面に表示する表示部(図示せず)などを備えていてもよい。情報処理装置100は、例えば、データの伝送路としてのバス(bus)により上記各構成要素間を接続する。
ここで、ROM(図示せず)は、制御部104が使用するプログラムや演算パラメータなどの制御用データを記憶する。RAM(図示せず)は、制御部104により実行されるプログラムなどを一時的に記憶する。
記憶部(図示せず)は、情報処理装置100が備える記憶手段であり、例えば、表示画面に表示される各種オブジェクトを示すデータなどの本実施形態に係る情報処理方法に係るデータや、アプリケーションなど様々なデータを記憶する。ここで、記憶部(図示せず)としては、例えば、ハードディスク(Hard Disk)などの磁気記録媒体や、フラッシュメモリ(flash memory)などの不揮発性メモリ(nonvolatile memory)などが挙げられる。また、記憶部(図示せず)は、情報処理装置100から着脱可能であってもよい。
操作部(図示せず)としては、後述する操作入力デバイスが挙げられる。また、表示部(図示せず)としては、後述する表示デバイスが挙げられる。
[情報処理装置100のハードウェア構成例]
図9は、本実施形態に係る情報処理装置100のハードウェア構成の一例を示す説明図である。情報処理装置100は、例えば、MPU150と、ROM152と、RAM154と、記録媒体156と、入出力インタフェース158と、操作入力デバイス160と、表示デバイス162と、通信インタフェース164とを備える。また、情報処理装置100は、例えば、データの伝送路としてのバス166で各構成要素間を接続する。
MPU150は、例えば、MPU(Micro Processing Unit)などのプロセッサや各種処理回路などで構成され、情報処理装置100全体を制御する制御部104として機能する。また、MPU150は、情報処理装置100において、例えば、後述する判定部110、音声認識制御部112、および表示制御部114の役目を果たす。
ROM152は、MPU150が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。RAM154は、例えば、MPU150により実行されるプログラムなどを一時的に記憶する。
記録媒体156は、記憶部(図示せず)として機能し、例えば、表示画面に表示される各種オブジェクトを示すデータなどの本実施形態に係る情報処理方法に係るデータや、アプリケーションなど様々なデータを記憶する。ここで、記録媒体156としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリが挙げられる。また、記録媒体156は、情報処理装置100から着脱可能であってもよい。
入出力インタフェース158は、例えば、操作入力デバイス160や、表示デバイス162を接続する。操作入力デバイス160は、操作部(図示せず)として機能し、また、表示デバイス162は、表示部(図示せず)として機能する。ここで、入出力インタフェース158としては、例えば、USB(Universal Serial Bus)端子や、DVI(Digital Visual Interface)端子、HDMI(High-Definition Multimedia Interface)(登録商標)端子、各種処理回路などが挙げられる。また、操作入力デバイス160は、例えば、情報処理装置100上に備えられ、情報処理装置100の内部で入出力インタフェース158と接続される。操作入力デバイス160としては、例えば、ボタンや、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられる。また、表示デバイス162は、例えば、情報処理装置100上に備えられ、情報処理装置100の内部で入出力インタフェース158と接続される。表示デバイス162としては、例えば、液晶ディスプレイ(Liquid Crystal Display)や有機ELディスプレイ(Organic Electro-Luminescence Display。または、OLEDディスプレイ(Organic Light Emitting Diode Display)ともよばれる。)などが挙げられる。
なお、入出力インタフェース158が、情報処理装置100の外部装置としての操作入力デバイス(例えば、キーボードやマウスなど)や表示デバイスなどの、外部デバイスと接続することも可能であることは、言うまでもない。また、表示デバイス162は、例えばタッチスクリーンなど、表示とユーザ操作とが可能なデバイスであってもよい。
通信インタフェース164は、情報処理装置100が備える通信手段であり、ネットワークを介して(あるいは、直接的に)、外部の撮像デバイスや、外部の表示デバイス、外部のセンサなどの、外部デバイスや外部装置と、無線または有線で通信を行うための通信部102として機能する。ここで、通信インタフェース164としては、例えば、通信アンテナおよびRF(Radio Frequency)回路(無線通信)や、IEEE802.15.1ポートおよび送受信回路(無線通信)、IEEE802.11ポートおよび送受信回路(無線通信)、あるいはLAN(Local Area Network)端子および送受信回路(有線通信)などが挙げられる。また、本実施形態に係るネットワークとしては、例えば、LANやWAN(Wide Area Network)などの有線ネットワーク、無線LAN(WLAN:Wireless Local Area Network)や基地局を介した無線WAN(WWAN:Wireless Wide Area Network)などの無線ネットワーク、あるいは、TCP/IP(Transmission Control Protocol/Internet Protocol)などの通信プロトコルを用いたインターネットなどが挙げられる。
情報処理装置100は、例えば図9に示す構成によって、本実施形態に係る情報処理方法に係る処理を行う。なお、本実施形態に係る情報処理装置100のハードウェア構成は、図9に示す構成に限られない。
例えば、情報処理装置100は、動画像または静止画像を撮像する撮像部(図示せず)の役目を果たす撮像デバイスを備えていてもよい。撮像デバイスを備える場合には、情報処理装置100は、例えば、撮像デバイスにおいて撮像により生成された撮像画像を処理して、ユーザの視線の位置に関する情報を得ることが可能となる。また、撮像デバイスを備える場合には、情報処理装置100は、例えば、撮像デバイスにおいて撮像により生成された撮像画像を用いたユーザの特定に係る処理を行うことや、当該撮像画像(または、撮像画像の一部)を、オブジェクトとして用いることも可能である。
ここで、本実施形態に係る撮像デバイスとしては、例えば、レンズ/撮像素子と信号処理回路とが挙げられる。レンズ/撮像素子は、例えば、光学系のレンズと、CMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を複数用いたイメージセンサとで構成される。信号処理回路は、例えば、AGC(Automatic Gain Control)回路やADC(Analog to Digital Converter)を備え、撮像素子により生成されたアナログ信号をデジタル信号(画像データ)に変換する。また、信号処理回路は、例えば、White Balance補正処理や、色調補正処理、ガンマ補正処理、YCbCr変換処理、エッジ強調処理など各種信号処理を行ってもよい。
また、情報処理装置100は、例えば、本実施形態に係るユーザの視線の位置の特定に用いることが可能なデータを得る検出部(図示せず)の役目を果たすセンサをさらに備えていてもよい。センサを備える場合には、情報処理装置100は、例えば、センサから得られるデータを用いて、ユーザの視線の位置の推定精度の向上を図ることが可能となる。
本実施形態に係るセンサとしては、例えば、赤外線センサなど、ユーザの視線の位置の推定精度の向上に用いることが可能な検出値を得る任意のセンサが挙げられる。
また、情報処理装置100は、例えば、スタンドアロンで処理を行う構成である場合には、通信デバイス164を備えていなくてもよい。また、情報処理装置100は、記憶媒体156や、操作デバイス160、表示デバイス162を備えない構成をとることも可能である。
再度図8を参照して、情報処理装置100の構成の一例について説明する。通信部102は、情報処理装置100が備える通信手段であり、ネットワークを介して(あるいは、直接的に)、外部の撮像デバイスや、外部の表示デバイス、外部のセンサなどの、外部デバイスや外部装置と、無線または有線で通信を行う。また、通信部102は、例えば制御部104により通信が制御される。
ここで、通信部102としては、例えば、通信アンテナおよびRF回路や、LAN端子および送受信回路などが挙げられるが、通信部102の構成は、上記に限られない。例えば、通信部102は、USB端子および送受信回路など通信を行うことが可能な任意の規格に対応する構成や、ネットワークを介して外部装置と通信可能な任意の構成をとることができる。
制御部104は、例えばMPUなどで構成され、情報処理装置100全体を制御する役目を果たす。また、制御部104は、例えば、判定部110と、音声認識制御部112と、表示制御部114とを備え、本実施形態に係る情報処理方法に係る処理を主導的に行う役目を果たす。
判定部110は、上記(1)の処理(判定処理)を主導的に行う役目を果たす。
例えば、判定部110は、ユーザの視線の位置に関する情報に基づいて、ユーザが所定のオブジェクトを見たかを判定する。より具体的には、判定部110は、例えば、上記(1−1)に示す第1の例に係る判定処理を行う。
また、判定部110は、例えば、ユーザの視線の位置に関する情報に基づいて、ユーザが所定のオブジェクトを見たと判定された後に、ユーザが所定のオブジェクトを見ていないことを判定することも可能である。より具体的には、判定部110は、例えば、上記(1−2)に示す第2の例に係る判定処理や、上記(1−3)に示す第3の例に係る判定処理を行う。
また、判定部110は、例えば、上記(1−4)に示す第4の例に係る判定処理や、上記(1−5)に示す第5の例に係る判定処理を行ってもよい。
音声認識制御部112は、上記(2)の処理(音声認識制御処理)を主導的に行う役目を果たす。
例えば、音声認識制御部112は、判定部110においてユーザが所定のオブジェクトを見たと判定された場合に、音声認識処理を制御し、音声認識を行わせる。より具体的には、音声認識制御部112は、例えば、上記(2−1)に示す第1の例に係る音声認識制御処理や、上記(2−2)に示す第2の例に係る音声認識制御処理を行う。
また、音声認識制御部112は、判定部110において、ユーザが所定のオブジェクトを見たと判定した後に、ユーザが所定のオブジェクトを見ていないと判定された場合には、所定のオブジェクトを見たと判定されたユーザに対する音声認識を終了させる。
表示制御部114は、上記(3)の処理(表示制御処理)を主導的に行う役目を果たし、本実施形態に係る所定のオブジェクトを表示画面に表示させる。より具体的には、表示制御部114は、例えば、上記(3−1)に示す第1の例に係る表示制御処理や、上記(3−2)に示す第2の例に係る表示制御処理、上記(3−3)に示す第3の例に係る表示制御処理を行う。
制御部104は、例えば、判定部110、音声認識制御部112、および表示制御部114を備えることによって、本実施形態に係る情報処理方法に係る処理を主導的に行う。
情報処理装置100は、例えば図8に示す構成によって、本実施形態に係る情報処理方法に係る処理(例えば、上記(1)の処理(判定処理)〜上記(3)の処理(表示制御処理))を行う。
したがって、情報処理装置100は、例えば図8に示す構成によって、音声認識が行われる場合におけるユーザの利便性の向上を図ることができる。
また、例えば図8に示す構成によって、情報処理装置100は、例えば上述したような、本実施形態に係る情報処理方法に係る処理が行われることにより奏される効果を奏することができる。
なお、本実施形態に係る情報処理装置の構成は、図8に示す構成に限られない。
例えば、本実施形態に係る情報処理装置は、図8に示す判定部110、音声認識制御部112、および表示制御部114のうちの1または2以上を、制御部104とは個別に備える(例えば、個別の処理回路で実現する)ことができる。
また、本実施形態に係る情報処理装置は、例えば、図8に示す表示制御部114を備えない構成をとることも可能である。表示制御部114を備えない構成であっても、本実施形態に係る情報処理装置は、上記(1)の処理(判定処理)、および上記(2)の処理(音声認識制御処理)を行うことが可能である。よって、表示制御部114を備えない構成であっても、本実施形態に係る情報処理装置は、音声認識が行われる場合におけるユーザの利便性の向上を図ることができる。
また、例えば、通信部102と同様の機能、構成を有する外部の通信デバイスを介して、外部のデバイスや外部装置と通信を行う場合や、スタンドアロンで処理を行う構成である場合には、本実施形態に係る情報処理装置は、通信部102を備えていなくてもよい。
また、本実施形態に係る情報処理装置は、例えば、撮像デバイスで構成される撮像部(図示せず)を、さらに備えていてもよい。撮像部(図示せず)を備える場合には、本実施形態に係る情報処理装置は、例えば、撮像部(図示せず)において撮像により生成された撮像画像を処理して、ユーザの視線の位置に関する情報を得ることが可能となる。また、撮像部(図示せず)を備える場合には、本実施形態に係る情報処理装置は、例えば、撮像部(図示せず)において撮像により生成された撮像画像を用いたユーザの特定に係る処理を行うことや、当該撮像画像(または、撮像画像の一部)を、オブジェクトとして用いることも可能である。
また、本実施形態に係る情報処理装置は、例えば、ユーザの視線の位置の推定精度の向上に用いることが可能な検出値を得る任意のセンサで構成される検出部(図示せず)を、さらに備えていてもよい。検出部(図示せず)を備える場合には、本実施形態に係る情報処理装置は、例えば、検出部(図示せず)から得られるデータを用いて、ユーザの視線の位置の推定精度の向上を図ることが可能となる。
以上、本実施形態として、情報処理装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、テレビ受像機や、表示装置、タブレット型の装置、携帯電話やスマートフォンなどの通信装置、映像/音楽再生装置(または映像/音楽記録再生装置)、ゲーム機、PC(Personal Computer)などのコンピュータなど、様々な機器に適用することができる。また、本実施形態は、例えば、上記のような機器に組み込むことが可能な、処理IC(Integrated Circuit)に適用することもできる。
また、本実施形態は、例えばクラウドコンピューティングなどのように、ネットワークへの接続(または各装置間の通信)を前提とした、複数の装置からなるシステムにより実現されてもよい。つまり、上述した本実施形態に係る情報処理装置は、例えば、複数の装置からなる情報処理システムとして実現することも可能である。
(本実施形態に係るプログラム)
コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラム(例えば、“上記(1)の処理(判定処理)、および上記(2)の処理(音声認識制御処理)”や“上記(1)の処理(判定処理)〜(3)の処理(表示制御処理)”など、本実施形態に係る情報処理方法に係る処理を実行することが可能なプログラム)が、コンピュータにおいてプロセッサなどにより実行されることによって、音声認識が行われる場合におけるユーザの利便性の向上を図ることができる。
また、コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラムが、コンピュータにおいてプロセッサなどにより実行されることによって、上述した本実施形態に係る情報処理方法に係る処理によって奏される効果を奏することができる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記では、コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラム(コンピュータプログラム)が提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。
上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
表示画面におけるユーザの視線の位置に関する情報に基づいて、ユーザが所定のオブジェクトを見たかを判定する判定部と、
ユーザが所定のオブジェクトを見たと判定された場合に、音声認識処理を制御する音声認識制御部と、
を備える、情報処理装置。
(2)
前記音声認識制御部は、見たと判定された前記所定のオブジェクトに基づいて、認識する命令を動的に変えるよう制御する、(1)に記載の情報処理装置。
(3)
前記音声認識制御部は、見たと判定された前記所定のオブジェクトに対応する命令を認識するよう制御する、(1)、または(2)に記載の情報処理装置。
(4)
前記音声認識制御部は、見たと判定された前記所定のオブジェクトを含む表示画面における領域内に含まれる、他のオブジェクトに対応する命令を認識するよう制御する、(1)〜(3)のいずれか1つに記載の情報処理装置。
(5)
前記音声認識制御部は、
所定のオブジェクトを見たと判定されたユーザに対応するユーザの視線の位置に関する情報に基づいて、音源分離を行うことが可能な音声入力デバイスに、所定のオブジェクトを見たと判定されたユーザの位置から発せられる音声を示す音声信号を取得させ、
前記音声入力デバイスにより取得された音声信号に対して音声認識を行わせる、(1)〜(4)のいずれか1つに記載の情報処理装置。
(6)
前記音声認識制御部は、
所定のオブジェクトを見たと判定されたユーザに対応するユーザの視線の位置に関する情報に基づくユーザの位置と、音源定位を行うことが可能な音声入力デバイスが測定した音源の位置との差分が、設定された閾値以下の場合、または、
前記ユーザの位置と前記音源の位置との差分が、前記閾値より小さい場合に、
前記音声入力デバイスにより取得された音声を示す音声信号に対して音声認識を行わせる、(1)〜(4)のいずれか1つに記載の情報処理装置。
(7)
前記判定部は、ユーザの視線の位置に関する情報が示す視線の位置が、所定のオブジェクトを含む表示画面における第1領域内に含まれる場合に、ユーザが所定のオブジェクトを見たと判定する、(1)〜(6)のいずれか1つに記載の情報処理装置。
(8)
前記判定部が、ユーザが所定のオブジェクトを見たと判定した場合、
前記判定部は、所定のオブジェクトを見たと判定されたユーザに対応するユーザの視線の位置に関する情報が示す視線の位置が、所定のオブジェクトを含む表示画面における第2領域内に含まれなくなったときに、前記ユーザが所定のオブジェクトを見ていないと判定し、
前記音声認識制御部は、前記ユーザが所定のオブジェクトを見ていないと判定されたときに、前記ユーザに対する音声認識を終了させる、(1)〜(7)のいずれか1つに記載の情報処理装置。
(9)
前記判定部が、ユーザが所定のオブジェクトを見たと判定した場合、
前記判定部は、
所定のオブジェクトを見たと判定されたユーザに対応するユーザの視線の位置に関する情報が示す視線の位置が、所定のオブジェクトを含む表示画面における第2領域内に含まれない状態が、設定された設定時間以上継続するとき、または、
所定のオブジェクトを見たと判定されたユーザに対応するユーザの視線の位置に関する情報が示す視線の位置が前記第2領域内に含まれない状態が、前記設定時間より長く継続するときに、
前記ユーザが所定のオブジェクトを見ていないと判定し、
前記音声認識制御部は、前記ユーザが所定のオブジェクトを見ていないと判定されたときに、前記ユーザに対する音声認識を終了させる、(1)〜(7)のいずれか1つに記載の情報処理装置。
(10)
前記判定部は、所定のオブジェクトを見たと判定されたユーザに対応するユーザの視線の位置に関する情報が示す視線の位置の履歴に基づいて、前記設定時間を動的に設定する、(9)に記載の情報処理装置。
(11)
前記判定部は、一のユーザが所定のオブジェクトを見たと判定した後に、前記一のユーザが所定のオブジェクトを見ていないと判定されていない場合には、他のユーザが所定のオブジェクトを見たとは判定しない、(1)〜(10)のいずれか1つに記載の情報処理装置。
(12)
前記判定部は、
前記表示画面において画像が表示される方向が撮像された撮像画像に基づいてユーザを特定し、
特定されたユーザに対応するユーザの視線の位置に関する情報に基づいて、ユーザが所定のオブジェクトを見たかを判定する、(1)〜(11)のいずれか1つに記載の情報処理装置。
(13)
前記所定のオブジェクトを表示画面に表示させる表示制御部をさらに備える、(1)〜(12)のいずれか1つに記載の情報処理装置。
(14)
前記表示制御部は、前記ユーザの視線の位置に関する情報が示す視線の位置によらず、表示画面における設定されている位置に、前記所定のオブジェクトを表示させる、(13)に記載の情報処理装置。
(15)
前記表示制御部は、前記ユーザの視線の位置に関する情報に基づいて、前記所定のオブジェクトを選択的に表示させる、(13)に記載の情報処理装置。
(16)
前記表示制御部は、前記所定のオブジェクトを表示させる場合には、設定されている表示方法を用いて前記所定のオブジェクトを表示させる、(15)に記載の情報処理装置。
(17)
前記表示制御部は、前記所定のオブジェクトを表示させる場合には、前記ユーザの視線の位置に関する情報が示す視線の位置に基づいて、段階的に前記所定のオブジェクトを表示させる、(15)、または(16)に記載の情報処理装置。
(18)
前記表示制御部は、音声認識が行われている場合、前記所定のオブジェクトの表示態様を変える、(13)〜(17)のいずれか1つに記載の情報処理装置。
(19)
表示画面におけるユーザの視線の位置に関する情報に基づいて、ユーザが所定のオブジェクトを見たかを判定するステップと、
ユーザが所定のオブジェクトを見たと判定された場合に、音声認識処理を制御するステップと、
を有する、情報処理装置により実行される情報処理方法。
(20)
表示画面におけるユーザの視線の位置に関する情報に基づいて、ユーザが所定のオブジェクトを見たかを判定するステップ、
ユーザが所定のオブジェクトを見たと判定された場合に、音声認識処理を制御するステップ、
をコンピュータに実行させるためのプログラム。
100 情報処理装置
102 通信部
104 制御部
110 判定部
112 音声認識制御部
114 表示制御部

Claims (20)

  1. 表示画面におけるユーザの視線の位置に関する情報に基づいて、ユーザが所定のオブジェクトを見たかを判定する判定部と、
    ユーザが所定のオブジェクトを見たと判定された場合に、音声認識処理を制御する音声認識制御部と、
    を備える、情報処理装置。
  2. 前記音声認識制御部は、見たと判定された前記所定のオブジェクトに基づいて、認識する命令を動的に変えるよう制御する、請求項1に記載の情報処理装置。
  3. 前記音声認識制御部は、見たと判定された前記所定のオブジェクトに対応する命令を認識するよう制御する、請求項1に記載の情報処理装置。
  4. 前記音声認識制御部は、見たと判定された前記所定のオブジェクトを含む表示画面における領域内に含まれる、他のオブジェクトに対応する命令を認識するよう制御する、請求項1に記載の情報処理装置。
  5. 前記音声認識制御部は、
    所定のオブジェクトを見たと判定されたユーザに対応するユーザの視線の位置に関する情報に基づいて、音源分離を行うことが可能な音声入力デバイスに、所定のオブジェクトを見たと判定されたユーザの位置から発せられる音声を示す音声信号を取得させ、
    前記音声入力デバイスにより取得された音声信号に対して音声認識を行わせる、請求項1に記載の情報処理装置。
  6. 前記音声認識制御部は、
    所定のオブジェクトを見たと判定されたユーザに対応するユーザの視線の位置に関する情報に基づくユーザの位置と、音源定位を行うことが可能な音声入力デバイスが測定した音源の位置との差分が、設定された閾値以下の場合、または、
    前記ユーザの位置と前記音源の位置との差分が、前記閾値より小さい場合に、
    前記音声入力デバイスにより取得された音声を示す音声信号に対して音声認識を行わせる、請求項1に記載の情報処理装置。
  7. 前記判定部は、ユーザの視線の位置に関する情報が示す視線の位置が、所定のオブジェクトを含む表示画面における第1領域内に含まれる場合に、ユーザが所定のオブジェクトを見たと判定する、請求項1に記載の情報処理装置。
  8. 前記判定部が、ユーザが所定のオブジェクトを見たと判定した場合、
    前記判定部は、所定のオブジェクトを見たと判定されたユーザに対応するユーザの視線の位置に関する情報が示す視線の位置が、所定のオブジェクトを含む表示画面における第2領域内に含まれなくなったときに、前記ユーザが所定のオブジェクトを見ていないと判定し、
    前記音声認識制御部は、前記ユーザが所定のオブジェクトを見ていないと判定されたときに、前記ユーザに対する音声認識を終了させる、請求項1に記載の情報処理装置。
  9. 前記判定部が、ユーザが所定のオブジェクトを見たと判定した場合、
    前記判定部は、
    所定のオブジェクトを見たと判定されたユーザに対応するユーザの視線の位置に関する情報が示す視線の位置が、所定のオブジェクトを含む表示画面における第2領域内に含まれない状態が、設定された設定時間以上継続するとき、または、
    所定のオブジェクトを見たと判定されたユーザに対応するユーザの視線の位置に関する情報が示す視線の位置が前記第2領域内に含まれない状態が、前記設定時間より長く継続するときに、
    前記ユーザが所定のオブジェクトを見ていないと判定し、
    前記音声認識制御部は、前記ユーザが所定のオブジェクトを見ていないと判定されたときに、前記ユーザに対する音声認識を終了させる、請求項1に記載の情報処理装置。
  10. 前記判定部は、所定のオブジェクトを見たと判定されたユーザに対応するユーザの視線の位置に関する情報が示す視線の位置の履歴に基づいて、前記設定時間を動的に設定する、請求項9に記載の情報処理装置。
  11. 前記判定部は、一のユーザが所定のオブジェクトを見たと判定した後に、前記一のユーザが所定のオブジェクトを見ていないと判定されていない場合には、他のユーザが所定のオブジェクトを見たとは判定しない、請求項1に記載の情報処理装置。
  12. 前記判定部は、
    前記表示画面において画像が表示される方向が撮像された撮像画像に基づいてユーザを特定し、
    特定されたユーザに対応するユーザの視線の位置に関する情報に基づいて、ユーザが所定のオブジェクトを見たかを判定する、請求項1に記載の情報処理装置。
  13. 前記所定のオブジェクトを表示画面に表示させる表示制御部をさらに備える、請求項1に記載の情報処理装置。
  14. 前記表示制御部は、前記ユーザの視線の位置に関する情報が示す視線の位置によらず、表示画面における設定されている位置に、前記所定のオブジェクトを表示させる、請求項13に記載の情報処理装置。
  15. 前記表示制御部は、前記ユーザの視線の位置に関する情報に基づいて、前記所定のオブジェクトを選択的に表示させる、請求項13に記載の情報処理装置。
  16. 前記表示制御部は、前記所定のオブジェクトを表示させる場合には、設定されている表示方法を用いて前記所定のオブジェクトを表示させる、請求項15に記載の情報処理装置。
  17. 前記表示制御部は、前記所定のオブジェクトを表示させる場合には、前記ユーザの視線の位置に関する情報が示す視線の位置に基づいて、段階的に前記所定のオブジェクトを表示させる、請求項15に記載の情報処理装置。
  18. 前記表示制御部は、音声認識が行われている場合、前記所定のオブジェクトの表示態様を変える、請求項13に記載の情報処理装置。
  19. 表示画面におけるユーザの視線の位置に関する情報に基づいて、ユーザが所定のオブジェクトを見たかを判定するステップと、
    ユーザが所定のオブジェクトを見たと判定された場合に、音声認識処理を制御するステップと、
    を有する、情報処理装置により実行される情報処理方法。
  20. 表示画面におけるユーザの視線の位置に関する情報に基づいて、ユーザが所定のオブジェクトを見たかを判定するステップ、
    ユーザが所定のオブジェクトを見たと判定された場合に、音声認識処理を制御するステップ、
    をコンピュータに実行させるためのプログラム。
JP2013188220A 2013-09-11 2013-09-11 情報処理装置、情報処理方法、およびプログラム Active JP6221535B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013188220A JP6221535B2 (ja) 2013-09-11 2013-09-11 情報処理装置、情報処理方法、およびプログラム
US14/916,899 US20160217794A1 (en) 2013-09-11 2014-07-25 Information processing apparatus, information processing method, and program
PCT/JP2014/003947 WO2015037177A1 (en) 2013-09-11 2014-07-25 Information processing apparatus method and program combining voice recognition with gaze detection

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013188220A JP6221535B2 (ja) 2013-09-11 2013-09-11 情報処理装置、情報処理方法、およびプログラム

Publications (3)

Publication Number Publication Date
JP2015055718A true JP2015055718A (ja) 2015-03-23
JP2015055718A5 JP2015055718A5 (ja) 2016-02-12
JP6221535B2 JP6221535B2 (ja) 2017-11-01

Family

ID=51422116

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013188220A Active JP6221535B2 (ja) 2013-09-11 2013-09-11 情報処理装置、情報処理方法、およびプログラム

Country Status (3)

Country Link
US (1) US20160217794A1 (ja)
JP (1) JP6221535B2 (ja)
WO (1) WO2015037177A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017078893A (ja) * 2015-10-19 2017-04-27 株式会社コロプラ 仮想現実空間のオブジェクトと対話するための装置、方法、及びプログラム
WO2019087495A1 (ja) * 2017-10-30 2019-05-09 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2019518259A (ja) * 2016-03-07 2019-06-27 フェイスブック,インク. コンテンツを提示するためのシステムおよび方法
WO2019181218A1 (ja) * 2018-03-19 2019-09-26 ソニー株式会社 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
WO2019235229A1 (ja) * 2018-06-06 2019-12-12 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP2020510865A (ja) * 2017-02-27 2020-04-09 ブイタッチ・カンパニー・リミテッド 音声認識トリガーを提供するための方法、システムおよび非一過性のコンピュータ読み取り可能な記録媒体
JP2020075088A (ja) * 2018-09-05 2020-05-21 ネットマーブル・コーポレイション オーディオを視覚的に表現するインタフェースに基づいてゲームサービスを提供するゲームサービス提供サーバ及び方法
WO2020145071A1 (ja) 2019-01-07 2020-07-16 ソニー株式会社 情報処理装置および情報処理方法
WO2021039636A1 (ja) 2019-08-26 2021-03-04 ダイキン工業株式会社 空気調和システム、および、空気調和システムを用いた情報提供方法

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
EP4138075A1 (en) 2013-02-07 2023-02-22 Apple Inc. Voice trigger for a digital assistant
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
JP6412778B2 (ja) * 2014-11-19 2018-10-24 東芝映像ソリューション株式会社 映像装置、方法、およびプログラム
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10867606B2 (en) 2015-12-08 2020-12-15 Chian Chiu Li Systems and methods for performing task using simple code
JP2017134558A (ja) * 2016-01-27 2017-08-03 ソニー株式会社 情報処理装置、情報処理方法、およびプログラムを記録したコンピュータ読み取り可能な記録媒体
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US9811315B1 (en) 2017-01-03 2017-11-07 Chian Chiu Li Systems and methods for presenting location related information
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770429A1 (en) 2017-05-12 2018-12-14 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK201770411A1 (en) 2017-05-15 2018-12-20 Apple Inc. MULTI-MODAL INTERFACES
US20190066667A1 (en) * 2017-08-25 2019-02-28 Lenovo (Singapore) Pte. Ltd. Determining output receipt
US10327097B2 (en) 2017-10-02 2019-06-18 Chian Chiu Li Systems and methods for presenting location related information
US10768697B2 (en) 2017-11-02 2020-09-08 Chian Chiu Li System and method for providing information
CN108334272B (zh) * 2018-01-23 2020-08-21 维沃移动通信有限公司 一种控制方法及移动终端
US10540015B2 (en) 2018-03-26 2020-01-21 Chian Chiu Li Presenting location related information and implementing a task based on gaze and voice detection
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US10847159B1 (en) 2019-05-01 2020-11-24 Chian Chiu Li Presenting location related information and implementing a task based on gaze, gesture, and voice detection
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11386898B2 (en) 2019-05-27 2022-07-12 Chian Chiu Li Systems and methods for performing task using simple code
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11074040B2 (en) 2019-12-11 2021-07-27 Chian Chiu Li Presenting location related information and implementing a task based on gaze, gesture, and voice detection
US11237798B2 (en) * 2020-02-03 2022-02-01 Chian Chiu Li Systems and methods for providing information and performing task
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
CN116348922A (zh) * 2020-10-13 2023-06-27 谷歌有限责任公司 基于用户熟悉度终止执行图像分类

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07244556A (ja) * 1994-03-04 1995-09-19 Hitachi Ltd 情報端末
JPH10260773A (ja) * 1997-03-19 1998-09-29 Nippon Telegr & Teleph Corp <Ntt> 情報入力方法及びその装置
JPH1124694A (ja) * 1997-07-04 1999-01-29 Sanyo Electric Co Ltd 命令認識装置
JP2007310620A (ja) * 2006-05-18 2007-11-29 Sony Corp 情報処理装置、情報処理方法、及びプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001056017A1 (de) * 2000-01-27 2001-08-02 Siemens Aktiengesellschaft System und verfahren zur blickfokussierten sprachverarbeitung
US7219062B2 (en) * 2002-01-30 2007-05-15 Koninklijke Philips Electronics N.V. Speech activity detection using acoustic and facial characteristics in an automatic speech recognition system
US20060192775A1 (en) * 2005-02-25 2006-08-31 Microsoft Corporation Using detected visual cues to change computer system operating states
US9250703B2 (en) * 2006-03-06 2016-02-02 Sony Computer Entertainment Inc. Interface with gaze detection and voice input
US9606621B2 (en) * 2006-07-28 2017-03-28 Philips Lighting Holding B.V. Gaze interaction for information display of gazed items
JP2009064395A (ja) 2007-09-10 2009-03-26 Hiroshima Univ ポインティングデバイス、操作者の注視位置とカーソルの位置との誤差の補正をコンピュータに実行させるためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
KR101178801B1 (ko) * 2008-12-09 2012-08-31 한국전자통신연구원 음원분리 및 음원식별을 이용한 음성인식 장치 및 방법
US9108513B2 (en) * 2008-11-10 2015-08-18 Volkswagen Ag Viewing direction and acoustic command based operating device for a motor vehicle
US9443510B2 (en) * 2012-07-09 2016-09-13 Lg Electronics Inc. Speech recognition apparatus and method
US10359841B2 (en) * 2013-01-13 2019-07-23 Qualcomm Incorporated Apparatus and method for controlling an augmented reality device
CN105122353B (zh) * 2013-05-20 2019-07-09 英特尔公司 用于语音识别的计算装置和用于计算装置上的语音识别的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07244556A (ja) * 1994-03-04 1995-09-19 Hitachi Ltd 情報端末
JPH10260773A (ja) * 1997-03-19 1998-09-29 Nippon Telegr & Teleph Corp <Ntt> 情報入力方法及びその装置
JPH1124694A (ja) * 1997-07-04 1999-01-29 Sanyo Electric Co Ltd 命令認識装置
JP2007310620A (ja) * 2006-05-18 2007-11-29 Sony Corp 情報処理装置、情報処理方法、及びプログラム

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017078893A (ja) * 2015-10-19 2017-04-27 株式会社コロプラ 仮想現実空間のオブジェクトと対話するための装置、方法、及びプログラム
JP2019518259A (ja) * 2016-03-07 2019-06-27 フェイスブック,インク. コンテンツを提示するためのシステムおよび方法
JP2020510865A (ja) * 2017-02-27 2020-04-09 ブイタッチ・カンパニー・リミテッド 音声認識トリガーを提供するための方法、システムおよび非一過性のコンピュータ読み取り可能な記録媒体
WO2019087495A1 (ja) * 2017-10-30 2019-05-09 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2019181218A1 (ja) * 2018-03-19 2019-09-26 ソニー株式会社 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
WO2019235229A1 (ja) * 2018-06-06 2019-12-12 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP2020075088A (ja) * 2018-09-05 2020-05-21 ネットマーブル・コーポレイション オーディオを視覚的に表現するインタフェースに基づいてゲームサービスを提供するゲームサービス提供サーバ及び方法
US10987575B2 (en) 2018-09-05 2021-04-27 Netmarble Corporation Server and method for providing game service based on interface expressing audio visually
WO2020145071A1 (ja) 2019-01-07 2020-07-16 ソニー株式会社 情報処理装置および情報処理方法
WO2021039636A1 (ja) 2019-08-26 2021-03-04 ダイキン工業株式会社 空気調和システム、および、空気調和システムを用いた情報提供方法

Also Published As

Publication number Publication date
WO2015037177A1 (en) 2015-03-19
JP6221535B2 (ja) 2017-11-01
US20160217794A1 (en) 2016-07-28

Similar Documents

Publication Publication Date Title
JP6221535B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US10180718B2 (en) Information processing apparatus and information processing method
WO2015037310A1 (ja) 情報処理装置、および情報処理方法
JP6143975B1 (ja) 画像の取り込みを支援するためにハプティックフィードバックを提供するためのシステムおよび方法
US10438058B2 (en) Information processing apparatus, information processing method, and program
JP5829390B2 (ja) 情報処理装置、および情報処理方法
JP5625643B2 (ja) 情報処理装置、および情報処理方法
WO2015064165A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP5900161B2 (ja) 情報処理システム、方法およびコンピュータ読み取り可能な記録媒体
US11126389B2 (en) Controlling visual indicators in an audio responsive electronic device, and capturing and providing audio using an API, by native and non-native computing devices and services
TW201344597A (zh) 顯示裝置控制方法、控制器及多媒體系統
JP2015170175A (ja) 情報処理装置、および情報処理方法
US20150331598A1 (en) Display device and operating method thereof
US9921796B2 (en) Sharing of input information superimposed on images
JP2015005809A (ja) 情報処理装置、情報処理方法、およびプログラム
US10321008B2 (en) Presentation control device for controlling presentation corresponding to recognized target
JP2016109726A (ja) 情報処理装置、情報処理方法およびプログラム
WO2020132831A1 (en) Systems and methods for pairing devices using visual recognition
WO2019054037A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US11386870B2 (en) Information processing apparatus and information processing method
JP2014021893A (ja) 情報処理装置、操作信号生成方法、およびプログラム
JP2014209778A (ja) 情報処理装置および情報処理方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151215

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170330

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170918

R151 Written notification of patent or utility model registration

Ref document number: 6221535

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250