JP2015055718A5 - - Google Patents

Download PDF

Info

Publication number
JP2015055718A5
JP2015055718A5 JP2013188220A JP2013188220A JP2015055718A5 JP 2015055718 A5 JP2015055718 A5 JP 2015055718A5 JP 2013188220 A JP2013188220 A JP 2013188220A JP 2013188220 A JP2013188220 A JP 2013188220A JP 2015055718 A5 JP2015055718 A5 JP 2015055718A5
Authority
JP
Japan
Prior art keywords
user
predetermined object
sight
processing apparatus
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013188220A
Other languages
English (en)
Other versions
JP6221535B2 (ja
JP2015055718A (ja
Filing date
Publication date
Application filed filed Critical
Priority to JP2013188220A priority Critical patent/JP6221535B2/ja
Priority claimed from JP2013188220A external-priority patent/JP6221535B2/ja
Priority to PCT/JP2014/003947 priority patent/WO2015037177A1/en
Priority to US14/916,899 priority patent/US20160217794A1/en
Publication of JP2015055718A publication Critical patent/JP2015055718A/ja
Publication of JP2015055718A5 publication Critical patent/JP2015055718A5/ja
Application granted granted Critical
Publication of JP6221535B2 publication Critical patent/JP6221535B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

また、本実施形態に係る情報処理装置は、例えば、オブジェクトと命令(または、命令群)とが対応付けられているテーブル(または、データベース)と、判定された他のオブジェクトとに基づいて、他のオブジェクトに対応する命令(または、命令群)を特定する。本実施形態に係る情報処理装置は、例えば、上記テーブル(または、データベース)と、判定された所定のオブジェクトとに基づいて、判定された所定のオブジェクトに対応する命令(または、命令群)をさらに特定してもよい。そして、本実施形態に係る情報処理装置は、取得された音声信号から、特定された命令を認識することによって、他のオブジェクトに対応する命令(または、さらに所定のオブジェクトに対応する命令)を認識する。
また、情報処理装置100は、例えば、スタンドアロンで処理を行う構成である場合には、通信インタフェース164を備えていなくてもよい。また、情報処理装置100は、記媒体156や、操作デバイス160、表示デバイス162を備えない構成をとることも可能である。

Claims (20)

  1. 表示画面におけるユーザの視線の位置に関する情報に基づいて、ユーザが所定のオブジェクトを見たかを判定する判定部と、
    ユーザが所定のオブジェクトを見たと判定された場合に、音声認識処理を制御する音声認識制御部と、
    を備える、情報処理装置。
  2. 前記音声認識制御部は、見たと判定された前記所定のオブジェクトに基づいて、認識する命令を動的に変えるよう制御する、請求項1に記載の情報処理装置。
  3. 前記音声認識制御部は、見たと判定された前記所定のオブジェクトに対応する命令を認識するよう制御する、請求項1、または2に記載の情報処理装置。
  4. 前記音声認識制御部は、見たと判定された前記所定のオブジェクトを含む表示画面における領域内に含まれる、他のオブジェクトに対応する命令を認識するよう制御する、請求項1〜3のいずれか1項に記載の情報処理装置。
  5. 前記音声認識制御部は、
    所定のオブジェクトを見たと判定されたユーザに対応するユーザの視線の位置に関する情報に基づいて、音源分離を行うことが可能な音声入力デバイスに、所定のオブジェクトを見たと判定されたユーザの位置から発せられる音声を示す音声信号を取得させ、
    前記音声入力デバイスにより取得された音声信号に対して音声認識を行わせる、請求項1〜4のいずれか1項に記載の情報処理装置。
  6. 前記音声認識制御部は、
    所定のオブジェクトを見たと判定されたユーザに対応するユーザの視線の位置に関する情報に基づくユーザの位置と、音源定位を行うことが可能な音声入力デバイスが測定した音源の位置との差分が、設定された閾値以下の場合、または、
    前記ユーザの位置と前記音源の位置との差分が、前記閾値より小さい場合に、
    前記音声入力デバイスにより取得された音声を示す音声信号に対して音声認識を行わせる、請求項1〜4のいずれか1項に記載の情報処理装置。
  7. 前記判定部は、ユーザの視線の位置に関する情報が示す視線の位置が、所定のオブジェクトを含む表示画面における第1領域内に含まれる場合に、ユーザが所定のオブジェクトを見たと判定する、請求項1〜6のいずれか1項に記載の情報処理装置。
  8. 前記判定部が、ユーザが所定のオブジェクトを見たと判定した場合、
    前記判定部は、所定のオブジェクトを見たと判定されたユーザに対応するユーザの視線の位置に関する情報が示す視線の位置が、所定のオブジェクトを含む表示画面における第2領域内に含まれなくなったときに、前記ユーザが所定のオブジェクトを見ていないと判定し、
    前記音声認識制御部は、前記ユーザが所定のオブジェクトを見ていないと判定されたときに、前記ユーザに対する音声認識を終了させる、請求項1〜7のいずれか1項に記載の情報処理装置。
  9. 前記判定部が、ユーザが所定のオブジェクトを見たと判定した場合、
    前記判定部は、
    所定のオブジェクトを見たと判定されたユーザに対応するユーザの視線の位置に関する情報が示す視線の位置が、所定のオブジェクトを含む表示画面における第2領域内に含まれない状態が、設定された設定時間以上継続するとき、または、
    所定のオブジェクトを見たと判定されたユーザに対応するユーザの視線の位置に関する情報が示す視線の位置が前記第2領域内に含まれない状態が、前記設定時間より長く継続するときに、
    前記ユーザが所定のオブジェクトを見ていないと判定し、
    前記音声認識制御部は、前記ユーザが所定のオブジェクトを見ていないと判定されたときに、前記ユーザに対する音声認識を終了させる、請求項1〜7のいずれか1項に記載の情報処理装置。
  10. 前記判定部は、所定のオブジェクトを見たと判定されたユーザに対応するユーザの視線の位置に関する情報が示す視線の位置の履歴に基づいて、前記設定時間を動的に設定する、請求項9に記載の情報処理装置。
  11. 前記判定部は、一のユーザが所定のオブジェクトを見たと判定した後に、前記一のユーザが所定のオブジェクトを見ていないと判定されていない場合には、他のユーザが所定のオブジェクトを見たとは判定しない、請求項1〜10のいずれか1項に記載の情報処理装置。
  12. 前記判定部は、
    前記表示画面において画像が表示される方向が撮像された撮像画像に基づいてユーザを特定し、
    特定されたユーザに対応するユーザの視線の位置に関する情報に基づいて、ユーザが所定のオブジェクトを見たかを判定する、請求項1〜11のいずれか1項に記載の情報処理装置。
  13. 前記所定のオブジェクトを表示画面に表示させる表示制御部をさらに備える、請求項1〜12のいずれか1項に記載の情報処理装置。
  14. 前記表示制御部は、前記ユーザの視線の位置に関する情報が示す視線の位置によらず、表示画面における設定されている位置に、前記所定のオブジェクトを表示させる、請求項13に記載の情報処理装置。
  15. 前記表示制御部は、前記ユーザの視線の位置に関する情報に基づいて、前記所定のオブジェクトを選択的に表示させる、請求項13に記載の情報処理装置。
  16. 前記表示制御部は、前記所定のオブジェクトを表示させる場合には、設定されている表示方法を用いて前記所定のオブジェクトを表示させる、請求項15に記載の情報処理装置。
  17. 前記表示制御部は、前記所定のオブジェクトを表示させる場合には、前記ユーザの視線の位置に関する情報が示す視線の位置に基づいて、段階的に前記所定のオブジェクトを表示させる、請求項15、または16に記載の情報処理装置。
  18. 前記表示制御部は、音声認識が行われている場合、前記所定のオブジェクトの表示態様を変える、請求項13〜17のいずれか1項に記載の情報処理装置。
  19. 表示画面におけるユーザの視線の位置に関する情報に基づいて、ユーザが所定のオブジェクトを見たかを判定するステップと、
    ユーザが所定のオブジェクトを見たと判定された場合に、音声認識処理を制御するステップと、
    を有する、情報処理装置により実行される情報処理方法。
  20. 表示画面におけるユーザの視線の位置に関する情報に基づいて、ユーザが所定のオブジェクトを見たかを判定するステップ、
    ユーザが所定のオブジェクトを見たと判定された場合に、音声認識処理を制御するステップ、
    をコンピュータに実行させるためのプログラム。
JP2013188220A 2013-09-11 2013-09-11 情報処理装置、情報処理方法、およびプログラム Expired - Fee Related JP6221535B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013188220A JP6221535B2 (ja) 2013-09-11 2013-09-11 情報処理装置、情報処理方法、およびプログラム
PCT/JP2014/003947 WO2015037177A1 (en) 2013-09-11 2014-07-25 Information processing apparatus method and program combining voice recognition with gaze detection
US14/916,899 US20160217794A1 (en) 2013-09-11 2014-07-25 Information processing apparatus, information processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013188220A JP6221535B2 (ja) 2013-09-11 2013-09-11 情報処理装置、情報処理方法、およびプログラム

Publications (3)

Publication Number Publication Date
JP2015055718A JP2015055718A (ja) 2015-03-23
JP2015055718A5 true JP2015055718A5 (ja) 2016-02-12
JP6221535B2 JP6221535B2 (ja) 2017-11-01

Family

ID=51422116

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013188220A Expired - Fee Related JP6221535B2 (ja) 2013-09-11 2013-09-11 情報処理装置、情報処理方法、およびプログラム

Country Status (3)

Country Link
US (1) US20160217794A1 (ja)
JP (1) JP6221535B2 (ja)
WO (1) WO2015037177A1 (ja)

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
DE112014000709B4 (de) 2013-02-07 2021-12-30 Apple Inc. Verfahren und vorrichtung zum betrieb eines sprachtriggers für einen digitalen assistenten
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
JP6412778B2 (ja) * 2014-11-19 2018-10-24 東芝映像ソリューション株式会社 映像装置、方法、およびプログラム
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
JP6273243B2 (ja) * 2015-10-19 2018-01-31 株式会社コロプラ 仮想現実空間のオブジェクトと対話するための装置、方法、及びプログラム
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10867606B2 (en) 2015-12-08 2020-12-15 Chian Chiu Li Systems and methods for performing task using simple code
JP2017134558A (ja) * 2016-01-27 2017-08-03 ソニー株式会社 情報処理装置、情報処理方法、およびプログラムを記録したコンピュータ読み取り可能な記録媒体
US10824320B2 (en) * 2016-03-07 2020-11-03 Facebook, Inc. Systems and methods for presenting content
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US9811315B1 (en) 2017-01-03 2017-11-07 Chian Chiu Li Systems and methods for presenting location related information
KR101893768B1 (ko) * 2017-02-27 2018-09-04 주식회사 브이터치 음성 인식 트리거를 제공하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK201770427A1 (en) 2017-05-12 2018-12-20 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770411A1 (en) 2017-05-15 2018-12-20 Apple Inc. MULTI-MODAL INTERFACES
US20190066667A1 (en) * 2017-08-25 2019-02-28 Lenovo (Singapore) Pte. Ltd. Determining output receipt
US10327097B2 (en) 2017-10-02 2019-06-18 Chian Chiu Li Systems and methods for presenting location related information
JPWO2019087495A1 (ja) * 2017-10-30 2020-12-10 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US10768697B2 (en) 2017-11-02 2020-09-08 Chian Chiu Li System and method for providing information
CN108334272B (zh) * 2018-01-23 2020-08-21 维沃移动通信有限公司 一种控制方法及移动终端
US20210020179A1 (en) * 2018-03-19 2021-01-21 Sony Corporation Information processing apparatus, information processing system, information processing method, and program
US10540015B2 (en) 2018-03-26 2020-01-21 Chian Chiu Li Presenting location related information and implementing a task based on gaze and voice detection
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
JP2021144259A (ja) * 2018-06-06 2021-09-24 ソニーグループ株式会社 情報処理装置および方法、並びにプログラム
KR102022604B1 (ko) 2018-09-05 2019-11-04 넷마블 주식회사 주변 오디오를 시각적 표현하는 인터페이스에 기초하여 게임 서비스를 제공하는 게임 서비스 제공 서버 및 방법
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
JPWO2020145071A1 (ja) 2019-01-07 2021-11-18 ソニーグループ株式会社 情報処理装置および情報処理方法
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US10847159B1 (en) 2019-05-01 2020-11-24 Chian Chiu Li Presenting location related information and implementing a task based on gaze, gesture, and voice detection
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11386898B2 (en) 2019-05-27 2022-07-12 Chian Chiu Li Systems and methods for performing task using simple code
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
JP6947205B2 (ja) 2019-08-26 2021-10-13 ダイキン工業株式会社 空気調和システム、および、空気調和システムを用いた情報提供方法
US11074040B2 (en) 2019-12-11 2021-07-27 Chian Chiu Li Presenting location related information and implementing a task based on gaze, gesture, and voice detection
US11237798B2 (en) * 2020-02-03 2022-02-01 Chian Chiu Li Systems and methods for providing information and performing task
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
CN116348922A (zh) * 2020-10-13 2023-06-27 谷歌有限责任公司 基于用户熟悉度终止执行图像分类
US12021806B1 (en) 2021-09-21 2024-06-25 Apple Inc. Intelligent message delivery

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07244556A (ja) * 1994-03-04 1995-09-19 Hitachi Ltd 情報端末
JPH10260773A (ja) * 1997-03-19 1998-09-29 Nippon Telegr & Teleph Corp <Ntt> 情報入力方法及びその装置
JPH1124694A (ja) * 1997-07-04 1999-01-29 Sanyo Electric Co Ltd 命令認識装置
ES2231448T3 (es) * 2000-01-27 2005-05-16 Siemens Aktiengesellschaft Sistema y procedimiento para el procesamiento de voz enfocado a la vision.
US7219062B2 (en) * 2002-01-30 2007-05-15 Koninklijke Philips Electronics N.V. Speech activity detection using acoustic and facial characteristics in an automatic speech recognition system
US20060192775A1 (en) * 2005-02-25 2006-08-31 Microsoft Corporation Using detected visual cues to change computer system operating states
US9250703B2 (en) * 2006-03-06 2016-02-02 Sony Computer Entertainment Inc. Interface with gaze detection and voice input
JP4162015B2 (ja) * 2006-05-18 2008-10-08 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
EP2049972B1 (en) * 2006-07-28 2019-06-05 Signify Holding B.V. Gaze interaction for information display of gazed items
JP2009064395A (ja) 2007-09-10 2009-03-26 Hiroshima Univ ポインティングデバイス、操作者の注視位置とカーソルの位置との誤差の補正をコンピュータに実行させるためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
KR101178801B1 (ko) * 2008-12-09 2012-08-31 한국전자통신연구원 음원분리 및 음원식별을 이용한 음성인식 장치 및 방법
US9108513B2 (en) * 2008-11-10 2015-08-18 Volkswagen Ag Viewing direction and acoustic command based operating device for a motor vehicle
KR102206383B1 (ko) * 2012-07-09 2021-01-22 엘지전자 주식회사 음성 인식 장치 및 그 방법
US10359841B2 (en) * 2013-01-13 2019-07-23 Qualcomm Incorporated Apparatus and method for controlling an augmented reality device
CN109584868B (zh) * 2013-05-20 2022-12-13 英特尔公司 用于虚拟个人助理系统的自然人-计算机交互

Similar Documents

Publication Publication Date Title
JP2015055718A5 (ja)
JP2015520884A5 (ja)
EP2891955B1 (en) In-vehicle gesture interactive spatial audio system
KR102180961B1 (ko) 입력 처리 방법 및 그 전자 장치
US20170229121A1 (en) Information processing device, method of information processing, and program
EP3101882A3 (en) Display device and controlling method thereof
RU2016116990A (ru) Устройство обработки информации, способ обработки информации и программа
RU2014149214A (ru) Устройство обработки изображения, способ обработки изображения и программа
JP2017059062A5 (ja)
JP2013021409A5 (ja)
JP2014095766A5 (ja)
JP2017119508A5 (ja)
JP2019039988A5 (ja)
JP2015142181A5 (ja)
EP2620863A3 (en) Intelligent gesture-based user&#39;s instantaneous interaction and task requirements recognition system and method
EP2759924A3 (en) Information processing apparatus, information processing system, display control method, and display control program
JP2009260632A5 (ja)
JP2015043209A5 (ja)
JP2013246743A5 (ja) 情報処理システム、方法およびコンピュータ読み取り可能な記録媒体
EP2712167A3 (en) Image processing apparatus, operation standardization method, and computer-readable recording medium encoded with operation standardization program
EP3300377A3 (en) Display apparatus, control apparatus, and operating methods thereof
RU2018118363A (ru) Способы обнаружения и управления опорным маркером, отображаемым на устройстве отображения
RU2017109649A (ru) Терминал и способ обработки медиафайла
JP2014007672A5 (ja) 画像表示制御装置、画像表示制御装置の制御方法、画像表示制御システム、およびプログラム
US20170316240A1 (en) Controlling the output of contextual information using a computing device