CN108028957A - 信息处理装置、信息处理方法和程序 - Google Patents

信息处理装置、信息处理方法和程序 Download PDF

Info

Publication number
CN108028957A
CN108028957A CN201680055269.7A CN201680055269A CN108028957A CN 108028957 A CN108028957 A CN 108028957A CN 201680055269 A CN201680055269 A CN 201680055269A CN 108028957 A CN108028957 A CN 108028957A
Authority
CN
China
Prior art keywords
user
information
speech
people
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680055269.7A
Other languages
English (en)
Other versions
CN108028957B (zh
Inventor
安田亮平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN108028957A publication Critical patent/CN108028957A/zh
Application granted granted Critical
Publication of CN108028957B publication Critical patent/CN108028957B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M11/00—Telephonic communication systems specially adapted for combination with other electrical systems
    • H04M11/06—Simultaneous speech and data transmission, e.g. telegraphic transmission over the same conductors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1083—Reduction of ambient noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/07—Use of position data from wide-area or local-area positioning systems in hearing devices, e.g. program or information selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/033—Headphones for stereophonic communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Headphones And Earphones (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Telephonic Communication Services (AREA)

Abstract

[目的]为了通过指定指示对用户讲话的周围人的动作的讲话动作信息来改进用户与同该用户讲话的人之间的通信，其中，对于该用户，来自周围的信息在听觉上或视觉上被限制。[解决方案]一种信息处理装置，包括：检测单元，其被配置成检测对使用在听觉上或视觉上限制来自周围的信息的装置的用户讲话的周围人的讲话动作；以及指定单元，其被配置成在讲话动作被检测到的情况下基于监测出的周围信息来指定指示讲话动作的讲话动作信息。

Description

信息处理装置、信息处理方法和程序
技术领域
本公开内容涉及信息处理装置、信息处理方法和程序。
背景技术
近年来，具有噪音消除功能的头戴式耳机装置或插入式耳机装置或头戴式显示器(HMD)装置已经变得普遍。对于使用这样的装置的用户来说，来自周围的信息在听觉上或视觉上受到阻挡，并且因此容易体验到沉浸感。另一方面，使用这样的装置的用户可以享受沉浸感，但是不能容易地理解周围人所说。
就这一点而言，在专利文献1中公开了基于指示用户的外部情况的外部信息来确定向用户通知外部信息的必要程度并且基于所确定的必要程度来切换向用户通知外部信息的状态的技术。根据这样的技术，穿戴有屏蔽型HMD装置的用户可以更平滑地与外部人员进行通信。
引用列表
专利文献
专利文献1：WO 2014/156388
发明内容
技术问题
然而，根据专利文献1中公开的技术，根据向用户通知外部信息的必要程度来将外部图像信息或声音信息显示或输出给用户，但是图像信息或声音信息不是从对用户讲话的时间点显示或输出的。周围的人可能面向与用户所在的方向不同的方向，或者在对用户讲话之后离开用户。在这种情况下，尽管显示或输出了外部图像信息或声音信息，但是用户可能不能注意到讲话的人。然而，如果可以指定当周围的人对用户讲话时讲话的人的行为，则预期将进一步改进用户与对用户讲话的人之间的通信。
就这一点而言，本公开内容提出一种信息处理装置、信息处理方法和程序，所述信息处理装置、信息处理方法和程序是新颖且改进的并且能够通过指定指示对来自周围的信息在听觉或视觉上受到限制的用户讲话的周围人的动作的讲话动作信息来改进用户与对用户讲话的人之间的通信。问题解决方案
根据本公开内容，提供一种信息处理装置，该装置包括：检测单元，其被配置成检测对使用在听觉上或视觉上限制来自周围的信息的装置的用户讲话的周围人的讲话动作；以及指定单元，其被配置成在讲话动作被检测到的情况下基于监测出的周围信息来指定指示讲话动作的讲话动作信息。
此外，根据本公开内容，提供一种信息处理方法，该方法包括：检测对使用在听觉上或视觉上限制来自周围的信息的装置的用户讲话的周围人的讲话动作；并且在检测到讲话动作的情况下基于检测的周围信息来指定指示讲话动作的讲话动作信息。
此外，根据本公开内容，提供一种程序，该程序使计算机执行以下功能：检测对使用在听觉上或视觉上限制来自周围的信息的装置的用户讲话的周围人的讲话动作的功能；以及在检测到讲话动作的情况下基于检测的周围信息来指定指示讲话动作的讲话动作信息的功能。
本发明的有益效果
如以上所描述的，根据本公开内容，可以通过指定指示对来自周围的信息在听觉上或视觉上受到限制的用户讲话的周围人的动作的讲话动作信息来改进用户与对用户讲话的人之间的通信。
注意，以上描述的效果不一定是限制性的。利用或代替以上效果，可以实现本说明书中描述的效果中的任何一种效果或者可以从本说明书中理解的其他效果。
附图说明
图1是示出根据第一实施例的信息处理系统的使用状态的说明图。
图2是示出根据实施例的信息处理系统的配置的示例的功能框图。
图3是示出根据实施例的信息处理装置的集成控制单元的配置的示例的功能框图。
图4是示出确定人是否正在看用户的方法的示例的说明图。
图5是示出由指定单元指定的讲话动作信息的列表的图。
图6是示出使图像显示改变的示例的说明图。
图7是通过图标指示讲话人面对的方向的说明图。
图8是通过雷达图指示讲话人面对的方向的说明图。
图9是示出雷达图的另一示例的说明图。
图10是示出显示话语内容的文本消息的示例的说明图。
图11是示出根据实施例的由信息处理装置执行的处理的流程图。
图12是示出声音信息时移再现处理的说明图。
图13是示出声音信息时移再现处理的流程图。
图14是示出根据实施例的第一修改示例的信息处理装置的集成控制单元的配置的示例的功能框图。
图15是示出讲话历史信息的示例的说明图。
图16是示出再现运动图像场景的示例的说明图。
图17是示出根据实施例的第二修改示例的信息处理装置的集成控制单元的配置的示例的功能框图。
图18是示出向周围人通知下述状态的示例的说明图，在所述状态中，允许对用户的通知操作。
图19是示出向周围人通知下述状态的示例的说明图，在所述状态中，禁止对用户的通知操作。
图20是示出向周围人通知用户的状态的示例的说明图。
图21是示出根据实施例的第四修改示例的信息处理系统的使用状态的说明图。
图22是示出根据实施例的第四修改示例的信息处理系统的配置的示例的功能框图。
图23是示出根据第二实施例的信息处理系统的配置的示例的功能框图。
具体实施方式
在下文中，将参照附图来详细描述本公开内容的(一个或多个)优选实施例。注意，在本说明书和附图中，用相同的附图标记表示具有基本上相同的功能和结构的结构要素，并且省略对这些结构要素的重复说明。
另外，将按照以下顺序进行描述。
1.第一实施例
1-1.信息处理系统的概述
1-2.信息处理系统的配置
1-3.信息处理装置
1-4.由装置执行的处理
1-5.第一实施例的结论
1-6.修改的示例
2.第二实施例
3.第三实施例
<<1.第一实施例>>
<1-1.信息处理系统概述>
首先，将描述根据本公开内容的第一实施例的包括信息处理装置110的信息处理系统的总体概述。图1是示出根据本实施例的信息处理系统的使用状态的说明图。在该信息处理系统中，使用成像单元10a和10b以及声音收集单元(未示出)来监测穿戴有在听觉上或视觉上限制来自周围的信息的装置(在下文中也被称为“沉浸式感觉装置”)的用户A所在的空间的图像和声音。此处，将具有噪声消除功能的头戴式耳机装置30和HMD装置100示出为沉浸式感觉装置。
另外，例如，在检测到对用户A讲话的周围人X的动作的情况下，HMD装置100的信息处理装置110基于正被监测的图像信息和声音信息来指定指示讲话动作的信息(在下文中被称为“讲话动作信息”)。然后，信息处理装置110基于指定的讲话动作信息来控制HMD装置100和头戴式耳机装置30中的至少一个，以便给出指示周围人正在对用户A讲话的通知。相应地，具有沉浸体验的用户A可以识别来自周围人的讲话动作。
另外，在下文中，由成像装置等捕获的用户A周围的图像也被称为“周围图像”，并且由声音收集单元等收集的用户A周围的声音也被称为“周围声音”。另外，作为指示讲话动作的信息的“讲话动作信息”是由安装在用户A所在的空间中的各种类型的装置检测的，并且指示当能够由信息处理装置110获取的信息当中的包括当在用户A附近的人X、Y或Z正在对用户A讲话时的动作或话语的信息。
<1-2.信息处理系统的配置>
接下来，将描述根据本实施例的信息处理系统的配置的示例。图2是示出信息处理系统的配置的示例的功能框图。根据本实施例的信息处理系统包括成像装置10、头戴式耳机装置30以及HMD装置100。
[1-2-1.成像装置]
成像装置10包括成像单元10a和10b、控制单元12以及通信单元14，并且监测穿戴有沉浸式感觉装置的用户A周围的区域。通信单元14与HMD装置100的信息处理装置110通信。具体地，通信单元14将从控制单元12提供的视线信息传送至信息处理装置110。信息处理装置110使用视线信息来确定在用户A附近是否存在面向用户A的方向的人。
控制单元12控制成像装置10的操作。具体地，控制单元12指示成像单元10a和10b以预设的时间间隔捕获图像，并且基于作为通过成像单元10a和10b的成像获得的周围图像的信息的周围图像信息来生成视线信息。然后，控制单元12使通信单元14将所生成的视线信息随周围图像信息一起传送至信息处理装置110。例如，控制单元12通过分析从成像单元10a和10b提供的周围图像中包括的人来检测人的视线，并且生成指示检测到的视线的视线信息。另外，为了检测视线，例如，使用诸如基于人体的虹膜或瞳孔的位置或者头部的移动等的视线检测技术之类的一般技术。
成像单元10a和10b基于来自控制单元12的指示来执行成像。具体地，成像单元10a和10b以运动图像或静止图像的格式来对用户A周围的区域进行成像，并且向控制单元12提供通过成像获得的周围图像。例如，成像单元10a和10b可以包括诸如收集光的摄像镜头和变焦镜头之类的成像光学系统以及诸如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)之类的信号转换元件。另外，成像单元10a和10b可以是红外(IR)相机，或者可以是可见光相机和IR相机的组合。
本实施例的信息处理系统包括两个成像单元10a和10b，但是成像单元的数目不限于两个。可以使用单个成像单元，或者可以使用两个或更多个成像单元。另外，成像单元10a和10b可以被固定在墙壁等上，或者可以是移动型的。在这种情况下，移动型成像单元可以包括穿戴在用户A或周围人X、Y或Z的头部等上的相机。
另外，控制单元12可以基于由成像单元10a和10b获得的周围图像信息来检测在用户A附近的人X、Y或Z的面对方向而不是视线，并且将面对方向信息与周围图像信息一起传送至信息处理装置110。为了检测面对方向，例如，使用诸如基于面部的构成要素的特征点的面对方向检测技术之类的一般技术。
[1-2-2.沉浸式感觉装置]
用作沉浸式感觉装置的HMD装置100在对于穿戴有具有类似护目镜的形状的显示装置50的用户A来说来自周围的信息受到视觉限制的状态下在用户A的眼前显示各种类型的视觉信息。同时，用户A可以在来自周围的信息受到听觉限制的状态下通过穿戴头戴式耳机装置30并且观看作为提供的内容的声音的内容声音而具有沉浸体验。HMD装置100包括显示装置50和信息处理装置110。
显示装置50包括位于类似护目镜的形状的内部并且面向用户A的正面的图像显示单元52以及定位于类似护目镜的形状的外部并且面向用户A的脸的相反侧的外部通知单元56。例如，图像显示单元52由信息处理装置110控制，包括安装在与用户A的右眼和左眼相对应的位置处的两个显示屏，并且能够向用户A提供三维图像(3D图像)。
用户A可以参考图像显示单元52的显示画面来欣赏作为例如电影或视频游戏之类的内容的图像的内容图像。另外，在检测到对用户A讲话的在用户A附近的人的动作的情况下，图像显示单元52显示要给予用户A的通知。另外，图像显示单元52可以包括单个显示屏。
外部通知单元56将信息呈现给在用户A附近的人。外部通知单元56不限于图像信息的显示，并且可以依据例如发光二极管(LED)之类的照明光的发光状态来向周围人呈现信息。另外，在本实施例的系统中，HMD装置100的显示装置50可以不包括外部通知单元56。
信息处理装置110整体地控制HMD装置100和连接至HMD装置100的头戴式耳机装置30。信息处理装置110包括通信单元112、存储单元114以及集成控制单元120。
通信单元112与成像装置10、显示装置50以及头戴式耳机装置30通信。具体地，通信单元112从成像装置10接收视线信息和周围图像信息，并且从头戴式耳机装置30接收作为周围声音的信息的周围声音信息。周围图像信息和周围声音信息是用于监测用户A所在的空间的周围信息的示例。另外，通信单元112将图像信息或驱动信号传送到显示装置50，并且将声音信息传送至头戴式耳机装置30。由通信单元112执行的通信可以是有线通信或无线通信。
存储单元114存储与集成控制单元120的控制处理有关的信息。具体地，存储单元114存储所接收的视线信息、周围图像信息、周围声音信息、要被显示在显示装置50上的图像信息等。存储单元114可以是例如随机存取存储器(RAM)之类的存储元件。另外，信息处理装置110可以包括存储由集成控制单元120执行的软件程序、用于各种类型的控制处理的参数等或者要被提供给用户A的各种内容的数据的存储装置(未示出)。
集成控制单元120基于所接收的视线信息、周围图像信息或周围声音信息来执行检测对用户A讲话的在用户A附近的人的动作的处理。另外，在检测到对用户A讲话的动作的情况下，集成控制单元120基于监测出的周围信息来指定讲话动作信息，并且执行向用户A给出指示对用户A讲话的通知的各种类型的处理。稍后将描述集成控制单元120的具体功能配置。
[1-2-3.头戴式耳机装置]
用作沉浸式感觉装置的头戴式耳机装置30被连接至HMD装置100，并且输出HMD装置100的操作声音或作为与提供的内容相关联的声音的内容声音。头戴式耳机装置30可以具有噪声消除功能。输出声音的装置不限于头戴式耳机装置30，并且可以是例如插入式耳机装置。头戴式耳机装置30包括声音输出单元34、声音收集单元32、控制单元36以及通信单元38。
通信单元38与HMD装置100的信息处理装置110通信。具体地，通信单元38接收从信息处理装置110提供的例如内容声音或操作声音之类的声音信息。另外，通信单元38将由声音收集单元32收集的周围声音信息传送至信息处理装置110。周围声音信息被用在信息处理装置110中以确定周围人是否正在对用户A讲话。
声音输出单元34由控制单元36控制，并且输出内容声音、操作声音等。另外，在检测到对用户A讲话的在用户A附近的人的动作的情况下，声音输出单元34向用户A给出声音通知。声音收集单元32收集用于监测用户A周围的区域的声音并且将周围声音信号提供至控制单元36。声音收集单元32可以包括例如至少两个麦克风并且被安装在与双耳、头带等对应的扬声器箱中。可以用多个麦克风收集周围的声音，并且通过声源定位处理来估计声源的位置。
控制单元36使通信单元38将周围声音信号传送至信息处理装置110。另外，控制单元36基于从信息处理装置110传送的内容声音或操作声音的信息来使声音输出单元34输出声音。例如，在输出内容声音时，控制单元36执行噪声消除控制，使得用户A难以听到周围的声音。例如，控制单元36可以将由声音收集单元32收集的周围声音的波长相对于与从信息处理装置110传送的声音信息相对应的波长反转，使波长被叠加，并且使得到的声音被从声音输出单元34输出。相应地，用户A难以听到周围的声音，并且用户A容易具有沉浸感。
另外，在本实施例中，声音收集单元32是头戴式耳机装置30的部件，但是声音收集单元32可以安装在HMD装置100的显示装置50中。可替选地，声音收集单元32可以作为独立于HMD装置100或头戴式耳机装置30的装置直接连接至信息处理装置110。另外，可以省略头戴式耳机装置30的控制单元36，并且HMD装置100的信息处理装置110可以具有控制单元36的功能。
另外，可以将在HMD装置100的显示装置50中安装的外部通知单元56安装在头戴式耳机装置30中。可替选地，除了HMD装置100的显示装置50的外部通知单元56之外，外部通知单元还可以被安装在头戴式耳机装置30中。在外部通知单元被安装在头戴式耳机装置30中的情况下，例如，可以将外部通知单元安装在与左耳和右耳对应的扬声器箱的外表面上或者安装在连接至扬声器箱的头带中。
<1-3.信息处理装置>
接下来，将详细描述信息处理装置110的具体配置示例。图3是示出信息处理装置110的集成控制单元120的配置的示例的功能框图。在信息处理装置110中，集成控制单元120包括检测单元122、指定单元124、内部通知控制单元126以及禁止处理单元128。具体地，所述单元是当由CPU执行软件程序时实现的功能单元。
[1-3-1.检测单元]
检测单元122基于视线信息、周围图像信息或周围声音信息来检测对用户A讲话的在用户A附近的人的动作。具体地，检测单元122可以在周围人面向用户A的方向时确定该周围人讲话的情况下检测到对用户A讲话。例如，在用户A位于基于接收的视线信息确定的人X的视场范围内的情况下，检测单元122可以确定周围人X正在看用户A。在确定人X正在看用户A的情况下，检测单元122可以使存储单元114开始记录接收的图像信息和声音信息。另外，检测单元122可以在从看用户A的人X的方向收集的周围声音的声级等于或高于预定级别的情况下确定人X讲话。
图4是示出用于确定人X是否正在看用户A的方法的示例的说明图。在图4示出的示例中，基于人X的视线方向来确定视场范围，并且确定用户A是否位于视场范围内。视场范围可以是通过以人X的眼睛之间的位置为中心沿右方向和左方向将检测到的视线方向旋转适当角度而确定的范围。由这样的视场范围形成的角度θ可以是例如45°，但是不限于此。另外，可以根据距人X的距离来限制视场范围。可以基于例如由安装在HMD装置100的显示装置50中的GPS传感器检测的信息来指定用户A的位置。
此时，在人X正在看用户A的可能性低的情况下，例如，在周围人X的视场范围内不仅存在用户A而且还存在其他人的情况下，可以确定人X没有看用户A。相应地，可以减少尽管实际上没有对用户A讲话但是检测到讲话动作的情况的可能性。
另外，检测单元122在确定人X正在看用户A的情况下执行话语检测处理。例如，当检测到人X看用户A时，可以使声音收集单元32通过波束形成处理沿着人X所在的方向收集周围声音。另外，检测单元122可以在接收到的沿特定方向的周围声音的声级等于或高于预定级别时确定人X对用户A讲话。相应地，因为用户A的周围声音出于其他原因较高并且没有对用户A讲话而确定对用户A讲话的情况的可能性降低。
另外，话语检测处理不限于以上方法。例如，检测单元122可以基于接收到的周围声音的音调的变化来确定正在看用户A的人X对用户A讲话，而不是根据接收到的周围声音的声级来检测话语。可替选地，检测单元122可以基于接收到的周围图像信息来检测看用户A的人X的嘴的动作，并且在周围声音的声级等于或高于预定级别的情况下结合嘴的动作来确定人X对用户A讲话。
另外，检测单元122可以对接收到的声音信息中包括的话语执行语音识别处理，并且基于语音识别结果来确定看用户A的人X对用户A讲话。例如，在标识出用户A的例如用户A的姓名或昵称之类的字词被包括在话语中的情况下，检测单元122可以确定看用户A的人X对用户讲话。
[1-3-2.指定单元]
指定单元124在检测到对用户A讲话的在用户A附近的人X的动作的情况下，基于接收到的周围图像信息、视线信息以及周围声音信息来指定讲话动作信息。指定单元124使指定的讲话动作信息被存储在存储单元114中。如以上所描述的，可以将当在用户A附近的人X、Y或Z正在对用户A讲话时的话语或动作的信息包括在讲话动作信息中。
(1-3-2-1.声音信息和图像信息)
在本实施例中，当由检测单元122检测到对用户A讲话的周围人X的动作时，指定单元124可以将在存储单元114中连续接收并记录的图像信息当中的包括人X的图像信息指定为一条讲话动作信息。另外，当由检测单元122检测到对用户A讲话的周围人X的动作时，指定单元124可以将在存储单元114中连续接收并记录的声音信息当中被认为是人X的话语的声音信息指定为一条讲话动作信息。此时，指定单元124可以将声音信息中包括的话语的语音识别结果转换成文本。
另外，例如，指定单元124可以将直到连续接收到的声音信息被中断为止获得的运动图像和声音指定为讲话动作信息。具体地，当在连续接收到的声音信息被中断后经过预定时间时，指定单元124可以认为对用户A讲话的人X的动作已经结束，并且停止将图像信息和声音信息指定为讲话动作信息。另外，当用户A的位置偏离看用户A的人X的视场范围时，指定单元124可以停止将图像信息和声音信息记录在存储单元114中。
另外，指定的讲话动作信息的结束不限于声音信息被中断的时间点。例如，指定单元124可以基于图像信息来分析对用户A讲话的人X的嘴的动作，并且将人X的嘴的动作停止的时间视为讲话动作信息的结束。另外，指定单元124可以将在声音信息的声级变得小于预定级别后经过预定时间的时间点视为讲话动作信息的结束。另外，停止在存储单元114中记录图像信息和声音信息的定时不限于用户A的位置偏离看用户A的人X的视场范围的时间点。指定单元124可以在停止指定讲话动作信息的同时停止记录图像信息和声音信息。此外，指定单元124可以在讲话动作被检测到之后满足适当条件时停止记录图像信息和声音信息。
(1-3-2-2.位置信息)
指定单元124可以结合图像信息和声音信息的记录来指定用户A与对用户A讲话的人X之间的位置信息。此时，指定单元124不仅可以指定用户A所在空间中的人X与用户A的相对位置，还可以指定人X相对于用户A面对的方向的位置。例如，可以基于由安装在HMD装置100的显示装置50中的GPS传感器获得的位置信息或从成像装置10传送的图像信息来检测用户A面对的方向。另外，例如，可以基于接收到的图像信息和视线信息来检测对用户A讲话的人X的位置。
(1-3-2-3.人物属性信息)
指定单元124可以结合图像信息和声音信息的记录来指定对用户A讲话的人X的属性信息，并且使属性信息被存储在存储单元114中。具体地，指定单元124可以例如姓名和ID、性别以及人X与用户A的关系之类的指定信息。例如，指定单元124可以基于从成像装置10传送的图像信息，参考预先存储在存储单元114等中的数据库，使用面部识别处理或特征量计算方法来指定人物并且指定与数据库相链接的属性信息。
例如，在对用户A讲话的人X是例如用户A的公司同事或主管之类的具有业务关系的人的情况下，人X讲话的原因可能与业务有关。另外，在人X是例如用户A的朋友或家庭成员之类的具有私人关系的人的情况下，人X讲话的原因可能与私事有关。因此，当指定对用户A讲话的人X的属性信息时，用户A可以容易地确定对讲话动作做出响应的必要性。
(1-3-2-4.其他指定信息)
除了以上描述的信息之外，指定单元124还可以指定人X对用户A讲话的日期和时间或者当对用户A讲话时使用的内容的信息，并且使指定的信息被存储在存储单元114中。内容的信息可以是正在使用的内容的类型或名称。例如，指定单元124可以指定内容的信息，例如“使用的内容＝电影‘电影标题OO’”、“使用的内容＝视频游戏‘游戏标题OO’”、“使用的内容＝音乐‘专辑标题OO’”。
可替选地，指定单元124可以指定当对用户A讲话时使用的内容的图像数据并且使图像数据被存储在存储单元114中。要存储的图像数据例如可以是正在观看的内容图像的静止图像的数据或音乐内容的专辑设计的图像数据。由于当对用户A讲话时使用的内容的信息被一起指定，因此对用户A讲话的情况与内容的实质相关联，并且因此用户A可以在稍后检查讲话动作信息时容易地回想起讲话动作信息。
(1-3-2-5.指定信息列表)
图5示出指定单元124可以针对每个讲话动作指定的信息的列表。当检测到对用户A讲话的人X的动作时，指定单元124可以指定日期和时间、由成像装置10捕获的图像信息、由声音收集单元32收集的声音信息、话语内容的文本信息、讲话人X的属性信息以及当对用户A讲话时使用的内容的信息，并且使指定的信息作为讲话动作信息组被存储在存储单元114中。
[1-3-3.内部通知控制单元]
内部通知控制单元126基于由指定单元124指定的讲话动作信息来向用户A给出通知。此处，给予用户A的通知可以包括用于使图像被显示在显示装置50的图像显示单元52的显示屏上的通知以及用于使声音从头戴式耳机装置30的声音输出单元34被输出的通知中的至少一个。例如，内部通知控制单元126可以再现由指定单元124指定并且存储在存储单元114中的讲话动作信息。此时，内部通知控制单元126可以通过将下列通知方法中的一个或更多个进行组合来再现讲话动作信息。
(1-3-3-1.第一通知方法：声音时移再现)
内部通知控制单元126可以从在用户A附近的人X实际对用户讲话的时间起延迟由指定单元124指定的声音信息，然后使用时移再现来再现该声音信息。此时，再现可以在人X的话语结束之前开始，或者再现可以在人X的话语结束之后开始。由于周围人X的话语的声音信息经历了时移再现，因此用户A可以在从一开始对用户讲话时就听到话语。
相应地，由于用户A可以确切地理解对用户A讲话的情况，因此例如用户A可以容易地理解讲话人X的情绪状态、紧急程度等。因此，用户A可以确定用户A是否对讲话动作做出响应，并且可以改进用户A与讲话人X之间的通信。另外，在讲话理由的紧急程度低的情况下，用户A可以继续享受由HMD装置100提供的内容，并且因此几乎不会损失沉浸感。
另外，在执行时移再现的情况下，内部通知控制单元126可以通过逐渐减小从实际话语定时到相应声音信息的再现定时的延迟时间来向实时声音切换。例如，内部通知控制单元126可以在以大约1.5倍的适当的放大率再现临时存储在存储单元114中的声音信息的同时在将延迟时间最小化之后关闭噪声消除功能，使得用户A可以直接听到周围的声音。
(1-3-3-2.第二通知方法：图像时移再现)
类似于声音信息的再现，内部通知控制单元126可以对由指定单元124指定的图像信息执行时移再现。另外，在执行图像信息的时移再现的情况下，内部通知控制单元126可以在以约1.5倍的适当的放大率再现临时存储在存储单元114中的图像信息的同时在将延迟时间最小化之后使从成像装置10传送的图像信息被显示在图像显示单元52上。相应地，由于用户A可以基于图像信息来理解对用户A讲话的情况，因此用户A可以容易地理解讲话人X的情绪状态、紧急程度等。因此，可以改进用户A与讲话人X之间的通信，并且几乎不会损失用户A的沉浸感。
另外，当将指定的图像信息显示在图像显示单元52上时，内部通知控制单元126可以使用作讲话动作信息的图像信息被显示在整个显示屏上。可替选地，当将指定图像信息显示在图像显示单元52上时，内部通知控制单元126可以使用作讲话动作信息的图像信息被叠加显示在正在使用的内容图像上。由于指定的图像信息被叠加显示在内容图像上，例如在用户A希望专注于正在使用的内容的情况下，用户A可以连续地使用内容而不对周围人X的讲话动作做出响应。
另外，在对指定的图像信息执行时移再现并且执行声音信息的情况下，内部通知控制单元126可以执行控制，使得同时记录的图像信息和声音信息被同时再现。
(1-3-3-3.第三通知方法：再现准备)
当再现指定的图像信息和声音信息中的至少一个时，内部通知控制单元126可以使准备操作被预先执行。例如，内部通知控制单元126可以减小内容声音的音量，使得用户A可以在再现指定的声音信息之前容易地听到声音。另外，内部通知控制单元126可以在再现指定的讲话动作信息之前暂时停止当前正在使用的音乐内容或运动图像内容、视频游戏等的处理或继续。
另外，内部通知控制单元126可以在再现指定的声音信息之前暂时停止头戴式耳机装置30的噪声消除功能。相应地，用户可以在对周围人X的讲话动作做出响应之后容易地听到周围的声音并且与周围人X进行实时交谈。
例如，当检测单元122检测到对用户A讲话的周围人X的动作时，可以输出用于开始准备操作的指令。另外，内部通知控制单元126可以在开始执行准备操作之后开始讲话动作信息的再现。另外，内部通知控制单元126可以在停止讲话动作信息的再现的同时结束准备操作。
另外，内部通知控制单元126可以在再现准备之前让用户A预先知道在几秒内将暂停内容。例如，内部通知控制单元126在通过预先设置的通知声音或语音、图标显示、文本显示等输出用于开始再现准备的指令之前3至5秒给出再现准备操作的预告。相应地，当正在使用的内容突然停止时，防止用户A感到惊讶。可替选地，用户A可以在由信息处理装置110停止内容之前的适当定时停止内容。
(1-3-3-4.第四通知方法：虚拟环绕)
在指定了人X相对于用户A的方向的位置信息的情况下，内部通知控制单元126可以在再现声音信息时使声音信息基于位置信息被输出。具体地，内部通知控制单元126可以使用虚拟环绕技术来控制声音输出，使得可以在人X所在的方向上听到声音。例如，可以通过将从头戴式耳机装置30的左和右扬声器箱输出的声音信号转换成双耳信号并且执行消除串扰的处理来实现虚拟环绕。
可替选地，内部通知控制单元126可以执行作为通过再现头部相关传递函数来获得头戴式耳机装置30的立体声效果的技术的声音图像定位处理，使得可以在人X所在的方向上听到声音信息。由于使用如以上所描述的声音输出来给出通知，因此当用户A知道对用户A讲话时，用户A可以容易地在讲话人X所在的方向上做出响应。相应地，用户A与讲话人X之间的通信得到改进。
(1-3-3-5.第五通知方法：显示形式改变)
内部通知控制单元126可以在使指定的图像信息被显示在图像显示单元52上时使图像显示形式被改变。例如，如图6所示，内部通知控制单元126在检测单元122检测到对用户A讲话的周围人X的动作之后基于讲话动作的持续时间来改变要叠加显示的图像P的尺寸。在图6的示例中，随着讲话动作的持续时间增加，要叠加显示的图像P逐渐增加。相应地，用户A可以识别对用户A讲话的时间，并且可以鼓励用户A对讲话人X做出响应。另一方面，随着要叠加显示的图像P的尺寸基于讲话动作的持续时间而逐渐减小，用户A可以在用户A不打算做出响应的情况下连续地使用内容而不关注讲话动作。
另外，改变显示图像形式的方法不限于改变图像尺寸的方法。例如，内部通知控制单元126可以改变要叠加显示的图像的透明度。随着要叠加显示的图像的透明度基于讲话动作的持续时间而逐渐减少，用户A可以在用户A不打算做出响应的情况下连续地使用内容而不关注讲话动作。另一方面，随着要叠加显示的图像的透明度基于讲话动作的持续时间而逐渐增加，可以敦促用户A对人X做出响应。
(1-3-3-6.第六通知方法：动画显示)
内部通知控制单元126可以基于指定的讲话动作信息来使图标或动画被显示在图像显示单元52上。例如，如图7所示，可以使用例如气球形圆圈或箭头之类的图标I基于人X相对于用户A的方向的位置信息来显示人X所在的方向。由于显示图标I，因此用户A可以容易地理解讲话人X的位置，并且当响应时在人X所在的方向上做出响应。因此，可以平滑地执行用户A与人X之间的通信。
(1-3-3-7.第七通知方法：雷达显示)
内部通知控制单元126可以基于指定的讲话动作信息使图像显示单元52以雷达形式显示对用户A讲话的人X相对于用户A的方向的位置信息。例如，图8示出以用户A从上往下看的形式将对用户A讲话的人X所在的方向显示在以用户A的位置为中心的雷达图LM中的示例。在图8所示的雷达图LM的显示的示例中，上方指示用户A当前面对的方向。换言之，该示例指示人X从右后方对用户A讲话。
在该示例中，人X的面部图像被显示在讲话人X所在的位置处，但是可以显示适当的图。另外，可以根据人X相对于用户A面对的方向的位置的变化来改变要被显示的人X的显示。例如，内部通知控制单元126可以随着用户A或人X的移动而移动指示人X的图形或者脸部图像。另外，如图9所示，内部通知控制单元126可以使可以由安装在HMD装置100的显示装置50等中的地磁传感器等获取的东、西、南、北的方位信息被显示。
当执行雷达显示时，用户A可以容易地理解讲话人X的位置，并且在响应时在人X所在的方向上做出响应。另外，例如，如果在对被指定为讲话动作信息的声音信息执行时移再现的同时执行雷达显示，则在时移再现期间可以理解讲话的人X是否不加改变地位于用户A附近。因此，可以平滑地执行用户A与人X之间的通信。
另外，内部通知控制单元126可以使指示讲话人X与用户A之间的距离的信息在雷达显示期间被显示。例如，在图8和图9的雷达显示的示例中，在人X的面部图像与用户A的位置指示之间显示的图形(三角形图形)的数目根据人X与用户A之间的距离而不同。另外，显示人X与用户A之间的距离的方法不限于图8和图9中的示例。
另外，内部通知控制单元126还可以使讲话人X以外的在用户A附近的人在雷达显示期间被一起显示。在这种情况下，可以特征化人X的显示，使得用户A可以理解讲话人X。例如，可以使讲话人X的显示比其他人的显示更大或者闪烁。另外，可以增加讲话人X以外的人的显示的透明度。
(1-3-3-8.第八通知方法：文本显示)
内部通知控制单元126可以基于指定的讲话动作信息来使文本消息TM被显示。例如，如图10所示，内部通知控制单元126可以使得由指定单元124指定的话语的文本信息被显示。在图10中，显示文本消息TM“OO先生，你有时间吗？”。此外，要显示的文本消息TM可以是预先设置的固定消息。可以基于包括在指定的讲话动作信息组中的信息来从存储在存储单元114等中的消息组中选择并显示固定消息。例如，基于人X的指定的位置信息来显示“右侧的后方的人正在讲话”等。
(1-3-3-9.第九通知方法：人物属性显示)
内部通知控制单元126可以基于指定的讲话动作信息来使图像显示单元52显示讲话人X的属性信息。具体地，内部通知控制单元126可以使图像显示单元52显示由指定单元124指定的人X的信息，例如姓名、ID、性别、与用户A的关系等。由于显示人X的属性信息，因此用户A可以容易地注意到讲话人X并且可以确定响应的优先级。
[1-3-4.禁止处理单元]
禁止处理单元128禁止通过内部通知控制单元126向用户A给出指示对用户A讲话的通知的控制。例如，存在用户A不希望别人对其讲话的情况，例如用户A在穿戴有HMD装置100或头戴式耳机装置30的同时在睡觉的情况或者用户A专注于内容的情况。在这种情况下，禁止处理单元128执行控制，使得不向用户A给出指示对用户A讲话的通知。
(1-3-4-1.根据用户状态的禁止)
例如，禁止处理单元128可以基于指示用户A的状态的信息来使图像显示单元52或声音输出单元34禁止由内部通知控制单元126执行的通知处理。例如，禁止处理单元128可以在用户A执行禁止通知操作的设置的情况下禁止由内部通知控制单元126执行的通知处理。可替选地，禁止处理单元128可以在用户A正在睡觉的情况下或者在用户A的专注水平等于或高于预定水平的情况下禁止由内部通知控制单元126执行的通知处理。例如，可以基于检测用户A的心率、出汗状态、脑波等的生物计量传感器的检测信息来确定用户A是否在睡觉或者用户A的专注水平。可替选地，可以基于HMD装置100的显示装置50中安装的检测用户A的视线的传感器的检测信息来确定用户A是否在睡觉。
(1-3-4-2.根据人物属性的禁止)
禁止处理单元128可以基于指定的讲话动作信息中包括的讲话人X的属性信息来禁止由内部通知控制单元126执行的通知处理。例如，在讲话人X是用户A未知的人或用户A对其执行禁止通知的设置的人的情况下，禁止处理单元128可以禁止由内部通知控制单元126执行的通知处理。相应地，用户A可以根据讲话人来预先决定响应的优先级，并且因此可以减少沉浸感将受到损害的可能性。
(1-3-4-3.根据时间设定的禁止)
禁止处理单元128可以使图像显示单元52或声音输出单元34在预先设置的时间段期间禁止由内部通知控制单元126执行的通知处理。例如，用户A可以通过预设由内部通知控制单元126执行的通知处理的禁止开始的时间和该禁止被取消的时间或者通过预先使用定时器设置禁止通知处理的时间段来管理通知处理被禁止的时间段。相应地，用户A可以防止沉浸体验在预定的时间段内受到妨碍。另外，当向周围人给出指示预设时间的通知时，可以防止由于当对用户讲话时用户没有做出响应而使周围人感到不满。
(1-3-4-4.根据周围音量的禁止)
禁止处理单元128可以使声音输出单元34在周围声音的声级比当前正在听的内容的声级高预定级别或更多的情况下禁止由内部通知控制单元126执行的通知处理。例如，禁止处理单元128可以根据周围声音的声级与当前正在听的内容声音的声级的比率来确定是否禁止通知处理。另外，禁止处理单元128可以根据周围声音的声级与当前正在听的内容声音的声级之间的差来确定是否禁止通知处理。相应地，通过防止用户A突然听到大的声音，可以防止用户A感到惊讶。
(1-3-4-5.根据内容的状态的禁止)
禁止处理单元128可以基于当前正在使用的内容的状态使声音输出单元34禁止由内部通知控制单元126执行的通知处理。例如，禁止处理单元128可以在用户A被要求对于当前正在观看的电影或正在使用的视频游戏具有专注状态的特定场景或定时禁止通知处理。这样的特定场景或定时可以是预先针对每个内容设置的，或者可以是基于内容声音的兴奋点、内容图像的色调的变化等来确定的。另外，禁止处理单元128可以在使用预先由用户A设置为禁止的类型的内容或特定内容的情况下禁止通知处理。相应地，可以减小由于当用户A因正在使用的内容而激动时周围人对用户A讲话而使沉浸感受到损害的可能性。
<1-4.由装置执行的处理>
接下来，将描述由根据本实施例的信息处理装置110执行的处理的示例。图11是概念性地示出由信息处理装置110执行的处理的流程图。
[1-4-1.基本流程]
首先，信息处理装置110确定是否存在其视线面向穿戴有HMD装置100和头戴式耳机装置30的用户A的人(步骤S12)。具体地，基于从成像装置10传送的周围图像信息和视线信息，信息处理装置110的检测单元122确定具有用户A的位置被包括在其内的视场范围的人是否在用户A附近。此时，在用户A的位置被包括在人的视场范围内但是在用户A附近存在其他人的情况下，不能确定存在视线面向用户A的人。
在确定不存在其视线面向用户A的人的情况下(S12中的“否”)，信息处理装置110使处理进行至步骤S22。在这种情况下，信息处理装置110停止将图像信息和声音信息记录在存储单元114中(步骤S22)，然后使处理返回至步骤S12。另一方面，在确定存在其视线面向用户A的人X的情况下(S12中的“是”)，信息处理装置110使处理进行至步骤S14。然后，信息处理装置110使存储单元114记录连续接收到的图像信息和声音信息。
然后，信息处理装置110确定其视线面向用户A的人X是否对用户A讲话(步骤S16)。具体地，检测单元122基于由声音收集单元32收集并传送的周围声音信息来执行话语检测处理。例如，检测单元122使声音收集单元32使用波束形成处理沿着看用户A的人X所在的方向收集周围声音，并且确定接收到的周围声音的声级是否等于或高于预定级别。检测单元122可以基于接收到的周围声音的音调的变化来执行以上确定。
在确定其视线面向用户A的人没有对用户A讲话的情况下(S16中的“否”)，处理返回至步骤S12，并且重复该流程。另一方面，在确定其视线面向用户A的人X对用户A讲话的情况下(S16中的“是”)，信息处理装置110使处理进行至步骤S18。然后，信息处理装置110基于记录在存储单元114中的图像信息和声音信息来指定指示对用户A讲话的人X的动作的信息(步骤S18)。
具体地，在检测到对用户A讲话的人X的动作的情况下，信息处理装置110的指定单元124可以将连续接收并记录的图像信息当中的包括人X的图像信息指定为讲话动作信息之一。另外，在检测到对用户A讲话的人X的动作的情况下，指定单元124可以将连续接收并记录的声音信息中的被视为人X的话语的声音信息指定为讲话动作信息之一。
此时，指定单元124可以对声音信息中包括的人X的话语执行语音识别，并且将语音识别结果转换成文本。另外，除了图像信息和声音信息之外，指定单元124还可以指定用户A和人X的位置信息、人X的属性信息、对用户A讲话的日期和时间、当对用户A讲话时使用的内容的信息等。另外，指定单元124例如在人X对用户A的话语中断达预定时间或更长时结束讲话动作信息的指定。
信息处理装置110使指定的讲话动作信息被存储在存储单元114中。例如，指定单元124使信息在存储单元114中被存储为图5所示的讲话动作信息组。
然后，信息处理装置110停止将图像信息和声音信息记录在存储单元114中(步骤S20)。具体地，在指定讲话动作信息之后，指定单元124在人X的视线偏离用户A的情况下停止将图像信息和声音信息记录在存储单元114中。此后，信息处理装置110使处理返回至步骤S12，并且重复以上描述的流程。
如以上所描述的，当在用户A附近的人X对穿戴有作为沉浸式感觉装置的HMD装置100和头戴式耳机装置30的用户A讲话时，根据本实施例的信息处理装置110指定讲话动作信息并且将要被存储的讲话动作信息存储在存储单元114中。相应地，当以从对用户A讲话的时间点起的延迟给出指示讲话动作的通知时，用户A可以注意到对用户A讲话。
[1-4-2.时移再现处理]
然后，作为由根据本实施例的信息处理装置110执行的处理的示例，将描述指定用作讲话动作信息的声音信息并且对声音信息执行时移再现的流程。图12是示出由信息处理装置110执行的声音信息的时移再现处理的说明图，并且上部指示记录数据，下部指示再现数据。另外，图13是概念性地示出由信息处理装置110执行的声音信息的时移再现处理的流程图。
首先，在时间A处，信息处理装置110基于从成像装置10传送的图像信息和视线信息来检测看向用户A的方向的人(步骤S32)。具体地，根据图11的流程图中的步骤S12的处理，检测单元122可以根据用户A的位置是否被包括在基于周围人的视线信息指定的视场范围内来执行该确定。
如果检测到看向用户A的方向的人，则信息处理装置110使存储单元114开始记录所接收的声音信息(步骤S34)。具体地，检测单元122使存储单元114存储在检测到看向用户A的方向的人X之后连续接收到的声音信息。
然后，在时间B处，信息处理装置110检测看向用户A的方向的人X讲话(步骤S36)。更具体地，检测单元122可以根据图11的流程图中的步骤S16的处理来执行话语检测处理，并且根据人X所在的方向上的声级是否等于或高于预定级别来执行该确定。
如果检测到看用户A的人X的话语，则信息处理装置110将在检测到话语的时间B之后接收到的声音信息指定为讲话动作信息，并且使声音信息被存储在存储单元114中(步骤S38)。具体地，指定单元124使存储单元114将在检测到话语之后接收到的声音信息存储为讲话动作信息之一。
另外，信息处理装置110开始被指定并存储为讲话动作信息的声音信息的再现准备(步骤S40)。具体地，内部通知控制单元126可以减小当前由用户A观看的内容声音的音量，或者暂时停止当前正在使用的内容的再现或继续。可替选地，内部通知控制单元126可以暂时停止头戴式耳机装置30的噪声消除功能。
然后，在时间C处，信息处理装置110开始被指定且存储为讲话动作信息的声音信息的再现(步骤S42)。具体地，内部通知控制单元126以从人X的实际话语定时起的轻微延迟来再现记录的声音信息，并且使声音信息从头戴式耳机装置30的声音输出单元34输出。内部通知控制单元126可以在完成再现准备之后立即开始声音信息的再现，或者可以以预设时间差开始声音信息的再现。此时，可以使用虚拟声音技术在人X所在的方向上听到声音。
然后，在时间D处，信息处理装置110检测到人X的话语的结束(步骤S44)。具体地，指定单元124可以在人X的方向上的声音信息被中断之后经过预定时间的情况下检测人X的话语的结束。因此，用作讲话动作信息的声音信息的指定结束。
在检测到人X的话语的结束的时间D处，信息处理装置110停止声音信息的再现(步骤S46)。具体地，内部通知控制单元126在再现直到在步骤S44中指定结束为止获得的声音信息之后停止再现。
然后，在时间E处，信息处理装置110检测到看向用户A的方向的人X的视线偏离用户A(步骤S48)。具体地，检测单元122可以基于接收到的图像信息和视线信息、根据用户A的位置是否偏离看用户A的人X的视场范围来执行该确定。
如果检测到看向用户A的方向的人X的视线偏离用户A，则信息处理装置110停止将图像信息和声音信息记录在存储单元114中。在人X的视线在步骤S44中检测到话语的结束的时间点处偏离用户A的情况下，可以在停止声音信息的再现的同时停止图像信息和声音信息的记录。
另外，此处已经描述用作讲话动作信息的声音信息的时移再现处理，但是被指定为讲话动作信息的图像信息也可以通过类似过程经历时移再现。另外，由于声音信息和图像信息在相同的定时经历时移再现，因此用户A可以在听觉上或视觉上注意到对用户A讲话的情况。
如以上所描述的，当检测到对用户A讲话的人X的动作时，信息处理装置110通过接收到的图像信息和声音信息指定讲话动作信息，并且使时移再现被执行。因此，用户A可以注意到的不是对用户A讲话之后的情况，而是对用户A讲话的情况。相应地，用户A可以在理解讲话人X的情绪状态、紧急程度等之后做出响应，并且可以改进用户A与对用户A讲话的人X之间的通信。
<1-5.第一实施例的结论>
如以上所描述的，根据本公开内容的第一实施例，信息处理装置110接收用户A周围的图像信息、周围人的视线信息以及周围声音信息，并且基于周围信息来检测对用户A讲话的周围人X的动作。然后，在检测到周围人X的讲话动作的情况下，信息处理装置110基于接收到的周围信息来指定讲话动作信息。为此，即使在人X对用户A讲话的时间点与向用户A给出指示对用户A讲话的通知的时间点之间出现时间差的情况下，用户A也可以在给出指示对用户A讲话的通知的情况下理解对用户A讲话的情况。相应地，用户A可以根据人X的讲话状态来判断响应是否是必要的或如何执行响应，从而可以改进用户A与对用户A讲话的人X之间的通信。
另外，除了对用户A讲话的人X的图像信息和包括人X的话语内容的声音信息之外，信息处理装置110还可以指定人X相对于用户A的方向的位置信息、人X的属性信息、对用户A讲话的日期和时间以及被用作讲话动作信息的内容的信息。相应地，用户A可以在人X进一步详细地讲话时理解该信息并且容易地确定对人X的响应是否是必要的或者如何执行响应。
另外，基于指定的讲话动作信息，信息处理装置110可以使图像显示单元52显示图像，并且使声音输出单元34输出声音。此时，信息处理装置110对图像信息和声音信息执行时移再现，并且因此即使在对用户A讲话的时间点与向用户A给出通知的时间点之间存在时间差的情况下，用户A也可以理解对用户A讲话的情况。
另外，信息处理装置110可以在再现指定的图像信息和声音信息等之前暂时停止内容、减小音量、或者暂时停止头戴式耳机装置30的噪声消除功能。相应地，用户A可以容易地识别指示对用户A讲话的通知，并且可以改进与讲话人X的通信。
另外，当指定了指定的声音信息时，信息处理装置110可以控制声音输出，使得可以在人X所在的方向上听到声音。相应地，用户A可以在对人X的讲话做出响应时在人X所在的方向上做出响应。
另外，当显示指定的图像信息时，信息处理装置110可以基于讲话时间段来使图像显示被改变。相应地，可以鼓励用户A对讲话人X做出响应或者通过使图像显示逐渐消失来使用户A连续地使用内容。
另外，信息处理装置110可以在向用户A给出指示对用户A讲话的通知时使用动画显示或雷达显示来提供人X相对于用户A的方向的位置信息。相应地，用户A可以在对人X的讲话做出响应时在人X所在的方向上做出响应。另外，在对讲话动作信息执行时移再现的情况下，可以在时移再现期间理解在用户附近是否存在讲话人X。
另外，信息处理装置110可以在向用户A给出指示对用户A讲话的通知时使图像显示单元52显示文本消息。相应地，用户A可以视觉识别人X的讲话动作或人X的话语内容。
另外，信息处理装置110可以在向用户A给出指示对用户A讲话的通知时使图像显示单元52显示人X的属性信息。相应地，用户A可以容易地注意到讲话人X并且确定响应的优先级。
另外，信息处理装置110可以在预定条件下禁止向用户A给出指示对用户A讲话的通知的控制。相应地，在用户A不想被讲话的情况下(例如在用户A穿戴有沉浸式感觉装置的同时在睡觉的情况下或者在用户A正专注于内容的情况下)，不执行通知操作。
<1-6.修改的示例>
上面已经描述本公开内容的第一实施例。另外，本实施例不限于以上示例。下面将描述本实施例的若干修改示例。
[1-6-1.第一修改示例]
作为本实施例的第一修改示例，信息处理装置110可以基于由指定单元124指定的讲话动作信息来生成作为对用户A讲话时的历史信息的讲话历史信息。具体地，信息处理装置110在每次检测到对用户A讲话的周围人的动作时基于接收到的图像信息和声音信息来指定讲话动作信息，并且使讲话动作信息存储在存储单元114中。另外，在根据用户A的输入操作来选择历史确认操作的情况下，信息处理装置110基于到目前为止存储的讲话动作信息来生成讲话历史信息，并且使图像显示单元52显示讲话历史信息的列表。相应地，例如，用户A可以在完成内容的使用之后检查当使用该内容时对用户A讲话的人和当时的情况。
图14是示出根据第一修改示例的信息处理装置110的集成控制单元120的配置的示例的功能框图。在集成控制单元120中，历史生成单元136被添加至根据第一实施例的集成控制单元120。检测单元122、指定单元124、内部通知控制单元126以及禁止处理单元128可以具有与以上描述的单元类似的功能。在根据用户A的输入操作选择历史确认操作的情况下，历史生成单元136参照存储单元114基于讲话动作信息来生成讲话历史信息。内部通知控制单元126使图像显示单元52显示所生成的讲话历史信息。
图15示出要被显示在图像显示单元52上的历史显示的示例。在这样的历史显示的示例中，显示指示当对用户讲话时用户正在观看的内容的内容图像S、讲话时间T、讲话人的面部照片F、话语内容的语音识别结果V以及指示当对用户讲话时正在被执行的禁止处理的图标H。另外，可以通过选择非显示选择按钮N1和N2来使内容图像S和时间T不被显示。
在这样的历史显示的示例中，内容图像S是当对用户讲话时的运动图像场景的静止图像。当用户A选择内容图像S时，历史生成单元136可以使运动图像场景被再现。例如，历史生成单元136可以使运动图像场景从对用户讲话的时间起几秒(例如，5秒)被再现。可替选地，历史生成单元136可以使运动图像场景从内容图像S的场景中被再现若干秒。此时，当运动图像场景被再现时，历史生成单元136可以再现当对用户讲话时由内部通知控制单元126执行的通知处理。例如，如图16所示，历史生成单元136可以使雷达图LM被叠加显示，或者使话语的声音信息随着运动图像场景的再现而输出。
另外，当显示话语内容的语音识别结果V时，历史生成单元136可以使得显示开头预定数目的字符而不是话语内容的完整句子。另外，在存在显示的文本消息的延续的情况下，历史生成单元136可以使指示存在例如“……”等的延续的消息被显示。另外，历史生成单元136可以在用户A使用光标选择话语内容的语音识别结果之一时使文本消息被滚动并被显示。
如以上所描述的，根据本实施例的第一修改示例，信息处理装置110可以使对用户A的讲话动作的历史被显示。因此，用户A可以在经过一段时间之后检查穿戴沉浸式感觉装置时的讲话动作。相应地，对于由于用户A正在睡觉或正专注于内容因而用户A不能对其做出响应的人，用户A可以稍后检查需求，从而可以改进用户A与对用户A讲话的人之间的通信。
另外，在以上示例中，历史生成单元136根据用户A的输入操作来生成讲话历史信息，但是历史生成单元136可以在使用的内容结束或者被停止时自动生成讲话历史信息，并且使讲话历史信息被显示在图像显示单元52上。另外，图15示出的历史显示仅仅是示例，并且显示的讲话动作信息的一部分可以被省略或者可以用另一讲话动作信息来代替，或者可以添加另一讲话动作信息。
[1-6-2.第二修改示例]
作为本实施例的第二修改示例，信息处理装置110可以使显示装置50的外部通知单元56显示要向周围人给出的通知。例如，信息处理装置110可以使指示周围人是否可以对用户A讲话、信息处理系统的响应状态或者用户A的状态的通知被提供给周围人。相应地，在穿戴有沉浸式感觉装置的用户A附近的人可以提前确定用户A是否处于允许对用户A讲话的情况，并且能够防止在对用户A讲话时对是否转移讲话感到焦虑。
图17是示出根据第二修改示例的信息处理装置110的集成控制单元120的配置示例的功能框图。在集成控制单元120中，外部通知控制单元132被添加至根据第一实施例的集成控制单元120。检测单元122、指定单元124、内部通知控制单元126以及禁止处理单元128可以具有与以上描述的单元类似的功能。外部通知控制单元132基于检测单元122、指定单元124或禁止处理单元128的操作或设置使显示装置50的外部通知单元56执行预定的通知显示。
具体地，外部通知控制单元132可以基于禁止处理单元128的设置使外部通知单元56显示对用户A的通知操作的当前许可状态。图18示出允许对用户A的通知操作的状态，图19示出禁止对用户A的通知操作的状态。例如，在允许对用户A的通知操作的情况下，外部通知控制单元132可以使HMD装置100的显示装置50的外部通知单元56不执行显示，而在禁止对用户A的通知操作的情况下，外部通知控制单元132可以使显示装置50的外部通知单元56显示指示禁止状态的图标IH。另外，在外部通知单元被安装在头戴式耳机装置30的扬声器箱中的情况下，外部通知控制单元132可以使外部通知单元在允许对用户A的通知操作时显示蓝色并且在禁止对用户A的通知操作时显示红色。
另外，外部通知控制单元132可以在使对用户A的通知操作的许可状态被显示时，使指示用户A的负责状态的通知被给出。例如，可以执行要被传送给周围人的显示，例如指示在只有声音的情况下可以听到的显示、指示在紧急情况下允许讲话的显示、指示可以立即响应的显示或者指示用户稍后将通过讲话来联系的显示。相应地，可以改进周围人的便利性。
另外，外部通知控制单元132可以在检测单元122正在检测看向用户A的方向的人的同时使指示信息处理系统的响应状态的通知被显示。例如，外部通知控制单元132可以使在显示装置50或头戴式耳机装置30中安装的例如LED之类的光源闪烁，以便向周围人给出检测单元122正在检测看向用户A的方向的人的通知。另外，在检测单元122检测对用户A讲话的周围人的动作并且使存储单元114开始记录接收到的图像信息和声音信息的情况下，外部通知控制单元132可以使指示视频记录或声音记录正在进行的指示器闪烁。另外，在正在记录图像信息或声音信息的同时，外部通知控制单元132可以根据收集的声音的大小来使显示改变。例如，根据声级，外部通知控制单元132可以使显示闪烁或者使用动画来使显示改变。
另外，外部通知控制单元132可以使外部通知单元56显示用户A的状态。例如，外部通知控制单元132可以基于由附接至用户A的生物传感器等检测的生物计量信息来使用户A的状态被显示。例如，生物计量传感器是能够检测用户A的心率、出汗状态、脑波等的传感器，并且可以由信息处理装置110来读取所检测的生物信息。
图20示出由外部通知控制单元132将用户A的状态显示在HMD装置100的显示装置50的外部通知单元56上的示例。例如，外部通知控制单元132可以在基于例如脑波之类的信息确定用户A正在睡觉的情况下使外部通知单元56的LED显示LD的亮度减小。另外，外部通知控制单元132可以基于生物计量信息来估计用户A的专注度，并且使外部通知单元56显示电平计LI。
另外，在基于生物信息检测到用户A失去意识的情况下，外部通知控制单元132可以使具有大音量的警告声音等从安装在HMD装置100或头戴式耳机装置30中的声音输出单元等输出，或者可以使所有的光源闪烁。相应地，周围人可以容易地注意到用户A的异常。
当执行通知显示时，外部通知控制单元132可以取决于周围人或讲话人的位置信息使用于执行通知显示的部分或装置被改变。例如，外部通知控制单元132可以使用于执行通知显示的部分或者装置被改变，使得在周围人或讲话人所在的方向上执行显示。
另外，外部通知控制单元132可以基于周围人或讲话人的属性信息使用于执行通知显示的部分或装置或显示内容被改变。例如，外部通知控制单元132可以根据人的身高使显示位置改变。可替选地，外部通知控制单元132可以根据人的年龄组、与用户A的关系、特定的人等使显示内容改变。相应地，可以执行周围人容易观看的或者不使周围人不舒服的通知显示。
如以上所描述的，根据本实施例的第二修改示例，外部通知控制单元132使外部通知单元56显示指示是否允许对用户A讲话、信息处理系统的响应状态或用户A的状态的通知。相应地，可以提高在用户A附近的人的便利性和舒适性。另外，当显示这样的通知时，可以吸引在用户A附近但是不打算对用户A讲话的人的注意。
[1-6-3.第三修改示例]
作为本实施例的第三修改示例，信息处理装置110可以基于在用户A附近的人的动作而不是人的视线方向或面对方向来检测是否对用户A感兴趣。具体地，检测单元122可以基于在用户A附近的人的行为来指定对用户A感兴趣的人，并且在确定该人对用户A讲话时进一步检测讲话的人的动作。
用于确定是否对用户A感兴趣的行为的示例包括接近用户A的行为或采取特定手势的行为。特定手势可以是指示对用户A讲话的意图的手势，例如向用户A伸开手臂的手势或挥手的手势。检测单元122可以基于从成像装置10传送的图像信息来检测人的行为。
如以上所描述的，根据本实施例的第三修改示例，检测单元122基于在用户A附近的人的行为来检测是否对用户A感兴趣，并且在确定该人对用户A讲话时检测讲话的人的动作。相应地，即使在人没有面对用户A时对用户A讲话的情况下，检测单元122也可以检测讲话动作。因此，可以减少由于缺少来自用户A的响应而使对用户A讲话的人变得不舒服的可能性，并且改进用户A与对用户A讲话的人的通信。
[1-6-4.第四修改示例]
作为本实施例的第四修改示例，信息处理装置110可以基于由穿戴在周围人的头部等上的成像装置捕获的图像信息而不是在用户A附近的人的视线方向来检测用户A的面对方向。具体地，在用户A被包括在由穿戴在周围人上的成像装置捕获的图像信息中的情况下，检测单元122可以确定该人的面部指向用户A的方向，并且在确定该人讲话时检测该人的讲话动作。
图21是示出第四修改示例的信息处理系统的使用状态的说明图。在信息处理系统中，由穿戴在位于穿戴有沉浸式感觉装置的用户A所在的空间中的人X、Y和Z上的头戴式成像装置60A、60B和60C来监测用户A周围的图像信息。另外，即使在信息处理系统中，也监测由安装在由用户A使用的头戴式耳机装置30等中的声音收集单元32收集的声音信息。
在第四修改示例的信息处理装置110中，使用由在用户A附近的各个人X、Y和Z上穿戴的头戴式成像装置60A、60B和60C捕获的图像信息来确定人X、Y和Z是否面向用户A的方向。然后，当检测到穿戴有已经传送包括用户A的图像信息的成像装置60A的人X的话语时，信息处理装置110检测对用户A讲话的人X的动作。在检测到对用户A讲话的人X的动作的情况下，信息处理装置110基于接收到的图像信息和声音信息来指定讲话动作信息，并且基于讲话动作信息来向用户A给出指示正在对用户A讲话的通知。
图22是示出第四修改示例的信息处理系统的配置的示例的功能框图。这样的信息处理系统包括头戴型成像装置60A、60B和60C，头戴式耳机装置30以及HMD装置100。除了成像装置60A、60B和60C中的每个的成像单元61的数目是一之外，成像装置60A、60B和60C具有与成像装置10相似的配置，并且可以省略由控制单元62生成视线信息的功能。另外，在图3所示的功能框图中示出信息处理装置110的基本功能配置。
在第四修改示例中，检测单元122基于由成像装置60A、60B和60C捕获的图像信息以及由声音收集单元32收集的声音信息来检测对用户A讲话的在用户A附近的人的动作。例如，在用户A被包括在由成像装置60A捕获的图像信息中的情况下，检测单元122可以基于接收的图像信息确定穿戴有成像装置60A的人X的面部指向用户A的方向。另外，检测单元122可以在确定人X讲话的情况下检测对用户A讲话的人X的动作。
例如，检测单元122可以例如通过确定穿戴有HMD装置100的显示装置50或头戴式耳机装置30的人是否通过图像处理而被示出，来确定用户A是否被包括在接收到的图像信息中。可替选地，可以在HMD装置100的显示装置50或头戴式耳机装置30的一部分上形成识别标记等，并且检测单元122可以在图像信息中检测到识别标记的情况下确定包括用户A。
如以上所描述的，根据本实施例的第四修改示例，检测单元122基于由在用户A附近的人X、Y和Z上穿戴的成像装置60A、60B和60C捕获的图像信息来检测人X的面部指向用户A的方向。另外，在确定人X讲话的情况下，检测单元122检测对用户A讲话的人X的动作。相应地，检测单元122可以在无需执行生成视线信息的处理的情况下检测讲话动作。
<<2.第二实施例>>
作为本公开内容的第二实施例，将描述即使在用户没有穿戴例如HMD装置或头戴式耳机装置之类的沉浸式感觉装置的情况下也将本技术应用于用户在视觉上或听觉上受周围限制的状态的示例。
当用户A进入封闭空间的内部时，即使在用户没有穿戴例如HMD装置或头戴式耳机装置之类的沉浸式感觉装置的情况下，也可以限制周围的视场或从周围给出的声音。例如，在执行例如练习乐器或唱歌的行为之类的与大音量相关联的行为的情况下使用的隔音室内，可以在视觉上和听觉上对用户限制外部信息。另外，在被用于疲劳恢复或健康促进的氧气胶囊装置内，可以在视觉上和听觉上对用户限制外部信息。另外，近年来，甚至在电动车辆等中，也开发了可以对内部乘客在视觉上和听觉上限制外部信息的移动体。
在封闭空间外部的人对封闭空间内部的用户A讲话的情况下，由于用户A没有注意到该人对用户A讲话，因此难以确保通信。包括本公开内容的信息处理装置的信息处理系统还可以用于改进封闭空间内部的用户A与封闭空间外部的人之间的通信。
图23是示出根据本实施例的信息处理系统的配置的示例的功能框图。根据本实施例的信息处理系统可以由与属于第一实施例的信息处理系统的部件类似的部件构成。另外，各个部件的功能可以与根据第一实施例的信息处理系统的各个部件的功能类似。
在这些部件中，成像装置10被安装在可以对封闭空间CS的外部进行成像的位置处。成像装置10可以被附接至封闭空间构成体90，或者可以被安装在封闭空间构成体90所在空间中的任何一个位置处。声音收集单元32被安装在可以收集封闭空间CS外部的声音的位置处。声音收集单元32的数目不限于一个。图像显示单元52和声音输出单元34被安装在封闭空间构成体90的内部。图像显示单元52可以是HMD装置的显示装置或例如显示面板或投影型显示装置之类的显示装置。声音输出单元34可以是头戴式耳机装置或插入式耳机装置，或者可以是扬声器装置。外部通知单元56被安装在从封闭空间CS的外部可见的位置处。外部通知单元56可以被附接至封闭空间构成体90，或者可以被安装在封闭空间构成体90所在的空间中的任何一个位置处。信息处理装置110的位置不受特别限制，只要可以在整个系统内执行信息的传送和接收即可。
即使在根据本实施例的信息处理系统中，信息处理装置110也基于接收到的视线信息、周围图像信息或周围声音信息来执行检测对用户A讲话的封闭空间CS外部的人的动作的处理。另外，在检测到在封闭空间CS中的用户A的讲话动作的情况下，信息处理装置110根据正在被监测的周围信息来指定讲话动作信息，并且执行向用户A给出指示对用户A讲话的通知的各种类型的处理。作为信息处理装置110的具体处理内容，可以应用第一实施例中描述的各种类型的处理内容。
另外，在根据本实施例的信息处理系统中，例如，在封闭空间构成体90的一部分是由即时光控玻璃构成的情况下，当检测到来自外部的讲话动作时，信息处理装置110的内部通知控制单元126可以使即时光控玻璃进入透射状态并且给出指示对内部的用户A讲话的通知。另外，在根据本实施例的信息处理系统中，内部通知控制单元126可以使封闭空间构成体90的内壁表面等外部的视频显示在该壁上。另外，在根据本实施例的信息处理系统中，在封闭空间构成体90包括多个窗口的情况下，可以在外部的讲话人所在的方向上的窗口以外的窗口、内壁表面等上执行用于将用户A的内部视线诱导至外部的讲话人所在的方向上的窗口的显示。
如以上所描述的，即使在根据本实施例的信息处理系统中，信息处理装置110也可以检测对封闭空间CS中的用户A讲话的封闭空间CS外部的人的动作，并且指定讲话动作信息。另外，信息处理装置110基于所指定的讲话动作信息来执行对封闭空间CS中的用户A的通知处理。相应地，内部的用户A可以理解对用户A讲话的情况。因此，用户A可以根据外部的人X的讲话状态来确定响应是否必要或者如何执行响应，并且因此可以改进用户A与对用户A讲话的人X之间的通信。
<<3.第三实施例>>
作为与本公开内容相关的第三方面，将描述本技术被应用在其中用户A没有置于如第二实施例的应用示例中那样的完全封闭的空间中而是用户置于可以有限地观看外部的空间(在下文中也被称为“半封闭空间”)中的状态的示例。
例如，在周围通过隔离物等被完全或部分地划分的空间中执行学习或工作的情况下，尽管侧面或上部的一部分在空间上没有被阻挡，但是取决于用户A面对的方向，可以在视觉上或听觉上限制外部信息。另外，存在以下情况：用户的侧面在空间上没有被阻挡，但是用户的前部或上部被部分阻挡，并且在视觉上或听觉上限制外部信息，如在训练机或乘客模拟机中那样。
在半封闭空间外部的人对在半封闭空间中的用户A讲话的情况下，取决于用户A面对的方向，用户A可能难以注意到对用户A讲话并且确保通信。包括本公开内容的信息处理装置的信息处理系统还可以用于改进在半封闭空间内部的用户A与在半封闭空间外部的人之间的通信。
根据本实施例的信息处理系统的配置可以与图23所示的信息处理系统的配置类似。然而，在本实施例中，对半封闭空间的外部进行成像的成像装置10和收集外部周围声音的声音收集单元32可以被安装在当从用户A观看时在空间上被阻挡的方向上。
即使在根据本实施例的信息处理系统中，信息处理装置110也基于接收到的视线信息、周围图像信息或周围声音信息来执行对用户A讲话的在半封闭空间(CS)外部的人的动作的处理。另外，在检测到对在半封闭空间(CS)中的用户A的讲话动作的情况下，信息处理装置110根据正在被监测的周围信息来指定讲话动作信息，并且执行向用户A给出指示对用户A讲话的通知的各种类型的处理。作为信息处理装置110的具体处理内容，可以应用在第一实施例中描述的各种类型的处理内容。
另外，在根据本实施例的信息处理系统中，如在根据第二实施例的信息处理系统的情况中那样，可以执行使用即时光控玻璃、外部视频显示或用于诱导用户A的视线的显示的通知操作。另外，根据本实施例的信息处理系统可以检测在半封闭空间内部的用户A的视线，并且在确定用户A面向外部的讲话人所在的方向的情况下，信息处理装置110可以不显示视觉通知显示。
另外，在根据本实施例的信息处理系统中，在用户A使用声音输出单元34的情况下，信息处理装置110可以基于例如从声音输出单元34输出的声波的方向特性、音量或用户A的头部的位置之类的信息来确定用户A是否可以直接从外部听到与讲话相关联的声音。然后，信息处理装置110可以仅在确定用户A难以直接从外部听到与讲话相关联的声音的情况下才使通知通过声音输出被给出。信息处理装置110不仅可以打开/关闭声音输出，而且还可以调节通知声音的音量。
如以上所描述的，即使在根据本实施例的信息处理系统中，信息处理装置110也可以检测对在半封闭空间内部的用户A讲话的在半封闭空间外部的人的动作，并且指定讲话动作信息。另外，信息处理装置110基于所指定的讲话动作信息来执行对在半封闭空间内部的用户A的通知处理。相应地，内部的用户A可以理解对用户A讲话的情形。因此，用户A可以根据外部的人X的讲话状态来确定响应是否是必要的或者如何执行响应，并且因此可以改进用户A与对用户A讲话的人X之间的通信。
以上参照附图描述了本公开内容的(一个或多个)优选实施例，而本公开内容不限于以上示例。本领域技术人员可以在所附权利要求的范围内找到各种变更和修改，并且应当理解的是，它们将自然地落入本公开内容的技术范围内。
例如，在第一实施例中，已经描述HMD装置100和头戴式耳机装置30被采用为沉浸式感觉装置的示例，但是本公开内容的技术不限于该示例。例如，即使在将观看信息的信号直接传送至大脑并且能够实现虚拟现实的头戴型装置被用作沉浸式感觉装置的情况下，也可以应用本技术。在这种情况下，信息处理装置110也可以通过执行第一实施例中描述的处理来改进用户A与对用户A讲话的人之间的通信。
另外，本说明书中描述的效果仅仅是说明性或示例性的效果，而不是限制性的。也就是说，利用或代替以上效果，根据本公开内容的技术可以根据本说明书的描述实现本领域技术人员清楚的其他效果。
此外，本技术也可以被如下配置。
(1)一种信息处理装置，包括：
检测单元，其被配置成检测对用户讲话的周围人的讲话动作，所述用户使用在听觉上或视觉上限制来自周围的信息的装置；以及
指定单元，其被配置成在所述讲话动作被检测到的情况下基于监测出的周围信息来指定指示所述讲话动作的讲话动作信息。
(2)根据(1)所述的信息处理装置，
其中，所述监测出的周围信息包括声音信息和图像信息中的至少一个的信息。
(3)根据(1)或(2)所述的信息处理装置，包括：
内部通知控制单元，其被配置成基于所指定的讲话动作信息来控制向所述用户的通知。
(4)根据(3)所述的信息处理装置，
其中，所述内部通知控制单元对用作所指定的讲话动作信息的声音信息和图像信息中的至少一个的信息执行时移再现。
(5)根据(4)所述的信息处理装置，
其中，所述内部通知控制单元逐渐减小由所述时移再现引起的延迟时间，并且执行向实时的声音输出或图像显示的切换。
(6)根据(3)至(5)中任一个所述的信息处理装置，
其中，所述内部通知控制单元获取进行所述讲话动作的人的位置信息，并且基于所述位置信息和所述讲话动作信息来控制向所述用户的通知。
(7)根据(6)所述的信息处理装置，
其中，所述内部通知控制单元获取进行所述讲话动作的人的位置信息，并且使所述声音信息基于所述位置信息被输出。
(8)根据(6)或(7)所述的信息处理装置，
其中，所述内部通知控制单元使图像显示单元基于所述位置信息来显示地图。
(9)根据(3)至(8)中任一个所述的信息处理装置，
其中，所述内部通知控制单元减小所述用户正在使用的内容声音的音量，然后使得用作所指定的讲话动作信息的声音信息被输出。
10根据(3)至(9)中任一个所述的信息处理装置，
其中，所述装置包括具有噪声消除功能的头戴式耳机装置或插入式耳机装置，并且
所述内部通知控制单元抑制或停止所述噪声消除功能，然后使得用作所指定的讲话动作信息的声音信息被输出。
(11)根据(3)至(10)中任一个所述的信息处理装置，
其中，所述内部通知控制单元停止所述用户正在使用的内容，然后使通知被提供给所述用户。
(12)根据(11)所述的信息处理装置，
其中，所述内部通知控制单元在停止所述内容之前使预告操作被执行。
(13)根据(3)至(12)中任一个所述的信息处理装置，
其中，所述内部通知控制单元使周围图像被叠加显示在所述用户正在使用的内容图像上。
(14)根据(1)至(13)中任一个所述的信息处理装置，包括：
外部通知控制单元，其被配置成向所述周围人提供指示针对所述用户的通知控制的许可状态的通知。
(15)根据(14)或(15)所述的信息处理装置，
其中，所述外部通知控制单元在面向所述用户的方向的人被检测到时使得提供指示所述针对用户的通知控制的许可状态的通知。
(16)根据(14)所述的信息处理装置，
其中，所述外部通知控制单元使指示与所述讲话动作相关联的声音或图像的记录状态的通知被提供给所述周围人。
(17)根据(1)至(16)中任一个所述的信息处理装置，包括：
历史生成单元，其被配置成基于所指定的讲话动作信息来生成讲话历史信息。
(18)根据(17)所述的信息处理装置，
其中，所述讲话历史信息包括讲话时间、讲话时所使用的内容、进行所述讲话动作的人、讲话时的话语内容以及针对所述用户的通知控制的禁止状态中的至少一个的信息。
(19)一种信息处理方法，包括：
检测对下述用户讲话的周围人的讲话动作，所述用户使用在听觉上或视觉上限制来自周围的信息的装置；以及
在检测到所述讲话动作的情况下基于监测出的周围信息来指定指示所述讲话动作的讲话动作信息。
(20)一种程序，其使计算机执行以下功能：
检测对下述用户讲话的周围人的讲话动作，所述用户使用在听觉上或视觉上限制来自周围的信息的装置；以及
在检测到所述讲话动作的情况下基于监测出的周围信息来指定指示所述讲话动作的讲话动作信息。
附图标记列表
10 成像装置
30 头戴式耳机装置
32 声音收集单元
34 声音输出单元
50 显示装置
52 图像显示单元
56 外部通知单元
60A、60B、60C 头戴型成像装置
100 HMD装置
110 信息处理装置
120 集成控制单元

Claims (20)

1.一种信息处理装置，包括：
检测单元，其被配置成检测对用户讲话的周围人的讲话动作，所述用户使用在听觉上或视觉上限制来自周围的信息的装置；以及
指定单元，其被配置成在所述讲话动作被检测到的情况下基于监测出的周围信息来指定指示所述讲话动作的讲话动作信息。
2.根据权利要求1所述的信息处理装置，
其中，所述监测出的周围信息包括声音信息和图像信息中的至少一个的信息。
3.根据权利要求1所述的信息处理装置，包括：
内部通知控制单元，其被配置成基于所指定的讲话动作信息来控制向所述用户的通知。
4.根据权利要求3所述的信息处理装置，
其中，所述内部通知控制单元对用作所指定的讲话动作信息的声音信息和图像信息中的至少一个的信息执行时移再现。
5.根据权利要求4所述的信息处理装置，
其中，所述内部通知控制单元逐渐减小由所述时移再现引起的延迟时间，并且执行向实时的声音输出或图像显示的切换。
6.根据权利要求3所述的信息处理装置，
其中，所述内部通知控制单元获取进行所述讲话动作的人的位置信息，并且基于所述位置信息和所述讲话动作信息来控制向所述用户的通知。
7.根据权利要求6所述的信息处理装置，
其中，所述内部通知控制单元获取进行所述讲话动作的人的位置信息，并且使所述声音信息基于所述位置信息被输出。
8.根据权利要求6所述的信息处理装置，
其中，所述内部通知控制单元使图像显示单元基于所述位置信息来显示地图。
9.根据权利要求3所述的信息处理装置，
其中，所述内部通知控制单元减小所述用户正在使用的内容声音的音量，然后使得用作所指定的讲话动作信息的声音信息被输出。
10.根据权利要求3所述的信息处理装置，
其中，所述装置包括具有噪声消除功能的头戴式耳机装置或插入式耳机装置，并且
所述内部通知控制单元抑制或停止所述噪声消除功能，然后使得用作所指定的讲话动作信息的声音信息被输出。
11.根据权利要求3所述的信息处理装置，
其中，所述内部通知控制单元停止所述用户正在使用的内容，然后使通知被提供给所述用户。
12.根据权利要求11所述的信息处理装置，
其中，所述内部通知控制单元在停止所述内容之前使预告操作被执行。
13.根据权利要求3所述的信息处理装置，
其中，所述内部通知控制单元使周围图像被叠加显示在所述用户正在使用的内容图像上。
14.根据权利要求1所述的信息处理装置，包括：
外部通知控制单元，其被配置成向所述周围人提供指示针对所述用户的通知控制的许可状态的通知。
15.根据权利要求14所述的信息处理装置，
其中，所述外部通知控制单元在面向所述用户的方向的人被检测到时使得提供指示所述针对用户的通知控制的许可状态的通知。
16.根据权利要求14所述的信息处理装置，
其中，所述外部通知控制单元使指示与所述讲话动作相关联的声音或图像的记录状态的通知被提供给所述周围人。
17.根据权利要求1所述的信息处理装置，包括：
历史生成单元，其被配置成基于所指定的讲话动作信息来生成讲话历史信息。
18.根据权利要求17所述的信息处理装置，
其中，所述讲话历史信息包括讲话时间、讲话时所使用的内容、进行所述讲话动作的人、讲话时的话语内容以及针对所述用户的通知控制的禁止状态中的至少一个的信息。
19.一种信息处理方法，包括：
检测对下述用户讲话的周围人的讲话动作，所述用户使用在听觉上或视觉上限制来自周围的信息的装置；以及
在检测到所述讲话动作的情况下基于监测出的周围信息来指定指示所述讲话动作的讲话动作信息。
20.一种程序，其使计算机执行以下功能：
检测对下述用户讲话的周围人的讲话动作，所述用户使用在听觉上或视觉上限制来自周围的信息的装置；以及
在检测到所述讲话动作的情况下基于监测出的周围信息来指定指示所述讲话动作的讲话动作信息。
CN201680055269.7A 2015-09-29 2016-06-30 信息处理装置、信息处理方法和机器可读介质 Active CN108028957B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-191485 2015-09-29
JP2015191485A JP2017069687A (ja) 2015-09-29 2015-09-29 情報処理装置及び情報処理方法並びにプログラム
PCT/JP2016/069372 WO2017056604A1 (ja) 2015-09-29 2016-06-30 情報処理装置及び情報処理方法並びにプログラム

Publications (2)

Publication Number Publication Date
CN108028957A true CN108028957A (zh) 2018-05-11
CN108028957B CN108028957B (zh) 2021-10-08

Family

ID=58423097

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680055269.7A Active CN108028957B (zh) 2015-09-29 2016-06-30 信息处理装置、信息处理方法和机器可读介质

Country Status (4)

Country Link
US (1) US10712998B2 (zh)
JP (1) JP2017069687A (zh)
CN (1) CN108028957B (zh)
WO (1) WO2017056604A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108777827A (zh) * 2018-06-14 2018-11-09 Oppo广东移动通信有限公司 无线耳机、音量调整方法及相关产品
CN111326175A (zh) * 2020-02-18 2020-06-23 维沃移动通信有限公司 一种对话者的提示方法及穿戴设备
CN116033312A (zh) * 2022-07-29 2023-04-28 荣耀终端有限公司 耳机控制方法及耳机

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10695663B2 (en) * 2015-12-22 2020-06-30 Intel Corporation Ambient awareness in virtual reality
WO2018180024A1 (ja) * 2017-03-27 2018-10-04 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
CN110663021B (zh) * 2017-11-06 2024-02-02 谷歌有限责任公司 关注出席用户的方法和系统
JP7065353B2 (ja) * 2017-12-07 2022-05-12 パナソニックＩｐマネジメント株式会社 ヘッドマウントディスプレイ及びその制御方法
EP3495942B1 (en) * 2017-12-07 2023-05-24 Panasonic Intellectual Property Management Co., Ltd. Head-mounted display and control method thereof
JP7172041B2 (ja) * 2018-01-11 2022-11-16 富士フイルムビジネスイノベーション株式会社 音伝達装置及びプログラム
US10362385B1 (en) * 2018-03-05 2019-07-23 Harman International Industries, Incorporated Controlling perceived ambient sounds based on focus level
US10841533B2 (en) * 2018-03-23 2020-11-17 Raja Singh Tuli Telepresence system with virtual reality
US10627896B1 (en) * 2018-10-04 2020-04-21 International Business Machines Coporation Virtual reality device
US10679602B2 (en) * 2018-10-26 2020-06-09 Facebook Technologies, Llc Adaptive ANC based on environmental triggers
JP7263825B2 (ja) * 2019-02-19 2023-04-25 オムロン株式会社 情報処理装置、情報処理方法、および情報処理プログラム
WO2020178961A1 (ja) * 2019-03-04 2020-09-10 マクセル株式会社 ヘッドマウント情報処理装置
CN110286951A (zh) * 2019-06-28 2019-09-27 百度在线网络技术（北京）有限公司 一种免打扰的处理方法、装置及存储介质
JP2021090136A (ja) 2019-12-03 2021-06-10 富士フイルムビジネスイノベーション株式会社 情報処理システム及びプログラム
JP7388188B2 (ja) 2019-12-26 2023-11-29 株式会社リコー 発話者認識システム、発話者認識方法、及び発話者認識プログラム
JP7443877B2 (ja) 2020-03-25 2024-03-06 株式会社Ｊｖｃケンウッド 音声出力制御装置、音声出力システム、音声出力制御方法およびプログラム
JP7424156B2 (ja) 2020-03-25 2024-01-30 株式会社Ｊｖｃケンウッド コンテンツ出力制御装置、コンテンツ出力システム、コンテンツ出力制御方法およびプログラム
JP7447602B2 (ja) 2020-03-25 2024-03-12 株式会社Ｊｖｃケンウッド コンテンツ出力制御装置、コンテンツ出力システム、コンテンツ出力制御方法およびプログラム
US20220191305A1 (en) * 2020-12-11 2022-06-16 International Business Machines Corporation Identifying a voice command boundary
US20240127726A1 (en) * 2021-03-22 2024-04-18 Ntt Docomo, Inc. Display control device
GB2608997B (en) * 2021-07-15 2024-02-07 Sony Interactive Entertainment Inc Alert system and method for virtual reality headset
JP7150114B1 (ja) 2021-09-02 2022-10-07 株式会社ドワンゴ コミュニケーション支援システム、コミュニケーション支援方法、及びコミュニケーション支援プログラム
JP2023167168A (ja) 2022-05-11 2023-11-24 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US20230398435A1 (en) * 2022-05-27 2023-12-14 Sony Interactive Entertainment LLC Methods and systems for dynamically adjusting sound based on detected objects entering interaction zone of user
WO2024003988A1 (ja) * 2022-06-27 2024-01-04 日本電信電話株式会社 制御装置、制御方法、およびプログラム

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101690094A (zh) * 2007-06-28 2010-03-31 莱贝尔沃克斯有限责任公司 多媒体通信装置
EP2685735A1 (en) * 2012-07-10 2014-01-15 Samsung Electronics Co., Ltd Image display method and menu display method
CN103581803A (zh) * 2012-08-09 2014-02-12 罗技欧洲公司 智能周围声音监控系统
CN104012110A (zh) * 2011-12-23 2014-08-27 伯斯有限公司 通信头戴式受话器基于语音的增益控制
US20140270200A1 (en) * 2013-03-13 2014-09-18 Personics Holdings, Llc System and method to detect close voice sources and automatically enhance situation awareness
WO2014156389A1 (ja) * 2013-03-29 2014-10-02 ソニー株式会社 情報処理装置、提示状態制御方法及びプログラム
WO2014156388A1 (ja) * 2013-03-29 2014-10-02 ソニー株式会社 情報処理装置、通知状態制御方法及びプログラム
US9075435B1 (en) * 2013-04-22 2015-07-07 Amazon Technologies, Inc. Context-aware notifications
WO2015129966A1 (en) * 2014-02-27 2015-09-03 Lg Electronics Inc. Head mounted display providing closed-view and method of controlling therefor

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020141599A1 (en) * 2001-04-03 2002-10-03 Philips Electronics North America Corp. Active noise canceling headset and devices with selective noise suppression
JP2006151065A (ja) * 2004-11-26 2006-06-15 Denso Corp 車両用ナビゲーション装置及び車載システム
US9355641B2 (en) * 2011-12-06 2016-05-31 Kyungpook National University Industry-Academic Cooperation Monitoring device using selective attention model and method for monitoring same
US9401058B2 (en) * 2012-01-30 2016-07-26 International Business Machines Corporation Zone based presence determination via voiceprint location awareness
KR102052153B1 (ko) * 2013-02-15 2019-12-17 삼성전자주식회사 보청기를 제어하는 휴대 단말 및 방법
US9264824B2 (en) * 2013-07-31 2016-02-16 Starkey Laboratories, Inc. Integration of hearing aids with smart glasses to improve intelligibility in noise
US8874448B1 (en) * 2014-04-01 2014-10-28 Google Inc. Attention-based dynamic audio level adjustment
US9508335B2 (en) * 2014-12-05 2016-11-29 Stages Pcs, Llc Active noise control and customized audio system

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101690094A (zh) * 2007-06-28 2010-03-31 莱贝尔沃克斯有限责任公司 多媒体通信装置
CN104012110A (zh) * 2011-12-23 2014-08-27 伯斯有限公司 通信头戴式受话器基于语音的增益控制
EP2685735A1 (en) * 2012-07-10 2014-01-15 Samsung Electronics Co., Ltd Image display method and menu display method
CN103581803A (zh) * 2012-08-09 2014-02-12 罗技欧洲公司 智能周围声音监控系统
US20140270200A1 (en) * 2013-03-13 2014-09-18 Personics Holdings, Llc System and method to detect close voice sources and automatically enhance situation awareness
WO2014156389A1 (ja) * 2013-03-29 2014-10-02 ソニー株式会社 情報処理装置、提示状態制御方法及びプログラム
WO2014156388A1 (ja) * 2013-03-29 2014-10-02 ソニー株式会社 情報処理装置、通知状態制御方法及びプログラム
US9075435B1 (en) * 2013-04-22 2015-07-07 Amazon Technologies, Inc. Context-aware notifications
WO2015129966A1 (en) * 2014-02-27 2015-09-03 Lg Electronics Inc. Head mounted display providing closed-view and method of controlling therefor

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MARION SWITAL 等: "Object identification by retinitis pigmentosa patients in dim light, using a Head Mounted Display", 《INVESTIGATIVE OPHTHALMOLOGY & VISUAL SCIENCE》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108777827A (zh) * 2018-06-14 2018-11-09 Oppo广东移动通信有限公司 无线耳机、音量调整方法及相关产品
CN108777827B (zh) * 2018-06-14 2019-12-31 Oppo广东移动通信有限公司 无线耳机、音量调整方法及相关产品
CN111326175A (zh) * 2020-02-18 2020-06-23 维沃移动通信有限公司 一种对话者的提示方法及穿戴设备
CN116033312A (zh) * 2022-07-29 2023-04-28 荣耀终端有限公司 耳机控制方法及耳机
CN116033312B (zh) * 2022-07-29 2023-12-08 荣耀终端有限公司 耳机控制方法及耳机

Also Published As

Publication number Publication date
US20180260187A1 (en) 2018-09-13
JP2017069687A (ja) 2017-04-06
WO2017056604A1 (ja) 2017-04-06
US10712998B2 (en) 2020-07-14
CN108028957B (zh) 2021-10-08

Similar Documents

Publication Publication Date Title
CN108028957A (zh) 信息处理装置、信息处理方法和程序
US11726324B2 (en) Display system
CN105051653B (zh) 信息处理装置、通知状态控制方法以及程序
KR20220130808A (ko) 컴퓨터 생성 경험들을 제공하기 위한 디바이스들, 방법들 및 그래픽 사용자 인터페이스들
US10356398B2 (en) Method for capturing virtual space and electronic device using the same
KR102182605B1 (ko) 시선-기반 미디어 선택 및 편집을 위한 시스템들 및 방법들
CN109564749A (zh) 图像显示系统、以及头戴式显示器的控制装置及其工作方法和工作程序
WO2014156389A1 (ja) 情報処理装置、提示状態制御方法及びプログラム
JP2018124733A (ja) 電子機器、情報処理方法およびプログラム
US20210081047A1 (en) Head-Mounted Display With Haptic Output
CN106067833A (zh) 移动终端及其控制方法
WO2018216402A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US11328187B2 (en) Information processing apparatus and information processing method
US20240153205A1 (en) Devices, Methods, and Graphical User Interfaces for Providing Computer-Generated Experiences
US20240103608A1 (en) Devices, Methods, and Graphical User Interfaces for Providing Computer-Generated Experiences
US20230306695A1 (en) Devices, methods, and graphical user interfaces for three-dimensional user experience sessions in an extended reality environment
US20240103616A1 (en) User interfaces for gaze tracking enrollment
WO2024053032A1 (ja) 軽度認知障害のスクリーニングシステム
WO2024064372A1 (en) Devices, methods, and graphical user interfaces for providing computer-generated experiences
KR20220002583A (ko) 증강 현실에서의 사용자 참여 인디케이터 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant