CN105051653A - 信息处理装置、通知状态控制方法以及程序 - Google Patents

信息处理装置、通知状态控制方法以及程序 Download PDF

Info

Publication number
CN105051653A
CN105051653A CN201480017465.6A CN201480017465A CN105051653A CN 105051653 A CN105051653 A CN 105051653A CN 201480017465 A CN201480017465 A CN 201480017465A CN 105051653 A CN105051653 A CN 105051653A
Authority
CN
China
Prior art keywords
information
user
external information
external
necessary degree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480017465.6A
Other languages
English (en)
Other versions
CN105051653B (zh
Inventor
井元麻紀
泉原厚史
井原宏二
川田繁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN105051653A publication Critical patent/CN105051653A/zh
Application granted granted Critical
Publication of CN105051653B publication Critical patent/CN105051653B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0132Head-up displays characterised by optical features comprising binocular systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0141Head-up displays characterised by optical features characterised by the informative content of the display

Abstract

[问题]为了使得用户与“外部世界”中的人之间能够更顺畅地进行交流。[解决方案]提供有一种信息处理装置,该信息处理装置配备有:必要程度确定部,该必要程度确定部用于基于指示与用户周围的“外部世界”有关的状况的外部信息来确定将外部信息通知给用户的必要程度;以及通知状态控制部,该通知状态控制部用于基于确定的必要程度来切换用于将外部信息通知给用户的通知状态。

Description

信息处理装置、通知状态控制方法以及程序
技术领域
本公开内容涉及信息处理装置、通知状态控制方法以及程序。
背景技术
近来,作为用于实现虚拟现实(VR)技术和增强现实(AR)技术的装置,头戴式显示(HMD)装置已经得到了发展,在虚拟现实(VR)技术中,用户被提供以虚拟图像,如同他们处于真实事件中一样,在增强现实(AR)技术中,以在真实图像上叠加各种类型的信息的方式显示真实图像。
当用户穿戴有HMD装置时,HMD装置的显示屏位于他或她的眼睛的前方,并且存在着通过其可以在显示屏上看见外部状态的透视HMD装置以及显示屏阻挡用户的视野的非透视HMD装置。虽然通过透视HMD装置可以容易地观察外部状态,但是因为用户受外部环境的光等的影响,使用这样的装置难以获得沉浸在显示屏的显示中的感觉。另一方面,由于非透视HMD装置对用户阻挡了外部视觉信息,所以当用户想要集中精力收听和察看内容、集中精力进行工作等时,认为非透视HMD装置更好一些。例如,专利文献1公开了与下述非透视HMD装置有关的技术:所述非透视HMD装置可以通过防止污染物(例如污垢或尘土)进入安装有显示屏的透镜镜筒来显示更满意的图像。
引用列表
专利文献
专利文献1:JPH9-90268A
发明内容
技术问题
虽然进行各种工作的用户穿戴非透视HMD装置可以集中精力进行工作,但是他或她难以洞悉外部状况。此外,当用户与非透视HMD装置一起戴有耳机、头戴式听筒等时,甚至更难以洞悉外部状况。因此,即使当意图与穿戴非透视HMD装置的用户进行交流的外部的人靠近用户或者开始向用户说话时,该用户也难以察觉到该意图。因此,当外部的人意图进行交流时,外部的人需要与穿戴非透视HMD装置的用户进行物理接触,例如触摸用户的身体。存在以下可能性:这样突然的物理接触使得在穿戴非透视HMD装置的情况下正集中精力进行他或她的工作的用户不舒服或受惊吓,并且妨碍舒适的使用。
因此,在穿戴非透视HMD装置的用户与外部的人之间需要更顺畅地进行交流。因此,本公开内容提出了使用户与外部的人能够顺畅地进行交流的信息处理装置、通知状态控制方法以及程序。
问题的解决方案
根据本公开内容,提供有一种信息处理装置,该信息处理装置包括:必要程度确定单元,该必要程度确定单元被配置成基于指示用户的外部状况的外部信息来确定将外部信息通知给用户的必要程度;以及通知状态控制单元,该通知状态控制单元被配置成基于确定的必要程度来切换针对用户的外部信息的通知状态。
根据本公开内容,提供有一种通知状态控制方法,该方法包括:基于指示用户的外部状况的外部信息来确定将外部信息通知给用户的必要程度;以及基于确定的必要程度来切换针对用户的外部信息的通知状态。
根据本公开内容,提供有一种使得计算机实现下述功能的程序:基于指示用户的外部状况的外部信息来确定将外部信息通知给用户的必要程度的功能;以及基于确定的必要程度来切换针对用户的外部信息的通知状态的功能。
根据本公开内容,必要程度确定单元基于指示用户的外部状况的外部信息来确定将外部信息通知给用户的必要程度。此外,通知状态控制单元基于确定的必要程度来切换针对用户的外部信息的通知状态。由于以这种方式确定将外部信息通知给用户的必要程度并且基于确定的必要程度来进行外部信息的通知,所以用户可以识别出已经检测到外部信息并且可以对外部信息适当地作出反应。
本发明的有益效果
根据上述本公开内容,用户与外部的人可以更顺畅地进行交流。
附图说明
图1A是示出根据本公开内容的第一实施方式的非透视HMD的外观的示例的立体图;
图1B是示出根据本公开内容的第一实施方式的非透视HMD的外观的示例的立体图;
图2是示出根据本公开内容的第一实施方式的非透视HMD装置的配置的示例的功能性框图;
图3是用于描述根据实施方式由必要程度确定单元确定外部信息的通知的必要程度的方法的示例的说明图;
图4A是用于描述在必要程度为高时通知状态控制单元对通知状态的控制的具体示例的说明图;
图4B是用于描述在必要程度为高时通知状态控制单元对通知状态的控制的具体示例的说明图;
图4C是用于描述在必要程度为高时通知状态控制单元对通知状态的控制的具体示例的说明图;
图4D是用于描述在必要程度为高时通知状态控制单元对通知状态的控制的具体示例的说明图;
图4E是用于描述在必要程度为高时通知状态控制单元对通知状态的控制的具体示例的说明图;
图5是用于描述在必要程度为中时通知状态控制单元的通知状态控制的具体示例的说明图;
图6A是用于描述在必要程度为低时通知状态控制单元的通知状态控制的具体示例的说明图;
图6B是用于描述在必要程度为低时通知状态控制单元的通知状态控制的具体示例的说明图;
图6C是用于描述在必要程度为低时通知状态控制单元的通知状态控制的具体示例的说明图;
图7是示出根据本公开内容的第一实施方式的通知状态控制方法的处理步骤的流程图;
图8A是示出根据本公开内容的第二实施方式的非透视HMD装置的外观的示例的立体图;
图8B是示出根据本公开内容的第二实施方式的非透视HMD装置的外观的示例的立体图;
图9是示出根据本公开内容的第二实施方式的非透视HMD装置的配置的示例的功能性框图;
图10A是用于描述在还未将外部信息通知给用户时由呈现状态控制单元控制外部呈现单元的显示屏的具体示例的说明图;
图10B是用于描述在还未将外部信息通知给用户时由呈现状态控制单元控制外部呈现单元的显示屏的具体示例的说明图;
图11是用于描述由呈现状态控制单元基于用户的视线信息来控制外部呈现单元的显示屏的具体示例的说明图;
图12A是用于描述由呈现状态控制单元基于用户的视线信息来控制外部呈现单元的显示屏的另一具体示例的说明图;
图12B是用于描述由呈现状态控制单元基于用户的视线信息来控制外部呈现单元的显示屏的另一具体示例的说明图;
图13是用于描述通知状态控制单元的通知状态控制与呈现状态控制单元的呈现状态控制之间的联系的具体示例的说明图;
图14是用于描述通知状态控制单元的通知状态控制与呈现状态控制单元的呈现状态控制之间的联系的具体示例的说明图;
图15是示出根据本公开内容的第二实施方式的呈现状态控制方法的处理步骤的流程图;以及
图16是示出根据本公开内容的第一实施方式和第二实施方式的非透视HMD装置的硬件配置的功能性框图。
具体实施方式
在下文中,将参照附图详细描述本公开内容的优选实施方式。注意,在本说明书和附图中,使用相同的附图标记表示具有基本上相同的功能和结构的元件,并且省略重复说明。
将按照以下顺序来给出描述。
1.第一实施方式
1-1.非透视HMD装置的外观
1-2.非透视HMD装置的配置
1-3.通知状态的具体示例
1-3-1.高必要程度的情况
1-3-2.中必要程度的情况
1-3-3.低必要程度的情况
1-4.通知状态控制方法的处理步骤
2.第二实施方式
2-1.非透视HMD装置的外观
2-2.非透视HMD装置的配置
2-3.呈现状态的具体示例
2-4.通知状态和呈现状态的具体示例
2-5.呈现状态控制方法的处理步骤
3.硬件配置
4.结论
<1.第一实施方式>
[1-1.非透视HMD装置的外观]
首先,将参照图1A和图1B描述根据本公开内容的第一实施方式的非透视HMD装置的外观的示例。图1A和图1B是示出根据本公开内容的第一实施方式的非透视HMD装置的外观的示例的立体图。应当注意,在以下描述中,当假设用户穿戴有非透视HMD装置时,将非透视HMD装置面对用户的一侧称为内部或内部侧,并且将非透视HMD装置不面对用户的一侧称为外部或外部侧。
图1A示出当从外部侧观察时根据第一实施方式的非透视HMD10的立体图。此外,图1B是示出当从内部侧观察时根据第一实施方式的非透视HMD10的立体图。参照图1A和图1B,非透视HMD10具有主体部分310和带状部分320。主体部分310为类似护目镜的形状,并且在用户穿戴该装置时,主体部分310位于他或她的眼睛的前方,并且主体部分310对用户的视野阻挡外部。主体部分310具有与驱动非透视HMD装置10有关的各种功能,例如处理各种类型的信息并且全面地控制非透视HMD10的驱动的控制单元、将各种类型的信息以视觉的形式通知给用户的显示单元等。带状部分320为围绕用户的头穿戴以将主体部分310固定在用户眼睛的前方的条形构件。带状部分320的长度、角度等可以调节,使得主体部分310的位置被固定在用户眼睛的前方。
参照图1A,在主体部分310的外部侧上设置有相机311和麦克风312。相机311以动态图像或静态图像的形式捕获用户的外部状态。此外,麦克风312记录用户的外部状态的声音。由相机311捕获的图像的图像信息和由麦克风312记录的声音的声音信息被传送给主体部分310的控制单元。在以下描述中,将指示用户的外部状况的信息例如以上提及的图像信息和声音信息称为外部信息。如上所述,相机311和麦克风312具有检测外部信息的功能。应当注意,相机311和麦克风312可以随时检测外部信息,或者当外部信息已经变化时,可以检测变化的外部信息。当外部信息发生变化时,例如,在图像信息的情况下该变化可以是包括在相机311的帧内的人或对象的变化或者在声音信息的情况下可以是由麦克风312记录的声音的变化。
参照图1B,在主体部分310的内部侧上设置有内部显示单元313a和313b以及视线传感器单元314a和314b。当用户穿戴有非透视HMD装置10时,内部显示单元313a和313b被设置在用户的眼前的位置处,并且以各种形式例如图像、文本、图表和表格将各种类型的信息显示在显示屏上,从而以视觉的形式将信息通知给用户。在图1B所示的示例中,内部显示单元313a和313b被设置在与用户的左眼和右眼对应的位置处,并且可以向用户提供三维图像(3D图像)。用户可以在参照内部显示单元313a和313b的显示屏的同时欣赏例如电影等的内容或者可以使用文字处理软件、电子表格软件等来进行各种工作。此外,内部显示单元313a和313b的显示屏被设计成不能透过外部状态而观察,并且内部显示单元313a和313b对穿戴非透视HMD装置10的用户的视野阻挡外部空间。因此,用户可以集中精力在内部显示单元313a和313b的显示屏上所显示的信息,并且可以沉浸在他或她的工作中。应当注意,虽然已经描述了非透视HMD装置10具有一对内部显示单元即内部显示单元313a和313b的情况,但本实施方式不限于此。非透视HMD装置10可以具有包括一个显示屏的内部显示单元。
视线传感器单元314a和314b是检测用户眼睛的状态的传感器装置。在本文中,眼睛的状态可以是与用户的眼睛有关的任何状态,例如眼睑的张开和闭合的状态、瞳孔的状态以及视线的状态。在图1B所示的示例中,视线传感器单元314a和314b被设置在与用户的左眼和右眼对应的位置处,并且每个视线传感器单元可以检测用户的左眼和右眼中的一个的状态。由视线传感器单元314a和314b检测到的与用户眼睛的状态有关的信息(在下文中,称为视线信息)被传送至主体部分310的控制单元。在以下描述中,将与用户有关的信息称为内部信息。在本实施方式中,内部信息包括指示用户的状态的信息(在下文中,称为用户信息)和/或与被通知给用户的外部信息不同的信息(在下文中,称为内容信息)。视线信息包括在用户信息中,并且因此,视线传感器单元314a和314b具有检测内部信息的功能。应当注意,以下将参照图2来描述内部信息的细节。此外,视线传感器单元314a和314b可以随时检测内部信息,并且当内部信息发生变化时,可以检测变化的内部信息。
此外,虽然在图1A和图1B中未示出,但是非透视HMD装置10可以具有通过其以听觉的方式将各种类型的信息通知给用户的音频输出单元例如耳机装置或扬声器装置。此外,非透视HMD装置10可以具有用于检测用户信息的各种传感器装置,例如加速度传感器装置、全球定位系统(GPS)传感器装置和生物传感器装置,并且使用这些传感器,可以将指示用户的运动的运动信息、用户的位置信息、用户的生物信息等检测为内部信息。
以上参照图1A和图1B描述了根据本公开内容的第一实施方式的非透视HMD装置10的外观的示例。如上所述,非透视HMD装置10具有用于检测外部信息的配置,例如相机311和麦克风312。此外,非透视HMD装置10具有用于检测内部信息的配置,例如视线传感器单元314a和314b。另外,非透视HMD装置10具有用于将各种类型的信息通知给用户的配置,例如内部显示单元313a和313b以及音频输出单元。此外,在第一实施方式中,设置在主体部分310中的控制单元基于所检测的外部信息来确定将外部信息通知给用户的必要程度,从而基于必要程度来切换针对用户的外部信息的通知状态。例如,控制单元可以通过将信息显示在内部显示单元313a和313b中来将外部信息通知给用户,或者可以通过根据必要程度分阶段将信息显示在内部显示单元313a和313b中来将外部信息通知给用户。此处,将信息通知给用户可以包括通过将信息作为图像显示在内部显示单元313a和313b的显示屏上从而以视觉的形式将信息通知给用户,或者通过将信息作为声音从音频输出单元输出从而以听觉的方式将信息通知给用户。如上所述,非透视HMD装置10还可以被认为是控制针对用户的各种类型信息的通知状态的通知状态控制装置。在以下描述中,将由非透视HMD装置10进行的通知状态控制的一系列处理称为通知状态控制处理。此外,由于由非透视HMD装置10来进行通知状态控制处理的各种信息处理,所以在以下描述中,也将非透视HMD装置10称为信息处理装置10。
[1-2.非透视HMD装置的配置]
接着,将参照图2描述根据本公开内容的第一实施方式的非透视HMD装置10的配置。图2是示出根据本公开内容的第一实施方式的非透视HMD装置10的配置的示例的功能性框图。参照图2,根据第一实施方式的非透视HMD装置10包括外部信息检测单元110、内部信息检测单元120、内部通知单元130和控制单元140。
外部信息检测单元110检测指示用户的外部状况的外部信息。外部信息检测单元110与例如图1A所示的相机311和麦克风312对应。
在此处,将详细描述外部信息。外部信息为如上所述的指示用户的外部状况的信息,并且外部信息包括用户外部的各种类型的信息。例如,外部信息可以是指示用户的外部状况的图像信息、声音信息等。应当注意,外部信息可以不仅包括与使用可见光的图像有关的图像信息,还包括与使用其他波段的光例如红外光等的图像有关的图像信息。此外,外部信息可以包括指示用户的外部环境的各种类型的信息,例如关于用户附近的对象的距离信息、用户附近的对象的温度信息等。更具体地,外部信息包括例如指示外部的人正在靠近用户的信息、指示外部的人已经开始与用户谈话(开始说话)的信息和/或包括在图像信息中的与外部的人的运动(姿势)有关的信息。此外,外部信息包括例如与由外部的人所说的内容有关的信息和/或包括在声音信息中的与警报器或蜂鸣器的警告声音有关的信息。另外,当非透视HMD装置10具有与另一外部装置交换信息的通信单元时,外部信息可以包括通过通信单元检测到的与其他装置有关的信息(在下文中,称为装置信息)。装置信息包括例如用于指定拥有所述其他装置的人的ID信息。如上所述,外部信息可以包括指示用户的外部状况的各种类型的信息,例如指示用户的外部状况的图像信息、指示用户的外部状况的声音信息和/或通过与用户外部的另一装置进行通信而获取的装置信息。
外部信息检测单元110被配置成如上所述的检测各种外部信息的装置。例如,外部信息检测单元110具有用于获取图像信息的图像捕获装置(例如相机)、用于获取声音信息的声音记录装置(例如麦克风)和/或用于获取装置信息的通信装置。此外,外部信息检测单元110可以具有检测外部环境的各种传感器装置,例如红外传感器装置、距离传感器装置、温度传感器装置等。外部信息检测单元110将所检测的外部信息传送至控制单元140。
内部信息检测单元120检测作为与用户有关的信息的内部信息。内部信息检测单元120与例如图1B所示的视线传感器单元314a和314b对应。
此处将详细描述内部信息。内部信息为如上所述的与用户有关的信息,并且与穿戴非透视HMD装置10的用户有关的各种类型的信息包括在内部信息中。在本实施方式中,内部信息包括指示用户的状态的信息(用户信息)和/或与被通知给用户的外部信息不同的信息(内容信息)。
用户信息包括指示用户的运动的运动信息、用户的位置信息、用户的生物信息和与用户的行动日程有关的信息中的至少任何一个。运动信息是例如由检测对象的运动或姿态的传感器装置(例如加速度传感器装置或陀螺传感器装置)检测到的指示用户的运动(例如,站、坐、走等)或用户的姿态(例如,头的倾斜)的信息。位置信息是例如由检测对象的位置的传感器装置(例如GPS传感器装置)检测到的指示用户的位置(例如,在工作中、在家、在火车上等)的信息。生物信息是与用户的生理活动有关的指示用户的脉搏、心跳、呼吸速率、眼睛的状态等的各种类型的信息。以上在[1-1.非透视HMD装置的外观]中描述的视线信息包括在生物信息中。与用户的行动日程有关的信息是例如从记录在非透视HMD装置10的可访问记录介质上的用户的日程信息获取的、包括指示例如特定时间是用户的工作时间还是用户的休息时间等的信息的信息。
内容信息是如上所述的与通知给用户的外部信息不同的信息。如此,在本实施方式中,通知给用户的信息可以是外部信息和/或内容信息,并且对通知状态的控制可以是控制切换被通知给用户的这样的信息。例如,内容信息包括:电影、电视节目等的动态运动信息;与使用文字处理软件、电子表格软件等进行的工作有关的信息;或者使用浏览器软件查看的网站上的信息。如上所述,内容信息可以是在用户在穿戴非透视HMD装置10(非透视HMD装置10)的情况下进行各种处理时通知给该用户的信息。在以下描述中,将内容信息通知给用户并且用户基于内容信息进行各种处理的状态也被称为用户正在工作的状态。
内部信息检测单元120被配置成如上所述的检测各种类型的内部信息的装置。例如,内部信息检测单元120具有用于获取各种类型的用户信息的加速度传感器装置、陀螺传感器装置、GPS传感器装置、生物传感器装置等。此外,内部信息检测单元120具有例如用于检测各种类型的内容信息的配置,即,用于检测与已经通知给用户的信息中的外部信息不同的信息的配置。内部信息检测单元120将所检测到的外部信息传送至控制单元140。
由控制单元140控制内部通知单元130的驱动,并且内部通知单元130以各种形式将各种类型的信息通知给用户。此处,信息针对用户的通知包括视觉通知和听觉通知。例如,内部通知单元130具有显示屏,该显示屏用于以图像、文本、图表、表格等各种形式将各种类型的信息显示在显示屏上,并且从而以视觉的形式将信息通知给用户。此外,内部通知单元130具有例如音频输出装置诸如扬声器或耳机,该音频输出装置用于将各种类型的信息作为声音从音频输出装置输出,并且从而以听觉的形式将信息通知给用户。如上所述,内部通知单元130可以用作将各种类型的信息显示在显示屏上的显示单元,并且用作将各种类型的信息作为声音输出的音频输出单元。
内部通知单元130例如显示单元的配置是例如图1B所示的内部显示单元313a和313b的配置。内部通知单元130通过将作为包括在内容信息中的图像信息的内容图像显示在显示屏上来将内容信息通知给用户。此外,由控制单元140来控制内部通知单元130的驱动,并且内部通知单元130通过将作为包括在外部信息中的图像信息的外部图像显示在显示屏上来将外部信息通知给用户。应当注意,内部通知单元130可以将内容图像和外部图像中的仅一个显示在显示屏上,或者可以将内容图像和外部图像二者都显示在显示屏上。
此外,当内部通知单元130具有如音频输出单元的配置时,内部通知单元130通过输出作为包括在内容信息中的声音信息的内容声音来将内容信息通知给用户。此外,由控制单元140来控制内部通知单元130的驱动,并且内部通知单元130通过输出作为包括在外部信息中的声音信息的外部声音来将外部信息通知给用户。应当注意,内部通知单元130可以输出内容声音和外部声音中的仅一个,或者可以输出内容声音和外部声音二者。
控制单元140全面地控制非透视HMD装置10,并且进行根据本实施方式的通知状态控制处理的各个信息处理。以下将详细描述控制单元140的功能和配置。
控制单元140具有必要程度确定单元141、通知状态控制单元142和内部信息获取单元143。
必要程度确定单元141基于指示用户的外部状况的外部信息来确定将外部信息通知给用户的必要程度。具体地,必要程度确定单元141获取由外部信息检测单元110检测到的外部信息,并且基于外部信息来确定将外部信息通知给用户的必要程度(通知的必要程度)。在这种方式下,必要程度确定单元141对所获取的外部信息的内容进行分析,并且从而可以基于内容来确定必要程度。例如,可以准备其中外部信息的类型与必要程度相关联的表格,并且必要程度确定单元141可以通过参照表格来确定必要程度。此外,可以对每种类型的外部信息分配预先决定的分数,并且必要程度确定单元141可以通过计算所检测到的外部信息的分数来确定必要程度。
此处,将参照图3描述由必要程度确定单元141确定外部信息的通知的必要程度的方法的示例。图3是用于描述根据本实施方式由必要程度确定单元141确定外部信息的通知的必要程度的方法的示例的说明图。应当注意,图3所示的示例与使用以上提及的表格的方法对应。
参照图3,在表格的最顶行和最左列中列出外部信息的类型,并且根据外部信息的组合来决定必要程度。在最顶行中,将“人靠近”、“人说话”、“特定姿势”和“装置间通信”描述为外部信息的示例。“人靠近”和“特定姿势”是从包括在外部信息中的图像信息获取的信息,意指外部的人正在靠近穿戴非透视HMD装置10的用户并且对该用户做出特定姿势。特定姿势是指示意图与用户进行交流的标志,例如朝向用户伸出手臂、挥手等。“人说话”是从包括在外部信息中的声音信息获取的信息,意指外部的人已经开始与穿戴非透视HMD装置10的用户进行谈话。“装置间通信”是从包括在外部信息中的装置信息获取的信息,意指具有可以与非透视HMD装置10进行通信的设备(装置)的外部的人正在靠近用户或者处于可以通信的预定范围内。
在最左列中,将“熟人”和“陌生人”描述为外部信息的示例。“熟人”和“陌生人”基于在最顶行中列出的外部信息来指示用户与正在靠近用户的人、朝向用户做出姿势的人以及正在向用户说话的人是否熟悉。当外部信息包括装置信息时,例如,可以基于指示其他装置的所有者的包括在装置信息中的ID信息来确定用户与该人是否熟悉。此外,当外部信息包括图像信息并且图像信息包括外部的人的脸的图像时,例如,可以基于脸的图像来识别该人,从而确定用户与该人是否熟悉。
在图3所示的示例中,通过三个级别即“高”、“中”和“低”来确定必要程度。参照图3,当获取“人说话”或“特定姿势”作为外部信息时,例如,必要程度确定单元141将外部信息的必要程度确定为“高”,而与用户与进行这样动作的外部的人是否熟悉无关。这是因为,当外部的人已经对用户说话或者作出特定姿势时,认为已经进行了该动作的人具有与用户交流的明确意图。
此外,例如,当获取“人靠近”或“装置间通信”作为外部信息时,必要程度确定单元141在用户与进行该动作的外部的人熟悉的情况下将外部信息的必要程度确定为“中”,并且在用户与进行该动作的外部的人不熟悉的情况下将外部信息的必要程度确定为“低”。这样的一个原因在于,即使当外部的人已经靠近用户并且获取“用户靠近”或“装置间通信”作为外部信息时,认为存在着进行该动作的外部的人碰巧或出于其他目的经过用户的可能性。此外,另一原因在于,存在着在外部的人是用户熟悉的人的情况下外部的人出于交流目的已经靠近用户的高可能性,以及在外部的人是用户不熟悉的人的情况下外部的人走开而没有与用户进行交流的高可能性。
此外,虽然在图3中未示出,但是当外部信息中包括特殊信息时,必要程度确定单元141可以把将外部信息通知给用户的必要程度确定为“高”。特殊信息是指指示紧急状态例如警报器、警告、人的呼喊等的外部信息。由于需要将指示紧急状态的这样的外部信息可靠地通知给用户,所以必要程度确定单元141将必要程度确定为“高”。应当注意,可以由用户适当地设置用作特殊信息的特定信息。因此,用户可以针对特殊的外部信息任意地设置通知的必要程度。
以上参照图3描述了由必要程度确定单元141确定外部信息的通知的必要程度的方法的示例。当检测到多条外部信息时,必要程度确定单元141可以根据如上所述的外部信息的组合来确定将外部信息通知给用户的必要程度。此外,必要程度确定单元141可以基于从外部信息获得的各种类型的信息来确定必要程度,例如基于装置信息指定装置的所有者或者基于包括在图像信息中的脸的图像指定外部的人。应当注意,可以由必要程度确定单元141或由外部信息检测单元110进行从这样的外部信息获得各种类型的信息的处理,并且然后可以将所获得的信息作为外部信息的一部分传送给必要程度确定单元141。
应当注意,由必要程度确定单元141进行的必要程度的确定方法不限于图3所示的示例。虽然在图3所示的示例中将必要程度确定为三个级别中的一个,但是用于划分必要程度的级别的数目不限于3,并且可以是更小或更大的数。此外,必要程度确定单元141可以例如以对图3所示的外部信息(“人靠近”、“人说话”、“特定姿势”、“装置间通信”、“熟人”和“陌生人”)中的每条外部信息分配指示必要程度的分数并且将分配至多条检测到的外部信息的分数相加在一起的这样的方式来计算必要程度。
此外,当基于外部信息中包括的图像信息的外部的人的脸的图像、外部信息中包括的装置信息的外部的人的ID信息等将意图与用户进行交流的人指定为个体时,例如,必要程度确定单元141可以根据该人来确定必要程度。例如,当意图与用户进行交流的人是与用户具有业务关系的人,例如用户公司的工作搭档或老板或者来自另一公司的与用户在业务上见过面的人时,认为存在着该人意图进行的交流也与业务有关的高可能性,并且因此,必要程度确定单元141可以将其必要程度确定为高。此外,当意图与用户进行交流的人是与用户具有私人关系的人,例如用户的朋友或家庭成员时,认为存在着该人意图进行的交流也与私人事件有关的高可能性,并且因此,必要程度确定单元141可以将其必要程度确定为中或低。应当注意,可以基于存储在例如非透视HMD装置10的存储单元(未示出)或者由用户所有的可以与非透视HMD装置10进行通信的另一装置(例如,移动电话、个人计算机(PC)等)中的指示用户的社交关系的信息来确定与意图和用户进行交流人的关系。指示用户的社交关系的信息可以是存储在非透视HMD装置10和用户所有的另一装置中的用户的电话本或地址簿的信息或者用户所属的社交网络服务(SNS)上的朋友的登记信息。
返回图2,将继续对非透视HMD装置10的配置进行描述。必要程度确定单元141将所确定的必要程度和由外部信息检测单元110检测到的外部信息传送至通知状态控制单元142。
通知状态控制单元142基于由必要程度确定单元141确定的必要程度来切换外部信息针对用户的通知状态。此处,将信息通知给用户可以包括通过将信息作为图像显示在内部通知单元130的显示屏上从而以视觉的形式将信息通知给用户,或者通过将信息作为声音从内部通知单元130的音频输出单元输出从而以听觉的形式将信息通知给用户。此外,控制通知状态可以包括控制内部通知单元130的驱动和控制要切换的通知给用户的信息的通知状态。例如,假设的是,在工作期间,内部通知单元130的显示屏上显示有内容图像,从内部通知单元130的音频输出单元输出有内容声音,并且用户在参照通知给他或她的内容信息的同时进行各种工作。在这种状态下,当外部信息检测单元110检测外部信息时,通知状态控制单元142基于由必要程度确定单元141确定的针对用户的外部信息的通知必要程度来切换针对用户的该信息的通知状态。具体地,在本实施方式中,通知状态控制单元142通过基于必要程度来控制内部通知单元130的显示屏的显示并且/或者控制内部通知单元130的音频输出单元的输出,来切换针对用户的外部信息的通知状态。
此处,通知状态控制单元142需要确定必要程度的级别或高度,以便切换通知状态。例如,通知状态控制单元142可以基于通过将由必要程度确定单元141确定的必要程度与预定阈值进行比较而获得的结果,通过确定必要程度的级别或高度来切换针对用户的外部信息的通知状态。例如,当必要程度等于或高于第一阈值时,通知状态控制单元142可以将必要程度确定为高。此外,当必要程度低于第一阈值并且等于或高于比第一阈值更低的第二阈值时,例如,通知状态控制单元142可以将必要程度确定为中。另外,当必要程度低于第二阈值时,例如,通知状态控制单元142可以将必要程度确定为低。然而,用于确定必要程度的高度的条件不限于以上示例,并且可以由用户适当地改变。例如,可以由用户适当地调节将用于限定阈值的数目(即,必要程度的级别的数目)以及第一阈值和第二阈值的特定值和范围的表述“等于或高于”和“低于”改变成表述“超过”和“等于或低于”等。应当注意,当由如图3所示的若干级别来表达必要程度时,例如,通知状态控制单元142可以在不与阈值进行比较的情况下基于与从必要程度确定单元141传送的必要程度有关的信息来确定必要程度属于什么级别。
应当注意,虽然在以下描述中为了方便起见,使用表述“高”、“中”和“低”以便示出由必要程度确定单元141确定的必要程度的级别或高度,但是这些表述可以基于如上所述的与预定阈值(例如,第一阈值和第二阈值)的比较结果,或者可以指示如图3所示的示例中的必要程度的级别。
例如,当由必要程度确定单元141确定的必要程度为“高”时(例如,当必要程度等于或高于第一阈值时),通知状态控制单元142使得将外部信息通知给用户。具体地,当由必要程度确定单元141确定的必要程度为“高”时,通知状态控制单元142使得将外部信息直接通知给用户。应当注意,将外部信息直接通知给用户意味着在没有中间步骤(即没有另外的屏幕的显示、声音的输出等)的情况下将外部信息通知给用户。作为将外部信息直接通知给用户的具体示例,例如,通知状态控制单元142可以将内部通知单元130的显示屏的显示和声音的输出从内容图像和内容声音切换至外部图像和外部声音。此外,例如,通知状态控制单元142可以将内容信息和外部信息二者都通知给内部通知单元130。也就是说,可以将内容图像和外部图像二者都显示在内部通知单元130的显示屏上,并且可以从内部通知单元130的音频输出单元输出内容声音和外部声音二者。另外,当内容图像和外部图像二者均显示在内部通知单元130的显示屏上时,可以将显示屏划分成其上显示有相应图像的两个部分,或者可以通过将外部图像叠加在内容图像上来对外部图像进行显示。
此外,当由必要程度确定单元141确定的必要程度为“中”时(例如,当必要程度低于第一阈值并且等于或高于比第一阈值更低的第二阈值时),通知状态控制单元142使得分阶段将外部信息通知给用户。作为分阶段将外部信息通知给用户的具体示例,例如,如果外部信息是指示用户的外部状况的图像信息和声音信息,则通知状态控制单元142可以使得通过将声音信息叠加在内容信息上来通知声音信息,并且然后使得通过叠加图像信息来通知图像信息。也就是说,虽然通知状态控制单元142将内容图像和内容声音显示和输出给边工作边观看内容图像和收听内容声音的用户,但是通知状态控制单元可以首先使得仅叠加并输出外部信息的外部声音,并且然后使得叠加和显示外部图像。
此外,当由必要程度确定单元141确定的必要程度为“低”时(例如,当必要程度低于第二阈值时),例如,通知状态控制单元142使得将指示已经检测到外部信息的预定信息通知给用户。也就是说,通知状态控制单元142可以使得仅将已经检测到外部信息的事实通知给边工作边观看内容图像和收听内容声音的用户,而不是像通过内容图像和内容声音的通知那样将外部信息通知给用户。
此外,当由必要程度确定单元141确定的必要程度为“低”时(例如,当必要程度低于第二阈值时),例如,通知状态控制单元142不改变内部通知单元130的显示屏的显示和声音的输出。也就是说,可以不将外部信息告知给用户。在这种方式下,由通知状态控制单元142控制外部信息的通知状态还可以包括不将外部信息通知给用户的状态。以下将在[1-3.通知状态的具体示例]中详细描述由通知状态控制单元142控制通知状态的具体示例。
内部信息获取单元143获取作为与用户有关的信息的内部信息。具体地,内部信息获取单元143获取由内部信息检测单元120检测到的内部信息。内部信息获取单元143可以经常从内部信息检测单元120获取内部信息,或者在需要时可以通过对内部信息检测单元120发布检测内部信息的命令而在预定时刻获取内部信息。内部信息获取单元143将所获取的内部信息传送至必要程度确定单元141。
必要程度确定单元141基于如上所述的外部信息来确定外部信息的通知必要程度,并且必要程度确定单元141可以进一步基于内部信息来确定必要程度。具体地,必要程度确定单元141基于由外部信息检测单元110检测到的外部信息和由内部信息获取单元143获取的内部信息来确定将外部信息通知给用户的必要程度(通知必要程度)。在这种方式下,必要程度确定单元141可以对所获取的外部信息和内部信息的内容进行分析,并且从而基于该内容来确定必要程度。
例如,当内部信息包括用户的位置信息时,必要程度确定单元141可以基于位置信息来确定必要程度。例如,当用户在工作中时,各种人意图与用户进行交流,而不考虑用户与其是否熟悉,但是当用户在家时,存在着陌生人意图与用户进行交流的低可能性。因此,当基于包括在内部信息中的位置信息确定用户在家时,必要程度确定单元141可以在假设意图进行交流的人为熟人的情况下来确定必要程度。此外,当用户在工作中时,例如,存在着外部的人意图交流的内容与工作有关的高可能性,并且因此,必要程度确定单元141可以将必要程度确定为相对高于用户在家时的必要程度,即使基于相同的外部信息来确定必要程度。在这种方式下,必要程度确定单元141可以基于包括在内部信息中的位置信息来确定用户在哪,例如在家、在工作中、在车中、在火车上等,并且然后根据用户所处的位置来确定必要程度。
此外,当内部信息包括指示用户的运动的运动信息时,例如,必要程度确定单元141可以基于运动信息来确定必要程度。例如,当用户从他或她的坐姿状态站起来时或者当用户开始行走时,存在着用户意图停止他或她的工作以进行另外的动作的高可能性,并且因此认为,需要将外部信息通知给用户。在这种方式下,当基于包括在内部信息中的运动信息来确定用户要停止工作时,必要程度确定单元141可以确定高的必要程度。
此外,当内部信息包括与用户的行动日程有关的信息时,例如,必要程度确定单元141可以基于与用户的行动日程有关的信息来确定必要程度。例如,基于与用户的行动日程有关的信息,当确定用户正在工作时,必要程度确定单元141可以把将外部信息通知给用户的必要程度确定为相对低,并且当确定用户正在休息时,必要程度确定单元141可以把将外部信息通知给用户的必要程度确定为相对高。
此外,当内部信息包括内容信息时,例如,必要程度确定单元141可以基于内容信息来确定必要程度。例如,当必要程度确定单元141基于通知给用户的内容信息来确定用户正在进行的工作的重要程度并且工作的重要程度为高时,必要程度确定单元可以把将外部信息通知给用户的必要程度确定为相对低以尽可能避免打断用户的工作,并且当工作的重要程度为低时,必要程度确定单元可以把将外部信息通知给用户的必要程度确定为相对高。应当注意,可以由用户任意地设置内容信息与工作的重要程度之间的关系。例如,当内容信息为动态图像信息例如电影时,内容信息可以包括与每个场景有关的信息,并且必要程度确定单元141可以基于与每个场景有关的信息,通过确定被通知给用户的动态图像信息的场景中的强烈(intensity)程度来确定将外部信息通知给用户的必要程度。与每个场景有关的信息可以是例如指示场景主要显示风景的信息、指示场景主要包括人物的对话的信息或者指示每个场景的“强烈程度”的信息。例如,针对主要显示风景的动态图像的场景将强烈程度设置为相对低,因为认为该场景对情节(plot)而言不重要,并且针对主要包括人物之间的对话的动态图像的场景将强烈程度设置为相对高,因为认为该场景对情节而言是重要的。因此,必要程度确定单元141根据内容信息确定用户正在观看和收听的动态图像的场景,并且可以在强烈程度为低时把将外部信息通知给用户的必要程度确定为相对高,或者可以在强烈程度为低时把将外部信息通知给用户的必要程度确定为相对低。
此外,必要程度确定单元141可以基于内部信息来确定用户对通知给用户的内容信息的沉浸程度,并且进一步基于沉浸程度来确定必要程度。可以基于例如包括在内部信息中的运动信息、生物信息、内容信息等来进行沉浸程度的确定。例如,可以基于与从运动信息获取的用户的姿态(例如,颈部的倾斜)或头的运动有关的信息来确定沉浸程度。此外,可以基于例如从生物信息获取的用户的脉搏、心跳、视线信息等的信息来确定沉浸程度。此外,可以基于例如与每个场景有关的信息或者与如上所述的从内容信息获取的“强烈程度”有关的信息来确定沉浸程度。
以上参照图2详细描述了根据本公开内容的第一实施方式的非透视HMD装置10的配置的示例。以上所述的每个构成元件可以使用多用途构件或电路来配置,并且可以被配置为专用于构成元件的功能的硬件。此外,对于控制单元140而言,中央处理单元(CPU)可以进行各个构成元件的所有的功能。因此,可以根据每次实现本实施方式的技术水平来适当地改变要使用的配置。应当注意,以下将在<3.硬件配置>中详细描述非透视HMD装置10的硬件配置。
在以上第一实施方式中,如参照图2所描述,必要程度确定单元141基于指示用户的外部状况的外部信息来确定将外部信息通知给用户的必要程度。此外,通知状态控制单元142基于所确定的必要程度来切换针对用户的外部信息的通知状态。由于以这种方式确定将外部信息通知给用户的必要程度并且基于所确定的必要程度来进行外部信息的通知,所以用户可以识别出已经检测到外部信息并且对外部信息适当地作出反应,并且因此,用户可以与外部的人进行顺畅地交流。例如,当必要程度为高时,将外部信息直接通知给用户,并且因此,用户可以直接识别外部信息并且对意图与用户进行交流的外部的人快速地做出回应。此外,当必要程度为中或低时,分阶段将外部信息通知给用户,或者将指示已经检测到外部信息的信息通知给用户,并且因此,用户可以根据状况选择动作,例如以该时刻用户正在进行的工作为主或者停止工作并立刻对外部的人做出回应,并且因此,进一步增强的用户便利性。
应当注意,在通知状态控制单元142对内部通知单元130的通知状态控制中,可以基于必要程度来控制并且使用用户的操作输入进行适当地切换内部通知单元130的通知状态。因此,基于必要程度根据通知状态控制已经被通知以外部信息或者指示已经检测到外部信息的预定信息的用户可以通过根据信息的内容向通知状态控制单元142适当地输入命令来改变内部通知单元130的通知状态。例如,使用用户的操作输入,可以将内部通知单元130的通知状态切换至要通知内容信息的状态和要通知外部信息的状态中的任何状态。此外,例如,使用用户的操作输入,可以将内部通知单元130的通知状态切换至叠加并通知内容信息和外部信息状态。在这种方式下,在已经基于必要程度根据通知状态控制将外部信息或者指示已经检测到外部信息的预定信息通知给用户之后,他或她可以根据状况选择合适的通知状态。当用户已经基于通知给用户的信息确定出需要对外部信息立刻做出回应时,例如,他或她可以将内部通知单元130的通知状态切换至要通知外部信息的状态,并且对外部适当地做出反应。此外,当用户已经基于通知给用户的外部信息确定出可以暂时忽略外部信息时,例如,他或她可以将内部通知单元130的通知状态切换至将要通知内容信息的状态并且继续他或她的工作。此外,当用户基于通知给他或她的信息难以确定他或她是否应当对外部信息立刻做出回应时,例如,他或她可以将内部通知单元130的通知状态切换至叠加并通知内容信息和外部信息的状态,并且边继续他或她的工作边检查外部状况。应当注意,可以例如使用按钮或开关或者通过朝向图2所示的外部信息检测单元110的相机作出预定姿势来进行用于切换通知状态控制的用户的操作输入。
此外,当必要程度确定单元141确定外部信息的通知的必要程度时,可以由用户适当地设置确定的准则。例如,使用用户的设置,当正在靠近的外部的人为与用户熟悉的(用户知道的)人时,必要程度确定单元141可以将必要程度确定为高。通过进行这样的设置,在用户的熟人靠近时,他或她首先立刻检查外部图像,然后,进行适当地切换内部通知单元130的显示屏和音频输出装置的操作,并且从而可以根据状况选择是继续他或她的工作、与外部的人进行交流还是边进行交流边继续他或她的工作。
此外,虽然在图2所示的示例中非透视HMD装置10包括外部信息检测单元110、内部信息检测单元120、内部通知单元130和控制单元140,但本实施方式不限于此。例如,非透视HMD装置10还可以具有用于用户输入各种类型的信息的输入单元、用于存储在非透视HMD装置10中处理的各种类型的信息的存储单元、用于使用其他外部装置传送和接收各种类型的信息的通信单元等的配置。此外,非透视HMD装置10可以不被配置为一个装置,并且非透视HMD装置10具有的各个功能可以被任意地分布至多个装置。例如,仅有外部信息检测单元110、内部信息检测单元120和内部通知单元130可以安装在由用户穿戴的装置中,控制单元240可以安装在另一装置例如任意的信息处理设备例如用户具有的智能手机、平板PC,或者安装在另一地点的服务器中,并且用户穿戴的装置和安装有控制单元140的信息处理设备可以通过任意的通信线路(网络)彼此交换各种类型的信息,并且从而可以进行非透视HMD装置10的如以上所述的各种处理。
[1-3.通知状态的具体示例]
接着,将参照图4A至图4E、图5和图6A至图6C来详细描述通知状态控制单元142的通知状态控制的具体示例。应当注意,以下将描述在由必要程度确定单元141确定的必要程度为高、中和低时通知状态控制单元142的通知状态控制的具体示例。
(1-3-1.高必要程度的情况)
首先,将参照图4A至图4E描述在由必要程度确定单元141确定的必要程度为高时通知状态控制单元142的通知状态控制的具体示例。如上所述,当由必要程度确定单元141确定的必要程度为高时(例如,当必要程度等于或高于第一阈值时),通知状态控制单元142使得将外部信息立刻通知给用户。这是因为,认为将外部信息通知给用户的高必要程度意味着需要将外部信息快速地通知给用户。针对如上在将外部信息立刻通知给用户时对通知状态的控制,将参照图4A至图4E主要描述内部通知单元130的显示屏的切换。
图4A至图4E是用于描述当必要程度为高时通知状态控制单元142的通知状态控制的具体示例的说明图。在图4A至图4E中,在上部和下部示出内部通知单元130的显示屏510。此外,在上部中,示出了在内部通知单元130的显示屏510上显示有内容图像520的状态,即,在将外部信息通知给用户之前用户正在进行工作的状态下的显示屏的状态。此外,在下部中,示出了在内部通知单元130的显示屏510上显示有外部图像530的状态,即,已经将外部信息通知给用户时显示屏510的状态。应当注意,在图4A至图4E所示的示例中,将描述下述情况:外部信息为指示“人已经靠近”的信息,并且通过捕获外部状况获得的图像信息和通过记录外部状况获得的声音信息被显示在内部通知单元130的显示屏上,并且以外部图像和外部声音的形式从音频输出装置输出以作为外部信息针对用户的通知。
参照图4A,在上部示出了在显示屏510上显示有包括在内容信息中的内容图像520的状态。此外,在上部所示的状态下,已经从音频输出装置输出包括在内容信息中的内容声音并且已经将该声音通知给用户。当在该状态下检测到外部信息并且外部信息的必要程度被确定为高时,显示屏510的显示被切换至外部图像530,如下部所示。此外,音频输出装置的输出从内容声音切换至外部声音。在这种方式下,在图4A所示的示例中,显示屏510的所有的显示以及音频输出装置的输出被切换至外部图像530和外部声音。
在图4B中示出了通知状态控制的另一具体示例。参照图4B,在上部示出了在显示屏510上显示有包括在内容信息中的内容图像520的状态。此外,在上部所示的状态下,已经从音频输出装置输出包括在内容信息中的内容声音,并且已经将该声音通知给用户。当在这种状态下检测到外部信息并且外部信息的必要程度被确定为高时,仅将包括在外部图像530中的人(例如,意图与用户进行交流的人)的图像叠加在显示屏510的内容图像520的显示上,并且如下部所示的那样显示。此外,将外部声音叠加在内容声音上并且从音频输出装置输出。在这种方式下,在图4B所示的示例中,将包括在外部图像530中的人的图像叠加在内容图像520上并且显示在显示屏510上。此外,在从音频输出装置输出时,将外部声音叠加在内容声音上并输出。
在图4C中示出了通知状态控制的另一具体示例。参照图4C,在上部示出了在显示屏510上显示有包括在内容信息中的内容图像520的状态。此外,在上部所示的状态下,已经从音频输出装置输出包括在内容信息中的内容声音并且已经将该声音通知给用户。当在这种状态下检测到外部信息并且外部信息的必要程度被确定为高时,减小显示屏510的内容图像520的显示,并且如下部所示那样将外部图像530显示在显示屏510的一部分中。此外,将外部声音叠加在内容声音上并且从音频输出装置输出。此处,在图4C所示的示例中,虽然以彼此部分地交叠的方式将内容图像520和外部图像530显示在显示屏510上,但本实施方式不限于此,并且可以以使得图像不交叠的方式将内容图像520和外部图像530显示在显示屏510上。例如,可以将显示屏510划分成两个区域,使得内容图像520和外部图像530各自显示在划分的区域中。在这种方式下,在图4C所示的示例中,将内容图像520和外部图像530分别显示在显示屏510的不同的区域中。此外,在从音频输出装置输出时,将外部声音叠加在内容声音上并且输出。
图4D中示出了通知状态控制的另一具体示例。参照图4D,在上部示出了在显示屏510上显示有包括在内容信息中的内容图像520的状态。此外,在上部所示的状态下,已经从音频输出装置输出包括在内容信息中的内容声音并且已经将该声音通知给用户。当在这种状态下检测到外部信息并且外部信息的必要程度被确定为高时,将外部图像530叠加在显示屏510的内容图像520的显示的一部分区域中,并且如下部所示那样显示。此外,将输出声音叠加在内容声音上并且从音频输出装置输出。此处,外部图像530叠加在内容图像520上的位置可以例如沿着用户观看图像时包括在外部图像530中的人(即,意图进行交流的人)正在靠近的方向。此外,音频输出装置可以使用立体声将外部声音输出至用户,使得他或她可以从发出外部声音的方向听见外部声音。在这种方式下,在图4D所示的示例中,将外部图像530叠加在内容图像520上并且显示在显示屏510上。此外,在从音频输出装置输出时,将外部声音叠加在内容声音上并且输出。另外,将外部图像和外部声音进行叠加,使得同时将检测到外部信息的方向通知给用户。
图4E示出了通知状态控制的另一具体示例。应当注意,在图4E所示的示例中,显示屏510可以以三维的方式显示各种图像。参照图4E,在上部示出了在显示屏510上显示包括在内容信息中的内容图像520的状态。此外,在上部所示的状态下,已经从音频输出装置输出包括在内容信息中的内容声音并且已经将该声音通知给用户。当在这种状态下检测到外部信息并且外部信息的必要程度被确定为高时,以三维的方式将外部图像530叠加在显示屏510的内容图像520的显示上并且进行显示。此外,将外部声音叠加在内容声音上并且从音频输出装置输出。应当注意,可以由用户任意地设置外部图像530叠加在内容图像520上并且被显示的位置。在这种方式下,针对在图4E中所示的示例中的显示屏510的显示和从音频输出装置的输出,将外部图像530叠加并进行显示,并且将外部声音叠加并进行输出。
参照图4A至图4E描述了在由必要程度确定单元141确定的必要程度为高时通知状态控制单元142的通知状态控制的具体示例。如上所述,当必要程度为高时,通知状态控制单元142将外部信息立刻通知给用户。然后,用户可以快速地识别外部信息,并且因此,可以以各种方式与外部的人立刻进行交互并且与外部的人更顺畅地进行交流。此外,如图4A至图4E所示,通知状态可以从通知内容信息的状态切换至通知外部信息的状态,并且正在通知外部信息的状态可以叠加在正在通知内容信息的状态上。另外,如在图4D所示的示例中,可以同时通知已经检测到外部信息的方向和外部信息。通过被同时通知以检测到外部信息的方向,用户可以更快地识别外部信息。
应当注意,在图4A至图4E中所示的示例中,当将外部图像530或外部图像530的部分图像叠加在内容图像520上并进行显示时,可以以透射(transmissive)的方式显示外部图像530和外部图像530的部分图像,使得用户看到叠加部分的内容图像520,或者以非透射的方式显示,使得叠加部分的内容图像520对用户不可见。
此外,当必要程度为高时,外部信息的具体通知方法不限于图4A至图4E所示的方法。当本实施方式中必要程度为高时,可以将外部信息立刻通知给用户并且将外部信息立刻通知给用户的具体通知方法可以是任何方法。此外,可以由用户任意地设置包括以上图4A至图4E所示的方法的外部信息的具体通知方法。
(1-3-2.中必要程度的情况)
接着,将参照图5描述当必要程度确定单元141确定的必要程度为中时通知状态控制单元142的通知状态控制的具体示例。当由必要程度确定单元141确定的必要程度为“中”时(例如,当必要程度低于第一阈值并且等于或高于比第一阈值更低的第二阈值时),通知状态控制单元142使得如上所述那样分阶段将外部信息通知给用户。这是因为认为将外部信息通知给用户的中必要程度意味着不需要将外部信息立刻通知给用户。针对当如上所述分阶段将外部信息通知给用户时通知状态的控制,将参照图5主要描述内部通知单元130对显示屏的切换。
图5是用于描述当必要程度为中时通知状态控制单元142的通知状态控制的具体示例的说明图。在图5中,示出了分阶段切换内部通知单元130的显示屏510的显示的状态。应当注意,在图5所示的示例中,将描述下述情况:外部信息为指示“人已经靠近”的信息,并且通过捕获外部状况而获得的图像信息和通过记录外部状况而获得的声音信息被以外部图像和外部声音的形式从内部通知单元130的显示屏510和音频输出装置输出,以作为对用户的外部信息的通知。
参照图5,在第一部分示出了在内部通知单元130的显示屏510上显示有内容图像520的状态,即,在将外部信息通知给用户之前用户正在工作的状态下的显示屏的状态。此外,在第一部分所示的状态下,从音频输出装置输出包括在内容信息中的内容声音并且将该声音通知给用户。
当在这种状态下检测到外部信息并且外部信息的必要程度被确定为中时,将光图案540叠加在显示屏510的内容图像520的显示的部分区域上,并且如图5的第二部分所示的那样显示。光图案540可以是例如发出具有圆环形状的光的图案,或者可以被设置成在显示屏510上闪烁。光图案540是指示已经检测到外部信息的信息。因此,通过视觉上识别显示在显示屏510上的光图案540,用户可以识别出已经检测到外部信息。
当在显示屏510上显示有光图案540的状态下经过预定时间时,将外部声音叠加在内容声音上并且从音频输出单元输出,其中,光图案540显示在显示屏510上,如图5中的第三部分所示。因此,用户可以识别外部信息的声音信息。
当在图5的第三部分所示的状态下再次经过预定时间时,光图案540的显示消失,其中,将外部声音叠加在内容声音上并且从音频输出装置输出,并且将外部图像530叠加在内容图像520的显示的部分区域中,并且如图5的第四部分所示那样显示在显示屏510上。应当注意,在第四部分所示的状态下,也可以继续显示光图案540。因此,用户可以识别外部信息的图像信息和声音信息。此外,在第四部分所示的状态下,可以以透射的方式显示外部图像530,使得用户看到叠加部分的内容图像520,或者以非透射的方式显示外部图像530,使得叠加部分的内容图像520对用户不可见。
以上参照图5描述了当由必要程度确定单元141确定的必要程度为中时通知状态控制单元142的通知状态控制的具体示例。当必要程度为中时,通知状态控制单元142使得如上所述那样分阶段将外部信息通知给用户。在图5所示的示例中,首先通过光图案540的显示将指示已经检测到外部信息的信息通知给用户,然后,将外部声音通知给用户,最后将外部图像通知给用户。此外,可以由用户适当地设置从第二部分所示的阶段过渡到第三部分所示的阶段所花费的时间,以及从第三部分所示的阶段过渡到第四部分所示的阶段所花费的时间。另外,在图5所示的每个阶段中,可以使用来自用户的操作输入来控制内部通知单元130的通知状态。例如,在图5所示的每个阶段中,可以使用来自用户的操作输入来适当地选择:是否在没有变化的情况下继续外部信息的通知处理,是否在当前阶段中停止对外部信息的通知处理,是否停止对外部信息的通知处理并且将内部通知单元130的通知状态切换到进行内容信息的通知的状态,是否将内部通知单元130的通知状态切换到进行外部信息的通知的状态等。可以使用例如按钮或开关或者通过朝向图2所示的外部信息检测单元110的相机作出预定姿势来进行来自用户的用于选择的操作输入。因此,用户可以根据状况选择是对外部信息作出回应还是暂时忽略外部信息以集中精力进行工作,并且因此增强了用户便利性。此外,当必要程度为中时外部信息的具体通知方法不限于图5所示的方法。在本实施方式中,当必要程度为中时,可以分阶段将外部信息通知给用户,以使得用户能够选择是否对外部信息作出回应,并且在这种情况下的具体通知方法可以是任何方法。另外,可以由用户适当地设置包括图5所示的方法的外部信息的具体通知方法。
(1-3-3.低必要程度的情况)
接着,将参照图6A至图6C描述当由必要程度确定单元141确定的必要程度为低时通知状态控制单元142的通知状态控制的具体示例。当由必要程度确定单元141确定的必要程度为“低”时(例如,当必要程度低于第二阈值时),通知状态控制单元142使得如以上所述那样将指示已经检测到外部信息的预定信息通知给用户。这是因为,认为将外部信息通知给用户的低必要程度意味着不需要将外部信息立刻通知给用户。针对将指示已经检测到外部信息的预定信息通知给用户时的通知状态控制,将参照图6A至图6C主要描述内部通知单元130对显示屏的切换。
图6A至图6C是用于描述当必要程度为低时通知状态控制单元142的通知状态控制的具体示例的说明图。在图6A至图6C中,在上部和下部中的每个部分示出了内部通知单元130的显示屏510。此外,在上部示出了在内部通知单元130的显示屏510上显示有内容图像520的状态,即,当在将外部信息通知给用户之前用户正在工作时显示屏的状态。此外,在下部示出了在内部通知单元130的显示屏510上显示有指示已经检测到外部信息的预定图像的状态。
参照图6A,在上部示出了在显示屏510上显示有包括在内容信息中的内容图像520的状态。此外,在上部所示的状态中,从音频输出装置输出包括在内容信息中的内容声音并且将该声音通知给用户。当在这种状态下检测到外部信息并且外部信息的必要程度被确定为低时,将使用虚线绘制的环形图案550叠加在内容图像520的显示上,并且如下部所示的那样显示在显示屏510上。例如,所显示的环形图案550的数目可以对应于在用户观看屏幕时检测到外部信息的方向上所检测到的外部信息的条数。此外,当环形图案550越靠近检测到与该图案对应的外部信息的用户位置时,环形图案550可以越大。通过视觉上识别出环形图案550显示在显示屏510上,用户可以识别出已经检测到任何类型的外部信息。此外,通过视觉上识别环形图案550的显示位置和显示大小,用户可以定性地识别外部信息的检测方向和检测距离。
参照图6B,在上部示出了在显示屏510上显示有包括在内容信息中的内容图像520的状态。此外,在上部所示的状态下,从音频输出装置输出包括在内容信息中的内容声音并且将该声音通知给用户。当在这种状态下检测到外部信息并且外部信息的必要程度被确定为低时,在显示屏510上的内容图像520的非显示区域中显示有椭圆图案560,如在下部所示。例如,所显示的椭圆图案560的数目可以对应于在用户观看屏幕时检测到外部信息的左右方向上所检测到的外部信息的条数。此外,当椭圆图案560越靠近检测到与该图案对应的外部信息的用户位置时,椭圆图案560可以越大。通过视觉上识别出显示屏510上显示有椭圆图案560,用户可以识别出已经检测到各种类型的外部信息。此外,通过视觉上识别椭圆图案560的显示位置和显示大小,用户可以定性地识别外部信息的检测方向和检测距离。
参照图6C,在上部示出了在显示屏510上显示有包括在内容信息中的内容图像520的状态。此外,在上部所示的状态下,从音频输出装置输出包括在内容信息中的内容声音并且将该声音通知给用户。当在这种状态下检测到外部信息并且外部信息的必要程度被确定为低时,将光图案540叠加在内容图像520的显示的部分区域上,并且如下部所示的那样显示在显示屏510上。光图案540与参照图5的第二部分的附图所描述的光图案540相同。光图案540可以是例如发出具有圆形形状的光的图案,或者可以显示在显示屏510上并且同时闪烁。此外,例如,可以在用户观看屏幕时检测到外部信息的方向上显示光图案540。通过视觉上识别出显示屏510上显示有光图案540,用户可以识别出已经检测到的任何类型的外部信息。此外,通过视觉上识别光图案540的显示位置,用户可以定性地识别外部信息的检测方向。
以上参照图6A至图6C描述了当由必要程度确定单元141确定的必要程度为低时通知状态控制单元142的通知状态控制的具体示例。如上所述,当必要程度为低时,通知状态控制单元142使得将指示已经检测到外部信息的预定信息通知给用户。根据图6A至图6C所示的示例,通过将环形图案550、椭圆图案560或者光图案540作为指示已经检测到外部信息的预定信息显示在显示屏510上,来将信息通知给用户。此外,在图6A至图6C所示的每个状态下,可以使用来自用户的操作输入来控制内部通知单元130的通知状态。例如,在图6A至图6C所示的每个状态下,可以使用来自用户的操作输入适当地选择:是否在没有变化的情况下继续对指示已经检测到外部信息的预定信息的通知处理,是否停止对指示已经检测到外部信息的预定信息的通知处理并且将内部通知单元130的通知状态切换至将内容信息通知给用户的状态,是否将内部通知单元130的通知状态切换至将外部信息通知给用户的状态。可以例如使用按钮或开关来进行或者可以通过朝向图2所示的外部信息检测单元110的相机做出预定姿势来进行来自用户的用于选择的操作输入。因此,用户可以根据状况选择是对外部信息作出回应还是暂时忽略外部信息以集中精力进行工作,并且因此,进一步增强了用户便利性。此外,由于在图6A至图6C所示的方法中仅将指示已经检测到外部信息的预定信息通知给用户,所以与图5所示的方法相比,针对用户的内容信息的通知不受干扰。因此,在不中断他或她的工作的情况下仅将已经检测到外部信息的事实通知给用户,并且因此,当用户确定不需要对外部信息作出回应时,用户可以不予理睬从而集中精力进行工作。应当注意,当必要程度为低时对外部信息的具体通知方法不限于图6A至图6C所示的方法。在本实施方式中,当必要程度为低时可以将指示已经检测到外部信息的预定信息通知给用户,并且用户可以选择是否对外部信息作出回应,并且外部信息的具体通知方法可以是任何方法。例如,通过将预定声音例如蜂鸣器或警报的声音叠加在内容声音的输出上并且从内部通知单元130的音频输出装置输出声音,可以将已经检测到外部声音的事实通知给用户。此外,可以由用户适当地设置包括图6A至图6C所示的方法的用于将外部信息的检测通知给用户的具体通知方法。
以上参照图4A至图4E、图5和图6A至图6C详细描述了通知状态控制单元142的通知状态控制的具体示例。应当注意,以上描述的具体示例仅是本实施方式中的通知状态控制的示例,并且其具体方法不限于上述方法,只要根据必要程度进行合适的通知状态控制即可。
例如,当基于外部信息中包括的图像信息中的外部的人的脸的图像、外部信息中包括的装置信息中的外部的人的ID信息将意图与用户进行交流的外部的人指定为个体时,可以将信息例如人的姓名叠加在外部图像530中的人的图像上并且显示在显示屏510上。此外,当意图与用户进行交流的人为用户在SNS上联系的人时,将指示SNS的信息(例如,指示SNS的类型等的标记)叠加在外部图像530中的人的图像上并且进行显示。
此外,除必要程度之外,可以基于所检测的外部信息来切换通知状态控制单元142的通知状态控制。例如,在本实施方式中,当检测到指示紧急的特定外部信息时,如以上在[1-2.通知状态控制装置的配置]中所述将外部信息的必要程度确定为高;然而,需要将这样的外部信息立刻且更可靠地通知给用户。因此,如图4A中所介绍,当检测到指示紧急的这样的外部信息时,可以将内部通知单元130的显示屏510的显示和音频输出装置的输出快速地切换至外部图像和外部声音。
此外,虽然以上描述了情况:当由必要程度确定单元141确定的必要程度为低时,例如,通知状态控制单元142将指示已经检测到外部信息的预定信息通知给用户,但本实施方式不限于此。例如,当必要程度为低时,可以不改变内部通知单元130的显示屏的显示和音频输出,即,可以不将外部信息通知给用户。此外,当必要程度为低时,可以由用户适当地设置是否将指示已经检测到外部信息的预定信息通知给用户。因此,当用户想要集中精力进行他或她的工作并且必要程度为低时,用户可以设置甚至不通知已经检测到外部信息的事实,并且因此,他或她可以进一步降低对工作的干扰。
此外,如上所述,为了由必要程度确定单元141确定外部信息的通知的必要程度,可以由用户适当地设置确定的准则。另外,可以由用户根据外部信息的类型来适当地设置通知状态控制单元142的根据必要程度的外部信息的特定通知状态,包括图4A至图4E、图5和图6A至图6C所示的方法。例如,当已经检测到具体外部信息时,用户可以设置必要程度确定单元141的确定的准则,使得将通知的必要程度确定为高,并且当必要程度为高时根据被描述为通知状态控制的具体示例的图4A至图4E的方法另外适当地设置通知状态控制单元142的通知状态控制的具体方法。具体地,当已经靠近的外部的人是用户的熟人时,当在与用户熟悉的人(熟人)靠近时用户认为他或她想要快速与熟人进行交流时,例如,用户可以设置必要程度确定单元141和通知状态控制单元142的处理,使得必要程度确定单元141将必要程度确定为高,并且通知状态控制单元142将内部通知单元130的通知状态切换至外部图像和外部声音,如图4A所示。此外,例如,当已经靠近的外部的人是用户的熟人时,当在用户熟悉的人(熟人)靠近时用户认为他或她想要首先检查外部状态时,用户可以设置必要程度确定单元141和通知状态控制单元142的处理,使得必要程度确定单元141将必要程度确定为高,并且通知状态控制单元142将内部通知单元130的通知状态切换至显示并输出内容图像和内容声音以及外部图像和外部声音的状态,如图4B所示。另外,在这种情况下,在用户检查已经通知给用户的其上叠加有内容信息的外部信息之后,他或她可以进行适当地切换内部通知单元130的显示屏和音频输出装置的操作,并且根据状况选择是继续他或她的工作、与外部的人进行交流还是边进行交流边继续工作。由于用户可以以这种方式根据必要程度来设置确定必要程度确定单元141的必要程度和内部通知单元130的通知状态的准则,所以可以进行反映用户的想法和意图的详细的通知状态控制。
[1-4.通知状态控制方法的处理步骤]
接着,将参照图7描述根据本公开内容的第一实施方式的通知状态控制方法的处理步骤。图7是示出根据本公开内容的第一实施方式的通知状态控制方法的处理步骤的流程图。应当注意,由于已经参照图2描述了外部信息检测单元110、内部信息检测单元120、内部通知单元130和控制单元140的功能和配置,所以在以下与通知状态控制方法的处理步骤有关的描述中将省略其详细描述。
首先,在步骤S701中,由内部通知单元130将内容信息通知给用户。具体地,将包括在内容信息中的内容图像显示在内部通知单元130的显示屏上,并且从内部通知单元130的音频输出装置输出包括在内容信息中的内容声音。也就是说,步骤S701的状态是用户正在工作的状态。
接着,在步骤S703中,确定是否已经检测到外部信息。可以由必要程度确定单元141基于例如从外部信息检测单元110传送的外部信息来进行确定。此外,此处提及的确定是否已经检测到外部信息可以是确定由外部信息检测单元110检测到的外部信息是否存在变化。当确定没有检测到外部信息时,在不改变的情况下继续内容信息的通知,直到确定检测到外部信息为止。当确定已经检测到外部信息时,处理进行至步骤S705。
在步骤S705中,由内部信息获取单元143获取内部信息。具体地,内部信息获取单元143可以命令内部信息检测单元120检测内部信息,并且由内部信息获取单元143获取由内部信息检测单元120基于命令检测到的内部信息。然而,在以下要描述的步骤S707中,当在必要程度确定单元141的必要程度的确定处理中不使用内部信息时,可以省略步骤S705的处理。
接着,在步骤S707中,必要程度确定单元141基于外部信息和/或内部信息来确定针对用户的外部信息的通知的必要程度。可以由如以上在[1-2.通知状态控制装置的配置]中描述的若干级别例如“高”、“中”和“低”或者通过分数来表述必要程度。
接着,在步骤S709中,通知状态控制单元142基于在步骤S707中由必要程度确定单元141确定的必要程度来控制内部通知单元130的通知状态。具体地,通知状态控制单元142基于例如在上述[1-3.通知状态的具体示例]中所述的必要程度来进行通知状态控制。
最后,在步骤S711中,用户基于在步骤S709中控制的通知状态以各种方式与外部进行交互。具体地,由于当必要程度为高时将外部信息立刻通知给用户,所以用户可以通过非透视HMD装置10或者通过拿掉非透视HMD装置10来与外部的人进行交流。此外,由于当必要程度为中时分阶段将外部信息通知给用户,所以用户可以根据状况选择反应,例如,与外部的人快速地进行交流,或者在完成他或她的大部分工作之后与外部的人进行交流。另外,由于在必要程度为低时不将外部信息通知给用户,而是将已经检测到外部信息的事实通知给用户,所以用户可以根据状况来选择反应,例如,与外部的人快速地进行交流,或者暂时忽略外部的人以继续进行他或她的工作。
以上参照图7描述了根据本公开内容的第一实施方式的通知状态控制方法的处理步骤。
<2.第二实施方式>
接着,将描述本公开内容的第二实施方式。应当注意,本公开内容的第二实施方式与对上述第一实施方式的配置添加一些功能和配置的配置对应。因此,在以下与第二实施方式有关的描述中将主要描述与第一实施方式的不同点,并且将省略与第一实施方式的功能和配置的重复的详细描述。
[2-1.非透视HMD装置的外观]
首先,将参照图8A和图8B描述根据本公开内容的第二实施方式的非透视HMD装置的外观的示例。图8A和图8B是示出根据本公开内容的第二实施方式的非透视HMD装置的外观的示例的立体图。
图8A是示出当从外部观看时根据第二实施方式的非透视HMD装置20的状态的立体图。此外,图8B是示出当从内部观看时根据第二实施方式的非透视HMD装置20的状态的立体图。参照图8A和图8B,非透视HMD装置20具有主体部分210和带状部分320。此处,图8A和图8B所示的非透视HMD装置20与其中在主体部分310的护目镜型部分的外部添加有外部显示单元315并且改变设置在主体部分210中的控制单元(未示出)的功能的图1A和图1B所示的非透视HMD装置10的配置相对应。因此,设置在非透视HMD装置20的主体部分310中的相机311、麦克风312、内部显示单元313a和313b、视线传感器单元314a和314b以及带状部分320的功能和配置与参照图1A和图1B描述的非透视HMD装置10的构件的功能和配置相同,并且因此将省略其详细描述。
参照图8A,在主体部分310的护目镜型部分的面对外部的表面上设置有用于以视觉的形式将各种类型的信息呈现至外部的外部显示单元315。外部显示单元315具有如图8A所示的面对外部的显示屏,该显示屏用于以各种形式例如图像、文本、图表、表格等将各种类型的信息显示在显示屏上,从而以视觉的形式将信息呈现至外部。然而,外部显示单元315的形式不限于如图8A所示的包括显示屏的形式,并且只要其可以以视觉的形式呈现各种类型的信息,外部显示单元315就是可应用的。例如,外部显示单元315可以是一个或多个灯例如发光二极管(LED),并且可以根据灯的驱动,例如使用发出不同颜色的光、发出以不同速率闪烁的光、发出不同程度的亮度的光的灯或者仅使用发光的预定的灯来呈现信息。此外,虽然在图8A和图8B中未示出,但是非透视HMD装置20可以具有以听觉的方式将各种类型的信息呈现至外部的音频输出单元例如扬声器装置。
以上参照图8A和图8B描述了根据本公开内容的第二实施方式的非透视HMD装置20的外观的示例。如上所述,除了根据第一实施方式的非透视HMD装置20的配置之外,根据第二实施方式的非透视HMD装置20具有用于将各种类型的信息呈现至外部的配置,例如,外部显示单元315和音频输出单元。此处,在第二实施方式中,如在第一实施方式中那样,由设置在主体部分210中的控制单元基于所检测到的外部信息来切换将外部信息通知给用户的通知状态。将信息通知给用户可以包括通过将信息作为图像显示在内部显示单元313a和313b的显示屏上从而以视觉的形式将信息通知给用户,或者通过将信息作为声音从音频输出单元输出从而以听觉的方式将信息通知给用户。另外,在第二实施方式中,基于针对用户的外部信息的通知状态来切换将指示用户对外部信息的响应的信息(在下文中,也称为用户响应信息)呈现至用户外部的呈现状态。将信息呈现至用户外部可以包括通过将信息作为图像显示在外部显示单元315的显示屏上从而以视觉的形式将信息呈现至用户的外部,或者通过将信息作为声音从音频输出单元输出至外部从而以听觉的形式将信息呈现至用户的外部。
如上所述,根据第二实施方式的非透视HMD装置20还可以认为是控制针对外部的用户响应信息的呈现状态的呈现状态控制装置。在以下描述中,将由非透视HMD装置20进行的呈现状态控制中的一系列处理称为呈现状态控制处理。此外,在以下描述中,还将非透视HMD装置20称为信息处理装置20,因为非透视HMD装置20进行呈现状态控制处理中的各种信息处理。
[2-2.非透视HMD装置的配置]
接着,将参照图9描述根据本公开内容的第二实施方式的非透视HMD装置20的配置。图9是示出根据本公开内容的第二实施方式的非透视HMD装置20的配置的示例的功能性框图。参照图9,根据第二实施方式的非透视HMD装置20具有外部信息检测单元110、内部信息检测单元120、内部通知单元130、外部呈现单元250和控制单元240。应当注意,由于非透视HMD装置20的配置的外部信息检测单元110、内部信息检测单元120和内部通知单元130的功能和配置与参照图2所描述的根据第一实施方式的非透视HMD装置10的外部信息检测单元110、内部信息检测单元120和内部通知单元130的功能和配置相同,所以将省略其详细描述。在以下与非透视HMD装置20的配置有关的描述中,将主要描述与根据第一实施方式的非透视HMD装置10不同的外部呈现单元250和控制单元240的功能和配置。
由控制单元240来控制外部呈现单元250的驱动,并且外部呈现单元250将指示用户对外部信息的响应的信息呈现至用户的外部。此处,将信息呈现至外部包括视觉呈现和听觉呈现。例如,外部呈现单元250具有显示屏,该显示屏用于以各种形式例如图像、文本、图表和表格将用户响应信息显示在显示屏上,从而以视觉的形式将信息呈现至用户的外部。此外,外部呈现单元250具有音频输出装置例如扬声器,该音频输出装置用于将用户响应信息作为声音从音频输出单元输出,从而以听觉的形式将信息呈现至用户的外部。如上所述,外部呈现单元250可以用作将用户响应信息显示在显示屏上的显示单元,并且用作将用户响应信息作为声音输出的音频输出单元。应当注意,用作显示单元的外部呈现单元250的配置与图9A所示的外部显示单元315的配置对应,并且显示屏位于用户的眼睛的前方并且被设置在面对外部的表面上。
控制单元240全面地控制非透视HMD装置20,并且进行根据本实施方式的呈现状态控制处理中的各种信息处理。以下将详细描述控制单元240的功能和配置。
控制单元240具有必要程度确定单元141、通知状态控制单元142、内部信息获取单元143、察觉(awareness)程度确定单元244和呈现状态控制单元245。应当注意,在非透视HMD装置20的控制单元240的配置中,必要程度确定单元141、通知状态控制单元142和内部信息获取单元143的功能和配置与参照图2所描述的根据第一实施方式的非透视HMD装置10的控制单元140的必要程度确定单元141、通知状态控制单元142和内部信息获取单元143的功能和配置相同。也就是说,如在第一实施方式中那样,在第二实施方式中,必要程度确定单元141基于指示用户的外部状况的外部信息来确定将外部信息通知给用户的必要程度,并且通知状态控制单元142基于所确定的必要程度来切换针对用户的外部信息的通知状态。在这种方式下,在第二实施方式中也确定将外部信息通知给用户的必要程度并且基于所确定的必要程度来控制外部信息的通知状态。
因此,在以下与非透视HMD装置20的配置有关的描述中,将省略对非透视HMD装置20的控制单元240的配置中的必要程度确定单元141、通知状态控制单元142和内部信息获取单元143的功能和配置的详细描述,并且将主要描述与根据第一实施方式的非透视HMD装置10不同的察觉程度确定单元244和呈现状态控制单元245的功能和配置。然而,在第二实施方式中,通知状态控制单元142将与外部信息的通知状态有关的信息传送至察觉程度确定单元244和呈现状态控制单元245。此外,在第二实施方式中,除了必要程度确定单元141之外,内部信息获取单元143可以将所获取的内部信息传送至察觉程度确定单元244和呈现状态控制单元245。
察觉程度确定单元244基于由通知状态控制单元142切换的通知状态和由内部信息获取单元143获取的内部信息中至少任何一个来确定用户对外部信息的察觉程度。用户对外部信息的察觉程度是指示用户对外部信息的察觉的程度的指标(index)。例如,当对用户的外部信息的通知状态是如图4A至图4E所示将外部信息立刻通知给用户的状态时,内部通知单元130将外部信息明示地(overtly)通知给用户,并且因此认为用户对外部信息的察觉的程度相对高。此外,当针对用户的外部信息的通知状态是还未将外部信息通知给用户的状态,即,由内部通知单元130仅将内容信息通知给用户的状态时,认为用户没有察觉到外部信息,并且因此,应当将用户对外部信息的察觉程度确定为非常低。在这种方式下,察觉程度确定单元244可以基于由通知状态控制单元142切换的针对用户的外部信息的通知状态来相对地确定用户对外部信息的察觉的程度。
此外,当察觉程度确定单元244基于内部信息确定用户对外部信息的察觉的程度时,察觉程度确定单元244可以基于例如包括在内部信息中的用户的生物信息或视线信息来确定察觉程度。例如,当将指示用户眼睛闭合的信息检测为视线信息时,即使在内部通知单元130的显示屏上显示有包括在外部信息中的外部图像,也认为存在着用户没有察觉到外部信息的高可能性,并且因此,察觉程度确定单元244可以将用户对外部信息的察觉程度确定为相对低。
此外,当如图4B至图4D所示在内部通知单元130的显示屏510的部分区域中显示有包括在外部信息中的外部图像时,例如,可以基于以下视线信息来确定用户对外部信息的察觉程度:该视线信息指示用户的视线是否朝向外部图像被显示在内部通知单元130的显示屏上的区域。例如,当意图与用户进行交流的人被投映到外部图像中并且用户的视线没有朝向在内部通知单元130的显示屏510的部分区域中显示的外部图像时,认为用户能够识别出有人意图与他或她进行交流,但是不能够识别出这个人是谁。因此,在这种情况下,察觉程度确定单元244可以将用户对外部信息的察觉程度确定为相对低。另一方面,当意图与用户进行交流的人被投影至外部图像中并且用户的视线朝向在通知单元130的显示屏510的部分区域中显示的外部图像时,认为用户能够识别出有人意图与他或她进行交流并且能够识别出这个人是谁。因此,在这样的情况下,察觉程度确定单元244可以将用户对外部信息的察觉的程度确定为相对高。
此外,例如,察觉程度确定单元244可以基于包括在内部信息中的内容信息来确定察觉程度。具体地,如图5和图6A至图6C所示,当分阶段将外部信息通知给用户或者将指示已经检测到外部信息的信息通知给用户时,例如,可以基于用户的生物信息和/或内容信息来确定用户在内容中的沉浸程度,并且基于沉浸程度,可以确定用户对外部信息的察觉程度。例如,当在内容中的沉浸程度为高时,在分阶段将外部信息通知给用户或者将指示已经检测到外部信息的信息通知给用户的状态下,存在着用户没有注意到通知的可能性,并且因此,察觉程度确定单元244可以将用户对外部信息的察觉程度确定为相对低。此处,如以上在[1-2.非透视HMD装置的配置]中所描述的必要程度确定单元141对沉浸程度的确定那样,可以由察觉程度确定单元244基于例如下述信息来确定沉浸程度:与从运动信息获取的用户的姿态(颈部的倾斜)、头的运动等有关的信息,从生物信息获取的用户的脉搏、心跳、视线信息的信息以及/或者与从内容信息获取的每个场景和“强烈程度”有关的信息。
应当注意,察觉程度确定单元244可以通过例如准备其中通知状态和内部信息的类型与察觉程度相关联的表格并且如在必要程度确定单元141对必要程度的确定处理中那样参考表格来确定察觉程度。此外,察觉程度确定单元244可以基于对每种类型的通知状态和内部信息分配的预定分数来确定察觉程度。
当由若干级别或分数来确定用户对外部信息的察觉程度时,除了用户“察觉”和“未察觉”外部信息的替选状态之外,还可以更详细地表述用户对外部信息的察觉状态,例如,“用户已经识别出检测到外部信息但是没有识别出外部信息的内容的状态”。
呈现状态控制单元245基于由通知状态控制单元142切换的通知状态来切换将指示用户对外部信息的响应的信息呈现至用户外部的呈现状态。此处,将用户响应信息呈现至外部可以包括通过将用户响应信息作为图像显示在外部呈现单元250的显示屏上从而以视觉的形式将用户响应信息呈现至外部,或者通过将用户响应信息作为声音从外部呈现单元250的音频输出装置输出从而以听觉的形式将用户响应信息呈现至外部。此外,用户响应信息还包括与用户是否对外部信息做出回应(即用户是否已经识别到外部信息)有关的信息。
此外,对呈现状态的控制可以是控制切换用户响应信息对外部的呈现状态。例如,通知状态控制单元142根据如图4A至图4E、图5和图6A至图6C所示的必要程度来进行不同类型的通知状态控制。呈现状态控制单元245可以根据必要程度来控制根据不同通知状态的呈现状态。例如,当针对用户的外部信息的通知状态是如图4A至图4E所示将外部信息立刻通知给用户的状态时,通过内部通知单元130的显示屏将包括在外部信息中的外部图像明示地通知给用户,并且因此,呈现状态控制单元245显示指示用户正在观看外部呈现单元250的显示屏上的外部图像的信息。在本实施方式中,作为指示用户正在观看外部图像的信息,在外部呈现单元250的显示屏上可以显示有类似用户的眼睛的图案。
此外,当针对用户的外部信息的通知状态是还未将外部信息通知给用户的状态时,例如,用户没有观看包括在外部信息中的外部图像,并且因此,呈现状态控制单元245将指示用户没有观看外部信息的信息显示在外部呈现单元250的显示屏上。作为指示用户没有观看外部信息的信息,例如,可以在外部呈现单元250的显示屏上显示指示该状态的十字标记或字母串等。在本实施方式中,由于以这种方式将指示用户正在观看或没有观看外部信息中包括的外部图像的信息显示在外部呈现单元250的显示屏上,所以外部的人可以通过参考外部呈现单元250的显示屏来识别用户对外部信息的响应。
此外,呈现状态控制单元245可以基于由内部信息获取单元143获取的内部信息来切换呈现状态。具体地,呈现状态控制单元245可以基于例如包括在内部信息中的用户的视线信息来切换呈现状态。当将类似用户的眼睛的图案显示在外部呈现单元250的显示屏上作为如上所述指示用户正在观看外部信息的信息时,例如,呈现状态控制单元245可以基于视线信息来改变对类似眼睛的图案的显示,以指示用户的眼睛的状态。例如,针对用户的眼睑的状态,可以改变类似眼睛的图案在外部呈现单元250的显示屏上的显示,使得眼睑上下移动(就像眼睛张开和闭合那样)。此外,例如,类似眼睛的图案在外部呈现单元250的显示屏上的显示可以根据用户的视线的变化而改变。当类似眼睛的图案在外部呈现单元250的显示屏上的显示根据用户的视线的变化而改变时,如果用户朝向显示在内部通知单元130的显示屏上的外部图像中包括的人移动他或她的视线,则外部呈现单元250的显示屏上的类似眼睛的图案也可以被显示为朝向该人移动视线。通过将用户的视线的轨迹显示在外部呈现单元250的显示屏上,来自外部的意图与用户进行交流的人可以识别用户的视线是否朝向他或她,并且因此,可以识别用户是否注意到他或她。
应当注意,呈现状态控制单元245可以根据包括在内部信息中的另一类型的信息(例如不同于视线信息的用户信息或内容信息)来切换呈现状态。例如,呈现状态控制单元245可以基于用户的位置信息根据用户是在家还是在工作中来切换呈现状态。当用户在家时,例如,假设意图与用户进行交流的外部的人是家庭成员或朋友,但是当用户在工作中时,假设意图与用户进行交流的外部的人是与用户有业务关系的老板、客户等。因此,当在家呈现对外部指示相同意思的用户响应信息时,呈现状态控制单元245可以进行显示以使外部的人感知到相对亲近。
此外,呈现状态控制单元245可以基于由察觉程度确定单元244确定的察觉程度来切换呈现状态。例如,当在外部呈现单元250的显示屏上显示有类似用户的眼睛的图案作为如上所述指示用户正在观看外部图像的信息时,呈现状态控制单元245可以基于察觉程度来改变对类似眼睛的图案的显示。如上所述,根据察觉程度,除了用户“正在观看(察觉到)”和“没有观看(未察觉到)”包括在外部信息中的外部图像的替选状态之外,还可以表示“用户已经识别到已经显示了外部信息但是没有识别出外部信息的内容的状态”。当察觉程度相对高时,例如,在外部呈现单元250的显示屏上可以明确地显示类似眼睛的图案,以指示用户已经清楚地识别出外部信息。另一方面,当察觉程度相对低时,可以在外部呈现单元250的显示屏上什么也不显示,以指示用户还未识别出外部信息。此外,当察觉程度为中(在上述“用户已经识别出已经显示了外部信息但是没有识别出外部信息的内容的状态”下)时,例如,可以在外部呈现单元250的显示屏上进行对指示察觉程度为中的状态的显示,例如,对类似眼睛的图案的模糊显示,或者对闭合眼睛的图案的显示。通过在外部呈现单元250的显示屏上进行反映用户的察觉程度的显示,来自外部的意图与用户进行交流的人可以确定用户是否已经识别出他或她。
应当注意,以下将在[2-3.呈现状态的具体示例]中详细描述呈现状态控制单元245的呈现状态控制的具体示例。此外,以下将在[2-4.通知状态和呈现状态的具体示例]中详细描述通知状态控制单元142的通知状态控制与呈现状态控制单元245的呈现状态控制之间的联系的具体示例。
以上参照图9详细描述了根据本公开内容的第二实施方式的非透视HMD装置20的配置的示例。可以使用多用途构件或电路来配置上述每个构成元件,并且每个构成元件可以被配置为专用于构成元件的功能的硬件。此外,对于控制单元240而言,CPU可以执行各个构成元件的所有的功能。因此,可以根据每次实现本实施方式时的技术水平来适当地改变要使用的配置。应当注意,以下将在<3.硬件配置>中详细描述非透视HMD装置20的硬件配置。
如以上参照图9所述,呈现状态控制单元245基于在第二实施方式中由通知状态控制单元142切换的针对用户的外部信息的通知状态来切换将指示用户对外部信息的响应的信息呈现至用户外部的呈现状态。因此,除了在第一实施方式中获得的效果之外,在第二实施方式中获得了以下效果。也就是说,由于在第二实施方式中将用户对外部信息的响应呈现给外部的人,所以外部的人可以识别其中用户注意外部信息(例如,意图与用户进行交流的人)的用户状态,并且可以根据用户的状态适当地做出反应。因此,实现了用户与外部的人之间更顺畅的交流。
此外,在第二实施方式中,察觉程度确定单元244基于由通知状态控制单元142切换的针对用户的外部信息的通知状态以及由内部信息获取单元143获取的内部信息中至少之一来确定用户对外部信息的察觉程度。然后,呈现状态控制单元245可以基于内部信息和察觉程度中至少之一来切换将指示用户对外部信息的响应的信息呈现至用户外部的呈现状态。通过反映指示用户的状态的信息,例如,如上所述的呈现状态中的视线信息或者用户对外部信息的察觉程度,外部的人不仅可以识别用户是否注意外部信息,而且还可以更详细地识别用户的状态,例如,用户的视线或者用户正在注意外部信息的程度,并且因此,用户与外部的人之间的交流可以更顺畅。
应当注意,在由呈现状态控制单元245使用外部呈现单元250的通知状态控制中,可以基于通知状态、察觉程度和/或内部信息来控制外部呈现单元250的通知状态,并且可以使用由用户的操作输入来适当地切换外部呈现单元250的通知状态。也就是说,通过从用户向呈现状态控制单元245适当地输入命令,可以改变外部呈现单元250的显示屏上的显示以及从音频输出装置的输出。应当注意,可以使用例如按钮或开关或者通过朝向图9所示的外部信息检测单元110的相机进行预定姿势来进行用于切换呈现状态控制的用户的操作输入。
应当注意,虽然以上描述了呈现状态控制单元245通过将类似用户的眼睛的图案显示在外部呈现单元250的显示屏上来切换对外部的用户响应信息的呈现状态的情况,但本实施方式不限于此。例如,呈现状态控制单元245可以将使用文本、符号等的直接消息或者与眼睛不同的对象的图案显示在外部呈现单元250的显示屏上。此外,当外部呈现单元250的显示单元具有与显示屏不同的灯等时,可以通过控制灯的驱动来切换对外部的用户响应信息的呈现状态。
此外,虽然已经描述了呈现状态控制单元245通过控制外部呈现单元250的显示屏的显示来切换对外部的用户响应信息的呈现状态,但本实施方式不限于此。例如,呈现状态控制单元245可以通过控制外部呈现单元250的音频输出装置的输出来切换对外部的呈现状态。例如,可以基于通知状态、察觉程度和/内部信息来从外部呈现单元250的音频输出装置输出指示用户对外部信息的响应的声音。声音可以是人(例如,用户)的嗓音或者蜂鸣器、警报的声音等。外部的人可以听见从外部呈现单元250的音频输出装置输出的声音,并且识别用户的状态。
此外,虽然在图9所示的示例中非透视HMD装置20包括外部信息检测单元110、内部信息检测单元120、内部通知单元130、外部呈现单元250和控制单元240,但本实施方式不限于此。例如,非透视HMD装置20还可以具有配置:用于用户输入各种类型的信息的输入单元、用于存储在非透视HMD装置20中处理的各种类型的信息的存储单元、用于与其他外部装置传送和接收各种类型的信息的通信单元等。此外,非透视HMD装置20可以不被配置成一个装置,非透视HMD装置20所具有的各个功能可以任意地分布至多个装置。例如,可以仅将外部信息检测单元110、内部信息检测单元120、内部通知单元130和外部呈现单元250安装在由用户穿戴的装置中,控制单元240可以安装在另一装置中,例如任意信息处理设备,例如用户具有的智能电话、平板PC,或安装在另一地点的服务器,并且用户穿戴的装置与安装有控制单元240的信息处理设备可以通过任意通信线路(网络)彼此交换各种类型的信息,并且从而可以进行非透视HMD装置20的以上所述的各种处理。
[2-3.呈现状态的具体示例]
接着,将参照图10A、图10B、图11、图12A和图12B详细描述呈现状态控制单元245的呈现状态控制的具体示例。在以下与呈现状态控制的具体示例有关的描述中,将例示呈现状态控制单元245通过控制外部呈现单元250的显示屏的显示来切换呈现状态的情况。此外,在图10A、图10B、图11、图12A和图12B中,示出了当从前方观看时穿戴第二实施方式的非透视HMD装置20的人600的状态。
首先,将参照图10A和图10B描述在还未将外部信息通知给用户的状态下呈现状态控制单元245对外部呈现单元250的显示屏的控制。图10A和图10B是用于描述在还未将外部信息通知给用户的状态下呈现状态控制单元245对外部呈现单元250的显示屏的控制的具体示例的说明图。应当注意,还未将外部信息通知给用户的状态与例如图2和图9所示的必要程度确定单元141把将外部信息通知给用户的必要程度确定为低的情况对应。
参照图10A,在面对非透视HMD装置20的外部的显示屏610上显示横向的线。显示屏610与图9所示的外部呈现单元250的显示屏对应。当即使已经检测到外部信息但还未将外部信息通知给用户时,可以通过将沿横向的线显示在显示屏610上来将还未将外部信息通知给用户的指示呈现至外部。例如,当外部信息是指示外部的人已经靠近用户的信息时,已经靠近用户的外部的人可以识别出用户还未注意他或她,并且因此,可以通过以另一方式例如对用户做出特定姿势来将指示他或她想要与用户进行交流的外部信息通知给用户。
此外,参照图10,在面对非透视HMD装置20的外部的显示屏610上显示有“请勿打扰”的文本或指示禁止的符号。当如上所述即使已经检测到外部信息但还未将外部信息通知给用户时,可以根据用户做出的设置在显示屏610上显示指示用户想要集中精力工作的信息。当外部信息是指示外部的人已经靠近用户的信息时,已经靠近的外部的人可以识别出用户还未注意到他或她并且用户想要集中精力进行工作,并且因此,可以根据状况适当地做出反应,例如,如果他或她的业务不紧急,则尝试在另一时间联系用户。
如以上参照图10A和图B所描述,在还未将外部信息通知给用户的情况下,可以在显示屏610上对外示出指示用户没有注意到外部信息的显示,例如图10A所示的沿横向的线。另外,可以根据用户做出的设置在显示屏610上显示如图10B所示的指示用户想要集中精力进行工作的信息。
接着,将参照图11描述由呈现状态控制单元245基于用户的视线信息对外部呈现单元250的显示屏的控制。图11是用于描述由呈现状态控制单元245基于用户的视线信息对外部呈现单元250的显示屏的控制的具体示例的说明图。在图11中,用户已经被通知以外部信息,并且将图9所示的在外部呈现单元250的显示屏上显示有类似用户眼睛的图案的情况示出为指示用户状态的显示的示例。
参照图11,在面对非透视HMD装置20的外部的显示屏610上显示有类似用户眼睛的图案。此外,显示屏610上的显示随着类似眼睛的图案根据用户视线的移动而变化,如图11所示。这与参照图9所描述的由呈现状态控制单元245基于包括在内部信息中的用户的视线信息根据用户的视线的变化对外部呈现单元250的显示屏上的类似眼睛的图案的显示的控制对应。在这种方式中,在已经将外部信息通知给用户的状态下,显示屏610上显示的类似眼睛的图案可以被显示为根据用户的视线而移动。因此,已经视觉上识别出显示屏610的外部的人可以识别出用户是否正在注意他或她的靠近以及用户是否正在观看他或她,并且因此,可以与用户的更顺畅地进行交流。
此外,在图12A和图12B中,示出了呈现状态控制单元245基于用户的视线对外部呈现单元250的显示屏的控制的另一具体示例。图12A和图12B是用于描述由呈现状态控制单元245基于用户的视线对外部呈现单元250的显示屏的控制的具体示例的说明图。参照图12A,在面对非透视HMD装置20的外部的显示屏610上显示有类似用户眼睛的图案;然而,所显示的图案指示眼睛闭合。此外,参照图12B,在显示屏610上同样地显示有类似用户眼睛的图案;然而,所显示的图案指示眨眼。在这种方式下,在显示屏610上可以显示指示眼睛状态的所有类型的信息,例如不仅有用户的视线,还有眼睑的状态、用户眼睛的张开和闭合等。当用户正在哭泣时,例如,在显示屏610上可以显示指示用户正在哭泣的信息。因此,外部的人可以识别用户的更详细的状态,并且因此,可以与用户更顺畅地进行交流。
如以上参照图11、图12A和图12B所描述的,在针对外部的显示屏610上可以显示指示用户眼睛的状态的各种类型的信息。此处,在面对面的人与人的交流中,除了从话语中获得的信息之外,已经领悟到了根据眼睛的状态获得信息的重要性。也就是说,例如,当在阻挡对方眼睛的状态下进行谈话时,难以理解对方的想法和意图。因此,通过如在本实施方式中那样将指示用户眼睛的状态的信息显示在面对非透视HMD装置20的外部的显示屏610上,外部的人更容易理解用户的想法和意图。
[2-4.通知状态和呈现状态的具体示例]
接着,将参照图13和图14描述图9所示的通知状态控制单元142的通知状态控制与呈现状态控制单元245的呈现状态控制之间的联系的具体示例。图13和图14是用于描述通知状态控制单元142的通知状态控制与呈现状态控制单元245的呈现状态控制之间的联系的具体示例的说明图。在图13和图14中,在附图的左侧示出了图9所示的内部通知单元130的显示屏按顺序变化的状态,并且在附图的右侧示出了外部呈现单元250的显示屏按照与内部通知单元130的显示屏的变化对应的顺序而变化的状态。此外,作为具体示例,图13示出了图4A所示的情况,即,内部通知单元130的显示屏510的显示和从音频输出装置的输出被从内容图像520和内容声音切换至外部图像530和外部声音的情况。此外,作为具体示例,图14示出了图4D所示的情况,即,外部图像530被叠加并且显示在内部通知单元130的显示屏510上的内容图像520的显示的部分区域中、并且外部声音被叠加在内容声音上并且从音频输出装置输出的情况。
参照图13,在第一部分中,在内部通知单元130的显示屏510上显示有内容图像,并且从内部通知单元130的音频输出装置输出内容声音。也就是说,第一部分的状态是已经将内容信息通知给用户并且用户正在工作的状态。由于在第一部分的状态下还未检测到外部信息并且用户还未被通知以信息,所以在外部呈现单元250的显示屏610上什么也不显示。
图13的第二部分示出了已经检测到外部信息(例如,指示外部的人已经靠近用户的信息)、并且将内部通知单元130的显示屏510的显示和音频输出装置的输出从内容图像520和内容声音切换至外部图像530和外部声音的过渡状态。当以这种方式切换内部通知单元130的显示屏510的显示时,可以在预定时间内设置在显示屏510上什么都不显示的状态,以将显示屏510的显示的过渡指示给用户。当显示屏510的显示切换至什么都不显示的状态时,用户可以识别出已经检测到任何外部信息。此外,第二部分的状态是针对用户的“用户已经识别出已经检测到外部信息但是没有识别出外部信息的内容的状态”。因此,可以在外部呈现单元250的显示屏610上显示指示用户状态的信息。由于图13所示的示例指示用户处于“用户已经识别出已经检测到外部信息但是没有识别出外部信息的内容的状态”,所以显示有如图12A所示的闭眼的图案。通过如上所述那样切换显示屏610的显示,已经靠近用户的外部的人可以识别出用户还未识别出外部信息的内容。然而,用于指示用户处于“用户已经识别出已经检测到外部信息但是没有识别出外部信息的内容的状态”下的显示屏610的显示不限于图13的第二部分所示的示例,并且可以显示其他图案,只要其他图案可以将该状态呈现给外部的人即可。
图13的第三部分示出了紧接在内部通知单元130的显示屏510的显示和从音频输出装置的输出被切换至外部图像530和外部声音之后的状态。通过以这种方式将外部图像530显示在显示屏510上,用户可以识别外部状况。此外,为了指示用户正在观看外部图像530,在外部呈现单元250的显示屏610上显示类似用户眼睛的图案。然而,由于第三部分的状态是紧接在显示屏510的显示被切换至外部图像530之后的状态,所以用户正在观看整个外部图像530,而不是朝向包括在外部图像530中的人移动他或她的视线。因此,显示屏610上显示的类似眼睛的图案被显示成使得用户的视线面向前方。通过以这种方式切换显示屏610的显示,外部的人可以基于类似眼睛的图案的显示位置识别出用户正在观看外部图像并且用户还未沿着他或她的方向观看。
图13的第四部分示出了已经将内部通知单元130的显示屏510的显示和从音频输出装置的输出切换至外部图像530和外部声音,并且用户已经识别出外部的人已经靠近。也就是说,用户通过视觉上识别显示在显示屏510上的外部图像530已经识别出外部的人的靠近并且朝向外部图像530的人移动他或她的视线。在外部呈现单元250的显示屏610上显示类似用户眼睛的图案以指示用户正在观看外部图像530,并且沿着外部的人靠近的方向(从图13的示例中的用户的视点向右的方向)显示类似眼睛的图案以指示用户的视线。通过以这种方式切换显示屏610的显示,靠近用户的外部的人可以识别出用户正在沿着他或她的方向观看。
接着,将参照图14描述图9所示的通知状态控制单元142的通知状态控制与呈现状态控制单元245的呈现状态控制之间的联系的另一具体示例。
参照图14,第一部分所示的状态与图13的第一部分所示的状态相同。换言之,第一部分的状态是已经将内容信息通知给用户、并且外部呈现单元250的显示屏610上什么都不显示的状态。
图14的第二部分示出了下述状态:检测到外部信息(例如,指示外部的人已经靠近的信息),外部图像530叠加在内容图像520的显示的部分区域上并且显示在内部通知单元130的显示屏510上,并且外部声音叠加在内容声音上并且从音频输出装置输出。由于第二部分所示的状态是紧接在将外部信息通知给用户之后的状态,该状态是针对用户的“用户已经识别出已经检测到外部信息但是没有识别出外部信息的内容的状态”。因此,可以在外部呈现单元250的显示屏610上显示指示该状态的信息。为了指示用户处于图14所示的示例中的“用户已经识别出已经检测到外部信息但是没有识别出外部信息的内容的状态”,如图12A和图13中所示那样显示闭眼的图案。可以由图9所示的呈现状态控制单元245将外部呈现单元250的显示屏610的显示控制为例如在内部通知单元130的显示屏510上显示外部信息之后被显示预定时间。这样的控制的原因在于,当在如图14所示内部通知单元130的显示屏510上显示内容图像520和外部图像530二者时,在内部通知单元130的显示屏510上显示外部图像的时刻,用户边继续他或她的工作边参照内容图像,并且因此,不可以快速地在视觉上识别出外部图像530,并且需要预定时间段来识别外部图像530的内容。通过如图14的第二部分所示的那样切换显示屏610的显示,已经靠近用户的外部的人可以识别出用户还未识别出外部信息的内容。然而,用于指示用户处于“用户已经识别出已经检测到外部信息但是没有识别出外部信息的内容的状态”的显示屏610的显示不限于图14的第二部分所示的示例,并且可以显示另外的图案,只要另外的图案可以将该状态呈现给外部的人即可。
图14的第三部分示出了在将外部图像530叠加在内容图像520的部分区域上并显示在内部通知单元130的显示屏510上、并且将外部声音叠加在内容声音上并从音频输出装置输出之后经过预定时间段的状态。由于在将外部信息显示在内部通知单元130的显示屏510上之后经过了预定时间段,所以用户已经识别出外部状况。因此,在外部呈现单元250的显示屏610上显示类似用户眼睛的图案,以指示用户正在观看外部图像530。然而,在第三部分所示的状态下,在显示屏510的显示已经切换至外部图像530时,用户的视线不朝向包括在外部图像530中的人移动。因此,显示屏610上显示的类似眼睛的图案被显示为如用户的视线面对前方一样。通过以这种方式切换显示屏610的显示,已经靠近用户的外部的人可以基于类似眼睛的图案的显示位置识别出用户正在观看外部图像并且识别出用户没有沿着他或她的方向观看。
图14的第四部分是与图13的第四部分所示的状态相同的状态,并且示出了已经将内部通知单元130的显示屏510的显示和从音频输出装置的输出切换至外部图像530和外部声音的状态。用户通过视觉上识别显示屏510上显示的外部图像530已经识别出外部的人的靠近,并且朝向外部图像530的人移动他或她的视线。此时,在外部呈现单元250的显示屏610上显示类似用户眼睛的图案以指示用户正在观看外部图像530,并且沿着外部的人靠近的方向(图14的示例中用户的视点的右方向)显示类似眼睛的图案,以指示用户的视线。通过以这种方式切换显示屏610的显示,靠近用户的外部的人可以识别出用户正在沿着他或她的方向观看。
以上参照图13和图14描述了图9所示的通知状态控制单元142的通知状态控制与呈现状态控制单元245的呈现状态控制之间的联系的具体示例。如上所述,在根据第二实施方式的非透视HMD装置20中,在外部呈现单元250的显示屏610上显示有与内部通知单元130的显示屏510上的显示相关联的指示用户对外部信息的响应的信息。此外,显示屏610上显示的信息反映内部通知单元130的通知状态、用户对外部信息的察觉程度和/或内部信息。因此,意图与用户进行交流的外部的人可以识别用户对外部信息的具体响应,例如用户是否已经识别出他或她已经靠近,并且如果用户已经识别出他或她已经靠近,则识别用户是否沿着他或她的方向观看。因此,外部的人可以例如通过等待直到用户的视线朝向他或她之后开始谈话等来适当地做出反应,以与用户进行交流。
应当注意,不需要按照附图所示的顺序或者根据预定时间段的推移来改变图13和图14所示的显示屏510的显示和显示屏610的显示。可以使用用户的操作输入来适当地切换显示屏510的显示和显示屏610的显示。例如,在图14所示的示例中,在第三部分中所示的状态下将外部信息通知给用户之后,当用户想要集中精力与外部的人进行交流时,可以使用用户的操作输入将显示屏510的显示和显示屏610的显示转换至第四部分所示的状态,并且当用户想要边与外部的人进行交流边继续进行工作时,可以保持第三部分所示的状态而不进行改变。
此外,通知状态控制单元142的通知状态控制和呈现状态控制单元245的呈现状态控制之间的联系不限于第二实施方式中的图13和图14所示的示例。是否已经将外部信息通知给用户,以及如果通知了,则用户对外部信息的响应可以根据通知状态、用户的察觉程度等被呈现至外部,并且呈现状态可以是以标记、文本、符号、声音等形式的任何状态。此外,由用户适当地设置在什么情况下呈现什么类型的信息。也就是说,可以由用户适当地设置要呈现至外部的用户响应信息的类型以及与具体通知状态、察觉程度和内部信息有关的信息的呈现状态。由于用户以这种方式根据呈现状态控制的状况来进行详细地设置,所以外部的人可以更顺畅地理解用户的想法和意图。
应当注意,图13和图14的第二部分所示的“用户已经识别出已经检测到外部信息但是没有识别出外部信息的内容的状态”是例如如上所述当将外部信息通知给用户时从内容信息的过渡状态、紧接在将外部信息通知给用户之后的状态、如图5所示分阶段将外部信息通知给用户的状态、如图6A至图6C所示的将指示已经检测到外部信息的信息通知给用户的状态等。
[2-5.呈现状态控制方法的处理步骤]
接着,将参照图15描述根据本公开内容的第二实施方式的呈现状态控制方法的处理步骤。图15是示出根据本公开内容的第二实施方式的呈现状态控制方法的处理步骤的流程图。应当注意,在以下与呈现状态控制方法的处理步骤有关的描述中,由于已经参照图9描述了外部信息检测单元110、内部信息检测单元120、内部通知单元130、外部呈现单元250和控制单元240的功能和配置,所以将省略其详细描述。此外,由于图15的步骤S801至步骤S809的处理与图7所示的根据第一实施方式的通知状态控制方法的处理步骤的步骤S701至步骤S709的处理相同,所以在以下与呈现状态控制方法的处理步骤有关的描述中将省略对步骤S801至步骤S809的处理的详细描述。
参照图15,如上所述在步骤S801至步骤S809中进行与图7所示的根据第一实施方式的通知状态控制方法的处理步骤的步骤S701至S709的处理步骤相同的处理。也就是说,在步骤S809中,通知状态控制单元142基于由必要程度确定单元141确定的必要程度来控制内部通知单元130的针对用户的外部信息的通知状态。然而,当在步骤S807中在必要程度确定单元141对必要程度的确定处理中不使用内部信息时,可以省略步骤S805中对内部信息的获取处理,以下将描述在步骤S811中由察觉程度确定单元244对察觉程度的确定处理,以及/或者以下将描述由呈现状态控制单元245对呈现状态的控制处理。当已经在步骤S809中控制了外部信息的通知状态时,处理进行至步骤S811。
在步骤S811中,由察觉程度确定单元244基于由通知状态控制单元142切换的通知状态和由内部信息获取单元143获取的内部信息中至少之一来确定用户对外部信息的察觉程度。如以上在[2-2.呈现状态控制装置的配置]中所述,此处可以基于内部通知单元130中的外部信息、包括在生物信息中的信息(例如视线信息等)的通知状态,根据若干级别或分数来确定用户的察觉程度。应当注意,当在以下要描述的步骤S813中在由呈现状态控制单元245对呈现状态的控制处理中不使用察觉程度时,可以省略步骤S811的处理。
接着,在步骤S813中,呈现状态控制单元245基于由通知状态控制单元142切换的通知状态来切换将指示用户对外部信息的响应的信息呈现至用户外部的呈现状态。此外,可以由呈现状态控制单元245基于在步骤S805中获取的内部信息和/或在步骤S811中确定的察觉程度来进行对呈现状态的切换。此外,可以进行由呈现状态控制单元245对呈现状态的切换,使得如例如在以上[2-3.呈现状态的具体示例]和[2-4.通知状态和呈现状态的具体示例]中所描述的那样将指示用户对外部信息的响应的各种标记、文本等显示在面对外部的显示屏上。
最后,在步骤S815中,外部的人基于在步骤S813中控制的呈现状态以各种方式中的任何方式来与用户进行交互。具体地,当呈现指示用户已经识别出外部信息和外部的人的信息(例如,指示用户正在朝向外部的人转移他或她的视线的信息)时,例如,外部的人可以通过开始与用户谈话来与用户进行交流。此外,当呈现指示用户还未识别出外部信息的信息时,例如,在进行动作(例如向用户挥舞他或她的手)以使得他或她的存在被识别之后,外部的人可以例如通过开始与用户进行谈话来与用户进行交流。在这种方式下,外部的人可以基于在步骤S813中控制的呈现状态根据状况来选择合适的反应。
已经参照图15描述了根据本公开内容的第二实施方式的呈现状态控制方法的处理步骤。
<3.硬件配置>
接着,将参照图16详细描述根据本公开内容的第一实施方式的非透视HMD装置10和根据本公开内容的第二实施方式的非透视HMD装置20的硬件配置。图16是用于描述根据本公开内容的第一实施方式的非透视HMD装置10和根据本公开内容的第二实施方式的非透视HMD装置20的硬件配置的框图。
非透视HMD装置10和非透视HMD装置20各自主要具有CPU901、ROM903和RAM905。此外,非透视HMD装置10和非透视HMD装置20各自具有主机总线907、桥909、外部总线911、接口913、传感器装置914、输入装置915、输出装置917、存储装置919、驱动器921、连接端口923和通信装置925。
CPU901用作算术处理装置和控制装置,并且根据记录在ROM903、RAM905、存储装置919和可移除记录介质927中的各种程序来控制在非透视HMD装置10和非透视HMD装置20中进行的操作的一部分或所有操作。ROM903存储由CPU901使用的程序、算术参数等。RAM905主要存储由CPU901使用的程序、在程序的执行中适当改变的参数等。构成元件由被配置为内部总线(例如CPU总线)的主机总线907彼此连接。CPU901与例如图2所示的第一实施方式中的控制单元140和图9所示的第二实施方式中的控制单元240对应。
主机总线907经由桥909连接至外部总线911例如外围部件互联/接口(PCI)总线。此外,传感器装置914、输入装置915、输出装置917、存储装置919、驱动器921、连接端口923和通信装置925经由接口913连接至外部总线911。
传感器装置914是检测装置,例如检测用户的运动的传感器、获取指示当前位置的信息的传感器、检测用户的生物信息的传感器等。作为这样的传感器的示例,可以例示:运动传感器,例如包括加速度传感器的三轴加速度传感器、重力检测传感器、或落下检测(fall-detection)传感器;或者三轴陀螺传感器,例如角速度传感器、手抖校正(hand-shakecorrection)传感器、或地磁传感器;GPS传感器;脉搏传感器;心跳传感器等。此外,传感器装置914可以具有各种测量装置例如温度计、照度计、湿度计、气压计等。传感器装置914与例如图2所示的第一实施方式中的内部信息检测单元120和图9所示的第二实施方式中的内部信息检测单元120对应。更具体地,传感器装置914包括例如图1A和图1B以及图8A和图8B所示的视线传感器单元314a和314b。
输入装置915是由用户操作的操作装置,例如鼠标、键盘、触摸板、按钮、开关、操作杆等。此外,输入装置915可以是例如使用红外光或其他无线电波的远程控制装置(即,远程控制器),或者可以是与非透视HMD装置10和非透视HMD装置20的操作对应的外接装置929,例如移动电话或PDA。另外,使用例如输入控制电路等来配置输入装置915,所述输入控制电路基于由用户使用操作装置输入的信息来生成输入信号并且将信号输出至CPU901。非透视HMD装置10和非透视HMD装置20的用户可以通过操作输入装置915将各种数据输入至非透视HMD装置10和非透视HMD装置20,或者指示所述装置进行处理操作。在第一实施方式和第二实施方式中,使用由用户使用输入装置915输入的操作,例如,图2和图9所示的通知状态控制单元142以及图9所示的呈现状态控制单元245可以控制内部通知单元和外部呈现单元的显示和音频输出。
输出装置917被配置成可以以视觉的方式或以听觉的方式将所获取的信息通知给用户的装置。这样的装置包括:显示装置,例如CRT显示装置、液晶显示(LCD)装置、等离子体显示装置、有机电致发光显示(OLED)装置、无机电致发光显示(IELD)装置和灯(例如,发光二极管(LED));音频输出装置,例如扬声器、耳机和头戴耳机;打印装置;移动电话;传真等。输出装置917输出例如通过由非透视HMD装置10和非透视HMD装置20进行的各种处理所获得的结果。具体地,显示装置以文本、图像等各种形式显示通过由非透视HMD装置10和非透视HMD装置20进行的各种处理所获得的结果。显示装置与例如在第一实施方式和第二实施方式中由图2和图9所示的内部通知单元130和外部呈现单元250的显示单元的配置对应。更具体地,显示装置与例如图1A、图1B、图8A和图8B所示的内部显示单元313a和313b以及外部显示单元315对应。此外,音频输出装置将包括再现的声音数据、音频数据等的音频信号转换成模拟信号并且输出该信号。音频输出装置与例如在第一实施方式和第二实施方式中由图2和图9所示的内部通知单元130和外部呈现单元250的音频输出单元的配置对应。此外,输出装置917可以设置有与音频输出装置(例如耳机、头戴耳机等)连接的耳机塞孔。
存储装置919是被配置为非透视HMD装置10和非透视HMD装置20的存储单元的示例的用于数据存储的装置。存储装置919被配置为例如磁存储单元装置例如硬盘驱动器(HDD)、半导体存储装置、光存储装置或者磁光存储装置。存储装置919存储用于CPU901执行的程序和各种数据、从外部获取的各种数据等。存储装置919可以存储在第一实施方式和第二实施方式中的通知状态控制处理和呈现状态控制处理中处理的各种类型的信息。
驱动器921是用于记录介质的读写器,并且安装在非透视HMD装置10和非透视HMD装置20中或者外接至非透视HMD装置10和非透视HMD装置20。驱动器921读取记录在可移除记录介质927(例如下载式磁盘、光盘或磁光盘或者半导体存储器)中的信息,并且将信息输出至RAM905。此外,驱动器921还可以将记录写在可移除记录介质927(例如下载式磁盘、光盘或磁光盘或者半导体存储器)上。可移除记录介质927是例如DVD介质、HD-DVD介质、蓝牙(注册商标)介质等。此外,可移除记录介质927可以是压缩闪存(CF)(注册商标)、闪存存储器、安全数字(SD)存储卡等。此外,可移除记录介质927可以是例如集成电路(IC)卡或者安装有非接触式IC芯片的电子装置。驱动器921将在第一实施方式中的通知状态控制处理和第二实施方式中的呈现状态控制处理中处理的各种类型的信息写在各种可移除记录介质927上,并且从各种可移除记录介质927读取在第一实施方式和第二实施方式中的通知状态控制处理和呈现状态控制处理中处理的各种类型的信息。
连接端口923是用于将装置直接连接至非透视HMD装置10和非透视HMD装置20的端口。作为连接端口923的示例,存在着通用串行总线(USB)端口、IEEE1394端口、小计算机系统接口(SCSI)端口等。作为连接端口923的其他示例,存在着RS-232C端口、光音频端子、高清多媒体接口(HDMI;注册商标)端口等。通过将装置929外接至连接端口923,非透视HMD装置10和非透视HMD装置20从外接装置929直接获取各种数据并且将各种数据提供至外接装置929。在第一实施方式和第二实施方式中,非透视HMD装置10和非透视HMD装置20可以经由连接端口923与各种外接装置929交换在通知状态控制处理和呈现状态控制处理中处理的各种类型的信息。
通信装置925是被配置为例如要连接至通信网络(网络)931的通信装置的通信接口。通信装置925是例如用于有线或无线局域网(LAN)、蓝牙(注册商标)或无线USB(WUSB)的通信卡。此外,通信装置925可以是用于光通信的路由器、用于非对称数字用户线路(ADSL)的路由器、用于各种类型的通信的调制解调器等。此外,对于通信装置925的通信方案(标准)而言,可以应用例如第三代(3G)移动通信系统、长期演进(LTE)、无线保真(Wi-Fi)、小灵通(注册商标)、近场通信(NFC)等中的任何通信方案。通信装置925可以基于预定协议(例如TCP/IP等)在因特网上或者使用另一通信装置来发送和接收信号等。此外,与通信装置925连接的通信网络931被配置为以有线或无线的方式等连接的网络,并且可以是例如因特网、家庭LAN、红外通信、无线电通信、卫星通信等。在第一实施方式和第二实施方式中,通信装置925可以使得非透视HMD装置10和非透视HMD装置20与各种外部装置彼此交换在通知状态控制处理和呈现状态控制处理中处理的各种类型的信息。例如,通信装置925可以与图2和图9所示的外部信息检测单元110对应,可以与外部的人所有的装置交换信息,并且可以接收装置的装置信息作为外部信息。
此外,虽然在图16中未示出,但是非透视HMD装置10和非透视HMD装置20可以具有以下配置。例如,非透视HMD装置10和非透视HMD装置20可以具有获取指示外围状态的图像信号作为图像的成像装置、获取指示外围状态的声音信号作为声音的声音记录装置等。成像装置和声音记录装置与例如图2所示的第一实施方式中的外部信息检测单元110和图9所示的第二实施方式中的外部信息检测单元110对应。更具体地,成像装置和声音记录装置与例如图1A和图1B以及图8A和图8B所示的相机311和麦克风312对应。此外,非透视HMD装置10和非透视HMD装置20可以具有将电力提供给非透视HMD装置10和非透视HMD装置20中的每个构成元件的电源装置(电池装置)。对于电源装置而言,应用各种二次电池(例如锂离子二次电池等)中的任何二次电池。
以上介绍了可以实现根据第一实施方式的非透视HMD装置10和根据第二实施方式的非透视HMD装置20的功能的硬件配置的示例。可以使用多用途构件或者使用专用于构成元件的功能的硬件来配置构成元件。因此,可以根据在每次实现实施方式时的技术水平来适当地改变要使用的硬件配置。
应当注意,如上所述的用于实现根据第一实施方式的非透视HMD装置10和根据第二实施方式的非透视HMD装置20的功能的计算机程序可以在个人计算机等中产生并且安装在个人计算机等中。此外,还可以设置可以存储这样的计算机程序的计算机可读记录介质。记录介质是例如磁盘、光盘、磁光盘、闪存存储器等。另外,在不使用这样的记录介质的情况下可以通过例如网络来分布计算机程序。
<4.结论>
如上所述,在本公开内容的第一实施方式和第二实施方式中可以获得以下效果。
在以上第一实施方式中,必要程度确定单元141基于指示用户的外部状况的外部信息来确定将外部信息通知给用户的必要程度。此外,通知状态控制单元142基于所确定的必要程度来切换针对用户的外部信息的通知状态。由于以这种方式确定将外部信息通知给用户的必要程度并且基于所确定的必要程度来进行外部信息的通知,所以用户可以识别出已经检测到外部信息并且对外部信息适当地作出反应,并且因此,可以与外部的人顺畅地进行交流。例如,当必要程度为高时,将外部信息直接通知给用户,并且因此,用户可以直接识别出外部信息并且对意图与用户进行交流的外部的人快速地做出回应。此外,当必要程度为中或低时,分阶段将外部信息通知给用户或者将指示已经检测到外部信息的信息通知给用户,并且因此,用户可以根据状况来选择动作,例如,以在该时刻用户正在进行的工作为优先,或者停止工作并且对外部的人立刻做出回应,并且因此,进一步增强了用户便利性。
此外,除了在第一实施方式中获得的效果之外,在第二实施方式中可以获得以下效果。
在第二实施方式中,呈现状态控制单元245基于由通知状态控制单元142切换的针对用户的外部信息的通知状态来切换将用户对外部信息的响应呈现至用户外部的呈现状态。由于以这种方式将用户对外部信息的响应呈现给外部的人,所以外部的人可以识别用户的状态,例如用户是否正在注意外部信息(例如,他或她意图与用户进行交流),并且因此,可以根据用户的状态适当地做出反应。因此,实现了用户与外部的人之间的更顺畅的交流。
此外,在第二实施方式中,察觉程度确定单元244基于由通知状态控制单元142切换的针对用户的外部信息的通知状态和由内部信息获取单元143获取的内部信息中至少之一来确定用户对外部信息的察觉程度。然后,呈现状态控制单元245可以基于内部信息和察觉程度中至少之一来切换将指示用户对外部信息的响应的信息呈现至用户外部的呈现状态。通过如上所述在呈现状态中反映指示用户状态的信息,例如视线信息或用户对外部信息的察觉程度,外部的人可以不仅识别用户是否正在注意外部信息,还可以识别用户的更详细的状态,例如用户的视线或者用户正在注意外部信息的程度,并且因此,用户与外部的人之间的交流可以更顺畅。
此外,在第二实施方式中,基于用户的视线信息将类似用户眼睛的图案例如作为用户对外部信息的响应呈现至外部。另外,将指示用户想要继续进行他或她的工作的信息作为用户对外部信息的响应呈现至外部。因此,意图与用户进行交流的外部的人可以理解用户的想法和感觉,例如,期望继续工作或进行交流。
如果这样的非透视HMD装置使用得更广泛,则在信息处理装置(例如当前的PC、智能电话等)中参照桌面上或手中的显示屏进行的工作可以被认为是由用户穿戴的非透视HMD装置进行。根据本公开内容的第一实施方式和第二实施方式,实现了穿戴非透视HMD装置10和非透视HMD装置20的用户之间或者穿戴非透视HMD装置10和非透视HMD装置20的用户与外部的人之间的更顺畅的交流。
以上参照附图描述了本公开内容的优选实施方式,但是当然,本公开内容不限于以上示例。本领域技术人员可以发现在所附权利要求范围内的各种变体和变型,并且应当理解,这些变体和变型将自然地落入本公开内容的技术范围内。
另外,本技术也可以如以下来配置。
(1)一种信息处理装置,包括:
必要程度确定单元,所述必要程度确定单元被配置成基于指示用户的外部状况的外部信息来确定将所述外部信息通知给所述用户的必要程度;以及
通知状态控制单元,所述通知状态控制单元被配置成基于确定的必要程度来切换针对所述用户的所述外部信息的通知状态。
(2)根据(1)所述的信息处理装置,还包括:
内部信息获取单元,所述内部信息获取单元被配置成获取内部信息,所述内部信息是关于所述用户的信息,
其中,所述必要程度确定单元基于所述内部信息来确定所述必要程度。
(3)根据(2)所述的信息处理装置,
其中,所述内部信息包括指示所述用户的状态的用户信息,并且
其中,所述必要程度确定单元基于所述用户信息来确定所述必要程度。
(4)根据(3)所述的信息处理装置,其中,所述用户信息包括指示所述用户的运动的运动信息、所述用户的位置信息、所述用户的生物信息以及有关所述用户的行动日程的信息中的至少任何信息。
(5)根据(2)至(4)中任一项所述的信息处理装置,
其中,所述内部信息包括内容信息,所述内容信息是所述外部信息以外的信息并且是已经通知给所述用户的信息,并且
其中,所述必要程度确定单元基于所述内容信息来确定所述必要程度。
(6)根据(5)所述的信息处理装置,其中,所述内容信息包括有关已经通知给所述用户的相应内容的场景的信息。
(7)根据(2)至(6)中任一项所述的信息处理装置,其中,所述必要程度确定单元基于所述内部信息来确定所述用户对内容信息的沉浸程度,并且所述必要程度确定单元还基于所述沉浸程度来确定所述必要程度,其中,所述内容信息是所述外部信息以外的信息并且是已经通知给所述用户的信息。
(8)根据(1)至(7)中任一项所述的信息处理装置,其中,所述通知状态控制单元基于通过将所述必要程度与预定阈值进行比较而获得的结果来切换针对所述用户的所述外部信息的通知状态。
(9)根据(8)所述的信息处理装置,其中,当所述必要程度等于或高于第一阈值时,或者当所述必要程度高于所述第一阈值时,所述通知状态控制单元使得将所述外部信息通知给所述用户。
(10)根据(9)所述的信息处理装置,
其中,所述外部信息是指示所述用户的外部状况的图像信息和声音信息,并且
其中,当所述必要程度等于或高于所述第一阈值时,或者当所述必要程度高于所述第一阈值时,所述通知状态控制单元将所述图像信息和所述声音信息叠加在内容信息上以用于通知,其中,所述内容信息是所述外部信息以外的信息并且是已经通知给所述用户的信息。
(11)根据(9)所述的信息处理装置,
其中,所述外部信息是指示所述用户的外部状况的图像信息和声音信息,并且
其中,当所述必要程度等于或高于所述第一阈值时,或者当所述必要程度高于所述第一阈值时,所述通知状态控制单元将内容信息切换成所述图像信息和所述声音信息以用于通知,其中,所述内容信息是所述外部信息以外的信息并且是已经通知给所述用户的信息。
(12)根据(9)至(11)中任一项所述的信息处理装置,其中,当所述外部信息包括特定信息时,所述必要程度被所述必要程度确定单元确定为高于所述第一阈值。
(13)根据(9)至(12)中任一项所述的信息处理装置,其中,当所述必要程度低于所述第一阈值并且等于或高于比所述第一阈值更低的第二阈值时,当所述必要程度等于或低于所述第一阈值并且等于或高于所述第二阈值时,当所述必要程度低于所述第一阈值并且高于所述第二阈值时,或者当所述必要程度等于或低于所述第一阈值并且高于所述第二阈值时,所述通知状态控制单元使得分阶段将所述外部信息通知给所述用户。
(14)根据(13)所述的信息处理装置,
其中,所述外部信息是指示所述用户的外部状况的图像信息和声音信息,并且
其中,当所述必要程度低于所述第一阈值并且等于或高于比所述第一阈值更低的第二阈值时,当所述必要程度等于或低于所述第一阈值并且等于或高于所述第二阈值时,当所述必要程度低于所述第一阈值并且高于所述第二阈值时,或者当所述必要程度等于或低于所述第一阈值并且高于所述第二阈值时,所述通知状态控制单元将所述声音信息叠加在内容信息上以用于通知,并且然后将所述图像信息叠加在所述内容信息上以用于通知,其中,所述内容信息是所述外部信息以外的信息并且是已经通知给所述用户的信息。
(15)根据(13)或(14)所述的信息处理装置,其中,当所述必要程度低于所述第二阈值时,或者当所述必要程度等于或低于所述第二阈值时,所述通知状态控制单元使得将指示已经检测到所述外部信息的预定信息通知给所述用户。
(16)根据(15)所述的信息处理装置,
其中,所述外部信息是指示所述用户的外部状况的图像信息和声音信息,并且
其中,当所述必要程度低于所述第二阈值时,或者当所述必要程度等于或低于所述第二阈值时,在使得将内容信息通知给所述用户的同时,所述通知状态控制单元使得将指示已经检测到所述图像信息或所述声音信息的预定信息通知给所述用户,并且使得将检测到所述图像信息或所述声音信息的方向通知给所述用户,其中,所述内容信息是所述外部信息以外的信息并且是已经通知给所述用户的信息。
(17)根据(1)至(16)中任一项所述的信息处理装置,其中,所述外部信息包括使用图像指示所述用户的外部状况的图像信息、使用声音指示所述用户的外部状况的声音信息、以及通过与所述用户外部的另一装置进行通信而获取的与所述另一装置有关的装置信息中的至少任何信息。
(18)根据(1)至(17)中任一项所述的信息处理装置,还包括:
内部显示单元,所述内部显示单元被配置成具有显示屏,由于所述用户穿戴所述信息处理装置并且所述显示屏位于所述用户的眼睛的前方从而阻挡用户对外部的视野,所述显示屏将包括在所述外部信息中的指示所述用户的外部状况的图像或者指示已经检测到所述外部信息的预定图像显示给所述用户,
其中,所述外部信息至少包括指示所述用户的外部状况的图像信息,并且
其中,所述通知状态控制单元通过切换所述内部显示单元的所述显示屏上的显示来切换针对所述用户的所述外部信息的通知状态。
(19)一种通知状态控制方法,包括:
基于指示用户的外部状况的外部信息来确定将所述外部信息通知给所述用户的必要程度;以及
基于确定的必要程度来切换针对所述用户的所述外部信息的通知状态。
(20)一种使得计算机实现下述功能的程序:
基于指示用户的外部状况的外部信息来确定将所述外部信息通知给所述用户的必要程度的功能;以及
基于确定的必要程度来切换针对所述用户的所述外部信息的通知状态的功能。
附图标记列表
10,20:非透视HMD装置(信息处理装置)
110:外部信息检测单元
120:内部信息检测单元
130:内部通知单元
140,240:控制单元
141:必要程度确定单元
142:通知状态控制单元
143:内部信息获取单元
244:察觉程度确定单元
245:呈现状态控制单元
250:外部呈现单元
210,310:主体部分
311:相机
312:麦克风
313a,313b:内部显示单元
314a,314b:视线传感器单元
315:外部显示单元
320:带状部分

Claims (20)

1.一种信息处理装置,包括:
必要程度确定单元,所述必要程度确定单元被配置成基于指示用户的外部状况的外部信息来确定将所述外部信息通知给所述用户的必要程度;以及
通知状态控制单元,所述通知状态控制单元被配置成基于确定的必要程度来切换针对所述用户的所述外部信息的通知状态。
2.根据权利要求1所述的信息处理装置,还包括:
内部信息获取单元,所述内部信息获取单元被配置成获取内部信息,所述内部信息是关于所述用户的信息,
其中,所述必要程度确定单元基于所述内部信息来确定所述必要程度。
3.根据权利要求2所述的信息处理装置,
其中,所述内部信息包括指示所述用户的状态的用户信息,并且
其中,所述必要程度确定单元基于所述用户信息来确定所述必要程度。
4.根据权利要求3所述的信息处理装置,其中,所述用户信息包括指示所述用户的运动的运动信息、所述用户的位置信息、所述用户的生物信息以及有关所述用户的行动日程的信息中的至少任何信息。
5.根据权利要求2所述的信息处理装置,
其中,所述内部信息包括内容信息,所述内容信息是所述外部信息以外的信息,并且是已经通知给所述用户的信息,并且
其中,所述必要程度确定单元基于所述内容信息来确定所述必要程度。
6.根据权利要求5所述的信息处理装置,其中,所述内容信息包括有关已经通知给所述用户的相应内容的场景的信息。
7.根据权利要求2所述的信息处理装置,其中,所述必要程度确定单元基于所述内部信息来确定所述用户对内容信息的沉浸程度,并且所述必要程度确定单元还基于所述沉浸程度来确定所述必要程度,其中,所述内容信息是所述外部信息以外的信息,并且是已经通知给所述用户的信息。
8.根据权利要求1所述的信息处理装置,其中,所述通知状态控制单元基于通过将所述必要程度与预定阈值进行比较而获得的结果来切换针对所述用户的所述外部信息的通知状态。
9.根据权利要求8所述的信息处理装置,其中,当所述必要程度等于或高于第一阈值时,或者当所述必要程度高于所述第一阈值时,所述通知状态控制单元使得将所述外部信息通知给所述用户。
10.根据权利要求9所述的信息处理装置,
其中,所述外部信息是指示所述用户的外部状况的图像信息和声音信息,并且
其中,当所述必要程度等于或高于所述第一阈值时,或者当所述必要程度高于所述第一阈值时,所述通知状态控制单元将所述图像信息和所述声音信息叠加在内容信息上以用于通知,其中,所述内容信息是所述外部信息以外的信息,并且是已经通知给所述用户的信息。
11.根据权利要求9所述的信息处理装置,
其中,所述外部信息是指示所述用户的外部状况的图像信息和声音信息,并且
其中,当所述必要程度等于或高于所述第一阈值时,或者当所述必要程度高于所述第一阈值时,所述通知状态控制单元将内容信息切换成所述图像信息和所述声音信息以用于通知,其中,所述内容信息是所述外部信息以外的信息,并且是已经通知给所述用户的信息。
12.根据权利要求9所述的信息处理装置,其中,当所述外部信息包括特定信息时,所述必要程度被所述必要程度确定单元确定为高于所述第一阈值。
13.根据权利要求9所述的信息处理装置,其中,当所述必要程度低于所述第一阈值并且等于或高于比所述第一阈值低的第二阈值时,当所述必要程度等于或低于所述第一阈值并且等于或高于所述第二阈值时,当所述必要程度低于所述第一阈值并且高于所述第二阈值时,或者当所述必要程度等于或低于所述第一阈值并且高于所述第二阈值时,所述通知状态控制单元使得分阶段将所述外部信息通知给所述用户。
14.根据权利要求13所述的信息处理装置,
其中,所述外部信息是指示所述用户的外部状况的图像信息和声音信息,并且
其中,当所述必要程度低于所述第一阈值并且等于或高于比所述第一阈值低的第二阈值时,当所述必要程度等于或低于所述第一阈值并且等于或高于所述第二阈值时,当所述必要程度低于所述第一阈值并且高于所述第二阈值时,或者当所述必要程度等于或低于所述第一阈值并且高于所述第二阈值时,所述通知状态控制单元将所述声音信息叠加在内容信息上以用于通知,并且然后将所述图像信息叠加在所述内容信息上以用于通知,其中,所述内容信息是所述外部信息以外的信息,并且是已经通知给所述用户的信息。
15.根据权利要求13所述的信息处理装置,其中,当所述必要程度低于所述第二阈值时,或者当所述必要程度等于或低于所述第二阈值时,所述通知状态控制单元使得将指示已经检测到所述外部信息的预定信息通知给所述用户。
16.根据权利要求15所述的信息处理装置,
其中,所述外部信息是指示所述用户的外部状况的图像信息和声音信息,并且
其中,当所述必要程度低于所述第二阈值时,或者当所述必要程度等于或低于所述第二阈值时,在使得将内容信息通知给所述用户的同时,所述通知状态控制单元使得将指示已经检测到所述图像信息或所述声音信息的预定信息通知给所述用户,并且使得将检测到所述图像信息或所述声音信息的方向通知给所述用户,其中,所述内容信息是所述外部信息以外的信息,并且是已经通知给所述用户的信息。
17.根据权利要求1所述的信息处理装置,其中,所述外部信息包括使用图像指示所述用户的外部状况的图像信息、使用声音指示所述用户的外部状况的声音信息、以及通过与所述用户外部的另一装置进行通信而获取的与所述另一装置有关的装置信息中的至少任何信息。
18.根据权利要求1所述的信息处理装置,还包括:
内部显示单元,所述内部显示单元被配置成具有显示屏,由于所述用户穿戴所述信息处理装置并且所述显示屏位于所述用户的眼睛的前方从而阻挡用户对外部的视野,所述显示屏将包括在所述外部信息中的指示所述用户的外部状况的图像或者指示已经检测到所述外部信息的预定图像显示给所述用户,
其中,所述外部信息至少包括指示所述用户的外部状况的图像信息,并且
其中,所述通知状态控制单元通过切换所述内部显示单元的所述显示屏上的显示来切换针对所述用户的所述外部信息的通知状态。
19.一种通知状态控制方法,包括:
基于指示用户的外部状况的外部信息来确定将所述外部信息通知给所述用户的必要程度;以及
基于确定的必要程度来切换针对所述用户的所述外部信息的通知状态。
20.一种使得计算机实现下述功能的程序:
基于指示用户的外部状况的外部信息来确定将所述外部信息通知给所述用户的必要程度的功能;以及
基于确定的必要程度来切换针对所述用户的所述外部信息的通知状态的功能。
CN201480017465.6A 2013-03-29 2014-02-20 信息处理装置、通知状态控制方法以及程序 Active CN105051653B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013074830 2013-03-29
JP2013-074830 2013-03-29
PCT/JP2014/054046 WO2014156388A1 (ja) 2013-03-29 2014-02-20 情報処理装置、通知状態制御方法及びプログラム

Publications (2)

Publication Number Publication Date
CN105051653A true CN105051653A (zh) 2015-11-11
CN105051653B CN105051653B (zh) 2019-09-10

Family

ID=51623389

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480017465.6A Active CN105051653B (zh) 2013-03-29 2014-02-20 信息处理装置、通知状态控制方法以及程序

Country Status (5)

Country Link
US (2) US9753285B2 (zh)
EP (1) EP2981070B1 (zh)
JP (1) JP6361649B2 (zh)
CN (1) CN105051653B (zh)
WO (1) WO2014156388A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105700686A (zh) * 2016-02-19 2016-06-22 联想(北京)有限公司 一种控制方法及电子设备
CN106325512A (zh) * 2016-08-24 2017-01-11 韩龙潇 一种使用状态下监测周围环境的终端
CN106445160A (zh) * 2016-09-30 2017-02-22 珠海市魅族科技有限公司 一种信息展示的方法以及装置
WO2018157669A1 (zh) * 2017-03-01 2018-09-07 中兴通讯股份有限公司 虚拟现实眼镜、智能终端及导视实现和控制方法
CN108572724A (zh) * 2017-03-08 2018-09-25 克拉蔻股份有限公司 基于虚拟现实头盔使用的安全和环境控制的系统和方法
CN109188699A (zh) * 2018-10-27 2019-01-11 歌尔科技有限公司 头戴显示器
CN110010138A (zh) * 2017-12-07 2019-07-12 松下知识产权经营株式会社 头戴式显示器及其控制方法
CN110431582A (zh) * 2017-03-14 2019-11-08 谷歌有限责任公司 由计算设备输出再接涉提醒

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9392212B1 (en) 2014-04-17 2016-07-12 Visionary Vr, Inc. System and method for presenting virtual reality content to a user
KR20160014418A (ko) * 2014-07-29 2016-02-11 삼성전자주식회사 유저 인터페이스 장치 및 유저 인터페이스 방법
JP6276170B2 (ja) * 2014-12-03 2018-02-07 日本電信電話株式会社 表示装置および表示方法
US9740282B1 (en) * 2015-01-05 2017-08-22 Amazon Technologies, Inc. Gaze direction tracking
US9665170B1 (en) * 2015-06-10 2017-05-30 Visionary Vr, Inc. System and method for presenting virtual reality content to a user based on body posture
US9898865B2 (en) * 2015-06-22 2018-02-20 Microsoft Technology Licensing, Llc System and method for spawning drawing surfaces
JP2017069687A (ja) * 2015-09-29 2017-04-06 ソニー株式会社 情報処理装置及び情報処理方法並びにプログラム
JP6548821B2 (ja) * 2015-09-30 2019-07-24 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイの画面上でコンテンツの配置を最適化する方法
DE102015014450B4 (de) * 2015-11-07 2017-11-23 Audi Ag Virtual-Reality-Brille und Verfahren zum Betreiben einer Virtual-Reality-Brille
CN108700982B (zh) * 2016-02-08 2021-11-23 索尼公司 信息处理设备、信息处理方法以及程序
US10268438B2 (en) * 2016-06-30 2019-04-23 Sony Interactive Entertainment Inc. Display screen front panel of HMD for viewing by users viewing the HMD player
KR20180028211A (ko) * 2016-09-08 2018-03-16 엘지전자 주식회사 헤드 마운티드 디스플레이 및 그 제어 방법
JP2018097141A (ja) * 2016-12-13 2018-06-21 富士ゼロックス株式会社 頭部装着型表示装置、仮想物体表示システム
US10810773B2 (en) * 2017-06-14 2020-10-20 Dell Products, L.P. Headset display control based upon a user's pupil state
US11861255B1 (en) * 2017-06-16 2024-01-02 Apple Inc. Wearable device for facilitating enhanced interaction
EP3493026A1 (en) * 2017-11-29 2019-06-05 Thomson Licensing A virtual reality external event processing method, corresponding devices and computer program
EP3495942B1 (en) 2017-12-07 2023-05-24 Panasonic Intellectual Property Management Co., Ltd. Head-mounted display and control method thereof
EP3746868A1 (en) * 2018-02-02 2020-12-09 InterDigital CE Patent Holdings Multiviewing virtual reality user interface
US10524737B2 (en) 2018-05-08 2020-01-07 International Business Machines Corporation Condition detection in a virtual reality system or an augmented reality system
JP2019197497A (ja) * 2018-05-11 2019-11-14 Necパーソナルコンピュータ株式会社 ヘッドマウントディスプレイシステム、通知制御装置、通知制御方法、及びプログラム
EP3776062B1 (en) * 2018-05-29 2023-07-05 Apple Inc. Optical system for head-mounted display
US10607083B2 (en) * 2018-07-19 2020-03-31 Microsoft Technology Licensing, Llc Selectively alerting users of real objects in a virtual environment
US20220146821A1 (en) 2019-03-12 2022-05-12 Sony Group Corporation Information processing device, information processing method, and computer program
US10992926B2 (en) 2019-04-15 2021-04-27 XRSpace CO., LTD. Head mounted display system capable of displaying a virtual scene and a real scene in a picture-in-picture mode, related method and related non-transitory computer readable storage medium
EP3734417A1 (en) * 2019-05-02 2020-11-04 XRSpace CO., LTD. Head mounted display system capable of displaying a virtual scene and a real scene in a picture-in-picture mode, related method and related non-transitory computer readable storage medium
EP3734418A1 (en) * 2019-05-03 2020-11-04 XRSpace CO., LTD. Head mounted display system capable of displaying a virtual scene and a map of a real environment in a picture-in-picture mode, related method and related non-transitory computer readable storage medium
US11327316B2 (en) * 2019-08-20 2022-05-10 Apple Inc. Particle control for head-mount able device
JPWO2021152858A1 (zh) * 2020-01-31 2021-08-05
US20210286502A1 (en) * 2020-03-16 2021-09-16 Apple Inc. Devices, Methods, and Graphical User Interfaces for Providing Computer-Generated Experiences
CN116601543A (zh) * 2020-09-21 2023-08-15 苹果公司 具有显示器和传感器的系统
JPWO2022131212A1 (zh) * 2020-12-18 2022-06-23
US11736679B2 (en) * 2021-01-27 2023-08-22 Meta Platforms Technologies, Llc Reverse pass-through glasses for augmented reality and virtual reality devices
WO2023192656A1 (en) * 2022-04-01 2023-10-05 Meta Platforms Technologies, Llc Smart glasses with enhanced optical structures for augmented reality applications

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07311362A (ja) * 1994-05-17 1995-11-28 Canon Inc 画像表示装置及びそれを管理する管理装置
JP2000111830A (ja) * 1998-10-08 2000-04-21 Pioneer Electronic Corp 装着型表示装置
WO2005122128A1 (ja) * 2004-06-10 2005-12-22 Matsushita Electric Industrial Co., Ltd. 装着型情報提示装置
JP2008113941A (ja) * 2006-11-07 2008-05-22 Iwagami Shoji Kk メモリアル用品
US20120050143A1 (en) * 2010-08-25 2012-03-01 Border John N Head-mounted display with environmental state detection

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0990268A (ja) 1995-09-28 1997-04-04 Sony Corp 光学視覚装置
US6050717A (en) * 1996-05-15 2000-04-18 Sony Corporation Head-mounted image display having selective image suspension control and light adjustment
US20020196202A1 (en) * 2000-08-09 2002-12-26 Bastian Mark Stanley Method for displaying emergency first responder command, control, and safety information using augmented reality
US20030210228A1 (en) * 2000-02-25 2003-11-13 Ebersole John Franklin Augmented reality situational awareness system and method
JP5228305B2 (ja) * 2006-09-08 2013-07-03 ソニー株式会社 表示装置、表示方法
JP5119636B2 (ja) * 2006-09-27 2013-01-16 ソニー株式会社 表示装置、表示方法
JP5067850B2 (ja) * 2007-08-02 2012-11-07 キヤノン株式会社 システム、頭部装着型表示装置、その制御方法
US8957835B2 (en) 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US9341843B2 (en) * 2010-02-28 2016-05-17 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a small scale image source
US9366862B2 (en) * 2010-02-28 2016-06-14 Microsoft Technology Licensing, Llc System and method for delivering content to a group of see-through near eye display eyepieces
US8957948B2 (en) * 2010-08-24 2015-02-17 Siemens Corporation Geometric calibration of head-worn multi-camera eye tracking system
US20120050140A1 (en) * 2010-08-25 2012-03-01 Border John N Head-mounted display control
US20120050044A1 (en) * 2010-08-25 2012-03-01 Border John N Head-mounted display with biological state detection
US8619005B2 (en) * 2010-09-09 2013-12-31 Eastman Kodak Company Switchable head-mounted display transition
US9690099B2 (en) * 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
JP6019601B2 (ja) * 2012-02-10 2016-11-02 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US9223139B2 (en) * 2013-02-15 2015-12-29 Google Inc. Cascading optics in optical combiners of head mounted displays

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07311362A (ja) * 1994-05-17 1995-11-28 Canon Inc 画像表示装置及びそれを管理する管理装置
JP2000111830A (ja) * 1998-10-08 2000-04-21 Pioneer Electronic Corp 装着型表示装置
WO2005122128A1 (ja) * 2004-06-10 2005-12-22 Matsushita Electric Industrial Co., Ltd. 装着型情報提示装置
JP2008113941A (ja) * 2006-11-07 2008-05-22 Iwagami Shoji Kk メモリアル用品
US20120050143A1 (en) * 2010-08-25 2012-03-01 Border John N Head-mounted display with environmental state detection

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105700686B (zh) * 2016-02-19 2020-04-24 联想(北京)有限公司 一种控制方法及电子设备
CN105700686A (zh) * 2016-02-19 2016-06-22 联想(北京)有限公司 一种控制方法及电子设备
CN106325512A (zh) * 2016-08-24 2017-01-11 韩龙潇 一种使用状态下监测周围环境的终端
CN106445160A (zh) * 2016-09-30 2017-02-22 珠海市魅族科技有限公司 一种信息展示的方法以及装置
WO2018157669A1 (zh) * 2017-03-01 2018-09-07 中兴通讯股份有限公司 虚拟现实眼镜、智能终端及导视实现和控制方法
CN108696735A (zh) * 2017-03-01 2018-10-23 中兴通讯股份有限公司 虚拟现实眼镜、智能终端及导视实现和控制方法
CN108572724A (zh) * 2017-03-08 2018-09-25 克拉蔻股份有限公司 基于虚拟现实头盔使用的安全和环境控制的系统和方法
CN108572724B (zh) * 2017-03-08 2022-07-12 克拉蔻股份有限公司 基于虚拟现实头盔使用的安全和环境控制的系统和方法
CN110431582A (zh) * 2017-03-14 2019-11-08 谷歌有限责任公司 由计算设备输出再接涉提醒
CN110431582B (zh) * 2017-03-14 2023-08-18 谷歌有限责任公司 由计算设备输出再接涉提醒
CN110010138A (zh) * 2017-12-07 2019-07-12 松下知识产权经营株式会社 头戴式显示器及其控制方法
CN110010138B (zh) * 2017-12-07 2023-11-21 松下知识产权经营株式会社 头戴式显示器及其控制方法
CN109188699A (zh) * 2018-10-27 2019-01-11 歌尔科技有限公司 头戴显示器

Also Published As

Publication number Publication date
US20170336640A1 (en) 2017-11-23
EP2981070A1 (en) 2016-02-03
US20160018655A1 (en) 2016-01-21
CN105051653B (zh) 2019-09-10
EP2981070A4 (en) 2016-11-16
US10613330B2 (en) 2020-04-07
WO2014156388A1 (ja) 2014-10-02
JP6361649B2 (ja) 2018-07-25
US9753285B2 (en) 2017-09-05
JPWO2014156388A1 (ja) 2017-02-16
EP2981070B1 (en) 2021-09-29

Similar Documents

Publication Publication Date Title
CN105051653A (zh) 信息处理装置、通知状态控制方法以及程序
US10356398B2 (en) Method for capturing virtual space and electronic device using the same
US9852506B1 (en) Zoom and image capture based on features of interest
US9986086B2 (en) Mobile terminal and method of operating the same
CN117356116A (zh) 用于定位可穿戴设备和向可穿戴设备递送内容的信标
US20160054565A1 (en) Information processing device, presentation state control method, and program
CN104395935B (zh) 用于基于环境信息的视觉复杂度来修改信息呈现的方法和装置
US20210099639A1 (en) Automated eyewear device sharing system
KR20160015972A (ko) 웨어러블 디바이스 및 그 제어 방법
US20210081047A1 (en) Head-Mounted Display With Haptic Output
CN106067833A (zh) 移动终端及其控制方法
WO2023064719A1 (en) User interactions with remote devices
US20160320839A1 (en) Wearable terminal and system including same
US20210160150A1 (en) Information processing device, information processing method, and computer program
US20230068730A1 (en) Social connection through distributed and connected real-world objects
JP2020154569A (ja) 表示装置、表示制御方法、及び表示システム
KR20230043749A (ko) 전자 디바이스들에 대한 적응적 사용자 등록
KR20240009984A (ko) 전자 안경류 디바이스로부터 맥락에 맞는 시각 및 음성 검색
CN117616381A (zh) 语音控制的设置和导航
CN111344776B (zh) 信息处理装置、信息处理方法和程序
US20230298226A1 (en) Systems and methods for ar/vr device improvements
US20230316671A1 (en) Attention-based content visualization for an extended reality environment
Mankar Advance technology-google glass
US20240069637A1 (en) Touch-based augmented reality experience
US20230069328A1 (en) Snapshot messages for indicating user state

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant