CN111886564A - 信息处理装置、信息处理方法和程序 - Google Patents

信息处理装置、信息处理方法和程序 Download PDF

Info

Publication number
CN111886564A
CN111886564A CN201980020871.0A CN201980020871A CN111886564A CN 111886564 A CN111886564 A CN 111886564A CN 201980020871 A CN201980020871 A CN 201980020871A CN 111886564 A CN111886564 A CN 111886564A
Authority
CN
China
Prior art keywords
display
sight
line
head
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980020871.0A
Other languages
English (en)
Inventor
杉原贤次
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN111886564A publication Critical patent/CN111886564A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)

Abstract

[问题]提供能够进一步改进信息呈现的可用性的信息处理装置、信息处理方法和程序。[解决方案]该信息处理装置具有:识别单元,其识别用户的视线的移动和头部移动;以及显示控制单元,其根据在视线转向对象之后进行的头部移动来控制关于对象的信息的显示。

Description

信息处理装置、信息处理方法和程序
技术领域
本公开内容涉及信息处理装置、信息处理方法和程序。
背景技术
近年来,通过将附加信息叠加在真实空间上来增强人类感知的现实环境的AR(增强现实)技术已经被广泛使用,并且已经执行了使用AR技术的信息呈现。在AR技术中,呈现给用户的附加信息也被称为注释,可以使用各种模式的虚拟对象(例如文本、图标、图像和3D模型)使注释可视化。
例如,专利文献1公开了下述技术,该技术使用所谓的透视显示器(透明显示单元)以叠加的方式将注释(虚拟对象)透明地显示在用户正在观看的真实空间的图像上。专利文献1描述了控制以显示基于视线信息从与目标对应的多个显示对象候选(候选对象)中选择的显示对象。更具体地,专利文献1中描述的发明根据从视线信息指定的视线方向计算显示画面上的视点位置(注视点),并且基于显示画面上的视点位置与显示画面上的目标的计算位置之间的距离来选择要在显示画面上显示的显示对象。
引用列表
专利文献
专利文献1:国际公开手册第WO2017/169400号。
发明内容
技术问题
仅使用诸如固定视线之类的视线来选择内容给用户带来了很大的压力,并且视线落在上面并不一定意味着用户有兴趣,因此存在发生错误识别的风险。
关于视线检测技术,上述专利文献描述了可以使用基于眼睛的可变点相对于眼睛的基准点的位置来检测视线的方法、瞳孔中心角膜反射法、用于跟踪诸如面部的眼睛、鼻子和嘴的特征等的AAM(主动外观模型),并且在视线检测中没有特别考虑上述错误识别。
本公开内容提出了使得可以改进信息呈现的可用性的信息处理装置、信息处理方法和程序。
问题的解决方案
根据本公开内容,提供了一种信息处理装置,包括:识别单元,其被配置成识别用户的视线的转移和头部的移动;以及显示控制单元,其被配置成根据在视线转向目标之后进行的头部的移动来控制关于目标的信息的显示。
根据本公开内容,提供了一种信息处理方法,该信息处理方法包括:由处理器识别用户的视线的转移和头部的移动,以及根据在视线转向目标之后进行的头部的移动来控制关于目标的信息的显示。
根据本公开内容,提供了一种程序,该程序使计算机用作:识别单元,其被配置成识别用户的视线的转移和头部的移动;以及显示控制单元,其被配置成根据在视线转向目标之后进行的头部的移动来控制关于目标的信息的显示。
本发明的有益效果
根据上述公开内容,可以改进信息呈现的可用性。
上述效果不一定是限制性的,并且与上述效果一起或代替上述效果,可以实现本文中表示的任何一种效果或者可以从本文中了解的另一种效果。
附图说明
图1是描述根据本公开内容的实施方式的信息处理装置的概述的图。
图2是示出根据实施方式的信息处理装置的配置的示例的框图。
图3是用于描述根据实施方式的用户的视线方向和头部取向的用户顶视图。
图4是用于描述根据实施方式的用户的视线方向和头部取向的用户侧视图。
图5是用于描述根据实施方式的基于视线方向的每个区域和基于头部取向的每个区域的示意图。
图6是用于描述根据实施方式的由向外摄像装置捕获的捕获图像中的基于视线方向的每个区域和基于头部取向的每个区域的图。
图7是描述根据实施方式的虚拟对象显示控制的图。
图8是描述根据实施方式的虚拟对象显示控制的图。
图9是表示由根据实施方式的信息处理装置执行的显示控制处理的流程的示例的流程图。
图10是用于描述根据实施方式的估计用户关注的目标的图。
图11是表示根据实施方式的信息呈现位置确定处理的示例的流程图。
图12是用于描述根据实施方式的指定信息可呈现区域的图。
图13是表示根据实施方式的信息呈现处理的示例的流程图。
图14是示出根据实施方式的信息可呈现区域上的呈现信息的简化显示的示例的图。
图15是描述根据实施方式的在视线方向中央区域中捕获简化显示的情况的图。
图16是示出根据实施方式的简化显示上的增强显示控制的示例的图。
图17是示出根据实施方式的详细显示的示例的图。
图18是根据实施方式的逐步显示控制的俯视图。
图19是描述根据实施方式的逐步显示控制的另一示例的图。
图20是描述根据实施方式的逐步显示控制的另一示例的图。
图21是示出根据实施方式的修改例的邮件接收通知的简化显示的示例的图。
图22是描述根据实施方式的修改例的在视线方向中央区域中捕获简化显示的情况的图。
图23是示出根据实施方式的修改例的简化显示上的增强显示控制的示例的图。
图24是示出根据实施方式的修改例的详细显示的示例的图。
具体实施方式
参照附图,下面将详细描述本公开内容的优选实施方式。在说明书和附图中,具有基本上相同的功能配置的部件用相同的附图标记表示,因此省略了多余的描述。
将按以下顺序给出描述。
1.根据本公开内容的实施方式的信息处理装置的概述
2.配置
3.操作处理
3-1.显示控制处理
3-2.信息呈现位置确定处理
3-3.信息呈现处理
4.修改例
5.结论
1.根据本公开内容的实施方式的信息处理装置的概述
首先,将描述根据本公开内容的实施方式的信息处理装置的概述。图1是描述根据实施方式的信息处理装置10的概述的图。如图1所示,根据本实施方式的信息处理装置10例如由佩戴在用户头上的眼镜状可穿戴式终端装置(也称为透过型HMD(头戴式显示器))实现。当佩戴信息处理装置10时,与眼镜的镜片的一部分对应并且位于用户的眼前的显示单元120可以是具有光学透射性的所谓的光学透视显示器。信息处理装置10能够通过在显示单元120上显示虚拟对象来将虚拟对象呈现在用户的视野内。换言之,信息处理装置10可以用作所谓的AR(增强现实)终端装置,该AR终端装置在透视显示单元上显示虚拟对象并且执行控制以使得在真实空间中以叠加的方式看到虚拟对象,从而实现增强现实。作为信息处理装置10的示例的HMD不限于将图像呈现给两只眼睛的HMD,并且可以是将图像仅呈现给一只眼睛的HMD。例如,HMD可以是设置有将图像呈现给一只眼睛的显示单元120的单眼类型的HMD。
信息处理装置10可以设置有向外摄像装置111,该向外摄像装置111在信息处理装置10被佩戴时沿用户的面部取向(即头部取向)的方向捕获图像。此外,尽管未在图1中示出,但是信息处理装置10可以设置有各种传感器,例如当信息处理装置10被佩戴时检测用户的视线的视线传感器112和麦克风(在下文中简称为麦克风)113。对于向外摄像装置111,可以设置多个摄像装置。
信息处理装置10的形状不限于图1所示的示例。例如,信息处理装置10可以是头带类型(用围绕头部的带子或者用不仅穿过头顶区域还穿过头部的颞部的带子佩戴信息处理装置10的类型)的HMD或者头盔类型的HMD(头盔的护目镜与显示单元120对应)。
当显示单元120具有光学透射性时,用户能够在透过显示单元120观看真实空间的同时观看在显示单元120上显示的信息。因此可以描述为显示在显示单元120上的虚拟对象被显示在真实空间中。
此外,可以执行使用户感觉好像虚拟对象存在于真实空间中的控制。例如,可以基于关于通过由向外摄像装置111执行的图像捕获而获得的真实空间的信息(例如关于真实空间中存在的真实对象的位置和形状的信息)来执行对虚拟对象的布置和形状的控制。
要显示在显示单元120上的虚拟对象可以是多种的。例如,虚拟对象可以是表示取决于由信息处理装置10提供的应用的各种内容集的虚拟对象(关于真实对象的信息以及来自该应用的通知信息)。
背景
当通过在显示单元120上显示虚拟对象来将信息呈现给用户时,仅使用诸如固定视线之类的视线来选择内容给用户带来很大压力,并且视线落在上面不一定意味着用户有兴趣,因此存在发生错误识别的风险。
通常,人的视场为大约120度,并且视场的特性可以例如分类如下。
·中央视野:可以清楚地识别出对象的形状和颜色和字符的区域,该区域是距聚焦的注视点(换言之,“从中央凹”开始)大约1至2度的区域。中央视野的区域包括被称为“辨别视野”和“词汇识别界限”的区域。
·有效视野:在中央视野周围的区域,在该区域处可以大致清晰地识别出对象的形状,该区域是距视点大约4至20度的区域。
·周边视野:除了中央视野和有效视野之外的区域,在该区域中无法清晰地识别字符以及对象的形状和颜色,但是可以注意到运动(例如虚拟对象的动画显示)。
为了清楚地识别在周边视野中呈现的虚拟对象或者在周边视野中看到(捕获)的真实对象,用户移动眼球并且将视点放在对象上以大致在视场的中心处捕获目标,因此目标在距中央凹约1至20度的区域内。距中央凹大约1至20度的区域也称为“焦点视野”。在这种情况下,中央视野(距中央凹大约1至2度的区域)被称为“近中央区域”。
假设当用户识别出目标并且关注该目标时,用户将他/她的脸转向该目标(即,转动头部)并且看着该目标。
实施方式的概述
鉴于这样的情况,产生了本公开内容的实施方式。在该实施方式中,当用户不仅将视线转向目标而且将头部转向目标时,确定用户极有可能关注该目标,并且执行其中仅呈现用户关注的目标的详细信息的显示控制。这使得可以改进呈现信息的可用性。注意,本文中的“目标”可以是真实对象或虚拟对象中的任何一个。
实施方式的处理的具体内容
当用户的视线转向真实对象时,根据实施方式的信息处理装置10呈现关于作为目标的真实对象的简化信息(即,虚拟对象的示例,并且也称为“简化显示”),并且当用户的视线转向该简化显示时,信息处理装置10以增强的方式显示该简化显示。此外,当不仅用户的视线而且用户的头部转向(面部转向)以增强的方式显示的简化显示时,信息处理装置10理解到用户实际上关注并且执行其中呈现关于真实对象的详细显示的显示控制。其中呈现详细显示的显示控制可以将已经呈现的简化显示切换为详细显示,或者在附近显示要添加到已经呈现的简化显示的详细信息。
在当呈现基于取决于信息处理装置10提供的应用的各种内容集的信息(例如通知信息)的简化显示(即作为目标的虚拟对象的示例)时用户的视线转向简化显示的情况中,根据本实施方式的信息处理装置10以增强的方式显示简化显示。此外,当用户的视线以及用户的头部转向(面部转向)以增强的方式显示的简化显示时,信息处理装置10理解到用户实际上关注并且执行其中呈现详细显示的显示控制。呈现详细显示的显示控制可以将已经呈现的简化显示切换为详细显示,或者在附近显示要添加到已经呈现的简化显示的详细信息。
实施方式的效果
如上所述,在本实施方式中,基于视线的转移和用户头部的移动的定时来逐步地执行关于目标的信息的显示模式和信息粒度的显示控制,可以改进信息呈现的可用性。
将视线和头部转向用户关注的目标是自然的行为,因此用户能够在没有意识到显式选择和确定运动的情况下无意识地启用选择用户关注的目标的操作,从而减轻了仅使用视线(例如固定视线)来选择内容时用户的压力。该实施方式使得可以看到用户的意图,并且更顺畅地既不太多也不太少地呈现用户想要知道的信息。
下面将更详细地描述具有这样的效果的根据实施方式的信息处理装置10的配置以及由根据实施方式的信息处理装置10执行的操作处理。
2.配置
图2是示出根据实施方式的信息处理装置10的配置的示例的框图。如图2所示,信息处理装置10包括传感器单元110、控制器100、显示单元120、扬声器130、通信单元140、操作输入单元150和存储装置160。
2-1.传感器单元110
传感器单元110具有获取(感测)关于用户或者周围环境的各种类型的信息的功能。例如,传感器单元110包括向外摄像装置111、视线传感器112、麦克风113、陀螺仪传感器114、加速度传感器115、取向传感器116和位置传感器117。本文中采用的传感器单元110的具体示例仅是示例,并且实施方式不限于此。例如,传感器单元110可以包括生物传感器、向内摄像装置等。每个传感器可以包括多个传感器。
向外摄像装置111包括下述中的每一个:由成像镜头、光圈、变焦镜头、聚焦镜头等形成的镜头系统;使镜头系统执行聚焦操作和变焦操作的驱动系统;对由镜头系统获得的成像光执行光电转换并且生成成像信号等的固态图像传感器阵列。固态图像传感器阵列可以使用例如CCD(电荷耦合装置)传感器阵列或者CMOS(互补金属氧化物半导体)传感器阵列来实现。
在实施方式中,优选的是,将向外摄像装置111的角度和取向设置为使得向外摄像装置111在信息处理装置10被佩戴时在真实空间中用户的头部取向(面部取向的方向)上捕获图像。可以设置多个向外摄像装置111。向外摄像装置111可以包括能够通过感测获取深度图的深度摄像装置。
视线传感器112具有在信息处理装置10被佩戴时检测用户的视线方向的功能。例如,视线传感器112是摄像装置、红外线传感器或者眼电位传感器。使用由视线传感器112感测到的传感器数据,下面将描述的视线识别单元102获取诸如视线方向和用户的视点之类的视线信息。
麦克风113拾取用户的语音和周围的环境声音,并且将该语音和声音作为音频数据输出到控制器100。
陀螺仪传感器114使用例如三轴陀螺仪传感器实现,并且检测角速度(旋转速度)。
加速度传感器115使用例如三轴加速度传感器实现,并且在移动期间检测加速度。
取向传感器116使用例如三轴地磁传感器(罗盘)来实现,并且检测绝对方向(取向)。
位置传感器117具有基于来自外部的获取信号来感测信息处理装置10的当前位置的功能。具体地,例如,使用GPS(全球定位系统)位置传感器来实现位置传感器117,并且位置传感器117从GPS卫星接收无线电波,感测信息处理装置10存在的位置,并且将感测位置的信息输出到控制器100。位置传感器117可以通过GPS以外的例如W-Fi(商标)、蓝牙(商标)、与移动电话,PHS或者智能电话的通信或者近场通信来感测位置。
2-2.控制器100
控制器100用作算术处理器和控制装置,并且根据各种程序控制信息处理装置10中的整体操作。控制器100使用诸如CPU(中央处理单元)或者微处理器的电子电路来实现。控制器100可以包括:ROM(只读存储器),其存储要使用的程序和算术运算参数等;以及RAM(随机存取存储器),其临时存储适当地改变的参数等。根据实施方式的控制器100具有各种识别功能和显示控制功能。
2-2-1.识别功能
如图2所示,控制器100可以用作头部位置姿势识别单元101和视线识别单元102。
·头部位置姿势识别单元101
头部位置姿势识别单元101具有基于由传感器单元110感测到的各种类型的传感器信息(感测结果)来获取关于用户的头部的位置和姿势的信息的功能。关于头部的位置和姿势的信息包含头部取向(面部的取向)。例如,头部位置姿势识别单元101能够根据向外摄像装置111、陀螺仪传感器114、加速度传感器115和取向传感器116的检测结果来检测头部的取向。头部的位置可以是真实空间中的三维位置的信息。在该实施方式中,可以设置视角和取向,使得由布置在佩戴在用户的头部上的信息处理装置10中的由向外摄像装置111执行的图像捕获的方向与当信息处理装置10被佩戴时的头部取向(面部取向的方向)大致相同(或者在基于头部取向的给定区域内),并且基于由向外摄像装置111捕获的图像,可以将成像方向(摄像装置光轴)视为头部取向。替选地,头部取向可以是安装在用户的头部上的信息处理装置10(HMD)的取向,该取向是基于向外摄像装置111、陀螺仪传感器114、加速度传感器115和取向传感器116的检测结果检测到的取向。
视线识别单元102
视线识别单元102具有基于由传感器单元110感测的各种类型的传感器信息(感测结果)来获取关于用户的视线的信息的功能。例如,视线识别单元102能够检测视线信息,该视线信息包含来自视线传感器112的检测结果的基于眼球(双眼或其中一只眼睛)移动的注视点和视线方向。作为本文中使用的基于眼球运动的检测视线(检测眼球取向)的方法,可以使用例如:根据眼电位传感器的检测结果的检测方法;对眼球施加红外线(IR)并且感测反射的光的检测方法(例如瞳孔中心角膜反射法或者巩膜反射法);或者基于基准点(内眼角或角膜反射)和移动点(例如虹膜、瞳孔等)的位置的检测方法。
用户的注视点可以是真实空间中的三维位置的信息,或者可以是通过由向外摄像装置111捕获图像而获得的真实空间的捕获图像中的二维位置的信息。真实空间的捕获图像中的二维位置是例如根据视线信息指定的视线方向的直线与捕获图像之间的交点。
·视线方向和头部取向
如上所述,在本实施方式中,可以执行基于眼球的移动来识别视线方向以及基于头部的位置和姿势来识别头部取向。使用图3和图4,将描述在实施方式中识别的视线方向S和头部取向F。图3是用于描述根据实施方式的视线方向S和头部取向F的用户顶视图。图4是用于描述根据实施方式的视线方向S和头部取向F的用户侧视图。如图3和图4所示,例如,将视线方向S识别为从两只眼睛之间的点(例如,眉间)(例如,从眼球中心到虹膜中心的方向)指向基于用户的眼球E(两个眼球或者其中一个眼球)的取向的注视点(焦点)的笔直方向。如图3和图4所示,例如,头部取向F被识别为用户的面部的中心取向的方向。替选地,可以根据作为佩戴在用户上的HMD的信息处理装置10的取向或者设置在信息处理装置10中的向外摄像装置111的摄像装置光轴来估计头部取向F(包括将信息处理装置10的取向或者向外摄像装置111的摄像装置光轴认为是头部取向F的情况)。
根据实施方式的视线方向S基于眼球的取向,并且头部取向F基于头部的取向,因此,当用户面对前方时,如图3的左侧或者图4的顶部所示,头部取向F和视线方向S一致;然而,当用户水平或竖直移动视线时,会出现头部取向F与视线方向S偏移的现象,如图3的中部或者图4中部所示。沿视线改变的方向移动头部会使头部取向F与视线方向大致相同。
三维空间识别
控制器100能够基于由传感器单元110感测的各种类型的传感器信息(感测结果)来执行周围空间识别。例如,控制器100可以基于通过由向外摄像装置111执行的图像捕获而获得的真实空间的捕获图像来三维地识别用户周围的真实空间,并且进一步识别存在于真实空间中的真实对象。当向外摄像装置111包括多个摄像装置时,可以使用深度图来执行由控制器100执行的真实空间的三维识别,该深度图是通过对利用摄像装置获得的多个捕获图像执行立体匹配而获得的。由控制器100执行的对真实空间的三维识别可以通过基于时间上捕获的图像,将从各帧之间的捕获图像检测到的特征进行关联来执行。当向外摄像装置111包括深度摄像装置时,可以基于通过用深度摄像装置进行感测而获得的距离图像来执行对真实空间的三维识别。
控制器100可以识别真实对象的形状。由控制器100识别的真实对象的形状可以是真实空间中的三维形状,或者可以是捕获图像中的二维形状。例如,可以基于对真实空间的三维识别的结果,通过分离每个真实对象来识别真实空间中的真实对象的三维形状。可以使用例如已知的分割技术来识别捕获图像中的真实对象的二维形状。
2-2-2.显示控制功能
如图2所示,控制器100可以用作信息呈现控制器103。
·信息呈现控制器103
信息呈现控制器103控制由具有光学透射性的显示单元120执行的将虚拟对象显示在真实空间中的显示。使得要由信息呈现控制器103显示的虚拟对象是多种多样的,并且信息呈现控制器103可以例如基于应用来使关于上述目标(真实对象或虚拟对象)的信息或者通知信息被显示。
信息呈现控制器103控制要显示的虚拟对象的位置和姿势。例如,信息呈现控制器103基于三维空间识别的结果,与真实对象的位置(二维位置或三维位置)相关联地控制虚拟对象的位置和姿势。
信息呈现控制器103可以基于用户的视线方向来执行虚拟对象显示控制。例如,信息呈现控制器103可以显示虚拟对象,使得根据用户的注视点将虚拟对象定位在周边视野中。
信息呈现控制器103可以基于用户的头部取向来执行虚拟对象显示控制。例如,信息呈现控制器103可以显示虚拟对象,使得基于头部取向将虚拟对象定位在周边区域中。
如上所述,信息呈现控制器103能够基于视线转移和用户头部移动的定时逐步地执行包括虚拟对象显示模式和显示粒度(信息量、简化信息的内容、详细显示等)的显示控制。在实施方式中,这使得可以改进信息呈现的可用性。下面将参照图9至图24描述显示控制的细节。
将参照图5和图6描述由根据实施方式的信息呈现控制器103使用的、用于根据用户的视线的转移和头部的移动来执行虚拟对象显示控制的对基于视线方向的每个区域以及对基于头部取向的每个区域的设置。图5是用于描述根据实施方式的基于视线方向的每个区域和基于头部取向的每个区域的示意图。图6是用于描述由向外摄像装置111捕获的捕获图像中的基于视线方向的每个区域和基于头部取向的每个区域的图。
在实施方式中,如图5所示,将基于头部取向F的区域的中央区域称为头部取向中央区域210,并且将其(中央区域以外的)周边区域称为头部取向周边区域220。将基于视线方向S的区域的中央区域称为视线方向中央区域310,并且将其(中央区域以外的)周边区域称为视线方向周边区域320。如图6所示,当观看由向外摄像装置111捕获的捕获图像200时,基于用户的视线方向S来设置围绕注视点311的视线方向中央区域310和视线方向周边区域320。在捕获图像200中,由于视角围绕头部取向F,因此捕获图像200的区域(视角)的中央区域对应于头部取向中央区域210,并且其周边对应于头部取向周边区域220。
边界区域可以如图5所示按角度来管理,或者可以按捕获图像200上的坐标来管理。图6所示的捕获图像200对应于当用户面对前方时(视线方向与头部取向一致时)经由具有光学透射性的显示单元120观看的真实空间中的视场。因此可以描述,在图6所示的示例中,边界区域按具有光学透射性的显示单元120的显示画面上的坐标来管理。
视线方向中央区域310是视线方向S周围的一定范围。基于人因工程,视线方向中央区域310可以是例如通常的中央观察范围的范围(例如,如上所述,距中央凹大约1至20度的范围)。该范围可以根据用途和场景(例如显示单元120的显示视角或者目标的尺寸)来定制。
视线方向周边区域320是视线方向S周围一定范围的区域,并且是不属于中央区域(围绕中央区域)的区域。视线方向周边区域320可以是基于人因工程的总体周边视野区域的范围(例如,如上所述,除了中央视野和有效视野之外的大约120度的人类视野的范围)。该范围可以根据用途和场景(例如显示单元120的显示视角或者目标的尺寸)来定制。
头部取向中央区域210是围绕头部取向F的一定范围(显示单元120的显示视角内的区域)的区域。头部取向周边区域220是头部取向F周围的一定范围的区域,并且是不属于中央区域(围绕中央区域)的区域。每个区域的范围可以根据用途和场景(例如显示单元120的显示视角)来定制。
如上所述,可以适当地设置视线方向中央区域310、视线方向周边区域320、头部取向中央区域210和头部取向周边区域220的参数。在图6所示的示例中,视线方向(注视点311)周围的区域小于头部取向(画面的中心)周围的区域(即显示视角);然而,实施方式不限于此。例如,在头部取向F与视线方向S一致时,可以将头部取向中央区域210的范围设置为与中央视野(视线方向中央区域310)相同的范围(尺寸),并且在头部取向F与视线方向S一致时,可以将头部取向周边区域220的范围设置为与周围视野(视线方向周边区域320)相同的范围(尺寸)。替选地,假设视线方向(注视点311)周围的区域大于显示视角。
信息呈现控制器103根据如上所述设置的每个区域来控制显示虚拟对象的位置。图7和图8是用于描述根据实施方式的虚拟对象显示控制的图。如图7所示,例如,信息呈现控制器103将作为向用户的通知信息(包括推荐信息)的虚拟对象230(例如电影广告)显示在显示画面1200上的头部取向周边区域220上。当用户的眼球面对前方并且头部取向周边区域220的范围被设置在与视线方向周边区域320一致的范围时,可以将图7所示的示例描述为将虚拟对象230显示在视线方向周边区域320(周边视野)中的示例。如上所述地首先在周边区域上显示虚拟对象使得可以进行微妙的信息呈现而不会妨碍用户的可视性。
如图8所示,当用户的视线转向虚拟对象230时,即,当基于视线方向的注视点311的位置在虚拟对象230的显示区域内时,信息呈现控制器103确定用户略微意识到虚拟对象230的存在,并且执行显示控制以增强虚拟对象230的显示。增强的显示实现了引起用户注意并且吸引用户注意的效果,并且用作选择操作的反馈。
例如,信息呈现控制器103增大虚拟对象230的显示尺寸,应用其中虚拟对象230摆动的动画,改变颜色或者使颜色清晰(调整对比度)。通过使除了虚拟对象230之外的区域稍微变暗,使得虚拟对象230在显示画面上相对清晰。信息呈现控制器103可以通过发出声音、使信息处理装置10振动等来进行除了显示输出之外的感知表示。
虚拟对象230的显示位置可以与真实空间中的三维位置(或者显示画面上的二维位置)相关联。这允许用户看到虚拟对象230,就像虚拟对象230实际上存在于真实空间中一样。例如,在图7所示的示例中,虚拟对象230位于存在于用户前方的PC(真实对象)上方(如上所述,该位置基于头部取向周边区域220来确定)。
在这种情况下,如图8所示,当用户注意到虚拟对象230并且向上凝视并且或多或少地将面部转向虚拟对象230时,具有光学透射性的显示单元120的显示视角向上移动。虚拟对象230的显示位置与真实空间相关联,因此,当用户将面部转向虚拟对象230时,如图8所示,虚拟对象230的显示位置可以在头部取向中央区域210内。
如上所述,当视线和面部转向显示在头部取向周边区域220中的虚拟对象230并且因此虚拟对象230的显示位置与头部取向中央区域210和视线方向中央区域310交叠时,根据实施方式的信息呈现控制器103能够确定用户对虚拟对象230关注并且需要更多信息。在这种情况下,信息呈现控制器103在虚拟对象230周围呈现表示简化信息的虚拟对象230的详细信息,或者将表示简化信息的虚拟对象230切换为详细显示。因此,在实施方式中,可以改进信息呈现的可用性。
2-3.显示单元120
显示单元120具有光学透射性,并且例如使用利用全息光学技术进行显示的透镜单元、液晶显示(LCD;)装置、OLDE(有机发光二极管)装置等来实现。显示单元120可以是透射型的、半透射型的或者非透射型的。显示单元120的光学透射性可以由控制器100控制。
2-4.扬声器130
扬声器130根据控制器100的控制来再现音频信号。
2-5.通信单元140
通信单元140是用于与其他装置进行有线或者无线数据通信的通信模块。通信单元140例如通过有线LAN(局域网)、无线LAN、Wi-Fi(无线保真,商标)、红外通信、Bluetooth(商标)、近场或者非接触式通信等的系统经由网络接入点与外部装置进行无线通信,或者与外部装置直接通信。
2-6.操作输入单元150
操作输入单元150由具有物理结构的操作构件(例如,开关、按钮或者操纵杆)实现。
2-7.存储装置160
存储装置160由ROM(只读存储器)和RAM(随机存取存储器)来实现,ROM(只读存储器)存储用于由上述控制器100执行的处理的程序和算术运算参数,RAM(随机存取存储器)临时存储适当地变化的参数等。根据实施方式的存储装置160可以存储例如由信息呈现控制器103呈现的信息(关于虚拟对象的数据)。
已经具体描述了根据实施方式的信息处理装置10的配置;然而,根据实施方式的信息处理装置10的配置不限于图2所示的示例。例如,信息处理装置10可以由多个装置形成。具体地,例如,根据实施方式的信息处理装置10可以具有由用户佩戴的HMD和智能电话形成的系统配置。在这种情况下,例如,智能电话可以被设置有控制器100的功能,并且HMD根据智能电话的控制来执行信息呈现。
传感器单元110的至少一部分可以是外部传感器(例如,诸如摄像装置、深度传感器、麦克风、红外传感器或者超声传感器之类的环境传感器)。
信息处理装置10的控制器100的功能的至少一部分可以存在于经由通信单元140与之建立通信连接的另一装置中。例如,信息处理装置10的控制器100的功能的至少一部分可以被设置在中间服务器或者互联网上的云服务器中。替选地,可以采用其中由控制器100执行的处理的级别变得容易并且由外部装置(例如由诸如用户拥有的智能电话、家庭服务器、边缘服务器、中间服务器或云服务器之类的另一移动装置)执行高级处理的配置。将处理分散到多个装置中可以减少负荷。
可以经由通信单元140从外部装置(例如,网络上的服务器)获取由信息呈现控制器103呈现的信息(关于虚拟对象的数据)。
根据实施方式的信息处理装置10的功能配置可以根据模式或操作灵活地修改。
3.操作处理
下面将参照附图详细描述由根据实施方式的信息处理装置10执行的显示控制处理。
3-1.显示控制处理
图9是表示由根据实施方式的信息处理装置10执行的显示控制处理的流程的示例的流程图。
如图9所示,首先,信息处理装置10的头部位置姿势识别单元101基于由传感器单元110感测到的各种类型的信息来获取关于用户的头部的位置和姿势的信息(步骤S103)。
然后,信息处理装置10的视线识别单元102基于由传感器单元110感测到的各种类型的传感器信息来获取关于用户的视线的信息(步骤S106)。
然后,信息处理装置10的信息呈现控制器103获取呈现信息(步骤S109)。例如,信息呈现控制器103基于关于用户的视线信息来估计用户关注的目标(真实对象或虚拟对象),并且从存储装置160或者外部获取关于关注目标的信息。替选地,可以获取取决于由信息处理装置10提供的应用的各种通知信息集(诸如新到通知、推荐信息、新闻或者通知)。例如,可以是邮件接收通知等。
参照图10,将参照图10描述估计用户关注的目标。在图10所示的示例中,当用户例如看着楼层地图30(真实对象)时,基于用户的视线方向来估计用户正在关注楼层地图30上的哪个地点。具体地,基于由向外摄像装置111捕获的捕获图像(在图10中,为了简化图示,未示出用户佩戴在头部上的信息处理装置10)以及由视线识别单元102识别的用户的视线方向,信息呈现控制器103估计用户正在凝视的目标(即,注视点311所位于的点处的目标)是关注目标(候选)。在图10所示的示例中,由于用户正在观看布置在楼层地图30上的商店中的3号商店,因此信息呈现控制器103估计3号商店是当前关注目标(候选)。
信息呈现控制器103从存储装置160或者外部获取关于3号商店的信息。在从外部获取的示例中,例如,信息呈现控制器103可以通过蓝牙等接收从设施设置的周边通信终端发送(例如,广播)的楼层地图信息,或者基于通过某种方法获取的关于楼层地图30的标识信息来获取网络上的楼层地图信息(例如,读取呈现在楼层地图30上的QR码)。
如图10所示,信息呈现控制器103可以基于由向外摄像装置111捕获的捕获图像、由头部位置姿势识别单元101识别的头部取向F以及由视线识别单元102识别的视线方向S来检测头部取向中央区域210、头部取向周边区域220、视线方向中央区域310和视线方向周边区域320。
已经参照图10描述了估计关注目标。在本文中,关注目标是真实对象;然而,实施方式不限于此,并且关注目标可以是虚拟对象(参见图7)。
当存在呈现信息时(也就是说,当可以获取关于目标的相对信息时)(步骤S112/是),信息呈现控制器103执行信息呈现位置确定处理(步骤S115)。信息呈现控制部103基于视线信息(包含视线方向)和头部位置姿势信息(包含头部取向)来确定呈现信息(虚拟对象)的位置。下面将参照图11描述信息呈现位置确定处理的细节。
随后,信息呈现控制器103执行在所确定的位置处呈现给定信息(虚拟对象)的处理(步骤S118)。信息呈现控制器103可以根据视线的转移和头部的移动来逐步且动态地控制呈现信息。下面将参照图13描述细节。
重复上述在步骤S103至S118中表示的处理,直到程序结束(步骤S121)。作为程序结束的情况,假设用户执行显式地停止信息呈现处理的处理或者信息处理装置10的电源被关闭等的情况。
已经描述了根据实施方式的操作处理的示例。图9所示的操作处理是示例,并且本公开内容不限于图9所示的示例。例如,本公开内容不限于图9所示的步骤的顺序。至少一些步骤可以并行处理,或者可以按相反顺序处理。例如,步骤S103至S112的处理可以并行处理或者可以以不同的顺序处理。此外,图9所示的整个处理不需要在单个装置中执行。
3-2.信息呈现位置确定处理
参照图11,将描述在上述步骤S115中表示的信息呈现位置确定处理。图11是表示根据实施方式的信息呈现位置确定处理的示例的流程图。
如图11所示,首先,信息呈现控制部103基于由头部位置姿势识别单元101获取的头部位置姿势信息来检测头部取向中央区域210和头部取向周边区域220(步骤S133)。
然后,信息呈现控制部103基于由视线识别单元102获取的视线信息来检测视线方向中央区域310和视线方向周边区域320(步骤S136)。
信息呈现控制部103根据视线方向周边区域320和头部取向周边区域220来指定信息可呈现区域400(步骤S139)。这里,图12表示用于描述根据实施方式的指定信息可呈现区域的图。
如图12所示,例如,当检测到头部取向中央区域210、头部取向周边区域220、视线方向中央区域310和视线方向周边区域320时,信息呈现控制器103指定视线方向周边区域320和头部取向周边区域220交叠的区域作为信息可呈现区域400(400a,400b)。信息可呈现区域400可以包括多个信息可呈现区域。当信息可呈现区域400包括多个信息可呈现区域时,信息呈现控制器103可以根据例如与用户的头部的位置关系、头部取向以及与背景的位置关系等来确定优先显示哪个信息可呈现区域400。例如,当信息可呈现区域400存在于上部区域和下部区域中时,接近头部的区域可以被优先或者在周边区域或背景中存在较少其他对象(真实对象或虚拟对象)的区域可以被优先。在图12所示的示例中,在上部区域中检测到信息可呈现区域400a,在下部区域中检测到信息可呈现区域400b,但是信息呈现控制器103避免了与楼层地图30交叠的信息可呈现区域400a,并且确定了在其背景上没有可能是被关注目标的其他对象的信息可呈现区域400b。
信息可呈现区域400的区域是这样的区域,如上所述,视线方向周边区域320和头部取向周边区域220交叠,并且对于距离(与用户的距离),例如可以根据要呈现的信息的显示尺寸和信息量来确定用户可以容易地看到的位置。当信息处理装置10是HMD时,设置推荐的最小呈现距离,并且可以考虑推荐的最小呈现距离来确定该确定。
3-3.信息呈现处理
参照图13,将描述上述步骤S118中表示的信息呈现处理。图13是表示根据实施方式的信息呈现处理的示例的流程图。
如图13所示,首先,信息呈现控制器103进行呈现信息的简化显示(关于上述目标中被估计为关注目标的信息)(步骤S143)。图14示出了根据实施方式的简化显示的示例。如图14中所示,例如,信息呈现控制器103根据地图中的估计将作为关注目标的3号商店的缩略图(虚拟对象250)显示在显示画面1202a上。那时,信息呈现控制器103进行呈现,使得简化显示不被包含在头部取向中央区域210中。头部取向中央区域210是用户前方的且基于头部取向F的中央区域(用户面对前方的视场的中央区域),并且还假设用户很快将视线返回。存在这样的风险:在不确定用户是否真正关注的阶段,用户感到头部取向中央区域210中的信息呈现令人烦恼,因此进行避免头部取向中央区域210的显示是有用的。
信息呈现控制器103可以显示下述虚拟对象,该虚拟对象在估计该区域是关注目标的区域(地图上的3号商店的区域)上着色或者用框线框住该区域。信息呈现控制器103可以显示虚拟对象,该虚拟对象使估计该区域是关注目标的区域与在信息可呈现区域400中呈现的简化显示(虚拟对象250)相关联。
作为简化显示的其他变型,例如,采用小尺寸显示(可以根据可呈现区域的尺寸或者到头部取向中央区域的距离来确定简化显示的显示尺寸)、信息量减少的显示(即使只留下缩略图等小体积的情况下也可以理解的信息)、低亮度的呈现、高透射率的呈现以及逐帧播放电影的呈现。
信息处理装置10更新用户的视线方向和头部取向的中央区域和周边区域(步骤S146)。视线方向和头部取向的中央区域和周边区域的检测可以恒定地进行,或者可以在显示发生变化时(在此为进行简化显示的时机处)再次进行。
信息呈现控制器103基于视线的转移和头部的移动来确定是否满足用于结束简化显示的条件(步骤S149)。作为用于结束简化显示的条件,例如,采用以下条件。
·在未观看简化显示达一段时间时(请注意,当视线转移到与简化显示相关的目标时,结束确定可能是错误的,并且可能会执行异常处理。例如,在凝视简化显示所源自的关注目标(在图14中所示的示例中,地图中的3号商店的区域)时,简化显示不会消失。)
·当用户观看一次但不关注并且转移视线时
·当用户离开网站时
·当用户的兴趣转移到另一个目标时(请注意,当视线转移到与简化显示相关的目标时,结束确定可能是错误的,并且可能会执行异常处理(此处为方便起见,将被凝视的目标用作关注目标)。例如,当用户凝视简化显示所源自的目标时,简化显示可能不会消失。当呈现多个简化显示时,在其中一个简化显示被凝视时,可以将除了被凝视目标之外的简化显示移到视线方向周边区域。在凝视被确定为“比较”的类似目标期间,可以将除了被凝视目标之外的简化显示转移到视线方向周边区域。“比较”是指例如在使用餐厅指南选择午餐时对多个商店进行比较或者在购物期间对不同颜的产品色进行比较。当用户正在应对中断处理时,结束确定可能是错误的,并且可以执行上述异常处理。应对中断处理是例如:在用户的智能电话中收到通知并且视线转向智能电话的情况;用户与朋友交谈并且转向朋友的情况;或者发出很大的声音并且用户转向发出声音的方向以检查该用户是否没有危险的情况。
·通过讲话等进行明确的取消操作时。
当不满足用于结束简化显示的条件时(步骤S149/否),信息呈现控制器103确定用户是否在视线方向中央区域中捕获到了简化显示(步骤S152)。例如,如图15所示,当注视点311朝着简化显示中的虚拟对象250转移并且简化显示中的虚拟对象250位于视线方向中央区域310中时,信息呈现控制器确定:在视线方向中央区域310中捕获到了虚拟对象250。
当用户在视线方向中央区域中捕获到了简化显示时(步骤S152/是),信息呈现控制器103执行显示控制以增强简化显示(步骤S155)。图16是示出对简化显示的增强显示控制的示例的图。如图16所示,执行显示控制,以通过在显示在显示画面1202c上的简化显示中的虚拟对象250中放大缩略图、给背景着色、添加少量信息等来进一步吸引用户。
不一定必须执行这种增强的显示控制,但是期望这会进一步吸引用户。已经参照图16描述了该示例,并且以下示例作为增强的显示控制。
·增大显示尺寸(显示尺寸可以根据可呈现区域的尺寸或者与头部取向中央区域的距离来确定。)
·增大信息量
·增大亮度
·降低透射率
·通过预览呈现电影
·将呈现位置移近用户
另一方面,在用户未在视线方向中央区域捕获到简化显示的情况下(步骤S152/否),当简化显示已经被增强时,信息呈现控制器103取消增强显示控制(步骤S155)。
然后,信息呈现控制器103确定用户是否在头部取向中央区域中捕获到了简化显示(步骤S161)。
当在头部取向中央区域中捕获到了简化显示时(步骤S161/是),信息呈现控制器103进行详细显示(详细内容显示控制)(步骤S164)。在本实施方式中,当在头部取向中央区域中捕获到了简化显示时,即,在用户将视线转向简化显示并且检查该简化显示并且此后进一步转动头部(面部)之后,确定用户对简化显示真的关注,并且显示详细信息。如上所述,根据视线的转移和头部的移动来估计用户的关注,增大对关注的估计的准确性,并且还可以对首先进行简化显示的显示模式和信息粒度进行逐步显示控制,然后,当确定用户关注时进行详细显示,从而可以进一步改进信息呈现的可用性。
图17示出了详细显示的示例。图17所示的显示画面1202d处于用户凝视图16所示的虚拟对象250并且进一步将头部转向虚拟对象250的状态。在这种情况下,虚拟对象250位于头部取向中央区域210中。此时,信息呈现控制器103确定这是用户肯定关注的定时,并且如图17所示执行控制,以显示通过将简化显示切换为详细显示而获得的虚拟对象252。因此,可以在适当的定时处呈现关于用户关注的目标的详细信息。
采用以下内容作为详细显示的示例。
·再现电影
·增大信息量
·以大比例呈现
·以高亮度呈现
·以低透射率呈现
信息呈现控制器103确定是否满足用于结束详细显示的条件,并且维持详细显示,直到满足用于结束详细显示的条件(步骤S167)。
例如,以下条件被用作用于结束详细显示的条件。
·当未观看详细显示达一段时间时(请注意,当视线转移到与详细显示相关的目标时,结束确定可能是错误的,并且可能会执行异常处理。例如,在详细显示所源自的关注目标被凝视的同时,不会使详细显示消失)
·当用户观看一次但不关注并且转移视线时
·当用户离开网站时
·当用户的兴趣转移到另一个目标时(请注意,当视线转移到与详细显示相关的目标时,结束确定可能是错误的,并且可能会执行异常处理(此处为方便起见,将被凝视的目标作为关注目标)。例如,在用户凝视详细显示所源自的目标的同时,不会使详细显示消失。当呈现多个详细显示而其中一个详细显示被凝视时,可以将除了被凝视目标之外的详细显示转移到视线方向周边区域中。在凝视被确定为“比较”的类似对象的期间,可以将除了被凝视目标之外的详细显示转移到视线方向周边区域中。当用户正在应对中断处理时,结束确定可能是错误的,并且可以执行上述异常处理。
·当通过讲话等进行显式取消操作时。
已经描述了根据实施方式的信息呈现处理的细节。在图18中示出了根据实施方式的逐步显示控制的俯视图。如图18中的俯视图所示,首先,信息呈现控制器103基于注视点311根据正在观看楼层地图30的用户的视线(视线方向S)估计关注目标,并且在视线方向周边区域320与头部取向周边区域220交叠的区域(信息可呈现区域)中显示相关信息的简化显示(虚拟对象250)。
随后,如图18的中间视图所示,当用户的视线转向简化显示(虚拟对象250)时(即,当在视线方向中央区域310中捕获到虚拟对象250时),信息呈现控制器103执行显示控制以增强简化显示。
随后,如图18的下部视图所示,当用户的头部转向简化显示(虚拟对象250)时(即,当在头部取向中央区域210中捕获到虚拟对象250时),信息呈现控制器103执行控制以显示详细显示(虚拟对象252)。
补充
将参照图19和图20描述当呈现多个简化显示时执行的根据视线的转移和用户的头部移动的信息呈现控制。图19和图20是根据实施方式的用于描述逐步显示控制的其他示例的图。
如显示画面1208a所示,信息呈现控制器103可以基于用户的视线方向根据注视点311估计关注对象,并且例如当指定了真实对象32时,获取关于真实对象32的相关信息,并且进行多个简化显示(虚拟对象280a和280b),如图19的显示画面1208b所示。此时,信息呈现控制器103可以以叠加的方式将着色的虚拟对象282显示在指定的真实对象32上。
随后,如图20中的显示画面1208c所示,当用户根据用户的视线方向凝视简化显示中的虚拟对象280a和280b之一时,信息呈现控制器103对用户正在凝视的虚拟对象280a进行增强显示(例如,使虚拟对象280a靠近用户),以进一步吸引用户,如显示画面1208d所示。至于其他虚拟对象280b和280c,可以降低亮度,可以减小尺寸,或者可以将虚拟对象转移到视线方向周边区域。
当用户将头部转向虚拟对象280a并且虚拟对象280a被包含在头部取向中央区域中时,信息呈现控制器103执行控制以显示通过切换到详细显示(例如,增大信息量)而获得的虚拟对象280a,如显示画面1208e所示。当虚拟对象280a不在显示画面内时,如图20中的显示画面1208f所示,用户转移视线或者移动头部,从而能够观看虚拟对象280a。可以执行显示控制,使得显示位置和虚拟对象的姿势与真实空间中的三维位置相关联,使得虚拟对象看起来就好像该虚拟对象实际上存在于真实空间中一样。
4.修改例
在上述示例中,已经描述了对关于存在于真实空间中的真实对象的信息的逐步显示控制;然而,实施方式不限于此。例如,可以使用虚拟对象对来自系统等的通知逐步执行显示控制。对来自系统等的通知的逐步显示控制的流程与图13中的相同,因此在本文中省略其细节,并且将参照图21至图24描述显示画面根据用户的视线的转移和头部的移动的转变。邮件接收通知用作来自系统等的通知的示例。
图21是示出邮件接收通知(虚拟对象270)的简化显示的示例的图。如图21中的显示画面1204a所示,首先,当从应用或系统获取邮件接收通知时,信息呈现控制器103可以如参照图14所描述的情况那样,基于用户的视线方向和头部取向,从视线方向周边区域320和头部取向周边区域220中指定信息可呈现区域400,并且在信息可显示区域400上显示邮件接收通知的简化显示(虚拟对象270)。此时,由于与上述相同的原因,信息呈现控制器103可以使简化显示不被包含在头部取向中央区域210中。
随后,如图22中的显示画面1204b所示,信息呈现控制器103确定是否在视线方向中央区域310中捕获到了简化显示(虚拟对象270)。当在视线方向中央区域310中捕获到了简化显示(虚拟对象270)时,进行简化显示(虚拟对象270)的增强显示,如图23中的显示画面1204c所示。
当用户移动头部并且在头部取向中央区域210中捕获到了简化显示(虚拟对象270)时(即,当至少部分或者全部简化显示被包含在头部取向中央区域210中时),如图24的显示画面1204d所示,信息呈现控制器103进行邮件接收通知的详细显示(邮件正文的显示)。
补充1
当用户将视线转向位于头部取向周边区域中的真实对象时,根据实施方式的信息处理装置10可以进行关于真实对象的信息的简化显示,并且当头部进一步移动并且简化显示位于头部取向的中央区域中时,进行详细显示。
补充2
当在视线转向简化显示之后基于头部的移动检测到特定姿势(点头、使头部倾斜等)时,信息处理装置10可以确定用户指示显式意图,并且异常地执行相应的适当显示控制。当根据头部姿势估计到用户不关注时,或者当例如根据头部姿势用户点头(指示“我理解”的姿势)时,信息呈现可以结束。
5.结论
如上所述,根据本公开内容的实施方式的信息处理装置10使得可以改进信息呈现的可用性。
已经参照附图详细描述了本公开内容的优选实施方式;然而,本技术不限于这些示例。显然,具有本公开内容的技术领域中的一般知识的技术人员可以在权利要求书中描述的技术思想的范围内实现各种修改例或校正例,并且应当理解,这些修改例和校正例本质上属于本公开内容的技术范围。
可以创建用于使诸如结合到信息处理装置10中的CPU、ROM或者RAM之类的硬件实现信息处理装置10的功能的计算机程序。此外,还提供了存储有计算机程序的计算机可读记录介质。
根据实施方式的信息处理装置10不限于使用参照图1描述的眼镜型可穿戴式终端(透射型HMD)的AR显示控制,并且例如,可以将信息处理装置10应用于例如诸如智能电话或平板终端装置的显示装置中的显示控制。作为使用场景,例如,假设智能电话被放置在用户附近但是用户正在看着另一个地点(操作PC或者看电视)的情况。在这种情况下,可以使用摄像装置或者智能电话中设置的外部传感器(例如,用户佩戴的眼镜、房间、PC或电视中设置的摄像装置或视线传感器)检测用户的视线方向和头部取向。执行控制,使得在诸如智能电话上显示邮件接收通知之类的通知信息时检测用户的视线,并且当视线转向智能电话时,进行通知信息的增强显示,并且当头部也转向智能电话时,进行详细显示。
此外,根据实施方式的信息呈现可以通过利用投影仪进行投影来执行。基于由外部传感器等检测到的用户的视线方向和头部取向,信息处理装置10执行控制,使得将关于估计该真实对象为关注目标的真实对象或者从应用获取的通知信息投影到其中用户的视线方向周边区域与头部取向周边区域交叠的信息可呈现区域中。当用户的视线转向简化显示时,信息处理装置10执行显示控制以增强简化显示,并且当头部进一步转动时,信息处理装置10执行显示控制以进行详细显示。
本文中描述的效果仅是描述性和示例性的,而不是限制性的。换言之,根据实施方式的技术可以与本文描述的效果一起或者代替上述效果、对于本领域技术人员而言显而易见的另一效果而实现。
本技术可以采用以下配置。
(1)
一种信息处理装置,包括:
识别单元,其被配置成识别用户的视线的转移和头部的移动;以及
显示控制单元,其被配置成根据在所述视线转向目标之后进行的所述头部的移动来控制关于所述目标的信息的显示。
(2)
根据(1)所述的信息处理装置,其中,所述显示控制单元被配置成:根据相对于所述目标所述视线的转移和所述头部的移动的变化,逐步地执行关于所述目标的信息的显示模式和信息粒度的显示控制。
(3)
根据(1)或(2)所述的信息处理装置,其中,所述目标是真实对象或虚拟对象,并且
所述显示控制单元被配置成:当所述目标是所述虚拟对象时,基于所述视线的方向和所述头部的取向来控制所述虚拟对象的显示的位置。
(4)
根据(3)所述的信息处理装置,其中,所述虚拟对象是通知信息,并且
所述显示控制单元被配置成:在作为基于所述视线的方向的区域的周边区域的视线方向周边区域以及作为基于所述头部的取向的区域的周边区域的头部取向周边区域中进行所述通知信息的简化显示。
(5)
根据(3)所述的信息处理装置,其中,所述真实对象是关注目标,估计所述用户对所述关注目标关注,并且
所述显示控制单元配置成:
估计位于作为基于所述视线的方向的区域的中央区域的视线方向中央区域中的真实对象是所述关注目标,并且
在作为基于所述头部的取向的区域的周边区域的头部取向周边区域以及作为基于所述视线的方向的区域的周边区域的视线方向周边区域中进行关于所述关注目标的信息的简化显示。
(6)
根据(4)或(5)所述的信息处理装置,其中,所述显示控制单元被配置成:基于所述视线的转移和所述头部的移动中的至少任何一个来确定是否满足用于结束所述简化显示的条件,并且当满足用于结束所述简化显示的条件时,结束所述简化显示。
(7)
根据(6)所述的信息处理装置,其中,用于结束所述简化显示的条件基于所述视线是否在所述简化显示上达一定时间。
(8)
根据(7)所述的信息处理装置,其中,所述显示控制单元被配置成:当所述视线转向所述简化显示但是在经过所述一定时间之前所述视线转移时,结束所述简化显示。
(9)
根据(4)至(8)中任一项所述的信息处理装置,其中,当所述简化显示位于作为基于所述视线的方向的区域的中央区域的视线方向中央区域中并且经过了一定时间时,所述显示控制单元执行显示控制以增强所述简化显示。
(10)
根据(4)至(9)中任一项所述的信息处理装置,其中,所述显示控制单元被配置成:当所述头部转向所述简化显示并且所述简化显示位于作为基于所述视线的方向的区域的中央区域的视线方向中央区域以及作为基于所述头部的取向的区域的中央区域的头部取向中央区域中时,将所述简化显示切换为详细显示。
(11)
根据(10)所述的信息处理装置,其中,所述显示控制单元被配置成:基于所述视线的转移和所述头部的移动中的至少任何一个来确定是否满足用于结束所述详细显示的条件,并且当满足用于结束所述详细显示的条件时,结束所述详细显示。
(12)
根据(11)所述的信息处理装置,其中,用于结束所述详细显示的条件基于所述视线是否在所述详细显示上达一定时间。
(13)
根据(12)所述的信息处理装置,其中,所述显示控制单元被配置成:当经过所述一定时间之前所述视线从所述详细显示转移时,结束所述详细显示。
(14)
根据(1)至(13)中任一项所述的信息处理装置,其中,所述识别单元被配置成:基于所述用户的眼睛的移动来识别所述视线的转移。
(15)
一种信息处理方法,包括:
由处理器
识别用户的视线的转移和头部的移动,以及
根据在所述视线转向目标之后进行的所述头部的移动来控制关于所述目标的信息的显示。
(16)
一种程序,所述程序使计算机用作:
识别单元,被配置成识别用户的视线的转移和头部的移动;以及显示控制单元,其被配置成根据在所述视线转向目标之后进行的所述头部的移动来控制关于所述目标的信息的显示。
附图标记列表
10 信息处理装置
100 控制器
101 头部位置取向识别单元
102 视线识别单元
103 信息呈现控制器
110 传感器单元
111 向外摄像装置
112 视线传感器
113 麦克风
114 陀螺仪传感器
115 加速度传感器
116 取向传感器
117 位置传感器
120 显示单元
130 扬声器
140 通信单元
150 操作输入单元
160 存储装置

Claims (16)

1.一种信息处理装置,包括:
识别单元,其被配置成识别用户的视线的转移和头部的移动;以及
显示控制单元,其被配置成根据在所述视线转向目标之后进行的所述头部的移动来控制关于所述目标的信息的显示。
2.根据权利要求1所述的信息处理装置,其中,所述显示控制单元被配置成:根据相对于所述目标的所述视线的转移和所述头部的移动的变化,逐步地执行关于所述目标的信息的显示模式和信息粒度的显示控制。
3.根据权利要求1所述的信息处理装置,其中,所述目标是真实对象或虚拟对象,并且
所述显示控制单元被配置成:当所述目标是所述虚拟对象时,基于所述视线的方向和所述头部的取向来控制所述虚拟对象的显示的位置。
4.根据权利要求3所述的信息处理装置,其中,所述虚拟对象是通知信息,并且
所述显示控制单元被配置成:在作为基于所述视线的方向的区域的周边区域的视线方向周边区域以及作为基于所述头部的取向的区域的周边区域的头部取向周边区域中进行所述通知信息的简化显示。
5.根据权利要求3所述的信息处理装置,其中,所述真实对象是关注目标,估计所述用户对所述关注目标关注,并且
所述显示控制单元被配置成:
估计位于作为基于所述视线的方向的区域的中央区域的视线方向中央区域中的真实对象是所述关注目标,并且
在作为基于所述头部的取向的区域的周边区域的头部取向周边区域以及作为基于所述视线的方向的区域的周边区域的视线方向周边区域中进行关于所述关注目标的信息的简化显示。
6.根据权利要求4所述的信息处理装置,其中,所述显示控制单元被配置成:基于所述视线的转移和所述头部的移动中的至少任何一个来确定是否满足用于结束所述简化显示的条件,并且当满足用于结束所述简化显示的条件时,结束所述简化显示。
7.根据权利要求6所述的信息处理装置,其中,用于结束所述简化显示的条件基于所述视线是否在所述简化显示上达一定时间。
8.根据权利要求7所述的信息处理装置,其中,所述显示控制单元被配置成:当所述视线转向所述简化显示但是在经过所述一定时间之前所述视线转移时,结束所述简化显示。
9.根据权利要求4所述的信息处理装置,其中,当所述简化显示位于作为基于所述视线的方向的区域的中央区域的视线方向中央区域中并且经过了一定时间时,所述显示控制单元执行显示控制以增强所述简化显示。
10.根据权利要求4所述的信息处理装置,其中,所述显示控制单元被配置成:当所述头部转向所述简化显示并且所述简化显示位于作为基于所述视线的方向的区域的中央区域的视线方向中央区域以及作为基于所述头部的取向的区域的中央区域的头部取向中央区域中时,将所述简化显示切换为详细显示。
11.根据权利要求10所述的信息处理装置,其中,所述显示控制单元被配置成:基于所述视线的转移和所述头部的移动中的至少任何一个来确定是否满足用于结束所述详细显示的条件,并且当满足用于结束所述详细显示的条件时,结束所述详细显示。
12.根据权利要求11所述的信息处理装置,其中,用于结束所述详细显示的条件基于所述视线是否在所述详细显示上达一定时间。
13.根据权利要求12所述的信息处理装置,其中,所述显示控制单元被配置成:当经过所述一定时间之前所述视线从所述详细显示转移时,结束所述详细显示。
14.根据权利要求1所述的信息处理装置,其中,所述识别单元被配置成:基于所述用户的眼睛的移动来识别所述视线的转移。
15.一种信息处理方法,包括:
由处理器
识别用户的视线的转移和头部的移动;以及
根据在所述视线转向目标之后进行的所述头部的移动来控制关于所述目标的信息的显示。
16.一种程序,所述程序使计算机用作:
识别单元,其被配置成识别用户的视线的转移和头部的移动;以及
显示控制单元,其被配置成根据在所述视线转向目标之后进行的所述头部的移动来控制关于所述目标的信息的显示。
CN201980020871.0A 2018-03-28 2019-01-10 信息处理装置、信息处理方法和程序 Pending CN111886564A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-061172 2018-03-28
JP2018061172A JP2021096490A (ja) 2018-03-28 2018-03-28 情報処理装置、情報処理方法、およびプログラム
PCT/JP2019/000419 WO2019187487A1 (ja) 2018-03-28 2019-01-10 情報処理装置、情報処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
CN111886564A true CN111886564A (zh) 2020-11-03

Family

ID=68058065

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980020871.0A Pending CN111886564A (zh) 2018-03-28 2019-01-10 信息处理装置、信息处理方法和程序

Country Status (4)

Country Link
US (1) US11487354B2 (zh)
JP (1) JP2021096490A (zh)
CN (1) CN111886564A (zh)
WO (1) WO2019187487A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2576904B (en) * 2018-09-06 2021-10-20 Sony Interactive Entertainment Inc Content modification system and method
US20200082576A1 (en) * 2018-09-11 2020-03-12 Apple Inc. Method, Device, and System for Delivering Recommendations
JP2021047227A (ja) * 2019-09-17 2021-03-25 セイコーエプソン株式会社 表示装置、表示装置の制御プログラム、表示装置の制御方法、及び表示システム
JP7453652B2 (ja) 2020-11-10 2024-03-21 日本電信電話株式会社 視線情報提示装置、視線情報提示方法、及び視線情報提示プログラム
CN113011290A (zh) * 2021-03-03 2021-06-22 上海商汤智能科技有限公司 事件检测方法及装置、电子设备和存储介质
US20230308505A1 (en) * 2022-03-22 2023-09-28 Microsoft Technology Licensing, Llc Multi-device gaze tracking
WO2023210195A1 (ja) * 2022-04-28 2023-11-02 株式会社Nttドコモ 特定システム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014196038A1 (ja) * 2013-06-05 2014-12-11 三菱電機株式会社 視線検知による情報処理装置および情報処理方法
US20150212576A1 (en) * 2014-01-28 2015-07-30 Anthony J. Ambrus Radial selection by vestibulo-ocular reflex fixation
CN106575209A (zh) * 2014-07-25 2017-04-19 微软技术许可有限责任公司 具有现实世界对象的虚拟现实环境
CN106575153A (zh) * 2014-07-25 2017-04-19 微软技术许可有限责任公司 虚拟现实环境内基于注视的对象放置
CN106970697A (zh) * 2016-01-13 2017-07-21 华为技术有限公司 界面交互装置及方法
CN107407964A (zh) * 2015-03-17 2017-11-28 日商可乐普拉股份有限公司 用于在沉浸型虚拟空间控制目标操作的计算机程序以及计算机系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014192103A1 (ja) * 2013-05-29 2014-12-04 三菱電機株式会社 情報表示装置
US9984505B2 (en) * 2014-09-30 2018-05-29 Sony Interactive Entertainment Inc. Display of text information on a head-mounted display
JP6488786B2 (ja) * 2015-03-17 2019-03-27 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP2017182247A (ja) * 2016-03-29 2017-10-05 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP6440910B2 (ja) * 2016-07-29 2018-12-19 三菱電機株式会社 表示装置、表示制御装置および表示制御方法
US20180150204A1 (en) * 2016-11-30 2018-05-31 Google Inc. Switching of active objects in an augmented and/or virtual reality environment
EP3859495B1 (en) * 2016-12-06 2023-05-10 Vuelosophy Inc. Systems and methods for tracking motion and gesture of heads and eyes
US10845595B1 (en) * 2017-12-28 2020-11-24 Facebook Technologies, Llc Display and manipulation of content items in head-mounted display

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014196038A1 (ja) * 2013-06-05 2014-12-11 三菱電機株式会社 視線検知による情報処理装置および情報処理方法
US20150212576A1 (en) * 2014-01-28 2015-07-30 Anthony J. Ambrus Radial selection by vestibulo-ocular reflex fixation
CN106575209A (zh) * 2014-07-25 2017-04-19 微软技术许可有限责任公司 具有现实世界对象的虚拟现实环境
CN106575153A (zh) * 2014-07-25 2017-04-19 微软技术许可有限责任公司 虚拟现实环境内基于注视的对象放置
CN107407964A (zh) * 2015-03-17 2017-11-28 日商可乐普拉股份有限公司 用于在沉浸型虚拟空间控制目标操作的计算机程序以及计算机系统
CN106970697A (zh) * 2016-01-13 2017-07-21 华为技术有限公司 界面交互装置及方法

Also Published As

Publication number Publication date
US20210004081A1 (en) 2021-01-07
JP2021096490A (ja) 2021-06-24
US11487354B2 (en) 2022-11-01
WO2019187487A1 (ja) 2019-10-03

Similar Documents

Publication Publication Date Title
US11487354B2 (en) Information processing apparatus, information processing method, and program
JP6393367B2 (ja) 追従表示システム、追従表示プログラム、および追従表示方法、ならびにそれらを用いたウェアラブル機器、ウェアラブル機器用の追従表示プログラム、およびウェアラブル機器の操作方法
US9442567B2 (en) Gaze swipe selection
EP2813922B1 (en) Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device
KR102305380B1 (ko) 자동 컨텐츠 스크롤링
CN112507799A (zh) 基于眼动注视点引导的图像识别方法、mr眼镜及介质
US9886086B2 (en) Gesture-based reorientation and navigation of a virtual reality (VR) interface
JP2019527377A (ja) 視線追跡に基づき自動合焦する画像捕捉システム、デバイス及び方法
KR20180096434A (ko) 가상 이미지 표시 방법, 저장 매체 및 이를 위한 전자 장치
KR102056221B1 (ko) 시선인식을 이용한 장치 연결 방법 및 장치
US10642348B2 (en) Display device and image display method
CN111630477A (zh) 提供增强现实服务的设备及其操作方法
KR20220120649A (ko) 인공 현실 콘텐츠의 가변 초점 디스플레이를 갖는 인공 현실 시스템
JP2014146871A (ja) ウェアラブル型表示装置及びプログラム
WO2019142560A1 (ja) 視線を誘導する情報処理装置
JP7081599B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US20230060453A1 (en) Electronic device and operation method thereof
KR20200144196A (ko) 전자 장치 및 각막 이미지를 이용한 전자 장치의 기능 제공 방법
KR20200040716A (ko) 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
KR20200135352A (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
US20230221833A1 (en) Methods for displaying user interface elements relative to media content
US11270409B1 (en) Variable-granularity based image warping
WO2017081915A1 (ja) 画像処理装置、画像処理方法およびプログラム
WO2018083757A1 (ja) 画像提供装置、画像提供方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体
US20240103686A1 (en) Methods for controlling and interacting with a three-dimensional environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination