CN108885799B - 信息处理设备，信息处理系统以及信息处理方法 - Google Patents

Abstract

此信息处理设备200的拍摄图像获取单元250获取由头戴式显示器100的相机拍摄的图像。区域确定单元254预测显示图像内要被用户注视的区域。图像分析单元258的第一清晰度处理部分270以比第二清晰度处理部分272更高的清晰度对拍摄图像对应于注视区域的区域执行图像分析。信息处理单元260通过使用分析结果执行信息处理。图像生成单元262的第一清晰度处理部分274以比第二清晰度处理部分276更高的清晰度生成注视区域的显示图像。输出单元264将显示图像上的数据发送给头戴式显示器100。

Description

信息处理设备，信息处理系统以及信息处理方法

技术领域

本发明涉及信息处理设备和信息处理系统，其执行信息处理、拍摄图像的分析以及显示图像的生成，并且还涉及要被该设备和系统实施的信息处理方法。

背景技术

已经开发了一种新的系统，其能够在头戴式显示器上显示全景图像，当穿戴它的用户转动他或她的头部时，全景图像沿着视线变化。头戴式显示器帮助用户使他自己或她自己专注于图像中，并且使应用(诸如游戏)更容易地运行。还开发了一种穿行系统，其允许穿戴头戴式显示器的用户在所显示的虚拟空间中四处走动，就如他或她身体上移动一样。

发明内容

[技术问题]

上述技术需要以这样的方式工作，即显示图像的视场不断地对应于用户头部和视线的运动，使得用户强烈地感觉到就像他或她在那里，并且用户使他自己或她自己深度专注。头戴式显示器迫切需要时效性，并且这对于任何被如此设计以接收拍摄图像作为输入数据且将它们立即转换成显示图像的系统是常见的。在需要实现高质量世界和有吸引力的图像的情况下，这种要求是不满足的，因为为此目的的任何尝试都以从数据输入到图像显示的复杂处理的必要性和待处理的数据显著地增加而结束。结果是显示图像所需的时间上的延迟，这使得显示图像滞后于实际移动，从而给用户带来不适感。因此，在高清晰度图像处理和显示的时效性之间存在取舍。

鉴于上述完成了本发明。本发明的一个目的是提供一种技术，使得高清晰度图像处理和图像显示的时效性相互兼容。

[解决方案]

上述问题由下述本发明实施例中公开的信息处理设备来解决。信息处理设备包括：拍摄图像获取单元，其从相机获取拍摄图像的数据；图像分析单元，其分析拍摄图像；以及显示图像生成单元，其基于分析的结果生成显示图像，并且将显示图像输出到显示设备，其中图像分析单元和显示图像生成单元中的至少一个使得处理精细度取决于图像平面中的区域而变化。

本发明的另一个实施例涉及信息处理系统。该信息处理系统包括：头戴式显示器，其配备了相机；以及信息处理设备，其从由相机拍摄的图像生成要被显示在在头戴式显示器中的图像，其中信息处理设备包括：拍摄图像获取单元，其从相机获取拍摄图像的数据；图像分析单元，其分析拍摄的图像；以及显示图像生成单元，其基于分析结果生成显示图像，并且将显示图像输出到头戴式显示器，并且图像分析单元和显示图像生成单元中的至少一个使得处理精细度取决于图像平面中的区域而变化。

本发明的又一个实施例涉及信息处理方法。由信息处理设备执行的信息处理方法包括：从相机获取拍摄图像的数据的步骤；分析拍摄图像的步骤；基于分析结果生成显示图像的步骤；以及将显示图像的数据输出到显示设备的步骤，分析步骤和生成步骤中的至少一个使得处理精细度取决于图像平面中的区域而变化。

注意，构成元素的任意组合，以及通过在方法、设备、系统、计算机程序等之间转换本发明的表达而获得的也作为本发明的模式有效。

[发明的有益效果]

根据本发明，可以使高清晰度图像处理和图像显示的时效性相互兼容。

附图说明

图1是根据本发明的实施例的头戴式显示器的外部视图。

图2是描绘根据本发明的实施例的头戴式显示器实现的功能的示意图。

图3是描绘根据本发明的实施例的信息处理系统的结构的示意图。

图4是描绘根据本发明的实施例的信息处理设备的内部电路结构的示意图。

图5是解释真实空间和根据本发明的实施例的显示图像之间的关系的示意图。

图6是解释根据本发明的实施例在图像平面中，处理模式如何从一个区域到另一区域变化的示意图。

图7是描绘根据本发明的实施例的信息处理设备的功能块的框图。

图8是来解释根据本发明的实施例使图像分析单元执行图像分析，其精细度变化的处理的例子的示意图。

图9是示出根据本发明的实施例使图像分析单元执行图像分析，其精细度变化的另一个例子的示意图。

图10是根据实施例的信息处理设备根据其从拍摄图像生成显示图像的流程图。

图11是描绘根据修改的实施例配备了相机来拍摄两种图像的头戴式显示器的外观的例子的视图。

具体实施方式

图1描绘了根据本实施例的头戴式显示器的外观的例子。在这个例子中，头戴式显示器100包括输出单元102和安装单元104。安装单元104包括穿戴带106，当用户穿戴该单元时，其绕在用户头部来固定该单元。穿戴带106由特殊材料制成、或者具有根据用户头部的大小用于长度调节的特殊结构。该材料可以是弹性材料，诸如橡胶。所需结构可以通过使用带扣或齿轮来实现。

输出单元102具有壳体108，其如此形成以当用户将头戴式显示器100穿戴在他或她的头部时覆盖用户的左眼和右眼。其内部是面对穿戴头戴式显示器的用户的眼睛的显示面板。该显示面板是液晶显示面板或有机EL(电致发光)面板。在壳体108中具有一对透镜，当头戴式显示器100被穿戴时，其存在于显示面板和用户的眼睛之间，使得其扩展用户的视角。另外，头戴式显示器100可以可选地在穿戴它的用户耳朵的对应位置具有扬声器或耳机。

头戴式显示器100在输出单元102的正面上提供相机140。相机140具有成像设备，诸如CCD(电荷耦合器件)和CMOS(互补金属氧化物半导体)，使得它以指定的帧速率拍摄真实空间中对应于穿戴头戴式显示器100的用户的面部方向的视场。头戴式显示器100可以在其正面提供一个或两个相机140。两个相机140可以在横向上相隔一定距离被布置，使得它们作为立体相机。此外，只要能够拍摄用户的前视图，相机140不被特别地限制在其位置上。

由相机140拍摄的图像可以被用作头戴式显示器100中显示图像的至少一部分，也可以被用作输入数据用于生成虚拟世界所需的图像分析。将拍摄图像用作显示图像的实例的结果是，用户感觉他或她仿佛直接看到他或她眼前的真实空间。显示图像可以通过在拍摄的图像上制作对象的图片来产生，该对象在视场内保持在的真实体上或与真实体反应，诸如桌子。用这种方式，可以实现AR(增强现实)。

拍摄图像可以用于识别穿戴头戴式显示器100的用户头部的位置和姿势，使得响应于它们改变视场以形成虚拟世界的图像。以这种方式，也可以实现VR(虚拟现实)。

前述目标是通过使用称之为v-SLAM(视觉同步定位和地图构建)的公知技术来实现的，该技术允许人从拍摄图像估计相机的位置和姿势。用户的头部倾斜或转动多少可以通过安装在头戴式显示器100的内部或外部的运动传感器来测量。或者，由运动传感器测量的值可以被用来补充拍摄图像的分析结果。

图2是描绘由头戴式显示器100实现的功能的示意图。控制单元10是处理诸如图像信号和传感器信号的信号、命令和数据并且输出处理结果的主处理器。相机140向控制单元10提供拍摄图像的数据。显示器30是液晶显示器等，其接收来自控制单元10的图像信号并显示它们。

通信控制单元40通过网络适配器42或天线44、借助有线或无线通信发送从控制单元10输入的数据。通信控制单元40还从外部接收数据，并且通过网络适配器42或天线44、借助有线或无线通信将它们发送到控制单元10。存储单元50临时存储由控制单元10处理的数据、参数和操作信号。

运动传感器64检测头戴式显示器100的转动角和倾斜角的信息。运动传感器64包括适当地组合在一起的陀螺传感器、加速度传感器、角加速度传感器等。外部输入/输出端接口70是用于连接到诸如USB(通用串行总线)控制器的外围设备的接口。外部存储器72以闪存等为例。控制单元10将图像和音频数据提供给显示器30和耳机(未描绘)用于其输出，并且它还将图像和音频数据提供给通信控制单元40用于向外传输。

图3是描述根据本实施例的信息处理系统的结构的示意图。头戴式显示器100通过无线通信或接口300(诸如USB)连接到信息处理设备200，用于与外围设备连接。信息处理设备200可以通过网络连接到服务器。在这种情况下，服务器可以向信息处理设备200提供在线应用，诸如多个用户可以通过网络参与的游戏。此外，头戴式显示器100可以连接到计算机或移动终端，以代替信息处理设备200。

信息处理设备200主要执行这样的动作，如获取由附加在在头戴显示器100上的相机140拍摄的图像的数据、在获取的数据上执行规定的处理从而生成显示图像、并且将图像发送到头戴式显示器100。该处理以规定的速率重复。结果，头戴式显示器100显示各种图像，诸如AR和VR，覆盖对应于用户面部方向的视场。这样产生的显示最终可以用于游戏、虚拟体验以及动画观看以供娱乐。

信息处理设备200通过使用普通的公知技术来执行适用于这种单独目的的处理。接下来的描述强调从实现前述目标必需的拍摄图像获取信息的方法，并且强调为作为结果要被显示的图像制作图片的方法。

图4是描绘信息处理设备200的内部电路结构的示意图。信息处理设备200包括CPU(中央处理单元)222、GPU(图形处理单元)224、以及主存储器226。这些部件通过总线230连接到一起。总线230连接到输入/输出接口228。

输入/输出接口228连接到通信单元232、存储单元234、输出单元236、输入单元238以及记录介质驱动单元240。通信单元232包括诸如USB和IEEE1394的用于外围设备的接口、以及诸如有线或无线LAN(局域网)的网络接口，存储单元234诸如硬盘驱动器和非易失性存储器，输出单元236将数据输出到显示设备，诸如头戴式显示器100，输入单元238从头戴式显示器100输入数据，记录介质驱动单元240驱动可移动记录介质，诸如磁盘、光盘或半导体存储器。

CPU 222执行存储在存储单元234中的操作系统，从而完全地控制信息处理设备200。CPU 222也执行已经从可移动记录介质读出的、并且加载到主存储器226的或者已经通过通信单元232下载的各种程序。GPU 224具有几何引擎功能和渲染处理器功能，并且它还执行响应于来自CPU 222的命令制作图片的处理，并且将显示图像存储在帧缓存器中(未描绘)。GPU 224还将存储在帧缓存器中的显示图像转换成视频信号，并将其输出到输出单元236。主存储器226包括RAM(随机存取存储器)，并且存储处理所需的程序和数据。

图5是解释真实空间与本实施例中的显示图像之间的关系的示意图。它示出了穿戴头戴式显示器100的用户370面对包含桌子376和放置在其上的盒子378的真实空间的情况。附加到头戴式显示器100的相机140拍摄虚线指示的视场或空间，该空间的中心由与用户面对的方向一致的箭头372指示。当用户的头部在位置和姿势上改变时，被拍摄的图像在视场中变化。

信息处理设备200使用如上所述拍摄的图像，从而通过v-SLAM的方法获取用户头部的位置和姿势，同时执行下面示例的处理。

1.生成深度图像

2.对真实空间进行三维建模

3.计算真实体和虚拟对象之间的交互

4.追踪真实体

5.通过匹配识别图像

6.从计算机图形制作图片

上面的第1小段中使用的术语“深度图像”表示一个图像，其中从相机到对象的距离是以拍摄图像上对应图像的像素值来表达。例如，假设照相机140是立体相机，从已拍摄的左右视差图像中提取对应点，并且基于三角测量原理使用两个图像之间的视差来计算到对象的距离。即使当相机140是单镜头相机时，如果对象的形状和大小是已知的或者如果附加了规定的标记，也可以根据拍摄图像中图像的大小来计算到对象的距离。

上面第2小段中提到的步骤旨在将真实体(即要拍摄的对象)建模为三维空间中的计算对象。例如，如果基于由像素值表示的从相机的距离，将深度图像的单独像素相反地投射到三维空间，则可以获得离散地表示真实体表面的点云。可以为通过划分三维空间获得的立体区域的单个单元来分析结果，从而人可以识别单独真实体的形状。所得的关于形状的信息可以被用来按照体元值、八叉树和多边形网格建立表示真实体表面的模型，使所得的模型可以以与计算机图形的对象相同的方式使用。有用于建模真实体的其它方法，并且它们通过本领域技术人员公知的各种技术投入使用。

上面第3小段中提到的是用于物理上获得建模的真实体和由计算机图形绘制的虚拟对象之间的交互的处理。假设一个人画一个球作为一个虚拟对象的图片，那么可以基于表示运动的精确物理计算，通过表示作为虚拟对象的球如何像真实体一样滚动以及在桌子上反弹来实现具有真实性的AR。

上面第4小段表示在拍摄的图像上追踪特定真实体(诸如用户的手和另一个用户的手)的运动的处理，该处理旨在用于AR、手势识别和格斗游戏。有许多实用的技术来追踪图像上的图形。上面第5小段表示与模板图像匹配的处理，该处理是为了追踪和识别和检测真实体而执行的。上面第6小段表示在拍摄图像上绘制对象或在与用户头部的位置和姿势对应的视场中绘制虚拟世界的处理。

信息处理设备200根据头戴式显示器100上显示的图像或者诸如游戏的信息处理的内容，执行以上1至6小段中定义的任何一个处理或多个处理的组合。虽然单个处理可以通过普通技术来完成，但是它们容易延迟，这意味着从拍摄到显示需要长时间，因为处理步骤的增加以及比平时需要高精细度的处理。根据本实施例，该缺陷被减轻了，本实施例被设计来对从划分图像平面或三维空间所得的单独区域差异化地执行处理，从而实现有效地处理，而对观看几乎没有不利影响。

图6描绘了在图像平面中，处理模式如何从一个区域到另一个区域变化。图像380是显示图像的例子，其中通过使用图5中描绘的在环境中拍摄的图像实现AR。图像380描绘了对象猫386以及球形对象388a、388b、以及388c，它们是虚拟对象，在拍摄图像中包括作为主题的桌子的图像382和作为主题的盒子的图像384。

如果图6描绘的图像以规定速率连续地生成并显示，可以设想一个世界，其中对象猫386坐在盒子上，并且球形对象388a、388b、以及388c漂浮且偶尔从桌子反弹。其中对象尚未绘制的拍摄图像响应于用户头部的移动而改变覆盖范围。因此，虚拟对象应该被绘制，使它们的位置被调整以符合变化。这需要处理来生成上面第1小段中提到的深度图像，以实现上面第2小段中提到的三维建模，以执行上面第3小段中提到的交互计算，并绘制上面第6小段中提到的计算机图形。

为了应对上述情况，有必要在显示前提高步骤的效率。这个目标是通过在用户注视下的区域390和其它区域之间不同地执行处理来实现的。换言之，区域390经历高精细度的处理，而区域390以外的其它区域经历比用于区域390更低精细度的处理。上面使用的术语“精细度”是一种处理参数，其影响处理结果的精度，并且也影响由人感知到的质量。它包括分辨率、处理速率、计算单元、量化单元、近似精度、处理精细度(空间的、时间的、以及时空的)、以及在精确度上不同的处理算法。

高精细度的处理意味着在时间上或空间上采用更精细的处理单元，或者采用产生更高精度的结果的算法。一般来说，精细度越高，处理结果的精度就越高，并且处理负荷越大。上述处理可以在需要注视的有限区域中进行，使得在不增加处理负荷的情况下提高视觉印象。对于图像380，这可以通过仅在区域390中增加生成深度图的速率，或者通过增加用于建模区域390中包含的盒子和桌面的速率或分辨率来实现。

有另一种可能的方法，其中交互计算在区域间不同地执行，并且用精细划分的单元来执行计算。例如，可以以比在其它区域中的球形对象388a、388b、和388c之间的交互计算更高的速率执行区域390中的对象猫386和盒子之间的交互计算。此外，当执行对象猫386的图片的绘制时，可以以比其它区域更高的精度执行写入和阴影的计算，或者可以以高分辨率执行绘图。

上述精细度的区分可以仅由一个处理或由多个处理来执行。虽然在图6所示的情况下，图像平面被划分为两个区域，但也可以将图像平面划分为三个或更多区域，并且使用三种或更多种精细度。此外，也可以有两个或多个区域应用相同的精细度。应用高精细度的区域并不总是需要具有共同的处理模式。例如，即使在区域390进行高精细度的处理的情况下，也可以根据从相机到被拍摄的真实体的距离来调节在该区域中生成深度图像的速率。

图7是描绘根据本实施例的信息处理设备200的功能块的框图。附带地，信息处理设备200可以将其功能部分地移动到头戴式显示器100的控制单元10。如果图7中描绘的功能块是由图4中描绘的CPU、GPU、以及存储器构成，它们可以作为硬件来执行它们的功能。此外，如果它们从存储器诸如记录介质加载程序用于数据录入、数据保持、图像处理和通信，它们可以作为软件来执行它们的功能。本领域技术人员应当理解的事实是，功能块可以不受限制地单独由硬件、单独由软件、或由二者构建。

信息处理设备200包括拍摄图像获取单元250，其从头戴显示器100获取拍摄图像的数据；图像存储单元252，存储所获取的数据；区域确定单元254，其确定精细度变化的区域；位置/姿势获取单元256，其从拍摄图像获取头戴式显示器100的位置和姿势；图像分析单元258，其分析拍摄图像并获取必要信息；信息处理单元260，其基于图像分析结果执行信息处理；图像生成单元262，其生成作为信息处理结果要被显示的图像的数据；以及输出单元264，其输出生成的数据。

拍摄图像获取单元250以规定速率获取由头戴显示器100上的相机140拍摄的图像的数据；拍摄图像获取单元250执行解码和其它必要的处理，并且将结果存储在图像存储单元252中。在相机140是立体相机的情况下，拍摄图像获取单元250获取从右和左视图点拍摄的视差图像的数据。

区域确定单元254确定指定精细度的区域，使得精细度从一个处理到另一个处理变化。一个图像帧经历在对此种处理的精细度、区域划分数目、以及划分标准上变化的处理。它们的规则根据信息处理和显示的内容、所需的处理精度、以及信息处理设备200的处理性能而变化。下面的描述示出用这种方式执行的处理，其中用户密切注视的区域390具有比任何其它区域更高的精细度，如图6所描绘的。

因此，区域确定单元254确定用户在显示图像中密切注视的区域。在图像显示在头戴式显示器100上的情况下，用户自然地将他或她的脸朝向他或她想要观看的对象。由于相机140拍摄用户将他或她的面部指向的对象，所以用户密切注视的区域对应于拍摄图像的中央部分。因此，区域确定单元254将包括拍摄图像平面上的中心的特定尺寸区域指定为用户密切注视的区域。

可选地，头戴式显示器100可以在内部提供注视点检测器，使得它精确地测量用户密切注视的显示图像中的位置。注视点检测器如此设计以检测红外线，该红外线由红外线辐射机构发出并由瞳孔反射，从而确定瞳孔的方向并且检测注视点。在这种情况下，区域确定单元254从注视点监测器(未描绘)获取图像平面中注视点的位置信息，并且然后将包含该注视点的特定尺寸的区域指定为注视区域。

区域确定单元254也可以将包含出现在拍摄图像中的特定对象和显示图像中绘制的对象的区域指定为注视区域。例如，假设用户从他或她自己的手的虚拟块生成AR，推测用户正在观看他或她的手附近。在这种情况下，区域确定单元254在拍摄图像中检测手的图像，并且将包含其的区域指定为注视区域。另外，在格斗游戏的情况下，其中作为其他玩家的另一个用户在该用户面前，注视区域可以是另一个用户的面部或手部。在拍摄图像中对人体特定部分(诸如手部或面部)的检测可以通过用于模式匹配和特征提取的普通技术实现。

如果附加了配备有特定颜色和大小的标记的控制器，手部检测可以更简单。注视的对象并不局限于人体的部分。人注视的对象取决于最终显示的图像的内容而变化。例如，在图6所描绘的显示图像的情况下，用户可能主要观看在图像中绘制的对象猫386。

如果设置系统使得对象猫386接近是真实体的盒子，则区域确定单元254可以检测拍摄图像中的盒子图像382，并且将包含盒子图像384和对象猫386的区域(例如，区域390)指定为稍后要绘制的注视区域。可以根据真实体的特性和位置关系来确定注视区域，因为即使在对象没有绘制的情形下，桌子往往比地板和墙壁更加吸引注意力，并且房间的近侧往往比房间的远侧更加吸引注意力。

由于这个原因，区域确定单元254的内部存储器提前存储了高可能性将要被注视的真实体和对象的设置，或者通过使用拍摄图像、显示图像世界的场景、商品的特性、真实体的位置关系导出它们的规则，其用于要被玩的游戏的信息处理的内容上的信息。例如，在一般情况下，对于在电子游戏中容易吸引注意力的角色和商品来说，直接设置是可能的。

可选地，如果为各个用户记录显示在用户的面部转向的方向上的特征，可以指定最有可能吸引用户他或她的注意力的特征。在这种情况下，可以为每个用户优化这种概率的设置。然后，基于存储在存储器中的信息，区域确定单元254将在实际拍摄的图像中具有大概率被密切注视的区域指定为注视区域。为了此目的，图像分析单元258和图像生成单元262提供必要信息，诸如在拍摄图像中出现的对象识别和对象的位置关系，以及被密切关注的对象将要被绘制的位置。区域确定单元254将确定的注视区域上的信息发送给图像分析单元258和图像生成单元262。

可选地，区域确定单元254可以基于帧内注视区域的过去移动来预测将来的注视区域。例如，区域确定单元254能够基于图5中由箭头372表示的用户面部方向随时间的过去移动，来预测对应于该帧的将来时间的用户面部的方向。假设该方向与视线重叠，可以指定很短的一段时间后的要被注视的区域。这允许以提高的精细度来执行对于该部分的图像分析和绘图处理。这降低了注视区域在中间处理期间移动的可能性，如图像分析、信息处理、以及图像绘制，从而在实际注视区域和显示图像中的高清晰度部分之间做出了差异。

在这种情况下，区域确定单元254从位置/姿势获取单元256顺序地获取头部位置和姿势上的信息，并且记录诸如由箭头372指示的表示面部方向的矢量的历史。此外，区域确定单元254通过对表示面部方向的矢量随时间的变化进行插值，来预测一帧之后的注视区域，并且然后将结果提供给图像分析单元258和图像生成单元262。图像分析单元258和图像生成单元262在注视区域上执行高清晰度处理。

通过记录历史来预测注视区域的处理并不局限于将面部方向视为视线的实例。换言之，在采用注视点检测器的情况下，注视点的过去移动允许人预测注视点的未来位置。也是在这种情况下，其中要密切注视的对象是人体的特定部位、特定的真实体和特定的对象，可以从图像平面中它们的位置变化来预测未来位置。在任何情况下，一旦将上述预测的注视区域提供给图像分析单元258和图像生成单元262，就可以将相同的过程应用到处理中。

位置/姿势获取单元256从图像存储单元252读出拍摄的图像数据，从而通过v-SLAM的方法获取头戴式显示器100在真实空间中的位置和姿势，并最终获取穿戴头戴式显示器100的用户的位置和姿势。图像分析单元258从图像存储单元252读出的拍摄图像的数据，从而在分析后获取具体信息。处理的内容取决于信息处理的目的而变化；它包括以上1至6小段中定义的其中1至5小段中定义的至少一个。

图像分析单元258包括第一精细度处理单元270和第二精细度处理单元272，使得图像分析单元258执行与上述相同的精细度变化的处理。在这种情况下，在注视区域执行高精细度的处理，第一精细度处理单元270在注视区域执行高精细度的处理，并且第二精细度处理单元272在其它区域执行比用于第一精细度处理单元270的精细度更低的处理。然而，取决于处理的内容或算法，要被第二精细度处理单元272处理的区域可以包含要被第一精细度处理单元270处理的区域。

换言之，可以从提高处理效率的立场出发来对上述进行修改，使得第二精细度处理单元272在拍摄图像的整个区域上以低精细度执行处理，在这种情况下，对注视区域的处理可以基于由第一精细度处理单元以高精细度执行的处理结果来执行。在图像分析单元258执行图像分析的情况下，拍摄图像在空间精细度上变化，从区域到区域在精细度上变化的分析结果对于所有区域被同时提供给信息处理单元260和图像生成单元262。

在精细度随时间变化的情况下，高精细度的注视区域的分析结果以高于其它区域的分析结果的速率被提供。图像分析单元258无需用变化的精细度来执行整个处理，可能只有第二精细度处理单元272被投入使用，并且在整个区域上执行相同精细度的处理。

术语“注视区域”被严格定义为用户在显示区域中密切注视的区域。然而，在如本实施例中情形，拍摄图像对应于显示图像的覆盖的情况下，也在拍摄图像中的图像平面上的同样位置的任何区域可以被视为注视区域。然而，本实施例不将其范围限制于上述，只要图像分析单元258将拍摄图像中要被不同地处理的区域视为对应于显示图像中注视区域的区域，这两个区域的位置相互不重合也没有关系。

信息处理单元260使用由图像分析单元258完成的分析结果，以便执行规定的信息处理。该信息处理可以是不直接与拍摄图像相关的一般处理；它包括将游戏元素添加到显示图像的步骤，或解释用户的姿势以便实现规定功能的步骤。在该处理仅由图像分析单元258和图像生成单元262完成、为了显示与真实体交互的对象的情形下，信息处理单元260可省略其功能。

图像生成单元262生成表示由信息处理单元260执行的处理结果或由图像分析单元258执行的处理结果的图像。该处理对应于上述第1至第6小段列出的处理中由第6小段定义的处理。在拍摄图像被用作如AR的显示图像的情况下，图像生成单元262从图像存储单元252读取数据。然后，图像生成单元262绘制对应于由图像分析单元258捕获的真实体的三维模型的对象，或者对应于交互计算的对象。不考虑拍摄图像是否被用于显示图像，图像生成单元262从位置/姿势获取单元256获取头部的位置和姿势上的信息，并且然后绘制从与其对应的视点观看的图像。

图像生成单元262包括第一精细度处理单元274和第二精细度处理单元276，使得图像生成单元262用不同的精细度执行相同的绘制处理。在以高精细度绘制注视区域的情况下，第一精细度处理单元274在注视区域对对象执行高精细度的绘制，并且第二精细度处理单元276在其它区域以比用于第一精细度处理单元274更低的精细度对对象执行绘制。有几种绘制的方法，其精细度取决于区域而变化。一种方法是用比原始拍摄图像高出许多的分辨率绘制注视区域中的对象。另一种方法是用低分辨率绘制注视区域以外的区域中的对象。可替代地，也可以改变绘制所需的细节度和算术运算的算法，诸如阴影，或者改变绘制的速率。

然而，就绘制过程而言，由第二精细度处理单元276绘制的区域可以包括由第一精细度处理单元274绘制的区域。与图像分析单元258中的情况一样，可以进行布置，使得第二精细度处理单元276从处理效率的立场绘制整个显示图像。在这种情况下，由第一精细度处理单元274绘制的高精细度图像可以用于注视区域。仅在显示图像在空间细节度上变化的情况下，在整个区域上以相同的时序向输出单元264提供从一个区域到另一个区域精细度变化的显示图像。

在使时间上的精细度变化的情况下，以比其它区域的显示图像更高的速率提供注视区域的显示图像。附带地，使绘制精细度变化不总是必要的，在这种情况下，仅激活第二精细度处理单元276，使得对于整个区域用相同的精细度来执行绘制。换言之，仅需要使图像分析单元258或图像生成单元262从注视区域到其它区域在精细度上变化。用这种方法，在尽可能保持视觉图像高质量的同时，可以提高处理效率并且显示具有降低了延迟的图像。

输出单元264从图像生成单元262获取显示图像的数据，并且将其发送到头戴式显示器100。此外，在其中具有缓冲存储器的输出单元264将注视区域的图像与其它区域的图像在适当位置组合，从而产生最终的显示图像。在第二精细度处理单元276为整个区域绘制图像的情况下，通过用第一精细度处理单元274绘制的图像重写来产生这种图像中注视区域的图像。因此，图像生成单元262还向输出单元264通知图像平面中注视区域的位置信息。

在以更高的速率绘制注视区域的图像的情况下，发生仅从图像生成单元262提供注视区域的图像的时刻。在这种情况下，输出单元264仅更新在这之前存储在缓冲存储器中的图像中的注视区域的图像，并且输出更新的图像。为了放宽视场范围，在头戴式显示器被构造使得用户通过透镜观看显示在显示器上的图像的情况下，输出单元264在输出之前在显示图像上执行逆变形校正，使得用户观看由透镜变形的图像，就好像它是正常的图像。

附带地，精细度可以在三个或更多的步骤中变化。在这种情况下，图像分析单元258和图像生成单元262可以用第三、第四等精细度处理单元来补充第一和第二精细度处理单元。下表总结了上面提到的内容。它绘制了图像分析单元258和图像生成单元262执行的处理之间的关系，以及可以修改的项目使得精细度在每个处理中可变。然而，它们不是为了限制图像分析和图像绘制所需的处理，可能存在精细度变化的各种对象。

[表1]

图8是来解释使图像分析单元258执行图像分析，其精细度可变的处理的例子的示意图。图8(a)是头戴式显示器100和其前面的真实空间的俯视图。图8(b)是描绘由图像分析单元258从在先前环境下拍摄的拍摄图像中获取的深度图像的示意图。假设在图8(a)中，由虚线定义的真实体400a和400b存在于相机140的视场中，其中前者比后者离相机140更近。

相机140被假定为立体相机，其拍摄真实空间，使得视差给出每个真实体与相机之间的距离。用拍摄图像上的图像的像素值表示的距离产生如图8(b)所示的深度图像。所示的深度图像在接近相机时亮度增加。即，深度图像中的图像402a和402b分别对应于真实体400a和400b。现在，如果假设真实体400a是用户注视的对象，则将区域A指定为注视区域。另一方面，如果假定真实体400b是用户注视的对象，则将区域B指定为注视区域。在用户注视真实体400a和400b的情况下，可以将区域A和B都指定为注视区域。

在任何情况下，图像分析单元258比其它任何区域更精细地分析区域A和区域B。在这种情况下，即使当真实体400a和400b在真实空间中以相同速度并行地向拍摄平面移动，所拍摄的图像或其深度图像也被依次描绘，使得接近用户的真实体的图像402a比远离用户的真实体的图像402b明显地移动得更快。考虑到这一特性，即使真实体在注视区域内，取决于真实体距离相机有多远，适当地调节精细度程度。

换言之，由于距离相机更近的真实体在一帧到另一帧移动地更多，有必要增加生成深度图像的速率，从而增加时间的精细度。另一方面，由于距离相机更近的真实体在立体相机中具有更大的视差，可以降低要被使用的图像的分辨率，来提取用于视差图像的对应点，其具有处理精度被限制的效果。因此，图像分析单元258用这种方式操作区域A，使得拍摄的视差图像在尺寸上减小，并且由像素单元搜索对应点的处理以更高的速率执行。

相反地，由于远离相机的任何实体具有小的视差，因此需要使用具有高分辨率的图像以获得准确的距离，但是它在明显的移动速度上是缓慢的，因此增加生成深度图像的速率仅在精度上具有有限的影响。因此，图像分析单元258以比区域A更低的速率执行对区域B的对应点的搜索处理，拍摄的图像在分辨率上保持不变。附带地，搜索可以由小于像素单元的子像素单元来执行。

如上所述，根据从相机到真实体的距离，关于在时间精细度和空间精细度之间平衡的优化分辨率和处理速率最小化了无用的处理，并且降低了对处理精度和外观的影响。附带地，真实体离相机越近，真实体与用户碰撞的概率就越高，因此需要以高速率获得离用户近的真实体的位置。下表描绘了考虑在注视区域中到真实体的距离、以及真实体是在注视区域内或注视区域外时建立处理精度的结果。

[表2]

换言之，在这种情况下，如区域A，其中存在于注视区域中的真实体比规定的阈值更近，以高速率在注视区域中生成深度图像，并且使要被用来搜索对应点的图像具有中分辨率。在这种情况下，如区域B，其中存在于注视区域中的真实体位于等于或远于规定的阈值之外，以中速率在注视区域中生成深度图像，并且使要被用来搜索对应点的图像具有更高的分辨率。

不仅注视区域外部的深度图像以比注视区域内部更低的速率生成，而且使注视区域外部要被用来搜索对应点的图像比注视区域内部的更小。在实践中，用距离范围来代替“近”和“远”，并且用定值的处理速率和分辨率来代替“大”、“中”和“小”。在这个表中，到相机的距离被分为三级，并且处理速率和分辨率被分为三级。然而，在实践中比这更细的划分是可能的。

在注视区域中从相机到真实体的距离通过前一帧的深度图像来确定。这个处理也可以通过从真实体的先前位置随时间的变化预测非常短的时间后到真实体的距离来实现，如注视区域的情况一样。例如，假设真实体400a单独存在于图8(a)中，很短的一段时间t后，真实体400a移动到真实体404的位置，则可以预测真实体400a在又经过很短的一段时间t后位于真实体400b的位置。用这种方式，区域确定单元254能够预测区域B为注视区域，并且能够预测从相机到要被观看的真实体的距离。

图像分析单元528利用上表中描绘的设置，从而根据到真实体的距离调整精细度要变化到的程度，并且调整处理速率和要被使用的图像的分辨率之间的平衡。附带地，生成深度图像的处理并不是唯一使得精细度考虑到在三维空间中的位置而变化的方式，其中三维空间不仅包括图像平面，还包括距离相机的深度方向。如果真实体在注视区域中远离相机，并且处理被如此执行使得精细度对后续的处理和外观不贡献太多，另一种方式是可能的。在这种情况下，随着距离增加，与其它区域的精细度的差异可以被降低。

图9是示出使图像分析单元258执行图像分析，其精细度可变的处理的另一个例子的示意图。已经提出几种方法来表示三维空间中的实体。其中一种是八叉树表示，其被提出来解决体元表示的数据大小的问题。在八叉树表示的情况下，用一组区域来表示实体，通过递归地重复划分、直到用八叉树划分空间所得的区域不从实体的内部跨越到其内部而最终得到该区域。

八叉树表示基本是要将构成空间的立方体通过三个彼此平行的平面穿过每边中点划分，使得它最终用一组尺寸不同的立方体来表示实体。用这种方式表示的方法通常用于建模全局空间中作为固体给出的实体。另一方面，根据本实施例，上述目标是基于由头戴式显示器100的相机140拍摄的图像，通过在真实空间中建模和分析实体实现的。八叉树表示被用来适应这样的系统。更具体地，这是通过将四角锥划分成八个实现的，四角锥是通过在规定的距离Z划分视场的空间而形成的。

在图9中示意性地描绘了如何以这种方式划分空间的俯视图。线表示垂直方向上的划分边界。事实上，也实现了的水平方向上的划分。也就是说，类似于四角锥的空间构成相机140的视场。然后，通过两个垂直平面和一个水平平面将该空间分成八个，每个平面通过两侧的中间点。做出决定来查看每个被划分区域在真实体内部或外部，或者延伸到两个真实体。在后者的情况下，重复划分成八个。以这种方式，可以用一组区域来表示真实体，每个区域包括大小不同的四角锥。

拍摄图像是通过相机140从覆盖空间在成像平面上形成的一个，覆盖空间大致假设为四角锥体作为整体。换言之，拍摄图像上的像素表示图9中描绘的区域420中的实体的信息。因此，如果一个人想使基于深度图像的从相机的距离范围与图像平面上的图像的区域相对应，通过将四角锥体划分为如图所示的那样，高度精确地且高度有效地实现该目的。如果将图像平面上的注视区域假定为矩形，真实空间中与之相对应的区域也是作为一组区域的四角锥体，如区域420，其布置在图像垂直和水平方向上。因此，通过将空间划分成四角锥体，可以用高精细度仅有效地处理注视区域。

例如，在与注视区域相对应的四角锥体的聚合区域，更精细地对真实体的内部/外部区域做出决定。这使得有可能用更小的椎体来精确地表示真实体。此外，如上述关于图8，其中处理在精细度上根据到真实体的距离变化，基于相同的原理，根据从相机的距离，处理也可在精细度上以椎体的单元而变化。例如，在真实体部分地用椎体区域表示的情况下，其外的椎体即使表示真实体，由于遮蔽也不在图像上出现。因此，可能存在于注视区域中的这样的区域可以从由图像分析单元258分析的区域中排除，或者可以消除在这样的区域中绘制要被绘图的对象的必要性。

为了实现上述性能，信息处理设备200如下工作。图10是信息处理设备200根据其从拍摄图像生成显示图像的流程图。用户一旦穿戴头戴式显示器100并且通过规定的输入方式(未描绘)输入指令开始处理，此流程图就开始。首先，信息处理设备200使拍摄图像获取单元250向头戴式显示器100发送信号，使得头戴式显示器100开始拍摄。响应于该信号，拍摄图像获取单元250获取从头戴式显示器100发送的拍摄图像的第一帧的数据(S10)。

然后，位置/姿势获取单元256响应于拍摄图像，依次获取头戴式显示器100的位置和姿势、用户头部的位置和姿势(S12)，并且区域确定单元254预测注视区域(S14)。附带地，S12中的处理可以被包含在头戴式显示器100内的运动传感器测量的值确定。在S14中从先前历史预测注视区域的情况下，可以将第一帧的处理中被视作图像中心的区域指定为注视区域。

接着，图像分析单元258的第一精细度处理单元270在预测的注视区域上执行高精细度的规定的图像分析处理(S16)。同时，第二精细度处理单元272在注视区域以外的区域或图像的整个区域上，以比第一精细度处理单元270所用的精细度低的精细度，执行与第一细度处理单元270相似的处理(S18)。在如上所述的不区分细度的处理的情况下，第二细度处理单元272可以在整个区域上执行处理。

接着，信息处理单元260在图像分析结果的帮助下，执行规定的信息处理(S20)。该处理可以被如上所述的不必区分精细度的通用信息处理所替代。在一些情况下，可以通过由用户操作的输入设备(未描绘)来输入输入信息。接着，图像生成单元262基于图像分析单元258的图像分析结果或信息处理单元260的信息处理结果中的至少一个生成显示图像。

此时，图像生成单元262的第一精细度处理单元274以高精细度为预测的注视区域绘制图像(S22)。同时，第二精细度处理单元276以比第一精细度处理单元274所用的精细度低的精细度为注视区域外的区域或整个图像区域绘制图像(S24)。然而，在不区分精细度的图像绘制的情况下，第二细度处理单元276为整个区域绘制所需图像。

输出单元264根据需要将注视区域的图像和其它区域的图像连接在一起，并且然后将结果输出到头戴式显示器100(S26)。对于不需要由用户操作来终止处理的时间段，对后续帧重复步骤S10至S26(S28的否)，并且当需要终止处理时，所有步骤都终止(S28的是)。尽管在所示的情况下所有步骤都顺序地执行，但是在追求高精细度、要增加处理速率的情况下，步骤S16和S22比步骤S18和S24更频繁地执行。

根据上述实施例，将拍摄图像转换为要被显示在头戴式显示器上的图像的步骤采用了图像分析处理和图像绘制处理，其至少部分地在图像区域间以变化的精细度执行。通过仅在用户密切注视的区域中增加精细度来实现这个目的。用这种方式，可以无需增加处理负荷就呈现出给出高度印象的图像世界。

通过从头戴式显示器的位置和姿势、或者从由注视检测器检测的结果推测的用户的视线来确定注视区域。或者，根据一般倾向或单独用户的倾向确定具有高可能性被观看的对象或真实体。在这种情况下，确定视线或注视点随着时间如何变化，来预测在很短时间段后的注视区域。尽管图像处理的需求花费时间，但是这降低了用于显示图像的实际注视区域与需要高精细度处理的区域间的不一致。

根据到注视区域中已经被拍摄的真实体的距离来适当地调节精细程度的增加程度。例如，在真实体存在于短距离的情况下，使用具有低分辨率的图像来以高速率生成深度图像。在真实体存在于长距离的情况下，使用具有高分辨率的图像来以低速率生成深度图像。在两种情况下，可以以比注视区域外更高的精细度来执行处理，同时在处理速率和分辨率之间保持平衡，其无需过多处理就产生显著效果。

此外，真实体的建模采用了在金字塔形状中执行八叉树表示的技术。换言之，通过将构成相机覆盖的金字塔划分成八个部分到这种程度(每个被划分的金字塔完全包括或完全不包括真实体)来表示真实体。以这种方式的金字塔的空间划分可以提取对应于图像中区域的用一组划分的金字塔表示的三维空间。因此，如果将单个金字塔视为单元来调节精细度，可以为由显示图像上的区域和从相机的距离限制的空间、无处理负荷地有效地提高精细度。

上述是基于本发明的实施例的描述，这仅仅是示例，并且可以由本领域技术人员根据构成和处理的结合，在本发明的范围内不同地修改。

例如，本发明的实施例主要基于这样的假设，即根据该区域是否是用户的注视区域来划分精细度变化的区域。然而，这并不是划分的唯一标准。例如，在将头戴式显示器被构造使得通过透镜观看显示器的情况下，显示图像被透镜扭曲，因此在用户视场的中心和外围之间的图像密度将有所不同。考虑到这样的光学特性，在上述的实施例中，有必要在相反方向上校正失真，以在显示图像的中心和外围之间不同地执行处理。这允许人通过透镜一致地观看整个视场。

在拍摄图像和显示图像有相互对应的视场的情况下，上述实施例允许图像分析单元和图像生成单元增加处理共同注视区域的精细度。这导致了提高该区域质量的协同效应。另一方面，图像分析单元和图像生成单元能够独立地处理的事实使得可以独立地确定前者为拍摄图像提高精细度的区域，以及后者为显示图像提高精细度的区域。因此，可以修改图像分析单元和图像生成单元，使得它们对于由不同标准确定的区域在精细度上变化。

考虑到上述情况，在拍摄图像的视场和显示图像的视场之间并不总是需要对应。虽然在前述实施例中假定头戴式显示器配备有相机，但是根据信息处理的目的和要显示的内容，可以将头戴式显示器和相机放置在分离的壳体中。如果图像分析单元和图像生成单元在如上所述的独立地确定的区域上、以不同的精细度彼此独立地执行图像处理，即使拍摄图像和显示图像之间在视场上没有关系，也会对前述实施例产生类似的效果。显示设备不局限于头戴式显示器，它可以用任何平板显示器替代。

上述实施例被设计使得通过划分图像平面上的区域，使作为输入数据获得的同样的拍摄图像在精细度上变化。另一方面，可以获得在空间上或时间上或在空间时间上精细度不同的多种拍摄图像作输入数据。图11描绘了配备了相机来拍摄两种图像的头戴式显示器的外观的例子。在这种情况下，头戴式显示器100a被配置使得图1中描绘的头戴式显示器100还配备有第二相机142。

第二相机142的透镜布置在穿过构成照相机140的立体相机的两个透镜的中间点的垂直线上。第二相机142被认为是具有比构成相机140的每个单元更宽视场的相机。在相机具有大致相同数量的像素的情况下，由第二相机142拍摄的图像比由相机140从它们各自的视点拍摄的图像具有更低的分辨率。由第二精细度处理单元272和276处理由上述第二相机142拍摄的图像，并且由第一精细度处理单元270和274处理由相机140拍摄的图像，然后可以产生与上述实施例相似的效果。

由于经历高精细度处理的区域是有限的，可以通过降低相机140的像素的数目来降低生产成本，或者可以通过变窄视场的同时保持像素的数目不变来增加分辨率。在第二相机142以比相机140更低的速率拍摄、并且由第二精细度处理单元272和276以更低的时间分辨率处理所得图像的情况下，可以使用与上述类似的原理。

[参考标记列表]

100 头戴式显示器

140 相机

200 信息处理设备

222 CPU

224 GPU

226 主存储器

250 拍摄图像获取单元

252 图像存储单元

254 区域确定单元

256 位置/姿势获取单元

258 图像分析单元

260 信息处理单元

262 图像生成单元

264 输出单元

270 第一精细度处理单元

272 第二精细度处理单元

274 第一精细度处理单元

276 第二精细度处理单元

[工业适用性]

上述发明可以应用于各种信息处理设备，诸如游戏设备、图像处理设备、图像再现设备和个人计算机，也可应用于包括它们的各种信息处理系统。

Claims (16)

1.一种信息处理设备，包括：

拍摄图像获取单元，其从相机获取拍摄图像的数据，所述拍摄图像包括第一真实对象和第二真实对象；

图像分析单元，其分析所述拍摄图像来识别所述第一真实对象和所述第二真实对象，并且通过对所述第一真实对象和所述第二真实对象进行建模来分析所述第一真实对象和所述第二真实对象；

显示图像生成单元，其基于分析的结果生成显示图像，并且将所述显示图像输出到显示设备，所述显示图像包括所述第一真实对象和所述第二真实对象；以及

区域确定单元，其将所述第一真实对象确定为在所述显示图像中用户的注视区域中，并且将所述第二真实对象确定为在所述显示图像中所述用户的注视区域外部的区域中；

其中，所述图像分析单元使所述拍摄图像中的对象对于与所述注视区域对应的区域以第一对象建模速率来分析并且对于与外部区域对应的区域以第二对象建模速率来分析，所述第一对象建模速率高于第二对象建模速率；并且

其中，所述显示图像生成单元使用相比于用于计算所述第二虚拟对象之间的交互的速率更高的用于计算所述第一真实对象和第一虚拟对象之间的交互的速率来生成所述显示图像。

2.根据权利要求1所述的信息处理设备，其中所述图像分析单元使所述显示图像被分析，对与所述注视区域相对应的区域用比其它区域所用的精细度更高的精细度。

3.根据权利要求1所述的信息处理设备，

其中所述显示图像生成单元以比其它区域精细度更高的精细度对所述注视区域执行处理。

4.根据权利要求1所述的信息处理设备，其中，所述区域确定单元基于确定所述注视区域的参数随时间的变化，预测在后来时间的注视区域。

5.根据权利要求1至4中任一项所述的信息处理设备，其中，所述区域确定单元基于穿戴头戴式显示器作为所述显示设备的用户头部的移动来确定所述注视区域。

6.根据权利要求1至4中任一项所述的信息处理设备，其中，所述区域确定单元基于由布置在作为所述显示设备的头戴式显示器内部的注视点监测器检测的结果确定所述注视区域。

7.根据权利要求1至4中任一项所述的信息处理设备，其中，所述区域确定单元基于过去记录在出现在所述显示图像中的区域中指定所述区域中的哪些区域具有高可能性吸引密切注意，并且将包含它们的区域确定为所述注视区域。

8.根据权利要求1至4中任一项所述的信息处理设备，其中，所述图像分析单元使空间精细度和时间精细度中的至少一个在所述拍摄图像中从一个区域到另一个区域变化。

9.根据权利要求1所述的信息处理设备，其中，所述图像分析单元取决于从所述相机到出现在所述拍摄图像上的每个区域的真实体的距离，改变精细度要变化到的程度。

10.根据权利要求9所述的信息处理设备，其中，所述图像分析单元取决于从所述相机到所述真实体的距离，在生成包含所述拍摄图像中的图像的深度图像的生成处理的速率、和要被用于所述生成处理的视差图像的分辨率之间改变平衡。

11.根据权利要求10所述的信息处理设备，其中，所述区域确定单元基于所述真实体的运动，预测包含所述拍摄图像中的图像的区域，以及从所述相机到所述真实体的距离，并且

所述图像分析单元基于预测的从相机的距离，为已经预测的所述区域改变分析精细度要变化到的程度。

12.根据权利要求9至11中任一项所述的信息处理设备，其中，所述图像分析单元基于与所述真实体的位置关系，重复将构成所述相机的视场的四角锥划分成八个的处理，所述相机的视场由穿过每个线的中点的两个垂直平面和一个水平平面构成，从而用一组四角锥体生成表示所述真实体的模型，并且使分析精细度以所述四角锥体为单元而变化。

13.根据权利要求1至4中任一项所述的信息处理设备，其中，所述图像分析单元通过使用在所述拍摄图像中从一个区域到另一个区域在精度上变化的算法来执行分析。

14.一种信息处理系统，包括：

头戴式显示器，其配备有相机；以及

信息处理设备，其从由所述相机拍摄的图像生成要被显示在所述头戴式显示器上的图像，

其中所述信息处理设备包括：

拍摄图像获取单元，其从所述相机获取所述拍摄图像的数据，所述拍摄图像包括第一真实对象和第二真实对象；

图像分析单元，其分析所述拍摄图像来识别所述第一真实对象和所述第二真实对象，并且通过对所述第一真实对象和所述第二真实对象进行建模来分析所述第一真实对象和所述第二真实对象；

显示图像生成单元，其基于分析的结果生成显示图像，并且将所述显示图像输出到所述头戴式显示器，所述显示图像包括所述第一真实对象和所述第二真实对象；以及

区域确定单元，其将所述第一真实对象确定为在所述显示图像中用户的注视区域中，并且将所述第二真实对象确定为在所述显示图像中所述用户的注视区域外部的区域中；

所述图像分析单元使所述拍摄图像中的对象对于与所述注视区域对应的区域以第一对象建模速率来分析并且对于与外部区域对应的区域以第二对象建模速率来分析，所述第一对象建模速率高于第二对象建模速率；并且

其中，所述显示图像生成单元使用相比于用于计算所述第二虚拟对象之间的交互的速率更高的用于计算所述第一真实对象和第一虚拟对象之间的交互的速率来生成所述显示图像。

15.一种由信息处理设备执行的信息处理方法，包括：

从相机获取拍摄图像的数据的步骤，所述拍摄图像包括第一真实对象和第二真实对象；

分析所述拍摄图像来识别所述第一真实对象和所述第二真实对象并且通过对所述第一真实对象和所述第二真实对象进行建模来分析所述第一真实对象和所述第二真实对象的步骤；

基于分析的结果生成显示图像的步骤；

将所述显示图像输出到显示设备的步骤，所述显示图像包括所述第一真实对象和所述第二真实对象；以及

将所述第一真实对象确定为在所述显示图像中用户的注视区域中，并且将所述第二真实对象确定为在所述显示图像中所述用户的注视区域外部的区域中的步骤；

其中，所述分析的步骤使所述拍摄图像中的对象对于与所述注视区域对应的区域以第一对象建模速率来分析并且对于与外部区域对应的区域以第二对象建模速率来分析，所述第一对象建模速率高于第二对象建模速率；并且

其中，所述生成的步骤使用相比于用于计算所述第二虚拟对象之间的交互的速率更高的用于计算所述第一真实对象和第一虚拟对象之间的交互的速率来生成所述显示图像。

16.一种存储指令的计算机可读存储介质，所述指令使得处理器实现以下功能，包括：

从相机获取拍摄图像的数据的功能，所述拍摄图像包括第一真实对象和第二真实对象；

分析所述拍摄图像来识别所述第一真实对象和所述第二真实对象并且通过对所述第一真实对象和所述第二真实对象进行建模来分析所述第一真实对象和所述第二真实对象的功能；

基于分析的结果生成显示图像的功能；

将所述显示图像输出到显示设备的功能，所述显示图像包括所述第一真实对象和所述第二真实对象；以及

将所述第一真实对象确定为在所述显示图像中用户的注视区域中，并且将所述第二真实对象确定为在所述显示图像中所述用户的注视区域外部的区域中的功能；

其中，所述分析的功能使所述拍摄图像中的对象对于与所述注视区域对应的区域以第一对象建模速率来分析并且对于与外部区域对应的区域以第二对象建模速率来分析，所述第一对象建模速率高于第二对象建模速率；并且

其中，所述生成的功能使用相比于用于计算所述第二虚拟对象之间的交互的速率更高的用于计算所述第一真实对象和第一虚拟对象之间的交互的速率来生成所述显示图像。