CN117916775A - 信息处理装置、信息处理方法和程序 - Google Patents

Abstract

一种信息处理装置，包括：移动评估单元，其用于评估位于真实空间中的物理对象的移动；目标物理对象确定单元，其用于在作为虚拟对象的行为的目标的目标物理对象已经移动的情况下从其他物理对象中确定新的目标物理对象；虚拟对象行为更新单元，其用于在确定了新的目标物理对象的情况下确定虚拟对象相对于新的目标物理对象的行为；以及显示控制单元，其用于使得以所确定的行为在真实空间中显示虚拟对象。

Description

信息处理装置、信息处理方法和程序

技术领域

本技术涉及信息处理装置、信息处理方法和程序，并且特别地涉及显示通过将布置在真实空间中的物理对象应用为行为的目标所形成的虚拟对象的信息处理装置的技术领域。

背景技术

近年来，已经提出了能够实现所谓的增强现实(AR)的信息处理装置，其中，虚拟对象被叠加在真实空间上并且被视觉识别。

引文列表

专利文献

专利文献1：日本专利申请特许公开第2021-96490号。

发明内容

发明要解决的问题

顺便提及，在实现上述增强现实的情况下，信息处理装置识别布置在真实空间中的物理对象，并且以所识别的物理对象作为目标来确定虚拟对象的行为。

在这样的情况下，当物理对象移动时，存在虚拟对象的行为不稳定的可能性。例如，在虚拟对象被显示在物理对象上的情况下，即使在物理对象移动走了时虚拟对象可能漂浮在原始位置处并被显示。

本技术是鉴于这样的问题而提出的，并且其目的是在虚拟对象被叠加并显示在物理对象上的情况下减少虚拟对象的行为的不稳定性。

问题的解决方案

根据本技术的一方面，提供了一种信息处理装置，该信息处理装置包括：移动确定单元，其被配置成确定布置在真实空间中的物理对象的移动；目标物理对象确定单元，其被配置成在作为虚拟对象的行为的目标的目标物理对象移动的情况下从其他物理对象中确定新的目标物理对象；虚拟对象行为更新单元，其被配置成在确定了新的目标物理对象的情况下确定虚拟对象相对于新的目标物理对象的行为；以及显示控制单元，其被配置成以所确定的行为在真实空间中显示虚拟对象。

根据该方面，在作为虚拟对象的行为的目标的目标物理对象移动的情况下，信息处理装置可以确定新的目标物理对象，并且移动虚拟对象以执行相对于新的目标物理对象的行为。

附图说明

图1是示出根据本技术的实施方式的信息处理系统的配置的图。

图2是示出增强现实的显示示例的图。

图3是示出信息处理装置的配置的图。

图4是示出CPU的功能配置和存储在存储单元中的信息的图。

图5是示出服务器的配置的图。

图6是示出CPU的功能配置和存储在存储单元中的信息的图。

图7是示出由物理对象识别单元识别的物理对象信息的图。

图8是示出虚拟对象的移动显示的示例的图。

图9是示出目标物理对象更新处理的流程的流程图。

图10是示出了物理对象移动确定处理的流程的流程图。

图11是示出了物理对象移动确定处理的图。

图12是示出目标物理对象确定处理的流程的流程图。

图13是示出虚拟对象行为更新处理的流程的流程图。

图14是示出在虚拟对象是移动对象的情况下的显示的示例的图。

图15是示出在虚拟对象不是移动对象的情况下的显示的示例的图。

图16是示出在虚拟对象不是移动对象的情况下的显示的另一示例的图。

具体实施方式

在下文中，将参照附图按以下顺序描述根据本技术的实施方式。

<1.信息处理系统>

<2.信息处理装置>

<3.服务器>

<4.增强现实显示处理>

<5.目标物理对象更新处理>

<6.修改示例>

<7.总结>

<8.本技术>

<1.系统配置>

图1是示出根据本技术的实施方式的信息处理系统1的配置的图。如图1所示，信息处理系统1包括根据本技术的实施方式的信息处理装置2和服务器3。信息处理装置2和服务器3连接至网络4例如因特网，并且可以经由网络4彼此通信。

信息处理装置2是能够实现增强现实的装置，其中，虚拟对象被叠加在真实空间上并且被视觉识别，这样的装置例如智能电话、头戴式显示器(HMD)等。

在实施方式中，作为示例，将描述信息处理装置2是智能电话的情况。在信息处理装置2是智能电话的情况下，信息处理装置2可以通过视频透视(video see-through)来实现增强现实，其中虚拟对象叠加在要显示在显示单元17上的由成像单元21(参照图2)成像的真实空间的图像上。然而，信息处理装置2可以是其中在用肉眼视觉识别真实空间的同时在显示单元上显示虚拟对象的透视类型(see-through type)，或者是其中在用肉眼视觉识别真实空间的同时通过使用激光扫描真实空间将虚拟对象直接投影到眼球上的视网膜投影类型(retinal projection type)。

此外，在本实施方式中，将描述提供一个信息处理装置2的情况，但是可以提供多个信息处理装置2。

如稍后将详细描述的，服务器3通过获取由信息处理装置2的成像单元21捕获的图像并执行图像分析来生成真实空间的三维模型(形状信息)，并且生成并保存布置在真实空间中的物理对象的属性信息。然后，服务器3及时地将形状信息和布置在真实空间中的物理对象的属性信息发送至信息处理装置2。

因此，信息处理装置2可以实现所谓的AR云，该AR云显示通过基于形状信息和属性信息将布置在真实空间中的物理对象应用为行为的目标而形成的虚拟对象。

图2是示出增强现实的显示示例的图。如图2所示，多个物理对象101被布置在真实空间100中。在图2的示例中，提供了桌子101a、椅子101b、沙发101c、架子101d、地板101e和墙壁101f作为物理对象101。

在由成像单元21对这样的真实空间100进行成像的情况下，信息处理装置2使显示单元17显示其中虚拟对象102被叠加在真实空间100上的图像。在该示例中，提供了人102a和苹果102b作为虚拟对象102。

此外，在图2的示例中，苹果102b被布置在桌子101a上，并且人102a坐在椅子101b上。换句话说，桌子101a可以是作为苹果102b的行为的目标的物理对象101，并且椅子101b可以是作为人102a的行为的目标的物理对象101。

在下文中，作为虚拟对象102的行为的目标的物理对象101可以被称为目标物理对象。

<2.信息处理装置>

图3是示出信息处理装置2的配置的图。如图3所示，信息处理装置2包括中央处理单元(CPU)11、只读存储器(ROM)12、随机存取存储器(RAM)13和非易失性存储器单元14。非易失性存储器单元14包括例如电可擦除可编程只读存储器(EEP-ROM)。

CPU 11根据存储在ROM 12或非易失性存储器单元14中的程序或从稍后要描述的存储单元19加载到RAM 13的程序来执行各种类型的处理。RAM 13还适当地存储CPU 11执行各种类型的处理所需的数据等。

CPU 11、ROM 12、RAM 13和非易失性存储器单元14经由总线23彼此连接。输入/输出接口15也连接至总线23。

输入/输出接口15可以与使得用户能够执行输入操作的输入单元16、包括液晶面板或有机电致发光(EL)面板的显示单元17、包括扬声器的音频输出单元18、存储单元19、通信单元20等连接。

输入单元16意指要由使用信息处理装置2的用户使用的输入设备。例如，假设设置在显示单元17的上表面上的触摸面板作为输入单元16。此外，假设各种类型的操纵元件和操作设备例如键盘、鼠标、按钮、拨号盘、触摸面板、触摸板和遥控器等作为输入单元16。通过输入单元16检测用户操作，并且通过CPU 11解释与输入操作对应的信号。

显示单元17基于来自CPU 11的指令显示各种类型的图像。此外，显示单元17可以基于来自CPU 11的指令显示各种类型的操作菜单、图标、消息等，即，执行作为图形用户界面(GUI)的显示。

存储单元19包括例如诸如固态存储器的存储介质。存储单元19可以存储例如稍后要描述的各种类型的信息。此外，存储单元19还可以用于存储用于使CPU 11执行各种类型的处理的程序数据。

通信单元20经由网络4执行通信处理，并且与外围设备进行有线或无线通信(例如，近场通信等)。具体地，通信单元20可与服务器3通信。

此外，成像单元21和传感器单元22连接至输入/输出接口15。

成像单元21包括例如诸如互补金属氧化物半导体(CMOS)类型或电荷耦合器件(CCD)类型的固态成像元件。在固态成像元件中，例如，二维地布置具有光电转换元件例如光电二极管的多个像素。成像单元21对通过针对每个像素的光电转换所获得的电信号执行例如相关双采样(CDS)处理、自动增益控制(AGC)处理等，并且还执行模拟/数字(A/D)转换处理以获得作为数字数据的图像数据(实时取景图像数据(live-view image data))。

成像单元21是设置在信息处理装置2的背面上的所谓的外部摄像装置。然而，成像单元21可以是设置在信息处理装置2的背表面的相对侧(即，设置在与显示单元17相同的表面侧上)的内部摄像装置。

传感器单元22综合指示用于检测用户的动作的各种传感器。例如，传感器单元22设置有用于检测信息处理装置2的运动的运动传感器，例如，加速度传感器、角速度传感器等。

图4是示出CPU 11的功能配置和存储在存储单元19中的信息的图。注意，此处，将简要描述CPU 11的功能配置和存储在存储单元19中的信息，并且稍后将描述其细节。

如图4所示，在实施方式中，CPU 11用作显示控制单元31、自身位置确定单元32、虚拟对象生成单元33、矩形分配图像生成单元(rectangle-assigned image generationunit)34、矩形分配预测图像生成单元35、移动确定单元36、目标物理对象确定单元37以及虚拟对象行为更新单元38。

此外，存储单元19存储自身位置信息41、物理对象信息42、虚拟对象信息43和关系信息44。

自身位置信息41是指示信息处理装置2的位置和取向的信息。

物理对象信息42包括物理对象101的形状信息和属性信息。

虚拟对象信息43包括虚拟对象102的形状信息和行为信息。

关系信息44是指示物理对象101与虚拟对象102之间的关系的信息。

显示控制单元31执行显示控制以在显示单元17上显示图像。例如，显示控制单元31将虚拟对象102叠加在由成像单元21成像的真实空间上，并且将图像显示在显示单元17上。

自身位置确定单元32确定信息处理装置2的位置和取向。例如，自身位置确定单元32通过基于由成像单元21捕获的图像和稍后将详细描述的物理对象信息42执行已知的视觉定位系统(VPS)算法来确定信息处理装置2的位置和取向。此外，自身位置确定单元32可以基于由传感器单元22检测到的信息处理装置2的移动，通过从激活时起频繁地跟踪信息处理装置2的移动来确定信息处理装置2的位置和取向。即，自身位置确定单元32仅需要能够确定信息处理装置2的位置和取向，并且可以使用各种已知的方法。然后，自身位置确定单元32将指示所确定的信息处理装置2的位置和取向的信息存储在存储单元19中作为自身位置信息41。

虚拟对象生成单元33确定要相对于真实空间100布置的虚拟对象102，并且确定虚拟对象102的行为。然后，虚拟对象生成单元33将所确定的虚拟对象和关于所确定的虚拟对象的行为的信息存储在存储单元19中作为虚拟对象信息43。此外，在存在作为虚拟对象102的行为的目标的目标物理对象的情况下，虚拟对象生成单元33将指示虚拟对象102与目标物理对象之间的关系的信息存储在存储单元19中作为关系信息44。

矩形分配图像生成单元34对由成像单元21捕获的图像执行二维类别分类(two-dimensional class classification)，并且设置围绕受到类别分类的物理对象101的矩形区域。然后，矩形分配图像生成单元34生成通过将矩形区域分配给图像所形成的矩形分配图像(rectangle-assigned image)。

基于自身位置信息41和物理对象信息42，矩形分配预测图像生成单元35创建与由成像单元21捕获的图像对应的三维模型的预测图像，并且在所创建的预测图像中生成围绕物理对象101的矩形区域。然后，矩形分配图像生成单元34生成通过将矩形区域分配给预测图像所形成的矩形分配预测图像。

移动确定单元36基于由成像单元21捕获的图像和物理对象信息42来确定布置在真实空间中的物理对象101的移动。

在作为虚拟对象102的行为的目标的目标物理对象移动的情况下，目标物理对象确定单元37从其他物理对象101中确定新的目标物理对象。

在目标物理对象确定单元37确定新的目标物理对象的情况下，虚拟对象行为更新单元38生成用于将虚拟对象102与新的目标物理对象相关联的关系信息44。此外，虚拟对象行为更新单元38确定虚拟对象102相对于新的目标物理对象的行为，并且存储虚拟对象102的该行为作为虚拟对象信息43。因此，显示控制单元31可以以所确定的行为相对于真实空间显示虚拟对象102。

<3.服务器>

图5是示出服务器3的配置的图。如图5所示，服务器3包括CPU 51、ROM 52、RAM 53和非易失性存储单元54。非易失性存储器单元54包括例如EEP-ROM。

CPU 51根据存储在ROM 52或非易失性存储单元54中的程序或从稍后要描述的存储单元56加载到RAM 53的程序来执行各种类型的处理。RAM 53还适当地存储CPU 51执行各种类型的处理所需的数据等。

CPU 51、ROM 52、RAM 53和非易失性存储单元54经由总线58彼此连接。输入/输出接口55也连接至总线58。

存储单元56、通信单元57等可以连接至输入/输出接口55。

存储单元56包括例如诸如固态存储器的存储介质。存储单元56可以存储例如稍后要描述的各种类型的信息。此外，存储单元56还可以用于存储用于使CPU 51执行各种类型的处理的程序数据。

通信单元57经由网络4执行通信处理，并且与外围设备进行有线或无线通信(例如，近场通信等)。具体地，通信单元20被配置成可与信息处理装置2通信。

图6是示出CPU 51的功能配置和存储在存储单元56中的信息的图。如图6所示，在实施方式中，CPU 51用作物理对象识别单元61。此外，存储单元56存储物理对象信息71和图像数据72。

图7是示出由物理对象识别单元61识别的物理对象信息71的图。在实施方式中，在由信息处理装置2实现增强现实的情况下，由信息处理装置2的成像单元21预先对真实空间100进行成像，并且通过服务器3对所捕获的图像执行图像分析以生成物理对象信息71。

例如，如图7左侧所示出的真实空间100由成像单元21来进行成像，并且所捕获的图像数据被发送至服务器3。在服务器3接收到发送的图像数据时，服务器3使存储单元56存储所发送的图像数据作为图像数据72。然后，物理对象识别单元61从存储单元56读取图像数据72，并且执行已知的图像分析(例如，语义分割)以生成物理对象信息71。注意，可以使用另外的方法，只要可以基于图像数据72生成关于布置在真实空间100中的物理对象101的物理对象信息71。

具体地，如图7的右侧所示，物理对象识别单元61基于每个物理对象101的图像数据72来分割图像，并且生成由每个物理对象101的网格构造而成的三维模型(形状信息)。注意，形状信息还包括物理信息，例如，物理对象101的位置和大小。

此外，物理对象识别单元61针对每个物理对象101识别属性信息。属性信息指示物理对象101的各种类型的信息(元信息)，并且包括名称、ID、材料、关系和可供性(affordance)。注意，关系指示关系信息，例如相对于另一物理对象101的位置和取向，并且可供性限定了要作为虚拟对象的目标的行为类型(放置、坐、图像等)。

例如，关于桌子101a，将“桌子”设置为名称，将“桌子A”设置为ID，将“棕色”设置为材料，将“桌子在椅子前”设置为关系，并且将“可放置”(放置)设置为可供性。

此外，关于椅子101b，将“椅子”设置为名称，将“椅子A”设置为ID，将“白色”设置为材料，将“桌子在椅子前”设置为关系，并且将“可坐”(坐)设置为可供性。

如上所述，在基于从信息处理装置2发送的图像数据来生成物理对象101的形状信息和属性信息的情况下，物理对象识别单元61将物理对象101的形状信息及属性信息存储在存储单元56中作为物理对象信息71。然后，服务器3在预定定时向信息处理装置2发送物理对象信息71。在接收到从服务器3发送的物理对象信息71的情况下，信息处理装置2将接收到的物理对象信息71存储为物理对象信息42。因此，存储在服务器3中的物理对象信息71和存储在信息处理装置2中的物理对象信息42基本相同。然而，取决于发送/接收定时，存储在信息处理装置2中的物理对象信息42可能是比存储在服务器3中的物理对象信息71更旧的信息。

<4.增强现实显示处理>

接下来，将描述由信息处理装置2执行的增强现实显示处理。注意，本文中要描述的增强现实显示处理是示例，并且可以使用各种方法。

当增强现实显示处理开始时，首先，由成像单元21开始对真实空间100的成像(实时取景图像的捕获)。此外，自身位置确定单元32确定信息处理装置2的位置和取向。然后，虚拟对象生成单元33通过将由成像单元21捕获的图像与存储在存储单元19中的物理对象信息42(形状信息)进行匹配来指定与由成像单元21捕获的布置在真实空间100中的物理对象101对应的三维模型。

此后，虚拟对象生成单元33基于预定条件将与指定的三维模型对应的物理对象101中的任何一个确定为目标物理对象，并且针对所确定的目标物理对象确定虚拟对象102以及虚拟对象102的行为。

图8是示出虚拟对象102的移动显示的示例的图。例如，如图8所示，虚拟对象生成单元33确定放置在桌子101a上的苹果102b在滚动时的行为，或者确定人102a从预定位置在地板101e上行走并接近椅子101b以坐在椅子101b上的行为。

显示控制单元31根据由虚拟对象生成单元33确定的行为，在由成像单元21捕获的图像中移动并显示虚拟对象102。因此，信息处理装置2可以实现增强现实。

同时，如上所述，由服务器3基于由成像单元21捕获的图像来生成物理对象信息71，并且基于物理对象信息71(物理对象信息42)来确定虚拟对象的行为。

因此，在移动了物理对象101的情况下，物理对象101的实际位置会不同于存储为物理对象信息42即形状信息的物理对象101的三维模型的位置。

例如，在移动了桌子101a的情况下，当桌子101a的形状信息保持在物理对象信息42中的移动之前的位置时，苹果102b可能被放置在实际上不存在的桌子101a上。在这种情况下，苹果102b漂浮在空中，并且用户会感到不舒服。

此外，在移动了椅子101b的情况下，即使在能够识别椅子101b的移动的情况下，人102a也可能处于坐着而没有椅子101b的状态，直到识别到椅子101b的移动为止。此外，在椅子101b被识别为另一椅子的情况下，人102a可能在以坐着而没有椅子101b的状态被持续地显示。

如上所述，在目标物理对象被移动的情况下，虚拟对象102的行为可能变得不自然。

因此，在目标物理对象被移动的情况下，信息处理装置2执行用于减少虚拟对象102相对于目标物理对象的不自然行为的目标物理对象更新处理。

<5.目标物理对象更新处理>

图9是示出目标物理对象更新处理的流程的流程图。如图9所示，在目标物理对象更新处理开始时，在步骤S1中，CPU 11执行确定物理对象101是否正在移动的物理对象移动确定处理。注意，稍后将详细描述物理对象移动确定处理。

此后，在步骤S2中，CPU 11基于物理对象移动确定处理的结果来确定是否存在移动的物理对象101。在存在已经移动的物理对象101的情况下(步骤S2中的“是”)，在步骤S3中，CPU 11确定已经移动的物理对象101是否是目标物理对象。在已经移动的物理对象101是目标物理对象的情况下(步骤S3中的“是”)，在步骤S4中，CPU 11执行确定作为虚拟对象102的行为的目标的新的目标物理对象的目标物理对象确定处理。注意，稍后将详细描述目标物理对象确定处理。

此外，在步骤S5中，CPU 11执行确定虚拟对象102相对于在目标物理对象确定处理中所确定的新的目标物理对象的行为的虚拟对象行为更新处理，并且结束目标物理对象更新处理。

另一方面，在不存在已经移动的物理对象101的情况下(步骤S2中的“否”)，以及在已经移动的物理对象101不是目标物理对象的情况下(步骤S3中的“否”)，CPU 11结束目标物理对象更新处理，而不执行步骤S4和步骤S5中的处理。

[5.1物理对象移动确定处理]

图10是示出物理对象移动确定处理的流程的流程图。图11是示出物理对象移动确定处理的图。

如图10所示，在开始物理对象移动确定处理时，在步骤S11中，矩形分配图像生成单元34从传感器单元22获取指示信息处理装置2的移动的信息。然后，在步骤S12中，矩形分配图像生成单元34对由成像单元21捕获的图像执行已知的二维类别分类处理。在类别分类处理中，如图11的左侧所示，检测到图像中出现的物理对象101，并且设置围绕检测到的物理对象101的矩形区域104。然后，矩形分配图像生成单元34生成通过将矩形区域104分配给图像所形成的矩形分配图像。在图11的示例中，矩形区域104被设置在桌子101a和椅子101b上。

此外，在步骤S13中，矩形分配预测图像生成单元35获取存储在存储单元19中的自身位置信息41和存储在存储单元19中的物理对象信息42。然后，在步骤S14中，矩形分配预测图像生成单元35基于自身位置信息41指定成像单元21将要成像的范围，并且生成包括该范围中包括的三维模型(形状信息)的预测图像。此外，如图11的右侧所示，矩形分配预测图像生成单元35设置围绕预测图像中包括的三维模型的矩形区域105。然后，矩形分配预测图像生成单元35生成通过将矩形区域105分配给预测图像所形成的矩形分配预测图像。在图11的示例中，矩形区域105被设置为与桌子101a和椅子101b对应的三维模型。

此后，在步骤S15中，移动确定单元36执行通过比较矩形分配图像和矩形分配预测图像来确定物理对象101是否已经移动的移动确定处理。此处，移动确定单元36通过比较分别对应于矩形分配图像和矩形分配预测图像的矩形区域104的位置和大小以及矩形区域105的位置和大小来确定物理对象101是否已经移动。

[5.2目标物理对象确定处理]

图12是示出目标物理对象确定处理的流程的流程图。

如上面所描述的，在作为虚拟对象102的行为的目标的目标物理对象移动的情况下，执行目标物理对象确定处理。

如图12所示，在目标物理对象确定处理开始时，在步骤S21中，目标物理对象确定单元37从多个物理对象101中检索要作为虚拟对象102的行为的目标的目标物理对象的候选，而不是到目前为止已经移动并且已经是虚拟对象102的行为的目标的目标物理对象(在下文中，被称为旧的目标物理对象)。

例如，目标物理对象确定单元37检索与旧的目标物理对象的可供性匹配的物理对象101作为候选。具体地，在包括“可坐”作为旧的目标物理对象的可供性的情况下，检索包括“可坐”作为可供性的物理对象101作为候选。注意，在旧的目标物理对象的可供性的数目为两个或更多个的情况下，可以检索与所有可供性匹配的物理对象101作为候选，或者可以检索与一个或更多个可供性匹配的物理对象101作为候选。

此外，目标物理对象确定单元37可以通过使用用于确定旧的目标物理对象的条件来检索候选。具体地，在设置为包括“可坐”作为可供性并且包括“桌子在椅子前”作为关系的条件的情况下，检索满足该条件的物理对象101作为候选。注意，此处，期望检索满足所有条件的物理对象101作为候选。然而，即使在不满足某些条件的情况下，只要满足其他条件，也可以将物理对象101检索为候选。

此外，在虚拟对象102被放置在旧的目标物理对象上的情况下，目标物理对象确定单元37可以检索在平面大小或高度上与旧的目标物理对象基本类似的物理对象101作为候选。以这种方式，即使在书籍堆积的地方也可以将物理对象101检索为候选。

此外，目标物理对象确定单元37可以组合上述方法。例如，目标物理对象确定单元37检索与旧的目标物理对象的可供性匹配的物理对象101作为候选，并且在通过该方法没有找到候选的情况下，使用用于确定旧的目标物理对象的条件来检索候选。此外，在通过该方法没有找到候选的情况下，目标物理对象确定单元37可以检索在平面大小或高度上与旧的目标物理对象基本类似的物理对象101作为候选。

此外，目标物理对象确定单元37可以将通过上面描述的方法中的多种方法被检索为候选的物理对象101设置为最终候选。

接下来，在步骤S22中，目标物理对象确定单元37选择在候选检索处理中检索到的候选中的任何候选，并且在所选择的候选显然不能被设置为目标物理对象的情况下执行排除所选择的候选的过滤处理。

具体地，目标物理对象确定单元37计算作为候选的物理对象101与信息处理装置2之间的距离，并且在所计算的距离大于预定距离阈值的情况下排除该候选。此处，从候选中排除距离用户较长距离的物理对象101。

此外，在用户不能在视觉上将物理对象101识别为候选的情况下，目标物理对象确定单元37可以排除该候选。例如，在作为候选的物理对象101和信息处理装置2位于不同楼层(例如，第一层和第二层)的情况下，在作为候选的物理对象101与信息处理装置2之间存在物理对象101例如天花板、墙壁或地板的情况下，或者在作为候选的物理对象101和信息处理装置2在不同的房间中的情况下，确定用户不能在视觉上识别到物理对象101。这些确定可以用于针对作为候选的物理对象101和信息处理装置2而言楼层或房间是已知的情况。此处，存在于与用户的所在地不同的楼层或房间中的物理对象101被排除在候选之外。

此外，目标物理对象确定单元37可以排除不满足用于确定旧的目标物理对象的条件的候选。例如，在存在“大于50平方厘米的平面”作为大小条件的情况下，在不满足该条件的情况下排除该候选。此处，不满足条件的候选被排除在外。

此外，目标物理对象确定单元37可以排除设定为已经是另一虚拟对象102的行为的目标的目标虚拟对象的候选。

注意，目标物理对象确定单元37可以通过上面描述的多种方法中的一种或多种方法来排除候选。

随后，在步骤S23中，目标物理对象确定单元37确定候选是否已经在步骤S22中的过滤处理中被排除。在候选未被排除的情况下(步骤S23中的“否”)，处理进行至步骤S24。在候选被排除的情况下(步骤S23中的“是”)，处理进行至步骤S25。

在步骤S24中，目标物理对象确定单元37执行计算候选的优先级的优先级计算处理。

具体地，目标物理对象确定单元37计算(确定)优先级，使得与旧的目标物理对象或当前虚拟对象102的位置具有更近距离的候选具有更高的优先级。

此外，目标物理对象确定单元37可以计算优先级，使得与用于确定旧的目标物理对象的条件更匹配的候选具有更高的优先级。

此外，目标物理对象确定单元37基于用户体验的连续性来计算优先级。此处，在其中用户正在视觉识别虚拟对象102的用户体验的连续性的情况下，计算优先级使得用户可以视觉识别的范围中的候选具有更高的优先级。此外，在其中用户没有正在视觉识别虚拟对象102的用户体验的连续性的情况下，可以计算优先级使得用户可以视觉识别的范围之外的候选具有更高的优先级。

此外，在针对物理对象101计算基于学习的对象识别技术的识别结果的可靠性的情况下，目标物理对象确定单元37可以计算优先级使得具有较高可靠性的候选具有更高的优先级。

此外，目标物理对象确定单元37可以组合上述方法。例如，目标物理对象确定单元37可以在每种方法中设置加权因子，并且通过将通过每种方法计算的优先级乘以加权因子所获得的值相加来计算最终优先级。

此后，在步骤S25中，目标物理对象确定单元37确定是否已经针对所有候选执行了过滤处理和优先级计算处理。在尚未针对所有候选执行过滤处理和优先级计算处理的情况下(步骤S25中的“否”)，目标物理对象确定单元37选择另一候选，并且返回至步骤S22。另一方面，在已经针对所有候选执行了过滤处理和优先级计算处理的情况下(步骤S25中的“是”)，在步骤S26中，目标物理对象确定单元37执行确定处理。此处，作为针对每个候选所计算的具有最高优先级的候选的物理对象101被确定为新的目标物理对象。

图13是示出虚拟对象行为更新处理的流程的流程图。如图13所示，在虚拟对象行为更新处理开始时，在步骤S31中，虚拟对象行为更新单元38确定虚拟对象102是否是移动对象(moving object)。注意，虚拟对象102是否是移动对象是预先设置的。例如，在虚拟对象102是人、机器人、动物、交通工具等的情况下，虚拟对象102被设置为移动对象。

然后，在虚拟对象102是移动对象的情况下(步骤S31中的“是”)，在步骤S32中，虚拟对象行为更新单元38执行检索虚拟对象102的移动路径的移动路径计算处理。此处，虚拟对象行为更新单元38通过使用已知的方法例如A*算法来计算到新的目标物理对象的位置的移动路径。

例如，在虚拟对象102是人的情况下，即，在虚拟对象102在地面上移动的情况下，计算在地板101e上移动的移动路径。此外，在虚拟对象102是飞机的情况下，即，在虚拟对象102在空中移动的情况下，计算在空中移动的移动路径。

另一方面，在虚拟对象102不是移动对象的情况下(步骤S31中的“否”)，在步骤S33中，虚拟对象行为更新单元38确定虚拟对象102的移动模式和显示模式。

作为移动模式，例如，可以考虑在下一帧中移动到与新的目标物理对象对应的位置的方法(瞬时移动)，或者以均匀线性运动以预定速度移动虚拟对象102的当前位置和与新的目标物理对象对应的位置的方法。虚拟对象行为更新单元38可以从用于每个虚拟对象102的多个移动模式中确定一个移动模式，或者可以预先设置用于每个虚拟对象102的移动模式。

作为显示模式，考虑在移动时不显示虚拟对象102的方法、在移动开始和结束时淡出和淡入地显示虚拟对象的方法、或者在正在移动的虚拟对象102周围显示效果(例如，流星等)的方法。此外，作为显示模式，可以显示另一虚拟对象102以移动要移动的虚拟对象102。虚拟对象行为更新单元38可以从用于每个虚拟对象102的多个显示模式中确定一个显示模式，或者可以预先设置用于每个虚拟对象102的显示模式。

然后，在步骤S34中，显示控制单元31以所计算的移动路径或所确定的移动模式和显示模式移动显示虚拟对象102。

图14是示出在虚拟对象102是移动对象的情况下的显示的示例的图。在图14的示例中，旧的目标物理对象是椅子101b，新的目标物理对象是沙发101c，并且虚拟对象是人102a。

在这样的情况下，虚拟对象行为更新单元38计算从椅子101b所在的位置到沙发101c的移动路径。然后，如图14所示，显示控制单元31根据所计算的移动路径移动显示作为虚拟对象102的人102a从椅子101b所在的位置到沙发101c。此后，显示控制单元31基于针对人102a设置的行为来执行用于使人102a坐在沙发101c上的显示。

图15是示出在虚拟对象102不是移动对象的情况下的显示的示例的图。在图15的示例中，旧的目标物理对象是桌子101a，新的目标物理对象是架子101d，并且虚拟对象是苹果102b。此外，以均匀线性运动以预定速度移动的方法被确定为移动模式，并且在移动开始和结束时淡出和淡入地显示的方式的方法被确定为显示模式。

在这种情况下，如图中虚线所示，显示控制单元31在淡出和淡入的同时以预定速度通过均匀线性运动来执行从当前位置到架子101d的顶部的移动的显示。

图16是示出在虚拟对象102不是移动对象的情况下的显示的另一示例的图。在图16的示例中，旧的目标物理对象是桌子101a，新的目标物理对象是架子101d，并且虚拟对象是苹果102b。此外，以均匀线性运动以预定速度移动的方法被确定为移动模式，并且将虚拟对象移动到另一虚拟对象(此处是UFO 102c)的方法被确定为显示模式。

在这种情况下，如图16所示，显示控制单元31执行显示，使得UFO 102c将苹果102b从当前位置移动到架子101d上方。

<6.修改示例>

注意，实施方式不限于上面描述具体示例，并且可以被配置成各种修改示例。

例如，信息处理装置2的CPU 11用作显示控制单元31、自身位置确定单元32、虚拟对象生成单元33、矩形分配图像生成单元34、矩形分配预测图像生成单元35、移动确定单元36、目标物理对象确定单元37和虚拟对象行为更新单元38，但是这些功能单元中的一些或全部可以由服务器3的CPU 51发挥功能。

此外，尽管服务器3的CPU 51用作物理对象识别单元61，但是物理对象标识单元61可以由信息处理装置2的CPU 11发挥功能。

<7.总结>

根据上述实施方式，可以获得以下效果。

根据实施方式的信息处理装置2包括：移动确定单元36，其确定布置在真实空间中的物理对象101的移动；目标物理对象确定单元37，其在作为虚拟对象102的行为的目标的目标物理对象移动的情况下从其他物理对象101中确定新的目标物理对象；虚拟对象行为更新单元38，其在确定了新的目标物理对象的情况下确定虚拟对象102相对于新的目标物理对象的行为；以及显示控制单元31，其在真实空间100中以所确定的行为来显示虚拟对象。

因此，在作为虚拟对象102的行为的目标的目标物理对象移动的情况下，信息处理装置2可以确定新的目标物理对象，立即确定新的目标物理对象，并且移动虚拟对象以执行相对于该目标物理对象的行为。

因此，信息处理装置2可以尽可能地减少具有不舒服感觉的虚拟对象102的显示，并且可以在虚拟对象102叠加在物理对象101上并且被显示的情况下减少虚拟对象102的不稳定的行为。

此外，可以设想，目标物理对象确定单元37从多个物理对象中检索要作为目标物理对象的候选，并且从所检索的候选中确定新的目标物理对象。

因此，信息处理装置2可以确定作为虚拟对象102的行为的目标的最佳的新的目标物理对象。

此外，可以设想，目标物理对象确定单元37执行将不能被设置为新的目标物理对象的候选排除的过滤处理。

因此，信息处理装置2可以预先防止在明显不能作为目标物理对象的候选被确定为目标物理对象的情况下虚拟对象102的行为不稳定。此外，信息处理装置2可以通过将明显不可以作为目标物理对象的候选排除来减少随后阶段的处理负荷。

此外，可以设想，目标物理对象确定单元37计算候选的优先级，并且基于所计算的优先级来确定新的目标物理对象。

因此，信息处理装置2可以通过计算满足设置的条件的优先级来确定作为虚拟对象102的行为的目标的最佳的新的目标物理对象。

此外，可以设想，针对物理对象101设置可供性，并且目标物理对象确定单元37将与针对已经移动的目标物理对象设置的可供性匹配的物理对象101设置为候选。

因此，通过选择与旧的目标物理对象的可供性匹配的物理对象101作为新的目标物理对象的候选，在候选被确定为新的目标物理对象的情况下，不必改变虚拟对象102的行为。因此，可以进一步减少虚拟对象102的不稳定行为。

此外，可以设想，目标物理对象确定单元37将满足用于确定已经移动的目标物理对象的条件的物理对象设置为候选。

因此，通过选择满足用于确定旧的目标物理对象的条件的物理对象101作为新的目标物理对象的候选，可以使得在候选被确定为新的目标物理对象的情况下虚拟对象102的行为类似于旧的目标物理对象情况下的行为。因此，可以进一步减少虚拟对象102的不稳定行为。

此外，可以设想，目标物理对象确定单元37将在大小和高度上基本上与已经移动的目标物理对象类似的物理对象设置为候选。

因此，例如，可以避免其中比目标物理对象大的虚拟对象102被放置在目标物理对象上并且变得不自然的情况。因此，可以进一步减少虚拟对象102的不稳定行为。

此外，可以设想，目标物理对象确定单元37将到信息处理装置的距离大于预定距离阈值的候选排除。

因此，可以防止远离用户的物理对象101被确定为目标物理对象。因此，可以防止针对远处的物理对象101确定虚拟对象102的行为，并且可以进一步减少虚拟对象102的不稳定行为。

此外，可以设想，目标物理对象确定单元37将用户不能视觉识别的候选排除。

因此，可以防止针对存在于与用户的所在地不同的楼层或房间中的物理对象101来确定虚拟对象102的行为，并且可以进一步减少虚拟对象102的不稳定行为。

此外，可以设想，目标物理对象确定单元37将不满足用于确定已经移动的目标物理对象的条件的候选排除。

因此，由于不满足用于确定旧的目标物理对象的条件的物理对象101被排除在新的目标物理对象的候选之外，所以在候选被确定为新的目标物理对象的情况下，可以使得虚拟对象102的行为类似于旧的目标物理对象情况下的行为。因此，可以进一步减少虚拟对象102的不稳定行为。

此外，可以设想，目标物理对象确定单元37将针对其设置了另一虚拟对象102的行为的候选排除。

因此，由于针对其有两个不同的虚拟对象102是行为的目标的物理对象101没有被确定为目标物理对象，所以可以防止虚拟对象102被不自然地叠加和显示。因此，可以进一步减少虚拟对象102的不稳定行为。

此外，可以设想，虚拟对象102的位置与候选的位置之间的距离越短，目标物理对象确定单元37将优先级设置得越高。

因此，由于最接近虚拟对象102的物理对象101被确定为目标物理对象，所以虚拟对象102的移动可以较小，并且可以进一步减少虚拟对象102的不稳定行为。

此外，可以设想，目标物理对象与用于确定已经移动的目标物理对象的条件越匹配，目标物理对象确定单元37将优先级设置得越高。

因此，可以稳定虚拟对象102相对于被确定为目标物理对象的物理对象101的行为，并且可以进一步减少虚拟对象102的不稳定行为。

此外，可以设想，目标物理对象确定单元37基于用户体验的连续性来设置优先级。

因此，可以根据用户是否正在视觉上识别到目标物理对象来确定目标物理对象，并且可以减少给用户的不舒服感。

此外，可以设想，虚拟对象行为更新单元38根据虚拟对象102是否是移动对象来通过不同的方法确定虚拟对象102的行为。

因此，可以根据虚拟对象102是否是移动对象来执行最佳移动显示。因此，可以进一步减少虚拟对象102的不稳定行为。

此外，可以设想，在虚拟对象102是移动对象的情况下，虚拟对象行为更新单元38计算从当前位置到与新的目标物理对象对应的位置的移动路径，并且显示控制单元31根据计算的移动路径移动显示虚拟对象。

因此，在虚拟对象102是移动对象的情况下，根据移动路径来移动该移动对象，并且因此可以减少虚拟对象102的移动中的不舒服感。

此外，可以设想，在虚拟对象102不是移动对象的情况下，虚拟对象行为更新单元38确定从当前位置到与新的目标物理对象对应的位置的移动模式和显示模式，并且显示控制单元31根据所确定的移动模式和显示模式来显示虚拟对象。

因此，即使在虚拟对象102不是移动对象的情况下，也可以通过选择最佳的移动模式和显示模式来减少由虚拟对象102的移动和显示引起的不舒服感。

此外，可以设想，在虚拟对象不是移动对象的情况下，虚拟对象行为更新单元38确定用于通过另外的虚拟对象来移动虚拟对象的移动模式。

因此，由于虚拟对象102被显示为由另一虚拟对象102携带，所以可以减少由虚拟对象102的移动和显示引起的不舒服感。

此外，信息处理方法包括使信息处理装置执行以下处理：确定布置在真实空间中的物理对象的移动；在作为虚拟对象的行为的目标的目标物理对象移动的情况下，从其他物理对象中确定新的目标物理对象；在确定了新的目标物理对象的情况下，确定虚拟对象相对于新的目标物理对象的行为；并且以所确定的行为在真实空间中显示虚拟对象。

此外，一种程序使计算机执行以下处理：确定布置在真实空间中的物理对象的移动；在作为虚拟对象的行为的目标的目标物理对象移动的情况下，从其他物理对象中确定新的目标物理对象；在确定了新的目标物理对象的情况下，确定虚拟对象相对于新的目标物理对象的行为；并且以所确定的行为在真实空间中显示虚拟对象。

这样的程序可以预先记录在作为内置于诸如计算机装置的装置中的存储介质的HDD中、具有CPU的微型计算机中的ROM等中。

可替选地，程序可以临时或永久地存储(记录)在可移动存储介质中，可移动存储介质例如软盘、致密盘只读存储器(CD-ROM)、磁光(MO)盘、数字多功能盘(DVD)、蓝光光盘(注册商标)、磁盘、半导体存储器或存储卡。这样的可移动存储介质可以作为所谓的封装软件被提供。

此外，这样的程序可以从可移动存储介质安装到个人计算机等中，或者可以经由诸如局域网(LAN)或因特网的网络从下载站点下载。

此外，这样的程序适合于在宽范围内提供根据实施方式的信息处理装置。例如，将程序下载到移动终端装置，例如智能电话或平板电脑、移动电话、个人计算机、视频游戏控制台、视频装置、个人数字助理(PDA)等，使得这样的装置能够用作本公开内容的信息处理装置。

注意，在本说明书中描述的效果仅是示例而非限制，并且可以提供其他效果。

<8.本技术>

注意，本技术还可以具有以下配置。

(1)

一种信息处理装置，包括：

移动确定单元，其被配置成确定布置在真实空间中的物理对象的移动；

目标物理对象确定单元，其被配置成在作为虚拟对象的行为的目标的目标物理对象移动的情况下从其他物理对象中确定新的目标物理对象；

虚拟对象行为更新单元，其被配置成在确定了新的目标物理对象的情况下确定虚拟对象相对于新的目标物理对象的行为；以及

显示控制单元，其被配置成以所确定的行为在真实空间中显示虚拟对象。

(2)

根据(1)所述的信息处理装置，其中，

目标物理对象确定单元从多个物理对象中检索要作为目标物理对象的候选，并且从所检索的候选中确定新的目标物理对象。

(3)

根据(2)所述的信息处理装置，其中，

目标物理对象确定单元执行将不能被设置为新的目标物理对象的候选排除的过滤处理。

(4)

根据(2)或(3)所述的信息处理装置，其中，

目标物理对象确定单元计算候选的优先级，并且基于所计算的优先级来确定新的目标物理对象。

(5)

根据(2)至(4)中任一项所述的信息处理装置，其中，

针对物理对象设置可供性，并且

目标物理对象确定单元将与针对已经移动的目标物理对象设置的可供性信息匹配的物理对象设置为候选。

(6)

根据(2)至(5)中任一项所述的信息处理装置，其中，

目标物理对象确定单元将满足用于确定已经移动的目标物理对象的条件的物理对象设置为候选。

(7)

根据(2)至(6)中任一项所述的信息处理装置，其中，

所述目标物理对象确定单元将在大小和高度上基本上与已经移动的目标物理对象类似的物理对象设置为候选。

(8)

根据(3)至(7)中任一项所述的信息处理装置，其中，

目标物理对象确定单元将到信息处理装置的距离大于预定距离阈值的候选排除。

(9)

根据(3)至(8)中任一项所述的信息处理装置，其中，

目标物理对象确定单元将不能被用户在视觉上识别的候选排除。

(10)

根据(3)至(9)中任一项所述的信息处理装置，其中，

目标物理对象确定单元将不满足用于确定已经移动的目标物理对象的条件的候选排除。

(11)

根据(3)至(10)中任一项所述的信息处理装置，其中，

目标物理对象确定单元将针对其设置了另外的虚拟对象的行为的候选排除。

(12)

根据(4)至(11)中任一项所述的信息处理装置，其中，

虚拟对象的位置与候选的位置之间的距离越短，目标物理对象确定单元将优先级设置得越高。

(13)

根据(4)至(12)中任一项所述的信息处理装置，其中，

目标物理对象与用于确定已经移动的目标物理对象的条件越匹配，目标物理对象确定单元在将优先级设置得越高。

(14)

根据(4)至(13)中任一项所述的信息处理装置，其中，

目标物理对象确定单元基于用户体验的连续性来设置优先级。

(15)

根据(1)至(14)中任一项所述的信息处理装置，其中，

虚拟对象行为更新单元根据虚拟对象是否是移动对象来通过不同的方法确定虚拟对象的行为。

(16)

根据(15)所述的信息处理装置，其中，

在虚拟对象是移动对象的情况下，虚拟对象行为更新单元计算从当前位置到与新的目标物理对象对应的位置的移动路径，并且

显示控制单元根据所计算的移动路径来移动显示虚拟对象。

(17)

根据(15)或(16)所述的信息处理装置，其中，

在虚拟对象不是移动对象的情况下，虚拟对象行为更新单元确定从当前位置到与新的目标物理对象对应的位置的移动模式和显示模式，并且

显示控制单元根据所确定的移动模式和显示模式来显示虚拟对象。

(18)

根据(17)所述的信息处理装置，其中，

在虚拟对象不是移动对象的情况下，虚拟对象行为更新单元确定用于通过另外的虚拟对象来移动虚拟对象的移动模式。

(19)

一种信息处理方法，包括使信息处理装置执行以下处理：

确定布置在真实空间中的物理对象的移动；

在作为虚拟对象的行为的目标的目标物理对象移动的情况下，从其他物理对象中确定新的目标物理对象；

在确定了新的目标物理对象的情况下，确定虚拟对象相对于新的目标物理对象的行为；以及

以所确定的行为在真实空间中显示虚拟对象。

(20)

一种程序，使计算机执行以下处理：

确定布置在真实空间中的物理对象的移动；

在作为虚拟对象的行为的目标的目标物理对象移动的情况下，从其他物理对象中确定新的目标物理对象；

在确定了新的目标物理对象的情况下，确定虚拟对象相对于新的目标物理对象的行为；以及

以所确定的行为在真实空间中显示虚拟对象。

附图标记列表

1信息处理系统

2信息处理装置

3服务器

11CPU

17显示单元

31显示控制单元

36移动确定单元

37目标物理对象确定单元

38虚拟对象行为更新单元

Claims (20)

1.一种信息处理装置，包括：

移动确定单元，其被配置成确定布置在真实空间中的物理对象的移动；

目标物理对象确定单元，其被配置成在作为虚拟对象的行为的目标的目标物理对象移动的情况下从其他物理对象中确定新的目标物理对象；

虚拟对象行为更新单元，其被配置成在确定了所述新的目标物理对象的情况下确定所述虚拟对象相对于所述新的目标物理对象的行为；以及

显示控制单元，其被配置成以所确定的行为在所述真实空间中显示所述虚拟对象。

2.根据权利要求1所述的信息处理装置，其中，

所述目标物理对象确定单元从多个所述物理对象中检索要作为所述目标物理对象的候选，并且从所检索的候选中确定所述新的目标物理对象。

3.根据权利要求2所述的信息处理装置，其中，

所述目标物理对象确定单元执行将不能被设置为所述新的目标物理对象的候选排除的过滤处理。

4.根据权利要求2所述的信息处理装置，其中，

所述目标物理对象确定单元计算所述候选的优先级，并且基于所计算的优先级来确定所述新的目标物理对象。

5.根据权利要求2所述的信息处理装置，其中，

针对所述物理对象设置可供性，并且

所述目标物理对象确定单元将与针对已经移动的所述目标物理对象设置的可供性信息匹配的物理对象设置为所述候选。

6.根据权利要求2所述的信息处理装置，其中，

所述目标物理对象确定单元将满足用于确定已经移动的所述目标物理对象的条件的物理对象设置为所述候选。

7.根据权利要求2所述的信息处理装置，其中，

所述目标物理对象确定单元将在大小或高度上基本上与已经移动的所述目标物理对象类似的物理对象设置为所述候选。

8.根据权利要求3所述的信息处理装置，其中，

所述目标物理对象确定单元将到所述信息处理装置的距离大于预定距离阈值的候选排除。

9.根据权利要求3所述的信息处理装置，其中，

所述目标物理对象确定单元将不能被用户在视觉上识别的候选排除。

10.根据权利要求3所述的信息处理装置，其中，

所述目标物理对象确定单元将不满足用于确定已经移动的所述目标物理对象的条件的候选排除。

11.根据权利要求3所述的信息处理装置，其中，

所述目标物理对象确定单元将针对其设置了另外的虚拟对象的行为的候选排除。

12.根据权利要求4所述的信息处理装置，其中，

所述虚拟对象的位置与所述候选的位置之间的距离越短，所述目标物理对象确定单元将所述优先级设置得越高。

13.根据权利要求4所述的信息处理装置，其中，

目标物理对象与用于确定已经移动的所述目标物理对象的条件越匹配，所述目标物理对象确定单元将所述优先级设置得越高。

14.根据权利要求4所述的信息处理装置，其中，

所述目标物理对象确定单元基于用户体验的连续性来设置所述优先级。

15.根据权利要求1所述的信息处理装置，其中，

所述虚拟对象行为更新单元根据所述虚拟对象是否是移动对象来通过不同的方法确定所述虚拟对象的行为。

16.根据权利要求15所述的信息处理装置，其中，

在所述虚拟对象是移动对象的情况下，所述虚拟对象行为更新单元计算从当前位置到与所述新的目标物理对象对应的位置的移动路径，并且

所述显示控制单元根据所计算的移动路径来移动显示所述虚拟对象。

17.根据权利要求15所述的信息处理装置，其中，

在所述虚拟对象不是移动对象的情况下，所述虚拟对象行为更新单元确定从当前位置到与所述新的目标物理对象对应的位置的移动模式和显示模式，并且

所述显示控制单元根据所确定的移动模式和显示模式来显示所述虚拟对象。

18.根据权利要求17所述的信息处理装置，其中，

在所述虚拟对象不是移动对象的情况下，所述虚拟对象行为更新单元确定用于通过另外的虚拟对象来移动所述虚拟对象的移动模式。

19.一种信息处理方法，包括使信息处理装置执行以下处理：

确定布置在真实空间中的物理对象的移动；

在作为虚拟对象的行为的目标的目标物理对象移动的情况下，从其他物理对象中确定新的目标物理对象；

在确定了所述新的目标物理对象的情况下，确定所述虚拟对象相对于所述新的目标物理对象的行为；以及

以所确定的行为在所述真实空间中显示所述虚拟对象。

20.一种程序，使计算机执行以下处理：

确定布置在真实空间中的物理对象的移动；

在作为虚拟对象的行为的目标的目标物理对象移动的情况下，从其他物理对象中确定新的目标物理对象；

在确定了所述新的目标物理对象的情况下，确定所述虚拟对象相对于所述新的目标物理对象的行为；以及

以所确定的行为在所述真实空间中显示所述虚拟对象。