CN117836814A

CN117836814A - 信息处理设备、信息处理方法和程序

Info

Publication number: CN117836814A
Application number: CN202280057138.8A
Authority: CN
Inventors: 川岛学; 山中太记; 濑能高志
Original assignee: Sony Group Corp
Current assignee: Sony Group Corp
Priority date: 2021-08-31
Filing date: 2022-03-22
Publication date: 2024-04-05
Also published as: WO2023032316A1; JPWO2023032316A1

Abstract

一种设置有控制单元(130)的信息处理设备(100)。控制单元(130)获取与对象占据真实空间的概率相关的第一三维信息以及与估计对象的表面形状的结果相关的第二三维信息。控制单元(130)基于第一三维信息和与真实空间中的地板表面相关的地板表面信息对对象进行分类。控制单元(130)基于第二三维信息突出显示被分类的对象的表面。

Description

信息处理设备、信息处理方法和程序

技术领域

本公开内容涉及信息处理设备、信息处理方法和程序。

背景技术

近年来，已经出现了根据用户的移动执行处理的许多设备。例如，存在通过使显示在画面上的角色与用户的移动同步来移动角色的游戏。当用户总是如在该游戏中那样执行操作时，用户会太沉浸在操作中而注意不到周围的环境。因此，可能出现用户与周围对象碰撞的问题。特别地，在佩戴头戴式显示器(HMD)来玩并享受虚拟现实(VR)内容的情况下，用户可能完全看不到周围环境。因此，与真实对象碰撞的风险高。

在已知的用于检测周围对象的技术中，例如，从由立体摄像装置获取的捕获图像中提取特征点，并且基于所提取的特征点的空间位置来识别对象。

引用列表

专利文献

专利文献1：JP 2008-33819 A

发明内容

技术问题

如上所述，由于享受VR内容的用户可能完全看不到周围环境，因此与真实对象碰撞的风险高。因此，期望用于向用户通知障碍对象的系统。该系统在用户移动时通过使对象移动或避开对象来使得用户能够安全地享受VR内容。

因此，本公开内容提供了使得用户能够更安全地享受内容的系统。

注意，上面的问题或目的仅是可以通过本说明书中公开的多个实施方式解决或实现的多个问题或目的中的一个。

问题的解决方案

根据本公开内容，提供了一种信息处理设备。该信息处理设备包括控制单元。控制单元获取与对象在真实空间中的占用概率相关的第一三维信息以及与对象的表面形状的估计结果相关的第二三维信息。控制单元基于第一三维信息和与真实空间中的地板表面相关的地板表面信息对对象进行分类。控制单元基于第二三维信息突出显示被分类的对象表面。

附图说明

图1是示出根据本公开内容的信息处理系统的概要的图。

图2是示出根据本公开内容的实施方式的障碍物显示处理的概要的图。

图3是示出根据本公开内容的实施方式的第二三维信息的示例的图。

图4是示出根据本公开内容的实施方式的显示抑制处理的概要的图。

图5是示出根据本公开内容的第一实施方式的终端装置的配置示例的框图。

图6是示出根据本公开内容的第一实施方式的信息处理设备的配置示例的框图。

图7是示出根据本公开内容的实施方式的体素的示例的图。

图8是示出根据本公开内容的实施方式的显示控制单元的配置示例的框图。

图9是示出根据本公开内容的实施方式的障碍物检测单元的配置示例的框图。

图10是示出根据本公开内容的实施方式的由聚类处理单元检测到的障碍物的示例的图。

图11是示出根据本公开内容的实施方式的具有显示标签的网格信息的图。

图12是示出根据本公开内容的实施方式的伪障碍物确定单元的配置示例的图。

图13是示出根据本公开内容的实施方式的目标体素与距离测量装置的测距范围之间的关系的图。

图14是示出根据本公开内容的实施方式的目标体素与距离测量装置的测距范围之间的关系的图。

图15是示出根据本公开内容的实施方式的目标体素的状态转变的示例的图。

图16是示出根据本公开内容的实施方式的图像生成处理的流程的示例的流程图。

图17是示出根据本公开内容的实施方式的障碍物划分处理的流程的示例的流程图。

图18是示出根据本公开内容的实施方式的伪障碍物确定处理的流程的示例的流程图。

图19是示出根据本公开内容的实施方式的显示图像生成处理的流程的示例的流程图。

图20是示出根据本公开内容的实施方式的修改例的真实空间的示例的图。

图21是示出根据本公开内容的实施方式的实现信息处理设备的功能的计算机的示例的硬件配置图。

具体实施方式

在下文中，将参照附图详细描述本公开内容的实施方式。注意，在本说明书和附图中，具有基本相同上功能配置的部件由相同的附图标记表示，以省略冗余的描述。

此外，在本说明书和附图中，可能指示和描述具体的值，但是这些值仅是示例，并且可以应用其他值。另外，在本说明书中，可以在描述中使用以下参考文献。

(参考文献)

[1]Angela Dai等人，“ScanComplete:Large-Scale Scene Completion andSemantic Segmentation for 3D Scans”，CVPR 2018

[2]Margarita Grinvald等人，“Volumetric Instance-Aware Semantic Mappingand 3D Object Discovery”，IROS 2019

[3]Xianzhi Li等人，“DNF-Net:a Deep Normal Filtering Network for MeshDenoising”，IEEE Transactions on Visualization and Computer Graphics(TVCG)2020

[4]S.Fleishman等人，“Bilateral mesh denoising”，SIGGRAPH 2003

[5]Raul Mur-Artal等人，“ORB-SLAM:A Versatile and Accurate MonocularSLAM System”，IEEE Transactions on Robotics，第31卷，第5期，第1147至1163页，2015年10月

[6]B.Curless和M.Levoy，“A volumetric method for building complexmodels from range images”，In Proceedings of the 23rd annual conference onComputer graphics and interactive techniques，SIGGRAPH'96，第303页至312页，纽约，NY，USA，1996.ACM

[7]William E.Lorensen,Harvey E.Cline:Marching Cubes:A high resolution3D surface construction algorithm.In:Computer Graphics，第21卷，第4期，1987年7月

[8]Armin Hornung等人，“OctoMap:An efficient probabilistic 3D mappingframework based on octrees.”Autonomous robots34.3(2013)：189-206.

[9]Ruwen Schnabel等人，“Efficient RANSAC for point-cloud shapedetection.”Computer graphics forum.第26卷，第2期，牛津，UK:Blackwell PublishingLtd，2007

[10]Kesheng Wu等人，“Two Strategies to Speed up Connected ComponentLabeling Algorithms”，2005年发表，Mathematics，Computer Science，LawrenceBerkeley National Laboratory

在以下描述中，一个或更多个实施方式(包括示例和修改例)可以独立实现。另一方面，以下描述的多个实施方式中的至少一些可以与其他实施方式中的至少一些适当地组合。多个实施方式可以包括彼此不同的新颖特征。因此，多个实施方式可以有助于解决不同的目的或问题，并且可以呈现不同的效果。

<<1.引言>>

<1.1.信息处理系统1的概要＞

图1是示出根据本公开内容的信息处理系统1的概要的图。如图1所示，信息处理系统1包括信息处理设备100和终端装置200。

信息处理设备100和终端装置200可以经由各种有线或无线网络彼此通信。注意，无论有线或无线(例如，WiFi(注册商标)和蓝牙(注册商标))，可以应用任何系统作为在网络中使用的通信系统。

此外，包括在信息处理系统1中的信息处理设备100的数目和终端装置200的数目不限于图1中所示的数目，并且可以更多。此外，图1示出了信息处理系统1分别地包括信息处理设备100和终端装置200的情况，但是本公开内容不限于此。例如，信息处理设备100和终端装置200可以实现为一个设备。例如，信息处理设备100和终端装置200二者的功能可以由一个设备(例如，独立的HMD)来实现。

终端装置200例如是可穿戴装置(眼镜装置)，例如由用户U佩戴在头上的眼镜HMD。

注意，可应用为终端装置200的眼镜设备可以是透射真实空间中的图像的所谓的透视型头戴式显示器(增强现实(AR)眼镜)，或者可以是不透射真实空间中的图像的眼罩型(goggle type)(虚拟现实(VR)眼罩)。

此外，在本公开内容中，终端装置200不限于HMD，并且可以例如是由用户U持有的平板电脑、智能电话等。

信息处理设备100整体控制终端装置200的操作。信息处理设备100例如由诸如中央处理器(CPU)或图形处理单元(GPU)的处理电路来实现。注意，将在后面描述根据本公开内容的信息处理设备100的详细配置。

<1.2.概要>

<1.2.1.障碍物显示处理的概要>

如上所述，当用户U穿戴HMD等并移动时，用户U可能与真实对象碰撞。

因此，为了确保用户U的人身安全，信息处理设备100控制HMD，使得用户U在不与真实对象接触的安全游戏区域(可允许区域)内移动。可以由用户U在例如开始游戏之前设置该游戏区域。替选地，例如，可以由信息处理设备100基于设置在终端装置200中的传感器等的感测结果来指定游戏区域。

例如，在图1中，将区域PA指定为游戏区域，在该游戏区域中，用户U可以移动或伸展他/她的手而不碰撞障碍物。游戏区域可以表示为三维区域，例如在地面上示出的虚线PA1和从虚线PA1竖直地延伸的墙壁PA2的组合。替选地，游戏区域可以表示为虚线PA1的二维区域。以这种方式，可以将游戏区域设置为二维区域或三维区域。

此处，如图1所示，将成为障碍物的对象Ob1和Ob2(在下文中也简称为障碍物Ob1和Ob2)可以包括在被指定为游戏区域的区域PA中(在下文中也简称为游戏区域PA)。

当用户U设置游戏区域PA时，尽管存在障碍物Ob1和Ob2，但是可以通过例如将游戏区域PA设置为与在先前游戏中玩的相同游戏区域来设置包括障碍物Ob1和Ob2的游戏区域PA。

替选地，即使当设置或指定了不包括障碍物Ob1和Ob2的游戏区域PA时，也存在当用户U玩游戏时障碍物Ob1和Ob2被放置在游戏区域PA中的可能性。

如上所述，当障碍物Ob1和Ob2存在于游戏区域PA中时，期望用于向用户U通知障碍物Ob1和Ob2的存在的系统。该系统使得用户U能够将障碍物Ob1和Ob2移到游戏区域PA外或者在用户U移动时避开障碍物Ob1和Ob2。因此，可以更可靠地确保用户U的安全。

常规地，例如，已知参考文献[1]和[2]中公开的方法作为以这种方式检测障碍物Ob的方法。例如，参考文献[1]公开了使用经学习的卷积神经网络(CNN)来分割三维信息的每个体素的方法。参考文献[2]公开了对二维图像进行分割并将二维图像映射到三维信息的方法。然而，在这些方法中，需要庞大的识别器，并且处理时间也变长。因此，期望在短时间内利用少的资源分割障碍物Ob的方法。

因此，根据本公开内容的信息处理系统1执行障碍物显示处理，以检测游戏区域PA中的障碍物。图2是示出根据本公开内容的实施方式的障碍物显示处理的概要的图。例如，信息处理设备100执行图2中所示的障碍物显示处理。

如图2所示，信息处理设备100获取第一三维信息(步骤S11)。第一三维信息例如是关于对象在用户U所在的真实空间中的占用概率的信息。第一三维信息的示例是占用栅格地图。

信息处理设备100获取地板表面信息(步骤S12)。地板表面信息例如是关于真实空间中的地板表面的信息。

信息处理设备100基于第一三维信息和地板表面信息对障碍物进行分类(步骤S13)。信息处理设备100从第一三维信息中排除与地板表面对应的信息，并且根据剩余信息对障碍物进行分类。当第一三维信息为占用栅格地图(在下文中也称为占用地图)时，信息处理设备100通过排除与地板表面对应的体素并对处于被占用状态的体素中的彼此接触的体素进行聚类来对障碍物进行分类。将在后面描述障碍物分类的细节。

信息处理设备100获取第二三维信息(步骤S14)。第二三维信息是关于用户U所在的真实空间中的对象的表面形状的信息。第二三维信息包括例如通过多个顶点和连接多个顶点的边来限定表面的网格数据。

信息处理设备100突出显示被分类的障碍物的表面(步骤S15)。例如，信息处理设备100通过改变第二三维信息中的与障碍物对应的网格数据的显示颜色来突出显示障碍物的表面。

例如，信息处理设备100通过在图1所示的游戏区域PA中执行障碍物显示处理来对游戏区域PA中的障碍物Ob1和Ob2进行分类。信息处理设备100突出显示分类的障碍物Ob1和Ob2。

因此，信息处理设备100可以向用户U通知障碍物Ob1和Ob2的存在。因此，用户U可以移除障碍物Ob1、Ob2或者在用户U移动时避开障碍物Ob1、Ob2，以更安全地享受内容(例如游戏)。

在图1中，障碍物Ob的数目为二，但是不限于此。障碍物Ob的数目可以为一个或三个或更多个。

<1.2.2.显示抑制处理的概要>

在突出显示障碍物时，可能存在以下情况：由于噪声等的影响，虽然空间中不存在障碍物，但是生成了对象的显示图像。如上所述错误地检测到的障碍物在以下描述中也被称为伪障碍物。

例如，假设基于包括上述网格数据的第二三维信息来生成显示图像。通过以这种方式使用网格数据，信息处理设备100可以生成与使用占用地图的情况相比更平滑的图像。另一方面，包括网格数据的第二三维信息与占用地图的不同之处在于，包括网格数据的第二三维信息不存在未知(未观察到的状态)，并且保存先前数据直到获取下一距离信息。

图3是示出根据本公开内容的实施方式的第二三维信息的示例的图。如图3中的圆圈部分所示，一旦生成噪声，该噪声可能作为第二三维信息长时间保存。噪声可能作为伪障碍物被继续呈现给用户U。注意，在这种情况下，伪障碍物是否被突出显示并不重要。

作为用于防止将伪障碍物呈现给用户U的技术，例如，已知参考文献[3]和[4]中公开的技术。参考文献[3]公开了使用学习的深度神经网络(DNN)的网格去噪方法。另外，参考文献[4]公开了使用诸如双向滤波器的模型基础的网格去噪方法。然而，这些方法基于与外围网格的关系来抑制不平整度。因此，需要抑制由于错误的深度观察而从周围孤立地观察到的伪障碍物的显示。

因此，根据本公开内容的信息处理系统1执行显示抑制处理，以抑制伪障碍物的显示。图4是示出根据本公开内容的实施方式的显示抑制处理的概要的图。例如，由信息处理设备100执行图4中所示的显示抑制处理。

如图4所示，信息处理设备100获取第一三维信息(步骤S21)。第一三维信息与在图2所示的障碍物显示处理中获取的第一三维信息相同。

信息处理设备100获取地板表面信息(步骤S22)。地板表面信息与在图2所示的障碍物显示处理中获取的地板表面信息相同。

信息处理设备100基于第一三维信息和地板表面信息来检测障碍物(步骤S23)。信息处理设备100可以以与在图2所示的障碍物显示处理中对障碍物进行分类的方法相同的方式来检测障碍物，或者可以将作为第一三维信息的占用地图被占用(被占用状态)的体素检测为障碍物。信息处理设备100可以通过后面描述的伪障碍物的确定所使用的预定条件所对应的方法来检测障碍物。

信息处理设备100从检测到的障碍物确定伪障碍物(步骤S24)。信息处理设备100通过根据预定条件针对所检测到的障碍物确定离群率(outlier rate)来确定伪障碍物。例如，信息处理设备100根据检测到的障碍物的尺寸(体素的数目)来确定离群率。信息处理设备100根据检测到的障碍物的周围的体素中的未知体素(未观察到的状态)的比率来确定离群率。信息处理设备100根据第二三维信息(体素)的状态的时间变化来确定离群率。信息处理设备100根据障碍物距离地板表面的高度来确定障碍物的离群率。注意，将在后面描述由信息处理设备100确定离群率的方法的细节。

信息处理设备100获取第二三维信息(步骤S25)。第二三维信息与在图2所示的障碍物显示处理中获取的第二三维信息相同。

信息处理设备100抑制伪障碍物的显示(步骤S26)。例如，信息处理设备100通过以与离群率对应的透射率显示障碍物来抑制伪障碍物的显示。

因此，信息处理设备100可以在不显示伪障碍物的情况下以更高的精度向用户U通知障碍物Ob。因此，用户U可以更安全地享受内容(例如游戏)。

注意，信息处理设备100可以执行障碍物显示处理和显示抑制处理二者，或者可以执行障碍物显示处理和显示抑制处理中的至少一个。当执行障碍物显示处理和显示抑制处理二者时，信息处理设备100可以省略障碍物显示处理和显示抑制处理二者中交叠的处理。

<<2.信息处理系统>>

<2.1.终端装置的配置示例>

图5是示出根据本公开内容的第一实施方式的终端装置200的配置示例的框图。如图5所示，终端装置200包括通信单元210、传感器单元220、显示单元230、输入单元240和控制单元250。

[通信单元210]

通信单元210向另一装置发送信息以及从另一装置接收信息。例如，通信单元210根据控制单元250的控制，向信息处理设备100发送视频再现请求和传感器单元220的感测结果。此外，通信单元210从信息处理设备100接收要再现的视频。

[传感器单元220]

传感器单元220可以包括例如摄像装置(图像传感器)、深度传感器、麦克风、加速度传感器、陀螺仪、地磁传感器和全球定位系统(GPS)接收器。此外，传感器单元220可以包括速度传感器、加速度传感器、角速度传感器(陀螺仪传感器)以及集成了速度传感器、加速度传感器和角速度传感器的惯性测量单元(IMU)。

例如，传感器单元220感测终端装置200在真实空间中的位置(或者使用终端装置200的用户U的位置)、终端装置200的取向和姿态以及加速度。此外，传感器单元220感测终端装置200周围的深度信息。注意，当传感器单元220包括感测深度信息的距离测量装置时，该距离测量装置可以是立体摄像装置，或者是飞行时间(ToF)距离图像传感器。

[显示单元230]

显示单元230根据控制单元250的控制显示图像。例如，显示单元230可以包括右眼显示单元和左眼显示单元(未示出)。在这种情况下，右眼显示单元使用在终端装置200中所包括的右眼透镜(未示出)的至少部分区域作为投影面来投影图像。左眼显示单元使用在终端装置200中所包括的左眼透镜(未示出)的至少部分区域作为投影面来投影图像。

替选地，当终端装置200具有眼罩型透镜时，显示单元230可以使用眼罩型透镜的至少部分区域作为投影面来投影视频。注意，左眼透镜和右眼透镜(或眼罩型透镜)可以例如由诸如树脂或玻璃的透明材料形成。

替选地，显示单元230可以被配置为非透射式显示装置。例如，显示单元230可以包括液晶显示器(LCD)或有机发光二极管(OLED)。注意，在这种情况下，可以将由传感器单元220(摄像装置)捕获到的用户U的前方的图像依次显示在显示单元230上。因此，用户U可以通过显示在显示单元230上的视频可视地识别用户U的前方的景物。

[输入单元240]

输入单元240可以包括触摸面板、按钮、控制杆、开关等。输入单元240接收用户U的各种输入。例如，在将AI角色布置在虚拟空间中时，输入单元240可以接收用于改变AI角色的位置布置的用户U的输入。

[控制单元250]

控制单元250使用例如内置在终端装置200中的CPU、图形处理单元(GPU)和RAM来整体控制终端装置200的操作。例如，控制单元250使显示单元230显示从信息处理设备100接收到的视频。

作为示例，终端装置200接收视频。在这种情况下，控制单元250使显示单元230显示视频中的与关于由传感器单元220感测到的终端装置200(或用户U等)的位置和姿态的信息对应的视频部分。

此外，当显示单元230包括右眼显示单元和左眼显示单元(未示出)时，控制单元250基于从信息处理设备100接收到的视频生成右眼图像和左眼图像。然后，控制单元250在右眼显示单元上显示右眼图像，并且在左眼显示单元上显示左眼图像。因此，控制单元250可以使用户U观看立体视频。

此外，控制单元250可以基于传感器单元220的感测结果执行各种识别处理。例如，控制单元250可以基于感测结果识别佩戴终端装置200的用户U的运动(例如，用户U的姿势和移动)。

<2.2.信息处理设备的配置示例>

图6是示出根据本公开内容的第一实施方式的信息处理设备100的配置示例的框图。如图6中所示出的，信息处理设备100包括通信单元110、存储单元120和控制单元130。

[通信单元110]

通信单元110向另一装置发送信息以及从另一装置接收信息。例如，通信单元110根据控制单元130的控制向信息处理设备100发送要再现的视频。此外，通信单元110从终端装置200接收视频再现请求和感测结果。

[存储单元120]

例如，存储单元120由诸如随机存取存储器(RAM)、只读存储器(ROM)或闪存的半导体存储元件或者诸如硬盘或光盘的存储装置实现。

[控制单元130]

控制单元130使用例如设置在信息处理设备100中的CPU、图形处理单元(GPU)和RAM来整体控制信息处理设备100的操作。例如，控制单元130通过以下来实现：处理器使用随机存取存储器(RAM)等作为工作区域来执行存储在信息处理设备100内部的存储装置中的各种程序。注意，控制单元130可以由诸如专用集成电路(ASIC)或现场可编程门阵列(FPGA)的集成电路来实现。CPU、MPU、ASIC和FPGA中的任何可以被视为控制器。

如图6所示，控制单元130包括估计单元131、整合处理单元(integratedprocessing unit)132和显示控制单元133。构成控制单元130的每个块(估计单元131到显示控制单元133)是指示控制单元130的功能的功能块。这些功能块可以是软件块或硬件块。例如，上述功能块中的每一个可以是通过软件(微程序)实现的一个软件模块，或者可以是半导体芯片(晶片)上的一个电路块。明显的是，每个功能块可以是一个处理器或一个集成电路。功能块的配置方法是任意的。注意，控制单元130可以由与上述功能块不同的功能单元构成。

(估计单元131)

估计单元131基于由终端装置200的传感器单元220获取的感测结果来估计终端装置200的姿态(attitude)(姿态(pose))。例如，估计单元131获取作为传感器单元220的示例的IMU的测量结果(例如，加速度和角速度，在下文中也称为IMU信息)和摄像装置的拍摄结果(在下文中也称为摄像装置图像)。估计单元131使用例如由参考文献[5]表示的同步定位和映射(SLAM)来估计摄像装置姿态。

估计单元131基于所获取的IMU信息和摄像装置图像来估计终端装置200(作为传感器单元220的示例的摄像装置)的自身位置/姿态(在下文中也称为摄像装置姿态)和重力方向。估计单元131将所估计的摄像装置姿态和重力方向输出至整合处理单元132。

(整合处理单元132)

整合处理单元132基于距离信息(在下文中也称为深度信息)和由估计单元131估计的摄像装置姿态来生成第一三维信息和第二三维信息，所述距离信息是作为传感器单元220的示例的距离测量装置的距离测量结果。

此处，第一三维信息例如是占用地图。第二三维信息是包括网格数据的信息。第一三维信息和第二三维信息二者是通过将三维空间(真实空间)划分成具有有限宽度的体素栅格而获得的每个体素中所保存的信息。

图7是示出根据本公开内容的实施方式的体素的示例的图。注意，图7示出了将三维空间划分成4×5×6＝120个体素的示例。然而，体素的数目不限于120个，并且可以少于120个或可以是121个或更多。

如图7所示，本公开内容的实施方式使用其中重力方向为负z轴方向的世界坐标系。换言之，根据世界坐标系布置第一三维信息和第二三维信息的体素，并且因此第一三维信息和第二三维信息的体素布置相同。

(网格信息)

整合处理单元132例如在图7所示的每个体素中保存距对象表面的距离信息。例如，距离信息被称为截断符号距离场(truncated signed distance field，TSDF)。TSDF是例如参考文献[6]中公开的已知技术。整合处理单元132基于距离信息在时间方向上更新TSDF。

此外，整合处理单元132通过使用例如参考文献[7]中公开的行进立方体(marching cube)方法从TSDF中提取等值面，来将针对每个体素保存的距离信息转换成网格。注意，从TSDF到网格的转换可以由整合处理单元132执行，或者可以由后面描述的显示控制单元133执行。

此外，在本公开内容中，除非另有说明，否则假设第二三维信息是从TSDF转换为网格之后的网格数据，但是第二三维信息可以是TSDF。另外，针对三维空间中的每个体素保存的TSDF也被称为TSDF信息，并且通过将TSDF信息转换成网格之后获得的信息也被称为网格信息。

整合处理单元132将生成的网格信息输至显示控制单元133。

(占用地图)

整合处理单元132例如生成在图7所示的每个体素中保存例如对象的占用概率的占用地图。占用地图例如是参考文献[8]中描述的三维空间信息。

基于占用概率的阈值将占用地图的每个体素分类成以下三种状态。

·被占用：体素被对象占用(被占用状态)。

·空闲：体素未被对象占用并且是空的空间(未被占用状态)。

·未知：由于观察不充分，因此不能确定体素是否被对象占用(未观察到的状态)。

例如，假设由每个体素保存的占用概率的可能值的范围为“0”至“1”。在这种情况下，当占用概率等于或大于阈值p_occ时，体素处于被占用状态。另外，当占用概率等于或小于阈值p_free时，体素处于空闲状态。当占用概率不满足上述条件(阈值p_occ或更大或者阈值p_free或更小)时，体素处于未知状态。

整合处理单元132通过基于距离信息在时间方向上更新占用概率，来生成占用地图。整合处理单元132将生成的占用地图输出至显示控制单元133。

注意，上述网格信息和占用地图二者均是用于表达存在于三维空间中的对象的技术。然而，二者各有利弊。

例如，网格信息可以通过保存距对象表面的距离信息来表达对象的详细表面形状。另一方面，网格信息无法保存未观察到的状态。因此，如上所述，例如，当由于深度噪声而在体素中保存了错误的形状信息时，持续显示错误的形状信息，除非在体素中观察到新的深度。

另一方面，在占用地图中，尽管无法表达详细的表面形状，但是体素保存未被占用状态和被占用状态，并且因此可以保存未观察到的状态。因此，当由于深度噪声而在体素中保存了错误信息时，体素状态转变至未知的状态，除非在体素中观察到新的深度。此外，信息处理设备100可以使用占用地图根据预定体素周围的体素(在下文中也称为周围体素)的状态来确定预定体素的可靠性和对象存在区间。

(平面信息)

描述返回至图6。整合处理单元132根据真实空间中的三维信息生成地板表面信息。整合处理单元132例如通过相对于三维信息利用RANSAC计算最大平面来检测地板平面。注意，通过RANSAC的最大平面的计算可以使用例如参考文献[9]中描述的技术来执行。注意，三维信息的示例是上述占用地图和网格信息，或者根据距离信息获得的三维点云。

整合处理单元132将生成的地板表面信息输出至显示控制单元133。

(显示控制单元133)

显示控制单元133生成要由终端装置200再现的视频(显示图像)。例如，显示控制单元133使用网格信息生成用户U的周围的视频。此时，例如，显示控制单元133生成游戏区域PA中的障碍物被突出显示的显示图像。另外，显示控制单元133生成伪障碍物的显示被抑制的显示图像。

图8是示出根据本公开内容的实施方式的显示控制单元133的配置示例的框图。如图8所示，显示控制单元133包括障碍物检测单元1331、伪障碍物确定单元1332和显示改变单元1333。

(障碍物检测单元1331)

障碍物检测单元1331通过使用地板表面信息和占用地图划分存在于真实空间中的障碍物，来检测障碍物。障碍物检测单元1331通过将与检测到的障碍物对应的显示信息(显示标签)添加至网格信息，来生成具有显示标签的网格信息。

图9是示出根据本公开内容的实施方式的障碍物检测单元1331的配置示例的框图。图9中示出的障碍物检测单元1331包括体素提取单元1331A、聚类处理单元1331B和显示信息分配单元1331C。

(体素提取单元1331A)

体素提取单元1331A使用地板表面信息和占用地图以提取可能成为障碍物的体素。

例如，体素提取单元1331A在占用地图中的各体素中选择状态为被占用的被占用体素。体素提取单元1331A使用地板表面信息以提取所选择的被占用体素中的排除表示地板表面的被占用体素之外的被占用体素作为可能成为障碍物的体素(在下文中也称为划分目标体素)。

体素提取单元1331A将提取的划分目标体素输出至聚类处理单元1331B。

(聚类处理单元1331B)

聚类处理单元1331B基于划分目标体素的连接信息对划分目标体素进行聚类。聚类处理单元1331B使用例如参考文献[10]中描述的技术将划分目标体素分类成连接的体素组。

聚类处理单元1331B观察划分目标体素的序列，确定在序列中断的点处出现的聚类边界，并且为边界内的划分目标体素分配相同的标签。

以这种方式，聚类处理单元1331B将连接的划分目标体素分类为一个障碍物，并且分配相同的标签(在下文中也称为障碍物标签)。

一般地，真实空间中的障碍物通常放置在地板表面上。划分目标体素是排除了地板表面的被占用体素。因此，通过由聚类处理单元1331B基于排除了地板表面的划分目标体素的连接信息来对划分目标体素进行划分，聚类处理单元1331B可以检测到地板表面上的各个障碍物。

图10是示出根据本公开内容的实施方式的由聚类处理单元1331B检测到的障碍物的示例的图。如图10所示，聚类处理单元1331B通过对划分目标体素进行聚类来检测例如三个圆圈包围的障碍物，并且分别分配障碍物标签CL1至CL3。

虽然被分配了障碍物标签CL1至CL3的体素经由地板表面连接，但是聚类处理单元1331B可以通过提取体素提取单元1331A已经从其中去除了地板表面的划分目标体素来更准确地检测障碍物。

描述返回至图9。聚类处理单元1331B将分配了障碍物标签CL的带标签的占用地图输出至显示信息分配单元1331C。

(显示信息分配单元1331C)

显示信息分配单元1331C为网格信息中的与被分配了障碍物标签CL的体素对应的网格数据分配显示标签。显示信息分配单元1331C通过为网格数据分配显示标签来生成具有显示标签的网格信息。与被分配了障碍物标签CL的体素对应的网格数据是根据该体素中保存的TSDF信息计算的网格数据。另外，显示标签是用于在后续处理中改变显示的显示信息。

注意，赋予网格数据的显示信息不限于显示标签。添加至网格数据的信息可以是可以用于后续突出显示处理的任何信息，并且可以是例如元信息。

在这种情况下，显示信息分配单元1331C将显示标签分配给根据TSDF信息计算的网格数据。然而，本公开内容不限于此。显示信息分配单元1331C可以将显示标签分配给TSDF信息。在这种情况下，显示信息分配单元1331C通过将显示标签分配给被分配了障碍物标签CL的体素中所保存的TSDF信息，来生成具有显示标签的网格信息。

图11是示出根据本公开内容的实施方式的具有显示标签的网格信息的图。后面描述的显示改变单元1333生成其中具有显示标签的网格数据被突出显示的显示图像。

如图11所示，显示改变单元1333生成其中与障碍物标签CL1至CL3(参见图10)对应的网格区域M1至M3被突出显示的显示图像。

由于显示信息分配单元1331C以这种方式生成具有显示标签的网格信息，因此信息处理设备100可以生成具有突出显示的障碍物的显示图像。

描述返回至图9。显示信息分配单元1331C将带标签的占用地图和具有显示标签的网格信息输出至伪障碍物确定单元1332。带标签的占用地图和具有显示标签的网格信息也被统称为障碍物信息。

(伪障碍物确定单元1332)

描述返回至图8。伪障碍物确定单元1332基于地板表面信息、占用地图和障碍物信息来确定作为真实空间中的障碍物的对象是否为伪障碍物(例如噪声)。伪障碍物确定单元1332通过确定每个障碍物的离群率来确定障碍物是否为伪障碍物。例如，伪障碍物确定单元1332根据预定条件来确定被占用状态下的体素的离群率。

图12是示出根据本公开内容的实施方式的伪障碍物确定单元1332的配置示例的图。如图12所示，伪障碍物确定单元1332包括要素计数单元(element counting unit)1332A、空间统计量计算单元1332B、时间统计量计算单元1332C、离群值确定单元(outlierdetermination unit)1332D和离群值信息分配单元1332K。

(要素计数单元1332A)

要素计数单元1332A通过使用占用地图中的各体素中的被占用体素的连接信息来计算被占用体素的序列的数目(要素的数目)。换言之，要素计数单元1332A计算在真实空间中被检测为障碍物(被占用)的对象的尺寸。

此时，要素计数单元1332A可以使用经由地板表面连接的多个障碍物作为一个障碍物来计算要素的数目，或者可以计算排除地板表面之外的被占用体素的要素数目。

排除地板表面之外的被占用体素是上述划分目标体素。因此，当计算排除地板表面之外的被占用体素的要素数目时，要素计数单元1332A可以对在带标签的占用地图中分配了相同的障碍物标签CL的体素的要素数目进行计数。

例如，当信息处理设备100由于噪声而在不存在障碍物的区域中错误地确定存在障碍物(被占用)时，错误确定的障碍物(伪障碍物)的尺寸通常小于实际障碍物。

因此，要素计数单元1332A计算障碍物的尺寸(连接的被占用体素的要素数目)，使得离群值确定单元1332D在后续步骤中可以确定障碍物是否存在。

此时，由于靠近地板表面的障碍物很可能阻碍用户U的移动，因此期望将靠近地板表面的对象检测为障碍物，即使该对象的尺寸较小。另一方面，远离地板表面的障碍物(例如天花板附近的障碍物)往往不阻碍用户U的移动。因此，对于远离地板表面的障碍物，期望检测大到一定程度的对象。

换言之，期望的是，靠近地板表面的障碍物即使当尺寸小时也不太可能被确定为伪障碍物。另外，期望的是，远离地板表面的障碍物在尺寸小时可能被确定为伪障碍物。以这种方式，用于确定障碍物是否为伪障碍物的标准取决于距地板表面的距离。

因此，要素计数单元1332A计算要素数目已经被计数的障碍物(连接的被占用体素)距地板表面的高度。要素计数单元1332A计算计数的要素(体素)与地板表面之间的距离中的最小距离作为距地板表面的高度。替选地，要素计数单元1332A可以计算计数的要素与地板表面之间的距离中的最小距离作为距地板表面的高度，或者可以计算均值作为距地板表面的高度。替选地，要素计数单元1332A可以针对包括在障碍物中的每个体素来计算距地板表面的高度。

要素计数单元1332A将所计数的要素数目和关于距地板表面的高度的高度信息输出至离群值确定单元1332D。

(空间统计量计算单元1332B)

空间统计量计算单元1332B计算对象(例如，被占用体素)周围的体素中的处于未知状态的体素的比率(在下文中也称为空间未知比率)。

空间统计量计算单元1332B从占用地图中获取被占用体素周围的3×3×3体素(在下文中也称为周围体素)的状态，并且计算周围体素中的未知体素的比率作为空间未知比率。

当体素由于噪声而被确定为被占用时，该体素的周围体素不是被占用体素(例如未知体素)的概率高。

因此，空间统计量计算单元1332B计算空间未知比率，使得离群值确定单元1332D在后续步骤中可以确定被占用体素是否为障碍物。

注意，与要素数目类似，当伪障碍物的确定标准根据被占用体素距地板表面的高度而改变时，空间统计量计算单元1332B计算已经针对其计算了空间未知比率的被占用体素距地板表面的高度。

空间统计量计算单元1332B将计算的空间未知比率和关于距地板表面的高度的高度信息输出至离群值确定单元1332D。

此处，周围体素的数目为27，但是该数目不限于此。周围体素的数目可以少于27，或者可以是28或更多。

(时间统计量计算单元1332C)

时间统计量计算单元1332C计算占用地图的状态中的时间变化的比率作为时间未知比率。

例如，假设信息处理设备100包括针对过去十帧的存储作为时间未知比率的计算目标的目标体素的状态的缓冲器(未示出)。例如，假设该缓冲器包括在存储单元120中。

时间统计量计算单元1332C从缓冲器中获取过去十帧的目标体素的状态，并且然后计算十帧中的未知状态的比率作为时间未知比率。

例如，当尽管目标体素的状态曾经从未知转变至被占用或空闲但是几帧之后状态返回至未知时，假设十帧中的大部分是未知的。在这种情况下，目标体素由于深度噪声而转变至被占用或空闲的概率高。

因此，时间统计量计算单元1332C计算时间未知比率，使得离群值确定单元1332D在后续步骤中可以确定目标体素是否表示障碍物。

当时间统计量计算单元1332C将目标体素的状态存储在缓冲器中时，时间统计量计算单元1332C根据目标体素是否在距离测量装置的测距范围内来切换是否存储状态。

如上所述，根据时间的经过更新占用地图的状态。此时，当目标体素在距离测量装置的测距范围之外时，目标体素的状态的可靠性变低，并且状态转变为未知。

因此，虽然目标体素在测距范围之外，但是当时间统计量计算单元1332C将体素的状态存储在缓冲器中时，即使当目标体素表示实际的对象时，也将许多未知状态存储为目标体素的状态。

因此，根据本公开内容的实施方式的时间统计量计算单元1332C在目标体素落入测距范围内时将体素的状态存储在缓冲器中。换言之，时间统计量计算单元1332C基于距离测量装置的测距范围来确定目标体素的状态是否改变。时间统计量计算单元1332C根据当目标体素在距离测量装置的测距范围内时的状态的时间变化来计算时间未知比率。

这一点将参照图13至图15进行描述。图13和图14是示出根据本公开内容的实施方式的目标体素与距离测量装置的测距范围之间的关系的图。

图13示出了目标体素B包括在距离测量装置260的测距范围R中的情况。此外，图14示出了目标体素B不包括在距离测量装置260的测距范围R中的情况。注意，距离测量装置260对应于例如终端装置200的传感器单元220(参见图5)。

如图13和图14所示，由于测距范围R根据距离测量装置260的移动而变化，因此目标体素B被定位在测距范围R内或被定位在测距范围R之外。假设在图13和图14所示的目标体素中存在对象。

将参照图15描述在这种情况下的目标体素B的状态转变的示例。图15是示出根据本公开内容的实施方式的目标体素B的状态转变的示例的图。

在图15的示例中，假设目标体素在时间段T1和T3中包括在测距范围R中(参见图13)，并且目标体素在时间段T2中不包括在测距范围R中(参见图14)。

图15针对每个帧示出了每个时间段中的状态、时间未知比率等。此处，当第一帧为观察的开始时，示出了目标体素B的直到第16帧的状态转变。在图15中，假设缓冲器保存三帧的目标体素B的状态。

如图15所示，当距离测量装置260在时间段T1的开始时开始观察目标体素B时，由信息处理设备100计算的存在概率逐渐增加。因此，在第一帧中处于未知(Un)状态的目标体素B在第二帧中转变至被占用(Occ)状态。

在第一帧和第二帧中，由于目标体素B位于测距范围R内，因此当确定目标体素B是否在观察范围内时，时间统计量计算单元1332C确定“是”(在观察范围内)。在这种情况下，时间统计量计算单元1332C将目标体素B的状态存储在缓冲器中。

注意，在第一帧和第二帧中，由于未在缓冲器中累积三帧的状态，因此时间统计量计算单元1332C将时间未知比率处理为不适用(N/A)，而不管缓冲器中的状态累积如何。

由于距离测量装置260继续观察目标体素B直到时间段T1结束的第六帧，因此目标体素B从第二帧到第六帧变为被占用(Occ)状态。从第一帧到第六帧，关于帧是否在观察范围内的确定结果为“是”。

因此，缓冲器保存过去三帧的目标体素B的状态。具体地，缓冲器在第二帧中保存“未知”、“被占用”和“被占用”。在第三帧至第六帧中，缓冲器针对所有的过去三帧保存“被占用”。

时间统计量计算单元1332C在第二帧中计算时间未知比率为0.33，并且在第三帧至第六帧中计算时间未知比率为0。

接下来，在时间段T2中，当目标体素B变为在测距范围R之外时，观察不到目标体素B，并且存在概率逐渐降低。因此，直到第七帧的“被占用(Occ)”状态也从第八帧至第十二帧转变至“未知(Un)”状态。

然而，从第七帧到第十二帧，由于目标体素B不在观察范围内(观察范围的确定结果为“否”)，因此不将该时间段的状态保存在缓冲器中。因此，从第七帧到第十二帧，缓冲器继续保存在第六帧时的过去三帧的状态。因此，时间统计量计算单元1332C在第七帧至第十二帧中计算与第六帧的时间未知比率相同的时间未知比率，即“0”。

当时间段T2结束并且时间段T3到来时，目标体素B再次进入测距范围R。因此，当时间段T3开始时，存在概率逐渐增加，并且目标体素B在第13帧中的未知(Un)状态在第14帧至第16帧中转变至被占用(Occ)状态。从第13帧到第16帧，观察范围的确定结果为“是”。

因此，缓冲器保存过去三帧的目标体素B的状态。具体地，缓冲器在第13帧中保存“被占用”、“被占用”和“未知”。缓冲器在第14帧中保存“被占用”、“未知”和“被占用”。缓冲器在第15中帧保存“未知”、“被占用”和“被占用”。缓冲器在第16帧中针对所有的过去三帧保存“被占用”。

时间统计量计算单元1332C在第13帧至第15帧中计算时间未知比率为0.33，并且在第16帧中计算时间未知比率为0。

如上所述，时间统计量计算单元1332C根据当目标体素B包括在测距范围R(观察范围)中时的状态变化来计算时间未知比率。因此，时间统计量计算单元1332C可以通过排除目标体素B由于未观察到而转变至未知的情况，来以更高的精度计算时间未知比率。

与要素数目类似，当伪障碍物的确定标准根据被占用体素距地板表面的高度而改变时，假设时间统计量计算单元1332C计算已经针对其计算了时间未知比率的目标体素B距地板表面的高度。

时间统计量计算单元1332C将计算的时间未知比率和关于距地板表面的高度的高度信息输出至离群值确定单元1332D。

注意，此处，缓冲器保存十帧或三帧的状态，但是本公开内容不限于此。作为由缓冲器保存的帧的数目，可以根据例如缓冲器尺寸和目标体素B的数目来选择适当的值。

(离群值确定单元1332D)

描述返回至图12。离群值确定单元1332D基于要素计数单元1332A、空间统计量计算单元1332B和时间统计量计算单元1332C的计算结果来计算每个体素的离群率。

如图12所示，离群值确定单元1332D包括离群率L1计算单元1332E、离群率L2计算单元1332F、离群率L3计算单元1332G和离群率整合单元1332H。

离群率L1计算单元1332E使用由要素计数单元1332A计算的要素数目来计算第一离群率L1。离群率L2计算单元1332F使用由空间统计量计算单元1332B计算的空间未知比率来计算第二离群率L2。离群率L3计算单元1332G使用由时间统计量计算单元1332C计算的时间未知比率来计算第三离群率L3。离群率整合单元1332H根据第一离群率L1至第三离群率L3计算每个体素的离群率L。

(离群率L1计算单元1332E)

离群率L1计算单元1332E根据被占用体素中的包括计算目标体素的障碍物的要素数目来确定第一离群率L1，所述计算目标体素是用于计算第一离群率L1的目标。离群率L1计算单元1332E基于下面的表达式(1)计算第一离群率L1。

此处，n表示要素的数目。另外，n₀和n₁表示例如根据障碍物距地板表面的高度而确定的阈值(参数)。

以这种方式，离群率L1计算单元1332E可以通过根据障碍物距地板表面的高度改变n₀和n₁的值，来确定根据障碍物距地板表面的高度的第一离群率L1。

(离群率L2计算单元1332F)

离群率L2计算单元1332F根据被占用体素的空间未知比率来确定第二离群率L2。离群率L2计算单元1332F基于下面的表达式(2)计算第二离群率L2。

此处，k表示空间已知比率，并且作为k＝1-空间未知比率而获得。此外，k₀和k₁例如是根据作为用于计算第二离群率L2的目标的计算目标体素距地板表面的高度而确定的阈值(参数)。

以这种方式，离群率L2计算单元1332F可以通过根据计算目标体素距地板表面的高度改变k₀和k₁的值，来确定根据距地板表面的高度的第二离群率L2。

(离群率L3计算单元1332G)

离群率L3计算单元1332G根据被占用体素的时间未知比率来确定第三离群率L3。离群率L3计算单元1332G基于下面的表达式(3)计算第三离群率L3。

此处，h表示时间己知比率，并且作为h＝1-时间未知比率而获得。另外，h₀和h₁例如是根据作为用于计算第三离群率L3的目标的计算目标体素距地板表面的高度而确定的阈值(参数)。

以这种方式，离群率L3计算单元1332G可以通过根据计算目标体素距地板表面的高度改变h₀和h₁的值，来确定根据距地板表面的高度的第三离群率L3。

(离群率整合单元1332H)

离群率整合单元1332H对第一离群率L1至第三离群率L3进行整合，并且确定每个体素的离群率L。例如，离群率整合单元1332H如表达式(4)那样计算第一离群率L1至第三离群率L3的加权均值作为离群率L。

替选地，离群率整合单元1332H可以如表达式(5)那样计算第一离群率L1至第三离群率L3的最小值作为离群率L。

L＝min(L1，L2，L3)……(5)

离群率整合单元1332H将确定的离群率L输出至离群值信息分配单元1332K。

(离群值信息分配单元1332K)

离群值信息分配单元1332K将离群率L分配给具有显示标签的网格信息中的与计算目标体素对应的网格数据。离群值信息分配单元1332K通过将离群率L分配给网格数据来生成具有离群值的网格信息。注意，与计算目标体素对应的网格数据是使用作为离群率L的计算目标的体素中所保存的TSDF信息计算的网格数据。

另外，此处，离群值信息分配单元1332K将离群率L分配给根据TSDF信息计算的网格数据，但是本公开内容不限于此。离群值信息分配单元1332K可以将离群率L分配给TSDF信息。在这种情况下，离群值信息分配单元1332K通过将离群率L分配给离群率L的计算目标体素中所保存的TSDF信息来生成具有离群值的网格信息。

离群率整合单元1332H将生成的具有离群值的网格信息输出至显示改变单元1333。

(显示改变单元1333)

描述返回至图6。显示改变单元1333基于具有离群值的网格信息生成要呈现给用户U的二维显示图像。

如上所述，具有离群值的网格信息包括显示标签和离群率L中的至少一个。显示改变单元1333突出显示具有显示标签的网格数据。另外，显示改变单元1333根据离群率L来执行具有离群率L的网格数据的抑制显示。

显示改变单元1333通过以与不具有显示标签的网格数据的浓淡不同的浓淡显示具有显示标签的网格数据的边缘线，来突出显示具有显示标签的网格数据。

替选地，显示改变单元1333可以通过以与不具有显示标签的网格数据的颜色或阴影不同的颜色或阴影显示具有显示标签的网格数据的面部面，来突出显示具有显示标签的网格数据。

另外，显示改变单元1333根据离群率L来改变具有离群率L的网格数据的透射率，从而执行具有离群率L的网格数据的抑制显示。例如，显示改变单元1333通过将网格数据的离群率L设置为网格数据的透射率，来抑制网格数据的显示。

注意，显示改变单元1333仅需要生成其中具有显示标签的网格数据被突出显示的显示图像。突出显示方法不限于上述示例。例如，显示改变单元1333可以通过闪烁来突出显示具有显示标签的网格数据。

另外，显示改变单元1333仅需要根据离群率L使网格数据难以被用户U视觉识别。使网格数据难以被视觉识别(即，抑制显示)的方法不限于上述示例。例如，显示改变单元1333可以将具有预定值或以上的离群率L的网格数据的透射率设置为100％，或者将颜色设置为与背景色相同。

显示改变单元1333经由通信单元110将生成的显示图像发送至终端装置200。

<<3.信息处理的示例>>

<3.1.图像生成处理>

图16是示出根据本公开内容的实施方式的图像生成处理的流程的示例的流程图。例如，由信息处理设备100以预定周期执行图16所示的图像生成处理。请意，预定周期可以与距离测量装置的距离测量周期(帧周期)相同。

如图16所示，信息处理设备100执行三维信息生成处理(步骤S101)。作为三维信息生成处理，信息处理设备100根据例如从终端装置200获取的IMU信息和摄像装置图像来估计摄像装置姿态和重力方向。信息处理设备100使用从终端装置200获取的摄像装置姿态、重力方向和距离信息来生成占用地图和网格信息。

信息处理设备100通过使用占用地图和网格信息来执行障碍物划分处理(步骤S102)，以生成具有显示标签的网格信息。将在后面描述障碍物划分处理。

信息处理设备100使用占用地图和网格信息来执行伪障碍物确定处理(步骤S103)，以生成具有离群值的网格信息。将在后面描述伪障碍物确定处理。

信息处理设备100使用具有离群值的网格信息来执行显示图像生成处理(步骤S104)，以生成显示图像。将在后面描述显示图像生成处理。

<3.2.障碍物划分处理>

图17是示出根据本公开内容的实施方式的障碍物划分处理的流程的示例的流程图。图17中所示的障碍物划分处理在图16中的图像生成处理的步骤S102中执行。

信息处理设备100使用占用地图和地板表面信息来提取划分目标体素(步骤S201)。信息处理设备100在占用地图中的各体素中选择处于被占用状态的被占用体素。信息处理设备100使用地板表面信息从所选择的被占用体素中提取排除地板表面的被占用体素之外的被占用体素作为划分目标体素。

信息处理设备100对所提取的划分目标体素进行聚类(步骤S202)。信息处理设备100为聚类的体素分配显示标签(步骤S203)，并且生成具有显示标签的网格信息(步骤S204)。

<3.3.伪障碍物确定处理>

图18是示出根据本公开内容的实施方式的伪障碍物确定处理的流程的示例的流程图。图18中所示的伪障碍物确定处理在图16中的图像生成处理的步骤S103中执行。

信息处理设备100通过使用占用地图中的各体素中的被占用体素的连接信息来对被占用体素的要素数目进行计数(步骤S301)。信息处理设备100根据所计数的要素数目计算第一离群率L1(步骤S302)。

信息处理设备100使用占用地图中的各体素中的被占用体素的周围体素来计算空间未知比率(步骤S303)。信息处理设备100根据空间未知比率来计算第二离群率L2(步骤S304)。

信息处理设备100根据占用地图的状态的时间变化来计算时间未知比率(步骤S305)。信息处理设备100根据时间未知比率来计算第三离群率L3(步骤S306)。

信息处理设备100基于第一离群率L1至第三离群率L3来计算离群率L(步骤S307)，并且生成具有离群值的网格信息(步骤S308)。

<3.4.显示图像生成处理>

图19是示出根据本公开内容的实施方式的显示图像生成处理的流程的示例的流程图。图19中所示的显示图像生成处理在图16中的图像生成处理的步骤S104中执行。

如图19所示，信息处理设备100基于具有离群值的网格信息的显示标签来突出显示障碍物Ob(步骤S401)。例如，信息处理设备100通过突出显示具有显示标签的网格数据来突出显示障碍物Ob。

信息处理设备100基于具有离群值的网格信息的离群率L来执行伪障碍物的抑制显示(步骤S402)。例如，信息处理设备100将离群率L设置为透射率。信息处理设备100改变伪障碍物的网格显示时的透明度，使得在透射率变得接近1时不显示体素中的网格。

信息处理设备100生成其中障碍物的显示被突出并且伪障碍物的显示被抑制的显示图像(步骤S403)。

如上所述，根据本公开内容的实施方式的信息处理设备100可以通过对占用地图中的各体素进行聚类来将网格信息的网格数据划分成障碍物。在这种情况下，由于不需要使用大规模识别器，因此信息处理设备100可以在抑制资源的增加的同时以高速度检测障碍物。

此外，信息处理设备100可以通过使用占用地图中的处于未观察到的状态(未知)的体素来抑制具有低可靠性(换言之，伪障碍物的可能性高)的网格的显示。具体地，信息处理设备100通过使用聚类的体素的尺寸、空间统计量(空间未知变量)和时间统计量(时间未知变量)来抑制网格的显示。因此，信息处理设备100可以生成具有更高可靠性(换言之，伪障碍物少)的显示图像。

例如，存在通过距离测量装置260的距离测量方法可能出现误差(噪声)的对象。例如，在利用立体摄像装置测量距离的距离测量装置的情况下，在无纹理的表面上可能出现噪声。如上所述，即使在特定对象中出现噪声，信息处理设备100也能够以更高的精度生成网格信息。

如上所述，信息处理设备100能够以高速度利用少的资源检测障碍物并确定伪障碍物。因此，即使在向用户U实时呈现显示图像的HMD系统中，信息处理设备100也能够在抑制伪障碍物的显示的同时向用户U呈现突出显示障碍物的显示图像。

如上所述，信息处理设备100能够以高速度利用少的资源向用户U呈现其中障碍物被突出显示并且伪障碍物的显示被抑制的显示图像。因此，用户U可以更安全地享受内容。

<<4.修改例>>

在上述实施方式中，信息处理设备100使用被占用体素的3×3×3周围体素(即，呈立方体形状的周围体素)作为预定条件来计算空间未知比率，但是本公开内容不限于此。信息处理设备100可以使用1×1×m(m为3或更大的整数)的周围体素(即，呈长方体形状的周围体素)来计算空间未知比率。

例如，信息处理设备100使用被占用体素的周围的重力方向上的体素作为周围体素，并且根据周围体素的状态来计算空间未知比率。

图20是示出根据本公开内容的实施方式的修改例的真实空间的示例的图。如图20所示，假设真实空间为室内，即由地板和墙壁包围的空间。

在这种情况下，在将真实空间表示为占用地图时，布置有墙壁、地板和对象(障碍物)的体素(空间)成为被占用体素。另外，在距离测量装置260的测距范围中通过排除被占用体素而获得的体素(空间)是空闲体素。另外，未知体素在距离测量装置260的测距范围之外。此外，位于对象的阴影中并且不能被距离测量装置260测量到的体素(空间)为未知体素。

此时，如图20所示，在墙壁的远侧或地板表面下方的区域是被墙壁或地板阻挡的区域，并且不能被距离测量装置260测量到。因此，该区域中的体素是未知体素。然而，由于噪声等，可以观察到墙壁的另一侧的被占用体素B。

在这种情况下，当信息处理设备100使用3×3×3立方体作为周围体素来计算空间未知比率时，周围体素包括墙壁(即被占用体素)，并且因此空间未知比率减小。因此，信息处理设备100可能无法抑制被占用体素B的显示，并且被占用体素B可能显示在显示图像中。

另一方面，由于在墙壁的另一侧实际上不存在障碍物，因此除了由于噪声而引起的被占用体素和空闲体素之外的体素是未知体素。因此，在墙壁的另一侧，z轴方向(重力方向)上的体素(图20中的区域R1中的体素)是未知体素的概率高。换言之，当z轴方向上的周围体素R1的空间未知比率高时，被占用体素B是存在于墙壁后的伪障碍物的概率高。

因此，在本修改例中，信息处理设备100计算被占用体素B的z轴方向上的周围体素R1的空间未知比率。信息处理设备100根据空间未知比率确定第二离群率L2，并且抑制被占用体素B的显示。

如上所述，在本修改例中，通过由信息处理设备100计算z轴方向上的周围体素R1的空间未知比率，能够以更高的精度确定墙壁的另一侧(墙壁后面)的伪障碍物。因此，可以以更高的精度抑制伪障碍物的显示。

如上所述，周围体素的数目和形状不限于立方体和重力方向，并且可以根据被占用体素B在真实空间中的位置来任意设置。

<<5.其他实施方式>>

上述实施方式和修改例是示例，并且各种修改例和应用是可能的。

例如，本实施方式的信息处理设备100的一些功能可以由终端装置200实现。例如，终端装置200可以生成具有离群值的网格信息。

在上述实施方式中，信息处理设备100突出显示存在于游戏区域PA中的障碍物Ob，但是本公开内容不限于此。信息处理设备100可以对存在于游戏区域PA之外的障碍物Ob进行划分(分类)并突出显示。

在上述实施方式中，信息处理设备100或用户U设置用户U的游戏区域PA，但是本公开内容不限于此。例如，信息处理设备100可以将诸如车辆或无人机的移动对象可以安全移动的范围设置为游戏区域。替选地，信息处理设备100可以将诸如机器人臂的部分被固定的对象可以被安全驱动的范围设置为游戏区域。因此，信息处理设备100对其设置游戏区域的目标对象不限于用户U。

例如，用于执行上述操作的通信程序被存储和分布在诸如光盘、半导体存储器、磁带或软盘的计算机可读记录介质中。然后，例如，将该程序安装到计算机上，并且执行上述处理以配置控制装置。此时，控制装置可以是信息处理设备100和终端装置200外部的装置(例如，个人计算机)。此外，控制装置可以是信息处理设备100和终端装置200内部的装置(例如，控制单元130和250)。

另外，上述通信程序可以存储在诸如因特网的网络上的服务器装置中所包括的盘装置中，使得通信程序可以被下载到计算机。另外，上述功能可以通过操作系统(OS)和应用软件的协作来实现。在这种情况下，除了OS之外的部分可以被存储在介质中并被分发，或者除了OS之外的部分可以被存储在服务器装置中并被下载到计算机。

在以上实施方式中描述的处理中，被描述为自动执行的处理中的全部或部分可以手动执行，或者被描述为手动执行的处理中的全部或部分可以通过已知的方法自动执行。另外，除非另有规定，否则处理过程、具体名称以及包括以上文档和附图中示出的各种数据和参数的信息都可以任意改变。例如，在各附图中示出的各种类型的信息不限于示出的信息。

另外，附图中示出的每个装置的每个部件在功能上是概念性的，并且不一定按照附图中所示的那样在物理上进行配置。换言之，每个装置的具体分布和集成形式不限于示出的形式，并且其全部或部分可以根据各种负荷、使用条件等在功能上或物理上分布和集成在任意单元中。注意，可以动态地执行通过分布和集成的这种配置。

另外，可以在处理内容彼此不矛盾的区域中适当地组合上述实施方式。此外，可以适当改变上述实施方式的顺序图中所示的每个步骤的顺序。

此外，例如，本实施方式可以被实现为构成设备或系统的任何配置，例如，作为系统大规模集成(LSI)等的处理器、使用多个处理器等的模块、使用多个模块等的单元、通过向单元另外添加其他功能而获得的集合等(即，装置的一部分的配置)。

注意，在本说明书中，系统意指多个部件(装置、模块(部分)等)的集合，并且所有部件是否在同一壳体中并不重要。因此，容纳在单独的壳体中并且经由网络连接的多个装置以及其中多个模块被容纳在一个壳体中的一个装置都是系统。

此外，例如，本实施方式可以采用云计算的配置，其中一个功能由多个装置经由网络合作来共享和处理。

<<6.硬件配置>>

通过例如具有图21所示的配置的计算机1000来实现诸如根据上述实施方式的信息处理设备100的信息处理设备。在下文中，根据实施方式的信息处理设备100将作为示例进行描述。图21是示出根据本公开内容的实施方式的实现信息处理设备100的功能的计算机1000的示例的硬件配置图。计算机1000包括CPU 1100、RAM 1200、只读存储器(ROM)1300、硬盘驱动器(HDD)1400、通信接口1500和输入/输出接口1600。计算机1000的每个单元通过总线1050连接。

CPU 1100基于存储在ROM 1300或HDD 1400中的程序进行操作，并且控制每个单元。例如，CPU 1100在RAM 1200中开发存储在ROM 1300或HDD 1400中的程序，并且执行与各种程序对应的处理。

ROM 1300存储诸如在计算机1000启动时由CPU 1100执行的基本输入输出系统(BIOS)的引导程序、取决于计算机1000的硬件的程序等。

HDD 1400是非暂态地记录由CPU 1100执行的程序、由该程序使用的数据等的计算机可读记录介质。具体地，HDD 1400是记录根据本公开内容的用于医疗臂控制方法的程序(其是程序数据1450的示例)的记录介质。

通信接口1500是用于计算机1000连接至外部网络1550(例如，因特网)的接口。例如，CPU 1100经由通信接口1500从其他设备接收数据或者将CPU 1100生成的数据发送至其他设备。

输入/输出接口1600是用于连接输入/输出装置1650和计算机1000的接口。例如，CPU 1100经由输入/输出接口1600从诸如键盘或鼠标的输入装置接收数据。另外，CPU 1100经由输入/输出接口1600将数据发送至诸如显示器、扬声器或打印机的输出装置。此外，输入/输出接口1600可以用作读取记录在预定计算机可读记录介质(介质)上的程序等的介质接口。例如，介质是诸如数字多功能光盘(DVD)或相变可重写盘(PD)的光学记录介质、诸如磁光盘(MO)的磁光记录介质、磁带介质、磁记录介质、半导体存储器等。

例如，当计算机1000用作根据本公开内容的实施方式的信息处理设备100时，计算机1000的CPU 1100通过执行加载在RAM 1200上的程序来实现控制单元130等的功能。注意，CPU 1100从HDD 1400读取程序数据1450并且执行程序数据1450。然而，作为另一示例，信息处理程序可以经由外部网络1550从其他装置获取。

此外，根据本实施方式的信息处理设备100可以应用于在连接至网络(或装置之间的通信)的前提下包括多个装置的系统，例如云计算。换言之，例如，根据上述本实施方式的信息处理设备100可以由多个装置实现为根据本实施方式的信息处理系统1。

上面已经描述了信息处理设备100的硬件配置的示例。上述部件中的每一个可以使用通用构件来配置，或者可以由特定于每个部件的功能的硬件来配置。可以根据实现时的技术水平适当地改变该配置。

<<7.结论>>

尽管以上描述了本公开内容的实施方式，但是本公开内容的技术范围不限于上述实施方式本身，并且可以在不脱离本公开内容的主旨的情况下进行各种修改。另外，可以适当地组合不同实施方式和修改例的部件。

注意，本说明书中描述的每个实施方式的效果仅是示例，并且不限于此，并且可以提供其他效果。

本技术还可以具有以下配置。

(1)

一种信息处理设备，包括控制单元，所述控制单元被配置成：

获取与对象在真实空间中的占用概率相关的第一三维信息和与所述对象的表面形状的估计结果相关的第二三维信息，

基于所述第一三维信息和与所述真实空间中的地板表面相关的地板表面信息对所述对象进行分类，以及

基于所述第二三维信息突出显示被分类的所述对象的表面。

(2)

根据(1)所述的信息处理设备，其中，

所述控制单元被配置成：

基于所述第一三维信息和所述地板表面信息，来根据预定条件确定所述对象的离群率，以及

根据所述离群率改变所述对象的显示。

(3)

根据(2)所述的信息处理设备，其中，所述控制单元根据作为所述预定条件的所述对象的尺寸来确定所述离群率。

(4)

根据(2)或(3)所述的信息处理设备，其中，所述控制单元根据作为所述预定条件的所述对象的周围的多个体素中的处于未被观察到的状态的体素的比率来确定所述离群率。

(5)

根据(4)所述的信息处理设备，其中，所述控制单元根据所述对象的周围的所述真实空间中的重力方向上的所述体素的状态来确定所述离群率。

(6)

根据(2)至(5)中任一项所述的信息处理设备，其中，所述控制单元根据作为所述预定条件的所述第一三维信息的状态的时间变化来确定所述离群率。

(7)

根据(6)所述的信息处理设备，其中，

基于由距离测量装置测量的距离信息来更新所述第一三维信息，并且

所述控制单元基于所述距离测量装置的测距范围来确定所述状态是否发生了变化。

(8)

根据(2)至(7)中任一项所述的信息处理设备，其中，所述控制单元根据所述对象距所述地板表面的高度来确定所述离群率。

(9)

根据(1)至(8)中任一项所述的信息处理设备，其中，所述第一三维信息是占用栅格地图。

(10)

根据(1)至(9)中任一项所述的信息处理设备，其中，所述第二三维信息包括由多个顶点和连接所述多个顶点的边限定表面的网格数据。

(11)

根据(1)至(10)中任一项所述的信息处理设备，其中，所述控制单元突出显示在所述真实空间中移动的目标对象的移动范围内存在的所述对象的表面。

(12)

—种信息处理方法，包括：

基于所述第二三维信息突出显示被分类的所述对象的表面。

(13)

一种程序，使计算机用作控制单元，所述控制单元执行以下操作：

基于所述第二三维信息突出显示被分类的所述对象的表面。

附图标记列表

1 信息处理系统

100 信息处理设备

110,210 通信单元

120 存储单元

130,250 控制单元

131 估计单元

132 整合处理单元

133 显示控制单元

200 终端装置

220 传感器单元

230 显示单元

240 输入单元

260 距离测量装置。

Claims

1.一种信息处理设备，包括控制单元，所述控制单元被配置成：

基于所述第二三维信息突出显示分类的所述对象的表面。

2.根据权利要求1所述的信息处理设备，其中，

所述控制单元被配置成：

根据所述离群率改变所述对象的显示。

3.根据权利要求2所述的信息处理设备，其中，所述控制单元根据作为所述预定条件的所述对象的尺寸来确定所述离群率。

4.根据权利要求2所述的信息处理设备，其中，所述控制单元根据作为所述预定条件的所述对象的周围的多个体素中的处于未被观察到的状态的体素的比率来确定所述离群率。

5.根据权利要求4所述的信息处理设备，其中，所述控制单元根据所述对象的周围的所述真实空间中的重力方向上的所述体素的状态来确定所述离群率。

6.根据权利要求2所述的信息处理设备，其中，所述控制单元根据作为所述预定条件的所述第一三维信息的状态的时间变化来确定所述离群率。

7.根据权利要求6所述的信息处理设备，其中，

8.根据权利要求2所述的信息处理设备，其中，所述控制单元根据所述对象距所述地板表面的高度来确定所述离群率。

9.根据权利要求1所述的信息处理设备，其中，所述第一三维信息是占用栅格地图。

10.根据权利要求1所述的信息处理设备，其中，所述第二三维信息包括由多个顶点和连接所述多个顶点的边限定表面的网格数据。

11.根据权利要求1所述的信息处理设备，其中，所述控制单元突出显示在所述真实空间中移动的目标对象的移动范围内存在的所述对象的表面。

12.一种信息处理方法，包括：

获取与对象在真实空间中的占用概率相关的第一三维信息和与所述对象的表面形状的估计结果相关的第二三维信息；

基于所述第一三维信息和与所述真实空间中的地板表面相关的地板表面信息对所述对象进行分类；以及

基于所述第二三维信息突出显示分类的所述对象的表面。

13.一种程序，使计算机用作控制单元，所述控制单元执行以下操作：

基于所述第二三维信息突出显示分类的所述对象的表面。