CN118511053A - 计算方法及计算装置 - Google Patents

Abstract

有关本公开的一技术方案的计算方法，取得在计算机上的空间中表现物体并且分别表示物体的位置的多个三维点(S151)；将多个三维点的各三维点基于该三维点的法线方向分类为多个组(S152)；以如果属于多个组的各组的至少1个三维点的第1精度较高则该组的第2精度也较高的方式计算第2精度(S153)。多个三维点的各三维点通过由传感器从不同的多个位置在不同的多个方向上检测来自物体的光而生成。法线方向基于被用于具有该法线方向的三维点的生成的不同的多个方向来求出。

Description

计算方法及计算装置

技术领域

本发明涉及计算方法及计算装置。

背景技术

在专利文献1中，公开了一种将构造物用三维点云表现的技术。

现有技术文献

专利文献

专利文献1：日本特开2017－130146号公报

发明内容

发明要解决的课题

本公开的目的是提供一种能够计算多个三维点所属的每个组的精度的计算方法等。

用来解决课题的手段

有关本公开的一技术方案的计算方法，取得在计算机上的空间中表现物体并且分别表示上述物体的位置的多个三维点；将上述多个三维点的各三维点基于该三维点的法线方向分类为多个组；以如果属于上述多个组的各组的至少1个三维点的第1精度较高则该组的第2精度也较高的方式计算上述第2精度；上述多个三维点的各三维点通过由传感器从不同的多个位置在不同的多个方向上检测来自上述物体的光而生成；上述法线方向基于被用于具有该法线方向的三维点的生成的上述不同的多个方向来求出。

发明效果

本公开能够提供能够计算多个三维点所属的每个组的精度的计算方法等。

附图说明

图1是表示有关实施方式的三维重建系统的结构的框图。

图2是表示有关实施方式的摄影装置的结构的框图。

图3是表示有关实施方式的摄影装置的动作的流程图。

图4是表示有关实施方式的位置姿态的推测处理的流程图。

图5是用来说明有关实施方式的三维点的生成方法的图。

图6是表示有关实施方式的位置姿态合并处理的流程图。

图7是表示有关实施方式的对象空间中的摄影的状况的俯视图。

图8是用来说明有关实施方式的图像例及比较处理的例子的图。

图9是表示有关实施方式的精度计算处理的流程图。

图10是用来说明有关实施方式的三维点的法线方向的计算方法的图。

图11是用来说明有关实施方式的三维点的法线方向的计算方法的图。

图12是用来说明有关实施方式的三维点的分类方法的图。

图13是用来说明有关实施方式的三维点的分类方法的图。

图14是用来说明有关实施方式的三维点的分类方法的图。

图15是用来说明有关实施方式的组的精度的计算方法的图。

图16是表示有关实施方式的显示处理的流程图。

图17是表示有关实施方式的体素的显示例的图。

图18是表示有关实施方式的UI画面的显示例的图。

图19是表示有关实施方式的UI画面的显示例的图。

图20是表示有关实施方式的UI画面的显示例的图。

图21是表示有关实施方式的UI画面的显示例的图。

图22是表示有关实施方式的计算方法的流程图。

具体实施方式

(本公开的概要)

有关本公开的一技术方案的计算方法，取得在计算机上的空间中表现物体并且分别表示上述物体的位置的多个三维点；将上述多个三维点的各三维点基于该三维点的法线方向分类为多个组；以如果属于上述多个组的各组的至少1个三维点的第1精度较高则该组的第2精度也较高的方式计算上述第2精度；上述多个三维点的各三维点通过由传感器从不同的多个位置在不同的多个方向上检测来自上述物体的光而生成；上述法线方向基于被用于具有该法线方向的三维点的生成的上述不同的多个方向来求出。

由此，能够根据传感器检测来自物体的光的方向将多个三维点分类为多个组，根据属于该多个组的各组的三维点的精度计算该三维点所属的每个组的精度。即，根据有关本公开的一技术方案的计算方法，由于将多个三维点基于各三维点的法线方向分类，所以能够计算被用于分类的每个法线方向的精度。

此外，例如在上述分类中，将上述空间分割为多个小空间；将上述多个三维点分别基于该三维点的法线方向和上述多个小空间中的包含该三维点的小空间分类为上述多个组。

由此，能够计算每个法线方向且每个场所的精度。

此外，例如在上述多个小空间中的第1小空间中，包含上述多个三维点中的第1三维点和第2三维点；在上述第1三维点的法线方向上延伸的线穿过规定上述第1小空间的多个平面中的第1面；在上述分类中，在沿上述第2三维点的法线方向延伸的线穿过上述第1面的情况下，将上述第1三维点和上述第2三维点分类到相同的组中。

由此，能够将多个三维点按与该三维点的法线方向对应的每个平面分类为多个组。

此外，例如上述传感器是LiDAR传感器、深度传感器、图像传感器中的某个或它们的组合。

此外，例如被用于具有上述法线方向的上述三维点的生成的上述不同的多个方向的合成方向与上述法线方向相反。

此外，例如上述多个组分别对应于规定上述多个小空间的多个平面中的某个；在上述分类中，将上述多个三维点的各三维点分类为与规定上述多个小空间中的包含该三维点的小空间的多个平面中的、在该三维点的法线方向上延伸的线所穿过的穿过面相对应的组；将上述穿过面用与对应于该穿过面的组的精度相对应的颜色显示。

由此，由于将穿过面用与对应于该穿过面的组的精度相对应的颜色显示，所以能够进行辅助用户所操作的传感器的方向的调整的显示。

此外，例如将上述穿过面在对应于该穿过面的组的精度为规定的精度以上的情况和对应于该穿过面的组的精度不到规定的精度的情况下用不同的颜色显示。

由此，由于将穿过面在对应于该穿过面的组的精度为规定的精度以上的情况和对应于该穿过面的组的精度不到规定的精度的情况下用不同的颜色显示，所以能够进行辅助用户所操作的传感器的方向的调整的显示。

此外，例如上述多个组分别对应于上述多个小空间中的某个；将上述多个小空间用与对应于该小空间的组的精度相对应的颜色显示。

由此，由于将多个小空间用与对应于该小空间的组的精度相对应的颜色显示，所以能够进行辅助用户所操作的传感器的方向的调整的显示。

此外，例如仅显示上述多个小空间中的、与对应于该小空间的组的精度不到规定的精度的该组相对应的该小空间。

由此，由于仅显示多个小空间中的、与对应于该小空间的组的精度不到规定的精度的该组相对应的该小空间，所以能够进行辅助用户所操作的传感器的方向的调整的显示。

此外，例如在上述计算中，对于上述多个组，分别从属于该组的1个以上的三维点中提取规定的数量的三维点，基于提取出的上述规定的数量的三维点各自的精度计算该组的精度。

由此，能够削减处理量并且适当地计算多个组的精度。

此外，例如在上述计算中，对于上述多个组，分别基于表示属于该组的1个以上的三维点各自的精度的再投影误差计算该组的精度。

由此，能够适当地计算多个三维点的精度。

此外，例如对于分辨率比由上述多个三维点构成的第1三维模型低、且由上述多个三维点的至少一部分构成的第2三维模型，叠加显示上述多个组的精度。

由此，由于对于第2三维模型叠加显示多个组的精度，所以能够进行辅助用户所操作的传感器的方向的调整的显示。

此外，例如对于上述第2三维模型的俯视图，叠加显示上述多个组的精度。

由此，由于对于第2三维模型的俯视图叠加显示多个组的精度，所以能够进行辅助用户所操作的传感器的方向的调整的显示。

此外，例如上述传感器是图像传感器；对于上述图像传感器所拍摄、且被用于生成上述多个三维点的图像，叠加显示上述多个组的精度。

由此，由于对摄像装置所拍摄的图像叠加显示多个组的精度，所以能够进行辅助用户所操作的传感器的方向的调整的显示。

此外，例如对于上述物体所在的对象空间的地图，叠加显示上述多个组的精度。

由此，由于在地图上叠加显示多个组的精度，所以能够进行辅助用户所操作的传感器的方向的调整的显示。

此外，例如在上述传感器检测来自上述物体的光的过程中显示上述多个组的精度。

由此，能够对正在进行来自物体的光的检测的过程中的用户进行辅助用户所操作的传感器的方向的调整的显示。

此外，例如计算属于上述多个组中包含的第1组的两个以上的三维点的两个以上的法线方向的合成方向的相反方向。

由此，能够计算与多个组的各组对应的方向。

此外，有关本公开的一技术方案的计算装置具备处理器和存储器；上述处理器使用上述存储器，取得在计算机上的空间中表现物体并且分别表示上述物体的位置的多个三维点；将上述多个三维点的各三维点基于该三维点的法线方向分类为多个组；以如果属于上述多个组的各组的至少1个三维点的第1精度较高则该组的第2精度也较高的方式计算上述第2精度；上述多个三维点的各三维点通过由传感器从不同的多个位置在不同的多个方向上检测来自上述物体的光而生成；上述法线方向基于被用于具有该法线方向的三维点的生成的上述不同的多个方向来求出。

由此，起到与有关本公开的一技术方案的计算方法同样的效果。

另外，这些包含性或具体的技术方案也可以由系统、方法、集成电路、计算机程序或计算机可读取的CD－ROM等的记录介质实现，也可以由系统、方法、集成电路、计算机程序及记录介质的任意的组合来实现。

以下，一边参照附图一边对实施方式具体地进行说明。另外，以下说明的实施方式都表示本发明的一具体例。在以下的实施方式中表示的数值、形状、材料、构成要素、构成要素的配置位置及连接形态、步骤、步骤的顺序等是一例，并非限定本公开之意。此外，关于以下的实施方式的构成要素中的、在独立权利要求中没有记载的构成要素，设为任意的构成要素进行说明。

(实施方式)

[结构]

以往，有以通过由照相机、深度传感器或LiDAR(Light Detection and Ranging，Laser Imaging Detection and Ranging：光检测与测距，激光检测与测距)传感器等的传感器检测人及房屋等的检测对象的空间(对象空间)而生成的信息(检测结果)为输入，基于该传感器的位置及姿态生成该对象空间的三维模型的技术。例如，以通过由照相机对被摄体进行拍摄而生成的图像为输入，通过基于该照相机的位置及姿态生成多个三维点，生成由该多个三维点构成的该被摄体的三维模型。这样的三维模型的生成被用于施工现场的测量等。

这里，有如用户使用照相机将对象空间摄影得到的图像、更具体地讲是通过使用照相机将对象空间摄影而得到的图像数据那样，根据通过用户使用传感器检测对象空间而得到的检测结果(检测数据)生成的多个三维点的精度(似然性)较低的情况。在这样多个三维点(更具体地讲，多个三维点的位置信息)的精度较低的情况下，有时不能生成由该多个三维点构成的三维模型。在这样的情况下，用户需要使用传感器再次检测对象空间。所以，为了得到用来生成精度较高的三维点的检测结果，要求用于使得用户能够使用传感器效率良好地检测对象空间的技术。在有关实施方式的三维重建系统中，为了得到用来生成精度较高的三维点的检测结果，为了使得用户能够使用传感器效率良好地检测对象空间，将应由传感器检测的位置以用户能知晓的方式加以显示。

图1是表示有关实施方式的三维重建系统的结构的框图。

有关本实施方式的三维重建系统是使用检测对象的空间(以下称作对象空间)的传感器的检测结果生成三维地图等的对象空间的三维模型的系统。

这里，三维模型将由该传感器检测到的对象空间中的物体(检测对象)在计算机上表现。三维模型例如具有检测对象上的各三维部位的位置信息。在本实施方式中，该传感器是照相机，通过将检测对象摄影而生成图像，检测对象空间(更具体地讲，位于对象空间中的检测对象)。

三维重建系统具备摄影装置101和重建装置102。

摄影装置101是用户使用的终端装置，例如是平板电脑终端、智能电话或笔记本型个人计算机等的便携终端。摄影装置101具有照相机的摄影功能、推测该照相机的位置及姿态(以下称作位置姿态)的功能以及显示由基于由照相机得到的摄影结果生成的多个三维点(也称作三维点云)构成的三维模型的精度的功能等。

这里，三维模型的精度是指三维模型是否能够将实际的对象空间某种程度再现的精度。例如，三维模型的精度基于构成三维模型的三维点的位置信息与实际的位置之间的误差来计算。例如，三维模型的精度越高，构成三维模型的三维点的位置信息与实际的位置之间的误差越小；三维模型的精度越低，构成三维模型的三维点的位置信息与实际的位置之间的误差越大。此外，例如在三维模型的生成较难的情况下(例如，在不能生成三维模型的情况下)，能够判定为三维模型的精度较低。

摄影装置101在摄影中及摄影后将摄影得到的图像(图像数据)及位置姿态(更具体地讲，作为表示位置姿态的信息的位置姿态信息)向重建装置102发送。

这里，图像例如是运动图像，但图像也可以是多个静止图像。

此外，摄影装置101例如在摄影中推测照相机的位置姿态，判定使用位置姿态及三维点云的至少一方进行了摄影的区域(也称作已摄影区域)及/或没有进行摄影的区域，将这些区域的至少一方提示给用户。

这里，没有进行摄影的区域例如是在将对象空间摄影时在该时刻没有进行摄影的区域(例如，被其他物体遮挡的区域)和虽然进行了摄影但没有得到三维点的区域。没有进行摄影的区域是对象空间的三维模型的精度较低的区域。另一方面，已摄影区域是得到了对象空间的三维点的区域。即，已摄影区域是对象空间的三维模型的精度较高的区域。

另外，摄影装置101也可以一边将被摄体摄影一边推测摄像部111的位置姿态，实施三维形状复原(三维模型的生成)。

重建装置102例如是与摄影装置101经由网络等连接的服务器。重建装置102取得由摄影装置101摄影的图像，使用所取得的图像生成三维模型。例如，重建装置102既可以使用由摄影装置101推测的照相机的位置姿态，也可以根据所取得的图像进行照相机的位置姿态的推测。

此外，摄影装置101与重建装置102之间的数据的交换既可以离线经由HDD(硬盘驱动器)等进行，也可以常时经由网络进行。

另外，由重建装置102生成的三维模型既可以是将三维空间致密地复原的三维点云(点云)，也可以是三维网格的集合。此外，由摄影装置101生成的三维点云是将空间中的物体的拐角等的有特征的点稀疏地三维复原的三维点的集合。即，通过由摄影装置101生成的三维点云(即，多个三维点)构成的三维模型是空间分辨率比由重建装置102生成的三维模型低的模型。换言之，由摄影装置101生成的三维模型(三维点云)是比由重建装置102生成的三维模型简单的模型。

另外，简单的模型例如是信息量较少的模型、容易生成的模型或精度较低的模型。例如，由摄影装置101生成的三维模型是比由重建装置102生成的三维模型稀疏的三维点云。

图2是表示有关实施方式的摄影装置101的结构的框图。

摄影装置101具备摄像部111、位置姿态推测部112、位置姿态合并部113、区域检测部114、UI部115、控制部116、图像保存部117、位置姿态保存部118和区域信息保存部119。

摄像部111是照相机等的摄像装置，通过将对象空间摄影来生成(取得)对象空间的图像(运动图像)。摄像部111将所取得的图像保存到图像保存部117中。

另外，以下主要说明使用运动图像的例子，但也可以代替运动图像而使用多个静止图像。

此外，摄像部111也可以对图像保存部117附加确定进行了摄影的照相机(例如摄像部111)的信息作为运动图像或静止图像的头(header)信息。

此外，摄像部111也可以是单一照相机，例如一边被用户移动一边将被摄体(对象空间)摄影。或者，摄像部111也可以是多个照相机。或者，例如摄像部111也可以具有照相机和三维计测传感器等的照相机以外的传感器。

位置姿态推测部112是使用保存在图像保存部117中的图像来推测(计算)将图像摄影得到的摄像部111的三维的位置姿态的处理部。此外，位置姿态推测部112将推测出的位置姿态(更具体地讲是位置姿态信息)保存到位置姿态保存部118中。例如，位置姿态推测部112为了推测位置姿态而使用Visual SLAM(Simultaneous Localization and Mapping：同时定位与建图)或SfM(Structure from Motion：运动结构恢复)等的图像处理。或者，位置姿态推测部112也可以使用由摄影装置101具备的各种传感器(GPS(Global PositioningSystem：全球定位系统)或加速度传感器)得到的信息来推测摄像部111的位置姿态。通过前者，能够根据来自摄像部111的信息实现位置姿态的推测。通过后者，能够以低处理实现图像处理。

此外，位置姿态推测部112例如使用摄像部111的位置姿态及图像生成三维点云。位置姿态合并部113例如生成作为表示多个三维点各自的位置的位置信息(也称作地图信息)的三维数据。

位置姿态合并部113在一个环境中进行多次摄影的情况下，将通过各摄影推测出的摄像部111的位置姿态合并，计算在同一空间中处置的位置姿态。具体而言，位置姿态合并部113使用在最初的摄影中得到的位置姿态的三维坐标轴作为基准坐标轴。并且，位置姿态合并部113将通过第2次以后的摄影求出的位置姿态的坐标变换为基准坐标轴的空间的坐标。

区域检测部114是计算多个三维点的精度的处理部。例如，区域检测部114使用保存在图像保存部117中的图像和保存在位置姿态保存部118中的位置姿态信息，在对象空间中检测能够三维重建的区域(即，精度较高的区域)和不能三维重建的区域(即，精度较低的区域)。

另外，三维点的精度是三维点的位置信息的精度。

在对象空间中不能三维重建的区域，例如是没有摄影图像的区域或三维重建的精度较低的区域，是将该区域摄影得到的图像的张数较少(比预先设定的张数少)的区域。此外，精度较低的区域在生成了三维点的情况下是所生成的三维点与实施的位置之间的误差较大的区域。此外，区域检测部114将检测出的区域的信息保存到区域信息保存部119中。

更具体地讲，区域检测部114首先取得在计算机上的空间中表现物体并且分别表示物体的位置的多个三维点。接着，区域检测部114将多个三维点的各三维点基于该三维点的法线方向分类为多个组。接着，区域检测部114以如果属于多个组的各组的至少1个三维点的第1精度较高则该组的第2精度也较高的方式计算该第2精度。

这里，多个三维点的各三维点通过摄像部111在从不同的多个摄影位置在不同的多个摄影方向上将物体摄影而生成。此外，法线方向基于被用于具有该法线方向的三维点的生成的该不同的多个摄影方向求出。具体而言，法线方向是通过得到了多个摄影结果(即图像)中的被用于三维点的生成的两个以上的摄影结果时的摄像部111的摄影位置及摄影方向的合成而求出的方向。

关于区域检测部114进行的具体的处理在后面叙述。

UI部115是将摄影得到的图像和表示由区域检测部114计算出的精度的信息(也称作区域信息)向用户提示的UI(用户接口)。此外，UI部115具有用于用户输入摄影开始指示及摄影结束指示的输入功能。例如，UI部115是带有触摸面板的显示器。

控制部116是进行摄影装置101的摄影处理等的整体的控制的处理部。

摄影装置101具备的位置姿态推测部112、位置姿态合并部113、区域检测部114及控制部116等的处理部例如由存储控制程序的存储器和执行该控制程序的处理器等实现。

图像保存部117是存储由摄像部111生成的图像的存储装置。

位置姿态保存部118是存储表示由位置姿态推测部112生成的摄像部111的摄影时的位置姿态的信息的存储装置。

区域信息保存部119是存储由区域检测部114生成的信息的存储装置。

另外，保存在区域信息保存部119中的信息既可以是对图像叠加的二维信息，也可以是三维坐标信息等的三维信息。

图像保存部117、位置姿态保存部118和区域信息保存部119例如由闪存存储器或HDD等实现。图像保存部117、位置姿态保存部118和区域信息保存部119既可以由一个存储装置实现，也可以由相互不同的存储装置实现。

[动作]

接着，对摄影装置101的动作进行说明。

图3是表示有关实施方式的摄影装置101的动作的流程图。

在摄影装置101中，根据用户的指示进行摄影的开始及停止。具体而言，通过将处于由UI部115显示的UI(图像)上的摄影开始按钮按下，开始摄影。在被输入了摄影开始指示的情况下(S101中为“是”)，摄像部111开始摄影。拍摄的图像被保存在图像保存部117中。

接着，位置姿态推测部112每当被追加图像就计算位置姿态(S102)。计算出的位置姿态被保存到位置姿态保存部118中。此时，在位置姿态以外，例如在存在由SLAM生成的三维点云的情况下，也保存所生成的三维点云。

接着，位置姿态合并部113将位置姿态合并(S103)。具体而言，位置姿态合并部113利用位置姿态的推测结果和图像，判定是否能够将到此为止摄影得到的图像的位置姿态和新摄影得到的图像的位置姿态的三维坐标空间合并，在能够的情况下将它们合并。即，位置姿态合并部113将新摄影得到的图像的位置姿态的坐标变换为到此为止的位置姿态的坐标系。由此，将多个位置姿态在一个三维坐标空间中表示。由此，能够将通过多次摄影得到的数据共同地利用，能够提高位置姿态的推测的精度。

接着，区域检测部114计算多个三维点各自的精度(S104)。具体而言，区域检测部114使用多个三维点各自的精度，计算用规定的方法将多个三维点分类的每个组的精度。此外，区域检测部114将表示计算出的精度的区域信息保存到区域信息保存部119中。

接着，UI部115显示通过上述处理得到的区域信息(S105)。例如，UI部115在摄像部111将对象空间摄影的过程中显示区域检测部114计算出的多个组的精度。

此外，反复进行这一系列的处理，直到摄影结束(S106)。例如，每当取得1帧或多帧图像就反复进行这些处理。

图4是表示有关实施方式的位置姿态的推测处理的流程图。具体而言，图4是表示步骤S102的详细情况的流程图。

首先，位置姿态推测部112从图像保存部117取得图像(S111)。

接着，位置姿态推测部112利用所取得的图像，计算各图像中的摄像部111的位置姿态(S112)。例如，位置姿态推测部112使用SLAM或SfM等的图像处理计算位置姿态。

另外，在摄影装置101具有IMU(惯性计测装置)等的传感器的情况下，位置姿态推测部112也可以利用由该传感器得到的信息来推测位置姿态。

此外，作为透镜的焦点距离等的照相机参数，位置姿态推测部112也可以使用事前进行校准而求出的结果。或者，位置姿态推测部112也可以与位置姿态的推测同时计算照相机参数。

接着，位置姿态推测部112将表示计算出的位置姿态的位置姿态信息保存到位置姿态保存部118中(S113)。

另外，也可以在位置姿态的信息的计算失败了的情况下将表示失败了的信息保存在位置姿态保存部118中。

由此，能够知道失败了的地点及时刻以及在怎样的图像中失败了，能够将这些信息在再摄影时等利用。

此外，位置姿态推测部112例如基于图像及计算出的位置姿态，生成对象空间的三维点。

图5是用来说明有关实施方式的三维点的生成方法的图。

如图5的(a)所示，例如首先，位置姿态推测部112提取多个图像的各自中包含的被摄体的特征点。

接着，位置姿态推测部112对于提取出的特征点，进行多个图像间的特征点匹配。

接着，如图5的(b)所示，位置姿态推测部112通过利用照相机几何(camerageometry)进行三角测量，生成三维点(地图信息)。例如，将三维点云与摄像部111的位置姿态一起实施优化处理。例如，使用三维点作为类似点匹配搜索的初始值。

另外，三维点(地图信息)不仅包括三维点的位置信息，也可以包括表示三维点的颜色及该三维点的周边的表面形状的信息、以及表示是由哪个帧(图像)生成的三维点的信息。

图6是表示有关实施方式的位置姿态合并处理的流程图。具体而言，图6是表示步骤S103的详细情况的流程图。

首先，位置姿态合并部113从图像保存部117取得图像(S121)。

接着，位置姿态合并部113取得当前的位置姿态(S122)。

接着，位置姿态合并部113取得至少一个当前的摄影路径以外的已摄影路径的图像及位置姿态(S123)。已摄影路径例如可以根据由SLAM得到的摄像部111的位置姿态的时间序列信息生成。此外，已摄影路径的信息例如被保存在位置姿态保存部118中。具体而言，每当进行摄影尝试就保存SLAM的结果，在第N(N是自然数)次摄影(当前的路径)中，将第N次摄影的三维坐标轴与第1～N－1次的结果(过去的路径)的三维坐标轴合并。

另外，也可以代替SLAM的结果而使用由GPS或Bluetooth(蓝牙)得到的位置信息。

接着，位置姿态合并部113判定是否能够合并(S124)。具体而言，位置姿态合并部113判定所取得的已摄影路径的位置姿态及图像是否与当前的位置姿态及图像类似，在类似的情况下判断为能够合并，在不类似的情况下判断为不能合并。更具体地讲，位置姿态合并部113根据各图像计算表现图像整体的特征的特征量，通过其比较判定是否是相似的视点的图像。此外，在摄影装置101具有GPS，知晓摄影装置101的绝对位置的情况下，位置姿态合并部113也可以利用该信息来判定在与当前的图像相同或接近的位置处摄影的图像。

在能够合并的情况下(S124中为“是”)，位置姿态合并部113进行路径合并处理(S125)。具体而言，位置姿态合并部113计算当前的图像与拍摄了与该图像相似的区域的参照用图像之间的三维相对位置。位置姿态合并部113通过对参照用图像的坐标添加计算出的三维相对位置，计算当前的图像的坐标。

图7是表示有关实施方式的对象空间中的摄影的状况的俯视图。另外，路径C是已摄影及已推测位置姿态的照相机A的路径。此外，在该图中，表示了照相机A存在于路径C上的规定的位置处的情况。此外，路径D是当前正在摄影的照相机B的路径。此时，当前的照相机B和照相机A以同样的视野将图像摄影。此外，这里表示两个图像由不同的照相机得到的例子，但也可以使用由相同的照相机在不同的时刻摄影得到的两个图像。例如，照相机A及照相机B分别也可以是摄像部111。

图8是用来说明有关实施方式的图像例及比较处理的例子的图。具体而言，图8是表示图7所示的照相机A及照相机B进行了摄影的情况下的图像例及比较处理的例子的图。

如图8所示，位置姿态合并部113对于各个图像提取ORB(Oriented FAST andRotated BRIEF：定向快速特征和旋转二值鲁棒独立元素特征)特征量等的特征量，基于它们的分布或数值等提取图像整体的特征量。例如，位置姿态合并部113将如Bag of words(词袋)那样在图像中出现的特征量聚类，使用每个类的直方图作为特征量。

位置姿态合并部113进行图像间的图像整体的特征量的比较，在判定为拍摄了相同部位的图像的情况下，通过在图像间进行特征点匹配，计算各个照相机间的相对的三维位置。换言之，位置姿态合并部113从已摄影的路径的多个图像中搜索画面整体的特征量接近的图像。位置姿态合并部113基于该相对的位置关系，将路径D的三维位置变换为路径C的坐标系。由此，能够用一个坐标系表示多个路径。这样，能够将多个路径中的位置姿态合并。

另外，在摄影装置101具有GPS等的能够检测绝对位置的传感器的情况下，位置姿态合并部113也可以基于其检测结果进行合并处理。例如，位置姿态合并部113也可以不进行上述使用图像的处理，而进行使用传感器的检测结果的处理，也可以除了图像以外还使用传感器的检测结果。例如，位置姿态合并部113也可以利用GPS的信息，进行作为比较对象的图像的缩减。具体而言，位置姿态合并部113也可以根据GPS，将处于距当前的照相机位置的纬度经度分别为±0.001度以下的范围中的位置姿态的图像设定为比较对象。由此，能够削减处理量。

图9是表示有关实施方式的精度计算处理的流程图。具体而言，图9是表示步骤S104的详细情况的流程图。

首先，区域检测部114从图像保存部117取得图像，从位置姿态保存部118取得位置姿态，从位置姿态保存部118取得表示由SLAM等生成的特征点的三维位置的三维点云，计算三维点云的各三维点的法线方向(S131)。即，区域检测部114使用位置姿态信息、特征点的匹配信息及所生成的三维点云，计算各三维点的法线方向。

另外，这里所说的三维点的法线方向，表示与三维点云的每个三维点对应而设定的规定的朝向。

图10及图11是用来说明有关实施方式的三维点的法线的计算方法的图。具体而言，图10及图11是用来说明基于图像A及图像B生成的三维点P的法线方向的计算方法的图。

如图10所示，首先，区域检测部114基于生成为了生成三维点P而使用的各图像时的摄像部111的位置姿态，按每个图像计算三维点P的法线。

具体而言，区域检测部114基于图像A，计算三维点P的法线A。法线A的法线方向例如是图像A的法线方向的反方向。具体而言，法线A的法线方向是生成图像A时的摄像部111的摄影方向的反方向。

同样，区域检测部114基于图像B，计算三维点P的法线B。法线B的法线方向例如是图像B的法线方向的反方向。具体而言，法线B的法线方向是生成图像B时的摄像部111的摄影方向的反方向。

这样，与各图像对应的三维点的法线方向为使摄像部111的摄影方向(换言之光轴方向)反转的方向。

另外，在三维点的法线方向的计算中使用的图像例如使用基于共现图(covisibility graph)等在该三维点的特征点匹配中使用的图像。

接着，区域检测部114基于与各图像对应的三维点的法线，将三维点的法线决定为一个。具体而言，如图11所示，区域检测部114计算法线A与法线B的合成向量，作为三维点P的法线P。具体而言，区域检测部114使用Visual SLAM或SfM中的共现图，通过对与三维点P对应的摄像部111的法线方向向量(即，摄像部111的摄影方向的向量)取平均，计算三维点P的法线P，由此来决定三维点P的法线方向。

由此，区域检测部114计算与三维点云的每个三维点对应而设定的三维点的法线方向(规定的朝向)。更具体地讲，区域检测部114生成表示三维点的法线方向的朝向信息。

此外，如上述那样，例如基于在不同的摄像部111的位置处得到的摄像部111的多个图像来生成多个三维点。此外，例如区域检测部114根据摄像部111将多个图像摄影时的各自的摄影方向的合成，计算三维点的法线方向。例如，法线方向通过上述的各个摄影方向的相反朝向的方向的合成来求出。

另外，用来得到在多个三维点的生成中使用的检测结果的传感器也可以不是摄像部111即图像传感器。作为该传感器，例如也可以采用LiDAR传感器、深度传感器、图像传感器的某个或它们的组合。例如，多个三维点的各三维点通过从不同的多个位置在不同的多个方向上用传感器检测来自物体的光而生成。例如，被用于具有法线方向的三维点的生成的该不同的多个方向的合成方向与法线方向相反。

通常，在传感器的规格中包括可测量范围(能够生成三维点的距离)。可测量范围有按每个传感器而不同的情况。因而，可以考虑根据距测量位置的距离区分使用传感器来生成多个三维点。在此情况下，在将应摄影的区域向用户提示时，也可以根据到应摄影的区域的距离向用户提示使用哪个传感器。具体而言，摄影装置101也可以预先存储与传感器的规格有关的信息，UI部115显示三维点的生成精度较低的区域和适合于该区域的传感器。

此外，摄影方向的合成例如通过将摄影方向作为以三维点为基准的向量来求出。此外，在求出合成时，该向量既可以是单位(大小)向量，也可以以摄影的位置与三维点的距离为大小。

再次计算图9，接着步骤S131，区域检测部114将三维空间(三维点所在的、生成三维模型的计算机上的虚拟空间)分割为多个体素(小空间)，按每个体素参照三维点(S132)。即，区域检测部114按每个体素，参照体素中包含的三维点。

接着，区域检测部114按每个体素，基于三维点的法线方向将三维点分类(S133)。具体而言，区域检测部114按每个体素，基于规定了体素的面的位置、三维点的位置信息和朝向信息，将体素中包含的三维点分类。

图12、图13及图14是用来说明有关实施方式的三维点的分类方法的图。

首先，区域检测部114例如将再投影误差信息反映到三维点云的各三维点中。三维点根据图像中的特征点生成。区域检测部114在将所生成的三维点投影到图像上的情况下，计算所投影的三维点与作为基准的特征点之间的偏差量。该偏差量是再投影误差，区域检测部114通过按三维的每个维度计算再投影误差，能够将再投影误差信息反映到各三维点中。能够使用再投影误差进行精度的评价。具体可以是，再投影误差越大，判定为精度越低，再投影误差越小，判定为精度越高。

接着，如图12所示，区域检测部114将三维空间分割为多个体素。由此，各三维点包含在多个体素的某个中。

另外，可以根据三维点的配置任意地变更体素的尺寸。例如，也可以在三维点密集的部位减小体素的尺寸，与三维点较少的部位相比更细地分割。

接着，如图13所示，区域检测部114将体素中包含的多个三维点分类为多个组。区域检测部114按每个体素进行该分类。

另外，在图13所示的例子中，将多个三维点分类为组A、组B和组C，但组的数量可以是任意的。

区域检测部114例如基于规定了体素的面的位置、三维点的位置信息和朝向信息，将体素中包含的三维点分类为多个组。

如图14所示，例如区域检测部114将位于三维点的法线方向上的体素的面相同的三维点，彼此分类为相同的组。这样，例如将组与体素的面一一对应。在图14所示的例子中，将属于组A的三维点分组为与体素的上表面(位于纸面上方的面)对应的组，将属于组B的三维点分组为与体素的正面(位于纸面近前的面)对应的组。

这样，例如区域检测部114在三维点的分类中，将三维空间分割为多个体素，将多个三维点各自基于每个三维点的法线方向和多个体素中的包含该三维点的体素分类为多个组。具体而言，区域检测部114例如在三维点的分类中，在多个三维点中将包含在相同的体素中、而且规定了该相同的体素的多个面中的位于该三维点的法线方向的面相同的三维点分类到相同的组中。例如，假设在多个体素中的第1体素中，包括多个三维点中的第1三维点和第2三维点。此外，在此情况下，假设在第1三维点的法线方向上延伸的线穿过规定(形成)第1体素的多个平面中的第1面。即，假设从第1三维点观察，第1面位于第1法线方向上。在此情况下，例如区域检测部114在沿第2三维点的法线方向延伸的线穿过第1面的情况下，将第1三维点和第2三维点分类到相同的组中。另一方面，例如区域检测部114在沿第2三维点的法线方向延伸的线不穿过第1面的情况下，将第1三维点和第2三维点不分类到相同的组中，而分类到不同的组中。

另外，多个三维点的分类方法并不限定于使用体素的分类方法。区域检测部114例如也可以计算两个三维点各自的法线向量的内积，如果内积是规定值以上则将该两个三维点分类到相同的组中，如果内积小于规定值则进行分类以使该两个三维点为不同的组。此外，多个三维点的分类方法并不限定于两个三维点的法线方向的比较结果。区域检测部114例如也可以如上方、下方、左方或右方等那样，基于三维点的法线方向沿着这些规定的方向中的哪个方向，将多个三维点分类。

再次参照图9，接着步骤S133，区域检测部114通过计算所分类的每个组的精度，生成表示计算出的精度的区域信息(S134)。例如，区域检测部114基于属于各组的三维点的再投影误差或密度，计算每个组的精度。例如，区域检测部114将三维点的再投影误差比规定的误差低的三维点所属的组计算为精度较高的组。另一方面，例如区域检测部114将三维点的再投影误差为规定的误差以上的三维点所属的组计算为精度较低的组。

图15是用来说明有关实施方式的组的精度的计算方法的图。

在图15所示的例子中，在从规定的位置(例如，位于该面的法线方向的部位)观察属于与某个体素的面对应的组的三维点(在本例中是3个三维点)的情况下，由较深的颜色表现的三维点其再投影误差较低(即，精度较高)，由较浅的颜色表现的三维点其再投影误差较高(即，精度较低)。在此情况下，例如在属于该组的多个三维点中，半数以上是规定的精度以上，所以可以判定从规定的位置观察图17所示的体素空间的该组的精度较高。

这样，例如区域检测部114在精度的计算中，对于多个组，分别基于表示属于该组的1个以上的三维点各自的精度的再投影误差来计算该组的精度。

如上述那样，通过例如基于位置信息、朝向信息及体素的面的位置决定三维点所属的组，从而，按每个组计算的精度反映了从体素的外侧观察经由与每个组对应的体素的各面观察位于体素的内侧的1个以上的三维点的情况下的精度。即，在组的精度中，可以计算与观察三维模型的位置及朝向对应的精度。

另外，区域检测部114既可以基于属于所分类的组的全部三维点计算精度，也可以基于属于所分类的组的一部分的三维点计算精度。例如，区域检测部114在精度的计算中，对于多个组分别从属于该组的1个以上的三维点中提取规定的数量的三维点，基于提取出的规定的数量的三维点各自的精度计算该组的精度。表示规定的数量等的信息例如被预先存储在摄影装置101具备的HDD等的存储装置中。规定的数量可以任意地设定，没有被特别限定。

此外，组的精度既可以如规定的精度以上或不到规定的精度那样以两个等级计算，也可以以三个等级以上的多个等级来判定。

此外，在多个三维点属于相同的组的情况下，在精度的计算中，既可以采用多个三维点的再投影误差的最大值，也可以采用多个三维点的再投影误差的最小值，也可以采用多个三维点的再投影误差的平均值，也可以采用多个三维点的再投影误差的中位数。此外，例如在采用多个三维点的再投影误差的平均值那样的情况下，也可以从多个三维点中提取(采样)规定的数量的三维点，计算提取出的数量的三维点的再投影误差的平均值。

此外，在不存在与体素的面对应的三维点的情况下，既可以将与该面对应的精度计算为较低，也可以判定为不能生成从体素的外侧经由该面观察位于体素的内侧的三维模型的情况下的三维模型。

此外，区域检测部114也可以除了三维点以外还基于从深度传感器或LiDAR等得到的信息来计算精度。例如，区域检测部114也可以基于表示从深度传感器得到的三维点的重叠次数的信息或反射强度等的精度信息来计算精度。例如，区域检测部114也可以利用由RGB－D传感器等得到的深度图像来计算精度。例如，有距该传感器的距离越近则生成的三维点的精度越高、越远则精度越下降的趋势。由此，例如区域检测部114也可以根据深度来计算精度。此外，例如区域检测部114也可以根据到区域的距离来计算(判定)精度。例如，区域检测部114也可以距离越近则判定为精度越高。例如，也可以将距离与精度的关系以线性定义，也可以使用其他的定义。

此外，区域检测部114在摄像部111是立体照相机的情况下，能够根据视差图像生成深度图像，所以也可以通过与使用深度图像的情况同样的方法来计算精度。在此情况下，区域检测部114也可以对位于不能根据视差图像计算深度值的区域中的三维点判定为精度较低。或者，区域检测部114也可以对位于不能计算深度值的区域中的三维点，根据周边的像素来推测深度值。例如，区域检测部114以对象像素为中心，计算5×5像素的平均值。

接着，区域检测部114将所生成的区域信息输出(S135)。该区域信息例如既可以是将表示体素及与每个体素的面对应的组的精度的各信息叠加到摄像部111摄影的图像中的图像，也可以是对三维地图等的三维模型配置了各信息的信息。

另外，区域检测部114也可以计算属于多个组中包含的第1组的两个以上的三维点的两个以上的法线方向的合成方向的相反方向。例如，区域检测部114也可以将计算结果作为组的法线方向包含在区域信息中。

图16是有关实施方式的显示处理的流程图。具体而言，图16是表示步骤S105的详细情况的流程图。

首先，UI部115确认是否有要显示的信息(显示信息)(S141)。具体而言，UI部115确认是否没有新追加到图像保存部117中的图像，如果有则判定为有显示信息。此外，UI部115确认是否没有新追加到区域信息保存部119中的信息，如果有则判定为有显示信息。

在有显示信息的情况下(S141中为“是”)，UI部115取得图像及区域信息之类的显示信息(S142)。

接着，UI部115显示所取得的显示信息(S143)。

接着，对显示在UI部115上的显示信息(更具体地讲，表示每组的精度的信息)的具体例进行说明。

图17是表示有关实施方式的体素的显示例的图。图17是表示按规定了体素的每个面显示精度的例子的图。

如图17所示，例如UI部115在规定了体素的面上，对应于计算出的精度以预先设定的颜色或深浅度(在图17中为阴影的深浅度)等显示每组的精度。例如，在与规定的精度以上的精度的组对应的面以及与不到规定的精度的精度的组对应的面中，将各面用不同的颜色显示。

这样，例如多个组分别与规定了体素的多个面的某个对应。UI部115将多个三维点的各三维点分类到与规定多个体素中的包含该三维点的体素的多个面中的、在该三维点的法线方向上延伸的线所穿过的面(穿过面)相对应的组中。此外，UI部115例如将该穿过面以与对应于该穿过面的组的精度对应的颜色显示。具体而言，例如UI部115在与该穿过面对应的组的精度为规定的精度以上的情况和与该穿过面对应的组的精度不到规定的精度的情况下，将该穿过面用不同的颜色显示。表示规定的精度等的阈值信息例如被预先存储在摄影装置101具备的HDD等的存储装置中。规定的精度可以预先任意地设定，没有被特别限定。

图18、图19、图20及图21是表示有关实施方式的UI画面的显示例的图。

另外，在图18～图21所示的例子中，假设多个三维点被按包含其的体素分类为组。

此外，在图18及图19中，对于被用于三维点的生成的多个图像中的一个图像叠加显示表示精度的信息。

这样，例如UI部115也可以在摄像部111所拍摄的、被用于生成多个三维点的图像上，叠加显示区域检测部114计算出的多个组的精度。例如，UI部115也可以在摄像部111正在摄影的图像上叠加显示区域检测部114计算出的精度。或者，例如UI部115对于对象空间的地图叠加显示区域检测部114计算出的多个组的精度。表示对象空间的地图的地图信息例如被预先存储在摄影装置101具备的HDD等的存储装置中。

此外，在图20及图21中，对于表示由位置姿态推测部112生成的三维模型的俯视图(从上方观察三维模型的图)的图像上叠加显示了表示精度的信息。

这样，例如UI部115对于分辨率比由多个三维点构成的三维模型(第1三维模型)低的三维模型(第2三维模型)、而且是由多个三维点的至少一部分构成的三维模型，叠加显示区域检测部114计算出的多个组的精度。即，UI部115也可以用所谓的3D观察器(viewer)来显示体素。第2三维模型例如是由位置姿态推测部112生成的三维模型。或者，例如UI部115在由位置姿态推测部112生成的三维模型的俯视图上叠加显示区域检测部114计算出的多个组的精度。

在图18所示的例子中，UI部115虽然生成了三维点，但仅对与计算出的精度不到规定的精度的组对应的体素赋予颜色(在图18中是阴影)等而显示。另一方面，例如对于与计算出的精度为规定的精度以上的组对应的体素，仅显示体素的边以表示体素的形状。没有被显示体素的部位例如是一个三维点也没有生成的部位。

由此，用户能够简单地掌握精度较高的区域和精度较低的区域。

此外，在图19所示的例子中，UI部115对于与计算出的精度为规定的第2精度以上的组对应的体素赋予颜色(在图18中是阴影)等而显示。另一方面，例如对于与计算出的精度不到规定的第2精度的组对应的体素，仅显示体素的边以表示体素的形状。此外，UI部115将与计算出的精度为规定的第1精度以上的组对应的体素，用不同于与计算出的精度不到规定的第1精度的组对应的体素的颜色或深浅(在图19中用阴影的深浅)显示。

这样，例如UI部115其多个组分别对应于多个体素的某个。例如，各组对应于包含属于该组的三维点的体素。例如，UI部115将多个体素以与对应于该体素的组的精度对应的颜色显示。

由此，用户对于应摄影的区域能够简单地判断优先顺序。

另外，UI部115既可以如上述那样基于阈值对体素(或体素的面)进行颜色区分，也可以根据精度而赋予灰度等级来显示体素。

此外，也可以将在对象区域中没有被摄影的方向(未摄影方向)可视化。例如，也可以是，UI部115不能将被摄影的部位的背侧摄影等。在图19所示的例子中，也可以显示不能将纸面左侧的颜色较深的体素的左侧摄影、不能进行纸面右侧的颜色稍深的体素的右侧的摄影以及对于纸面中央的白色的体素不能进行背侧的摄影等的表示不能摄影的部位的信息。

在图20所示的例子中，UI部115仅对与计算出的精度为规定的精度以上的组对应的体素赋予颜色(在图19中是阴影)等而显示。另一方面，例如，对于与计算出的精度不到规定的精度的组对应的体素仅显示体素的边以表示体素的形状。

由此，用户能够简单地掌握精度较高的区域和精度较低的区域。

在图21所示的例子中，UI部115仅对与计算出的精度不到规定的精度的组对应的体素赋予颜色(在图19中是阴影)等而显示。另一方面，例如不显示与计算出的精度为规定的精度以上的组对应的体素。

这样，例如UI部115仅显示与对应于该体素的组的精度不到规定的精度的组对应的该体素。

由此，用户能够简单地掌握精度较低的区域。

另外，如上述那样，表示精度的信息既可以用颜色表示，也可以用字符或标记表示。即，该信息只要是用户能够视觉性地判断各区域的信息即可。

由此，用户仅通过观看由UI部115显示的图像就知道只要将哪里摄影就可以，所以能够避免拍摄遗漏等。

另外，也可以对于低精度区域等的想要使用户关注的区域使用闪烁等用户容易关注的显示。另外，叠加区域的信息的图像也可以是过去的图像。

此外，UI部115也可以对摄影中的图像叠加显示表示精度的信息。在此情况下，由于能够减少显示所需要的区域，所以即使是智能电话等的较小的终端也容易辨识。由此，也可以将这些显示方法根据终端的类别而切换。

此外，UI部115也可以用字符或声音提示在当前位置的几米前发生了低精度区域等。该距离可以根据位置推测的结果计算。通过使用字符信息，能够对用户正确地通知信息。此外，在使用声音的情况下，由于在摄影中不将视线移开等即可，所以能够安全地进行通知。

此外，也可以不是在图像上二维显示，而是通过AR(Augmented Reality：增强现实)眼镜或HUD(Head－Up Display：抬头显示)将区域的信息叠加在现实空间中。据此，与从现实的视点观察到的影像的亲和性变高，能够对用户直观地提示应摄影的部位。

此外，也可以随着摄影视点的移动而实时地变更精度的显示。

由此，用户能够在参照当前的摄像部111视点的图像的同时简单地掌握已摄影区域等。

此外，摄影装置101也可以在位置姿态的推测失败了的情况下对用户通知位置姿态的推测失败了。

由此，用户能够迅速地进行失败时的重做。

此外，摄影装置101也可以检测用户回到了失败位置的情况，向用户用字符、图像、声音或振动等提示该情况。例如，能够利用图像整体的特征量等检测出用户回到了失败位置。

此外，摄影装置101也可以在检测到低精度区域的情况下对用户指示再次摄影及摄影方法。这里，摄影方法例如是将该区域拍摄得更大等。例如，摄影装置101也可以使用字符、图像、声音或振动等进行该指示。

由此，能够提高取得的数据的品质，所以能够提高生成的三维模型的精度。

此外，计算出的精度也可以不是向摄影中的图像的叠加，而是对平面图或立体图等的来自第三者视点的图像叠加区域的信息。例如，如果是能够准备三维地图的环境，则也可以在三维地图上叠加显示已摄影区域等。

此外，在建筑现场等中存在对象空间的CAD等的地图的情况下，或者以前在相同的场所进行了三维模型化而已经生成了三维地图信息的情况下，摄影装置101也可以使用它们。

此外，摄影装置101在能够利用GPS等的情况下，也可以基于由GPS得到的纬度经度信息制作地图信息。

这样，通过将摄像部111的位置姿态的推测结果和已摄影区域叠加在三维地图上并作为俯视图显示，用户能够简单地掌握能够将哪个区域摄影以及经由哪个路径进行了摄影等。例如，能够使用户注意到通过向摄影中的图像进行提示时难以理解的、不能将柱的背侧摄影等的拍摄遗漏等，所以能够实现有效率的摄影。

此外，在没有CAD等的环境中也可以无地图而同样地使用从第三者视点的显示。在此情况下，由于没有作为参照的物体，所以辨识性下降，但用户能够掌握当前的摄影位置与低精度区域的位置关系。

此外，用户能够确认没有拍摄到预想有物体的区域的状况。由此，在此情况下也能够实现摄影的高效化。

此外，这里表示了平面图的例子，但也可以使用从其他视点观察的地图信息。此外，摄影装置101也可以具有将三维地图的视点变更的功能。例如，也可以使用用于由用户进行视点的变更操作的UI。

此外，例如UI部115也可以显示包含在区域信息中的、表示多个组的法线方向的信息。由此，用户能够简单地掌握为了使三维点的精度提高而应检测的摄影方向。

[效果等]

如以上这样，有关本实施方式的计算装置进行图22所示的处理。

图22是有关实施方式的计算方法的流程图。

首先，计算装置取得在计算机上的空间中表现物体并且分别表示物体的位置的多个三维点(S151)。计算装置例如是上述的摄影装置101。此外，传感器例如是上述的摄像部111。另外，传感器只要是能得到用来生成三维点的检测结果的传感器即可，例如也可以是LiDAR等的传感器。

接着，计算装置将多个三维点的各三维点基于该三维点的法线方向分类为多个组(S152)。

接着，计算装置以属于多个组的各组的至少1个三维点的第1精度较高则该组的第2精度也较高的方式计算第2精度(S153)。

这里，多个三维点的各三维点通过在从不同的多个位置在不同的多个方向上用传感器检测来自物体的光而生成。另外，由传感器检测的光可以是可视光或近红外光等的任意的波长的光。

此外，法线方向基于被用于具有该法线方向的三维点的生成的不同的多个方向求出。

由此，能够根据传感器检测的来自物体的光的方向将多个三维点分类为多个组，根据属于该多个组的各组的三维点的精度计算该三维点所属的每个组的精度。即，根据有关本公开的一技术方案的计算装置，由于将多个三维点基于各三维点的法线方向分类，所以能够计算被用于分类的每个法线方向的精度。例如，由此通过在与精度较低的组对应的法线方向、例如属于该组的某个三维点的法线方向的反方向或属于该组的多个三维点的平均的法线方向的反方向上检测物体，从而能够生成精度较高的三维点(更具体地讲，三维点的位置信息)。即，根据有关本公开的一技术方案的计算方法，能够适当地计算检测用来生成精度较高的三维点的信息的传感器的检测方向。

例如，在如上述那样传感器是摄像部111那样的情况下，计算装置一边用摄像部111将图像摄影一边进行摄像部111的位置姿态的推测，基于推测结果进行将对象空间不是从1个方向而是从多个方向观察的情况下的已摄影部位及精度的判定，将在摄影中已摄影部位与精度一起进行三维的提示。

由此，通过将摄影失败等不进行花费处理时间的三维模型的生成等而向用户提示，能够稳定地取得摄影数据(图像)，能够大幅地削减在再摄影等中花费的作业时间。此外，用户能够三维地掌握已摄影空间及已摄影的空间的三维点的生成精度。

此外，例如计算装置在上述分类(S151)中，将计算机上的空间分割为多个小空间，将多个三维点分别基于每个该三维点的法线方向和多个小空间中的包含该三维点的小空间分类为多个组。小空间例如是上述的体素。

由此，能够计算每个法线方向且每个场所的精度。

此外，例如在多个小空间中的第1小空间中，包含多个三维点中的第1三维点和第2三维点。此外，例如在第1三维点的法线方向上延伸的线穿过规定第1小空间的多个平面中的第1面。此外，例如计算装置通过上述分类，在沿第2三维点的法线方向延伸的线穿过第1面的情况下，将第1三维点和第2三维点分类到相同的组中。规定小空间的多个平面例如是上述的体素的各面。

由此，能够将多个三维点按与该三维点的法线方向对应的每个平面分类为多个组。

此外，例如传感器是LiDAR传感器、深度传感器、图像传感器的某个或它们的组合。

例如，传感器是图像传感器即摄像装置(照相机)，多个三维点基于在不同的摄像装置的位置处得到的摄像装置的多个图像生成，法线方向通过摄像装置将多个图像摄影时的各个摄影方向的合成来求出。摄像装置例如是上述的摄像部111。

基于通过摄像装置摄影的图像的三维点的生成与LiDAR等的激光计测相比处理较简单。因而，由此即使是简单地生成的三维点，也能够适当地基于摄像装置的摄影方向决定三维点的法线方向。

此外，例如被用于具有法线方向的三维点的生成的不同的多个方向的合成方向与法线方向相反。

例如，法线方向在传感器是摄像装置的情况下，通过上述各个摄影方向的相反朝向的方向的合成来求出。

此外，例如多个组分别与规定多个小空间的多个平面中的某个对应。此外，例如计算装置通过上述分类，将多个三维点的各三维点分类为与规定多个小空间中的包含该三维点的小空间的多个平面中的、在该三维点的法线方向上延伸的线穿过的穿过面相对应的组。进而，计算装置例如将该穿过面用与对应于该穿过面的组的精度对应的颜色显示。

由此，由于将穿过面用与对应于该穿过面的组的精度对应的颜色显示，所以能够进行辅助用户所操作的传感器的方向的调整的显示。

此外，例如计算装置将穿过面在对应于该穿过面的组的精度为规定的精度以上的情况和对应于该穿过面的组的精度不到规定的精度的情况下用不同的颜色显示。

由此，由于将穿过面在对应于该穿过面的组的精度为规定的精度以上的情况和对应于该穿过面的组的精度不到规定的精度的情况下用不同的颜色显示，所以能够进行辅助用户所操作的传感器的方向的调整的显示。

此外，例如多个组分别与多个小空间的某个对应。此外，例如计算装置将多个小空间用与对应于该小空间的组的精度对应的颜色显示。

由此，由于将多个小空间用与对应于该小空间的组的精度对应的颜色显示，所以能够进行辅助用户所操作的传感器的方向的调整的显示。

此外，例如计算装置仅显示多个小空间中的、与对应于该小空间的组的精度不到规定的精度的该组相对应的该小空间。

由此，由于仅显示多个小空间中的、与对应于该小空间的组的精度不到规定的精度的该组相对应的该小空间，所以能够进行辅助用户所操作的传感器的方向的调整的显示。

此外，例如计算装置在上述计算(S152)中，对于多个组分别从属于该组的1个以上的三维点中提取规定的数量的三维点，基于提取出的规定的数量的三维点各自的精度计算该组的精度。

由此，能够削减处理量并且适当地计算多个组的精度。

此外，例如计算装置在上述计算中，对于多个组分别基于表示属于该组的1个以上的三维点各自的精度的再投影误差来计算该组的精度。

由此，能够适当地计算多个三维点的精度。

此外，例如计算装置对于分辨率比由多个三维点构成的第1三维模型低、而且由多个三维点的至少一部分构成的第2三维模型叠加显示多个组的精度。第1三维模型例如是由重建装置102生成的分辨率较高的三维模型。此外，第2三维模型例如是由上述的摄影装置101生成的三维模型。

由此，由于对于第2三维模型叠加显示多个组的精度，所以能够进行辅助用户所操作的传感器的方向的调整的显示。

此外，例如计算装置对于第2三维模型的俯视图叠加显示多个组的精度。

由此，由于对于第2三维模型的俯视图叠加显示多个组的精度，所以能够进行辅助用户所操作的传感器的方向的调整的显示。

此外，例如传感器是图像传感器，计算装置对于该图像传感器所拍摄(通过图像传感器检测来自物体的光而生成的)、而且为了生成多个三维点而使用的图像，叠加显示多个组的精度。

由此，由于对摄像装置所拍摄的图像叠加显示多个组的精度，所以能够进行辅助用户所操作的传感器的方向的调整的显示。

此外，例如计算装置对于对象空间的地图叠加显示多个组的精度。

由此，由于在地图上叠加显示多个组的精度，所以能够进行辅助用户所操作的传感器的方向的调整的显示。

此外，例如计算装置在传感器检测来自物体的光的过程中显示多个组的精度。

由此，能够对正在进行来自物体的光的检测的过程中的用户，进行辅助用户所操作的传感器的方向的调整的显示。

此外，例如计算装置计算属于多个组中包含的第1组的两个以上的三维点的两个以上的法线方向的合成方向的相反方向。

由此，能够计算与多个组的各组对应的方向。

另外，计算装置也可以不是计算属于多个组中包含的第1组的两个以上的三维点的两个以上的法线方向的合成方向的相反方向，而是计算该两个以上的三维点中的代表点的法线方向的相反方向。

例如，计算装置具备处理器和存储器，处理器使用存储器进行上述处理。

(其他实施方式)

以上，对有关本公开的实施方式的计算方法等进行了说明，但本公开并不限定于该实施方式。

例如，在上述实施方式中，体素(小空间)是长方体，但可以是锥体状等的任意的形状。此外，多个体素既可以分别是相同的形状，也可以是不同的形状。

此外，摄像部111既可以将可视光图像摄影，也可以将非可视光图像(例如红外图像)摄影。在使用红外图像的情况下，在夜晚等的环境较暗的状况下也能够进行摄影。

此外，摄像部111既可以是单眼照相机，也可以如立体照相机那样具有多个照相机。通过使用校正后的立体照相机，能够提高位置姿态推测部112推测的三维的摄像部111的位置姿态的推测的精度。

此外，摄像部111也可以是RGB―D传感器那样的也能够将深度图像摄影的设备。在此情况下，由于能够取得作为三维信息的深度图像，所以能够改善摄像部111的位置姿态的推测的精度。此外，能够利用深度图像作为后述的三维姿态的合并时的对位的信息。

此外，上述的“以上”及“不到”等的表现在以阈值等为边界进行比较的意义下使用，也可以用“更大”及“以下”等替换来使用。

此外，例如上述有关实施方式的摄影装置等中包含的各处理部也可以作为集成电路即LSI(Large Scale Integration)实现。它们既可以单独地1芯片化，也可以以包含一部分或全部的方式1芯片化。

此外，例如集成电路化并不限于LSI，也可以由专用电路或通用处理器实现。也可以利用在LSI制造后能够编程的FPGA(Field Programmable Gate Array：现场可编程门阵列)或能够重建LSI内部的电路单元的连接及设定的可重构处理器。

此外，例如在上述各实施方式中，各构成要素也可以由专用的硬件构成，或通过执行适合于各构成要素的软件程序来实现。各构成要素也可以通过CPU(Central ProcessingUnit：中央处理单元)或处理器等的程序执行部将记录在硬盘或半导体存储器等的记录介质中的软件程序读出并执行来实现。

此外，例如本公开也可以作为执行计算方法等的计算装置等实现。此外，本公开也可以作为用于计算机执行计算方法的程序或存储有该程序的非暂时性的记录介质实现。

此外，例如框图中的功能块的分割是一例，也可以将多个功能块作为一个功能块实现，或将一个功能块分割为多个，或将一部分的功能转移到其他功能块中。此外，也可以将具有类似的功能的多个功能块的功能由单一的硬件或软件并行或分时地处理。

此外，例如流程图中的各步骤被执行的顺序是为了具体地说明本公开而用于进行例示的，也可以是上述以外的顺序。此外，也可以将上述步骤的一部分与其他步骤同时(并行)执行。

以上，对于有关一个或多个技术方案的计算方法等基于实施方式进行了说明，但本公开并不限定于该实施方式。只要不脱离本公开的主旨，对本实施方式施以本领域技术人员想到的各种变形后的形态或将不同实施方式的构成要素组合而构建的形态也可以也包含在一个或多个技术方案的范围内。

工业实用性

本公开能够应用于摄影装置。

标号说明

101 摄影装置

102 重建装置

111 摄像部

112 位置姿态推测部

113 位置姿态合并部

114 区域检测部

115 UI部

116 控制部

117 图像保存部

118 位置姿态保存部

119区域信息保存部

Claims (18)

1.一种计算方法，其特征在于，

取得在计算机上的空间中表现物体并且分别表示上述物体的位置的多个三维点；

将上述多个三维点的各三维点基于该三维点的法线方向分类为多个组；

以如果属于上述多个组的各组的至少1个三维点的第1精度较高则该组的第2精度也较高的方式计算上述第2精度；

上述多个三维点的各三维点通过由传感器从不同的多个位置在不同的多个方向上检测来自上述物体的光而生成；

上述法线方向基于被用于具有该法线方向的三维点的生成的上述不同的多个方向来求出。

2.如权利要求1所述的计算方法，其特征在于，

在上述分类中，

将上述空间分割为多个小空间；

将上述多个三维点分别基于该三维点的法线方向和上述多个小空间中的包含该三维点的小空间分类为上述多个组。

3.如权利要求2所述的计算方法，其特征在于，

在上述多个小空间中的第1小空间中，包含上述多个三维点中的第1三维点和第2三维点；

在上述第1三维点的法线方向上延伸的线穿过规定上述第1小空间的多个平面中的第1面；

在上述分类中，在沿上述第2三维点的法线方向延伸的线穿过上述第1面的情况下，将上述第1三维点和上述第2三维点分类到相同的组中。

4.如权利要求1～3中任一项所述的计算方法，其特征在于，

上述传感器是LiDAR传感器、深度传感器、图像传感器中的某个或它们的组合。

5.如权利要求1～4中任一项所述的计算方法，其特征在于，

被用于具有上述法线方向的上述三维点的生成的上述不同的多个方向的合成方向与上述法线方向相反。

6.如权利要求2所述的计算方法，其特征在于，

上述多个组分别对应于规定上述多个小空间的多个平面中的某个；

在上述分类中，将上述多个三维点的各三维点分类为与规定上述多个小空间中的包含该三维点的小空间的多个平面中的、在该三维点的法线方向上延伸的线所穿过的穿过面相对应的组；

将上述穿过面用与对应于该穿过面的组的精度相对应的颜色显示。

7.如权利要求6所述的计算方法，其特征在于，

将上述穿过面在对应于该穿过面的组的精度为规定的精度以上的情况和对应于该穿过面的组的精度不到规定的精度的情况下用不同的颜色显示。

8.如权利要求2所述的计算方法，其特征在于，

上述多个组分别对应于上述多个小空间中的某个；

将上述多个小空间用与对应于该小空间的组的精度相对应的颜色显示。

9.如权利要求8所述的计算方法，其特征在于，

仅显示上述多个小空间中的、与对应于该小空间的组的精度不到规定的精度的该组相对应的该小空间。

10.如权利要求1～9中任一项所述的计算方法，其特征在于，

在上述计算中，对于上述多个组，分别从属于该组的1个以上的三维点中提取规定的数量的三维点，基于提取出的上述规定的数量的三维点各自的精度计算该组的精度。

11.如权利要求1～10中任一项所述的计算方法，其特征在于，

在上述计算中，对于上述多个组，分别基于表示属于该组的1个以上的三维点各自的精度的再投影误差计算该组的精度。

12.如权利要求1～11中任一项所述的计算方法，其特征在于，

对于分辨率比由上述多个三维点构成的第1三维模型低、且由上述多个三维点的至少一部分构成的第2三维模型，叠加显示上述多个组的精度。

13.如权利要求12所述的计算方法，其特征在于，

对于上述第2三维模型的俯视图，叠加显示上述多个组的精度。

14.如权利要求1～11中任一项所述的计算方法，其特征在于，

上述传感器是图像传感器；

对于上述图像传感器所拍摄、且被用于生成上述多个三维点的图像，叠加显示上述多个组的精度。

15.如权利要求1～11中任一项所述的计算方法，其特征在于，

对于上述物体所在的对象空间的地图，叠加显示上述多个组的精度。

16.如权利要求1～15中任一项所述的计算方法，其特征在于，

在上述传感器检测来自上述物体的光的过程中显示上述多个组的精度。

17.如权利要求1～16中任一项所述的计算方法，其特征在于，

计算属于上述多个组中包含的第1组的两个以上的三维点的两个以上的法线方向的合成方向的相反方向。

18.一种计算装置，其特征在于，

具备处理器和存储器；

上述处理器使用上述存储器，

取得在计算机上的空间中表现物体并且分别表示上述物体的位置的多个三维点；

将上述多个三维点的各三维点基于该三维点的法线方向分类为多个组；

以如果属于上述多个组的各组的至少1个三维点的第1精度较高则该组的第2精度也较高的方式计算上述第2精度；

上述多个三维点的各三维点通过由传感器从不同的多个位置在不同的多个方向上检测来自上述物体的光而生成；

上述法线方向基于被用于具有该法线方向的三维点的生成的上述不同的多个方向来求出。