CN116034396A - 填充率测量方法、信息处理装置及程序 - Google Patents

Abstract

取得空间三维模型(S111)，该空间三维模型由与具有开口的容纳部对置的测距传感器经由开口测量而得到；取得容纳部的三维模型即容纳三维模型(S112)；提取空间三维模型中的作为测量对象物的部分的对象物部分(S114)；根据开口的二维图像，确定表示开口的形状的线段(S113)，上述开口的二维图像通过从测距传感器的位置向特定的方向测量而生成；根据以基于测距传感器的位置、特定的方向及开口的形状确定的三维空间上的开口的位置为基准的三维坐标系和对象物部分，推测作为测量对象物的三维模型的对象物三维模型(S115)；计算测量对象物对于容纳空间的填充率(S116)。

Description

填充率测量方法、信息处理装置及程序

技术领域

本公开涉及填充率测量方法、信息处理装置及程序。

背景技术

在专利文献1中公开了使用三维激光扫描仪取得三维形状的三维形状测量装置。

现有技术文献

专利文献

专利文献1：日本特开2015-87319号公报

发明内容

发明要解决的课题

关于测量的三维形状的应用例还没有进行充分的研究。例如，关于表示在规定的容纳空间中容纳有多少量的测量对象物的填充率的计算，没有进行充分的研究。

本公开提供一种能够计算测量对象物的填充率的填充率测量方法等。

用来解决课题的手段

有关本公开的一技术方案的填充率测量方法，取得空间三维模型，所述空间三维模型通过对于具有容纳测量对象物的容纳空间且形成有开口的容纳部、由与上述容纳部对置的测距传感器经由上述开口进行测量从而获得；取得容纳三维模型，所述容纳三维模型是没有容纳上述测量对象物的上述容纳部的三维模型；取得上述开口的二维图像、及与上述二维图像对应的位置姿势信息；使用上述容纳三维模型，确定上述二维图像中的表示上述开口的形状的线段；基于上述位置姿势信息及所确定的上述线段，计算三维空间上的上述开口的位置；基于计算出的上述开口的位置，将上述容纳三维模型的位置与上述空间三维模型的位置建立对应；基于上述建立对应后的上述容纳三维模型及上述空间三维模型，推测作为上述容纳空间内的测量对象物的三维模型的对象物三维模型；使用上述容纳三维模型及上述对象物三维模型，计算上述测量对象物对于上述容纳空间的填充率。

有关本公开的一技术方案的信息处理装置具备处理器和存储器；上述处理器使用上述存储器，取得空间三维模型，所述空间三维模型通过对于具有容纳测量对象物的容纳空间且形成有开口的容纳部、由与上述容纳部对置的测距传感器经由上述开口进行测量而得到；取得容纳三维模型，所述容纳三维模型是没有容纳上述测量对象物的上述容纳部的三维模型；取得上述开口的二维图像、及与上述二维图像对应的位置姿势信息；使用上述容纳三维模型，确定上述二维图像中的表示上述开口的形状的线段；基于上述位置姿势信息及所确定的上述线段，计算三维空间上的上述开口的位置；基于计算出的上述开口的位置，将上述容纳三维模型的位置与上述空间三维模型的位置建立对应；基于上述建立对应后的上述容纳三维模型及上述空间三维模型，推测作为上述容纳空间内的测量对象物的三维模型的对象物三维模型；使用上述容纳三维模型及上述对象物三维模型，计算上述测量对象物对于上述容纳空间的填充率。

另外，本公开也可以作为使计算机执行上述填充率测量方法中包含的步骤的程序来实现。此外，本公开也可以作为记录有该程序的能够被计算机读取的CD-ROM等非暂时性的记录介质来实现。此外，本公开也可以作为表示该程序的信息、数据或信号来实现。而且，也可以是这些程序、信息、数据及信号经由因特网等的通信网络而被分发。

发明效果

根据本公开，能够提供一种能够计算测量对象物的填充率的填充率测量方法等。

附图说明

图1是用来说明有关实施方式1的填充率测量方法的概要的图。

图2是表示有关实施方式1的三维测量系统的特征性的结构的框图。

图3是用来说明测距传感器的结构的第1例的图。

图4是用来说明测距传感器的结构的第2例的图。

图5是用来说明测距传感器的结构的第3例的图。

图6是表示第1例的坐标系计算部的结构的框图。

图7是用来说明第1例的坐标系计算部进行的测量坐标系的计算方法的图。

图8是表示第2例的坐标系计算部的结构的框图。

图9是用来说明第2例的坐标系计算部进行的测量坐标系的计算方法的图。

图10是表示第3例的坐标系计算部的结构的框图。

图11是用来说明第3例的坐标系计算部进行的测量坐标系的计算方法的图。

图12是表示模型生成部的结构的一例的框图。

图13是模型生成部进行的计算容纳空间的容积的处理的流程图。

图14是表示填充率计算部的结构的一例的框图。

图15是用来说明填充率计算部进行的填充率的计算方法的一例的图。

图16是用来说明填充率计算部进行的填充率的计算方法的另一例的图。

图17是由信息处理装置进行的填充率测量方法的流程图。

图18是第1例的坐标系计算部进行的计算测量坐标系的处理(S113)的流程图。

图19是第2例的坐标系计算部进行的计算测量坐标系的处理(S113)的流程图。

图20是第3例的坐标系计算部进行的计算测量坐标系的处理(S113)的流程图。

图21是表示有关实施方式2的坐标系计算部的结构的框图。

图22是表示有关实施方式2的坐标系计算部所具有的检测部的结构的框图。

图23是用来说明有关实施方式2的检测部进行的开口点端点的提取方法的图。

图24是实施方式2的坐标系计算部进行的计算测量坐标系的处理(S113)的流程图。

图25是用来说明填充率的计算方法的图。

图26是表示有关变形例1的填充率计算部的计算部的结构的一例的框图。

图27是有关变形例1的填充率计算部的计算部的填充率计算处理的流程图。

图28是表示将两个以上的搁架容纳到卡车的货箱等的容纳空间中的情况下的例子的图。

图29是表示容纳在货箱的容纳空间中的搁架、及与其填充率的关系的表。

图30是表示有关变形例2的填充率计算部的计算部的结构的一例的框图。

图31是有关变形例2的填充率计算部的计算部的填充率计算处理的流程图。

图32是用来说明有关变形例3的笼式台车的结构的图。

图33是表示有关变形例3的填充率计算部的结构的一例的框图。

图34是有关变形例3的填充率计算部的填充率计算处理的流程图。

图35是用来说明计算填充率的第2方法的一例的图。

图36是用来说明计算填充率的第2方法的另一例的图。

图37是用来说明有关变形例4的空间三维模型的生成方法的图。

图38是用来说明有关变形例5的空间三维模型的生成方法的图。

图39是用来说明有关变形例5的空间三维模型的生成方法的图。

图40是表示用1台测距传感器测量多个笼式台车的例子的图。

图41是表示用两台测距传感器测量多个笼式台车的例子的图。

图42是表示用3台测距传感器测量多个笼式台车的例子的图。

图43是表示有关变形例7的三维测量系统的特征性的结构的框图。

图44是由有关变形例7的信息处理装置进行的填充率测量方法的流程图。

具体实施方式

(得到本公开的经过)

在物流、流通现场，需要测量货物等的测量对象物对于容纳空间的填充率，提高容纳空间的使用效率。此外，在物流、流通现场，为了将测量对象物容纳到多的集装箱等的容纳部中，要求在短时间测量更多的填充率。然而，还没有充分研究容易地测量填充率的方法。

因此，在本公开中，通过对容纳有测量对象物的容纳部适用生成三维模型的方法，从而提供能够在短时间容易地计算更多的容纳部的填充率的填充率测量方法等。

有关本公开的一技术方案的填充率测量方法，取得空间三维模型，所述空间三维模型通过对于具有容纳测量对象物的容纳空间且形成有开口的容纳部、由与上述容纳部对置的测距传感器经由上述开口进行测量，从而得到；取得容纳三维模型，所述容纳三维模型是没有容纳上述测量对象物的上述容纳部的三维模型；取得上述开口的二维图像、及与上述二维图像对应的位置姿势信息；使用上述容纳三维模型，确定上述二维图像中的表示上述开口的形状的线段；基于上述位置姿势信息及所确定的上述线段，计算三维空间上的上述开口的位置；基于计算出的上述开口的位置，将上述容纳三维模型的位置与上述空间三维模型的位置建立对应；基于上述建立对应后的上述容纳三维模型及上述空间三维模型，推测作为上述容纳空间内的测量对象物的三维模型的对象物三维模型；使用上述容纳三维模型及上述对象物三维模型，计算上述测量对象物对于上述容纳空间的填充率。

由此，使用以开口的位置为基准的三维坐标系、及推测出的对象物三维模型，推测测量对象物的对象物三维模型。由此，仅通过进行容纳有测量对象物的状态下的容纳部的测量，就能够容易地计算测量对象物对于容纳空间的填充率。

此外，也可以是，上述二维图像包括通过照相机拍摄上述开口从而生成的RGB图像；上述位置姿势信息表示上述照相机在拍摄上述开口时的位置及姿势。

此外，也可以是，上述二维图像包括基于上述测距传感器进行的上述开口的测量而生成的深度图像；上述位置姿势信息表示上述测距传感器在测量上述开口时的位置及姿势。

此外，也可以是，上述二维图像包括RGB图像、灰阶图像(Gray Scale Image)、红外线图像及深度图像的至少一方；上述RGB图像通过照相机拍摄上述开口而生成；上述深度图像是基于上述测距传感器的测量结果而生成的图像。

由此，能够精度良好地提取表示开口的形状的线段。

此外，也可以是，在上述线段的确定中，基于根据上述RGB图像确定的线段、及根据上述深度图像确定的线段的双方，确定上述线段。

此外，也可以是，上述测距传感器包括ToF(Time of Flight)传感器、立体照相机中的至少一个。

此外，也可以是，上述测距传感器包括第1测距传感器及第2测距传感器；上述第1测距传感器的第1测量区域与上述第2测距传感器的第2测量区域具有重叠的区域。

由此，能够在更大的范围内对测量对象物进行测量。

此外，也可以是，上述重叠的区域在上述测距传感器测距的方向上具有上述测量对象物的长度以上的长度。

由此，能够在更大的范围内对测量对象物进行测量。

此外，也可以是，上述重叠的区域包括上述测量对象物所存在的范围的全部。

由此，能够取得遮挡(occlusion)少的空间三维模型。

此外，也可以是，上述容纳部在相对于上述测距传感器测距的方向交叉的方向上，相对于上述测距传感器相对地移动；上述空间三维模型使用由上述测距传感器在第1定时(timing)测量出的第1测量结果及在第2定时测量出的第2测量结果来生成。

由此，能够取得遮挡少的空间三维模型。

此外，也可以是，上述容纳三维模型的位置和上述空间三维模型的位置通过使用旋转矩阵和平移向量来建立对应。

此外，也可以是，计算多个容纳部中的一个以上的容纳部对于第2容纳部的第2填充率，所述第2容纳部具有容纳上述一个以上的上述容纳部的第2容纳空间。

此外，也可以是，计算在一个以上的容纳部中分别容纳的上述测量对象物对于第2容纳部的第3填充率，所述第2容纳部具有容纳上述一个以上的上述容纳部的第2容纳空间。

有关本公开的一技术方案的信息处理装置具备处理器和存储器；上述处理器使用上述存储器，取得空间三维模型，所述空间三维模型通过对于具有容纳测量对象物的容纳空间且形成有开口的容纳部、由与上述容纳部对置的测距传感器经由上述开口进行测量，从而得到；取得容纳三维模型，所述容纳三维模型是没有容纳上述测量对象物的上述容纳部的三维模型；取得上述开口的二维图像、及与上述二维图像对应的位置姿势信息；使用上述容纳三维模型，确定上述二维图像中的表示上述开口的形状的线段；基于上述位置姿势信息及所确定的上述线段，计算三维空间上的上述开口的位置；基于计算出的上述开口的位置，将上述容纳三维模型的位置与上述空间三维模型的位置建立对应；基于上述建立对应后的上述容纳三维模型及上述空间三维模型，推测作为上述容纳空间内的测量对象物的三维模型的对象物三维模型；使用上述容纳三维模型及上述对象物三维模型，计算上述测量对象物对于上述容纳空间的填充率。

由此，使用以开口的位置为基准的三维坐标系、及推测出的对象物三维模型，推测测量对象物的对象物三维模型。由此，仅通过进行容纳有测量对象物的状态下的容纳部的测量，就能够容易地计算测量对象物对于容纳空间的填充率。

另外，本公开也可以作为使计算机执行上述填充率测量方法中包含的步骤的程序来实现。此外，本公开也可以作为记录有该程序的能够由计算机读取的CD-ROM等的非暂时性的记录介质来实现。此外，本公开也可以作为表示该程序的信息、数据或信号来实现。并且，也可以是这些程序、信息、数据及信号经由因特网等的通信网络而被分发。

以下，使用附图对有关本公开的三维模型生成方法等的各实施方式详细地进行说明。另外，以下说明的各实施方式都是表示本公开的一具体例。因而，在以下的各实施方式中表示的数值、形状、材料、构成要素、构成要素的配置及连接形态、步骤、步骤的顺序等是一例，其主旨并不是限定本公开。

此外，各图是示意图，并不一定是严谨的图示。此外，在各图中，对于实质上相同的结构赋予相同的标号，有省略或简略化重复的说明的情况。

(实施方式1)

一边参照图1一边说明有关实施方式1的填充率测量方法的概要。

图1是用来说明有关实施方式1的填充率测量方法的概要的图。

在填充率测量方法中，如图1所示，使用测距传感器210对容纳在具有容纳空间101的搁架102中的货物103进行测量。并且，使用所得到的测量结果，计算货物103对于容纳空间101的填充率。在搁架102，形成有用来将货物103相对于容纳空间101取放的开口102a。测距传感器210以对包括开口102a在内的搁架102进行测量的朝向而配置在与搁架102的开口102a对置的位置，穿过开口102a而测量包括容纳空间101的内部在内的测量区域R1。

另外，例如如图1所示，搁架102具有箱状的形状。搁架102只要构成为具有载置货物103的载置面和在载置面的上方容纳货物103的容纳空间101，也可以不具有箱状的形状。搁架102是容纳部的一例。容纳空间101是第1容纳空间的一例。容纳空间101是搁架102具有的内部空间，但并不限于此，也可以是容纳货物103等的测量对象物的仓库内的空间。货物103是测量对象物的一例。测量对象物并不限于货物103，也可以是商品。即，测量对象物只要是可移动的物体，则可以是任意的物体。

图2是表示有关实施方式1的三维测量系统的特征性的结构的框图。图3是用来说明测距传感器的结构的第1例的图。图4是用来说明测距传感器的结构的第2例的图。图5是用来说明测距传感器的结构的第3例的图。

如图2所示，三维测量系统200具备测距传感器210和信息处理装置220。三维测量系统200既可以具备多个测距传感器210，也可以具备一个测距传感器210。

测距传感器210，经由搁架102的开口102a测量包括搁架102的第1容纳空间的三维空间，从而取得包括搁架102及搁架102的容纳空间101的测量结果。具体而言，测距传感器210生成由表示搁架102或货物103(以下称作测量对象)上(测量对象的表面)的多个测量点各自的三维位置的三维点的集合所表示的空间三维模型。三维点的集合称作三维点云。三维点云的各三维点所表示的三维位置，例如用三维坐标空间的X成分、Y成分、Z成分所构成的三值信息的三维坐标来表示，所述三维坐标空间由XYZ轴构成。另外，三维模型不仅是三维坐标，也可以包含表示各点的颜色的颜色信息、或表示各点及其周边的表面形状的形状信息。颜色信息例如既可以由RGB的颜色空间表示，也可以由HSV、HLS、YUV等的其他的颜色空间表示。

使用图3～图5对测距传感器210的具体例进行说明。

如图3所示，第1例的测距传感器210通过发出电磁波，并且取得所发出的电磁波被测量对象反射的反射波，从而生成空间三维模型。具体而言，测距传感器210测量从所发出的电磁波被发出到由测量对象反射而回到测距传感器210所花费的时间，使用测量出的时间与在测量中使用的电磁波的波长，计算测距传感器210与测量对象的表面上的点P1之间的距离。测距传感器210从测距传感器210的基准点向预先设定的放射状的多个方向发出电磁波。例如，测距传感器210可以绕水平方向以第1角度间隔发出电磁波，绕垂直方向以第2角度间隔发出电磁波。因此，测距传感器210通过检测测距传感器210的周围的多个方向的各个方向上的与测量对象之间的距离，从而能够计算出测量对象上的多个点的三维坐标。由此，测距传感器210能够计算出表示测量对象上的多个三维位置的位置信息，能够生成具有位置信息的空间三维模型。位置信息可以是包含表示多个三维位置的多个三维点的三维点云。

如图3所示，第1例的测距传感器210是具有照射作为电磁波的激光的激光照射部211、和对所照射的激光被测量对象反射的反射光进行受光的激光受光部212的三维激光测量器。测距传感器210通过使具备激光照射部211及激光受光部212的单元绕不同的两轴旋转或摆动，或者在照射或受光的激光的路径上设置以两轴摆动的可动式的反射镜(MEMS(Micro Electro Mechanical Systems)反射镜)，从而用激光在测量对象上扫描。由此，测距传感器210能够生成测量对象的高精度且高密度的三维模型。

例示了测距传感器210是通过照射激光来测量与测量对象之间的距离的三维激光测量器，但并不限于此，其也可以是通过射出毫米波来测量与测量对象之间的距离的毫米波雷达测量器。

此外，测距传感器210可以生成具有颜色信息的三维模型。第1颜色信息是使用由测距传感器210拍摄的图像而生成的颜色信息，该颜色信息表示第1三维点云中包含的多个第1三维点各自的颜色。

具体而言，测距传感器210可以内置拍摄处于测距传感器210的周围的测量对象的照相机。测距传感器210内置的照相机通过对包含测距传感器210照射的激光的照射范围的区域进行拍摄从而生成图像。另外，照相机也可以不内置于测距传感器210，可以是配置在测距传感器210的外部。配置在测距传感器210的外部的照相机也可以配置在与配置了测距传感器210的位置相同的位置。此外，由照相机拍摄的拍摄范围与照射范围预先建立对应。具体而言，由测距传感器210照射激光的多个方向和由照相机拍摄的图像中的各像素预先建立对应，作为表示三维点云中包含的多个三维点各自的颜色的颜色信息，测距传感器210设定与该三维点的方向建立了对应的图像的像素值。

如图4所示，第2例的测距传感器210A是使用了结构光法的测距传感器。测距传感器210A具有红外图案(pattern)照射部211A和红外照相机212A。红外图案照射部211A将预先设定的红外图案213A投影到测量对象的表面。红外照相机212A通过对被投影了红外图案213A的测量对象进行拍摄，从而取得红外图像。测距传感器210A探索所得到的红外图像中包含的红外图案213A，基于能够将实空间中的测量对象上的红外图案中的一点P1的位置、红外图案照射部211A的位置及红外照相机212A的位置这三个位置连结而形成的三角形，计算从红外图案照射部211A或红外照相机212A到测量对象上的上述一点P1的位置的距离。由此，测距传感器210A能够取得测量对象上的测量点的三维点。

另外，测距传感器210A使具有红外图案照射部211A和红外照相机212A的测距传感器210A的单元移动，或将由红外图案照射部211A照射的红外图案作为细微的纹理，从而能够取得高密度的三维模型。

此外，也可以是，测距传感器210A通过使用能够由红外照相机212A取得的颜色信息的可见光区域，考虑红外图案照射部211A或红外照相机212A的位置或朝向，将所得到的可见光区域与三维点建立关联，由此生成具有颜色信息的三维模型。此外，也可以是，测距传感器210A是还具有用来附加颜色信息的可见光照相机的结构。

如图5所示，第3例的测距传感器210B是通过立体照相机测量来对三维点进行测量的测距传感器。测距传感器210B是具有两个照相机211B、212B的立体照相机。测距传感器210B通过用两个照相机211B、212B在同步的定时对测量对象进行拍摄，取得具有视差的立体图像。测距传感器210B使用所得到的立体图像(两张图像)在两张图像间进行特征点的匹配处理，以像素精度或小数像素精度来取得两张图像间的对位信息。测距传感器210B基于能够将实空间中的测量对象上的一点P1的匹配位置、两个照相机211B、212B各自的位置这三个位置连结而形成的三角形，计算从两个照相机211B、212B的某个照相机到测量对象上的匹配位置(即点P1)的距离。由此，测距传感器210B能够取得测量对象上的测量点的三维点。

另外，测距传感器210B通过使具有两个照相机211B、212B的测距传感器210B的单元移动、或将搭载于测距传感器210B的照相机的数量增加到三个以上，将相同的测量对象拍摄并进行匹配处理，从而能够取得高精度的三维模型。

此外，通过使测距传感器210B具有的照相机211B、212B为可见光照相机，能够容易地对取得的三维模型附加颜色信息。

另外，在本实施方式中，以信息处理装置220具备第1例的测距传感器210的例子进行了说明，但也可以是代替第1例的测距传感器210而是具备第2例的测距传感器210A或第3例的测距传感器210B的结构。

另外，两个照相机211B、212B能够对包括可见光图像或红外图像的单色图像进行拍摄。在此情况下，三维测量系统200中的两张图像间的匹配处理例如也可以使用SLAM(Simultaneous Localization And Mapping，即时定位与地图构建)或SfM(Structurefrom Motion，运动结构法则)进行。此外，也可以使用通过进行该处理而得到的表示照相机211B、212B的位置及姿势的信息，通过MVS(Multi View Stereo，多视角立体视觉)增加测量空间模型的点云密度。

回到图2，对信息处理装置220的结构进行说明。

信息处理装置220具备取得部221、坐标系计算部222、模型生成部223、填充率计算部224和存储部225。

取得部221取得由测距传感器210生成的空间三维模型及图像。具体而言，取得部221也可以从测距传感器210取得空间三维模型及图像。也可以是由取得部221取得的空间三维模型及图像被存储到存储部225中。

坐标系计算部222使用空间三维模型及图像来计算测距传感器210与搁架102之间的位置关系。由此，坐标系计算部222计算以搁架102的一部分的形状为基准的测量坐标系。坐标系计算部222也可以计算仅以搁架102的一部分的形状为基准的测量坐标系。具体而言，也可以是，作为计算测量坐标系的基准的一部分的形状，坐标系计算部222以搁架102的开口102a的形状为基准，计算测量坐标系。另外，作为计算测量坐标系的基准的开口102a的形状，如实施方式1所示，在开口102a的形状是矩形的情况下，可以是开口102a的形状的角，也可以是该开口102a的形状的边。

另外，测量坐标系是三维正交坐标系，是第1三维坐标系的一例。通过对测量坐标系进行计算，能够确定以搁架102为基准的测距传感器210的相对的位置及姿势。即，由此能够使测距传感器210的传感器坐标系与测量坐标系匹配，能够进行搁架102与测距传感器210之间的校准。另外，传感器坐标系是三维正交坐标系。

另外，在本实施方式中，关于长方体形状的搁架102，在搁架102的一面具有开口102a，但并不限于此。搁架也可以如在前表面和后表面的两面上具有开口、或在前表面和上表面的两面上具有开口等那样，是在长方体形状中的多个面上设有开口的结构。在搁架具有多个开口的情况下，也可以对于多个开口中的一个开口设定后述的规定的基准位置。规定的基准位置可以设定在搁架102的三维模型即容纳三维模型的不存在三维点或体素的空间中。

这里，使用图6及图7对第1例的坐标系计算部222进行说明。

图6是表示第1例的坐标系计算部的结构的框图。图7是用来说明第1例的坐标系计算部进行的测量坐标系的计算方法的图。

坐标系计算部222计算测量坐标系。测量坐标系是作为空间三维模型的基准的三维坐标系。例如，测距传感器210被设置在测量坐标系的原点，以相对于搁架102的开口102a正对的朝向而设置。此时，测量坐标系也可以将测距传感器210的朝上方向设定为X轴，将朝右方向设定为Y轴，将朝向跟前方向设定为Z轴。坐标系计算部222具有辅助部301和计算部302。

如图7中(a)所示，辅助部301实时地依次取得由取得部221取得的作为测距传感器210的测量结果的图像2001，对依次取得的每个图像2001叠加调整用标记2002。辅助部301将在图像2001上叠加了调整用标记2002的叠加图像2003向未图示的显示装置依次输出。显示装置将由信息处理装置220输出的叠加图像2003依次显示。另外，辅助部301及显示装置也可以一体地设置于测距传感器210。

调整用标记2002是用于支援用户移动测距传感器210的标记，以使测距传感器210相对于搁架102的位置及姿势成为特定的位置及姿势。用户通过一边观看显示在显示装置上的叠加图像2003，一边以使调整用标记2002与搁架102的规定的基准位置重叠的方式来变更测距传感器210的位置及姿势，从而能够将测距传感器210相对于搁架102配置为特定的位置及姿势。搁架102的规定的基准位置例如是搁架102的四边形的开口102a的四个角的位置。

在相对于搁架102以特定的位置及姿势配置测距传感器210时，生成在与搁架102的开口102a的四个角的位置对应的四个位置叠加了四个调整用标记2002的叠加图像2003。例如，用户使测距传感器210移动以使调整用标记2002向图7中(a)所示的箭头的方向移动，从而能够如图7中(b)那样使四个调整用标记2002与开口102a的四个角的位置对准。

另外，辅助部301将调整用标记2002叠加到图像2001，但也可以将调整用标记叠加到空间三维模型，使被叠加了调整用标记的空间三维模型显示到显示装置。

如图7中(c)所示，计算部302计算表示将四个调整用标记2002对准开口102a的四个角的位置时的测距传感器210、与搁架102的位置关系的旋转矩阵2005及平移向量2006。计算部302使用计算出的旋转矩阵2005及平移向量2006来变换测距传感器210的传感器坐标系2004，从而计算以开口102a的任意的角(四个角中的一个)为原点的测量坐标系2000。由此，计算部302能够将容纳三维模型的位置与空间三维模型的位置建立对应。另外，在四个调整用标记2002与开口102a的四个角的位置对准时，用户也可以对未图示的输入装置进行输入。信息处理装置220也可以在有来自输入装置的该输入时进行获取，由此在四个调整用标记2002与开口102a的四个角的位置对准时进行判断。此外，信息处理装置220也可以通过对图像2001进行解析来判断四个调整用标记2002是否与开口102a的四个角的位置对准。

接着，使用图8及图9对第2例的坐标系计算部222A进行说明。

图8是表示第2例的坐标系计算部的结构的框图。图9是用来说明第2例的坐标系计算部进行的测量坐标系的计算方法的图。

坐标系计算部222A具有检测部311、提取部312和计算部313。

检测部311使用图9中(a)所示的由取得部221取得的作为测距传感器210的测量结果的空间三维模型2011、和图9中(b)所示的容纳三维模型2012，如图9中(c)所示那样检测与搁架102对应的搁架区域2014。另外，容纳三维模型2012是没有容纳货物103的搁架102的三维模型，是对于没有容纳货物103时的搁架102预先使用测距传感器210的测量结果所生成的三维模型。容纳三维模型2012由后述的模型生成部223生成，被存储在存储部225中。容纳三维模型2012也可以包含表示搁架102的开口102a的四个角的位置的位置信息2013。

提取部312如图9中(d)所示，使用容纳三维模型2012的位置信息2013，提取作为搁架区域2014中的开口2015的四个角的位置的四个开口部端点2016。由四个开口部端点2016规定的开口2015的形状是作为计算测量坐标系的基准的一部分的形状的一例。

如图9中(e)所示，计算部313基于从测距传感器210观察到的四个开口部端点2016的形状，计算表示测距传感器210与搁架102的位置关系的旋转矩阵2017及平移向量2018。计算部313使用旋转矩阵2017及平移向量2018，通过变换测距传感器210的传感器坐标系2004来计算测量坐标系2000。由此，计算部313能够将容纳三维模型的位置与空间三维模型的位置建立对应。具体而言，计算部313设旋转矩阵2017为R，设平移向量2018为T，则传感器坐标系2004的三维点x能够通过下述所示的式1变换为测量坐标系2000的三维点X。由此，计算部313能够计算出测量坐标系2000。

X＝Rx+T…式1

接着，使用图10及图11对第3例的坐标系计算部222A进行说明。

图10是表示第3例的坐标系计算部的结构的框图。图11是用来说明第3例的坐标系计算部进行的测量坐标系的计算方法的图。

坐标系计算部222B具有检测部321、提取部322和计算部323。在第3例中，在搁架102的特定的位置(例如上表面的位置)配置有标记104，坐标系计算部222B以标记104的位置为基准来确定测量坐标系2000。即，该情况下的测量坐标系2000是以设置于搁架102的标记104的位置为基准的坐标系。

另外，标记104例如具有棋盘格图案。标记104只要是具有规定的形状的校准标记(定位标记)即可，并不限于棋盘格图案。

检测部321根据图11中(a)所示的由取得部221取得的作为测距传感器210的测量结果的图像2021，如图11中(c)所示那样检测与设置于搁架102的标记104对应的标记区域2024。

提取部322从图像2021上的标记区域2024，如图11中(d)所示那样提取作为棋盘格图案的轮廓的图案轮廓2025。

计算部323基于提取出的图案轮廓2025的形状，计算表示测距传感器210与标记104的位置关系的旋转矩阵2026及平移向量2027。计算部323使用旋转矩阵2026及平移向量2027、图11中(b)所示的容纳三维模型2022及标记2023的位置关系，计算测距传感器210及搁架102的三维的位置关系，通过使用计算出的三维的位置关系来变换传感器坐标系2004，从而计算测量坐标系2000。由此，计算部323能够将容纳三维模型的位置与空间三维模型的位置建立对应。另外，容纳三维模型2022及标记2023的位置关系既可以事前测量，也可以基于配置有标记104的搁架102设计数据而事前生成。

回到图2，对模型生成部223进行说明。

模型生成部223生成作为没有容纳货物103的搁架102的三维模型的容纳三维模型。模型生成部223由测距传感器210取得没有容纳货物103的搁架102的测量结果，生成容纳三维模型。关于模型生成部223进行的具体的处理将在后面叙述。生成的容纳三维模型被存储在存储部225中。

这里，使用图12及图13对模型生成部223具体地进行说明。

图12是表示模型生成部的结构的一例的框图。图13是模型生成部进行的计算容纳空间的容积的处理的流程图。

模型生成部223具有检测部401、生成部402和容积计算部403。

检测部401根据由测距传感器210测量出的空间三维模型，检测与搁架102对应的搁架区域(S101)。检测部401在三维测量系统200具备多个测距传感器210的情况下，对于多个测距传感器210分别进行步骤S101的处理。由此，检测部401检测与多个测距传感器210分别对应的多个搁架区域。

生成部402在三维测量系统200具备多个测距传感器210的情况下，将多个搁架区域统合，生成容纳三维模型(S102)。具体而言，生成部402为了将多个搁架区域统合，既可以通过ICP(Iterative Closest Point，迭代最近点)进行三维点云的对位，也可以预先计算多台测距传感器210的相对位置关系，基于计算出的相对位置关系将多个搁架区域统合。相对位置关系的计算也可以是将多个测距传感器210分别取得的多个图像作为多视点图像，使用SfM(Structure from Motion)来计算。多个测距传感器210也可以基于相对位置关系被决定的设计图来设置。

另外，也可以不是多台测距传感器210，而是使1台测距传感器210移动，使用从多个位置测量出的多个测量结果，将根据多个测量结果分别得到的多个搁架区域统合，从而生成搁架102的容纳三维模型。

另外，容纳三维模型也可以是不使用测距传感器210测量的结果，而是基于搁架102的设计时的3DCAD数据来生成，也可以基于搁架102的尺寸测量数据或生产商公开的器材规格数据来生成。此外，容纳三维模型也可以通过将以手工测量的搁架102的尺寸输入到信息处理装置220中从而生成。

另外，在三维测量系统200不具备多个测距传感器210而仅具备一个测距传感器210，使用从一个位置测量的一个测量结果的情况下，模型生成部223也可以不具有生成部402。即，模型生成部223也可以不进行步骤S102。

容积计算部403使用容纳三维模型来计算搁架102的容纳空间101的容积(S103)。

回到图2，对填充率计算部224进行说明。

填充率计算部224计算货物103对于搁架102的容纳空间101的填充率。填充率计算部224例如也可以使用由测距传感器210取得的空间三维模型、图像及测量坐标系2000，计算货物103的体积相对于容纳空间101的容积的比例作为填充率。

这里，使用图14及图15对填充率计算部224具体地进行说明。

图14是表示填充率计算部的结构的一例的框图。图15是用来说明填充率计算部进行的填充率的计算方法的一例的图。另外，图15表示测距传感器210正对着搁架102的开口102a的情况的例子。测距传感器210被配置在形成搁架102的开口102a的Z轴负方向侧，经由搁架102的开口102a测量搁架102的容纳空间101。该例是由第1例的坐标系计算部222测量了测量坐标系2000的情况的例子。即，在此情况下，传感器坐标系2004与测量坐标系2000一致。

填充率计算部224具有提取部501、推测部502和计算部503。

提取部501使用空间三维模型2011及容纳三维模型，提取空间三维模型中的作为与货物103对应的部分的货物区域2033。具体而言，提取部501对图15中(a)所示的由取得部221取得的作为测距传感器210的测量结果的空间三维模型2011的数据构造进行变换而进行体素数据化，从而生成图15中(b)所示的体素数据2031。提取部501使用所生成的体素数据2031、和图15中(c)所示的作为被体素化的容纳三维模型的容纳三维模型2032，从体素数据2031减去容纳三维模型2032，从而提取图15中(d)所示的体素数据2031中的作为测量到货物103的结果的区域的货物区域2033。货物区域2033是作为与测量对象物对应的部分的对象物部分的一例。

推测部502使用提取出的货物区域2033，推测容纳空间101内的作为货物103的三维模型的货物模型2034。货物模型2034是对象物三维模型的一例。具体而言，推测部502使用货物区域2033，在作为测距传感器210和搁架102的排列方向的Z轴方向上，将对于测距传感器210而言货物103被遮挡的区域进行插值，即在Z轴正方向侧对货物区域2033进行插值。推测部502例如对于构成货物区域2033的多个体素的各体素，判定该体素是否是在多个体素中被配置在比配置在最靠Z轴正方向侧的最远体素靠Z轴负方向侧的体素。在是被配置在比最远体素靠Z轴负方向侧的体素的情况下，当比该体素靠Z轴正方向侧没有配置体素时，推测部502对体素进行插值，直到与最远体素为相同的Z轴方向上的位置。由此，推测部502推测出图15中(e)所示那样的货物模型2034。

计算部503使用容纳三维模型及货物模型2034，计算货物103对于容纳空间101的第1填充率。具体而言，计算部503对构成货物模型2034的多个体素的数量进行计数，对于预先设定的体素尺寸乘以所得到的计数，从而计算货物103的体积。计算部503计算所计算出的货物103的体积相对于由模型生成部223计算出的搁架102的容纳空间101的容积的比率作为第1填充率。

也可以是，测距传感器210不与搁架102的开口102a正对。图16是用来说明填充率计算部进行的填充率的计算方法的另一例的图。图16表示测距传感器210相对于搁架102的开口102a倾斜而配置的情况下的例子。该例是由第2例的坐标系计算部222A或第3例的坐标系计算部222B对测量坐标系2000进行测量的情况的例子。即，在此情况下，传感器坐标系2004与测量坐标系2000不同。

在图16的例子的情况下使用的坐标系是测量坐标系2000。推测部502使用货物区域2033，在作为测距传感器210和搁架102的排列方向的、测量坐标系2000的Z轴方向上，将对于测距传感器210而言货物103被遮挡的区域进行插值，即在Z轴正方向侧对货物区域2033进行插值。

填充率计算部224进行的其他的处理与图15的情况相同，因此省略说明。

另外，在坐标系计算部222进行的测量坐标系的计算及填充率计算部224进行的填充率的计算中使用的空间三维模型及图像的对(pair)，既可以是由测距传感器210在同一时刻测量的结果，也可以是在不同的时刻测量的结果。

测距传感器210和信息处理装置220也可以通过通信网络可相互通信地连接。通信网络可以是因特网等的公共通信网、或专用通信网。由此，将由测距传感器210得到的空间三维模型及图像经由通信网络从测距传感器210向信息处理装置220发送。

此外，信息处理装置220也可以不经由通信网络而从测距传感器210取得空间三维模型及图像。例如，可以将空间三维模型及图像从测距传感器210暂时存储到硬盘驱动器(HDD)或固态硬盘驱动器(SSD)等的外部存储装置中，信息处理装置220从外部存储装置取得空间三维模型及图像。此外，外部存储装置也可以是云服务器。

信息处理装置220例如至少具备计算机系统，该计算机系统具有控制程序、执行该控制程序的处理器或逻辑电路等的处理电路、及存储该控制程序的内部存储器或可访问的外部存储器等的记录装置。信息处理装置220的各处理部的功能既可以由软件实现，也可以由硬件实现。

接着，对信息处理装置220的动作进行说明。

图17是由信息处理装置进行的填充率测量方法的流程图。

信息处理装置220从测距传感器210取得空间三维模型(S111)。此时，信息处理装置220也可以还从测距传感器210取得测量对象的图像。

信息处理装置220取得存储部225中所存储的容纳三维模型(S112)。

信息处理装置220计算以搁架102的开口102a的形状为基准的测量坐标系(S113)。步骤S113是坐标系计算部222进行的处理。

信息处理装置220使用空间三维模型2011的体素数据2031及容纳三维模型的容纳三维模型2032，提取体素数据2031中的与货物103对应的货物区域2033(S114)。步骤S114是填充率计算部224的提取部501进行的处理。

信息处理装置220使用提取出的货物区域2033，推测作为容纳空间101内的货物103的三维模型的货物模型2034(S115)。步骤S115是填充率计算部224的推测部502进行的处理。

信息处理装置220使用容纳三维模型及货物模型2034，计算货物103对于容纳空间101的第1填充率(S116)。步骤S116是填充率计算部224的计算部503进行的处理。

图18是第1例的坐标系计算部进行的计算测量坐标系的处理(S113)的流程图。

坐标系计算部222实时地依次取得由取得部221取得的作为测距传感器210的测量结果的图像2001，将调整用标记2002依次叠加到依次所取得的图像2001中(S121)。步骤S121是坐标系计算部222的辅助部301进行的处理。

坐标系计算部222取得测距传感器210的位置及姿势(S122)。步骤S121是坐标系计算部222的辅助部301进行的处理。

坐标系计算部222使用四个调整用标记2002与开口102a的四个角的位置对准时的测距传感器210的位置及姿势，确定测距传感器210的传感器坐标系2004，使用所确定的传感器坐标系2004来计算测量坐标系2000(S123)。步骤S123是坐标系计算部222的计算部302进行的处理。

图19是第2例的坐标系计算部进行的计算测量坐标系的处理(S113)的流程图。

坐标系计算部222A使用由取得部221取得的作为测距传感器210的测量结果的空间三维模型2011、及容纳三维模型2012，检测与搁架102对应的搁架区域2014(S121A)。步骤S121A是坐标系计算部222A的检测部311进行的处理。

坐标系计算部222A使用容纳三维模型2012的位置信息2013，提取搁架区域2014中的作为开口2015的四个角的位置的四个开口部端点2016(S122A)。步骤S122A是坐标系计算部222A的提取部312进行的处理。

坐标系计算部222A基于从测距传感器210观察到的四个开口部端点2016的形状，计算表示测距传感器210与搁架102的位置关系的旋转矩阵2017及平移向量2018。并且，坐标系计算部222A通过使用旋转矩阵2017及平移向量2018对测距传感器210的传感器坐标系2004进行变换，从而计算测量坐标系2000(S123A)。步骤S123A是坐标系计算部222A的计算部313进行的处理。

图20是第3例的坐标系计算部进行的计算测量坐标系的处理(S113)的流程图。

坐标系计算部222B根据由取得部221取得的作为测距传感器210的测量结果的图像2021，检测标记区域2024(S121B)。步骤S121B是坐标系计算部222B的检测部321进行的处理。

坐标系计算部222B从图像2021上的标记区域2024中提取图案(pattern)轮廓2025(S122B)。步骤S122B是坐标系计算部222B的提取部322进行的处理。

坐标系计算部222B基于提取出的图案轮廓2025的形状，计算表示测距传感器210与标记104的位置关系的旋转矩阵2026及平移向量2027。并且，坐标系计算部222B使用旋转矩阵2026及平移向量2027、容纳三维模型2022及标记2023的位置关系，计算测距传感器210及搁架102的三维的位置关系，使用计算出的三维的位置关系对传感器坐标系2004进行变换，从而计算测量坐标系2000(S123B)。步骤S123B是坐标系计算部222B的计算部323进行的处理。

另外，可以将由信息处理装置220计算出的填充率从信息处理装置220输出。可以是通过信息处理装置220所具备的未图示的显示装置显示填充率，也可以是向与信息处理装置220不同的外部装置发送。例如，可以是所计算出的填充率被输出给货物运输系统，用于货物运输系统的控制。

根据有关本实施方式的填充率测量方法，使用货物区域2033来推测货物103的货物模型2034，上述货物区域2033是使用测量了容纳有货物103的状态下的搁架102所得到的空间三维模型及没有容纳货物103的搁架102的容纳三维模型而提取出的区域。由此，仅通过进行容纳有货物103的状态下的搁架102的测量，就能够容易地计算货物103对于容纳空间101的第1填充率。

此外，在填充率测量方法中，基于以搁架102的一部分的形状为基准的三维坐标系，推测货物模型2034。因此，能够减少货物模型2034的推测的处理量。

此外，在填充率测量方法中，基于仅以搁架102的一部分的形状为基准的三维坐标系来推测货物模型2034。能够将在图像上容易提取的容纳部的仅一部分的形状用于测量坐标系的计算。由此，能够使货物模型的推测的处理速度提高，能够使测量坐标系的计算精度提高。

此外，在填充率测量方法中，三维坐标系是具有Z轴的三维正交坐标系，在推测中，通过对货物区域2033的与Z轴负方向相反的Z轴正方向侧进行插值来推测货物模型2034。因此，能够有效地减少货物模型2034的推测的处理量。

此外，在填充率测量方法中，三维坐标系是以搁架102的开口102a的形状为基准的坐标系。因此，能够容易地计算以搁架102开口102a的形状为基准的坐标系，能够基于计算出的坐标系推测货物模型2034。

此外，在填充率测量方法中，三维坐标系可以是以设置于搁架102的标记104为基准的坐标系。因此，能够容易地计算以标记104为基准的坐标系，能够基于计算出的坐标系推测货物模型2034。

(实施方式2)

有关实施方式2的信息处理装置与有关实施方式1的信息处理装置相比，坐标系计算部的结构有所不同。以下，具体地进行说明。

图21是表示有关实施方式2的坐标系计算部的结构的框图。图22是表示有关实施方式2的坐标系计算部具有的提取部的结构的框图。图23是用来说明有关实施方式2的提取部进行的开口部端点的提取方法的图。

坐标系计算部222C在代替坐标系计算部222A所具有的检测部311及提取部312而具有提取部321C这一点上有所不同。

提取部321C与检测部311及提取部312同样，使用由取得部221取得的测距传感器210的测量结果、及容纳三维模型2012，提取搁架区域2014中的作为开口2015的四个角的位置的四个开口部端点2016。另外，提取部321C只要能够确定搁架区域2014中的开口2015的四个开口部端点2016即可，可以不进行提取四个开口部端点2016的处理。提取部321C具有线段检测部1331、开口提取部1332和端点计算部1333。

实施方式2的测距传感器210的测量结果包括RGB图像及深度图像。RGB图像是由内置在测距传感器210的照相机拍摄得到的二维图像。RGB图像是拍摄有开口2015的整体的图像，即，是开口2015的二维图像。这样，RGB图像是通过从测距传感器210的位置向特定的方向进行测量而生成的开口2015的二维图像的一例。RGB图像是由朝向特定的方向配置在测距传感器210的位置处的照相机拍摄(测量)而得到的图像。特定的方向是表示拍摄RGB图像时的照相机的姿势的方向(例如拍摄方向)，例如是从测距传感器210的位置朝向开口2015的方向。另外，特定的方向也可以不与从测距传感器210的位置朝向开口2015的方向一致，只要是照相机拍摄的范围包含开口2015时的照相机的拍摄方向即可。也可以是测距传感器210的位置及特定的方向分别作为照相机的位置及姿势(照相机的外部参数)来使用。此外，照相机的位置及姿势也可以预先设定。照相机的外部参数是与RGB图像对应的位置姿势信息。

深度图像是由测距传感器210生成的图像。深度图像是由测距传感器210测量的、具有测距的方向(进深方向)上的到包括开口2015的测量对象为止的距离作为像素值的二维图像。即，深度图像是开口2015的二维图像的另一例。深度图像例如是基于测距传感器210的测量结果而生成的图像。深度图像可以根据仅包含开口2015和其附近的区域的测量结果来生成，也可以根据空间三维模型或作为生成空间三维模型的基础的测量结果来生成。在此情况下，省略了测距传感器210进行的开口2015的再测量。特定的方向是表示作为深度图像的生成的基础的、由测距传感器210得到的测量结果被测量时的测距传感器210的姿势的方向(例如测距的方向)，例如是从测距传感器210的位置朝向开口2015的方向。另外，特定的方向也可以不与从测距传感器210的位置朝向开口2015的方向一致，只要是测距传感器210的测量范围包含开口2015时的测距传感器210测距的方向即可。测距传感器210的位置及特定的方向分别表示测距传感器210的位置及姿势，是测距传感器210的外部参数。测距传感器210的外部参数是与深度图像对应的位置姿势信息。

另外，二维图像并不限于RGB图像及深度图像，也可以使用灰阶图像、红外线图像等。

照相机的特定的方向和测距传感器210的特定的方向既可以相互相同也可以不同。照相机的外部参数也可以与测距传感器210的外部参数相同。因此，也可以是测距传感器210的外部参数作为照相机的外部参数使用。

线段检测部1331对于图23中(a)所示的RGB图像2101执行检测线段的处理。线段检测部1331根据RGB图像2101检测线段，从而如图23中(b)所示，生成包含RGB图像2101中的线段2103的线段图像2102。

同样，线段检测部1331对于图23中(c)所示的深度图像2111执行检测线段的处理。线段检测部1331根据深度图像2111检测线段，从而如图23中(d)所示，生成包含深度图像2111中的线段2113的线段图像2112。

另外，线段检测部1331在检测线段的处理中，基于各图像的相邻的像素间的像素值的差来检测边缘(edge)，检测相对于检测到的边缘的方向垂直的方向，从而检测线段。

开口提取部1332使用线段图像2102、2112和图23中(e)所示的容纳三维模型2012，如图23中(f)所示，从线段图像2102、2112中提取表示开口2015的形状的线段2122，生成包含线段2122的线段图像2121。具体而言，开口提取部1332对于将线段图像2102、2112组合得到的线段图像，进行以容纳三维模型2012的开口的形状为模板的图案(pattern)匹配，从而提取线段2122。线段图像2102和线段图像2112可以在使用照相机的外部参数及测距传感器210的外部参数而对位后，将线段图像2102、2112的一方中包含的多个线段配置到另一方的该多个线段的位置，从而进行组合。线段图像2121也可以是仅包含表示开口2015的形状的线段2122的图像。在图23中(f)的线段图像2121中，由于判定为在线段图像2102、2112中有四个与容纳三维模型2012符合的形状，所以提取出了四个包含开口2015的形状的线段2122。

如图23中(g)所示，端点计算部1333基于照相机的外部参数及测距传感器210的外部参数、线段图像2121中包含的线段2122，提取搁架区域2014中的作为各开口2015的四个角的位置的四个开口部端点2016。照相机的外部参数及测距传感器210的外部参数可以由信息处理装置220的存储部225预先存储。另外，在图23的例子中，由于检测到四个开口2015的形状，所以提取出16个开口部端点2016。在图23中(g)，由于一部分的开口部端点2016重叠，所以图示了9个开口部端点2016。

另外，如果由开口提取部1332提取出包含开口2015的形状的线段2122，则能够确定开口2015的位置，所以也可以是并不一定进行由端点计算部1333进行的处理。开口2015的形状既可以由线段2122定义，也可以由开口部端点2016定义，也可以由线段2122及开口部端点2016的组合定义。开口2015的形状在是四边形的情况下可以由四个线段定义，也可以由四个表示顶点的开口部端点定义，也可以由线段及开口部端点的组合定义。即，开口的形状在是多边形的情况下，既可以由构成多边形的边的线段定义，也可以由多边形的顶点定义，也可以由线段及顶点的组合定义。此外，开口的形状在是包括椭圆及正圆的圆形的情况下，也可以由圆形的外缘的曲线的形状定义。

这样，提取部321C根据RGB图像2101及深度图像2111确定表示开口2015的形状的线段。并且，提取部321C基于测距传感器210的位置、特定的方向及所确定的开口2015的形状(即线段图像2121中的线段2122)，计算三维空间上的开口2015的位置。

提取出四个开口部端点2016之后的计算部313的处理与实施方式1同样，所以省略说明。

另外，在图23中，说明了基于作为二维图像RGB图像2101及深度图像2111的两者来提取开口2015的线段的例子，但并不限于此。例如，也可以基于RGB图像2101及深度图像2111的一方来提取开口2015的线段。

另外，从RGB图像2101提取线段的精度例如受开口2015的周围的明亮度(照度)等的环境影响。RGB图像2101与深度图像2111相比信息量较多，所以检测到较多的线段。

另一方面，从深度图像2111提取线段的精度与RGB图像2101相比不易受环境(明亮度)影响。在没有通过测距得到距离信息的情况下，存在深度图像2111在没有得到距离信息的区域中有欠缺的情况。这样，由于RGB图像2101及深度图像2111具有相互不同的特性，所以也可以进行根据各图像的特性来提取开口2015的线段的处理。

例如也可以是，在提取线段的处理中，如果开口2015附近的明亮度超过了规定的照度，则以RGB图像2101比深度图像2111优先的方式，将根据RGB图像2101得到的线段图像2102与根据深度图像2111得到的线段图像2112组合，根据组合的结果提取开口2015的线段，从而提高线段的提取精度。相反，也可以是，在提取线段的处理中，如果开口2015附近的明亮度为规定的照度以下，则以深度图像2111比RGB图像2101优先的方式，将根据RGB图像2101得到的线段图像2102与根据深度图像2111得到的线段图像2112组合，从而提高开口2015的线段的提取精度。

开口2015附近的明亮度也可以根据RGB图像2101中包含的像素的像素值来推测。

此外，存在货物103向搁架102的容纳空间101的填充率越高、开口2015附近的明亮度越低的情况。在此情况下，可以先计算填充率，根据计算出的填充率来决定在提取线段的处理中设为优先的二维图像。即，可以是，在提取线段的处理中，如果先计算出的填充率为规定的填充率以下，则以RGB图像2101比深度图像2111优先的方式，将根据RGB图像2101得到的线段图像2102与根据深度图像2111得到的线段图像2112组合，根据组合的结果来提取开口2015的线段，从而提高线段的提取精度。相反，也可以是，在提取线段的处理中，如果先计算出的填充率超过规定的填充率，则以深度图像2111比RGB图像2101优先的方式，将根据RGB图像2101得到的线段图像2102与根据深度图像2111得到的线段图像2112组合，从而提高开口2015的线段的提取精度。

此外，在提取线段的处理中，由于在空间三维模型中欠缺比规定的阈值多的情况下难以根据深度图像2111测量开口的形状，所以以RGB图像2101比深度图像2111优先的方式，将根据RGB图像2101得到的线段图像2102与根据深度图像2111得到的线段图像2112组合，根据组合的结果提取开口2015的线段，从而提高线段的提取精度。例如，在相对于测距传感器210进行测距的方向正交的方向上处于距测距传感器210比规定的距离远的位置的开口2015的距离信息，因为来自测距传感器210的激光难以反射，所以得不到充分的精度或发生欠缺。由此，可以以RGB图像2101比深度图像2111优先的方式，将根据RGB图像2101得到的线段图像2102与根据深度图像2111得到的线段图像2112组合。相反，在提取线段的处理中，在空间三维模型中欠缺为规定的阈值以下的情况下，也可以通过以深度图像2111比RGB图像2101优先的方式，将根据RGB图像2101得到的线段图像2102与根据深度图像2111得到的线段图像2112组合，来提高开口2015的线段的提取精度。

另外，在上述中，假设以RGB图像2101比深度图像2111优先的方式，将根据RGB图像2101得到的线段图像2102与根据深度图像2111得到的线段图像2112组合，根据组合的结果来提取开口2015的线段，具体而言，也可以进行以下的处理。

对该处理的第1例进行说明。在设RGB图像2101比深度图像2111优先的情况下，该组合的结果也可以仅是线段图像2102。在此情况下，也可以是不根据深度图像2111生成线段图像2112。

接着，对第2例进行说明。在第2例中，在提取线段的处理中，也可以对提取的各个线段赋予表示似然度(精度)的评价值。即，在此情况下，对于线段图像2102、2112中包含的多个线段分别赋予评价值。在线段图像2102及线段图像2112的组合中，以与开口2015的周围的照度对应的权重将各线段图像2102、2112的各线段的评价值加权相加。由此，将线段图像2102及线段图像2112统合。此时的权重在设RGB图像2101比深度图像2111优先的情况下，将加权加算中的针对线段图像2102的权重设定为比针对线段图像2112的权重大。

并且，提取统合后的图像中的多个线段中的评价值为阈值以上的线段，作为开口2015的线段的候选，对提取出的候选的线段进行图案匹配，从而提取开口2015的线段。表示似然度的评价值，既可以是线段的长度越长则越高的值，也可以是以检测线段时的边缘为边界而相邻的两个像素的像素值的差、或分别属于以该边缘为边界而相邻的两个区域的两个像素的像素值的差越大则越高的值。

另外，以深度图像2111比RGB图像2101优先的方式，将根据RGB图像2101得到的线段图像2102与根据深度图像2111得到的线段图像2112组合的情况，可以通过在RGB图像2101比深度图像2111优先时的说明中将RGB图像2101及深度图像2111替换、将线段图像2102及线段图像2112替换来进行说明。

接着，对有关实施方式2的信息处理装置的动作进行说明。有关实施方式2的信息处理装置与有关实施方式1的信息处理装置相比坐标系计算部的结构不同，所以对坐标系计算部中的动作(S113)进行说明。

图24是实施方式2的坐标系计算部进行的计算测量坐标系的处理(S113)的流程图。

坐标系计算部222C根据二维图像检测线段(S1121)。具体而言，坐标系计算部222C根据RGB图像2101检测线段，从而生成包含RGB图像2101的线段2103的线段图像2102。此外，坐标系计算部222C根据深度图像2111检测线段，从而生成包含深度图像2111的线段2113的线段图像2112。步骤S1121是由坐标系计算部222C的提取部321C的线段检测部1331进行的处理。

坐标系计算部222C从检测到的线段中提取开口2015的线段(S1122)。具体而言，坐标系计算部222C使用线段图像2102、2112和容纳三维模型2012，从线段图像2102、2112中提取表示开口2015的形状的线段2122，生成包含线段2122的线段图像2121。步骤S1122是坐标系计算部222C的提取部321C的开口提取部1332进行的处理。

坐标系计算部222C基于测距传感器210的位置、测量了RGB图像2101及深度图像2111的方向(即特定的方向)、线段图像2121中包含的线段2122，提取搁架区域2014中的作为各开口2015的四个角的位置的四个开口部端点2016(S1123)。步骤S1123是坐标系计算部222C的提取部321C的端点计算部1333进行的处理。

坐标系计算部222C基于从测距传感器210看到的四个开口部端点2016的形状，计算表示测距传感器210与搁架102的位置关系的旋转矩阵2017及平移向量2018。接着，坐标系计算部222A使用旋转矩阵2017及平移向量2018对测距传感器210的传感器坐标系2004进行变换，从而计算测量坐标系2000(S1124)。步骤S1124是坐标系计算部222C的计算部313进行的处理。即，该处理与由坐标系计算部222A的计算部313进行的处理同样。由此，坐标系计算部222C能够将容纳三维模型的位置与空间三维模型的位置建立对应。

另外，步骤S1123的处理也可以并不一定进行。在不进行步骤S1123的处理的情况下，在步骤S1124中，坐标系计算部222A基于表示开口2015的形状的线段2122，计算表示测距传感器210与搁架102的位置关系的旋转矩阵2017及平移向量2018。接着，坐标系计算部222A使用旋转矩阵2017及平移向量2018对测距传感器210的传感器坐标系2004进行变换，从而计算测量坐标系2000。

(变形例1)

在有关上述实施方式的信息处理装置220中，计算容纳在容纳空间101中的货物103的体积相对于容纳空间101的容积的比率作为填充率，但并不限于此。

图25是用来说明填充率的计算方法的图。

在图25中(a)及(b)中，搁架102的容纳空间101具有正好容纳16个货物103的容积。如图25中(a)所示，在无间隙地配置了8个货物103的情况下，在空闲的容纳空间101中还能够容纳8个货物103。另一方面，如图25中(b)所示，在以有间隙的状态配置货物的情况下，如果要在容纳空间101的剩余的空间中容纳8个货物103，则需要使已经容纳的货物103移动。如果不使已经容纳的货物103移动而在容纳空间101的其余的空间中容纳货物103，则仅能够容纳6个货物103。

这样，在图25中(a)的情况和图25中(b)的情况下，尽管在容纳空间101的剩余的空间中能够容纳的货物103不同，但在这两种情况下，填充率都被计算为相同的50％。因此，可以想到与容纳空间101的剩余的空间的形状相匹配地计算考虑了实质上能够容纳的空间的填充率。

图26是表示有关变形例1的填充率计算部的计算部的结构的一例的框图。图27是表示有关变形例1的填充率计算部的计算部的填充率计算处理的流程图。

如图26所示，计算部503具有货物体积计算部601、区域分割部602、预定货物测量部603、区域推测部604和计算部605。

货物体积计算部601根据货物模型2034来计算作为货物103的体积的货物体积(S131)。货物体积计算部601通过与实施方式1同样的方法计算容纳在容纳空间101中的货物103的体积。

接着，区域分割部602将空间三维模型2011的容纳空间101分割为货物103占用了的占用区域2041、和货物103没有占用的空余区域2042(S132)。

接着，预定货物测量部603计算预定将要容纳的货物的一个所具有的体积(S133)。在预定将要容纳的货物的形状及尺寸如图25中(c)所示有多个种类的情况下，预定货物测量部603按各种类计算相当于一个货物的体积。例如，预定货物测量部603分别计算货物103a的体积、货物103b的体积及货物103c的体积。

接着，区域推测部604推测在空余区域2042中能够容纳最多的预定容纳的货物103的放置方式，推测该情况下的预定容纳的货物103的数量。即，区域推测部604推测在空余区域2042中能够容纳预定容纳的货物103的最大的数量。区域推测部604通过将一个货物的体积乘以能够容纳的货物的数量，从而计算空余区域2042中的能够容纳的容积(S134)。

另外，在有多个种类的货物的情况下，区域推测部604既可以按每个种类推测能够容纳多少数量的货物，也可以对多个种类的混合推测各个能够容纳多少数量的货物。在以多个种类混合的方式容纳货物的情况下，区域推测部604按每个种类计算相当于一个货物的体积与可容纳的该种类的货物的数量相乘而得到的容积的累计值，作为空余区域2042中的能够容纳的容积。例如，区域推测部604在推测为能够容纳n1个货物103a、容纳n2个货物103b、容纳n3个货物103c的情况下，计算对货物103a的体积乘以n1所得的第1体积、对货物103b的体积乘以n2所得的第2体积、对货物103c的体积乘以n3所得的第3体积的累计值，作为空余区域2042中的能够容纳的容积。另外，n1、n2及n3分别是0以上的整数。

计算部605将已容纳的货物的体积和能够容纳的容积应用于下述的式2，从而计算填充率(S135)。

填充率(％)＝(已容纳的货物的体积)/(已容纳的货物的体积+能够容纳的容积)×100…式2

这样，填充率计算部224可以计算容纳在容纳空间101中的货物103的体积相对于在容纳空间101中能够容纳货物103的空间的容积的比率，作为填充率。

由此，能够计算用来适当地判断在容纳空间101的空闲的空间中能够容纳多少货物103的第1填充率。

另外，在预先给出了容纳在容纳空间101中的货物的种类的情况下，也可以通过将已容纳的货物的体积除以预先给出的货物的种类的体积来计算所容纳的货物的数量。例如，可以将容纳在容纳空间101中的货物的种类与识别具有该容纳空间101的搁架102的ID一起存储到信息处理装置220的存储部225中。存储部225也可以存储将识别搁架102的ID与容纳在该搁架102的容纳空间101中的货物的种类建立了对应的容纳信息。此外，信息处理装置220的存储部225也可以存储将货物的种类与各种类的货物的体积建立了对应的货物信息。货物信息中的各种类的货物的体积，是基于在流通行业中通常使用的货物的尺寸所计算的体积。容纳信息及货物信息例如是表。由此，信息处理装置220基于存储在存储部225中的容纳信息，确定容纳在搁架102的容纳空间101中的货物103的种类和该种类的货物的体积，并将计算出的已容纳的货物的体积除以所确定的货物的体积，从而能够计算出所容纳的货物的数量。

也可以将计算出的货物的数量与填充率一起输出。例如，在所容纳的货物是货物103a的情况下，通过已容纳的货物的体积除以货物103a的体积，从而能够计算出所容纳的货物的数量。

(变形例2)

在有关上述实施方式的信息处理装置220中，计算货物103对于一个搁架102的容纳空间101的填充率，但也可以计算货物103对于两个以上的搁架102的容纳空间101的填充率。

图28是表示将两个以上的搁架容纳在卡车的货箱等的容纳空间中的情况的例子的图。图29是表示容纳在货箱的容纳空间中的搁架与其填充率的关系的表。

如图28所示，在具有容纳空间105的货箱106中容纳着多个笼式台车112。货箱106例如可以是卡车的厢式的货箱。货箱106是第2容纳部的一例。第2容纳部并不限于货箱106，也可以是集装箱，也可以是仓库。

容纳空间105是第2容纳空间的一例。容纳空间105具有能够容纳多个笼式台车112的大小的容积。在变形例2中，容纳空间105能够容纳6个笼式台车112。由于容纳空间105能够容纳多个笼式台车112，所以容纳空间105比容纳空间111大。

笼式台车112具有能够容纳多个货物103的容纳空间111。笼式台车112是容纳部的一例。变形例2的容纳部只要是能够移动的集装箱，并不限于笼式台车112或滚轮箱车。容纳空间111是第1容纳空间的一例。另外，也可以在容纳空间105中容纳在实施方式1中说明的搁架102。

多个货物103不是直接容纳在货箱106中，而是容纳在多个笼式台车112中。并且，将容纳有多个货物103的笼式台车112容纳到货箱106中。

说明在此情况下填充率计算部224的计算部503的结构。

图30是表示有关变形例2的填充率计算部的计算部的结构的一例的框图。图31是有关变形例2的填充率计算部的计算部的填充率计算处理的流程图。

如图30所示，有关变形例2的计算部503具有取得部701、计数部702和计算部703。

取得部701取得能够容纳到货箱106中的笼式台车112的数量(S141)。在变形例2的情况下，由于能够容纳到货箱106中的笼式台车112的最大数量是6，所以取得6。

计数部702对容纳在货箱106中的笼式台车112的数量进行计数(S142)。在图29所示的笼式台车112被容纳在货箱106中的情况下，计数部702将笼式台车112的数量计数为3台。

计算部703计算1台以上的笼式台车112对于货箱106的填充率即第2填充率(S143)。具体而言，计算部703可以计算容纳在货箱106中的笼式台车112的数量相对于能够容纳到货箱106中的笼式台车112的最大数量的比率，作为第2填充率。例如在货箱106中最大能够容纳6台笼式台车112，其中3台笼式台车112容纳在货箱106中，因此计算部703计算第2填充率为50％。

另外，计算部703也可以对于容纳在货箱106中的1台以上的笼式台车112分别计算货物103对于该笼式台车112的填充率，使用计算出的填充率来计算货物103对于第2容纳空间的填充率。具体而言，计算部703也可以计算货物103对于笼式台车112的填充率的平均值，作为货物103对于第2容纳空间的填充率。在此情况下，计算部703也可以在货箱106的容纳空间105中剩余有能够容纳笼式台车112的空间的情况下，将能够容纳笼式台车112的剩余的空间中能够容纳笼式台车112的数量的填充率设为0％，从而计算平均值。

例如，在图29所示的3台笼式台车112的填充率分别是70％、30％、20％，在货箱106中最大能够容纳6台笼式台车112的情况下，也可以计算将6台笼式台车112的填充率分别设为70％、30％、20％、0％、0％、0％并求平均值而得到的20％，作为货物103对于第2容纳空间的填充率。

因此，能够适当地计算出在容纳空间105中容纳1台以上的笼式台车112的情况下的第2填充率。

(变形例3)

接着，对变形例3进行说明。

图32是用来说明有关变形例3的笼式台车的结构的图。

图32中(a)是表示开闭部113为闭状态的笼式台车112的图。图32中(b)是表示开闭部113为开状态的笼式台车112的图。

有关变形例3的笼式台车112具有将开口112a开闭的开闭部113。开闭部113是具有多个贯通孔113a的格状或网眼状的罩。因此，即使笼式台车112的开闭部113是闭状态，测距传感器210也能够经由多个贯通孔113a及开口112a测量笼式台车112的容纳空间111的内部的三维形状。

这是因为，测距传感器210发出的电磁波穿过多个贯通孔113a及开口112a。另外，由于测距传感器210A照射的红外图案穿过多个贯通孔113a及开口112a，所以即使笼式台车112的开闭部113是闭状态，在测距传感器210A的情况下也能够经由多个贯通孔113a及开口112a测量笼式台车112的容纳空间111的内部的三维形状。此外，在测距传感器210B的情况下，由于两个照相机211B、212B能够经由多个贯通孔113a及开口112a对容纳空间111的内部进行拍摄，所以也能够测量笼式台车112的容纳空间111的内部的三维形状。

由此，信息处理装置220能够判定在容纳空间111中是否容纳有货物103。但是，在开闭部113是闭状态的情况下，如果不将计算填充率的方法切换为与开状态的情况或不存在开闭部113的情况不同的方法，则难以求出正确的填充率。因此，有关变形例3的填充率计算部224在开闭部113是开状态的情况下，用第1方法计算填充率，在开闭部113是闭状态的情况下，用第2方法计算填充率。

图33是表示有关变形例3的填充率计算部的结构的一例的框图。图34是有关变形例3的填充率计算部的填充率计算处理的流程图。

如图33所示，有关变形例3的填充率计算部224具有检测部801、切换部802、第1填充率计算部803和第2填充率计算部804。

检测部801使用空间三维模型检测开闭部113的开闭状态(S151)。具体而言，检测部801使用空间三维模型，在笼式台车112的开口112a的区域的前后方向(即，测距传感器210和笼式台车112的排列方向)上在容纳空间111的内部和外部各自的位置处存在三维点云的情况下，检测出开闭部113是闭状态。在仅在容纳空间111的内部中存在三维点云的情况下，检测部801检测出开闭部113是开状态。

切换部802判定开闭部113是开状态还是闭状态(S152)，根据判定结果切换接着的处理。

在由切换部802判定为开闭部113是开状态的情况下(S152中为开状态)，第1填充率计算部803用第1方法计算填充率(S153)。具体而言，第1填充率计算部803进行与实施方式1的由填充率计算部224进行的处理同样的处理，从而计算笼式台车112的填充率。

在由切换部802判定为开闭部113是闭状态的情况下(S152中为闭状态)，第2填充率计算部804用第2方法计算填充率(S154)。使用图35说明第2方法的详细情况。

图35是用来对计算填充率的第2方法的一例进行说明的图。

如图35中(a)所示，设想取得了空间三维模型2051的情况。

图35中(b)是将空间三维模型2051中的区域R2放大后的图。如图35中(b)所示，第2填充率计算部804将区域R2划分为检测到开闭部113的第2部分、和检测到货物103的第1部分。

第1部分是在开口112a的区域的里侧包含三维点云的区域。此外，第1部分是在从测距传感器210朝向货物103的方向上，测距传感器210与货物103对置的部分。即，第1部分是在从测距传感器210朝向货物103的方向上，闭状态的开闭部113中的与贯通孔113a对置的部分。另外，开闭部113也可以是具有一个贯通孔113a的结构。

第2部分是在笼式台车112的开口112a的区域的前后方向上的跟前一侧包含三维点云的区域。此外，第2部分是在从测距传感器210朝向货物103的方向上，测距传感器210与货物103不对置的部分。即，第2部分是在从测距传感器210朝向货物103的方向上，被闭状态的开闭部113遮挡的部分。

第2填充率计算部804将第1部分和第2部分分别体素化，从而生成图35中(c)所示的体素数据2052。在体素数据2052中，没有阴影的白色的区域是第2部分被体素化的区域，点阴影的区域是第1部分被体素化的区域。

并且，第2填充率计算部804对于与开闭部113的区域对应的白色的区域，推测在开闭部113的里侧是否存在货物103。具体而言，第2填充率计算部804对于被体素化的区域中与存在货物103的点阴影的体素相邻的26个体素，基于存在货物的概率来分配分数。并且，对于与存在货物103的多个体素相邻的白色的区域所表示的体素，分配相加后的分数。第2填充率计算部804对于存在货物103的全部的体素进行该处理，对于分数的合计值为任意的阈值以上的白色的区域所表示的体素，判定为存在货物103。第2填充率计算部804例如在将任意的阈值设为0.1的情况下，由于判定为在全部的区域中存在货物103，因此如图35中(e)所示，能够计算出推测到被开闭部113遮挡的区域的形状的货物模型2053。

这样，由于信息处理装置220基于测距传感器210与货物103对置的第1部分的形状来推测测距传感器与测量对象物不对置的第2部分的形状，所以即使在有第2部分的情况下也能够适当地推测对象物三维模型。

另外，当被附加了在笼式台车112的内部无间隙地配置货物103这种规则的情况下，如图36所示，第2填充率计算部804可以提取配置有一个以上的货物103的区域的轮廓R3，判定在提取出的轮廓R3的内部为存在货物103的区域。并且，第2填充率计算部804也可以使用开闭部113的多个贯通孔113a的区域中的三维点云来推测轮廓R3的内部的开闭部113的区域。

在有关变形例3的填充率测量方法中，笼式台车112还具有多个贯通孔113a，并且具有将开口112a开闭的开闭部113。在填充率测量方法中，进一步判定开闭部113是开状态还是闭状态，在开闭部113是开状态的情况下，与实施方式1的填充率计算部224同样，通过进行提取及推测从而推测货物模型2034。填充率计算部224在开闭部113是闭状态的情况下，根据基于空间三维模型2011的体素数据2031中的与开闭部113的多个贯通孔113a对应的多个第1部分，推测被开闭部113遮挡的第2部分，使用多个第1部分及推测出的第2部分、容纳三维模型2032来推测货物模型2034。

由此，即使在将货物103容纳到设有对开口112a进行开闭的开闭部113的笼式台车112中的情况下，由于根据开闭部113的开闭状态而将货物模型2034的推测方法在第1方法和第2方法间切换，所以也能够适当地推测对象物三维模型。

(变形例4)

图37是用来说明有关变形例4的空间三维模型的生成方法的图。

如图37所示，在生成空间三维模型的情况下，三维测量系统200与模型生成部223的处理同样，也可以将多个测距传感器210的测量结果统合。在此情况下，三维测量系统200通过事前校准来确定多个测距传感器210的位置及姿势，基于所确定的多个测距传感器210的位置及姿势将得到的多个测量结果统合，从而能够生成遮挡少的包含三维点云的空间三维模型。

(变形例5)

图38及图39是用来说明有关变形例5的空间三维模型的生成方法的图。

如图38所示，即使在生成空间三维模型的情况下，三维测量系统200也能够使笼式台车112及一个测距传感器210的至少一方以横穿一个测距传感器210的测量区域R1的方式而移动，在移动的期间的多个定时将由测距传感器210得到的多个测量结果统合。笼式台车112例如可以通过被无人输送车(AGV：Automated Guided Vehicle)1101输送而以横穿测距传感器210的测量区域R1的方式进行移动。

在此情况下，信息处理装置220计算在被测量到各测量结果的各定时，笼式台车112与一个测距传感器210之间的相对的位置及姿势。例如，如图39所示，信息处理装置220从测距传感器210取得测量结果2010，从无人输送车1101取得无人输送车1101的位置信息2061。测量结果2010包括由测距传感器210在第1定时测量的第1测量结果和在第2定时测量的第2测量结果。第1定时及第2定时是相互不同的定时。位置信息2061包括第1定时的无人输送车1101的第1位置和第2定时的无人输送车1101的第2位置。第1位置及第2位置是相互不同的位置。位置信息2061是由无人输送车1101推测出的多个定时的无人输送车1101的自身位置。

自身位置可以通过既有的方法来推测。例如，无人输送车1101被配置在特定的位置，从包含表示特定的位置的特定位置信息的标记或标签读取特定位置信息，从而推测处于特定的位置，也可以是从标记或标签读取特定位置信息，从而基于以推测出的特定的位置为基准所行驶的距离及方向来推测自身位置。也可以是无人输送车1101将所读取的特定位置信息和从特定的位置行驶的距离及方向发送给信息处理装置220，信息处理装置220基于特定位置信息和从特定的位置行驶的距离及方向，推测无人输送车1101的位置。此外，也可以使用由配置在无人输送车1101的外部的照相机拍摄的图像来推测无人输送车1101的位置。

信息处理装置220基于包含从不同的视点测量笼式台车112所得到的多个测量结果的测量结果2010、和位置信息2061，提取搁架区域2014中的作为各开口2015的四个角的位置的四个开口部端点2016。信息处理装置220也可以基于位置信息2061中包含的第1位置，确定第1测量结果中的笼式台车112的开口112a存在的可能性较高的区域，对所确定的区域进行计算测量坐标系的处理。信息处理装置220也可以基于位置信息2061中包含的第2位置，确定第2测量结果中的笼式台车112的开口112a存在的可能性较高的区域，对所确定的区域进行计算测量坐标系的处理。

此外，也可以是信息处理装置220基于位置信息2061中包含的第1位置及第2位置对第1测量结果及第2测量结果进行统合，从而生成包含遮挡较少的三维点云的空间三维模型。由此，能够计算出精度更高的填充率。

另外，也可以是，位置信息2061仅包含特定的定时的一个位置，测量结果2010仅包含特定的定时的一个测量结果。

信息处理装置220在多个无人输送车一台一台地依次穿过测距传感器210的测量区域R1的情况下，也可以基于针对依次穿过的多个无人输送车所输送的笼式台车112而得到的对于各无人输送车所输送的笼式台车112的测量结果，计算各笼式台车112的填充率。

(变形例6)

在变形例6中，对测距传感器的测量区域进行说明。

图40是表示用1台测距传感器测量多个笼式台车的例子的图。

如图40所示，1台测距传感器210以测量对象的多个笼式台车112全部包含在该测距传感器210的测量区域R10中的方式而配置。例如，可以是测距传感器210被配置在如下位置，该位置使笼式台车112的距测距传感器210远的一方的面被包含在测距的方向上的测量区域R10的最大的长度中。

图41是表示用两台测距传感器测量多个笼式台车的例子的图。

如图41所示，两台测距传感器210a、210b被配置为，使测量对象的多个笼式台车112所存在的范围全部包含在这些测距传感器210a、210b的测量区域R11、R12中。进而，两台测距传感器210a、210b例如被配置为，使得测量区域R11及测量区域R12重叠的区域R13在测距方向D1上的长度902比笼式台车112在测距方向D1上的长度901长。另外，长度901及长度902是以笼式台车112的配置面为基准的测距方向D1上的长度(高度)。即，重叠的区域R13在测距方向D1上具有笼式台车112的长度901以上的长度902。由此，能使得能够由两台测距传感器210a、210b测量的多个笼式台车112的数量最大化。另外，测距方向D1是测距传感器210a、210b分别进行测距的方向。在图40及图41中，测距方向D1沿着垂直方向，但测距方向D1所沿着的方向并不限于垂直方向。测距方向D1也可以沿着水平方向。

各测距传感器210a、210b是与图40的测距传感器210相同的传感器，其测量区域也是相同的大小。在图40中，对于1台测距传感器210而言，能够最大测量4台笼式台车112。在图41中，通过将两台测距传感器210a、210b以如上述那样重叠的区域R13的高度902比笼式台车112的高度901高的方式进行配置，从而能够再配置1台的笼式台车112。结果，能够用两台测距传感器210a、210b测量9台笼式台车112，能够测量的笼式台车112的数量比用1台测距传感器210所能测量的笼式台车112的数量的2倍还多。

图42是表示用3台测距传感器测量多个笼式台车的例子的图。

如图42所示，3台测距传感器210a、210b、210c被配置为，使测量对象的多个笼式台车112全部包含在这些测距传感器210a、210b、210c的测量区域R21、R22、R23中。进而，3台测距传感器210a、210b、210c例如被配置为，使测量对象的多个笼式台车112全部包含在测量区域R21、测量区域R22及测量区域R23中的至少两个测量区域重叠的区域R24中。由此，成为由多个测距传感器测量多个笼式台车112的全部。因此，能够生成遮挡较少的包含三维点云的空间三维模型。

(变形例7)

对有关变形例7的三维测量系统200A进行说明。

图43是表示有关变形例7的三维测量系统的特征性的结构的框图。

有关变形例7的三维测量系统200A在具备两个测距传感器210a及210b这一点上与有关实施方式1的三维测量系统200不同。此外，有关变形例7的信息处理装置220A除了具备有关实施方式1的信息处理装置220的构成要素以外还具备统合部226，在这一点上有所不同。这里，主要对与实施方式1不同的点进行说明。

取得部221从多个测距传感器210a、210b分别取得测量结果。具体而言，取得部221取得由测距传感器210a得到的第1测量结果、和由测距传感器210b得到的第2测量结果。第1测量结果包含由测距传感器210a生成的第1空间三维模型。第2测量结果包含由测距传感器210b生成的第2空间三维模型。

统合部226将第1空间三维模型与第2空间三维模型统合。具体而言，统合部226基于存储在存储部225中的测距传感器210a的位置及姿势(外部参数)和测距传感器210b的位置及姿势(外部参数)，将第1空间三维模型与第2空间三维模型统合。由此，统合部226生成统合空间三维模型。存储在存储部225中的测距传感器210a的位置及姿势和测距传感器210b的位置及姿势通过预先进行的校准而生成。

坐标系计算部222、模型生成部223及填充率计算部224使用统合空间三维模型作为空间三维模型，执行在实施方式1中说明的处理。

图44是由有关变形例7的信息处理装置进行的填充率测量方法的流程图。

信息处理装置220A从测距传感器210a、210b取得多个空间三维模型(S111a)。多个空间三维模型包括第1空间三维模型及第2空间三维模型。此时，信息处理装置220还从测距传感器210a、210b取得测量对象的图像。

信息处理装置220A将多个空间三维模型统合，生成统合空间三维模型(S111b)。

信息处理装置220A取得存储在存储部225中的容纳三维模型(S112)。

步骤S113～S116除了代替空间三维模型而使用统合空间三维模型这一点不同以外，是与实施方式1同样的处理，所以省略说明。

(变形例8)

在有关实施方式2的信息处理装置220中，根据包括RGB图像及深度图像的二维图像来检测线段，从检测到的线段中确定容纳三维模型的开口的形状的线段，但并不限于基于二维图像来确定开口的形状的线段。信息处理装置220也可以根据测距传感器210的测量结果或空间三维模型来确定开口的形状的线段(边缘)。例如，也可以在测距传感器210的测量结果或空间三维模型中，检测沿着一定的方向以一定的间隔以下排列的比一定的个数多的三维点云作为线段，从检测到的线段中确定容纳三维模型的开口的形状的线段。

(其他的实施方式)

以上，基于上述各实施方式对有关本公开的填充率测量方法等进行了说明，但本公开并不限定于上述各实施方式。

例如，在上述实施方式中，说明了信息处理装置等具备的各处理部由CPU和控制程序实现。例如也可以是，该处理部的构成要素分别由一个或多个电子电路构成。一个或多个电子电路可以分别是通用的电路，也可以是专用的电路。在一个或多个电子电路中，例如也可以包括半导体装置、IC(Integrated Circuit)或LSI(Large Scale Integration)等。IC或LSI既可以集成在一个芯片上，也可以集成在多个芯片上。这里称作IC或LSI，但根据集成的程度而称为系统LSI、VLSI(Very Large Scale Integration)或ULSI(Ultra LargeScale Integration)。此外，在LSI制造后可编程的FPGA(Field Programmable GateArray)也能够用于相同的目的。

此外，本公开的概括性或具体的形态也可以由系统、装置、方法、集成电路或计算机程序来实现。或者，也可以通过存储有该计算机程序的光盘、HDD(Hard Disk Drive)或半导体存储器等的计算机可读取的非暂时性的记录介质来实现。此外，也可以通过系统、装置、方法、集成电路、计算机程序及记录介质的任意的组合来实现。

除此以外，对于各实施方式施以本领域技术人员所能够想到的各种变形而得到的形态、或在不脱离本公开的主旨的范围内对实施方式的构成要素及功能进行任意地组合而实现的形态也包含在本公开中。

工业实用性

本公开作为能够计算测量对象物的填充率的填充率测量方法、信息处理装置、程序等来应用。

附图标号说明

101、105、111容纳空间；102搁架；102a、112a开口；103、103a～103c货物；104标记；106货箱；112笼式台车；113开闭部；113a贯通孔；200、200A三维测量系统；210、210A、210B、210a、210b测距传感器；211激光照射部；211A红外图案照射部；211B、212B照相机；212激光受光部；212A红外照相机；213A红外图案；220、220A信息处理装置；221、701取得部；222、222A、222B、222C坐标系计算部；223模型生成部；224填充率计算部；225存储部；226统合部；301辅助部；302、313、323、503、605、703计算部；311、321、401检测部；312、322、501、321C提取部；402生成部；403容积计算部；502推测部；601货物体积计算部；602区域分割部；603预定货物测量部；604区域推测部；702计数部；801检测部；802切换部；803第1填充率计算部；804第2填充率计算部；901长度；902宽度；1101无人输送车；1331线段检测部；1332开口提取部；1333端点计算部；2000测量坐标系；2001、2021图像；2002调整用标记；2003叠加图像；2004传感器坐标系；2005、2017、2026旋转矩阵；2006、2018、2027平移向量；2010测量结果；2011、2051空间三维模型；2012、2022、2032容纳三维模型；2013位置信息；2014搁架区域；2015开口；2016开口部端点；2023标记；2024标记区域；2025图案轮廓；2031、2052体素数据；2033货物区域；2034、2053货物模型；2041占用区域；2042空余区域；2061位置信息；2101RGB图像；2102、2112、2121线段图像；2103、2113、2122线段；2111深度图像；P1一点；R1、R10、R11、R12、R21、R22、R23测量区域；R2区域；R3轮廓；R13、R24重叠的区域。

Claims (15)

1.一种填充率测量方法，

取得空间三维模型，该空间三维模型通过对于具有容纳测量对象物的容纳空间且形成有开口的容纳部，由与上述容纳部对置的测距传感器经由上述开口进行测量而得到；

取得容纳三维模型，该容纳三维模型是没有容纳上述测量对象物的上述容纳部的三维模型；

取得上述开口的二维图像、以及与上述二维图像对应的位置姿势信息；

使用上述容纳三维模型，确定上述二维图像中的表示上述开口的形状的线段；

基于上述位置姿势信息及所确定的上述线段，计算三维空间上的上述开口的位置；

基于计算出的上述开口的位置，将上述容纳三维模型的位置与上述空间三维模型的位置建立对应；

基于上述建立对应后的上述容纳三维模型及上述空间三维模型，推测作为上述容纳空间内的测量对象物的三维模型的对象物三维模型；

使用上述容纳三维模型及上述对象物三维模型，计算上述测量对象物对于上述容纳空间的填充率。

2.如权利要求1所述的填充率测量方法，

上述二维图像包括通过照相机拍摄上述开口而生成的RGB图像；

上述位置姿势信息表示上述照相机在拍摄上述开口时的位置及姿势。

3.如权利要求1所述的填充率测量方法，

上述二维图像包括基于上述测距传感器进行的上述开口的测量而生成的深度图像；

上述位置姿势信息表示上述测距传感器在测量上述开口时的位置及姿势。

4.如权利要求1所述的填充率测量方法，

上述二维图像包括RGB图像、灰阶图像、红外线图像及深度图像的至少一方；

上述RGB图像通过照相机拍摄上述开口而生成；

上述深度图像是基于上述测距传感器的测量结果而生成的图像。

5.如权利要求4所述的填充率测量方法，

在上述线段的确定中，基于根据上述RGB图像所确定的线段和根据上述深度图像所确定的线段的双方，确定上述线段。

6.如权利要求1～5中任一项所述的填充率测量方法，

上述测距传感器包括ToF传感器即飞行时间测距传感器、及立体照相机中的至少一个。

7.如权利要求1～6中任一项所述的填充率测量方法，

上述测距传感器包括第1测距传感器及第2测距传感器；

上述第1测距传感器的第1测量区域与上述第2测距传感器的第2测量区域具有重叠的区域。

8.如权利要求7所述的填充率测量方法，

上述重叠的区域在上述测距传感器测距的方向上具有上述测量对象物的长度以上的长度。

9.如权利要求7所述的填充率测量方法，

上述重叠的区域包括上述测量对象物所存在的范围的全部。

10.如权利要求1～9中任一项所述的填充率测量方法，

上述容纳部在与上述测距传感器测距的方向交叉的方向上，相对于上述测距传感器相对地移动；

使用由上述测距传感器在第1定时测量出的第1测量结果和在第2定时测量出的第2测量结果而生成上述空间三维模型。

11.如权利要求1～10中任一项所述的填充率测量方法，

使用旋转矩阵和平移向量将上述容纳三维模型的位置和上述空间三维模型的位置建立对应。

12.如权利要求1～11中任一项所述的填充率测量方法，

计算多个容纳部中的一个以上的容纳部对于第2容纳部的第2填充率，上述第2容纳部具有容纳上述一个以上的上述容纳部的第2容纳空间。

13.如权利要求1～11中任一项所述的填充率测量方法，

计算在一个以上的上述容纳部中分别容纳的上述测量对象物对于第2容纳部的第3填充率，上述第2容纳部具有容纳上述一个以上的上述容纳部的第2容纳空间。

14.一种信息处理装置，

具备处理器和存储器；

上述处理器使用上述存储器，

取得空间三维模型，该空间三维模型通过对于具有容纳测量对象物的容纳空间且形成有开口的容纳部，由与上述容纳部对置的测距传感器经由上述开口进行测量而得到；

取得容纳三维模型，该容纳三维模型是没有容纳上述测量对象物的上述容纳部的三维模型；

取得上述开口的二维图像、以及与上述二维图像对应的位置姿势信息；

使用上述容纳三维模型，确定上述二维图像中的表示上述开口的形状的线段；

基于上述位置姿势信息及所确定的上述线段，计算三维空间上的上述开口的位置；

基于计算出的上述开口的位置，将上述容纳三维模型的位置与上述空间三维模型的位置建立对应；

基于上述建立对应后的上述容纳三维模型及上述空间三维模型，推测作为上述容纳空间内的测量对象物的三维模型的对象物三维模型；

使用上述容纳三维模型及上述对象物三维模型，计算上述测量对象物对于上述容纳空间的填充率。

15.一种程序，用来使计算机执行填充率测量方法，

在上述填充率测量方法中，

取得空间三维模型，该空间三维模型通过对于具有容纳测量对象物的容纳空间且形成有开口的容纳部，由与上述容纳部对置的测距传感器经由上述开口进行测量而得到；

取得容纳三维模型，该容纳三维模型是没有容纳上述测量对象物的上述容纳部的三维模型；

取得上述开口的二维图像、以及与上述二维图像对应的位置姿势信息；

使用上述容纳三维模型，确定上述二维图像中的表示上述开口的形状的线段；

基于上述位置姿势信息及所确定的上述线段，计算三维空间上的上述开口的位置；

基于计算出的上述开口的位置，将上述容纳三维模型的位置与上述空间三维模型的位置建立对应；

基于上述建立对应后的上述容纳三维模型及上述空间三维模型，推测作为上述容纳空间内的测量对象物的三维模型的对象物三维模型；

使用上述容纳三维模型及上述对象物三维模型，计算上述测量对象物对于上述容纳空间的填充率。

Images