CN117063042A - 平面检测装置以及平面检测方法 - Google Patents

Abstract

本公开所涉及的平面检测装置具备：信息获取部、似然度获取部以及平面检测部。信息获取部获取具有规定的平面的对象物的可视图像信息和与该可视图像信息对应的3D坐标信息。似然度获取部根据可视图像信息来获取表示对象物的规定的平面的平面度的似然度。平面检测部使用3D坐标信息与似然度，通过稳健估计法来检测对象物的规定的平面。

Description

平面检测装置以及平面检测方法

技术领域

本公开涉及平面检测装置以及平面检测方法。

背景技术

作为检测平面的技术，例如存在专利文献1。在专利文献1所涉及的技术中，从通过TOF(Time Of Flight：飞行时间)照相机捕捉的成像内检测面。在专利文献1中记载了如下方法：根据由TOF获得的图像数据，通过RANSAC(Random Sample Consensus：随机采样一致)法来检测平面信息。

在先技术文献

专利文献

专利文献1：国际公开第2010/018009号

发明内容

然而，与例如在专利文献1记载的技术相比，需要一种能够更高精度地检测对象物的平面的技术。

因此，本公开提供一种能够更高精度检测对象物的平面的平面检测装置以及平面检测方法。

本公开的一方式所涉及的平面检测装置具备：

信息获取部，获取具有规定的平面的对象物的可视图像信息和与该可视图像信息对应的3D坐标信息；

似然度获取部，根据所述可视图像信息，获取表示所述对象物的所述规定的平面的平面度的似然度；和

平面检测部，使用所述3D坐标信息和所述似然度，通过稳健估计法检测所述对象物的所述规定的平面。

本公开的其他方式所涉及的平面检测方法具备：

获取具有规定的平面的对象物的可视图像信息和与该可视图像信息对应的3D坐标信息，

根据所述可视图像信息，获取表示所述对象物的所述规定的平面的平面度的似然度，

使用所述3D坐标信息和所述似然度，通过稳健估计法检测所述对象物的所述规定的平面。

这些概括性且特定的方式可以通过系统、方法、计算机程序以及计算机可读取的记录介质以及它们的组合来实现。

根据本公开，能够提供一种更高精度地检测对象物的平面的平面检测装置以及平面检测方法。

附图说明

图1是表示本公开的实施方式1所涉及的平面检测装置的概略框图结构的图。

图2是表示包含在可视图像信息的作为例子的托盘(pallet)的概略图。

图3是对作为例子的托盘的3D坐标信息进行示例的图。

图4是对每个像素的似然度进行示例的图。

图5是表示平面检测方法的流程的流程图。

图6是对平面检测方法的动作进行说明的概略图。

图7是对平面检测方法的动作进行说明的概略图。

图8是对平面检测方法的动作进行说明的概略图。

图9是对平面检测方法的动作进行说明的概略图。

图10是对平面检测方法的动作进行说明的概略图。

图11是表示平面检测具体的流程的流程图。

图12是表示作为例子的托盘的概略图。

图13是对平面检测方法的动作进行说明的概略图。

图14是对平面检测方法的动作进行说明的概略图。

图15是对平面检测方法的动作进行说明的概略图。

图16是对平面检测方法的动作进行说明的概略图。

图17是对平面检测方法的动作进行说明的概略图。

具体实施方式

本公开涉及检测对象物的规定的平面的平面检测装置。以下，基于表示实施方式的附图进行具体地说明。

<实施方式1>

图1是表示本实施方式所涉及的平面检测装置10的概略结构的框图。如图1所示，平面检测装置10具备：控制部20、输出部30以及拍摄部40。另外，平面检测装置10还具备：存储部201，存储包含机器学习模型的各种数据等。如图1所示例，控制部20与输出部30、拍摄部40以及存储部201可通信地连接。

(结构)

控制部20能够由微型计算机、CPU(Central Processing Unit：中央处理单元)、MPU(Micro Processing Unit：微处理单元)、GPU(Graphics Processing Unit：图形处理单元)、DSP(Digital Signal Processor：数字信号处理器)、FPGA(Field Programmable GateArray：现场可编程门阵列)或者ASIC(Application Specific Integrated Circuit：专用集成电路)构成。控制部20的功能可以仅由硬件构成来实现，也可以通过将硬件与软件进行组合来实现。

控制部20通过读取保存在存储部201的数据、程序并进行各种运算处理来实现规定的功能。另外，控制部20作为功能模块，具备：信息获取部101、似然度获取部102以及平面检测部103。

首先，对信息获取部101进行说明。信息获取部101获取对象物的可视图像信息和3D坐标信息。在此，对象物具有规定的平面。此外，本实施方式所涉及的平面检测装置10使用由信息获取部101获取的各信息来检测该规定的平面。信息获取部101从由拍摄部40拍摄的对象物的图像数据中获取各信息。拍摄部40例如是深度照相机。拍摄部40若拍摄对象物，则信息获取部101获取图2所示的对象物的可视图像信息(RGB图像数据)和图3所示的与该可视图像信息对应的3D坐标信息。

如图2所示，在本实施方式中，对象物是能够进行物品P的装载的托盘1。另外，该托盘1包含平板部1a以及第一支柱部1b。在平板部1a，物品P被装载在附图的上下方向(装载方向)。第一支柱部1b从平板部1a向该装载方向(图2的上下方向)延伸设置。如图2所示，第一支柱部1b在装载有物品P的空间的相反一侧具有第一面1br。换句话说，第一面1br面向托盘1的外侧。如图2示例，第一面1br面对方向A。上述规定的平面包含该第一面1br。此外，第一支柱部1b可以是长方体，但是并不限定于此。由于第一支柱部1b只要存在平面区域即可，因此也可以不是长方体。

图3所示的3D坐标信息对成像图像进行示例。3D坐标信息包含与可视图像信息(彩色图像)的各像素对应的3D(3维)坐标值。换句话说，包含可视图像信息的各像素的3D坐标值的信息为3D坐标信息。此外，将拍摄部40(深度照相机)的位置设为原点。3D坐标的获取方式能够采用Stereo、LiDAR等的各种各样的方式。另外，3D坐标也可以从例如深度值等进行变换来获取。

接下来，对似然度获取部102进行说明。似然度获取部102从图2所示的可视图像信息来获取表示对象物的规定的平面度的似然度。在此，“规定的平面度”是某特定物体的特定平面区域平面度。似然度获取部102使用输入信息即可视图像信息和机器学习模型，按可视图像信息的每个像素来获取(计算)似然度。在此，可视图像信息通过信息获取部101来获取，机器学习模型存储在存储部201。似然度获取部102使用可视图像信息和机器学习模型，通过Mask RCNN等的推论来计算规定的平面的似然度。在本实施方式中，似然度获取部102根据可视图像信息来计算第一支柱部1b的第一面1br的似然度(这里的似然度根据上述表示第一支柱部1b的第一面1br的平面区域平面度)。

图4是示例性地表示对第一支柱部1b的第一面1br进行计算的似然度的示意图。按可视图像信息的各像素的每一个来计算似然度。另外，似然度以0以上且1以下的值被计算。在图4中将第一面1br的各像素的似然度以可视觉辨认地进行图示。在此，在图4中黑白的浓淡越浓，则似然度越高，黑白的浓淡越淡，则似然度越低。例如，在某像素的似然度为0的情况下，表示该像素的规定的平面(第一面1br)平面度为最低(白)。与此相对，在某像素的似然度为1的情况下，表示该像素的规定的平面(第一面1br)平面度为最高(黑)。

此外，在本实施方式中使用机器学习模型来自动地实施似然度的获取(计算)。然而，也可以通过其他的方法来针对可视图像信息的各像素确定似然度。例如，可以将似然度获取部102与接收用户的操作的部分(操作部)连接，基于来自该操作部的输入信息来获取。例如将可视图像信息显示在显示器等(输出部30)，用户通过人工输入来通过操作部实施选择、确定各像素的似然度的操作。似然度获取部102可以基于该操作来针对各像素确定(获取)似然度。此外，在这种情况下能够省略保存机器学习模型的存储部201。

接下来，对平面检测部103进行说明。平面检测部103使用图3所示的3D坐标信息和由似然度获取部102获取的似然度，通过稳健估计法来检测对象物的规定的平面。例如，平面检测部103使用多个采样点和与该多个采样点分别对应的似然度，通过RANSAC等来检测对象物的规定的平面。在此，多个采样点(例如，至少3点以上)从与规定的平面(例如，第一面1br)对应的3D坐标信息中随机地进行选择。此外，在本实施方式中，所谓平面的检测是对对象物的规定的平面的平面方程式进行估计。作为估计平面方程式的方法，除了上述的RANSAC以外还可以采用最小二乘法等。

在本实施方式中，平面检测部103考虑通过似然度获取部102获取的似然度(使用似然度)，来进行平面的检测(即，将该似然度在稳健估计时作为“权重”使用)。此外，具体的平面的检测方法在后述的动作的说明中进行。

接下来，对存储部201进行说明。存储部201是存储为了实现平面检测装置10的功能所需的程序以及数据的存储介质。例如，存储部201可以通过硬盘(HDD)、SSD(SolidState Drive：固态驱动器)、RAM(Random Access Memory：随机存储存储器)、DRAM(DynamicRAM：动态随机存储存储器)、强电介质存储器、闪速存储器、磁盘或者这些的组合来实现。

另外，在存储部201存储有通过机器学习构筑的机器学习模型。该机器学习模型在通过似然度获取部102进行似然度获取(计算)时被使用。在本实施方式中，事先实施机器学习并生成机器学习模型，以使得能够针对托盘1所具有的第一支柱部1b的第一面1br的似然度进行计算。换句话说，实施机器学习以使得仅计算特定平面区域(第一面1br)的似然度而不是托盘1整体。

似然度表示对象物的规定的平面度。在本实施方式中，似然度表示托盘1所具有的第一支柱部1b的第一面1br的平面度。

机器学习模型例如可以如下这样生成。首先，获取托盘1的可视图像信息(图像数据)。然后，按可视图像信息的每个像素来标记第一面1br(规定的平面)的平面度。通过对多个可视图像信息进行该处理并使用其标记结果，能够通过机器学习来生成机器学习模型。

输出部30具有显示控制部20的运算处理结果的显示部。例如，显示部可以由液晶显示器或者有机EL显示器构成。另外，输出部30也可以具备产生声音的扬声器等。

拍摄部40拍摄被摄体即对象物。基于来自拍摄部40的拍摄信息，信息获取部101获取对象物的可视图像数据和与该可视图像数据建立关联的3D坐标信息。可视图像数据为彩色图像的数据。所谓与可视图像数据建立关联的3D坐标信息是与图像数据的各像素对应的3D坐标的信息。

拍摄部40例如是深度照相机。深度照相机测量到对象物为止的距离，并生成以每个像素的深度值来表示测量的距离的深度信息。例如，深度照相机可以是红外线有源立体照相机、LiDAR深度照相机等。此外，拍摄部40并不限定于这些深度照相机。

(动作)

图5是表示本实施方式所涉及的平面检测方法的流程的图。以下，使用图1所示的概略结构图以及图5所示的流程图对具体的平面检测动作进行说明。此外，在本实施方式中，对检测包含对象物即托盘1所具有的第一面1br的规定的平面的情况进行详述。

此外，关于平面检测的对象物，在后述的图5的步骤S3开始之前，在平面检测装置10中将作为初始值的暂定相加值L’设定为0(零)，作为初始值的暂定平面方程式θ’(以下，称为暂定平面θ’)未做任何设定(例如，设定为0、null这样的值)。

拍摄部40拍摄托盘1。接收到该拍摄结果，信息获取部101获取托盘1的可视图像信息(参照图2)和与该可视图像信息对应的3D坐标信息(参照图3)(图5的步骤S1)。

接下来，似然度获取部102根据可视图像信息，针对托盘1的第一支柱部1b获取(计算)似然度(图5的步骤S2)。在此，该似然度的获取使用机器学习模型来实施。另外，该似然度针对表示第一支柱部1b的第一面1br的各像素而被计算。图4将第一面1br的各像素的似然度以可视觉辨认地进行了示例。如上述这样，第一面1br面向托盘1的装载有物品P的空间的相反一侧(如图4所示，面向方向A)。

接下来，平面检测部103使用由信息获取部101获取的3D坐标信息和由似然度获取部102获取的似然度，通过稳健估计法检测包含托盘1的第一面1br的规定的平面(图5的步骤S3)。

具体而言，首先，平面检测部103在由信息获取部101获取的3D坐标信息中求出属于第一面1br的对象采样点。例如，能够将属于似然度＞0的区域的采样点作为对象采样点来求出。图6示例了求出属于第一面1br的对象采样点的样子。图6是从上方观察图4的第一支柱部1b的图。各白圈表示求出的对象采样点。另外，如图6示例，各对象采样点与在步骤S2获取的似然度建立关联。

接下来，平面检测部103在3D坐标信息中从上述多个对象采样点之中随机地提取至少3点对象采样点(参照图7)。例如，该提取通过RANSAC来实施。在图7的例子中，黑圈是随机地提取的对象采样点。在图7的例子中随机地提取的对象采样点的数量为3个。此外，将对该对象采样点进行提取的处理称为随机提取处理。

接下来，平面检测部103通过例如RANSAC等，基于在上述提取的3点对象采样点求出平面的方程式θ(以下，简称为平面θ)。例如，在此，假定作为平面θ而求出平面θ1。图8对求出的平面θ1进行示例。此外，将求出该平面θ的处理称为平面方程式获取处理。

接下来，平面检测部103分别求出从平面θ1到属于第一面1br的各对象采样点为止的距离。在图9对各求出的距离d1、d2、d3、dn进行示例。此外，在图9中为了简化仅示例了距离d1、d2、d3、dn，但是平面检测部103针对属于第一面1br的全部的对象采样点实施求出上述距离的处理。此外，将求出该各距离的处理称为距离获取处理。

接下来，平面检测部103从全部的对象采样点(例如，似然度比0大的全部的对象采样点)之中，提取上述求出的距离d1、d2、d3、dn小于阈值t的对象采样点(参照图10)。如图10示例，到阈值t为止的距离用虚线进行图示。阈值t是预先设定的值，从示例的图10可知，在距当前的平面θ即平面θ1的距离为阈值t的位置描绘了虚线。因此，平面检测部103在此处的处理中，提取例如存在于由图10的虚线所包围的区域内的对象采样点。此外，由于在本实施方式中“小于阈值t”，因此不提取存在于虚线上的对象采样点。

在此，通过上述的似然度获取处理，针对全部的对象采样点确定似然度。因此，平面检测部103求出距平面θ1的距离小于阈值t所存在的全部的对象采样点的似然度的相加值L。例如，在图10的例子的情况下，在由虚线包围的区域中存在共计6个对象采样点。于是，平面检测部103提取该6个对象采样点。在此，在图10中针对该6个对象采样点赋予似然度的值。于是，在图10的例子的情况下，平面检测部103针对该6个对象采样点求出似然度的相加值L。在图10的例子中对各对象采样点作为似然度而赋予0.2、0.2、0.7、0.7、1.0、1.0。于是，平面检测部103作为似然度的相加值L而求出3.8(＝0.2+0.2+0.7+0.7+1.0+1.0)。此外，将从全部的对象采样点之中提取上述求出的距离d1、d2、d3、dn小于阈值t的对象采样点，并求出该似然度的相加值L的处理，称为相加值L获取处理。

接下来，平面检测部103将当前设定的暂定相加值L’与本次所求出的似然度的相加值L进行比较。并且，将较大的值重新设定为暂定相加值L’。在此，如上述说明，作为初始而当前设定的暂定相加值L’为0。因此，与初始值的暂定相加值L’相比，通常本次所求出的似然度的相加值L较大。因此，平面检测部103将本次所求出的似然度相加值L设定为新的暂定相加值L’。在上述例子的情况下，在平面检测装置10中设定3.8作为新的暂定相加值L’。

进一步，平面检测部103将与重新设定的暂定相加值L’对应的平面θ作为暂定平面θ’来重新设定在平面检测装置10。在此情况下，对于平面θ1，求出相加值L(＝3.8)，将该相加值L(＝3.8)设定为新的暂定相加值L’。因此，平面检测部103将与上述所求出的似然度的相加值L(＝3.8)对应的平面θ1作为暂定平面θ’重新设定在平面检测装置10。

将上述暂定相加值L’和求出的似然度的相加值L的大小关系的处理、以及暂定相加值L’和暂定平面θ’的新设定处理称为暂定值设定处理。

将上述一系列的随机提取处理、平面方程式获取处理、距离获取处理、相加值L获取处理以及暂定值设定处理称为平面设定循环。在图5的步骤S3中，该平面设定循环进行规定的次数。该规定的次数例如可以在平面检测装置10中预先设定。在这种情况下能够实现高精度化。与此相对地，也能够在算法中求出该规定次数(例如，参照http：//people.inf.ethz.ch/pomarc/pubs/RaguramPAMI13.pdf)。这种情况下能够进一步进行高速化处理。此外，作为一个例子，在此，作为平面设定循环的规定的次数，在平面检测装置10中设定k次。

图11是表示图5的步骤S3的平面设定循环的流程的图。如图11示例，平面设定循环包含随机提取处理S11、平面方程式获取处理S12、距离获取处理S13、相加值L获取处理S14以及暂定值设定处理S15。另外，在图11中，表示平面设定循环在小于k次(换句话说，k-1次)结束的情况下从暂定值设定处理S15返回到随机提取处理S11，实施下一次的平面设定循环。进一步，在图11中，表示平面设定循环在k次结束的情况下平面设定循环(换句话说，图5的步骤S3的平面检测处理)结束。

此外，在上述的例子中，在第1次的平面设定循环结束的时间点将3.8设定为暂定相加值L’，将θ1设定为暂定平面θ’。此外，在规定的次数为2次以上的情况下，在图11中，返回到随机提取处理S11，实施第2次的平面设定循环。

例如，平面检测部103从3D坐标信息中从上述多个对象采样点之中另行随机地提取3点对象采样点(参照图11的随机提取处理S11)。

接下来，平面检测部103例如通过RANSAC等，基于上述提取出的3点对象采样点，求出平面θ2来作为平面的方程式(参照图11的平面方程式获取处理S12)。

接下来，平面检测部103分别求出从平面θ2到属于第一面1br的各对象采样点为止的距离(参照图11的距离获取处理S13)。

接下来，平面检测部103从全部的对象采样点(例如，似然度比0大的全部的对象采样点)之中提取上述求出的距离小于阈值t的对象采样点。并且，平面检测部103求出距平面θ2的距离小于阈值t所存在的全部的对象采样点的似然度的相加值L(参照图11的相加值L获取处理S14)。例如，在第2次的平面设定循环中作为似然度的相加值L而3.0被获取。

接下来，平面检测部103将当前设定的暂定相加值L’(＝3.8)与本次(在此为第2次)求出的似然度的相加值L相比较。并且，将较大的值重新设定为暂定相加值L’(参照图11的暂定值设定处理S15)。在此，如上述说明，当前设定的暂定相加值L’为3.8，在第2次的平面设定循环求出的似然度的相加值L为3.0。因此，平面检测部103将当前设定的值设定为新的暂定相加值L’。换句话说，将3.8的值继续设定为暂定相加值L’。

进一步，平面检测部103将与重新设定的暂定相加值L’对应的平面θ作为暂定平面θ’来重新设定在平面检测装置10(参照图11的暂定值设定处理S15)。在此情况下，对于平面θ1，求出相加值L(＝3.8)，该相加值L(＝3.8)被设定为新的暂定相加值L’。因此，平面检测部103将与上述所求出的似然度的相加值L(＝3.8)对应的平面θ1作为暂定平面θ’重新设定在平面检测装置10(继续设定平面θ1)。

通过以上，第2次的平面设定循环的处理结束，若到此结束的平面设定循环的次数小于k次，则返回步骤S11，开始下一次的平面设定循环。此外，如上所述，在图11示例的平面设定循环在k次结束的情况下平面设定循环(换句话说，图5的步骤S3的平面检测处理)结束。并且，若步骤S3的处理结束，则平面检测部103将在该结束时被设定的暂定相加值L’以及暂定平面θ’作为平面检测结果进行输出。换句话说，该被输出的暂定平面θ’表示与从对象物检测出的平面有关的方程式。

(效果说明)

在本实施方式的第一方面中，平面检测装置10具备：信息获取部101、似然度获取部102以及平面检测部103。信息获取部101获取具有规定的平面的对象物的可视图像信息、和与该可视图像信息对应的3D坐标信息。似然度获取部102从可视图像信息中获取表示对象物的规定的平面的平面度的似然度。然后，平面检测部103使用3D坐标信息和似然度，通过稳健估计法来检测对象物的规定的平面。

在本实施方式的其他方面中，获取具有规定的平面的对象物的可视图像信息和与该可视图像信息对应的3D坐标信息。并且，从可视图像信息中获取表示对象物的规定的平面的平面度的似然度。并且，使用3D坐标信息和似然度，通过稳健估计法来检测对象物的规定的平面。

换句话说，平面检测装置10使用似然度来实施平面的检测。因此，能够比现有的平面检测更高精度地检测对象物的规定的平面。例如，即使由于在特定对象平面中存有纸等遮挡的物体而导致包含多个在距离上远离特定对象平面的采样点的情况下，也能够稳健地对对象物的规定的平面进行精确地检测。

例如，参照图10，也能够考虑如下方法：基于到平面θ1距离小于阈值t的范围中包含的对象采样点(范围内对象采样点)的比例、即该范围内对象采样点相对于全部对象采样点的比例，来检测规定的平面(例如，将比例最大时的平面检测为对象物的规定的平面)。对此，在本实施方式中也使用似然度的信息来进行规定的平面的检测处理。因此，例如在设定了RANSAC算法的循环次数的情况下能够实现高精度化，另一方面，在算法中求出该规定次数的情况下能够实现高速化。

另外，在本实施方式的第二方面中，平面检测装置10还具备存储部201，存储通过机器学习构筑的机器学习模型。并且，似然度获取部102使用作为输入信息的可视图像信息和机器学习模型，按可视图像信息的每个像素来获取似然度。因此，似然度获取部102能够更快、更高精度地针对可视图像信息的各像素获取似然度。

另外，在本实施方式的第三方面中，对象物包含能够进行物品P的装载的托盘1。因此，能够对在工厂等使用的托盘1所具有的面进行检测。由此，能够进行例如使用面的检测结果的各自动的动作的控制等。

另外，在本实施方式的第四方面中，上述托盘1包含平板部1a以及第1支柱部1b。在平板部1a装载有物品P。第一支柱部1b从平板部1a向物品P的装载方向延伸设置。并且，规定的平面包含第一支柱部1b所具有的第一面1br。因此，在托盘1具有向垂直方向(物品P的装载方向)延伸设置的第一支柱部1b的情况下，能够检测该第一支柱部1b所具有的第一面1br。

另外，在本实施方式的第五方面中，平面检测部103使用从3D坐标信息中随机地选择的多个采样点和与该多个采样点分别对应的似然度，通过RANSAC来检测对象物的规定的平面。因此，能够自动、高精度并且实用地检测对象物所具有的第一面1br。

<实施方式2>

在实施方式1中，作为一个例子对检测包含托盘1所具有的第一面1br的规定的平面的情况进行了说明。在本实施方式中，对作为对象物的托盘1例如具有2个支柱(第一支柱部以及第二支柱部)的情况下的规定的平面检测处理进行说明。换句话说，在本实施方式中详细阐述如下情况：在第一支柱部具有第一面、第二支柱部具有第二面的情况下，检测包含该第一面以及该第二面的规定的平面。

如图12所示，在本实施方式中，对象物也是能够进行物品的装载的托盘1。图12是从侧方(从图4等的方向A)观察托盘1的情况下的该托盘1的概略图。在本实施方式中，托盘1包含：平板部1a、第一支柱部1b以及第二支柱部1c。此外，方向A在图12中为从纸面的表面朝向背面的方向。

在平板部1a，在图12的上下方向装载物品。第一支柱部1b从平板部1a向该装载的方向(图12的上下方向)延伸设置。第一支柱部1b在装载有物品P的空间的相反一侧中具有第一面1br。换句话说，第一面1br面向托盘1的外侧(面向方向A)。另外，第二支柱部1c从平板部1a向该装载的方向(图12的上下方向)延伸设置。另外，第二支柱部1c与第一支柱部1b独立地相对于平板部1a而配设。换句话说，如图12示例，第二支柱部1c被设置在与第一支柱部1b分离的位置。第二支柱部1c在装载有物品P的空间的相反一侧具有第二面1cr。换句话说，第二面1cr面向托盘1的外侧(面向方向A)。

在此，在本实施方式中第一面1br与第二面1cr存在于同一平面内。换句话说，在本实施方式中对具有第一面1br和第二面1cr的规定的平面进行检测。此外，如对实施方式1中的第一支柱部1b所说明的那样，第二支柱部1c可以是长方体，但是并不限定于此。第二支柱部1c由于存在平面区域即可，因此也可以不是长方体。

此外，在本实施方式中平面检测装置10的物理结构也与在图1的概略框图中所示例的同样。另外，在本实施方式中，平面检测装置10也以与图5同样的流程实施一系列的处理，平面检测部103也以与图11同样的流程实施一系列的处理。以下，着眼于不同的点对平面检测动作进行说明。

(动作)

在本实施方式中，对象物即托盘1具有第一面1br和第二面1cr。并且，在以下对检测包含第一面1br和第二面1cr的规定的平面的情况进行详述。

此外，与实施方式1同样，对于平面检测的对象物，在图5的步骤S3开始之前，在平面检测装置10中作为初始值的暂定相加值L’被设定为0(零)，作为初始值的暂定平面方程式θ’(以下，称为暂定平面θ’)未做任何设定(例如，设定为0、null这样的值)。

拍摄部40拍摄托盘1。通过该拍摄，信息获取部101获取托盘1的可视图像信息(参照图2)和与该可视图像信息对应的3D坐标信息(参照图3)(图5的步骤S1)。

接下来，似然度获取部102根据可视图像信息，针对第一支柱部1b以及第二支柱部1c获取(计算)似然度(图5的步骤S2)。该似然度的获取方法与实施方式1同样。该似然度针对表示第一支柱部1b的第一面1br的各像素、以及表示第二支柱部1c的第二面1cr的各像素而被获取。另外，在本实施方式中，似然度表示第一支柱部1b的第一面1br的平面度以及/或者第二支柱部1c的第二面1cr的平面度。

接下来，平面检测部103使用由信息获取部101获取的3D坐标信息和由似然度获取部102获取的似然度，通过稳健估计法(RANSAC)来检测上述规定的平面(图5的步骤S3)。

具体而言，首先，平面检测部103在由信息获取部101获取的3D坐标信息中求出属于第一面1br的对象采样点。进一步地，平面检测部103在由信息获取部101获取的3D坐标信息中求出属于第二面1cr的对象采样点。此外，对象采样点的获取方法与实施方式1同样。另外，图13对求出属于第一面1br的对象采样点以及属于第二面1cr的对象采样点的样子进行示例。图13是从上方向观察第一以及第二支柱部1b、1c的图。各白圈表示求出的对象采样点。另外，各对象采样点与在步骤S2(图5)获取的似然度建立关联。

接下来，平面检测部103在3D坐标信息中，从上述多个对象采样点之中随机地提取至少3点对象采样点(参照图11的随机提取处理S11以及图14)。例如，该提取通过RANSAC被实施。在图14的例子中，黑圈是随机地提取的对象采样点。在图14的例子中随机地提取的对象采样点的数量是3个。

在此，本实施方式中，在随机提取处理S11中从属于第一面1br的对象采样点中选择至少1点，从属于第二面1cr的对象采样点中选择至少1点。图14的例子中，在随机提取处理S11中从属于第一面1br的对象采样点中选择1点，从属于第二面1cr的对象采样点中选择2点。

接下来，平面检测部103例如通过RANSAC等，基于上述提取的3点对象采样点求出平面的方程式θ(平面θ)(参照图11的平面方程式获取处理S12)。例如，在此假定求出平面θi作为平面θ。图15对求出的平面θi进行示例。

接下来，平面检测部103分别求出从平面θi到各对象采样点为止的距离(参照图11的距离获取处理S13)。在图16中对求出的距离d进行了例示。此外，虽然在图16中为了简化而针对2个对象采样点来对距离d进行了示例，但是平面检测部103针对全部的对象采样点实施求出上述距离的处理。

接下来，平面检测部103从全部的对象采样点(例如，似然度比0大的全部的对象采样点)之中提取上述求出的距离d小于阈值t的对象采样点(参照图17)。如图17示例，将距阈值t的距离用虚线进行图示。平面检测部103例如提取存在于由图17的虚线所包围的区域内的对象采样点。此外，由于在本实施方式中是“小于阈值t”，因此不提取存在于虚线上的对象采样点。

通过上述的似然度获取处理来针对全部的对象采样点确定似然度。因此，平面检测部103求出距平面θ1距离小于阈值t所存在的全部的对象采样点的似然度的相加值L(参照图11的相加值L获取处理S14)。例如，在图17的例子的情况下，在由虚线包围的区域中存在共计6个对象采样点。因此，平面检测部103提取该6个对象采样点。对各对象采样点作为似然度赋予0.3、0.4、0.7、1.0、1.0、1.0。这种情况下，平面检测部103作为似然度的相加值L而求出4.4。

接下来，平面检测部103将当前设定的暂定相加值L’与本次所求出的似然度的相加值L进行比较。并且，将较大的值重新设定为暂定相加值L’(参照图11的暂定值设定处理S15)。在此，如上述说明，作为初始当前设定的暂定相加值L’为0。因此，平面检测部103将本次所求出的似然度相加值L设定为新的暂定相加值L’。在上述例子的情况下，在平面检测装置10设定4.4作为新的暂定相加值L’

进一步，平面检测部103将与重新设定的暂定相加值L’对应的平面θ作为暂定平面θ’来重新设定在平面检测装置10(参照图11的暂定值设定处理S15)。在此情况下，对于平面θ1求出相加值L(＝4.4)，该相加值L(＝4.4)被设定为新的暂定相加值L’。因此，平面检测部103将与上述所求出的似然度的相加值L(＝4.4)对应的平面θ1作为暂定平面θ’重新设定在平面检测装置10。

在图5的步骤S3中将平面设定循环(参照图11)进行规定的次数(k次)。图11中，平面设定循环在小于k次(换句话说，k-1次)结束的情况下，从暂定值设定处理S15返回到随机提取处理S11，实施下一次的平面设定循环。与之相对地，平面设定循环在k次结束的情况下，平面设定循环(换句话说，图5的步骤S3的平面检测处理)结束。并且，若步骤S3的处理结束，则平面检测部103将在该结束时被设定的暂定相加值L’以及暂定平面θ’作为平面检测结果进行输出。换句话说，该被输出的暂定平面θ’表示与从对象物检测出的平面有关的方程式。

(效果说明)

另外，在本实施方式的第六方面中，托盘1与第一支柱部1b独立地包含第二支柱部1c。第二支柱部1c从平板部1a向物品的装载的方向(图12的上下方向)延伸设置。另外，第二支柱部1c包含第二面1cr。上述规定的平面具有第一面1br以及第二面1cr。

因此，在托盘1具有在垂直方向(物的装载方向)延伸设置的第一以及第二支柱部1b、1c，并且第一面1br和第二面1cr存在于同一面内的情况下，能够针对作为对象物的托盘1检测规定的平面(包含第一面1br和第二面1cr的面)。

另外，在本实施方式的第七方面中，平面检测部103使用从3D坐标信息中随机地选择的多个采样点和与该多个采样点分别对应的似然度，通过RANSAC来检测托盘1的规定的平面。多个采样点针对第一面1br选择至少1点，针对第二面1cr选择至少1点。

因此，能够自动、高精度并且实用地检测托盘1所具有的第一以及第二面1br、1cr。进一步，由于将第一面1br与第二面1cr分离地配置，第一面1br和第二面1cr存在于同一面内，因此与仅将第一面1br作为对象来检测规定的平面的情况相比，能够更快速、高精度地检测规定的平面。

参照附图并结合优选的实施方式对本发明进行了充分地记载，但是对于熟悉该技术的人员而言各种变形或者修改是显而易见的。应理解，只要此类变形、修改不脱离基于所附权利要求书的本发明的范围，则包括在其中。

产业上的可利用性

本公开由于例如能够容易且高精度地测量托盘的规定面，因此能够应用在卡车、仓库装载货物等的运输的领域。

-符号说明-

1 托盘

10 平面检测装置

20 控制部

30 输出部

101 信息获取部

102 似然度获取部

103 平面检测部

201 存储部

1a 平板部

1b 第一支柱部

1br 第一面

1c 第二支柱部

1cr 第二面

P 物品。

Claims (10)

1.一种平面检测装置，具有：

信息获取部，获取具有规定的平面的对象物的可视图像信息、和与该可视图像信息对应的3D坐标信息；

似然度获取部，根据所述可视图像信息，获取表示所述对象物的所述规定的平面的平面度的似然度；和

平面检测部，使用所述3D坐标信息和所述似然度，通过稳健估计法检测所述对象物的所述规定的平面。

2.根据权利要求1所述的平面检测装置，其中，

所述平面检测装置还具备：存储部，存储通过机器学习构筑的机器学习模型，

所述似然度获取部使用作为输入信息的所述可视图像信息和所述机器学习模型，按所述可视图像信息的每个像素来获取所述似然度。

3.根据权利要求2所述的平面检测装置，其中，

所述对象物包含能够进行物品的装载的托盘。

4.根据权利要求3所述的平面检测装置，其中，

所述托盘包含：

平板部，装载所述物品；和

第一支柱部，从所述平板部向所述物品被装载的方向延伸设置，

所述规定的平面包含所述第一支柱部所具有的第一面。

5.根据权利要求1所述的平面检测装置，其中，

所述平面检测部使用从所述3D坐标信息随机地选择的多个采样点和与该多个采样点分别对应的所述似然度，通过RANSAC来检测所述对象物的所述规定的平面。

6.根据权利要求4所述的平面检测装置，其中，

所述托盘包含：第二支柱部，与所述第一支柱部独立地从所述平板部向所述物品被装载的方向延伸设置，

所述第二支柱部包含第二面，

所述规定的平面具有所述第一面以及所述第二面。

7.根据权利要求6所述的平面检测装置，其中，

所述平面检测部使用从所述3D坐标信息随机地选择的多个采样点和与该多个采样点分别对应的所述似然度，通过RANSAC来检测所述托盘的所述规定的平面，

所述多个采样点针对所述第一面选择至少1点，针对所述第二面选择至少1点。

8.一种平面检测方法，具备：

获取具有规定的平面的对象物的可视图像信息和与该可视图像信息对应的3D坐标信息，

根据所述可视图像信息，获取表示所述对象物的所述规定的平面的平面度的似然度，

使用所述3D坐标信息和所述似然度，通过稳健估计法检测所述对象物的所述规定的平面。

9.一种计算机可读取的记录介质，记录有程序，所述程序用于使计算机执行权利要求8所述的方法。

10.一种程序，用于使计算机执行权利要求8所述的方法。