CN112739975A - 尺寸测量装置以及尺寸测量方法 - Google Patents

Abstract

本公开提供一种尺寸测量装置以及尺寸测量方法。本公开所涉及的尺寸测量装置是对包括位于地面上的货架和载置于货架之上的货物的对象物的外形的大小进行计测的尺寸测量装置。尺寸测量装置具备：取得部，取得表示从基准位置到地面以及对象物的距离的深度信息；存储部，存储表示货架的标准尺寸的标准尺寸信息；控制部，通过基于深度信息和标准尺寸信息来确定货架，从而计测对象物的宽度、进深以及高度的尺寸，生成表示计测出的宽度、进深以及高度的尺寸的尺寸测量信息；以及输出部，输出尺寸测量信息。

Description

尺寸测量装置以及尺寸测量方法

技术领域

本公开涉及计测对象物的尺寸的尺寸测量装置以及尺寸测量方法。

背景技术

专利文献1公开了一种尺寸测定装置，其测定放置于货架的货品或者带有货架的货品的尺寸。该尺寸测定装置发送测定波，接收反射的测定波来生成距离图像。尺寸测定装置分别生成包括货品以及货架的货品距离图像和不包括货品以及货架的背景距离图像。尺寸测定装置基于货品距离图像与背景距离图像的差分，生成表示货品或者带有货架的货品的形状的距离图像。由此，尺寸测定装置能够适当地测定货品或者带有货架的货品的尺寸。

在先技术文献

专利文献

专利文献1：国际公开第2016/199366号

发明内容

本公开提供一种高精度地对包括货架和载置于货架之上的货物的对象物进行尺寸测量的尺寸测量装置以及尺寸测量方法。

本公开所涉及的尺寸测量装置是计测包括位于地面上的货架和载置于货架之上的货物的对象物的外形的大小的尺寸测量装置。尺寸测量装置具备：取得部，取得表示从基准位置到地面以及对象物的距离的深度信息；存储部，存储表示货架的标准尺寸的标准尺寸信息；控制部，通过基于深度信息和标准尺寸信息来确定货架，从而计测对象物的宽度、进深以及高度的尺寸，生成表示计测出的宽度、进深以及高度的尺寸的尺寸测量信息；以及输出部，输出尺寸测量信息。

这些概括性且特定的方式也可以通过系统、方法和计算机程序以及这些的组合来实现。

本公开所涉及的尺寸测量方法是计测包括位于地面上的货架和载置于所述货架之上的货物的对象物的外形的大小的方法。尺寸测量方法包括：取得表示从基准位置到地面以及对象物的距离的深度信息的步骤；取得表示货架的标准尺寸的标准尺寸信息的步骤；通过基于深度信息和标准尺寸信息来确定货架，从而计测对象物的宽度、进深以及高度的尺寸，生成表示计测出的宽度、进深以及高度的尺寸的尺寸测量信息的步骤；以及输出尺寸测量信息的步骤。

本公开的尺寸测量装置以及尺寸测量方法，基于表示从基准位置到包括位于地面上的货架和载置于货架之上的货物的对象物的距离的深度信息、和表示货架的标准尺寸的标准尺寸信息来确定货架，从而计测对象物的宽度、进深以及高度的尺寸。由此，能够高精度地对包括货架和载置于货架之上的货物的对象物的外形进行尺寸测量。

附图说明

图1是尺寸测量装置的主视图。

图2是尺寸测量装置的后视图。

图3是表示第1实施方式的尺寸测量装置的电结构的框图。

图4是用于说明由尺寸测量装置进行的托板以及货物的拍摄的图。

图5是表示深度图像的一个例子的图。

图6是表示第1实施方式的尺寸测量装置的功能结构的框图。

图7是表示标准尺寸信息的一个例子的图。

图8是表示第1实施方式的尺寸测量装置的动作的流程图。

图9是表示尺寸测量信息的一个例子的图。

图10是表示尺寸测量信息的输出的一个例子的图。

图11是表示第1实施方式的地面方程式的生成动作的流程图。

图12是用于说明第1实施方式的深度图像的下边附近区域的图。

图13是表示第1实施方式的托板的推定动作的流程图。

图14是用于说明第1实施方式的托板的推定动作的图。

图15是表示第1实施方式的货物的高度的推定动作的流程图。

图16是用于说明第1实施方式的货物的高度的推定动作的图。

图17A是表示第1实施方式的具有倒角部的托板的一个例子的图。

图17B是用于说明第1实施方式的具有倒角部的情况下的最接近点的计算的图。

图18是表示第2实施方式的托板的推定动作的流程图。

图19是用于说明第2实施方式的托板的推定动作的图。

图20是表示第3实施方式的尺寸测量装置的结构的框图。

图21是表示第3实施方式的尺寸测量装置的动作的流程图。

图22是用于说明第3实施方式的对象物的轮廓检测的图。

图23是表示第3实施方式的地面方程式的生成动作的流程图。

图24是表示第3实施方式的托板的推定动作的流程图。

图25是表示第3实施方式的货物的高度的推定动作的流程图。

图26是表示第4实施方式的尺寸测量装置的结构的框图。

图27是表示第4实施方式的地面方程式的生成动作的流程图。

图28是表示第5实施方式的地面方程式的生成动作的流程图。

具体实施方式

以下，一边适当参照附图，一边对实施方式进行详细地说明。不过，有时省略必要以上的详细说明。例如，已经熟知的事项的详细说明、实质上相同的结构的重复说明。这是为了避免以下的说明变得不必要地冗长，使本领域技术人员容易理解。另外，发明者们为了使本领域技术人员充分地理解本公开而提供附图以及以下的说明，并非意图通过它们来限定请求的范围记载的主题。

(成为本公开的基础的见解)

在物流等中作为用于载置货物的货架而利用了托板。在仓库或者卡车中，载置于托板的货物所占有的区域成为以托板尺寸为底面积并具有托板和载置于托板上的货物整体的高度的尺寸。因此，不仅需要对载置于托板上的货物的尺寸进行计测，还需要对托板与载置于托板上的货物整体进行尺寸计测。为了利用深度相机拍摄托板和载置于托板上的货物的整体，需要从使得拍摄到托板和货物的整体的远离的距离进行拍摄。但是，若从远离的距离进行拍摄，则从深度相机得到的深度信息中噪声增大，深度信息的精度降低。特别是，在物流等中使用的托板存在板条状的托板，并且托板设置有叉车用的插入口。此外，在托板上的货物中，有各种颜色、原材料的物品。例如，在使用红外线有源立体方式的情况下，在间隙、凹凸部、黑色材料等处难以检测出深度，深度信息中容易产生数据的遗漏。因此，无法获得精度良好的深度信息，无法高精度地计测托板以及货物的尺寸。

本公开的尺寸测量装置对托板的宽度以及进深、从地面到货物的最高点的高度进行高精度地尺寸测量。具体地说，在本公开的尺寸测量装置中，与对托板和货物进行拍摄而得到的深度信息一起使用表示托板的标准尺寸的标准尺寸信息。关于在物流等中使用的托板的尺寸，在国或者地域等中被标准化为几个种类。因此，通过与深度信息一起使用标准尺寸信息，能够高精度地确定托板的种类，能够高精度地对托板的宽度以及进深和从地面到货物的最高点的高度进行尺寸测量。由此，即使在深度信息的精度不良的情况下，也能够进行精度良好的尺寸测量。此外，即使在载置于托板上的货物比托板的底面积小的情况下，也能够高精度地对载置于托板的货物所占有的区域进行尺寸测量。以下，对本公开的尺寸测量装置进行详细地说明。

(第1实施方式)

以下，对于第1实施方式，一边参照附图一边进行说明。

1.尺寸测量装置的结构

参照图1～图7，对本实施方式的尺寸测量装置的结构进行说明。

图1是第1实施方式所涉及的尺寸测量装置的主视图。图2是第1实施方式所涉及的尺寸测量装置的后视图。尺寸测量装置100例如是平板型的个人计算机。尺寸测量装置100在正面侧具备触摸屏110，在背面侧具备深度相机120。

图3是表示第1实施方式所涉及的尺寸测量装置的电结构的框图。尺寸测量装置100除了触摸屏110以及深度相机120之外，还具备控制部130、存储部140以及通信部150。

触摸屏110包括显示部111和操作部112。显示部111例如由液晶显示器或者有机EL显示器构成。操作部112是输入用户进行的各种操作的用户接口。在本实施方式中，操作部112是设置于显示部111的表面的触摸面板。操作部112检测用户的手指或者笔等指示设备的触摸操作。操作部112例如包括电极膜。控制部130例如能够通过测定因手指、指示设备与操作部112接触而产生的电压的变化或者静电容量的变化来确定手指、指示设备的接触位置。另外，操作部112除了触摸面板之外也可以通过键盘、按钮、开关或者这些的组合来实现。

深度相机120生成表示从基准位置到被摄物的距离的深度信息。具体地说，深度相机120测定到被摄物的距离，生成以每个像素的深度值表示测定出的距离的深度图像。深度相机120例如是红外线有源立体相机。在本实施方式中，被摄物包括地面、放置于地面的托板、载置于托板上的货物。深度相机120通过安装有源立体方式以及TOF(Time Of Flight，飞行时间)方式等的各种公知技术来实现。例如，尺寸测量装置100可以具备2台深度相机120，在这种情况下，可以基于两个图像的视差来计算距离。尺寸测量装置100也可以具备1台深度相机120，在这种情况下，可以根据照射的红外线的光线触到对象物而反射光返回为止所花费的时间来计算距离。深度相机120相当于取得表示从基准位置到地面以及对象物的距离的深度信息的取得部。

控制部130能够通过半导体元件等来实现。控制部130例如能够由微型计算机、CPU(Central Processing Unit，中央处理单元)、MPU(Micro Processing Unit，微处理单元)、GPU(Graphics Processing Unit，图形处理单元)、DSP(Digital Signal Processor，数字信号处理器)、FPGA(Field Programmable Gate Array，现场可编程门阵列)、或者ASIC(Application Specific Integrated Circuit，专用集成电路)构成。控制部130的功能可以仅由硬件构成，也可以组合硬件和软件来实现。控制部130通过读出存储部140中存储的数据、程序来进行各种运算处理从而实现规定的功能。

存储部140是存储用于实现尺寸测量装置100的功能所需的程序以及数据的存储介质。存储部140例如能够通过硬盘(HDD)、SSD(Solid State Drive)、RAM(Random AccessMemory)、DRAM(Dynamic RAM)、铁电存储器、闪速存储器、磁盘、或者这些的组合来实现。

通信部150包括按照规定的通信标准进行与外部设备的通信的电路。规定的通信标准例如是LAN(Local Area Network，局域网)、Wi-Fi(注册商标)、Bluetooth(注册商标)、USB(Universal Serial Bus，通用串行总线)以及HDMI(注册商标)。

图4示意性地表示利用尺寸测量装置100进行的对象物200的拍摄。对象物200包括位于地面上的托板210和载置于托板210之上的货物220。深度相机120将深度相机120的位置作为基准位置，测定从深度相机120到对象物200的距离d200而生成深度图像。

尺寸测量装置100参照深度图像，计算对象物200的宽度W200、进深D200以及高度H200。对象物200的宽度W200以及进深D200是托板210的宽度以及进深。对象物200的高度H200是从地面起的货物220的最高点的高度。

图5表示深度相机120生成的深度图像141p的一个例子。深度图像141p表示由二维坐标(X，Y)确定的每个像素的深度值。在本实施方式中，以对对象物200进行尺寸测量为目的，因此如图4以及图5所示，深度相机120从斜上方的角度拍摄对象物200，使得在深度图像141p中拍摄到托板210的两个边的全长。由此，在深度图像141p的至少画面下侧映入地面。

图6是表示尺寸测量装置100的功能性结构的框图。作为功能性结构，控制部130包括坐标变换部131、地面推定部132、托板推定部133以及最高点推定部134。

表示深度相机120生成的深度图像141p的深度信息141被存储在存储部140中。坐标变换部131将深度信息141的二维坐标以及深度值变换为以深度相机120为原点的三维坐标来生成三维坐标信息142。

地面推定部132基于深度信息141以及三维坐标信息142来推定地面的区域，生成地面的平面方程式。以下，也将地面的平面方程式称为“地面方程式”。

在存储部140中预先存储有表示托板210的标准尺寸的标准尺寸信息143。

托板推定部133基于地面方程式、深度信息141、三维坐标信息142以及标准尺寸信息143，推定托板210的宽度以及进深和位置。

最高点推定部134基于地面方程式、托板210的宽度、进深和位置、以及三维坐标信息142，推定从地面到货物的最高点的高度。

控制部130生成尺寸测量信息144，该尺寸测量信息144包括由托板推定部133推定出的托板210的宽度以及进深、和由最高点推定部134推定出的货物的高度。

图7表示标准尺寸信息143的一个例子。标准尺寸信息143包括一个以上的托板的标准尺寸。标准尺寸信息143包括要进行尺寸测量的托板的标准尺寸。在图7的例子中，标准尺寸信息143包括3种托板的标准宽度、标准进深以及标准高度的尺寸。标准尺寸是在国家或者地域等中规定的尺寸。

2.尺寸测量装置的动作

参照图8～图16，对本实施方式的尺寸测量装置100的动作进行说明。

2.1整体流程

图8表示尺寸测量装置100的控制部130的动作。控制部130从深度相机120取得深度信息141(步骤S1)。深度信息141表示如图5所示的包含由二维坐标确定的每个像素的深度值的深度图像141p。

坐标变换部131将深度信息141的二维坐标以及深度值变换为以深度相机120为原点的三维坐标来生成三维坐标信息142(步骤S2)。由此，包括深度值的信息的像素被变换为三维坐标系的点。

地面推定部132推定深度图像141p内的地面(步骤S3)。具体地说，地面推定部132基于三维坐标信息142生成地面的平面方程式。

托板推定部133推定在深度图像141p中拍摄到的托板210的宽度以及进深和托板210的位置(步骤S4)。

最高点推定部134推定在深度图像141p中拍摄到的货物220的最高点的高度(步骤S5)。

控制部130生成并输出包括步骤S4以及S5中推定出的托板210的宽度以及进深和货物220的最高点的高度的尺寸测量信息144(步骤S6)。

图9表示尺寸测量信息144的一个例子。图10表示尺寸测量信息144的输出的一个例子。例如，控制部130可以将如图9所示的尺寸测量信息144存储在存储部140中。在这种情况下，控制部130相当于将尺寸测量信息144输出到存储部140的输出部。控制部130也可以经由通信部150将尺寸测量信息144输出到外部设备等。在这种情况下，通信部150相当于将尺寸测量信息144输出到外部的输出部。如图10所示，控制部130也可以将尺寸测量信息144与包括对象物的长方体的框401一起显示于显示部111。在这种情况下，显示部111相当于将尺寸测量信息144输出到画面的输出部。

2.2地面方程式的生成

参照图11以及图12，对地面方程式的生成进行说明。图11表示地面的推定即地面的平面方程式的生成(步骤S3的详细过程)。通过图11所示的处理，生成地面的平面方程式“ax+by+cz+d＝0”。图12例示了深度图像141p中的下边附近区域31。

地面推定部132将深度图像141p的下边附近区域31推定为地面的区域，从下边附近区域31内的像素中选择至少三个点(步骤S301)。下边附近区域31例如是位于深度图像141p的靠近下边的“20×20”像素的区域。下边附近区域31的大小也可以根据深度相机120的分辨率而改变。

地面推定部132基于所选择的3点的三维坐标，计算地面的法线向量(a，b，c)(步骤S302)。例如，生成2个连结3点中的2点的向量，根据两个向量的外积来计算法线向量。此时，可以从下边附近区域31内的不同的3个以上的点计算多个法线向量，也可以在多个下边附近区域31分别计算法线向量。在这种情况下，可以通过对计算出的多个法线向量进行平均化来决定地面的法线向量。由此，法线向量的精度提高。

地面推定部132基于下边附近区域31内的任意点例如步骤S301中选择的点的三维坐标和步骤S302中计算出的法线向量，将地面的高度设为零来计算地面的平面方程式的常数d(步骤S303)。可以根据一个点来决定常数d，也可以通过对根据下边附近区域31内的多个点计算出的常数d进行平均化来决定常数d。通过平均化，常数d的精度提高。

2.3托板的推定

参照图13以及图14，对托板的推定进行说明。图13表示托板的宽度以及进深和位置的推定(步骤S4的详细过程)。图14示意性地表示图13的托板的推定。

托板推定部133通过从存储部140读出标准尺寸信息143，从而取得标准尺寸信息143(步骤S401)。

托板推定部133从三维坐标信息142所表示的点中检测标准尺寸信息143所表示的托板的高度附近的点，在检测出的点中确定最接近深度相机120的最接近点A(步骤S402)。托板的高度附近相当于“标准高度×α(例如，α＝0.8)”～标准高度的范围。具体地说，托板的高度附近包括图4所示的横梁板211以及台面板212的高度附近。例如，在图7所示的高度为14cm的托板的情况下，从高度为12～14cm的点寻找最接近点A。具体地说，基于三维坐标信息142和地面方程式计算各点的高度。若在地面方程式中以法线向量满足式(1)的方式计算法线向量(a，b，c)，则具有三维坐标(x0，y0，z0)的点从地面起的高度h0由式(2)求出。

[数1]

[数2]

h₀＝|ax₀+by₀+cz₀+d|…(2)

托板推定部133从根据式(2)计算出的从地面起的高度h0成为标准尺寸信息143所示的高度的附近的多个点中，基于深度信息141将深度值成为最小的点确定为最接近点A。

托板推定部133在直线上寻找在标准尺寸信息143所示的托板高度附近从最接近点A连续的点、即与最接近点A相同的高度的点，将寻找到的点的两端确定为托板210的左端点B以及右端点C(步骤S403)。

托板推定部133将AB间的距离和AC间的距离与标准尺寸信息143所示的宽度以及进深进行比较，确定托板210的种类(步骤S404)。例如，基于三维坐标信息142分别计算AB间的距离与AC间的距离。若AB间的距离在“80cm±α”(例如，α＝9cm)的范围内，AC间的距离在“120cm±β”(例如，β＝9cm)的范围内，则判定托板210的种类为“托板I”。基于该判定结果，托板推定部133推定“AB＝80cm”、“AC＝120cm”。由此，决定图14所示的对象物200的宽度W200以及进深D200的尺寸。

在托板的种类为图7所示的3种的情况下，在AB间的距离或者AC间的距离不是60、80、100、120中的任意一个附近的情况下，判定为未检测到托板，停止以后的处理。如果边AB和边AC所成的角度与期待值(例如直角)之差为规定值以上，则也可以判定为未检测出托板，停止以后的处理。由此，能够降低误认率。

托板推定部133基于所确定的托板的种类来确定点D的位置，从而推定托板210的区域(步骤S405)。具体地说，包括最接近点A、左端点B、以及右端点C的平行四边形被推定为托板210的区域。由此，推定出三维坐标信息142内的托板210的位置。

2.4货物的高度推定

参照图15以及图16，对货物的高度推定进行说明。图15表示货物的最高点的高度推定(步骤S5的详细过程)。图16示意性地表示图15的货物的高度推定。

最高点推定部134计算位于以推定出的托板210的区域为底面的三维空间400内的点从地面起的高度(步骤S501)。三维空间400是将包括边AB和地面的法线的平面P1、包括边CD和地面的法线的平面P2、包括边AC和地面的法线的平面P3、包括边BD和地面的法线的平面P4作为侧面的空间。例如，最高点推定部134计算平面P1、P2、P3、P4的平面方程式。最高点推定部134将在平面P1与平面P2之间且在平面P3与平面P4之间具有坐标的点视为位于托板210上的点。另外，也可以使三维空间400的底面区域比推定出的托板210的区域大。由此，能够去除深度信息141的误差的影响。各点从地面起的高度能够根据上述式(2)来计算。

最高点推定部134将计算出的高度中的最高的点决定为从地面起的货物的最高点的高度(步骤S502)。由此，将货物220的上表面T220内的点的高度推定为对象物200的高度H200。另外，也可以在三维空间400内验证计算出的高度的连续性，从最高点的决定中排除没有连续性的点。由此，能够去除深度信息141的噪声的影响。

3.效果以及补充

本实施方式的尺寸测量装置100计测包括位于地面上的托板210和载置于托板210之上的货物220的对象物200的外形的大小。尺寸测量装置100具备：取得部，取得表示从基准位置到地面以及对象物200的距离的深度信息141；存储部140，存储表示托板210的标准尺寸的标准尺寸信息143；控制部130，通过基于深度信息141与标准尺寸信息143来确定托板210，从而计测对象物200的宽度、进深以及高度的尺寸，生成表示计测出的宽度、进深以及高度的尺寸的尺寸测量信息144；以及输出部，输出尺寸测量信息144。

由于使用深度信息141和标准尺寸信息143这两者，因此能够高精度地对对象物200进行尺寸测量。

取得部包括深度相机120，该深度相机120拍摄地面以及对象物200，生成以每个像素的深度值表示到地面以及对象物200的距离的深度图像141p，作为深度信息141。

输出部例如是将尺寸测量信息144输出到画面的显示部111。输出部也可以是将尺寸测量信息144输出到存储部140的控制部130。输出部也可以是将尺寸测量信息144输出到外部的通信部150。

控制部130生成将深度图像141p的各像素变换为三维坐标系的点的三维坐标信息142，基于三维坐标信息142计算地面的平面方程式。

由此，能够计算以地面为基准的点的高度。

控制部130推定深度图像141p内的规定尺寸的下边附近区域31为地面的区域，根据下边附近区域31内的点计算地面的平面方程式。通过以在画面下部拍摄到地面的方式进行拍摄，并根据下边附近区域来计算平面方程式，由此能够计算地面方程式。

标准尺寸信息143包括托板210的标准高度。控制部130基于各点的三维坐标和地面的平面方程式来计算各点的高度，基于计算出的高度成为标准高度附近的点来推定托板210的轮廓。具体地说，检测最接近点A，在直线上寻找与最接近点A相同高度的点，检测左端点B以及右端点C。由于基于标准高度来推定作为轮廓的边AB以及边AC，因此能够高精度地推定轮廓。

标准尺寸信息143包括托板210的标准宽度以及标准进深。控制部130基于三维坐标信息142，根据推定出的托板210的轮廓计算托板210的宽度以及进深，将计算出的宽度以及进深与标准宽度以及标准进深进行比较来确定托板210的种类，从而推定托板210的宽度以及进深。通过与标准宽度以及标准进深进行比较，从而能够高精度地推定对象物200的宽度以及进深。

控制部130在以推定出的托板210为底面的三维空间内，将根据三维坐标信息142和地面的平面方程式计算出的点的高度最高的点推定为货物220的高度。通过高精度地推定托板210的位置，能够高精度地确定存在货物220的三维空间。因此，能够高精度地推定最高点。

本实施方式的尺寸测量方法是计算机的控制部130对包括位于地面上的托板210和载置于托板210之上的货物220的对象物200的外形的大小进行计测的方法。尺寸测量方法包括：从取得部取得表示从基准位置到地面以及对象物200的距离的深度信息141的步骤S1；从存储部140取得表示托板210的标准尺寸的标准尺寸信息143的步骤S401；通过基于深度信息141和标准尺寸信息143来确定托板210，从而计测对象物200的宽度、进深以及高度的尺寸，生成表示计测出的宽度、进深以及高度的尺寸的尺寸测量信息144的步骤S4～S6；以及将尺寸测量信息144输出到输出部的步骤S6。由于使用深度信息141和标准尺寸信息143这两者，因此能够高精度地对对象物200进行尺寸测量。

在本实施方式中，在图11的步骤S301中，推定深度图像141p内的例如“20×20”像素的下边附近区域31为地面。但是，不仅限于下边附近区域31，也可以将比下边附近区域31大的范围推定为地面。例如，控制部130可以将坐标与下边附近区域31内的点连续的点推定为地面。控制部130也可以根据下边附近区域31周边的与下边附近区域31相同尺寸的其他区域来计算法线向量，在其他区域的法线向量的朝向与下边附近区域31内的法线向量类似的情况下，将该其他区域也推定为地面。也可以对其他区域进一步计算周边的区域的法线向量的朝向，在朝向类似的情况下，将周边的区域推定为地面。可以这样来扩展地面推定区域。控制部130也可以基于根据多个点计算出的法线向量的朝向和各点之间的距离来推定地面的区域。可以在深度图像141p内的整个区域中判定法线向量的朝向和点的距离，判定为法线向量的朝向和点的距离接近的点在相同的面。也可以根据推定为地面的区域内的点计算多个法线向量并进行平均化来决定地面的法线向量。

在图13的步骤S402的最接近点A的确定中，在最接近点A的位置具有如图4所示的块213的托板的情况下，也可以利用在比最接近点A低的位置也存在托板的构件的情况，例如确认在与最接近点A垂直的位置关系中具有块213的高度的像素的存在。由此，能够排除深度图像141p的噪声的影响。

图17A表示具有倒角部的托板的一个例子。图17B例示在有倒角部的情况下计算出的最接近点。在托板210具有倒角部214的情况下，可以在步骤S402中例如点A1被确定为最接近点时，根据点A1计算点A2。点A2例如是以检测出的点A1为中心，连结具有倒角部214的宽度以上的不同半径的同心圆上的2点的直线相交的点。在这种情况下，可以将计算出的点A2作为最接近点A。

在图13的步骤S403的左端点B以及右端点C的确定中，在以直线状评价三维坐标时，即使存在不沿着直线前进的区间，在该区间为短距离的情况下，也暂定为点连续的区间，进一步沿着延长线上前进。即，如果中断的点的距离在规定的距离以内，则可以视为点连续。由此，即使在深度信息141中存在数据缺失的情况下，也能够降低因数据缺失的影响而引起的误认。

也可以设想作为检测对象的全部的托板的种类，对于如图17A所示的无插入口215的部位、例如可能存在块213等的全部位置，以将最接近点作为基点的圆弧状来依次评价高度。跨越托板的高度的半值等基准高度，搜索高度变化的点。其中，可以将以最接近点A为基点形成最接近直角的角度的2点B’、C’看作左边AB以及右边AC上的部位，在其延长线上搜索左端点B以及右端点C。在深度信息141的精度低、将直线检测为曲线的情况下，能够降低因从最接近点A的附近以歪斜的角度直线状地前进而引起的误认。

也可以将左边AB以及右边AC的搜索中的点分别设为点B’以及点C’，除了评价在线段AB’以及线段AC’的延长线上是否存在点以外，还评价在与线段AC’正交且通过最接近点A的直线上和与线段AB’正交且通过最接近点A的直线上是否存在点。在检测到这样的点的情况下，可以视为在托板的高度的位置存在点而继续搜索。由此，即使在深度信息的精度低的情况下或者存在数据的缺失的情况下，也能够降低误认。

(第2实施方式)

第2实施方式中的托板的推定方法与第1实施方式不同。在第1实施方式中，通过检测基于三维坐标信息142计算出的高度成为标准高度附近的点，从而检测最接近点A、左端点B以及右端点C。在本实施方式中，基于法线向量的朝向相同的面，检测最接近点A、左端点B以及右端点C。

参照图18以及图19，对第2实施方式中的托板的推定进行说明。图18表示第2实施方式中的托板的宽度以及进深与位置的推定(步骤S4的详细过程)。图19示意性地表示图18的托板的推定。

托板推定部133基于三维坐标信息142计算与深度图像141p内的各像素对应的法线向量，检测计算出的法线向量的朝向相同的面(步骤S411)。

托板推定部133通过从存储部140读出标准尺寸信息143，取得标准尺寸信息143(步骤S412)。

托板推定部133在检测出的面中，提取点从地面起的高度h0成为标准尺寸信息143所表示的托板高度附近的区域(步骤S413)。提取出的区域相当于两个直线。将提取出直线状的区域推定为托板210的轮廓。

托板推定部133从提取的两个直线状的区域中确定最接近点A、左端点B以及右端点C(步骤S414)。例如，托板推定部133将左侧的线的端确定为左端点B，将右侧的线的端确定为右端点C。托板推定部133将两条线的交点确定为最接近点A。

确定了最接近点A、左端点B以及右端点C之后的处理(步骤S415以及步骤S416)与第1实施方式(图13所示的步骤S404以及步骤S405)相同。

如上所述，标准尺寸信息143包括托板210的标准高度。控制部130基于三维坐标信息142计算与深度图像141p内的各像素对应的点的法线向量。控制部130检测计算出的法线向量的朝向为相同方向的面。进而，控制部130基于各点的三维坐标和地面的平面方程式来计算各点的高度。控制部130将在检测出的面内计算出的高度成为标准高度附近的部分推定为托板210的轮廓。由此，能够高精度地推定托板210的轮廓。

(第3实施方式)

在第1以及第2实施方式中，基于从深度相机120得到的深度信息141进行了尺寸测量。在第3实施方式中，除了深度信息141以外，还使用从可见光相机得到的颜色信息来进行尺寸测量。

图20是表示第3实施方式所涉及的尺寸测量装置的结构的框图。第3实施方式的尺寸测量装置103除了第1实施方式的结构以外，还具备生成颜色信息的可见光相机160。可见光相机160具备CCD图像传感器、CMOS图像传感器、或者NMOS图像传感器等图像传感器。颜色信息例如是表示每个像素的RGB值的彩色图像。深度相机120和可见光相机160可以是分别独立的相机。深度相机120和可见光相机160也可以是能够取得深度信息和颜色信息两者的一个相机。

图21表示第3实施方式所涉及的尺寸测量装置103的控制部130的动作。从深度相机120取得深度信息141的步骤S21、从深度信息141生成三维坐标信息142的步骤S22、以及生成并输出尺寸测量信息144的步骤S28与第1实施方式(图8所示的步骤S1、步骤S2、步骤S6)相同。

控制部130从可见光相机160取得颜色信息(步骤S23)。颜色信息包括由二维坐标确定的每个像素的RGB值。颜色信息的二维坐标和深度信息的二维坐标根据深度相机120和可见光相机160的位置而建立对应。例如，在由一台相机实现深度相机120和可见光相机160的情况下，颜色信息的二维坐标和深度信息的二维坐标相同。即，深度图像的各像素和彩色图像的各像素具有相同的坐标值。

控制部130基于颜色信息，例如通过对彩色图像进行图像处理来检测如图22所示的对象物200的轮廓230(步骤S24)。轮廓230例如是表示如图22所示的对象物200的整体的外形的轮廓。轮廓230也可以是表示托板和货物各自的外形的轮廓。

控制部130除了深度信息141以及三维坐标信息142以外，还参照基于颜色信息检测出的轮廓230来进行地面的推定(步骤S25)、托板的推定(步骤S26)以及货物的高度推定(步骤S27)。以下，对地面的推定(步骤S25)、托板的推定(步骤S26)以及货物的高度推定(步骤S27)的详细过程分别进行说明。

图23表示地面的推定(步骤S25的详细过程)。控制部130在如图22所示的对象物200的轮廓230的外侧的区域240中，基于三维坐标信息142和颜色信息来推定地面区域(步骤S2501)。例如，在轮廓230的外侧的区域240内，将具有与彩色图像145p的下边的像素的RGB值类似的RGB值的区域推定为地面区域。另外，基于颜色信息的地面区域的推定也可以使用机器学习来进行。

控制部130从推定出的地面区域内的像素中选择至少三个点(步骤S2502)。选择点之后的法线向量的计算(步骤S2503)和常数d的计算(步骤S2504)与第1实施方式(步骤S302、S303)相同。

图24表示托板的推定(步骤S26的详细过程)。控制部130基于对象物200的轮廓230和三维坐标信息142，计算托板210的尺寸(步骤S2601)。例如，控制部130将彩色图像145p中的轮廓230的下侧(Y轴负方向侧)推定为托板210的轮廓，从表示轮廓的边缘的两端确定出最接近点A、左端点B以及右端点C。控制部130基于确定出的最接近点A、左端点B以及右端点C的三维坐标，计算AB间的距离与AC间的距离。

基于计算出的尺寸和标准尺寸信息143的比较的托板210的区域推定(步骤S2602)与第1实施方式相同。例如，托板210的区域推定(步骤S2602)相当于基于标准尺寸信息143的托板210的种类的确定(步骤S404)以及点D的确定(步骤S405)。

图25表示货物的高度推定(步骤S27的详细过程)。控制部130基于三维坐标信息142和地面方程式计算对象物200的轮廓230内的点的高度(步骤S2701)。控制部130也可以将彩色图像145p中的轮廓230的上侧(Y轴正方向侧)推定为货物220的轮廓。控制部130将计算出的高度中的最高的点决定为从地面起的货物的最高点的高度(步骤S2702)。

如上所述，本实施方式的尺寸测量装置103还具备拍摄对象物200并生成表示彩色图像的颜色信息的可见光相机160。控制部130基于颜色信息推定地面的区域，根据推定出的地面的区域内的点来计算地面的平面方程式。控制部130通过对彩色图像进行图像处理来提取托板210的轮廓。控制部130通过对彩色信息进行图像处理来检测货物220的轮廓，在检测出的轮廓的内侧，将根据三维坐标信息142和地面的平面方程式计算出的点的高度最高的点推定为货物220的高度。通过同时采用深度信息和颜色信息，从而使尺寸测量的精度变得更好。

(第4实施方式)

参照图26以及图27，对第4实施方式的尺寸测量装置进行说明。第4实施方式的尺寸测量装置104的地面的推定与第1实施方式不同。

图26是表示第4实施方式所涉及的尺寸测量装置的结构的框图。第4实施方式的尺寸测量装置104除了第1实施方式的结构以外，还具备加速度传感器170。加速度传感器170检测尺寸测量装置104的重力加速度，生成表示检测出的重力加速度的重力加速度信息。

图27表示第4实施方式中的地面的推定，即地面的平面方程式的生成(步骤S3的详细过程)。控制部130从加速度传感器170取得重力加速度信息(步骤S341)。控制部130基于重力加速度信息，推定垂直向上的法线向量(a，b，c)(步骤S342)。控制部130根据三维坐标信息142和推定出的法线向量，计算点的相对高度(步骤S343)。控制部130将相对高度最低的点推定为地面来计算常数d(步骤S344)。即，在本实施方式中，基于法线向量成为与重力的方向相反的方向的点来推定地面。由此，即使在尺寸测量装置104倾斜的状态下拍摄了对象物200时，也能够高精度地推定地面。

如上所述，尺寸测量装置104还具备检测重力加速度的加速度传感器170。控制部130基于根据重力加速度推定的地面的法线向量的朝向和三维坐标信息142，计算地面的平面方程式。由此，即使深度相机120的朝向在相对于地面水平或者垂直的方向上倾斜，也能够高精度地生成地面方程式。

(第5实施方式)

参照图28，对第5实施方式的尺寸测量装置进行说明。第5实施方式的尺寸测量装置的地面的推定与第1实施方式不同。第5实施方式的尺寸测量装置的结构与第1实施方式的尺寸测量装置100相同。图28表示第5实施方式中的地面的推定，即地面的平面方程式的生成(步骤S3的详细过程)。

控制部130设定暂定的虚拟法线(步骤S351)。控制部130基于三维坐标信息142计算局部的法线向量(步骤S352)。控制部130将具有与虚拟法线在一定角度范围内的法线的点推定为水平面(步骤S353)。控制部130计算推定出的水平面内的法线向量的平均作为法线向量(a’，b’，c’)(步骤S354)。控制部130根据三维坐标信息142和法线向量(a’，b’，c’)来计算点的相对高度，将相对高度低于规定值的区域推定为地面(步骤S355)。控制部130计算推定出的地面内的法线向量的平均作为地面的法线向量(a，b，c)(步骤S356)。控制部130根据三维坐标信息142和地面的法线向量(a，b，c)再次计算点的高度，将高度低于规定值的区域作为地面来计算常数d(步骤S357)。

如上所述，控制部130基于三维坐标信息142计算与深度图像141p内的像素对应的点的法线向量，将具有计算出的法线向量与规定的虚拟法线向量在一定角度范围内的法线向量的点推定为水平面。控制部130基于推定出的水平面内的法线向量和三维坐标信息来推定地面的区域，根据推定出的地面的区域内的点来计算地面的平面方程式。

根据本实施方式，不依赖于下边附近区域31而根据深度图像141p整体计算法线向量，因此即使在深度图像141p的下部周边的噪声强的情况下，也能够高精度地计算法线向量。本实施方式的尺寸测量装置在能够推定摄影时的大致的保持角度的情况下特别有效。

(其他实施方式)

如上所述，作为在本申请中公开的技术的例示，对第1实施方式～第5实施方式进行了说明。然而，本公开中的技术并不局限于此，也能够应用于进行了适当的变更、置换、附加、省略等的实施方式。此外，也可以将在上述第1实施方式～第5实施方式中说明的各结构要素组合而作为新的实施方式。

在上述实施方式中，深度相机120内置于尺寸测量装置，但也可以不在尺寸测量装置中内置深度相机120。尺寸测量装置可以经由通信部150取得深度相机120生成的深度信息141。在这种情况下，通信部150相当于取得深度信息141的取得部。同样地，可见光相机160也可以不内置在尺寸测量装置中。加速度传感器170也可以不内置在尺寸测量装置中。尺寸测量装置也可以经由通信部150而与深度信息141一起取得颜色信息和/或重力加速度信息。

本公开的尺寸测量装置能够通过硬件资源例如处理器、存储器、以及与程序的协作等来实现。

如上所述，作为本公开中的技术的例示，对实施方式进行了说明。因此，提供了附图以及详细的说明。因此，在附图以及详细说明所记载的结构要素中，不仅包含为了解决课题而必须的结构要素，为了例示上述技术，还可包含不是为了解决课题而必须的结构要素。因此，不应以这些不是必须的结构要素记载在附图、详细的说明中为根据而立即认定不是必须的结构要素是必须的。

此外，上述的实施方式是用于例示本公开中的技术的实施方式，因此能够在请求的范围或者其等同范围内进行各种变更、置换、附加、省略等。

产业上的可利用性

本公开能够应用于在托板上载置有货物的状态下对托板的宽度以及进深和货物的高度进行计测的尺寸测量装置以及尺寸测量方法。

符号说明

31 下边附近区域；

100、103、104 尺寸测量装置；

110 触摸屏；

111 显示部；

112 操作部；

120 深度相机；

130 控制部；

131 坐标变换部；

132 地面推定部；

133 托板推定部；

134 最高点推定部；

140 存储部；

141 深度信息；

141p 深度图像；

142 三维坐标信息；

143 标准尺寸信息；

144 尺寸测量信息；

145p 彩色图像；

150 通信部；

160 可见光相机；

170 加速度传感器；

200 对象物；

210 托板；

211 横梁板；

212 台面板；

213 块；

214 倒角部；

215 插入口；

220 货物；

230 轮廓；

400 三维空间；

A 最接近点；

A1、A2、D 点；

B 左端点；

C 右端点。

Claims (15)

1.一种尺寸测量装置，计测对象物的外形的大小，该对象物包括位于地面上的货架和载置于所述货架之上的货物，

所述尺寸测量装置具备：

取得部，取得表示从基准位置到所述地面以及所述对象物的距离的深度信息；

存储部，存储表示所述货架的标准尺寸的标准尺寸信息；

控制部，通过基于所述深度信息和所述标准尺寸信息来确定所述货架，从而计测所述对象物的宽度、进深以及高度的尺寸，生成表示计测出的所述宽度、进深以及高度的尺寸的尺寸测量信息；以及

输出部，输出所述尺寸测量信息。

2.根据权利要求1所述的尺寸测量装置，其中，

所述取得部包括深度相机，该深度相机拍摄所述地面以及所述对象物，生成以每个像素的深度值表示到所述地面以及所述对象物的距离的深度图像，作为所述深度信息。

3.根据权利要求2所述的尺寸测量装置，其中，

所述控制部生成将所述深度图像的各像素变换为三维坐标系的点的三维坐标信息，基于所述三维坐标信息来计算所述地面的平面方程式。

4.根据权利要求3所述的尺寸测量装置，其中，

所述控制部推定所述深度图像内的规定尺寸的下边附近区域为所述地面的区域，根据所述下边附近区域内的点来计算所述地面的平面方程式。

5.根据权利要求3所述的尺寸测量装置，其中，

所述控制部基于根据多个点计算出的法线向量的朝向与所述多个点的距离来推定所述地面的区域，根据推定出的所述地面的区域内的点来计算所述地面的平面方程式。

6.根据权利要求3所述的尺寸测量装置，其中，

所述尺寸测量装置还具备：可见光相机，拍摄所述对象物来生成表示彩色图像的颜色信息，

所述控制部基于所述颜色信息来推定所述地面的区域，根据推定出的所述地面的区域内的点来计算所述地面的平面方程式。

7.根据权利要求3所述的尺寸测量装置，其中，

所述尺寸测量装置还具备：加速度传感器，检测重力加速度，

所述控制部基于根据所述重力加速度推定的所述地面的法线向量的朝向与所述三维坐标信息，计算所述地面的平面方程式。

8.根据权利要求3所述的尺寸测量装置，其中，

所述控制部基于所述三维坐标信息来计算与所述深度图像内的像素对应的点的法线向量，将具有计算出的法线向量与规定的虚拟法线向量在一定角度范围内的法线向量的点推定为水平面，基于推定出的所述水平面内的法线向量和所述三维坐标信息来推定所述地面的区域，根据推定出的所述地面的区域内的点来计算所述地面的平面方程式。

9.根据权利要求3所述的尺寸测量装置，其中，

所述标准尺寸信息包括所述货架的标准高度，

所述控制部基于各点的三维坐标和所述地面的平面方程式来计算各点的高度，基于计算出的高度成为所述标准高度附近的点来推定所述货架的轮廓。

10.根据权利要求3所述的尺寸测量装置，其中，

所述标准尺寸信息包括所述货架的标准高度，

所述控制部基于所述三维坐标信息来计算与所述深度图像内的各像素对应的点的法线向量，检测计算出的所述法线向量的朝向为相同方向的面，并且基于各点的三维坐标和所述地面的平面方程式来计算各点的高度，将在检测出的所述面内计算出的高度为所述标准高度附近的部分推定为所述货架的轮廓。

11.根据权利要求3所述的尺寸测量装置，其中，

所述尺寸测量装置还具备：可见光相机，拍摄所述对象物来生成表示彩色图像的颜色信息，

所述控制部通过对所述彩色图像进行图像处理来提取所述货架的轮廓。

12.根据权利要求9～11中的任一项所述的尺寸测量装置，其中，

所述标准尺寸信息包括所述货架的标准宽度以及标准进深，

所述控制部基于所述三维坐标信息，根据推定出的所述货架的轮廓来计算所述货架的宽度以及进深，

所述控制部将计算出的所述宽度以及进深和所述标准宽度以及标准进深进行比较，确定所述货架的种类来推定所述货架的宽度以及进深。

13.根据权利要求12所述的尺寸测量装置，其中，

所述控制部在以推定出的所述货架为底面的三维空间内，将根据所述三维坐标信息和所述地面的平面方程式计算出的点的高度最高的点推定为所述货物的高度。

14.根据权利要求3所述的尺寸测量装置，其中，

所述尺寸测量装置还具备：可见光相机，拍摄所述对象物来生成表示彩色图像的颜色信息，

所述控制部通过对所述彩色图像进行图像处理来检测所述货物的轮廓，在检测出的轮廓的内侧，将根据所述三维坐标信息和所述地面的平面方程式计算出的点的高度最高的点推定为所述货物的高度。

15.一种尺寸测量方法，计测对象物的外形的大小，该对象物包括位于地面上的货架和载置于所述货架之上的货物，

所述尺寸测量方法包括：

取得表示从基准位置到所述地面以及所述对象物的距离的深度信息的步骤；

取得表示所述货架的标准尺寸的标准尺寸信息的步骤；

通过基于所述深度信息和所述标准尺寸信息来确定所述货架，从而计测所述对象物的宽度、进深以及高度的尺寸，生成表示计测出的所述宽度、进深以及高度的尺寸的尺寸测量信息的步骤；以及

输出所述尺寸测量信息的步骤。

Images