CN107076541A - 尺寸测定装置以及尺寸测定方法 - Google Patents

Abstract

一种尺寸测定装置，测定放置在货架(P)上的货物(C)或者连着货架的货物(CP)的尺寸，该尺寸测定装置具备：投影仪，其发送测定光；照相机，其接收反射的测定光，获取包含货物(C)和货架(P)的第一货物距离图像；处理器；以及存储器。处理器与存储器协作地进行以下动作：使存储器存储第一货物距离图像，基于第一货物距离图像中存在的货架(P)的形状，在第一货物距离图像内确定除货物(C)或者连着货架的货物(CP)以外的不需要的物体所存在的区域，通过在所确定出的区域写入规定的信息来生成第二货物距离图像。

Description

尺寸测定装置以及尺寸测定方法

技术领域

本公开涉及一种测定货物或者连着货架的货物的尺寸的技术。

背景技术

随着近年的经济活动的增长，货物的流通量愈发增大。特别是，货物中包括很多未必是长方体的不定型货物，寻求一种顺利且准确地测定这些不定型货物的尺寸的技术。

专利文献1公开了一种三维形状测量方法，在该方法中，基于接收到的测量光的顺序，按与照相机的各受光元件对应的每个位置来确定空间代码。在此，提取受光平面上的各受光元件中的未接收到测量光的受光元件来提取不可测定点，对于该不可测定点的空间代码，计算基于不可测定点附近的受光元件处的空间代码的值得到的插补值。基于该插补值，能够将到无法照射测量光的部分为止的距离也测定出来，对于不定型货物的尺寸测定也能够适用。

专利文献2公开了一种物体识别方法，在该方法中，将以规定的作业台为原点的世界坐标系中的三维空间作为匹配空间，将由距离图像测量单元测量出的物体距离图像标绘在匹配空间中。由此，在匹配空间中虚拟地重新构建物体表面位置，将得到的三维物体表面位置图像投射到世界坐标系的水平面Z-X平面上，得到投影图像。然后，求出投影图像的重心和惯性主轴的方向(惯性主轴方向)，以将惯性主轴方向和垂直于惯性主轴方向的方向作为基准坐标系的方式，对三维物体表面位置图像实施坐标变换(绕y轴的旋转变换)。然后，通过求出变换坐标系中的各最大位置坐标值、最小位置坐标值，来求出外切长方体的尺寸。外切长方体是外切于物体的长方体，对于不定型货物的尺寸测定也能够适用。

专利文献1：日本特开2000-193433号公报

专利文献2：日本特开2004-259114号公报

发明内容

通过应用专利文献1及2的技术，能够求出如不定型货物那样的对象物的外切长方体，能够测定该对象物的尺寸。在此，在以往的技术中，首先获取不包含货物的背景距离图像，之后获取包含货物的货物距离图像，根据背景距离图像与货物距离图像之差来获取货物的距离图像，测定尺寸。

在现实的货物的流通场合下，测定作为对象物的货物的尺寸的条件通常是时刻变化的。例如，认为获取背景距离图像的时间点下的环境与获取货物距离图像的时间点下的环境不同的情形多。也想到了在这种情形下无法得到的适当的背景距离图像的情况，进而存在无法获取准确的货物的距离图像的可能性。

另外，在现实的货物的流通场合下，货物一般是以搭载于如铲板那样的规定的货架的状态来流通的。这种流通是惯例性的，因此一直在尝试测定连着货架的货物的尺寸，但是测定去除货架后的货物本身的尺寸的要求也在增长。

本公开涉及一种适当地测定货物或者连着货架的货物的尺寸的技术。

本公开是一种尺寸测定装置，测定放置在货架上的货物或者连着货架的货物的尺寸，该尺寸测定装置具备：发射机，其发送测定波；接收机，其接收反射的测定波，获取包含货物和货架的第一货物距离图像；处理器；以及存储器，其中，处理器与存储器协作地进行以下动作：使存储器存储第一货物距离图像，基于第一货物距离图像中存在的货架的形状，在第一货物距离图像内确定除货物或者连着货架的货物以外的不需要的物体所存在的区域，通过在所确定出的区域写入规定的信息来生成第二货物距离图像。

另外，本公开是一种尺寸测定方法，测定放置在货架上的货物或者连着货架的货物的尺寸，在该尺寸测定方法中，发射机发送测定波，接收机接收反射的测定波，获取包含货物和货架的第一货物距离图像，处理器与存储器协作地进行以下动作：使存储器存储第一货物距离图像，基于第一货物距离图像中存在的货架的形状，在第一货物距离图像内确定货物或者连着货架的货物以外的不需要的物体所存在的区域，通过在确定出的区域写入规定的信息来生成第二货物距离图像。

根据本公开，在第一货物距离图像内确定货物以外的不需要的物体所存在的区域，在确定出的区域写入规定的信息，由此生成第二货物距离图像。通过灵活运用该第二货物距离图像，能够得到货物的外切长方体，进而能够适当地测定货物的尺寸。

附图说明

图1是表示实施方式1所涉及的尺寸测定装置的结构的框图。

图2A是表示货叉上未搭载货物的状态的图。

图2B是表示货叉上搭载有连着货架的货物的状态的图。

图3A是表示背景距离图像的图。

图3B是表示背景距离图像的图。

图3C是表示货物距离图像的图。

图3D是表示货物距离图像的图。

图4A是表示货叉上未搭载货物的状态的图。

图4B是表示在图4A的状态下获取并生成的背景距离图像的图。

图4C是表示货叉上搭载有连着货架的货物的状态的图。

图4D是表示在图4C的状态下获取并生成的货物距离图像的图。

图5A是表示随着叉车的移动、当初未存在于图像内的物体映现于图像时的状态的图。

图5B是表示与墙有关的图像的处理的图。

图5C是表示与地面的异物有关的图像的处理的图。

图6A是表示当初未存在于图像内的其它物体映现于图像的状态的图。

图6B是表示与其它物体有关的图像的处理的图。

图7是表示实施方式1的尺寸测定装置所进行的动作过程的概要的流程图。

图8A是表示图7的步骤S10的详细处理过程(子例程)的流程图。

图8B是表示按多个阶段变更货叉的高度并在每次变更时生成的距离图像的图。

图9是表示图7的步骤S40的详细处理过程(子例程)的流程图。

图10A是表示图9的步骤S41的详细处理过程(子例程)的流程图。

图10B是表示步骤S412中的处理的距离图像的图。

图10C是表示步骤S413中的处理的距离图像的图。

图10D是表示步骤S414中的处理的距离图像的图。

图10E是求出货架的前表面的图像的距离时的处理的概念图。

图11A是表示图9的步骤S42的详细处理过程(子例程)的流程图。

图11B是表示步骤S421中的处理的距离图像的图。

图11C是表示步骤S422中的处理的距离图像的图。

图11D是表示步骤S423中的处理的距离图像的图。

图11E是表示步骤S424中的处理的距离图像的图。

图12A是表示将多个第二货物距离图像进行合成并生成最终货物距离图像的处理的图。

图12B是表示将最终货物距离图像在三维匹配空间中进行坐标展开的处理的图。

图12C是表示对惯性主轴的方向进行校正并进行三维匹配空间的坐标变换的处理的图。

图12D是表示在坐标变换后的三维匹配空间内计算货物的外切长方体的处理的图。

图13是表示尺寸测定装置不获取背景距离图像的情况下的动作过程的概要的流程图。

图14A是表示图13的步骤S40A的详细处理过程(子例程)的流程图。

图14B是表示步骤S40A1中的处理的距离图像的图。

图14C是表示步骤S40A2中的处理的距离图像的图。

图14D是表示步骤S40A3中的处理的距离图像的图。

图14E是表示步骤S40A4中的处理的距离图像的图。

图14F是表示步骤S40A5中的处理的距离图像的图。

图15A是表示实施方式2的尺寸测定装置所进行的处理整体的图形图。

图15B是表示实施方式2的尺寸测定装置所进行的处理的图。

图15C是表示实施方式2的尺寸测定装置所进行的处理的图。

图15D是表示实施方式2的尺寸测定装置所进行的处理的图。

图15E是表示实施方式2的尺寸测定装置所进行的处理的图。

图16A是表示实施方式2的尺寸测定装置所进行的处理的变形例的处理的图。

图16B是表示实施方式2的尺寸测定装置所进行的处理的变形例的处理的图。

图16C是表示实施方式2的尺寸测定装置所进行的处理的变形例的处理的图。

图16D是表示实施方式2的尺寸测定装置所进行的处理的变形例的处理的图。

图16E是表示实施方式2的尺寸测定装置所进行的处理的变形例的处理的图。

图17是表示搭载有连着货架的货物的叉车沿仓库的规定的路径移动的状态的图。

图18是说明包括尺寸测定装置的业务诊断系统所进行的处理的概念图。

图19是表示实施方式的变形例的概念图。

具体实施方式

下面，适当参照附图来详细说明具体公开本公开所涉及的尺寸测定装置的实施方式(下面称为“本实施方式”)。但是，有时会省略不必要的详细说明。例如，有时会省略已经广为人知的事项的详细说明、对实质上相同的结构的重复说明。这是为了避免下面的说明不必要地变得冗长，使本领域技术人员易于理解。此外，附图和下面的说明是为了本领域技术人员充分理解本公开而提供的，并没有根据附图和下面的说明来限定权利要求书所记载的主题的意图。

(实施方式1)

下面，使用图1～图12来说明实施方式1。

[结构]

图1是表示实施方式1所涉及的尺寸测定装置的结构的框图。图1所示的尺寸测定装置100例如设置于物流仓库等与物流有关的设备(如叉车那样的货物搬运装置、仓库的地面等)，至少具备照相机110、投影仪120、处理器130以及存储器140。尺寸测定装置100是测定放置在货架(铲板)上的货物或者连着货架的货物的尺寸的装置。下面，除了特别的情况以外，作为尺寸的测定对象的“货物”或者货物C的技术用语不仅包括“货物”本身，也可能包括由货物和货架构成的“连着货架的货物”或者连着货架的货物CP。而且，尺寸测定装置100在货物是长方体的情况下测定长方体的3边的尺寸，在货物是非长方体的不定型货物的情况下，如后所述那样测定与该货物外切的外切长方体(后述)的3边的尺寸。

作为摄像装置的照相机110包括未图示的镜头、图像传感器等各种要素。作为投光装置的投影仪120投射对作为测定对象的货物的尺寸进行测定所需的测定光。投影仪120对货物投射测定光，照相机110接收由货物反射的测定光。在此，测定光的投光图案根据货物的表面而变形，照相机110捕捉反射后的测定光的投光图案的变形，来作为生成的图像的各像素处的深度、即距离的信息。在此生成的图像一般被称为“距离图像”。此外，既可以由照相机110生成距离图像，也可以由后述的处理器130从照相机110得到信息后生成距离图像。

“距离图像”是指收纳有到各像素所表示的位置(包括货物的表面)为止的距离信息的图像。例如能够通过利用不同的颜色在显示器上表达各像素的距离信息来在视觉上表达距离图像。

处理器130由一般的运算装置构成，从内置的未图示的存储装置、存储器140读出各种控制程序、数据，负责尺寸测定装置100整体的动作控制。作为存储装置的存储器140进行读入处理器130的各种处理所需的控制程序、输出数据等操作。即，处理器130与存储器140协作地控制尺寸测定装置100的各种处理。

此外，也能够利用有线通信或无线通信将作为处理器130和存储器140而发挥功能的独立的计算机与照相机110及投影仪120接在一起，由此构成尺寸测定装置100。当然，尺寸测定装置100也能够构成为将照相机110、投影仪120、处理器130、存储器140收纳于一体的壳体而成的一体型装置。

[处理的概要]

图2A和图2B是说明包括两台尺寸测定装置100A、100B(下面也称为“尺寸测定装置100”)的尺寸测定系统200被固定于叉车FL的状态以及产生本申请发明的问题的一个场面的说明图。在叉车FL的前方固定有两台一体型的尺寸测定装置100，尺寸测定装置100对保持连着货架的货物的、能够升降的货叉F及其周边进行拍摄。

在图2A的状态下货叉F上未搭载货物，尺寸测定装置100获取不包含作为测定对象的货物的背景距离图像。在图2B的状态下，货叉F上搭载有在货物C放置于货架P的状态下的连着货架的货物CP，尺寸测定装置100获取包括作为尺寸的测定对象的货物C(下面，也可能包括连着货架的货物CP)的货物距离图像。

考虑将在图2A的状态下得到的背景距离图像与在图2B的状态下得到的货物距离图像进行比较，取两个图像之差来仅获取货物C的距离图像，由此获取货物C的尺寸。然而，实际上在图2A的状态和图2B的状态下，货叉F的高度有可能不同。即，考虑到存在以下情况：在搭载有连着货架的货物CP的状态(图2B)下的货叉F的高度比在未搭载连着货架的货物CP的状态(图2A)下的货叉F的高度低。即，在获取背景距离图像的时间点与在获取货物距离图像的时间点，预计货叉F的位置发生变化，难以提取货物C的距离图像。

图3A至图3D是具体表示上述事件的距离图像的图。图3A表示由图2A中的尺寸测定装置100A拍摄到的背景距离图像，图3B表示由图2A中的尺寸测定装置100B拍摄到的背景距离图像。图3C表示由图2B中的尺寸测定装置100A拍摄到的货物距离图像，图3D表示由图2B中的尺寸测定装置100B拍摄到的货物距离图像。根据图3A与图3C的比较、图3B与图3D的比较，可知货叉F在图像内的位置发生了变化。

货叉F是作为尺寸测定对象的货物C以外的不需要的物体，确定货叉F所存在的区域对于提取货物C和测定尺寸而言是重要的事项。然而，当如本例那样货叉F的图像内位置在背景距离图像和货物距离图像中不同时，难以确定货叉F所存在的区域，对货物C的尺寸测定而言会成为障碍。

图4A至图4D是说明为了解决上述问题本实施方式的尺寸测定装置100进行的处理的概念图。图4A示出了以下状态：货叉F上未搭载货物，从尺寸测定装置100到货叉F的距离是d1，尺寸测定装置100获取不包含货物的背景距离图像。在该情况下，尺寸测定装置100最初获取如图4B所示那样包含货叉F的第一背景距离图像。

图4C示出了以下状态：货叉F上搭载有连着货架的货物CP，从尺寸测定装置100到货叉F的距离是d2，尺寸测定装置100获取包含作为尺寸的测定对象的货物C的货物距离图像。在该情况下，尺寸测定装置100最初获取如图4D所示那样包含货叉F和连着货架的货物CP的第一货物距离图像。

在图4C中，货叉F的位置由于搭载连着货架的货物CP而处于比图4A中的位置低的位置，d2>d1。其结果，货叉F的位置在图4B的第一背景距离图像与图4D第一货物距离图像之间不同，预计难以提取货物C的距离图像。

因此，如图4B所示，处理器130与存储器140协作地进行以下动作：从第一背景距离图像排除包含作为不需要的物体的货叉F的像素，针对所排除的像素，插补其周围部分的像素的包含距离信息的新像素。其结果，生成不包含货叉F的第二背景距离图像。

然后，处理器130如图4D所示那样与存储器140协作地进行以下动作：进行边缘检测(基于像素的距离信息等的急剧变化的检测手法)，或者利用通过与预先登记的货架的图案进行比较而进行的图案匹配等手法来提取货架P的边缘E。由此，处理器130确定货架P的形状，并且确定货架的侧面中的前表面FS的形状。在此，处理器130能够也检测从前表面FS突出的物体即货叉F，将这种突出的物体所存在的区域(也包括货架的侧面FS)作为不需要的物体所存在的区域，将该区域的像素从第一货物距离图像排除。在本实施方式中，针对所排除的像素，插补第二背景距离图像的对应的像素的包含距离信息的新像素，生成第二货物距离图像。

并且，处理器130通过获取第二背景距离图像与第二货物距离图像之差，来生成表示货物C或者连着货架的货物CP的形状的最终货物距离图像。该最终货物距离图像即为后述的三维匹配空间中的坐标展开和外切长方体的生成的对象。

图5A至图5C是说明本实施方式的尺寸测定装置100所进行的处理的变形例1的概念图。如图5A所示，在本例中，随着叉车FL的移动，当初拍摄时不存在于图像内的物流仓库的墙W、落在地面上的异物M等映现于图像。与前述的货叉F同样地，这些也是不需要的物体，在测定尺寸时需要排除。此外，在图5A中，省略了货物C的图示。

一般来说，规定货物C的纵与横的尺寸与货架P的纵与横的尺寸相同。即，作为包装条件，设定成货物C不超出货架P。在本例中利用该概念，将存在于超出货架P的面积的范围的物体所对应的像素与前述的货叉F同样地削除。

图5B表示与墙W有关的图像的处理。与背景距离图像有关的处理与图4B同样，尺寸测定装置100在获取到包含货叉F的第一背景距离图像之后，生成不包含货叉F的第二背景距离图像。

然后，处理器130通过与图4D所示的处理相同的处理，来排除第一货物距离图像中的货架P的前表面FS和货叉F的图像，并插补第二背景距离图像的对应的像素的包含距离信息的新像素。并且，处理器130判定为第一货物距离图像中存在的墙W存在于超出货架P的面积的范围。

预先知道货架P的俯视面积、即纵与横的尺寸，如图5A所示，处理器130能够确定以货架P的上表面US为底面的长方体的区(提取有效范围)，将存在于该区外的物体所存在的区域确定为不需要的物体所存在的区域。因此，处理器130能够判定为墙W是不需要的物体。处理器130将墙W所存在的区域作为不需要的物体所存在的区域，将该区域的像素从第一货物距离图像排除。在本实施方式中，处理器130针对所排除的像素，插补第二背景距离图像的对应的像素的包含距离信息的新像素。

图5C表示与地面的异物M有关的图像的处理。与墙W同样地，处理器130能够判定为异物M是不需要的物体。处理器130将异物M所存在的区域作为不需要的物体所存在的区域，将该区域的像素从第一货物距离图像排除。在本实施方式中，处理器130针对所排除的像素，插补第二背景距离图像的对应的像素的包含距离信息的新像素。

图6A和图6B是说明本实施方式的尺寸测定装置100所进行的处理的变形例2的概念图。如图6A所示，在本例中，当初不存在于图像内的其它物体X(在本例中搭载有货物的其它叉车)接近尺寸测定装置100并映现于图像。与前述的货叉F等同样地，其它物体X也是不需要的物体，在测定尺寸时需要排除。此外，在图6A中，省略了货物C的图示。

图6B表示与其它物体X有关的图像的处理。与背景距离图像有关的处理与图4B同样，尺寸测定装置100在获取包含货叉F的第一背景距离图像之后，生成不包含货叉F的第二背景距离图像。

然后，处理器130通过与图4C所示的处理相同的处理，来排除第一货物距离图像中的货架P的前表面FS和货叉F的图像，并插补第二背景距离图像的对应的像素的包含距离信息的新像素。并且，处理器130判定为第一货物距离图像中存在的其它物体X存在于超出货架P的面积的范围。

预先知道货架P的俯视面积、即纵与横的尺寸，如图6A所示，处理器130能够确定以货架P的上表面US为底面的长方体的区(提取有效范围)，将存在于该区外的物体所存在的区域确定为不需要的物体所存在的区域。因此，处理器130能够判定为其它物体X是不需要的物体。处理器130将其它物体X所存在的区域作为不需要的物体所存在的区域，将该区域的像素从第一货物距离图像排除。在本实施方式中，处理器130针对所排除的像素，插补第二背景距离图像的对应的像素的包含距离信息的新像素。

[动作]

图7～11是表示本实施方式的尺寸测定装置100所进行的具体动作过程的流程图。图7是表示实施方式1的尺寸测定装置100所进行的动作过程的概要的流程图。

如图7所示，首先以操作者人为输入操作开始命令或者从特定的传感器等输入信号为触发，第一台尺寸测定装置100(100A)的投影仪120例如以图2A所示的状态投射测定光，照相机110基于反射的测定光来生成背景距离图像(第一背景距离图像)(步骤S10)。一般来说设置有多台的n台(n≥2)尺寸测定装置100，因此重复步骤S10的动作直到全部(n台)尺寸测定装置100均生成背景距离图像为止(步骤S20)。

在全部尺寸测定装置100均生成背景距离图像之后(步骤S20；“是”)，第一台尺寸测定装置100(100A)的投影仪120例如以图2B所示的状态投射测定光，照相机110基于反射的测定光来生成货物距离图像(第一货物距离图像和第二货物距离图像)(步骤S30)。然后，处理器130基于所得到的背景距离图像和货物距离图像来生成仅包含作为尺寸测定对象的货物C(或者连着货架的货物CP)的图像、表示货物C(或者连着货架的货物CP)的形状的最终货物距离图像(步骤S40)。重复步骤S30和步骤S40的动作直到全部(n台)尺寸测定装置100生成最终货物距离图像为止(步骤S50)。

此外，能够与步骤S30及步骤S40并行地进行步骤S10。即，也可以是，在特定的尺寸测定装置100(例如100A)通过步骤S30和S40生成最终货物距离图像的期间，其它尺寸测定装置100(例如100B)通过步骤S10生成背景距离图像，处理的顺序没有特别限定。

之后，特定的尺寸测定装置100的处理器130将得到的全部最终货物图像进行合成，在三维匹配空间中进行坐标展开(步骤S60)。然后，处理器130生成最终货物距离图像的外切长方体，计算外切长方体的3边的尺寸(步骤S70)。在此，“外切长方体”是指具有与惯性主轴方向平行的边、纳入货物C(或者连着货架的货物CP)的最小的长方体、即长方体的6个面分别至少在一个点上与货物C(或者连着货架的货物CP)的表面相切的长方体。步骤S60和步骤S70在后面详细说明。

图8A是表示图7的步骤S10的详细处理过程(子例程)的流程图。尺寸测定装置100的投影仪120和照相机110以上述的规定的输入为触发，来生成(第一)背景距离图像。在本实施方式中，如图8B所示，操作者以多个阶段来变更叉车FL的货叉F的高度，在每次变更时尺寸测定装置100生成与各阶段相应的第一背景距离图像(步骤S11)，处理器130使存储器140存储第一背景距离图像。预计搭载时的货叉F的高度根据连着货架的货物CP而不同，因此生成并存储像这样货叉F的位置不同的第一背景距离图像。

在与多个阶段的全部高度相应地生成了第一背景距离图像后(步骤S12；“是”)，处理器130将存储器140中存储的全部第一背景距离图像进行合成，生成将货叉F排除后的第二背景距离图像(步骤S13)。

图9是表示图7的步骤S40的详细处理过程(子例程)的流程图。基于通过步骤S30生成的货物距离图像(第一货物距离图像或者第二货物距离图像)，处理器130估计到货架的侧面中的前表面(与货叉的连接面)为止的距离，排除该前表面上的货叉的部分的像素(步骤S41)。接着，处理器130对货架P的上表面(载有货物C的面)进行估计，根据对如下像素进行了修正的背景距离图像来对货物距离图像进行插补，由此生成将货物以外的物体的像素排除后的第二货物距离图像(步骤S42)，其中，该像素是在将比上表面靠上的部分去除的货物距离图像(第一货物距离图像)与进行了修正的背景距离图像(第二背景距离图像)之间存在差的像素。

图10A是表示图9的步骤S41的详细处理过程(子例程)的流程图。处理器130如图10B所示那样，通过边缘检测、图案匹配等方法来检测货架P的轮廓的边缘E1(步骤S411)。接着，处理器130基于检测出的轮廓的边缘E1，如图10C所示那样，估计(由于载有货叉F而)无法直接检测的货架P的前表面FS(与货叉F的连接面)的边缘E2(步骤S412)。并且，处理器130如图10D所示那样，估计前表面FS内的各像素与尺寸测定装置100相距的距离，将距离信息对应到货物距离图像上(步骤S413)。能够通过各种方法来进行此处的距离的估计。例如，在如图10E所示那样估计到前表面FS的任意的像素A为止的距离的情况下，处理器130基于到经过像素A且平行于前表面FS的横边缘的线与纵边缘的交点为止的距离，通过三角测量来进行计算。如以上那样，在步骤S41中，基于第一货物距离图像中存在的货架的形状(边缘)，在第一货物距离图像内确定货物或连着货架的货物以外的不需要的物体(货叉)所存在的区域(FS)，在确定出的区域写入距离信息作为规定的信息，由此从货物距离图像排除货叉的存在。此外，作为规定的信息而写入的信息也可以是空值(Null)数据(作为能够识别的代码的、在今后的运算中可以忽视的数据)。

此外，在上述的方式中仅将货叉中的存在于FS的部分从货物距离图像排除，但是从货物距离图像排除货叉的方法不限于此。例如，也能够将货物或连着货架的货物以外的不需要的物体所存在的区域定义为从FS突出的直线状的物体(货叉整体)所存在的区域，而不是FS。处理器130能够基于由第一货物距离图像表达的距离信息来判断是否存在这种区域。具体地说，处理器130只要同样地确定FS，并运算是否存在具有线形的表面梯度的物体从确定出的FS向规定的方向突出即可。在像这样将货物或连着货架的货物以外的不需要的物体所存在的区域确定为货叉整体的情况下，也可以在该确定出的区域写入空值数据作为规定的信息。另外，也可以将第二背景距离图像的对应的像素(大致相同的坐标上的像素)用作规定的信息来在该确定出的区域进行插值，随后获取与第二背景距离图像之差。

此外，在本例中说明了作为不需要的物体的货叉F从货架P的前表面FS突出、排除该货叉F的方法，但是不需要的物体所突出的面不限定于前表面FS，可以是包括该前表面FS在内的侧面的任一个面。

图11A是表示图9的步骤S42的详细处理过程(子例程)的流程图。处理器130如图11B所示那样，通过边缘检测、图案匹配等方法来检测货架P的轮廓的边缘E1(步骤S421)。接着，处理器130如图11C所示那样，估计货架P的上表面(载有货物C的面)US的边缘E3(步骤S422)。并且，处理器130如图11D所示那样，判定将比上表面US靠上的像素去除的第一货物距离图像与进行了修正的背景距离图像(第二背景距离图像)之间是否存在差(步骤S423)。例如，处理器130按每个像素来检查差，判定存在差的像素是否存在于比货架P的上表面US靠上的位置，在该图像不位于比货架P的上表面靠上的位置的情况下，视作插补对象，将该像素排除(步骤S423；“是”)。然后，处理器130如图11E所示那样，针对存在差的像素，使用进行了修正的背景距离图像(第二背景距离图像)的对应的像素来插补通过步骤S423排除的像素，生成第二货物距离图像(步骤S424)。如以上那样，在步骤S42中，基于第一货物距离图像中存在的货架的形状(边缘)，来在第一货物距离图像内确定货物或连着货架的货物以外的不需要的物体所存在的区域(货架的上方以外的区域)，在确定出的区域写入距离信息(第二背景距离图像的对应的像素)作为规定的信息，由此将不需要的物体的存在从货物距离图像排除。

图12是表示图7中的步骤S60和步骤S70的处理的概要的说明图。处理器130将基于第二货物距离图像生成的最终货物距离图像在三维匹配空间中进行坐标展开，生成坐标展开后的最终货物距离图像的外切长方体，计算该外切长方体的3边的尺寸。

首先，处理器130生成最终货物距离图像。“最终货物距离图像”是指仅包括表示基本不包含货物C(或者连着货架的货物CP)以外的背景的货物C(或者连着货架的货物CP)的形状的像素的图像。作为生成最终货物距离图像的一个手法，存在获取第二背景距离图像与第二货物距离图像之差来生成最终货物距离图像的方法。这是在步骤S413至步骤S424中使用第二背景距离图像的对应的像素来生成第二货物距离图像的情况下进行的手法。另一方面，在步骤S413和步骤S424中使用空值数据来进行像素的排除的情况下，第二货物距离图像即为最终货物距离图像。然后，处理器130如图12A所示那样，将通过图7的步骤S50得到的全部由尺寸测定装置100产生的最终货物距离图像进行合成，由此得到能够在三维匹配空间中进行坐标展开的状态的最终距离图像。然后，处理器130如图12B所示那样，将得到的最终货物距离图像在三维匹配空间中进行坐标展开。在此，最终货物距离图像中的底面未必与三维匹配空间的底面的Z-X平面平行地配置，这是前提。

并且，处理器130如图12C所示那样对惯性主轴的方向进行校正，进行三维匹配空间的坐标变换。在此“惯性主轴”是指在以该轴为中心使货物旋转时在Z-X平面(水平面)上的投影面积最小的轴。最后，处理器130如图12D所示那样，在坐标变换后的三维匹配空间内计算货物的外切长方体。该外切长方体被定义为包装货物时的最小尺寸。

在现实的货物的流通场合下，存在以下情况：不需要的物体的位置发生变化(图4的例子)、或者在背景距离图像的获取时间点不存在的不需要的物体在货物距离图像的获取时间点映现于图像(图5、图6的例子)。即使在像这样获取背景距离图像的时间点下的环境与获取货物距离图像的时间点下的环境不同的情况下，在本实施方式中，由于进行排除不需要的物体的处理，因此能够得到适当的货物或者连着货架的货物的图像，进而能够测定货物或者连着货架的货物的准确的尺寸。

此外，在上述的实施方式1中，存在以下情况：尺寸测定装置100获取背景距离图像，之后将该背景距离图像用于在货物距离图像中所排除的像素的插补。然而，用于如上所述那样对排除的像素进行插补的像素并不限定于背景距离图像的像素，例如也可以通过写入如空值数据那样的具有其它能够识别的代码的像素来进行插补。在该情况下，未必要获取背景距离图像，处理器130针对被确定为不需要的物体所存在的区域的区域的像素写入规定的信息，生成第二货物距离图像。图13表示不获取背景距离图像的情况下的处理过程。尺寸测定装置100不进行图7中的步骤S10和步骤S20的处理，从步骤S30的处理开始。然后，尺寸测定装置100进行步骤S40A的处理来代替图7的步骤40，之后进行图7的步骤S50、S60、S70的处理并结束。

图14A是表示图13的步骤S40A的详细处理过程(子例程)的流程图。处理器130如图14B所示那样，通过边缘检测、图案匹配等方法来检测货架P的轮廓的边缘E1(步骤S40A1)。接着，处理器130基于所检测出的轮廓的边缘E1，如图14C所示那样，估计(由于载有货叉F而)无法直接检测的货架P的前表面FS(与货叉F的连接面)的边缘E2(步骤S40A2)。并且，处理器130如图14D所示那样，估计前表面FS内的各像素与尺寸测定装置100相距的距离，对应关联到货物距离图像上(步骤S40A3)。例如以图10E所示的方法来进行此处的距离的估计。

接着，处理器130如图14E所示那样，估计货架P的上表面(载有货物C的面)US的边缘E3(步骤S40A4)。基于该边缘E3，处理器130如图14F所示那样，估计比货架P的上表面US靠上的空间(步骤S40A5)。并且，在图像内的特定的像素(i)的位置存在于比该靠上的空间靠外的区域的情况下(步骤S40A6；“是”)，处理器130排除该像素，通过例如写入空值数据(能够识别的代码)来插补该像素(步骤S40A7)。最后，处理器130确认全部像素中是否还存在要插值的像素，确认完成后生成第二背景距离图像(步骤S40A8)。

(实施方式2)

图15A至图15E是说明实施方式2的尺寸测定装置100所进行的处理的概念图。图15A是处理整体的图像，固定于地面的尺寸测定装置100能够拍摄固定于特定的场所的连着货架的货物CP，将货架P除外来计算货物C的外切长方体。此外，本实施方式中的装置结构与图1所示的实施方式1所涉及的尺寸测定装置的结构共同，在下面叙述的其它实施方式中也是共同的。

首先，尺寸测定装置100(100A、100B)在不存在连着货架的货物CP的状态下获取特定的场所的背景距离图像，(实质上仅拍摄地面)生成背景距离图像。接着，如图15B所示，尺寸测定装置100A、100B拍摄连着货架的货物CP，如图15C所示那样获取包含连着货架的货物CP的第一货物距离图像。接着，如图15D所示，尺寸测定装置100的处理器130根据第一货物距离图像来检测货架P的上表面US的边缘E3，之后估计上表面US。然后，处理器130确定以上表面US为底面的长方体的区(提取有效范围)，将存在于该区外的物体所存在的区域确定为不需要的物体所存在的区域。然后，处理器130将存在于该区外的物体所存在的区域的像素排除(例如写入空值数据)，由此如图15E所示那样生成最终货物距离图像(在本实施方式中也是第二货物距离图像)。这样，能够将货架P除外来计算货物C的外切长方体。如以上那样，基于存在于第一货物距离图像的货架的形状(边缘)，在第一货物距离图像内确定货物或连着货架的货物以外的不需要的物体所存在的区域(以上表面US为底面的长方体区外的区域)，在确定出的区域写入距离信息(空值数据)作为规定的信息，由此能够将不需要的物体的存在从货物距离图像排除。

在本实施方式中，与图4～6的例子不同，在获取背景距离图像的时间点下的环境与获取货物距离图像的时间点下的环境之间，未发生除连着货架的货物CP的有无以外的变化。但是，根据流通商的要求等，也有时不是需要连着货架的货物CP而是需要排除货架P后的货物C本身的尺寸。在本实施方式中，能够提取作为背景距离图像与货物距离图像之差的连着货架的货物CP中的、排除作为CP的一部分的货架P后的货物C，因此能够响应于这种要求。

另外，也能够使用类似的手法来计算货物C的外切长方体。图16A至图16E是说明实施方式2的尺寸测定装置100所进行的处理的变形例的概念图。首先，尺寸测定装置100(100A、100B)在不存在连着货架的货物CP的状态下获取包含叉车FL的背景距离图像(实质上仅拍摄叉车)，之后如图16A所示那样，将搭载于叉车FL的连着货架的货物CP与叉车FL一起进行拍摄，获取包含连着货架的货物CP的第一货物距离图像(图16B)。接着，如图16C所示，尺寸测定装置100的处理器130基于第一货物距离图像来检测货架P的上表面US的边缘E3。并且，处理器130如图16D所示那样对上表面US进行估计。然后，处理器130确定以上表面US为截面的长方体的区(提取有效范围)，将存在于该区外的物体所存在的区域确定为不需要的物体所存在的区域。然后，处理器130将存在于该区外的物体所存在的区域的像素排除(例如写入空值)，由此如图16E所示那样生成最终货物距离图像(在本实施方式中也是第二货物距离图像)。如以上那样，基于存在于第一货物距离图像的货架的形状(边缘)，在第一货物距离图像内确定货物或连着货架的货物以外的不需要的物体所存在的区域(以上表面US为截面的长方体的区外的区域)，在确定出的区域写入距离信息(空值数据)作为规定的信息，由此能够将不需要的物体的存在从货物距离图像排除。

另外，根据如实施方式2所示那样以货架为基准来确定不需要的物体所存在的区域、从货物距离图像排除的方法，即使处于货物C搭载于叉车等而沿规定的路径移动的状态，也能够生成最终货物距离图像。

图17是说明本实施方式的尺寸测定装置100所进行的处理的概念图。如图17所示，搭载有连着货架的货物CP的叉车FL沿仓库的规定的路径移动，在该路径的旁边配置有尺寸测定装置100。投影仪120投射测定光，接收到反射的测定光的照相机110在连着货架的货物CP的移动过程中获取多个第一背景距离图像。处理器130通过进行上述的处理(参照图13、图14)来生成最终货物距离图像。

(实施方式3)

图18是说明包括本实施方式的尺寸测定装置100的业务诊断系统所进行的处理的概念图。业务诊断系统是统计每个货物C的属性信息来应用于枢纽站点内的业务诊断的系统。例如尺寸测定装置100在拍摄到货物时，将包含尺寸测定装置100自身计算出的尺寸、从安装于货物的标签等获取到的各种信息的属性信息发送到业务判断计算机300。属性信息包括货物的尺寸、重量、装载门、装载时间、目的地(国)、卸载门、卸载时间等。

业务判断计算机300的数据统计部301接收属性信息后按规定的形式进行统计，发送到优化算法生成部302。优化算法生成部302考虑该枢纽站点处的枢纽站点结构信息和作业削减目标值，针对接收到的属性信息来生成改善方案。枢纽站点结构信息例如包括站点地图、装载门数、卸载门数、叉车的类别和台数、集装箱的类别和台数等。作业削减目标值例如包括叉车的总移动距离削减目标值、集装箱的总移动距离削减目标值、人手总作业时间的削减目标值等。改善方案包括一周的每天/每个时段的拖车的装载门的配置、每个时段的叉车的配置位置(或者台数)、每个时段的飞机的卸载门的配置等。

即，业务诊断系统例如对在哪个时段哪个种类的货物多之类的内容进行分析，对拖车、叉车、集装箱的配置等进行改善。由此，能够实现叉车的总工作时间、货物保存的准备时间、拖车的等待时间等的削减。这些分析结果能够以各种数据形式呈现，从而能够实现业务的改善。

(其它变形例)

图19是表示本公开的实施方式的变形例的概念图。在上述的实施方式的例子中，设置于叉车FL的尺寸测定装置100的数量是2台，但是也可以是1台。当然，尺寸测定装置100的设置位置是自由的。例如，也可以将尺寸测定装置100用的轨道安装于叉车FL，配合叉车FL的手柄动作来改变该装置的位置。

在使设置于叉车FL的尺寸测定装置100的数量为1台的情况下，在背景距离图像和货物距离图像的拍摄中，期望的是从各不相同的角度进行至少两次拍摄。例如，能够使得第一次为从正面拍摄、第二次为从斜上方拍摄。

另外，也可以如图19所示那样，在尺寸测定装置100中安装明亮度传感器101。这是由于设想到动作环境(照明条件等)按拍摄场所而不同。例如使尺寸测定装置100在叉车FL进入一定暗度的区域时启动，从而能够排除因场所而不同的外光条件的影响。

此外，在上述的实施方式中，使用了反射测定光并且接收所反射的测定光的投影仪120和照相机110。然而，用于得到距离图像的介质不限定于光，也可以是红外线、激光等。因此，能够使用发送一般的测定波的发射机来代替投影仪120。另外，能够使用接收所反射的测定波的接收机来代替照相机110。

此外，在上述的实施方式中，在照相机110从货物C或者连着货架的货物CP得到货物距离图像时，照相机110与货物C或者连着货架的货物CP的相对位置关系是固定的，但是本公开不限定于此。也就是说，也可以是，照相机110绕着货物C或者连着货架的货物CP的周围拍摄货物C或者连着货架的货物CP，由此得到货物距离图像。另外，也可以是，照相机110对货物C或者连着货架的货物CP相对于照相机110旋转的状态进行拍摄，由此得到货物距离图像。通过这样，不仅能够利用1台照相机110来得到货物距离图像，还能够从各不相同的角度连续地拍摄货物C或者连着货架的货物CP，因此能够得到更多的货物距离图像。作为结果，货物距离图像所具有的距离的信息的精度进一步升高。

根据以上，本实施方式的尺寸测定装置100测定放置在货架P上的货物C或者连着货架的货物CP的尺寸，该尺寸测定装置100具备：发射机(投影仪120)，其发送测定波；接收机(照相机110)，其接收反射的测定波，获取包含货物C和货架P的第一货物距离图像；处理器130；以及存储器140。处理器130与存储器140协作地进行以下动作：使存储器140存储第一货物距离图像，基于第一货物距离图像中存在的货架P的形状，在第一货物距离图像内确定除货物C或者连着货架的货物CP以外的不需要的物体所存在的区域，通过在所确定出的区域写入规定的信息来生成第二货物距离图像。

由此，尺寸测定装置100生成在除货物C或者连着货架的货物CP以外的不需要的物体所存在的区域写入规定的信息而得到的第二货物距离图像。因此，尺寸测定装置100能够适当地生成货物C或者连着货架的货物CP的外切长方体，进而能够适当地测定货物C或者连着货架的货物CP的尺寸。

另外，也可以是，接收机(照相机110)还获取不包含货物的背景距离图像，处理器130通过获取背景距离图像与第二货物距离图像之差，来生成表示货物或者连着货架的货物的形状的最终货物距离图像。由此，尺寸测定装置100能够获取背景距离图像与货物距离图像的适当的差。

另外，也可以是，处理器130通过从第一货物距离图像提取货架P的边缘E1来确定货架P的形状。由此，尺寸测定装置100能够基于货架P的形状来适当地排除不需要的物体。

另外，也可以是，处理器130确定货架P的侧面的形状，将从侧面突出的物体所存在的区域确定为不需要的物体所存在的区域。由此，尺寸测定装置100能够将侧面处的不需要的物体也适当地排除。

另外，也可以是，处理器130确定以货架P的上表面US为底面和截面中的某一方的长方体的区，将存在于区外的物体所存在的区域确定为不需要的物体所存在的区域。

此外，也可以是，规定的信息是与不需要的物体所存在的区域对应的背景距离图像内的区域的像素信息。由此，尺寸测定装置100能够有效地应用背景处理图像，从而能够生成适当的最终货物距离图像。

此外，也可以是，规定的信息是不需要的物体为空值数据。由此，能够将第二货物距离图像当作最终货物距离图像，因此能够将第二货物距离图像在三维匹配空间中进行坐标展开，生成坐标展开后的第二货物距离图像的外切长方体，计算该外切长方体的尺寸。由此，尺寸测定装置100能够获取准确的货物C或者连着货架的货物CP的尺寸。

另外，也可以是，尺寸测定装置100固定于规定的位置，货物C或者连着货架的货物CP以规定的速度移动，接收机(照相机110)在货物C或者连着货架的货物CP的移动过程中获取多个背景距离图像和多个第一货物距离图像，处理器130考虑规定的速度，根据多个背景距离图像和多个第一货物距离图像来生成最终货物距离图像。由此，尺寸测定装置100能够有效地应用背景处理图像，从而能够生成适当的最终货物距离图像。

处理器130能够将最终货物距离图像在三维匹配空间中进行坐标展开，生成坐标展开后的最终货物距离图像的外切长方体，计算该外切长方体的尺寸。由此，尺寸测定装置100能够获取准确的货物C或者连着货架的货物CP的尺寸。

也可以是，发射机是投射测定光作为测定波的投影仪120，接收机是接收反射的测定光的照相机110。由此，能够廉价且可靠地构成尺寸测定装置100。

此外，在本实施方式中，设货物距离图像和/或背景距离图像是(照相机)一次拍摄得到的来进行说明。但是，本公开中的货物距离图像和/或背景距离图像不限定于(照相机)一次拍摄得到。也就是说，也能够将通过(照相机)在不同时间拍摄得到的2个以上的货物距离图像和/或背景距离图像进行合成而得到的图像应用于本实施方式中的货物距离图像和/或背景距离图像。具体地说，也能够通过将(照相机)在不同的时间拍摄得到的2个以上的货物距离图像和/或背景距离图像所共同呈现的特征部分相重叠，根据2个以上的货物距离图像和/或背景距离图像来生成更少数量的货物距离图像和/或背景距离图像，由此生成应用于本实施方式的货物距离图像和/或背景距离图像。

本实施方式的尺寸测定方法测定放置在货架P上的货物C或者连着货架的货物CP的尺寸，在尺寸测定方法中，发射机(投影仪120)发送测定波，接收机(照相机110)接收反射的测定波，获取包含货物C和货架P的第一货物距离图像。处理器130与存储器140协作地进行以下动作：使存储器140存储第一货物距离图像，基于第一货物距离图像中存在的货架P的形状，在第一货物距离图像内确定除货物C或者连着货架的货物CP以外的不需要的物体所存在的区域，通过在所确定出的区域写入规定的信息来生成第二货物距离图像。

该尺寸测定方法生成在除货物C或者连着货架的货物CP以外的不需要的物体所存在的区域写入规定的信息而得到的第二货物距离图像。根据本方法，能够适当地生成货物C或者连着货架的货物CP的外切长方体，进而能够适当地测定货物C或者连着货架的货物CP的尺寸。

以上，参照附图来说明了本公开所涉及的尺寸测定系统的实施方式，但是本公开并不限定于所述例子。可以理解，只要是本领域技术人员，就能够在权利要求书所记载的范畴内想到各种变更例、修正例、置换例、附加例、删除例、等同例，这是显而易见的，它们当然也属于本公开的技术范围。

产业上的可利用性

本公开作为能够适当地测定货物或者连着货架的的货物的尺寸的尺寸测定装置以及尺寸测定方法而有用。

附图标记说明

100：尺寸测定装置；110：照相机；120：投影仪；130：处理器；140：存储器；200：尺寸测定系统；300：业务判断计算机；301：数据统计部；302：优化算法生成部302；C：货物；CP：连着货架的货物；F：货叉；FL：叉车；M：异物；W：墙；P：货架(铲板)。

Claims (11)

1.一种尺寸测定装置，测定放置在货架上的货物或者连着货架的货物的尺寸，该尺寸测定装置具备：

发射机，其发送测定波；

接收机，其接收反射的所述测定波，获取包含所述货物和所述货架的第一货物距离图像；

处理器；以及

存储器，

其中，所述处理器与所述存储器协作地进行以下动作：

使所述存储器存储所述第一货物距离图像，

基于所述第一货物距离图像中存在的所述货架的形状，在所述第一货物距离图像内确定除所述货物或者所述连着货架的货物以外的不需要的物体所存在的区域，

通过在所确定出的所述区域写入规定的信息来生成第二货物距离图像。

2.根据权利要求1所述的尺寸测定装置，其特征在于，

所述接收机还获取不包含所述货物的背景距离图像，

所述处理器通过获取所述背景距离图像与所述第二货物距离图像之差，来生成表示所述货物或者所述连着货架的货物的形状的最终货物距离图像。

3.根据权利要求1所述的尺寸测定装置，其特征在于，

所述处理器通过从所述第一货物距离图像提取所述货架的边缘来确定所述货架的形状。

4.根据权利要求3所述的尺寸测定装置，其特征在于，

所述处理器确定所述货架的侧面的形状，将从所述侧面突出的物体所存在的区域确定为所述不需要的物体所存在的区域。

5.根据权利要求3所述的尺寸测定装置，其特征在于，

所述处理器确定以所述货架的上表面为底面和截面中的某一方的长方体的区，将存在于所述区外的物体所存在的区域确定为所述不需要的物体所存在的区域。

6.根据权利要求2所述的尺寸测定装置，其特征在于，

所述规定的信息是与所述不需要的物体所存在的区域对应的所述背景距离图像内的区域的像素信息。

7.根据权利要求1所述的尺寸测定装置，其特征在于，

所述规定的信息是空值数据。

8.根据权利要求2所述的尺寸测定装置，其特征在于，

所述处理器将所述最终货物距离图像在三维匹配空间中进行坐标展开，

所述处理器生成坐标展开后的所述最终货物距离图像的外切长方体，计算该外切长方体的尺寸。

9.根据权利要求7所述的尺寸测定装置，其特征在于，

所述处理器将所述第二货物距离图像在三维匹配空间中进行坐标展开，

所述处理器生成坐标展开后的所述第二货物距离图像的外切长方体，计算该外切长方体的尺寸。

10.根据权利要求1所述的尺寸测定装置，其特征在于，

所述发射机是投射测定光来作为所述测定波的投影仪，

所述接收机是接收反射的所述测定光的照相机。

11.一种尺寸测定方法，测定放置在货架上的货物或者连着货架的货物的尺寸，在该尺寸测定方法中，

发射机发送测定波，

接收机接收反射的所述测定波，获取包含所述货物和所述货架的第一货物距离图像，

处理器与存储器协作地进行以下动作：

使所述存储器存储所述第一货物距离图像，

基于所述第一货物距离图像中存在的所述货架的形状，在所述第一货物距离图像内确定除所述货物或者所述连着货架的货物以外的不需要的物体所存在的区域，

通过在所确定出的所述区域写入规定的信息来生成第二货物距离图像。