CN113129255B - 检测包裹的方法、计算设备、系统及存储介质 - Google Patents

检测包裹的方法、计算设备、系统及存储介质 Download PDF

Info

Publication number
CN113129255B
CN113129255B CN201911417783.2A CN201911417783A CN113129255B CN 113129255 B CN113129255 B CN 113129255B CN 201911417783 A CN201911417783 A CN 201911417783A CN 113129255 B CN113129255 B CN 113129255B
Authority
CN
China
Prior art keywords
point cloud
cloud data
parcel
area
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911417783.2A
Other languages
English (en)
Other versions
CN113129255A (zh
Inventor
顾睿
邓志辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikrobot Co Ltd
Original Assignee
Hangzhou Hikrobot Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikrobot Co Ltd filed Critical Hangzhou Hikrobot Co Ltd
Priority to CN201911417783.2A priority Critical patent/CN113129255B/zh
Publication of CN113129255A publication Critical patent/CN113129255A/zh
Application granted granted Critical
Publication of CN113129255B publication Critical patent/CN113129255B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请提出了检测包裹的方法、装置、计算设备、系统及存储介质，能够提高包裹检测的准确性。一种检测包裹的方法，包括：获取由深度相机采集的第一深度图像，其中，所述深度相机的视野范围覆盖包裹检测区域；生成与所述第一深度图像对应的第一点云数据；根据第一点云数据，确定第一掩模图，所述第一掩模图用于描述所述第一点云数据中高于所述包裹检测区域所处平面的点的分布区域；在所述第一掩模图中确定目标连通区域，并将所述目标连通区域作为包裹区域，所述目标连通区域为处于所述包裹检测区域内并且不与所述包裹检测区域的边界接触的连通区域。

Description

检测包裹的方法、计算设备、系统及存储介质
技术领域
本申请涉及物流自动化技术领域，特别涉及检测包裹的方法、装置、计算设备、系统及存储介质。
背景技术
目前，在物流的应用场景中，需要对包裹需要进行属性测量。例如，测量包裹的尺寸、体积等属性。
为了检测包裹的属性，工作人员可以将包裹放置在相机的成像区域中。计算设备可以利用相机对包裹拍摄图像，计算包裹的属性。
然而，在实际使用场景中，成像区域中容易出现包裹之外的干扰对象，例如，工作人员的手部、或者放置在成像区域中的物品等对象。这里，干扰对象会干扰包裹的检测结果的准确性。
因此，缺少一种能够提高包裹检测的准确性的检测方案。
发明内容
本申请提出了检测包裹的方法、计算设备、系统及存储介质，能够提高包裹检测的准确性。
根据本申请一个方面，提供一种检测包裹的方法，包括：
获取由深度相机采集的第一深度图像，其中，所述深度相机的视野范围覆盖包裹检测区域；生成与所述第一深度图像对应的第一点云数据；
根据第一点云数据，确定第一掩模图，所述第一掩模图用于描述所述第一点云数据中高于所述包裹检测区域所处平面的点的分布区域；
在所述第一掩模图中确定目标连通区域，并将所述目标连通区域作为包裹区域，所述目标连通区域为处于所述包裹检测区域内并且不与所述包裹检测区域的边界接触的连通区域。
在一些实施例中，所述根据第一点云数据，确定第一掩模图，包括：
从第一点云数据中提取高于所述包裹检测区域所处平面的点，得到第二点云数据；
根据第二点云数据，生成所述第一掩模图。
在一些实施例中，所述根据第二点云数据，生成所述第一掩模图，包括：
在预定平面内布置栅格阵列，所述预定平面与所述包裹检测区域所处平面重合或平行；
将所述第二点云数据投影至所述预定平面，得到第二点云数据在预定平面内的投影点；
将所述栅格阵列中目标栅格设置为第一灰度值区域，将所述栅格阵列中目标栅格之外的其他栅格设置为第二灰度值区域，得到第一灰度值区域和第二灰度值区域组成的第一掩模图，所述目标栅格为包含第二点云数据在预定平面内的投影点的栅格。
在一些实施例中，上述方法进一步包括：
从所述高于所述包裹检测区域所处平面的点中提取与所述包裹区域对应的第三点云数据；
根据第三点云数据确定包裹的目标属性，所述目标属性包括包裹尺寸和包裹体积中至少一个。
在一些实施例中，在所述第一掩模图中确定目标连通区域，包括：
在所述第一掩模图中，过滤掉所述包裹检测区域的边界穿过的连通区域，得到第二掩模图；
将所述第二掩模图中最大连通区域作为所述目标连通区域；或者，
在第一掩模图中，将所述包裹检测区域的边界未穿过的区域中的最大连通区域作为所述目标连通区域。
在一些实施例中，上述方法进一步包括：在所述第一掩模图中确定目标连通区域之前，去除所述第一掩模图中面积小于面积阈值的连通区域。
在一些实施例中，所述生成与所述第一深度图像对应的第一点云数据，包括：
生成所述第一深度图像在深度相机坐标系下的第四点云数据；
对所述第四点云数据进行坐标系转换，得到世界坐标系下的第一点云数据。
在一些实施例中，所述从第一点云数据中提取高于所述包裹检测区域所处平面的点，得到第二点云数据，包括：
基于世界坐标系中高度阈值，对所述第一点云数据进行过滤，得到第二点云数据，所述第二点云数据中每个点的高度达到所述高度阈值，所述高度阈值等于或者大于所述包裹检测区域所处平面在世界坐标系中高度。
在一些实施例中，上述方法进一步包括：
获取在所述包裹检测区域未放置包裹时所述深度相机采集的第二深度图像；
确定所述第二深度图像对应的标定区域，并生成所述标定区域的第三掩模图；
基于所述第三掩模图，将所述第二深度图像中处于所述标定区域的点转换为深度相机坐标系下的第五点云数据；
根据所述第五点云数据，生成深度相机坐标系下的与所述标定区域对应的拟合平面；
根据所述拟合平面，标定所述深度相机的外参。
在一些实施例中，所述根据与所述目标连通区域对应的第三点云数据，确定所述包裹的目标属性，包括：
根据所述第三点云数据，确定所述包裹的高度；确定所述第三点云数据在预定平面上的投影区域，并确定所述投影区域的外接矩形，将所述外接矩形的长宽尺寸作为所述包裹的长宽尺寸；根据所述包裹的高度和所述包裹的长宽尺寸，确定所述包裹的体积；或者
将第三点云数据投影至预定平面内，得到第三点云数据对应的投影点；对第三点云数据对应的投影点进行栅格化处理，得到包含投影点的多个栅格；计算每个栅格对应的体积，每个栅格对应的体积为该栅格的面积与投影至该栅格的点云数据的高度之积，投影至该栅格的点云数据的高度为点云数据的高度均值，或者投影至该栅格的点云数据的高度范围内、与最多数量的点对应的高度值；
将多个栅格对应的体积之和作为包裹的体积。
在一些实施例中，上述方法进一步包括：
获取读码相机采集的待识别图像，所述读码相机的视野范围覆盖所述包裹检测区域；
对所述待识别图像进行条码识别，并在识别到条码信息时，执行所述获取由深度相机采集的第一深度图像；
在确定包裹的目标属性时，将所述条码信息与所述目标属性关联；
在识别到条码信息时，测量所述包裹的质量；
将所述条码信息与所述包裹的质量关联。
根据本申请一个方面，提供一种检测包裹的装置，包括：
获取单元，获取由深度相机采集的第一深度图像，其中，所述深度相机的视野范围覆盖包裹检测区域；
点云生成单元，生成与所述第一深度图像对应的第一点云数据；
区域确定单元，根据第一点云数据，确定第一掩模图，所述第一掩模图用于描述所述第一点云数据中高于所述包裹检测区域所处平面的点的分布区域；
检测单元，在所述第一掩模图中确定目标连通区域，并将所述目标连通区域作为包裹区域，所述目标连通区域为处于所述包裹检测区域内并且不与所述包裹检测区域的边界接触的连通区域。
根据本申请一方面，提供一种计算设备，包括：存储器；处理器；程序，存储在该存储器中并被配置为由所述处理器执行，所述程序包括用于执行根据本申请的检测包裹的方法的指令。
根据本申请一方面，提供一种存储介质，存储有程序，所述程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据本申请的检测包裹的方法。
根据本申请一方面，提供一种检测包裹的系统，包括：根据本申请的计算设备；测量平台，用于放置待检测的包裹；深度相机，处于测量平台上方，所述深度相机的视野范围覆盖所述测量平台上的包裹检测区域。
综上，根据本申请的检测包裹的方案，通过确定第一掩模图，可以确定第一点云数据去除背景区域(即未高于包裹检测区域的点)之后的点的分布。在此基础上，包裹检测方案在选定第一掩模图中目标连通区域时，通过选定处于包裹检测区域内并且不与包裹检测区域的边界接触的连通区域，可以保证选定的包裹区域中包裹未与干扰对象(例如工作人员的肢体等对象)接触，从而提高对包裹检测的准确度。换言之，通过选定包裹检测区域内的目标连通区域，包裹检测方案可以防止对与其他对象(例如工作人员的肢体)接触的包裹进行检测，从而提高检测结果的准确度。
附图说明
图1示出了根据本申请一些实施例的应用场景的示意图；
图2A示出了根据本申请一些实施例的检测包裹的方法200的流程图；
图2B示出了根据本申请一些实施例的一个包裹与人手接触的场景图；
图2C示出了根据本申请一些实施例的干扰对象离开包裹后的场景图；
图3示出了根据本申请一些实施例的确定第一掩模图的方法300的流程图；
图4A示出了根据本申请一些实施例的生成第一掩模图的方法300的流程图；
图4B示出了根据本申请一些实施例的第一掩模图的示意图；
图5A示出了根据本申请一些实施例的包裹检测方法400的流程图；
图5B示出了根据本申请一些实施例的灰度图中标定区域的示意图；
图5C示出了根据本申请一些实施例的第二深度图像的示意图；
图5D示出了根据本申请一些实施例的第三掩模图的示意图；
图5E示出了根据本申请一些实施例的第一点云数据的示意图；
图5F示出了对图4B中第一掩模图执行步骤S509之后得到的第一掩模图；
图5G示出了第三点云数据的示意图；
图6示出了根据本申请一些实施例的生成第一点云数据的方法600的流程图；
图7示出了根据本申请一些实施例的确定目标连通区域的方法700的流程图；
图8示出了根据本申请一些实施例的确定目标属性的方法800的流程图；
图9示出了根据本申请一些实施例的确定目标属性的方法900的流程图；
图10示出了根据本申请一些实施例的应用场景的示意图；
图11示出了根据本申请一些实施例的检测包裹的方法1100的流程图；
图12示出了根据本申请一些实施例的检测包裹的装置1200的示意图；
图13示出了根据本申请一些实施例的检测包裹的装置1300的示意图；
图14示出了根据本申请一些实施例的计算设备的示意图。
具体实施方式
为使本申请的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本申请进一步详细说明。
图1示出了根据本申请一些实施例的应用场景的示意图。如图1所示，应用场景包括测量平台110、深度相机120和计算设备130。
测量平台110上布置有支架111。支架111可以将深度相机120固定在测量平台的上方。
深度相机120例如为双目视觉相机。除此之外，深度相机120还可以是结构光相机和时间飞行(Time of Flight，缩写为ToF)相机等。深度相机120可以向计算设备130输出深度数据(也可以称为深度图像)和成像数据(例如为灰度图或者彩色图)。
深度相机120的视野范围可以覆盖包裹检测区域140。包裹检测区域140为设定的包裹检测范围。例如，包裹检测区域140可以设置为测量平台110的台面区域112。又例如，包裹检测区域140可以设置为与测量平台的110的台面区域112共平面。包裹检测区域140可以设置为与台面区域112一致。另外，包裹检测区域140也可以设置为大于或小于台面区域112。
计算设备130例如可以是服务器、笔记本电脑、平板电脑、掌上商务通等设备。计算设备130可以根据来自深度相机120的数据，确定测量平台110上放置的包裹的目标属性。目标属性例如为体积和尺寸。下面结合图2对建立关联关系的方式进行说明。
图2示出了根据本申请一些实施例的检测包裹的方法200的流程图。包裹检测方法200例如由计算设备130执行。
如图2所示，在步骤S201中，获取由深度相机采集的第一深度图像。其中，深度相机的视野范围覆盖包裹检测区域。这里，第一深度图像中每个点的信息包括：每个点在深度相机坐标系下深度值。
在步骤S202中，生成与第一深度图像对应的第一点云数据。这里，第一点云数据中每个点为三维坐标系下的坐标点。三维坐标系例如为深度相机坐标系或者世界坐标系。这里，世界坐标系也可以称为系统坐标系。世界坐标系例如为图1中O(X1,Y1,Z1)。其中，X1Y1平面例如为测量平台120的台面所处平面。Z1的方向为竖直方向。
在步骤S203中，根据第一点云数据，确定第一掩模图。这里，第一掩模图用于描述第一点云数据中高于包裹检测区域所处平面的点的分布区域。包裹检测区域140所处平面也是测量平台140的台面区域112所处平面。第一掩模图也可以认为是描述第一点云数据中高于测量平台140的台面区域112的点的分布区域。
在步骤S204中，在第一掩模图中确定目标连通区域，并将目标连通区域作为包裹区域。目标连通区域为处于包裹检测区域140内并且不与包裹检测区域140的边界接触的连通区域。
综上，根据本申请的包裹检测方法200，通过确定第一掩模图，可以确定第一点云数据去除背景区域(即未高于包裹检测区域的点)之后的点的分布。在此基础上，包裹检测方法200在选定第一掩模图中目标连通区域时，通过选定处于包裹检测区域140内并且不与包裹检测区域140的边界接触的连通区域，可以保证选定的包裹区域中包裹未与干扰对象(例如工作人员的肢体等对象)接触，从而提高对包裹检测的准确度。换言之，通过选定包裹检测区域内的目标连通区域，包裹检测方法200可以防止对与其他对象(例如工作人员的肢体)接触的包裹进行检测，从而提高检测结果的准确度。
特别说明的是，在干扰对象与包裹接触时，如果未采用本申请的包裹检测方案，包裹检测的结果(即包裹区域)通常是包裹与干扰对象(例如手部和部分小臂)的组合图像对应的区域。例如，图2B示出了一个包裹与人手接触的场景图。如果未采用包裹检测方案，确定的包裹区域例如为图2B中区域205。因此，无法准确对包裹进行检测。
另外，在采用本申请的包裹检测方案的场景中，本申请的包裹检测方案通过选定目标连通区域，可以防止对图2B所示的场景中包裹进行包裹区域检测，而是对未与干扰对象接触时的包裹进行检测。例如，本申请的包裹检测方案可以对图2C所示场景中包裹进行检测。图2C示出了干扰对象(例如人手)离开包裹后的场景图。本申请的包裹检测方案可以确定包裹区域为图2C中区域206。区域206未包括干扰对象，可以准确表示包裹所处的区域。
在一些实施例中，步骤S203可以实施为方法300。
如图3所示，在步骤S301中，从第一点云数据中提取高于包裹检测区域140所处平面的点，得到第二点云数据。例如，步骤S301可以去除掉第一点云数据中高度未超过包裹检测区域140所处平面的点，得到第二点云数据。
在步骤S302中，根据第二点云数据，生成第一掩模图。在一些实施例中，步骤S302可以实施为方法400。
如图4A所示，在步骤S401中，在预定平面内布置栅格阵列。这里，预定平面与包裹检测区域所处平面重合或平行。例如，预定平面为世界坐标系中X1Y1平面。
在步骤S402中，将第二点云数据投影至预定平面，得到第二点云数据在预定平面内的投影点。
在步骤S403中，将栅格阵列中目标栅格设置为第一灰度值区域，将栅格阵列中目标栅格之外的其他栅格设置为第二灰度值区域，得到第一灰度值区域和第二灰度值区域组成的第一掩模图。目标栅格为包含第二点云数据在预定平面内的投影点的栅格。第一灰度值区域内像素点为第一灰度值，例如为255。第二灰度值区域内像素点设置为第二灰度值，例如为0。例如图4B示出了根据本申请一些实施例的第一掩模图的示意图。图4B中白色连通区域为第二点云数据的分布区域。
综上，方法400能够通过对第二点云数据进行投影和栅格化划分，得到第二点云数据对应的第一掩模图，从而使得第一掩模图能够体现出第二点云数据的分布情况。
图5A示出了根据本申请一些实施例的包裹检测方法500的流程图。包裹检测方法500例如由计算设备130执行。
如图5A所示，在步骤S501中，获取在包裹检测区域未放置包裹时深度相机采集的第二深度图像。
在步骤S502中，确定第二深度图像对应的标定区域，并生成标定区域对应的第三掩模图。
在一些实施例中，步骤S502可以响应于用户对第二深度图像对应的灰度图的标定输入，而确定灰度图中标定区域。标定区域例如为一个矩形区域。标定区域设置在包裹检测区域140所处平面中。步骤S502可以通过标定区域的顶点坐标表示标定区域。例如图5B示出了根据本申请一些实施例的灰度图中标定区域的示意图。图5B中矩形框513对应的矩形区域为在灰度图中确定的标定区域。
在一些实施例中，步骤S502可以响应于对第二深度图像的标定输入，确定第二深度图像中标定区域。例如图5C示出了根据本申请一些实施例的第二深度图像的示意图。图5C中矩形框514对应的矩形区域为标定区域。
图5D示出了根据本申请一些实施例的第三掩模图的示意图。图5D中白色区域515与图5C中标定区域对应。
在步骤S503中，基于第三掩模图，将第二深度图像中处于标定区域的点转换为深度相机坐标系下的第五点云数据。第二深度图像中每个点的深度与灰度图中一个像素点对应。第二深度图像中处于标定区域的点是指第二深度图像中在投影至成像平面时落入标定区域的点。
在一些实施例中，对于第二深度图像中处于标定区域的任一个点，步骤S503可以根据这个点的深度值以及这个点对应的像素点的图像坐标，确定这个点在深度相机坐标系下的三维坐标。这样，处于标定区域的多个点的三维坐标可以组成第五点云数据。
在步骤S504中，根据第五点云数据，生成深度相机坐标系下的与标定区域对应的拟合平面。拟合平面的平面方程例如为：
ax+by+cz+d＝0
在步骤S505中，根据拟合平面，标定深度相机的外参。
例如，深度相机的外参可以表示为外参矩阵
Figure BDA0002351637660000081
其中，R例如为3*3的旋转矩阵，表示世界坐标系与深度相机坐标系之间的旋转变换参数。T例如为3*1的平移矩阵，表示世界坐标系与深度相机坐标系之间的平移变换参数。
其中，R满足如下条件：
Figure BDA0002351637660000082
其中，[0 0 1]T表示拟合平面在世界坐标系中的法向量。基于上述条件，步骤S505可以确定旋转矩阵。
Figure BDA0002351637660000083
另外，步骤S505可以根据拟合平面，确定平移矩阵。
Figure BDA0002351637660000084
综上，通过步骤S501-S505，方法500能够对深度相机的外参进行标定。换言之，方法500通过步骤S501-S505可以确定深度相机坐标系和世界坐标系的映射关系。
在完成对深度相机的外参标定后，方法500可以进入对包裹进行检测的流程。
在步骤S506中，获取由深度相机采集的第一深度图像。
在步骤S507中，生成与第一深度图像对应的第一点云数据。例如，图5E示出了根据本申请一些实施例的第一点云数据的示意图。
在一些实施例中，步骤S507可以实施为方法600。如图6所示，在步骤S601中，生成第一深度图像在深度相机坐标系下的第四点云数据。
在步骤S602中，对第四点云数据进行坐标系转换，得到世界坐标系下的第一点云数据。这里，步骤S602可以根据深度相机的外参，将第四点云数据的坐标转换至世界坐标系下，而得到第一点云数据。综上，方法600通过将第一深度图像转换为世界坐标系下的第一点云数据，能够方便于根据第一点云数据对第一深度图像中深度数据进行筛选。另外，步骤S507也可以根据深度相机的外参和内参，确定该第一深度图像与第一点云数据的映射关系，从而根据第一深度图像直接生成第一点云数据。
在步骤S508中，根据第一点云数据，确定第一掩模图。第一掩模图例如为图4B所示的掩模图第一掩模图用于描述第一点云数据中高于包裹检测区域140所处平面的点的分布区域。在一些实施例中，步骤S508可以基于世界坐标系中高度阈值，对第一点云数据进行过滤，得到第二点云数据。第二点云数据中每个点的高度达到高度阈值。这里，包裹检测区域140所处平面(即台面区域112所处平面)在世界坐标系中的标准高度为0。高度阈值为大于或等于0的设定值。这里，考虑到测量平台110的台面区域对应的点云数据的高度容易存在波动，在高度阈值大于0时，步骤S508基于高度阈值进行过滤，可以提高对台面区域对应的点云数据的过滤比例。换言之，步骤S508可以提高对台面区域112的干扰点的过滤能力。
在步骤S509中，去除第一掩模图中面积小于面积阈值的连通区域。例如，图5F示出了对图4B中第一掩模图执行步骤S509之后得到的第一掩模图。
需要说明的是，在一些包裹检测场景中，台面区域不仅放置有包裹，还可能存在干扰包裹检测的物体，例如处于台面区域中的胶带、剪刀等各种偶然处于台面区域的物体。干扰包裹检测的物体在水平面内投影的面积通常小于包裹。通过滤除小于面积阈值的连通区域，步骤S509可以过滤掉干扰包裹检测的物体对应的连通区域，从而提高包裹检测的准确度。
在步骤S510中，在经过步骤S509处理后的第一掩模图中，确定目标连通区域。这里，目标连通区域对应待检测的包裹。
在一些实施例中，包裹检测区域140可以表示为第一掩模图中一个边界框。在一个连通区域被边界框穿过时，该连通区域不属于包裹检测区域内的连通区域。在一个连通区域处于边界框之内，且未被边界框穿过时，该连通区域为处于包裹检测区域140内并且不与包裹检测区域140的边界接触的连通区域。另外，在第一深度图像对应的灰度图(或者彩色图)中工作人员的肢体与包裹接触时，边界框穿过的连通区域通常对应包裹与工作人员的肢体(例如手部和部分小臂)的组合图像。
在一些实施例中，步骤S510可以实施为方法700。
在步骤S701中，在第一掩模图中，过滤掉包裹检测区域的边界穿过的连通区域，得到第二掩模图。通过去除包裹检测区域的边界穿过的连通区域，步骤S601可以排除与包裹接触的对象(例如手部等对象)对包裹检测的干扰，从而提高对包裹的检测结果的准确度。
在步骤S702中，将第二掩模图中最大连通区域作为目标连通区域。测量平台110上包裹在成像平面的投影面积通常大于其他干扰对象在成像平面的投影面积。
因此，方法700通过将最大连通区域作为目标连通区域(目标连通区域对应包裹在成像平面的投影区域)，可以提高对包裹定位的准确度，从而提高对包裹的监测结果的准确度。
在一些实施例中，步骤S510还可以在第一掩模图中，将包裹检测区域的边界未穿过的区域中的最大连通区域作为目标连通区域。
在步骤S511中，从第二点云数据中提取与目标连通区域对应的点云数据，并将提取的点云数据作为第三点云数据。第三点云数据可以作为待检测包裹的外表面的点。这里，第三点云数据主要表征包裹的上表面。例如，图5G示出了第三点云数据的示意图。与图5E中第一点云数据相比，图5G中第三点云数据仅保留了待检测包裹对应的点云数据，从而能够根据第三点云数据对包裹进行检测。
在步骤S512中，根据第三点云数据，确定待检测包裹的目标属性。目标属性包括包裹尺寸和包裹体积中至少一个。
在一些实施例中，步骤S512可以实施为方法800。
如图8所示，在步骤S801中，根据第三点云数据，确定包裹的高度。例如，步骤S801可以根据第三点云数据的高度值分布，将点数最多的高度值作为待检测包裹的高度。又例如，步骤S801可以首先确定点数最多的高度值(即与第三点云数据中最多数量的点对应的高度值)，然后将该高度值作为基准，将包含该基准的一个高度范围内点云数据的高度均值作为包裹的高度。
在步骤S802中，确定第三点云数据在预定平面(例如X1Y1平面)上的投影区域，并确定投影区域的外接矩形，将外接矩形的长宽尺寸作为待检测包裹的长宽尺寸。
在步骤S803中，根据待检测包裹的高度和待检测包裹的长宽尺寸，确定包裹的体积。
综上，方法800可以根据第三点云数据确定包裹的长宽高尺寸，从而能够确定包裹的体积。这里，方法800主要针对外形规整的包裹(例如长方体状的箱子)进行属性检测。
另外，对于外形不够规整的包裹(例如包裹袋)，步骤S512可以实施为方法900。
如图9所示，在步骤S901中，将第三点云数据投影至预定平面内，得到第三点云数据对应的投影点。
在步骤S902中，对第三点云数据对应的投影点进行栅格化处理，得到包含投影点的多个栅格。
在步骤S903中，计算每个栅格对应的体积，每个栅格对应的体积为该栅格的面积与投影至该栅格的点云数据的高度之积。投影至该栅格的点云数据的高度可以是高度的平均值，也可以是对应最多点的高度值。
在步骤S904中，将多个栅格对应的体积之和作为包裹的体积。
图10示出了根据本申请一些实施例的应用场景的示意图。如图10所示的应用场景在图1基础上进一步增加有读码相机150和称重装置160。
称重装置160安装在测量平台110，可以对台面区域上放置的包裹进行称重。读码相机150可以对台面区域上的包裹进行条码识别。读码相机150与计算设备130耦接，可以向计算设备130输出待读码的图像。称重装置160与计算设备130耦接，可以向计算设备130输出称重结果。
图11示出了根据本申请一些实施例的检测包裹的方法1100的流程图。包裹检测方法1100例如由计算设备130执行。
在步骤S1101中，获取读码相机采集的待识别图像。读码相机的视野范围覆盖包裹检测区域。
在步骤S1102中，对待识别图像进行条码识别。在步骤S1102识别到条码信息时，方法1100执行步骤S1103。
在步骤S1103中获取由深度相机采集的第一深度图像。其中，深度相机的视野范围覆盖包裹检测区域。
在步骤S1104中，生成与第一深度图像对应的第一点云数据。这里，第一点云数据中每个点为三维坐标系下的坐标点。
在步骤S1105中，根据第一点云数据，确定第一掩模图。这里，第一掩模图用于描述第一点云数据中高于包裹检测区域所处平面的点的分布区域。包裹检测区域140所处平面也是测量平台140的台面区域112所处平面。第一掩模图也可以认为是描述第一点云数据中高于测量平台140的台面区域112的点的分布区域。
在步骤S1106中，在第一掩模图中确定目标连通区域，并将目标连通区域作为包裹区域。目标连通区域为处于包裹检测区域140内并且不与包裹检测区域140的边界接触的连通区域。
在步骤S1107中，从高于包裹检测区域所处平面的点中提取与包裹区域对应的第三点云数据。
在步骤S1108中，根据第三点云数据，确定待检测包裹的目标属性。步骤S1103-S1108更具体的实施方式与方法500类似，这里不再赘述。
在步骤S1108确定待检测包裹的目标属性时，方法1100可以执行步骤S1109，将条码信息与目标属性关联。
另外，在步骤S1102识别到条码信息时，方法1100可以执行步骤S1110，测量待检测包裹的质量。例如，计算设备130可以从称重装置160获取称重结果，从而确定待检测包裹的质量。
在步骤S1111中，将条码信息与待检测包裹的质量关联。
综上，根据本申请实施例的检测包裹的方法1100能够将包裹的体积、质量与条码信息进行关联，从而提高对包裹的物流属性的管理方便性。
图12示出了根据本申请一些实施例的检测包裹的装置1200的示意图。装置1200例如可以部署在计算设备130中。如图12所示，装置1200可以包括获取单元1201、点云生成单元1202、区域确定单元1203和检测单元1204。
获取单元1201，获取由深度相机采集的第一深度图像，其中，所述深度相机的视野范围覆盖包裹检测区域。
点云生成单元1202，生成与所述第一深度图像对应的第一点云数据。
区域确定单元1203，根据第一点云数据，确定第一掩模图，所述第一掩模图用于描述所述第一点云数据中高于所述包裹检测区域所处平面的点的分布区域；
检测单元1204在第一掩模图中确定目标连通区域，并将目标连通区域作为包裹区域。目标连通区域为处于包裹检测区域内并且不与包裹检测区域的边界接触的连通区域。
综上，根据本申请的包裹检测装置1200，通过确定第一掩模图，可以确定第一点云数据去除背景区域(即未高于包裹检测区域的点)之后的点的分布。在此基础上，包裹检测装置1200在选定第一掩模图中目标连通区域时，通过选定处于包裹检测区域140内并且不与包裹检测区域140的边界接触的连通区域，可以保证选定的包裹区域中包裹未与干扰对象(例如工作人员的肢体等对象)接触，从而提高对包裹检测的准确度。换言之，通过选定包裹检测区域内的目标连通区域，包裹检测装置1200可以防止对与其他对象(例如工作人员的肢体)接触的包裹进行检测，从而提高检测结果的准确度。在一些实施例中，区域确定单元1203可以从第一点云数据中提取高于所述包裹检测区域所处平面的点，得到第二点云数据。根据第二点云数据，区域确定单元1203可以生成第一掩模图。
在一些实施例中，区域确定单元1203在预定平面内布置栅格阵列。预定平面与包裹检测区域所处平面重合或平行。区域确定单元1203可以将第二点云数据投影至预定平面，得到第二点云数据在预定平面内的投影点。区域确定单元1203可以将栅格阵列中目标栅格设置为第一灰度值区域，将栅格阵列中目标栅格之外的其他栅格设置为第二灰度值区域，得到第一灰度值区域和第二灰度值区域组成的第一掩模图。目标栅格为包含第二点云数据在预定平面内的投影点的栅格。在一些实施例中，区域确定单元1203在确定目标连通区域之前，还可以去除第一掩模图中面积小于面积阈值的连通区域。
图13示出了根据本申请一些实施例的检测包裹的装置1300的示意图。装置1300例如可以部署在计算设备130中。如图13所示，装置1300可以包括获取单元1301、点云生成单元1302、区域确定单元1303和检测单元1304、提取单元1305、条码识别单元1306、关联单元1307和质量测量单元1308。获取单元1301、点云生成单元1302、区域确定单元1303和检测单元1304可以分别执行与获取单元1201、点云生成单元1202、区域确定单元1203和检测单元1204类似的功能，这里不再赘述。
在一些实施例中，提取单元1305可以从高于所述包裹检测区域所处平面的点中提取与包裹区域对应的第三点云数据。
检测单元1304还可以根据第三点云数据确定包裹的目标属性。目标属性包括包裹尺寸和包裹体积中至少一个。
在一些实施例中，在第一掩模图中，检测单元1304过滤掉包裹检测区域的边界穿过的连通区域，得到第二掩模图。
区域确定单元1303可以将第二掩模图中最大连通区域作为目标连通区域。或者，区域确定单元1303可以在第一掩模图中，将包裹检测区域的边界未穿过的区域中的最大连通区域作为目标连通区域。
点云生成单元1302还可以生成第一深度图像在深度相机坐标系下的第四点云数据。对第四点云数据进行坐标系转换，点云生成单元1302刻意得到世界坐标系下的第一点云数据。
在一些实施例中，区域确定单元1303可以基于世界坐标系中高度阈值，对所述第一点云数据进行过滤，得到第二点云数据。第二点云数据中每个点的高度达到所述高度阈值，高度阈值等于或者大于包裹检测区域所处平面在世界坐标系中高度。
在一些实施例中，获取单元1301还可以获取在包裹检测区域未放置包裹时深度相机采集的第二深度图像。
区域确定单元1303可以确定第二深度图像对应的标定区域，并生成标定区域的第三掩模图。
基于第三掩模图，区域确定单元1303可以将第二深度图像中处于标定区域的点转换为深度相机坐标系下的第五点云数据。根据所述第五点云数据，区域确定单元1303可以生成深度相机坐标系下的与标定区域对应的拟合平面。根据拟合平面，区域确定单元1303可以标定深度相机的外参。
在一些实施例中，检测单元1304可以根据第三点云数据，确定包裹的高度。检测单元1304可以确定第三点云数据在预定平面上的投影区域，并确定投影区域的外接矩形，将外接矩形的长宽尺寸作为所述待检测包裹的长宽尺寸。根据所述待检测包裹的高度和所述待检测包裹的长宽尺寸，检测单元1304可以确定包裹的体积。
在一些实施例中，检测单元1304可以将第三点云数据投影至预定平面内，得到第三点云数据对应的投影点。对第三点云数据对应的投影点进行栅格化处理，检测单元1304可以得到包含投影点的多个栅格。检测单元1304可以计算每个栅格对应的体积。每个栅格对应的体积为该栅格的面积与投影至该栅格的点云数据的高度之积。投影至该栅格的点云数据的高度为点云数据的高度均值，或者投影至该栅格的点云数据的高度范围内与最多数量的点对应的高度值。在此基础上，检测单元1304可以将多个栅格对应的体积之和作为包裹的体积。
在一些实施例中，条码识别单元1306获取读码相机采集的待识别图像。读码相机的视野范围覆盖包裹检测区域。
条码识别单元1306可以对待识别图像进行条码识别，并在识别到条码信息时，指示获取单元1301执行获取由深度相机采集的第一深度图像。
在检测单元1304确定待检测包裹的目标属性时，关联单元1307将条码信息与目标属性关联。
在条码识别单元1306识别到条码信息时，质量测量单元1308可以测量待检测包裹的质量。关联单元1307可以将条码信息与所述待检测包裹的质量关联。
综上，根据本申请实施例的检测包裹的装置1300能够将包裹的体积、质量与条码信息进行关联，从而提高对包裹的物流属性的管理方便性。
图14示出了根据本申请一些实施例的计算设备的示意图。如图14所示，该计算设备包括一个或者多个处理器(CPU)1402、通信模块1404、存储器1406、用户接口1410，以及用于互联这些组件的通信总线1408。
处理器1402可通过通信模块1404接收和发送数据以实现网络通信和/或本地通信。
用户接口1410包括一个或多个输出设备1412，其包括一个或多个扬声器和/或一个或多个可视化显示器。用户接口1410也包括一个或多个输入设备1414。用户接口1410例如可以接收遥控器的指令，但不限于此。
存储器1406可以是高速随机存取存储器，诸如DRAM、SRAM、DDR RAM、或其他随机存取固态存储设备；或者非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存设备，或其他非易失性固态存储设备。
存储器1406存储处理器1402可执行的指令集，包括：
操作系统1416，包括用于处理各种基本系统服务和用于执行硬件相关任务的程序；
应用1418，包括用于实现上述检测包裹的各种程序，例如可以包括检测包裹的装置1200或者1300。这种程序能够实现上述各实例中的处理流程，比如可以包括检测包裹的方法。
另外，本申请的每一个实施例可以通过由数据处理设备如计算机执行的数据处理程序来实现。显然，数据处理程序构成了本发明。此外，通常存储在一个存储介质中的数据处理程序通过直接将程序读取出存储介质或者通过将程序安装或复制到数据处理设备的存储设备(如硬盘和或内存)中执行。因此，这样的存储介质也构成了本发明。存储介质可以使用任何类型的记录方式，例如纸张存储介质(如纸带等)、磁存储介质(如软盘、硬盘、闪存等)、光存储介质(如CD-ROM等)、磁光存储介质(如MO等)等。
因此本申请还公开了一种非易失性存储介质，其中存储有程序。该程序包括指令，所述指令当由处理器执行时，使得计算设备执行根据本申请的检测包裹的方法。
另外，本申请所述的方法步骤除了可以用数据处理程序来实现，还可以由硬件来实现，例如，可以由逻辑门、开关、专用集成电路(ASIC)、可编程逻辑控制器和嵌微控制器等来实现。因此这种可以实现本申请所述方法的硬件也可以构成本申请。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (11)

1.一种检测包裹的方法，其特征在于，包括：
获取由深度相机采集的第一深度图像，其中，所述深度相机的视野范围覆盖包裹检测区域；生成与所述第一深度图像对应的第一点云数据；
根据第一点云数据，确定第一掩模图，所述第一掩模图用于描述所述第一点云数据中高于所述包裹检测区域所处平面的点的分布区域；
在所述第一掩模图中确定目标连通区域，并将所述目标连通区域作为包裹区域，所述目标连通区域为处于所述包裹检测区域内并且不与所述包裹检测区域的边界接触的连通区域；
在所述第一掩模图中确定目标连通区域之前，去除所述第一掩模图中面积小于面积阈值的连通区域；
所述在所述第一掩模图中确定目标连通区域，包括：
在所述第一掩模图中，过滤掉所述包裹检测区域的边界穿过的连通区域，得到第二掩模图；将所述第二掩模图中最大连通区域作为所述目标连通区域；或者，在第一掩模图中，将所述包裹检测区域的边界未穿过的区域中的最大连通区域作为所述目标连通区域；所述包裹检测区域表示为第一掩模图中一个边界框；
从所述高于所述包裹检测区域所处平面的点中提取与所述包裹区域对应的第三点云数据；
根据第三点云数据确定包裹的目标属性，所述目标属性包括包裹尺寸和包裹体积中至少一个；
所述根据第一点云数据，确定第一掩模图，包括：
从第一点云数据中提取高于所述包裹检测区域所处平面的点，得到第二点云数据；根据第二点云数据，生成所述第一掩模图。
2.如权利要求1所述的方法，其特征在于，所述根据第二点云数据，生成所述第一掩模图，包括：
在预定平面内布置栅格阵列，所述预定平面与所述包裹检测区域所处平面重合或平行；
将所述第二点云数据投影至所述预定平面，得到第二点云数据在预定平面内的投影点；
将所述栅格阵列中目标栅格设置为第一灰度值区域，将所述栅格阵列中目标栅格之外的其他栅格设置为第二灰度值区域，得到第一灰度值区域和第二灰度值区域组成的第一掩模图，所述目标栅格为包含第二点云数据在预定平面内的投影点的栅格。
3.如权利要求1所述的方法，其特征在于，所述生成与所述第一深度图像对应的第一点云数据，包括：
生成所述第一深度图像在深度相机坐标系下的第四点云数据；
对所述第四点云数据进行坐标系转换，得到世界坐标系下的第一点云数据。
4.如权利要求1所述的方法，其特征在于，所述从所述第一点云数据中提取高于所述包裹检测区域所处平面的点，得到第二点云数据，包括：
基于世界坐标系中高度阈值，对所述第一点云数据进行过滤，得到第二点云数据，所述第二点云数据中每个点的高度达到所述高度阈值，所述高度阈值等于或者大于所述包裹检测区域所处平面在世界坐标系中高度。
5.如权利要求1所述的方法，其特征在于，进一步包括：
获取在所述包裹检测区域未放置包裹时所述深度相机采集的第二深度图像；
确定所述第二深度图像对应的标定区域，并生成所述标定区域的第三掩模图；
基于所述第三掩模图，将所述第二深度图像中处于所述标定区域的点转换为深度相机坐标系下的第五点云数据；
根据所述第五点云数据，生成深度相机坐标系下的与所述标定区域对应的拟合平面；
根据所述拟合平面，标定所述深度相机的外参。
6.如权利要求1所述的方法，其特征在于，所述根据与所述目标连通区域对应的第三点云数据，确定所述包裹的目标属性，包括：
根据所述第三点云数据，确定所述包裹的高度；确定所述第三点云数据在预定平面上的投影区域，并确定所述投影区域的外接矩形，将所述外接矩形的长宽尺寸作为所述包裹的长宽尺寸；根据所述包裹的高度和所述包裹的长宽尺寸，确定所述包裹的体积；或者
将第三点云数据投影至预定平面内，得到第三点云数据对应的投影点；对第三点云数据对应的投影点进行栅格化处理，得到包含投影点的多个栅格；计算每个栅格对应的体积，每个栅格对应的体积为该栅格的面积与投影至该栅格的点云数据的高度之积，投影至该栅格的点云数据的高度为点云数据的高度均值，或者投影至该栅格的点云数据的高度范围内、与最多数量的点对应的高度值；
将多个栅格对应的体积之和作为包裹的体积。
7.如权利要求1所述的方法，其特征在于，进一步包括：
获取读码相机采集的待识别图像，所述读码相机的视野范围覆盖所述包裹检测区域；
对所述待识别图像进行条码识别，并在识别到条码信息时，执行所述获取由深度相机采集的第一深度图像；
在确定包裹的目标属性时，将所述条码信息与所述目标属性关联；
在识别到条码信息时，测量所述包裹的质量；
将所述条码信息与所述包裹的质量关联。
8.一种检测包裹的装置，其特征在于，包括：
获取单元，获取由深度相机采集的第一深度图像，其中，所述深度相机的视野范围覆盖包裹检测区域；
点云生成单元，生成与所述第一深度图像对应的第一点云数据；
区域确定单元，根据第一点云数据，确定第一掩模图，所述第一掩模图用于描述所述第一点云数据中高于所述包裹检测区域所处平面的点的分布区域；
检测单元，在所述第一掩模图中确定目标连通区域，并将所述目标连通区域作为包裹区域，所述目标连通区域为处于所述包裹检测区域内并且不与所述包裹检测区域的边界接触的连通区域；
所述检测单元在所述第一掩模图中确定目标连通区域之前，去除所述第一掩模图中面积小于面积阈值的连通区域；
所述检测单元在所述第一掩模图中确定目标连通区域，包括：
在所述第一掩模图中，过滤掉所述包裹检测区域的边界穿过的连通区域，得到第二掩模图；将所述第二掩模图中最大连通区域作为所述目标连通区域；或者，在第一掩模图中，将所述包裹检测区域的边界未穿过的区域中的最大连通区域作为所述目标连通区域；所述包裹检测区域表示为第一掩模图中一个边界框；
提取单元从所述高于所述包裹检测区域所处平面的点中提取与所述包裹区域对应的第三点云数据；
所述检测单元根据第三点云数据确定包裹的目标属性，所述目标属性包括包裹尺寸和包裹体积中至少一个；
所述区域确定单元根据第一点云数据，确定第一掩模图，包括：
从第一点云数据中提取高于所述包裹检测区域所处平面的点，得到第二点云数据；根据第二点云数据，生成所述第一掩模图。
9.一种计算设备，其特征在于，包括：
存储器；
处理器；
程序，存储在该存储器中并被配置为由所述处理器执行，所述程序包括用于执行权利要求1-7中任一项所述方法的指令。
10.一种存储介质，存储有程序，所述程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行如权利要求1-7中任一项所述的方法。
11.一种检测包裹的系统，其特征在于，包括：
如权利要求9所述的计算设备；
测量平台，用于放置待检测的包裹；
深度相机，处于测量平台上方，所述深度相机的视野范围覆盖所述测量平台上的包裹检测区域。
CN201911417783.2A 2019-12-31 2019-12-31 检测包裹的方法、计算设备、系统及存储介质 Active CN113129255B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911417783.2A CN113129255B (zh) 2019-12-31 2019-12-31 检测包裹的方法、计算设备、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911417783.2A CN113129255B (zh) 2019-12-31 2019-12-31 检测包裹的方法、计算设备、系统及存储介质

Publications (2)

Publication Number Publication Date
CN113129255A CN113129255A (zh) 2021-07-16
CN113129255B true CN113129255B (zh) 2023-04-07

Family

ID=76769593

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911417783.2A Active CN113129255B (zh) 2019-12-31 2019-12-31 检测包裹的方法、计算设备、系统及存储介质

Country Status (1)

Country Link
CN (1) CN113129255B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114463411B (zh) * 2022-01-19 2023-02-28 无锡学院 基于三维相机的目标体积、质量与密度测量方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10769806B2 (en) * 2015-09-25 2020-09-08 Logical Turn Services, Inc. Dimensional acquisition of packages
CN108416804A (zh) * 2018-02-11 2018-08-17 深圳市优博讯科技股份有限公司 获取目标物体体积的方法、装置、终端设备及存储介质
CN109029250A (zh) * 2018-06-11 2018-12-18 广东工业大学 一种基于三维相机检测包裹尺寸的方法、装置以及设备
CN109255819B (zh) * 2018-08-14 2020-10-13 清华大学 基于平面镜的Kinect标定方法及装置
CN109460709B (zh) * 2018-10-12 2020-08-04 南京大学 基于rgb和d信息融合的rtg视觉障碍物检测的方法
CN110084116B (zh) * 2019-03-22 2022-02-01 深圳市速腾聚创科技有限公司 路面检测方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN113129255A (zh) 2021-07-16

Similar Documents

Publication Publication Date Title
US10402956B2 (en) Image-stitching for dimensioning
KR102674646B1 (ko) 뷰로부터 거리 정보를 획득하는 장치 및 방법
CN112013765B (zh) 用于提高尺寸标注系统测量准确性的方法
US20190195616A1 (en) Method and apparatus for processing three-dimensional vision measurement data
GB2531928A (en) Image-stitching for dimensioning
JP2022501603A (ja) 体積測定方法、システム、装置及びコンピュータ読取可能な記憶媒体
CN111179329B (zh) 三维目标检测方法、装置及电子设备
CN109918977B (zh) 确定空闲车位的方法、装置及设备
CN107025663A (zh) 视觉系统中用于3d点云匹配的杂波评分系统及方法
US20220309761A1 (en) Target detection method, device, terminal device, and medium
CN113689578B (zh) 一种人体数据集生成方法及装置
CN110428372B (zh) 深度数据与2d激光数据融合方法及装置、存储介质
WO2022183685A1 (zh) 目标检测方法、电子介质和计算机存储介质
CN108120391A (zh) 信息处理设备和方法、存储介质和物品制造方法
CN109632809A (zh) 产品质量检测方法及装置
EP3438602A1 (en) Dimension measurement apparatus
CN110136114A (zh) 一种波面高度测量方法、终端设备及存储介质
CN109447902B (zh) 一种图像拼接方法、装置、储存介质及设备
CN113724259A (zh) 井盖异常检测方法、装置及其应用
CN112802114B (zh) 多视觉传感器融合装置及其方法和电子设备
CN113129255B (zh) 检测包裹的方法、计算设备、系统及存储介质
CN113610933A (zh) 一种基于双目区域视差的原木堆垛动态检尺系统和方法
CN104915948B (zh) 用于使用范围传感器选择二维兴趣区域的系统和方法
CN111696152B (zh) 检测包裹堆垛的方法、装置、计算设备、系统及存储介质
JP6928217B1 (ja) 測定処理装置、方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 310051 room 304, B / F, building 2, 399 Danfeng Road, Binjiang District, Hangzhou City, Zhejiang Province

Applicant after: Hangzhou Hikvision Robot Co.,Ltd.

Address before: 310051 room 304, B / F, building 2, 399 Danfeng Road, Binjiang District, Hangzhou City, Zhejiang Province

Applicant before: HANGZHOU HIKROBOT TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant