CN113065810A - 检测包裹的方法、装置、计算设备、物流系统及存储介质 - Google Patents

检测包裹的方法、装置、计算设备、物流系统及存储介质 Download PDF

Info

Publication number
CN113065810A
CN113065810A CN201911413069.6A CN201911413069A CN113065810A CN 113065810 A CN113065810 A CN 113065810A CN 201911413069 A CN201911413069 A CN 201911413069A CN 113065810 A CN113065810 A CN 113065810A
Authority
CN
China
Prior art keywords
cloud data
point cloud
package
determining
parcel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911413069.6A
Other languages
English (en)
Other versions
CN113065810B (zh
Inventor
胡茂邦
顾睿
周杨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikrobot Technology Co Ltd
Original Assignee
Hangzhou Hikrobot Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikrobot Technology Co Ltd filed Critical Hangzhou Hikrobot Technology Co Ltd
Priority to CN201911413069.6A priority Critical patent/CN113065810B/zh
Priority to EP20909919.1A priority patent/EP4086829A4/en
Priority to PCT/CN2020/142175 priority patent/WO2021136509A1/zh
Priority to JP2022539768A priority patent/JP7417745B2/ja
Priority to KR1020227024401A priority patent/KR20220114619A/ko
Publication of CN113065810A publication Critical patent/CN113065810A/zh
Application granted granted Critical
Publication of CN113065810B publication Critical patent/CN113065810B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/08Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/083Shipping
    • G06Q10/0832Special goods or special handling procedures, e.g. handling of hazardous or fragile goods
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/30Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces
    • G01B11/306Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces for measuring evenness
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0639Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395Quality analysis or management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/08Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/08Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/083Shipping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30112Baggage; Luggage; Suitcase
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Quality & Reliability (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Geometry (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本申请提出了检测包裹的方法、装置、计算设备、物流系统及存储介质。其中,一种检测包裹的方法,包括:获取包裹的外表面的点云数据;根据所述点云数据,确定所述包裹的外形特征;根据所述包裹的外形特征,确定所述包裹的规整度,其中,所述规整度表示包裹的表面平整程度和/或包裹已装载量与包裹容量上限的接近程度。

Description

检测包裹的方法、装置、计算设备、物流系统及存储介质
技术领域
本申请涉及物流自动化技术领域,特别涉及检测包裹的方法、装置、计算设备、物流系统及存储介质。
背景技术
目前,在物流的应用场景中,工作人员通常需要对传送带上包裹的规整度进行检测,以便保证运输的包裹有较高的规整度,以便保证运输效率。其中,规整度表示包裹的表面平整程度和包裹已装载量与容量上限的接近程度。
然而,人工检测包裹的规整度的方式效率不高,且检测结果的一致性较差。为此,缺少一种自动化检测包裹的规整度的方案。
发明内容
本申请提出了检测包裹的方法、装置、计算设备、物流系统及存储介质,能够实现包裹规整度的自动化检测,进而提高包裹的检测效率和提高检测的一致性。
根据本申请一个方面,提供一种检测包裹的方法,包括:
获取包裹的外表面的点云数据;
根据所述点云数据,确定所述包裹的外形特征;
根据所述包裹的外形特征,确定所述包裹的规整度,其中,所述规整度表示包裹的表面平整程度和/或包裹已装载量与包裹容量上限的接近程度。
在一些实施例中,所述获取包裹的外表面的点云数据,包括:
接收点云数据采集装置对传送带上所述包裹进行扫描而得到的扫描结果;
根据所述扫描结果,确定所述点云数据。
在一些实施例中,所述根据所述点云数据,确定所述包裹的外形特征,包括下述中至少一个步骤:
根据所述点云数据,确定所述包裹的顶面平整度,其中,所述顶面平整度用于表征所述包裹顶部表面的平滑程度;
根据所述点云数据,确定所述包裹的体积占空比,所述体积占空比为所述包裹的体积与所述包裹的最小外接长方体的体积之比;
根据所述点云数据,确定所述包裹的理想体积占比,所述理想体积占比为所述包裹的体积与所述包裹的容量上限之比;
根据所述点云数据,确定所述包裹的轮廓矩形度,所述轮廓矩形度为所述包裹的水平投影区域的面积与水平投影区域的最小外接矩形区域的面积之比。
在一些实施例中,所述根据所述包裹的外形特征,确定所述包裹的规整度,包括:
计算所述顶面平整度、体积占空比、理想体积占比和轮廓矩形度中至少一个外形特征的加权和,并将所述加权和作为所述包裹的规整度。
在一些实施例中,所述根据所述点云数据,确定所述包裹的顶面平整度,包括:
确定所述点云数据的主方向,所述主方向用于反映所述点云数据的整体朝向;
确定所述点云数据的目标子集,目标子集中每个点的法向与所述主方向夹角小于夹角阈值;
将所述目标子集的点数量与所述点云数据的点数量之比作为所述顶面平整度。
在一些实施例中,
在确定所述点云数据的主方向之前,所述方法进一步包括:对点云数据进行下采样操作,得到采样后的点云数据。
在一些实施例中,所述根据所述点云数据,确定所述包裹的体积占空比,包括:
根据所述点云数据确定包裹的外形模型;
根据所述包裹的外形模型确定所述包裹的最小外接长方体,并确定所述长方体的体积;
根据所述点云数据,确定所述包裹的体积;
根据所述长方体的体积和所述包裹的体积,计算所述体积占空比。
在一些实施例中,所述根据所述点云数据,确定所述包裹的体积,包括:
将所述点云数据投影至预定平面内,得到所述点云数据对应的投影点;
对所述点云数据对应的投影点进行栅格化处理,得到包含投影点的多个栅格;
计算每个栅格对应的体积,每个栅格对应的体积为该栅格的面积与投影至该栅格的点云数据的高度之积;
将多个栅格对应的体积之和作为包裹的体积。
在一些实施例中,所述根据所述点云数据,确定所述包裹的轮廓矩形度,包括:
确定所述点云数据在水平面内的水平投影区域,并确定水平投影区域的面积;
确定所述水平投影区域的最小外接矩形区域,并确定所述矩形区域的面积;
将所述水平投影区域的面积与所述矩形区域的面积之比作为所述轮廓矩形度。
在一些实施例中,所述确定所述点云数据的主方向,包括:
计算点云数据的中心点,所述中心点的坐标为点云数据中点的坐标均值;
将点云数据中各点的坐标减去中心点的坐标,得到中心偏移后的点云数据;
确定中心偏移后的点云数据组成的第一矩阵和第二矩阵,其中第二矩阵为第一矩阵的转置矩阵;
计算第一矩阵和第二矩阵之积,得到协方差矩阵;
对协方差矩阵进行奇异值分解,取特征值最大的特征向量作为点云数据的主方向。
根据本申请一方面,提供一种检测包裹的装置,包括:
获取单元,获取包裹的外表面的点云数据;
特征提取单元,根据所述点云数据,确定所述包裹的外形特征;
规整度确定单元,根据所述包裹的外形特征,确定所述包裹的规整度,其中,所述规整度表示包裹的表面平整程度和包裹已装载量与容量上限的接近程度。
根据本申请一方面,提供一种计算设备,包括:存储器;处理器;程序,存储在该存储器中并被配置为由所述处理器执行,所述程序包括用于执行根据本申请的检测包裹的方法的指令。
根据本申请一方面,提供一种存储介质,存储有程序,所述程序包括指令,所述指令当由计算设备执行时,使得所述计算设备执行根据本申请的检测包裹的方法。
根据本申请一方面,提供一种物流系统,包括:计算设备;传送带;点云数据采集装置,用于采集所述传送带上包裹的点云数据。
综上,根据本申请的检测包裹的方案,基于包裹的点云数据,可以获取包裹的外形特征,并且根据外形特征确定规整度。检测包裹的方案可以避免人工检测包裹规整度的麻烦,实现由设备对包裹进行规整度的自动检测,进而提高包裹规整度检测的效率和检测结果的一致性。
附图说明
图1示出了根据本申请一些实施例的物流系统的示意图;
图2A示出了根据本申请一些实施例的检测包裹的方法200的流程图;
图2B示出了根据本申请一些实施例的包裹的示意图;
图2C示出了根据本申请一些实施例的点云数据的示意图;
图3示出了根据本申请一些实施例的确定包裹的外形特征的方法300的流程图;
图4示出了根据本申请一些实施例的检测包裹的方法400的流程图;
图5A示出了根据本申请一些实施例的确定包裹的顶面平整度的方法500的流程图;
图5B示出了根据本申请一些实施例的确定点云数据的主方向的流程图;
图6示出了根据本申请一些实施例的确定包裹的顶面平整度的方法600的流程图;
图7示出了根据本申请一些实施例的体积占空比的方法700的流程图;
图8示出了根据本申请一些实施例的确定包裹体积的方法800的流程图;
图9示出了根据本申请一些实施例的轮廓矩形度的方法900的流程图;
图10示出了根据本申请一些实施例的检测包裹的装置1000的示意图;
图11示出了根据本申请一些实施例的检测包裹的装置1100的示意图;
图12示出了根据本申请一些实施例的计算设备的示意图。
具体实施方式
为使本申请的目的、技术方案及优点更加清楚明白,以下参照附图并举实施例,对本申请进一步详细说明。
图1示出了根据本申请一些实施例的物流系统的示意图。如图1所示,物流系统包括传送带110、点云数据采集装置120和计算设备130。
传动带110按照传送方向(例如在图1中从左向右的方向)传送包裹。例如传送图1示出的包裹140。
点云数据采集装置120例如可以是激光雷达或者深度相机。深度相机例如为结构光相机、选用时间飞行(Time of Flight,缩写为ToF)相机、双目视觉(Stereo)相机等。
点云数据采集装置120可以对经过传送带上检测区域S1的包裹进行扫描,并向计算设备140输出扫描结果。
计算设备130例如可以是服务器、笔记本电脑、平板电脑、掌上商务通等设备。计算设备140可以根据来自点云数据采集装置120的扫描结果,确定包裹外表面的点云数据(point cloud data)。点云数据是包裹外表面上点的集合。点云数据中每个点的坐标可以表示为点云数据采集装置120的坐标系下坐标,也可以表示为世界坐标系中坐标。
计算设备130可以根据包裹的点云数据,自动检测包裹的规整度。这里,规整度表示包裹的表面平整程度和包裹已装载量与容量上限的接近程度
下面结合图2对检测包裹的规整度的方式进行说明。
图2A示出了根据本申请一些实施例的检测包裹的方法200的流程图。方法200例如由计算设备130执行。
如图2A所示,在步骤S201中,获取包裹的外表面的点云数据。例如,步骤S201可以获取包裹上表面的点云数据。包裹的上表面是指俯视角度能够观察到的包裹表面区域。
在一些实施例中,步骤S201接收数据采集装置对传送带上包裹进行扫描而得到的扫描结果。根据扫描结果,步骤S201确定包裹外表面的点云数据。点云数据中每个点可以认为对应包裹外表面上一个点。点云数据中每个点的信息包括该点的位置信息。一个点的位置信息例如可以表示为一个三维坐标系中的坐标。例如,图2B示出了根据本申请一些实施例的包裹的示意图。图2C示出了根据本申请一些实施例的点云数据的示意图。图2C中点云数据可以体现出图2B中包裹的外形特征。
在步骤S202中,根据点云数据,确定包裹的外形特征。这里,外形特征例如可以包括:顶面平整度、体积占空比、理想体积占比和轮廓矩形度中至少一个。
在步骤S203中,根据包裹的外形特征,确定包裹的规整度。其中,规整度表示包裹的表面平整程度和/或包裹已装载量与包裹容量上限的接近程度。规整度例如为包裹的多种外形特征的加权和。例如,步骤S203可以计算顶面平整度、体积占空比、理想体积占比和轮廓矩形度中至少一个外形特征的加权和,并将加权和作为所述包裹的规整度。
综上,根据本申请的检测包裹的方法200,基于包裹的点云数据,可以获取包裹的外形特征,并且根据外形特征确定规整度。方法200可以避免人工检测包裹规整度的麻烦,实现由设备对包裹进行规整度的自动检测,进而提高包裹规整度检测的效率和检测结果的一致性。
在一些实施例中,步骤S202可以实施为方法300。
如图3所示,在步骤S301中,根据点云数据,确定包裹的顶面平整度。其中,顶面平整度用于表征包裹顶部表面的平滑程度。
在步骤S302中,根据点云数据,确定包裹的体积占空比。体积占空比为包裹的体积与包裹的最小外接长方体的体积之比。这里,体积占空比越高,说明包裹越接近于长方体。
在步骤S303中,根据点云数据,确定包裹的理想体积占比。理想体积占比为包裹的体积与包裹的容量上限之比。这里,理想体积占比越高,说明包裹的装载量越靠近包裹的容量上限。
在步骤S304中,根据点云数据,确定包裹的轮廓矩形度。轮廓矩形度为包裹的水平投影区域的面积与水平投影区域的最小外接矩形区域的面积之比。综上,方法300可以从多种角度分析包裹的外形特征,从而能够利用多种外形特征确定包裹的规整度。
图4示出了根据本申请一些实施例的检测包裹的方法400的流程图。方法200例如由计算设备130执行。
如图4所示,在步骤S401中,获取包裹的外表面的点云数据。
在步骤S402中,根据点云数据,确定包裹的外形特征。
在步骤S403中,根据包裹的外形特征,确定包裹的规整度。
在步骤S404中,判断规整度是否达到规整度阈值。
在步骤S404确定规整度达到规整度阈值时,方法400执行步骤S405,确定包裹的分类结果为第一类别。在步骤S404确定规整度低于规整度阈值时,方法400执行步骤S406,确定包裹的分类结果为第二类别。第一类别为满足规整度要求的类型,第二类别为不满足规整度要求的类型。
另外,在步骤S407中,将包裹的分类结果发送到分拣装置。这样,分拣装置可以根据分类结果对包裹进行分拣。例如,分拣装置可以将传送带上属于第二类别的包裹分拣到目标位置。这样,工作人员可以对第二类别的包裹可以进行整理,以便满足规整度要求,从而提高包裹的运输方便性。
在一些实施例中,步骤S301可以实施为方法500。
如图5A所示,在步骤S501中,确定点云数据的主方向。主方向用于反映点云数据的整体朝向。
在一些实施例中,步骤S501可以实施为图5B所示的流程图。
如图5B所示,在步骤S5011中,计算点云数据的中心点。中心点的坐标为点云数据中点的坐标均值。
在步骤S5012中,将点云数据中各点的坐标减去中心点的坐标,得到中心偏移后的点云数据。
在步骤S5013中,确定中心偏移后的点云数据组成的第一矩阵和第二矩阵。其中,第二矩阵为第一矩阵的转置矩阵。例如,第一矩阵假设为A,第二矩阵为AT。协方差矩阵cov=AAT
在步骤S5014中,计算第一矩阵和第二矩阵之积,得到协方差矩阵。
在步骤S5015中,对协方差矩阵进行奇异值(SVD)分解,取特征值最大的特征向量作为点云数据的主方向。在步骤S502中,确定点云数据的目标子集。目标子集中每个点的法向与主方向夹角小于夹角阈值。这里,夹角阈值例如为10度,但不限于此。
在步骤S503中,将目标子集的点数量与点云数据的点数量之比作为顶面平整度。这里,顶面平整度越高,包裹顶部表面越平滑。
在一些实施例中,步骤S301可以实施为方法600。
如图6所示,在步骤S601中,对点云数据进行下采样操作,得到采样后的点云数据。这里,通过下采样操作,可以减小点云数据的数据规模,从而提高计算顶面平整度的效率。
在步骤S602中,确定采样后的点云数据的主方向。主方向用于反映点云数据的整体朝向。
在步骤S603中,确定采样后的点云数据的目标子集。目标子集中每个点的法向与主方向夹角小于夹角阈值。这里,夹角阈值例如为10度,但不限于此。
在步骤S604中,将目标子集的点数量与采样后的点云数据的点数量之比作为顶面平整度。
例如,顶面平整度可以根据下述公式得到。
Figure BDA0002350475630000061
其中,flat_ratio为顶面平整度,Nangle为目标子集的点数量,Nsampled表示采样后的点云数据的点数量。
在一些实施例中,步骤S302可以实施为方法700。
如图7所示,在步骤S701中,根据点云数据确定包裹的外形模型。换言之,步骤S701可以根据点云数据确定包裹的三维模型。
在步骤S702中,根据包裹的外形模型确定包裹的最小外接长方体,并确定长方体的体积。
在步骤S703中,根据点云数据,确定包裹的体积。这里,基于点云数据,步骤S703可以采用各种体积计算方式,确定包裹的体积。
在一些实施例中,步骤S703可以实施为方法800。
如图8所示,在步骤S801中,将点云数据投影至预定平面内,得到所述点云数据对应的投影点。预定平面平行于传送带的表面。
在步骤S802中,对点云数据对应的投影点进行栅格化处理,得到包含投影点的多个栅格。
在步骤S803中,计算每个栅格对应的体积,每个栅格对应的体积为该栅格的面积与投影至该栅格的点云数据的高度之积。投影至该栅格的点云数据的高度为投影至该栅格的点云数据的高度均值或者投影至该栅格的点云数据的高度范围内、与最多数量的点对应的高度值。这里,与最多数量的点对应的高度值也可以理解为:在按照高度对投影至该栅格的点云数据进行分组后,确定的点数量最多的分组对应的高度值。点云数据中单个点的高度为该点在三维坐标系中的竖直方向的坐标值与传送带在竖直方向的坐标值之差。这里,每个栅格对应的体积可以理解为该栅格对应的柱体的体积。柱体可以认为是栅格将包裹的外形模型竖直切分得到的柱体。
在步骤S804中,将多个栅格对应的体积之和作为包裹的体积。
综上,方法800通过栅格化点云数据的方式,可以计算包裹的积分体积。因此,即使包裹表面不够平整,方法800也可以较准确确定包裹的体积。
在步骤S704中,根据长方体的体积和包裹的体积,计算体积占空比。例如,步骤S704可以根据下述公式计算体积占空比。
Figure BDA0002350475630000071
其中,volintegral为包裹的体积,volbox为长方体的体积。
在一些实施例中,步骤S304可以实施为方法900。在步骤S901中,确定点云数据在水平面内的水平投影区域,并确定水平投影区域的面积。
在步骤S902中,确定水平投影区域的最小外接矩形区域,并确定矩形区域的面积。
在步骤S903中,将水平投影区域的面积与矩形区域的面积之比作为轮廓矩形度。例如,步骤S903可以根据下述方式计算轮廓矩形度。
Figure BDA0002350475630000081
其中,rectangularity为轮廓矩形度,Sconvex_hull为水平投影区域的面积,Smin_rect为最小外接矩形区域的面积。轮廓矩形度越接近于1,则包裹顶面越接近长方形,则包裹规整性越好。
图10示出了根据本申请一些实施例的检测包裹的装置1000。装置1000例如可以部署在计算设备130中。
如图10所示,装置1000包括获取单元1001、特征提取单元1002和规整度确定单元1003。
获取单元1001获取包裹的外表面的点云数据。
特征提取单元1002根据点云数据,确定包裹的外形特征。
规整度确定单元1003根据包裹的外形特征,确定包裹的规整度。其中,规整度表示包裹的表面平整程度和/或包裹已装载量与包裹容量上限的接近程度。装置1000更具体的实施方式与方法400一致,这里不再赘述。
综上,根据本申请的检测包裹的装置1000,基于包裹的点云数据,可以获取包裹的外形特征,并且根据外形特征确定规整度。装置1000可以避免人工检测包裹规整度的麻烦,实现由设备对包裹进行规整度的自动检测,进而提高包裹规整度检测的效率和检测结果的一致性。
图11示出了根据本申请一些实施例的检测包裹的装置1100。装置1100例如可以部署在计算设备130中。
如图11所示,装置1100包括获取单元1101、特征提取单元1102、规整度确定单元1103、分类单元1104。
获取单元1101可以获取包裹的外表面的点云数据。
特征提取单元1102可以根据点云数据,确定包裹的外形特征。
规整度确定单元1103可以根据包裹的外形特征,确定包裹的规整度。
分类单元1104可以判断规整度是否达到规整度阈值,在规整度达到规整度阈值时,分类单元1104确定包裹的分类结果为第一类别。在规整度低于规整度阈值时,分类单元1104确定包裹的分类结果为第二类别。
在一些实施例中,为了获取点云数据,获取单元1101可以接收数据采集装置对传送带上包裹进行扫描而得到的扫描结果。根据扫描结果,获取单元1101确定点云数据。
根据点云数据,特征提取单元1102可以确定包裹的一种或多种外形特征。例如,根据点云数据,特征提取单元1102确定包裹的顶面平整度。其中,顶面平整度用于表征包裹顶部表面的平滑程度。根据点云数据,特征提取单元1102确定包裹的体积占空比。体积占空比为包裹的体积与包裹的最小外接长方体的体积之比。根据点云数据,特征提取单元1102确定包裹的理想体积占比。理想体积占比为包裹的体积与包裹的容量上限之比。根据点云数据,确定包裹的轮廓矩形度。轮廓矩形度为包裹的水平投影区域的面积与水平投影区域的最小外接矩形区域的面积之比。
在一些实施例中,规整度确定单元1103计算顶面平整度、体积占空比、理想体积占比和轮廓矩形度中至少一个外形特征的加权和,并将加权和作为包裹的规整度。
特征提取单元1102可以确定点云数据的主方向。主方向用于反映点云数据的整体朝向。特征提取单元1102还可以确定点云数据的目标子集。目标子集中每个点的法向与主方向夹角小于夹角阈值。这样,特征提取单元1102可以将目标子集的点数量与点云数据的点数量之比作为顶面平整度。
另外说明的是,在确定点云数据的主方向之前,特征提取单元1102还可以对点云数据进行下采样操作,得到采样后的点云数据。
在一些实施例中,特征提取单元1102根据点云数据确定包裹的外形模型。根据包裹的外形模型,特征提取单元1102可以确定包裹的最小外接长方体,并确定长方体的体积。根据点云数据,特征提取单元1102可以确定包裹的体积。根据长方体的体积和包裹的体积,特征提取单元1102可以计算体积占空比。
为了确定包裹的体积,特征提取单元1102可以按照预定平面内的栅格化阵列,对点云数据进行栅格化划分,得到多个栅格对应的点,其中,每个栅格对应的点的水平投影属于该栅格的范围。根据每个栅格对应的点,特征提取单元1102计算该栅格对应的体积。其中,该栅格对应的体积为该栅格的面积与该栅格对应的点的高度之积。特征提取单元1102将多个栅格对应的体积之和作为包裹的体积。
为了确定包裹的轮廓矩形度,特征提取单元1102可以确定点云数据在水平面内的水平投影区域,并确定水平投影区域的面积。特征提取单元1102可以确定水平投影区域的最小外接矩形区域,并确定矩形区域的面积。特征提取单元1102可以将水平投影区域的面积与矩形区域的面积之比作为轮廓矩形度。
为了确定点云数据的主方向,特征提取单元1102可以计算点云数据的中心点。中心点的坐标为点云数据中点的坐标均值。特征提取单元1102将点云数据中各点的坐标减去中心点的坐标,得到中心偏移后的点云数据。特征提取单元1102确定中心偏移后的点云数据组成的第一矩阵和第二矩阵。其中第二矩阵为第一矩阵的转置矩阵。特征提取单元1102通过计算第一矩阵和第二矩阵之积,得到协方差矩阵。特征提取单元1102对协方差矩阵进行奇异值分解,取特征值最大的特征向量作为点云数据的主方向。
图12示出了根据本申请一些实施例的计算设备的示意图。如图12所示,该计算设备包括一个或者多个处理器(CPU)1102、通信模块1204、存储器1206、用户接口1210,以及用于互联这些组件的通信总线1208。
处理器1202可通过通信模块1204接收和发送数据以实现网络通信和/或本地通信。
用户接口1210包括一个或多个输出设备1212,其包括一个或多个扬声器和/或一个或多个可视化显示器。用户接口1210也包括一个或多个输入设备1214。用户接口1210例如可以接收遥控器的指令,但不限于此。
存储器1206可以是高速随机存取存储器,诸如DRAM、SRAM、DDR RAM、或其他随机存取固态存储设备;或者非易失性存储器,诸如一个或多个磁盘存储设备、光盘存储设备、闪存设备,或其他非易失性固态存储设备。
存储器1206存储处理器1202可执行的指令集,包括:
操作系统1216,包括用于处理各种基本系统服务和用于执行硬件相关任务的程序;
应用1218,包括用于实现上述检测包裹的各种程序,例如可以包括检测包裹的装置1000和1100。这种程序能够实现上述各实例中的处理流程,比如可以包括检测包裹的方法。
另外,本申请的每一个实施例可以通过由数据处理设备如计算机执行的数据处理程序来实现。显然,数据处理程序构成了本发明。此外,通常存储在一个存储介质中的数据处理程序通过直接将程序读取出存储介质或者通过将程序安装或复制到数据处理设备的存储设备(如硬盘和或内存)中执行。因此,这样的存储介质也构成了本发明。存储介质可以使用任何类型的记录方式,例如纸张存储介质(如纸带等)、磁存储介质(如软盘、硬盘、闪存等)、光存储介质(如CD-ROM等)、磁光存储介质(如MO等)等。
因此本申请还公开了一种非易失性存储介质,其中存储有程序。该程序包括指令,所述指令当由处理器执行时,使得计算设备执行根据本申请的检测包裹的方法。
另外,本申请所述的方法步骤除了可以用数据处理程序来实现,还可以由硬件来实现,例如,可以由逻辑门、开关、专用集成电路(ASIC)、可编程逻辑控制器和嵌微控制器等来实现。因此这种可以实现本申请所述方法的硬件也可以构成本申请。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。

Claims (14)

1.一种检测包裹的方法,其特征在于,包括:
获取包裹的外表面的点云数据;
根据所述点云数据,确定所述包裹的外形特征;
根据所述包裹的外形特征,确定所述包裹的规整度,其中,所述规整度表示包裹的表面平整程度和/或包裹已装载量与包裹容量上限的接近程度。
2.如权利要求1所述的方法,其特征在于,所述获取包裹的外表面的点云数据,包括:
接收点云数据采集装置对传送带上所述包裹进行扫描而得到的扫描结果;
根据所述扫描结果,确定所述点云数据。
3.如权利要求1所述的方法,其特征在于,所述根据所述点云数据,确定所述包裹的外形特征,包括下述中至少一个步骤:
根据所述点云数据,确定所述包裹的顶面平整度,其中,所述顶面平整度用于表征所述包裹顶部表面的平滑程度;
根据所述点云数据,确定所述包裹的体积占空比,所述体积占空比为所述包裹的体积与所述包裹的最小外接长方体的体积之比;
根据所述点云数据,确定所述包裹的理想体积占比,所述理想体积占比为所述包裹的体积与所述包裹的容量上限之比;
根据所述点云数据,确定所述包裹的轮廓矩形度,所述轮廓矩形度为所述包裹的水平投影区域的面积与水平投影区域的最小外接矩形区域的面积之比。
4.如权利要求3所述的方法,其特征在于,所述根据所述包裹的外形特征,确定所述包裹的规整度,包括:
计算所述顶面平整度、体积占空比、理想体积占比和轮廓矩形度中至少一个外形特征的加权和,并将所述加权和作为所述包裹的规整度。
5.如权利要求3所述的方法,其特征在于,所述根据所述点云数据,确定所述包裹的顶面平整度,包括:
确定所述点云数据的主方向,所述主方向用于反映所述点云数据的整体朝向;
确定所述点云数据的目标子集,目标子集中每个点的法向与所述主方向夹角小于夹角阈值;
将所述目标子集的点数量与所述点云数据的点数量之比作为所述顶面平整度。
6.如权利要求5所述的方法,其特征在于,在确定所述点云数据的主方向之前,进一步包括:
对点云数据进行下采样操作,得到采样后的点云数据。
7.如权利要求3所述的方法,其特征在于,所述根据所述点云数据,确定所述包裹的体积占空比,包括:
根据所述点云数据确定包裹的外形模型;
根据所述包裹的外形模型确定所述包裹的最小外接长方体,并确定所述长方体的体积;
根据所述点云数据,确定所述包裹的体积;
根据所述长方体的体积和所述包裹的体积,计算所述体积占空比。
8.如权利要求7所述的方法,其特征在于,所述根据所述点云数据,确定所述包裹的体积,包括:
将所述点云数据投影至预定平面内,得到所述点云数据对应的投影点;
对所述点云数据对应的投影点进行栅格化处理,得到包含投影点的多个栅格;
计算每个栅格对应的体积,每个栅格对应的体积为该栅格的面积与投影至该栅格的点云数据的高度之积;
将多个栅格对应的体积之和作为包裹的体积。
9.如权利要求3所述的方法,其特征在于,所述根据所述点云数据,确定所述包裹的轮廓矩形度,包括:
确定所述点云数据在水平面内的水平投影区域,并确定水平投影区域的面积;
确定所述水平投影区域的最小外接矩形区域,并确定所述矩形区域的面积;
将所述水平投影区域的面积与所述矩形区域的面积之比作为所述轮廓矩形度。
10.如权利要求5所述的方法,其特征在于,所述确定所述点云数据的主方向,包括:
计算点云数据的中心点,所述中心点的坐标为点云数据中点的坐标均值;
将点云数据中各点的坐标减去中心点的坐标,得到中心偏移后的点云数据;
确定中心偏移后的点云数据组成的第一矩阵和第二矩阵,其中第二矩阵为第一矩阵的转置矩阵;
计算第一矩阵和第二矩阵之积,得到协方差矩阵;
对协方差矩阵进行奇异值分解,取特征值最大的特征向量作为点云数据的主方向。
11.一种检测包裹的装置,其特征在于,包括:
获取单元,获取包裹的外表面的点云数据;
特征提取单元,根据所述点云数据,确定所述包裹的外形特征;
规整度确定单元,根据所述包裹的外形特征,确定所述包裹的规整度,其中,所述规整度表示包裹的表面平整程度和包裹已装载量与容量上限的接近程度。
12.一种计算设备,其特征在于,包括:
存储器;
处理器;
程序,存储在该存储器中并被配置为由所述处理器执行,所述程序包括用于执行权利要求1-10中任一项所述方法的指令。
13.一种存储介质,存储有程序,所述程序包括指令,所述指令当由计算设备执行时,使得所述计算设备执行如权利要求1-10中任一项所述的方法。
14.一种物流系统,其特征在于,包括:
如权利要请求12所述的计算设备;
传送带;
点云数据采集装置,用于采集所述传送带上包裹的点云数据。
CN201911413069.6A 2019-12-31 2019-12-31 检测包裹的方法、装置、计算设备、物流系统及存储介质 Active CN113065810B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201911413069.6A CN113065810B (zh) 2019-12-31 2019-12-31 检测包裹的方法、装置、计算设备、物流系统及存储介质
EP20909919.1A EP4086829A4 (en) 2019-12-31 2020-12-31 METHOD OF RECOGNIZING A PACKAGING, DEVICE, COMPUTING DEVICE, LOGISTICS SYSTEM AND STORAGE MEDIA
PCT/CN2020/142175 WO2021136509A1 (zh) 2019-12-31 2020-12-31 检测包裹的方法、装置、计算设备、物流系统及存储介质
JP2022539768A JP7417745B2 (ja) 2019-12-31 2020-12-31 小包を検出するための方法、装置、計算装置、物流システム及び記憶媒体
KR1020227024401A KR20220114619A (ko) 2019-12-31 2020-12-31 소포 검사 방법, 장치, 컴퓨팅 장비, 물류 시스템 및 저장 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911413069.6A CN113065810B (zh) 2019-12-31 2019-12-31 检测包裹的方法、装置、计算设备、物流系统及存储介质

Publications (2)

Publication Number Publication Date
CN113065810A true CN113065810A (zh) 2021-07-02
CN113065810B CN113065810B (zh) 2024-01-26

Family

ID=76558041

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911413069.6A Active CN113065810B (zh) 2019-12-31 2019-12-31 检测包裹的方法、装置、计算设备、物流系统及存储介质

Country Status (5)

Country Link
EP (1) EP4086829A4 (zh)
JP (1) JP7417745B2 (zh)
KR (1) KR20220114619A (zh)
CN (1) CN113065810B (zh)
WO (1) WO2021136509A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114155228A (zh) * 2021-12-07 2022-03-08 宁波市新铭建设工程测试有限公司 一种建材试件外形合规性快速测量方法及其装置
KR20230063532A (ko) * 2021-11-02 2023-05-09 주식회사 포스트큐브 우편물 부피 측정 방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114037706A (zh) * 2021-10-13 2022-02-11 东南大学 一种基于三维点云模型的预制梁段表面平整度检测方法
CN114688992B (zh) * 2022-04-12 2024-03-12 上海快仓智能科技有限公司 一种反光物的识别方法、装置、电子设备及存储介质
CN115069587A (zh) * 2022-06-20 2022-09-20 博睿自动化设备(广州)有限公司 一种用于芯片平面度检测的自动化设备及其使用方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101324275B1 (ko) * 2012-11-30 2013-11-01 (주)덕평물류 화물 볼륨 체커
US20150042791A1 (en) * 2013-08-09 2015-02-12 Postea, Inc. Apparatus, systems and methods for enrollment of irregular shaped objects
EP3147841A1 (en) * 2015-09-25 2017-03-29 Hand Held Products, Inc. System for monitoring the condition of packages throughout transit
US20170302905A1 (en) * 2016-04-13 2017-10-19 Sick Inc. Method and system for measuring dimensions of a target object
CN109272547A (zh) * 2018-09-17 2019-01-25 南京阿凡达机器人科技有限公司 一种包裹外接体积测量方法、系统、存储介质及移动终端
US20190213389A1 (en) * 2018-01-05 2019-07-11 Aquifi, Inc. Systems and methods for volumetric sizing

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104020095A (zh) * 2014-06-19 2014-09-03 广东中烟工业有限责任公司 一种卷烟小盒空隙率的测定方法
JP6416742B2 (ja) * 2015-12-09 2018-10-31 日本電信電話株式会社 含有資源量推定装置、含有資源量推定方法、および、含有資源量推定プログラム
CN107388960B (zh) * 2016-05-16 2019-10-22 杭州海康机器人技术有限公司 一种确定物体体积的方法及装置
JP6880950B2 (ja) * 2017-04-05 2021-06-02 村田機械株式会社 陥凹部検出装置、搬送装置、および、陥凹部検出方法
CN109029253B (zh) * 2018-06-29 2020-08-25 南京阿凡达机器人科技有限公司 一种包裹体积测量方法、系统、储存介质及移动终端
CN109463969A (zh) * 2018-09-10 2019-03-15 深圳蓝胖子机器人有限公司 快递柜及其快递件的识别方法、机器人和计算机存储介质
CN109584157A (zh) * 2018-10-19 2019-04-05 苏州优纳科技有限公司 物体平面度测量方法及装置、存储介质、电子测量设备
CN109785379B (zh) * 2018-12-17 2021-06-15 中国科学院长春光学精密机械与物理研究所 一种对称物体尺寸及重量的测量方法及测量系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101324275B1 (ko) * 2012-11-30 2013-11-01 (주)덕평물류 화물 볼륨 체커
US20150042791A1 (en) * 2013-08-09 2015-02-12 Postea, Inc. Apparatus, systems and methods for enrollment of irregular shaped objects
EP3147841A1 (en) * 2015-09-25 2017-03-29 Hand Held Products, Inc. System for monitoring the condition of packages throughout transit
US20170302905A1 (en) * 2016-04-13 2017-10-19 Sick Inc. Method and system for measuring dimensions of a target object
US20190213389A1 (en) * 2018-01-05 2019-07-11 Aquifi, Inc. Systems and methods for volumetric sizing
CN109272547A (zh) * 2018-09-17 2019-01-25 南京阿凡达机器人科技有限公司 一种包裹外接体积测量方法、系统、存储介质及移动终端

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230063532A (ko) * 2021-11-02 2023-05-09 주식회사 포스트큐브 우편물 부피 측정 방법
KR102547130B1 (ko) 2021-11-02 2023-06-26 주식회사 포스트큐브 우편물 부피 측정 방법
CN114155228A (zh) * 2021-12-07 2022-03-08 宁波市新铭建设工程测试有限公司 一种建材试件外形合规性快速测量方法及其装置
CN114155228B (zh) * 2021-12-07 2024-05-10 宁波市新铭建设工程测试有限公司 一种建材试件外形合规性快速测量方法及其装置

Also Published As

Publication number Publication date
JP7417745B2 (ja) 2024-01-18
JP2023508510A (ja) 2023-03-02
EP4086829A1 (en) 2022-11-09
CN113065810B (zh) 2024-01-26
KR20220114619A (ko) 2022-08-17
WO2021136509A1 (zh) 2021-07-08
EP4086829A4 (en) 2023-01-18

Similar Documents

Publication Publication Date Title
CN113065810B (zh) 检测包裹的方法、装置、计算设备、物流系统及存储介质
US10474524B2 (en) Point cloud filter method and apparatus
CN111210429B (zh) 点云数据划分方法及装置、障碍物检测方法及装置
US11300964B2 (en) Method and system for updating occupancy map for a robotic system
US10192345B2 (en) Systems and methods for improved surface normal estimation
CN111582054B (zh) 点云数据处理方法及装置、障碍物检测方法及装置
CN110632608B (zh) 一种基于激光点云的目标检测方法和装置
CN111553946B (zh) 用于去除地面点云的方法及装置、障碍物检测方法及装置
WO2019079358A1 (en) HASHING DENSITY COORDINATES FOR VOLUMETRIC DATA
CN110300292A (zh) 投影畸变校正方法、装置、系统及存储介质
CN114766042A (zh) 目标检测方法、装置、终端设备及介质
CN106355646B (zh) 应用于图像处理的表面细化方法、装置以及系统
CN113689508B (zh) 点云标注方法、装置、存储介质及电子设备
US11816857B2 (en) Methods and apparatus for generating point cloud histograms
CN111177811A (zh) 一种应用于云平台的消防点位自动布图的方法
Kasaei et al. An orthographic descriptor for 3D object learning and recognition
CN108364349A (zh) 墙面扫描建模方法、装置、终端及计算机可读存储介质
CN113538555A (zh) 基于规则箱体的体积测量方法、系统、设备及存储介质
CN113379826A (zh) 物流件的体积测量方法以及装置
Donné et al. Point Triangulation Through Polyhedron Collapse Using the l [?] Norm
CN113822301A (zh) 分拣中心的分类方法及装置、存储介质、电子设备
KR102089269B1 (ko) 포터블 레이 트레이싱 시스템에서의 버퍼링 방법
Cupec et al. Segmentation of Depth Images into Objects Based on Polyhedral Shape Class Model
WO2024061101A1 (zh) 非常规件识别方法、装置、计算机设备及存储介质
CN114708478B (zh) 事件相机与标准相机的数据融合方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 310051 room 304, B / F, building 2, 399 Danfeng Road, Binjiang District, Hangzhou City, Zhejiang Province

Applicant after: Hangzhou Hikvision Robot Co.,Ltd.

Address before: 310051 room 304, B / F, building 2, 399 Danfeng Road, Binjiang District, Hangzhou City, Zhejiang Province

Applicant before: HANGZHOU HIKROBOT TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant