CN117975075A - 一种包裹分类方法、装置及系统 - Google Patents
一种包裹分类方法、装置及系统 Download PDFInfo
- Publication number
- CN117975075A CN117975075A CN202211302413.6A CN202211302413A CN117975075A CN 117975075 A CN117975075 A CN 117975075A CN 202211302413 A CN202211302413 A CN 202211302413A CN 117975075 A CN117975075 A CN 117975075A
- Authority
- CN
- China
- Prior art keywords
- package
- point cloud
- cloud data
- dimension
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000001914 filtration Methods 0.000 claims description 40
- 239000011159 matrix material Substances 0.000 claims description 34
- 238000013501 data transformation Methods 0.000 claims description 30
- 238000004590 computer program Methods 0.000 claims description 27
- 238000004422 calculation algorithm Methods 0.000 claims description 18
- 239000013598 vector Substances 0.000 claims description 15
- 230000005484 gravity Effects 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000000513 principal component analysis Methods 0.000 claims description 7
- 230000000875 corresponding effect Effects 0.000 description 139
- 238000012549 training Methods 0.000 description 36
- 238000001514 detection method Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 10
- 238000013145 classification model Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000004044 response Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
- G06Q10/083—Shipping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Business, Economics & Management (AREA)
- Geometry (AREA)
- Economics (AREA)
- Computational Linguistics (AREA)
- Entrepreneurship & Innovation (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Development Economics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Sorting Of Articles (AREA)
- Image Analysis (AREA)
Abstract
本申请适用于物流运输技术领域,提供了一种包裹分类方法、装置及系统,该包裹分类方法包括:对输送线上运输的包裹进行数据采集,得到包裹对应的二维图像数据和三维点云数据;识别包裹对应的二维图像数据中的包裹影像区域,根据包裹对应的二维图像数据中的包裹影像区域,将包裹分为单件包裹和叠件包裹;其中,叠件包裹是指层叠在输送线上的包裹;根据单件包裹对应的三维点云数据,得到单件包裹的尺寸,根据单件包裹的尺寸,将单件包裹分为常规尺寸包裹和超尺寸包裹。上述方法,避免了将叠件包裹误判为超尺寸包裹,有效提高了包裹分类的准确性。
Description
技术领域
本申请属于物流运输技术领域,尤其涉及一种包裹分类方法、装置及系统。
背景技术
在物流运输技术领域中,随着人力成本的不断提高,采用无人化技术逐渐成为了行业趋势,例如:采用无人化供件系统逐渐取代传统的人工供件方式。
在无人化供件过程中,尺寸合适的包裹会经过单件分离后运输至供件台,之后再从供件台流转至分拣小车。由于分拣小车以及输送线的尺寸限制,需分类出超尺寸包裹,即,尺寸过大的包裹,并对超尺寸包裹进行剔除。
但是,在实际供件过程中,经常会出现包裹层叠在一起的现象,从而导致包裹分类的准确性降低,影响无人化供件系统的运行,降低供件效率。
发明内容
本申请实施例提供了一种包裹分类方法、装置及系统,可以解决上述技术问题。
第一方面,本申请实施例提供了一种包裹分类方法,包括:对输送线上运输的包裹进行数据采集,得到包裹对应的二维图像数据和三维点云数据;识别包裹对应的二维图像数据中的包裹影像区域;根据包裹对应的二维图像数据中的包裹影像区域,将包裹分为单件包裹和叠件包裹;其中,叠件包裹是指层叠在输送线上的包裹;根据单件包裹对应的三维点云数据,得到单件包裹的尺寸;根据单件包裹的尺寸,将单件包裹分为常规尺寸包裹和超尺寸包裹;其中,超尺寸包裹是指尺寸超过预设尺寸阈值的单件包裹。
进一步地,根据单件包裹对应的三维点云数据,得到单件包裹的尺寸,包括:过滤单件包裹对应的三维点云数据中的背景点云数据,得到目标点云数据;对目标点云数据进行聚类,得到点云数据集合;从点云数据集合中选取目标点云数据集合;其中,目标点云数据集合为点数量最多的点云数据集合;根据目标点云数据集合,计算单件包裹的尺寸。
进一步地,过滤单件包裹对应的三维点云数据中的背景点云数据,得到目标点云数据,包括:根据单件包裹对应的三维点云数据,得到数据变换矩阵和背景过滤参数;识别单件包裹对应的三维点云数据中的包裹点云区域,得到包裹点云数据;根据包裹点云数据和数据变换矩阵,得到变换后的包裹点云数据;根据背景过滤参数过滤变换后的包裹点云数据,得到目标点云数据。
进一步地,根据单件包裹对应的三维点云数据,得到数据变换矩阵和背景过滤参数的步骤中,包括:根据单件包裹对应的三维点云数据和预设的主成分分析算法,提取目标方向向量;根据单件包裹对应的三维点云数据,获取点云数据重心;其中,点云数据重心包括所有点分别在第一维度、第二维度和第三维度上的值的平均值;其中,所述第一维度、所述第二维度和所述第三维度分别指三维直角坐标系中x轴对应的维度、y轴对应的维度和z轴对应的维度;根据目标方向向量和点云数据重心,得到数据变换矩阵。
进一步地,根据单件包裹对应的三维点云数据,得到数据变换矩阵和背景过滤参数的步骤中,还包括:根据单件包裹对应的三维点云数据和数据变换矩阵,得到变换后的三维点云数据;将变换后的三维点云数据中第三维度上的最大值作为背景过滤参数。
进一步地,根据目标点云数据集合,计算单件包裹的尺寸,包括:获取目标点云数据集合中所有点在第三维度上的最大值作为单件包裹的高度;其中,所述第三维度是指三维直角坐标系中z轴对应的维度;提取目标点云数据集合中所有点在第一维度和第二维度上的值;其中,第一维度和第二维度是指三维直角坐标系中x轴对应的维度和y轴对应的维度;根据所有点在第一维度和第二维度上的值以及预设的最小外接矩形算法,得到单件包裹的长度和宽度。
进一步地,对输送线上运输的包裹进行数据采集,得到包裹对应的二维图像数据和三维点云数据的步骤中,包括:对输送线上运输的包裹进行数据采集,得到同一个包裹对应的若干帧三维点云数据;根据单件包裹的尺寸,将单件包裹分为常规尺寸包裹和超尺寸包裹,包括:根据同一个单件包裹对应的若干帧三维点云数据,得到单件包裹的若干个尺寸;根据单件包裹的若干个尺寸和预设尺寸阈值,得到单件包裹的若干个初始分类结果;若判断所述单件包裹为常规尺寸包裹的初始分类结果的数量大于判断所述单件包裹为超尺寸包裹的初始分类结果的数量,则将所述单件包裹分为常规尺寸包裹;若判断所述单件包裹为常规尺寸包裹的初始分类结果的数量小于判断所述单件包裹为超尺寸包裹的初始分类结果的数量,则将所述单件包裹分为超尺寸包裹。
进一步地,还包括:获取超尺寸包裹在输送线上的当前位置;根据超尺寸包裹在输送线上的当前位置,对达到预设位置的超尺寸包裹进行剔除。
第二方面,本申请实施例提供了一种包裹分类装置,包括:采集单元,用于对输送线上运输的包裹进行数据采集,得到包裹对应的二维图像数据和三维点云数据;识别单元,用于识别包裹对应的二维图像数据中的包裹影像区域;第一分类单元,用于根据包裹对应的二维图像数据中的包裹影像区域,将包裹分为单件包裹和叠件包裹;其中,叠件包裹是指层叠在输送线上的包裹;尺寸计算单元,用于根据单件包裹对应的三维点云数据,得到单件包裹的尺寸;第二分类单元,用于根据单件包裹的尺寸,将单件包裹分为常规尺寸包裹和超尺寸包裹;其中,超尺寸包裹是指尺寸超过预设尺寸阈值的单件包裹。
进一步地,尺寸计算单元,包括:过滤单元,用于过滤单件包裹对应的三维点云数据中的背景点云数据,得到目标点云数据;聚类单元,用于对目标点云数据进行聚类,得到点云数据集合;选取单元,用于从点云数据集合中选取目标点云数据集合;其中,目标点云数据集合为点数量最多的点云数据集合;第一计算单元,根据目标点云数据集合,计算单件包裹的尺寸。
进一步地,过滤单元,包括:第二计算单元,用于根据单件包裹对应的三维点云数据,得到数据变换矩阵和背景过滤参数;第一识别单元,用于识别单件包裹对应的三维点云数据中的包裹点云区域,得到包裹点云数据;第一变换单元,用于根据包裹点云数据和数据变换矩阵,得到变换后的包裹点云数据;第一过滤单元,用于根据背景过滤参数过滤变换后的包裹点云数据,得到目标点云数据。
进一步地,第二计算单元,具体用于:根据单件包裹对应的三维点云数据和预设的主成分分析算法,提取目标方向向量;根据单件包裹对应的三维点云数据,获取点云数据重心;其中,点云数据重心包括所有点分别在第一维度、第二维度和第三维度上的值的平均值;其中,所述第一维度、所述第二维度和所述第三维度分别指三维直角坐标系中x轴对应的维度、y轴对应的维度和z轴对应的维度;根据目标方向向量和点云数据重心,得到数据变换矩阵。
进一步地,第二计算单元,还具体用于:根据单件包裹对应的三维点云数据和数据变换矩阵,得到变换后的三维点云数据;将变换后的三维点云数据中第三维度上的最大值作为背景过滤参数。
进一步地,第一计算单元,具体用于:获取目标点云数据集合中所有点在第三维度上的最大值作为单件包裹的高度;其中,所述第三维度是指三维直角坐标系中z轴对应的维度;提取目标点云数据集合中所有点在第一维度和第二维度上的值;其中,第一维度和第二维度是指三维直角坐标系中x轴对应的维度和y轴对应的维度;根据所有点在第一维度和第二维度上的值以及预设的最小外接矩形算法,得到单件包裹的长度和宽度。
进一步地,采集单元,具体用:对输送线上运输的包裹进行数据采集,得到同一个包裹对应的若干帧三维点云数据;第二分类单元,具体用于:根据同一个单件包裹对应的若干帧三维点云数据,得到单件包裹的若干个尺寸;根据单件包裹的若干个尺寸和预设尺寸阈值,得到单件包裹的若干个初始分类结果;若判断所述单件包裹为常规尺寸包裹的初始分类结果的数量大于判断所述单件包裹为超尺寸包裹的初始分类结果的数量,则将所述单件包裹分为常规尺寸包裹;若判断所述单件包裹为常规尺寸包裹的初始分类结果的数量小于判断所述单件包裹为超尺寸包裹的初始分类结果的数量,则将所述单件包裹分为超尺寸包裹。
进一步地,包裹分类装置,还包括:获取单元,用于获取超尺寸包裹在输送线上的当前位置;剔除单元,用于根据超尺寸包裹在输送线上的当前位置,对达到预设位置的超尺寸包裹进行剔除。
第三方面,本申请实施例提供了一种包裹分类设备,包括处理器、存储器以及存储在存储器中并可在处理器上运行的计算机程序,处理器执行计算机程序时实现如上述第一方面的方法。
第四方面,本申请实施例提供了一种包裹分类系统,包括:包裹输送设备、数据采集设备、处理器、存储器以及存储在存储器中并可在处理器上运行的计算机程序;
包裹输送设备用于通过输送线运输包裹;
数据采集设备用于对输送线上运输的包裹进行数据采集;
处理器,用于在执行计算机程序时实现如上述第一方面方法的步骤。
第五方面,本申请实施例提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时实现如上述第一方面的方法。
本申请实施例中,设备对输送线上运输的包裹进行数据采集,得到包裹对应的二维图像数据和三维点云数据;识别包裹对应的二维图像数据中的包裹影像区域;根据包裹对应的二维图像数据中的包裹影像区域,将包裹分为单件包裹和叠件包裹;其中,叠件包裹是指层叠在输送线上的包裹;根据单件包裹对应的三维点云数据,得到单件包裹的尺寸根据单件包裹的尺寸,将单件包裹分为常规尺寸包裹和超尺寸包裹;其中,超尺寸包裹是指尺寸超过预设尺寸阈值的单件包裹。上述方法,通过识别包裹对应的二维图像数据中的包裹影像区域,将包裹区分为单件包裹和叠件包裹,从而避免了在测量叠件包裹尺寸时,将其误判为超尺寸包裹,提高了包裹分类的准确性,并且,基于单件包裹对应的三维点云数据,计算单件包裹的尺寸,能够更准确地将单件包裹分为常规尺寸包裹和超尺寸包裹,进而有效避免了由包裹误分类而对无人化供件系统产生的影响,大幅提升了无人供件效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种包裹分类方法的应用场景示意图;
图2是本申请第一实施例提供的一种包裹分类方法的示意流程图;
图3是本申请第一实施例提供的一种包裹分类方法中S104的示意流程图;
图4是本申请第一实施例提供的一种包裹分类方法中S1041的示意流程图;
图5是本申请第一实施例提供的一种包裹分类方法中S1044的示意流程图;
图6是本申请第二实施例提供的包裹分类装置的示意图;
图7是本申请第三实施例提供的集装包裹识别设备的示意图;
图8是本申请第四实施例提供的集装包裹识别系统的示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
应当理解,当在本申请说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外,在本申请说明书和所附权利要求书的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
请参见图1,图1是本申请实施例提供的一种包裹分类方法的应用场景示意图。本申请实施例仅针对无人工件系统的关键结构进行描述,以助于理解技术方案,该无人供件系统100中包括包裹输送设备101、数据采集设备102和供件台103,本申请实施例的包裹输送设备101包含区域1至区域2之间的输送线1011,关于数据采集设备102的实际架设方式和实际架设位置在此不进行限定,其能够采集输送线上包裹对应的二维图像数据和三维点云数据即可。
理想状态下,在区域1处会进行包裹的单件分离,分为超尺寸包裹和常规尺寸包裹,超尺寸包裹被摆轮摆至输送线1011上,常规尺寸包裹分流至供件台103上,之后,在超尺寸包裹达到区域2后被剔除。
但是,在实际供件过程中,由于区域1处本身就会存在叠件包裹,以及供应台拥堵会导致常规尺寸包裹可能无法被及时分流,因而,超尺寸包裹、被误分类的叠件包裹以及未被及时分流的常规尺寸包裹都会被摆轮摆至输送线1011上。一方面,在叠件包裹达到区域2后会被误剔除,即被误当作非常规尺寸包裹而被处理,另一方面,由于输送线1011的输送速度较为缓慢,故在经过区域2时会产生更多的叠件包裹,进而就导致有更多的叠件包裹会因误分类而被剔除。
为了解决上述包裹误分类的技术问题,本申请实施例提供了一种包裹分类方法,请参见图2,图2是本申请第一实施例提供的一种包裹分类方法的示意流程图。本实施例中一种包裹分类方法的执行主体为具有集装包裹识别功能的设备,该包裹分类设备可以为个人计算机以及服务器等,也可以为处理器、微处理器等。本申请实施例以包裹分类设备(以下简称为设备)为包裹分类方法的执行主体进行下述解释说明,不具体对设备进行限定。如图2所示的包裹分类方法可以包括:
S101:对输送线上运输的包裹进行数据采集,得到包裹对应的二维图像数据和三维点云数据。
设备对输送线上运输的包裹进行数据采集,得到包裹对应的二维图像数据和三维点云数据。
在一个可选的实施方式中,该三维点云数据可以是指由深度相机采集的视觉点云数据,在另一个可选的实施方式中,该三维点云数据可以是指由激光雷达采集的激光点云数据。
若三维点云数据是指由深度相机采集的视觉点云数据,那么,可以直接使用深度相机进行数据采集,得到包裹对应的二维图像数据和三维点云数据。
具体地,设备与深度相机建立数据连接,控制深度相机以一定的采集频率对输送线上运输的包裹进行数据采集,得到包裹对应的二维图像数据和三维点云数据。
可以确认的是,这里获取的包裹对应的二维图像数据和三维点云数据中不仅包括与包裹相关的数据,还会包括与背景相关的数据。
若三维点云数据是指由激光雷达采集的激光点云数据,那么,则需使用激光雷达与相机配合进行数据采集,得到包裹对应的二维图像数据和三维点云数据。
具体地,设备分别与激光雷达和相机建立数据连接,控制激光雷达和相机分别以一定的采集频率对输送线上运输的包裹进行数据采集,得到包裹对应的二维图像数据和三维点云数据,激光雷达采集包裹对应的三维点云数据,相机采集包裹对应的二维图像数据。
还需要注意的是,激光雷达和相机的采集频率可能不一致,因此,需要对采集得到的二维图像数据和三维点云数据进行删减和关联。
上述输送线为包裹运输设备的一个组成部分,可选的,本申请实施例所提及的输送线即为图1所示的输送线1011,为避免包裹的误分类,设备需要在包裹达到区域2之前,对该输送线1011上运输的包裹进行数据采集,准确地对包裹进行分类。
S102:识别包裹对应的二维图像数据中的包裹影像区域。
设备识别包裹对应的二维图像数据中的包裹影像区域。
该包裹影像区域可以是指矩形区域,也可以是指不规则连通区域,在本申请实施例中,为提高包裹分类效率,识别出的包裹影像区域为矩形区域。
在一个可选的实施方式中,设备通过目标检测模型识别包裹对应的二维图像数据中的包裹影像区域。
该目标检测模型可以采用EfficientNet的网络结构。
下面对该目标检测模型的训练过程进行说明:采集N1幅包裹对应的训练图像数据,得到第一训练数据集;其中,包裹包括信封、箱子以及软包等多种不同形态的包裹。
通过第一训练数据集训练初始化后的目标检测模型,得到基础的目标检测模型。
之后,继续采集包裹对应的训练图像数据,并输入至基础的目标检测模型中,获取基础的目标检测模型未检测出的训练图像数据,将未检测出的训练图像数据加入至第一训练数据集中,重新训练基础的目标检测模型,直至第一训练数据集中的训练图像数据达到M1幅,完成对目标检测模型的训练。
其中,N1和M1均为正整数,M1大于N1。
S103:根据包裹对应的二维图像数据中的包裹影像区域,将包裹分为单件包裹和叠件包裹;其中,叠件包裹是指层叠在输送线上的包裹。
设备根据包裹对应的二维图像数据中的包裹影像区域,将包裹分为单件包裹和叠件包裹。
在一个可选的实施方式中,设备根据目标分类模型、包裹对应的二维图像数据以及包裹对应的二维图像数据中的包裹影像区域,将包裹分为单件包裹和叠件包裹。
该目标分类模型可以采用Resnet18的网络结构。
下面对该目标分类模型的训练过程进行说明:采集N2幅包裹对应的训练图像数据,识别其中的包裹影像区域,得到包裹影像区域内的图像数据(以下称为目标训练图像数据),组成第二训练数据集。其中,包裹包括单件包裹和叠件包裹。
通过第二训练数据集训练初始化后的目标分类模型,得到基础的目标分类模型。
之后,继续采集包裹对应的训练图像数据,识别其中的包裹影像区域,得到目标训练图像数据,并输入至基础的目标分类模型中,获取基础的目标分类模型未准确识别的目标训练图像数据,将未准确识别的目标训练图像数据加入至第二训练数据集,重新训练基础的目标分类模型,直至第二训练数据集中的目标训练图像数据达到M2幅,完成对目标分类模型的训练。
其中,N2和M2均未正整数,M2大于N2。
在一个可选的实施方式中,限定第二训练数据集中关于单件包裹的目标训练图像数据和关于叠件包裹的目标训练图像数据的数量相同,或,第二训练数据集中关于单件包裹的目标训练图像数据与关于叠件包裹的目标训练图像数据的数量差在预设范围内。
S104:根据单件包裹对应的三维点云数据,得到单件包裹的尺寸。
设备根据单件包裹对应的三维点云数据,得到单件包裹的尺寸。
在一个可选的实施方式中,请参见图3,图3是本申请第一实施例提供的一种包裹分类方法中S104的示意流程图,S104包括:
S1041:过滤单件包裹对应的三维点云数据中的背景点云数据,得到目标点云数据。
如前述,获取的包裹对应的三维点云数据中不仅包括与包裹相关的三维点云数据,还会包括与背景相关的三维点云数据。
故,为了更好地计算单件包裹的尺寸,设备需先过滤单件包裹对应的三维点云数据中的背景点云数据,得到目标点云数据。
在一个可选的实施方式中,可以通过如下的方式过滤背景点云数据,请参见图4,图4是本申请第一实施例提供的一种包裹分类方法中S1041的示意流程图,S1041包括:
S10411:根据单件包裹对应的三维点云数据,得到数据变换矩阵和背景过滤参数。
设备根据单件包裹对应的三维点云数据,得到数据变换矩阵和背景过滤参数。
其中,数据变换矩阵可用于对点云数据进行坐标系变换,具体地,可以通过如下方式得到数据变换矩阵:
首先,设备根据单件包裹对应的三维点云数据和预设的主成分分析算法,提取目标方向向量。
预设的主成分分析算法即为PCA(Principal Components Analysis)算法,基于该预设的主成分分析算法,能够提取到使得特征向量投射误差最小的三个目标方向向量。
将单件包裹对应的三维点云数据作为一组特征向量,表示为{p1,p2,…,pn},n为单件包裹对应的三维点云数据中点的数量,用pi表示第i个特征向量,也即第i个点对应的三维点云数据,提取到的目标方向向量分别表示为/>
之后,设备再根据单件包裹对应的三维点云数据,获取点云数据重心。
其中,点云数据重心包括所有点分别在第一维度、第二维度和第三维度上的值的平均值,第一维度、第二维度和第三维度分别指三维直角坐标系中x轴对应的维度、y轴对应的维度和z轴对应的维度,该三维直角坐标系为三维点云数据所在的坐标系。
点云数据中心为xc,yc和zc,n的含义与前述相同。
最后,根据目标方向向量和点云数据重心,得到数据变换矩阵。该数据变换矩阵表示为T,
背景过滤参数用于背景点的去除,具体地,可以通过如下方式得到背景过滤参数:
首先,设备根据单件包裹对应的三维点云数据和数据变换矩阵,得到变换后的三维点云数据。
其中,如前述,第i个点对应的三维点云数据表示为pi,第i个点对应的变换后的三维点云数据表示为/>
之后,设备将变换后的三维点云数据中第三维度上的最大值作为背景过滤参数。其中,第三维度是指三维直角坐标系中Z轴对应的维度。
背景过滤参数表示为zmax,zmax=max(z1 t,z2 t,...,zn t),其中,max()表示提取最大值,z1 t,z2 t,...,zn t分别为第1个点对应的变换后的三维点云数据中第三维度上的值、第2个点对应的变换后的三维点云数据中第三维度上的值至第n个点对应的变换后的三维点云数据中第三维度上的值。
S10412:识别单件包裹对应的三维点云数据中的包裹点云区域,得到包裹点云数据。
设备识别单件包裹对应的三维点云数据中的包裹点云区域,将包裹点云区域内的点云数据作为包裹点云数据。
其中,包裹点云数据表示为P0。
S10413:根据包裹点云数据和数据变换矩阵,得到变换后的包裹点云数据。
设备根据包裹点云数据和数据变换矩阵,得到变换后的包裹点云数据。其中,数据变换矩阵仍为T,数据变换方式相同,区别在于,一帧单件包裹对应的三维点云数据中仅针对其中的包裹点云数据进行数据变换,得到变换后的包裹点云数据。
S10414:根据背景过滤参数过滤变换后的包裹点云数据,得到目标点云数据。
设备根据背景过滤参数过滤变换后的包裹点云数据,得到目标点云数据。
具体地,设备仅保留变换后的包裹点云数据中第三维度上的值小于zmax的点,得到目标点云数据,目标点云数据表示为P1。
S1042:对目标点云数据进行聚类,得到点云数据集合。
设备对目标点云数据进行聚类,得到点云数据集合。
具体地,设备通过基于欧式距离的聚类算法对目标点云数据进行聚类,得到若干个点云数据集合。
过程如下;
(1)随机从目标点云数据P1中选取种子点p0。
(2)应用预设的寻找临近点算法(例如:KDTree算法)从目标点云数据P1中找到距离p0最近的N(可调节参数)个点,计算这N个点到目标点云数据p0的距离,将距离小于阈值R(可调节参数)的点加入到点云数据集合中。
(3)在点云数据集合Q0中,对每一个新加入的点p0i执行步骤2,将符合条件的点加入到点云数据集合Q0中,不断的重复步骤(2)和(3),直至Q0没有新加入的点,则完成了点云数据集合Q0的搜索。
(4)在目标点云数据P1的剩余点中随机选取种子点pi,执行步骤2和3,找到对应的点云数据集合Qi。
(5)不断重复步骤(4)直至目标点云数据P1中没有剩余的点,完成所有搜索,得到若干个点云数据集合{Q0,Q1,…,Qi}。
S1043:从点云数据集合中选取目标点云数据集合。
其中,目标点云数据集合为点数量最多的点云数据集合。
S1044:根据目标点云数据集合,计算单件包裹的尺寸。
设备根据目标点云数据集合,计算单件包裹的尺寸。
在一个可选的实施方式中,请参见图5,图5是本申请第一实施例提供的一种包裹分类方法中S1044的示意流程图,S1044包括:
S10441:获取目标点云数据集合中所有点在第三维度上的最大值作为单件包裹的高度;其中,第三维度是指三维直角坐标系中z轴对应的维度。
S10442:提取目标点云数据集合中所有点在第一维度和第二维度上的值;其中,第一维度和第二维度是指三维直角坐标系中x轴对应的维度和y轴对应的维度。
S10443:根据所有点在第一维度和第二维度上的值以及预设的最小外接矩形算法,得到单件包裹的长度和宽度。
一方面,设备获取目标点云数据集合中所有点在第三维度上的最大值作为单件包裹的高度;另一方面,设备提取目标点云数据集合中所有点在第一维度和第二维度上的值,得到一个二维点云数据集合,之后,应用预设的最小外接矩形算法处理该二维点云数据集合,计算出单件包裹的长度和宽度。
其中,第一维度、第二维度和第三维度分别指三维直角坐标系中x轴对应的维度、y轴对应的维度和z轴对应的维度。
S105:根据单件包裹的尺寸,将单件包裹分为常规尺寸包裹和超尺寸包裹;其中,超尺寸包裹是指尺寸超过预设尺寸阈值的单件包裹。
设备根据单件包裹的尺寸,将单件包裹分为常规尺寸包裹和超尺寸包裹。
在一个可选的实施方式中,常规尺寸包裹是指高度、长度以及宽度未超过对应的预设尺寸阈值的单件包裹。超尺寸包裹是指高度、长度以及宽度某一项超过对应的预设尺寸阈值的单件包裹。
在一个可选的实施方式中,对于超尺寸包裹需要进行剔除操作,该方法还包括:设备获取超尺寸包裹在输送线上的当前位置;根据超尺寸包裹在输送线上的当前位置,对达到预设位置的超尺寸包裹进行剔除。
具体地,设备获取相机的内参矩阵和外参矩阵,以及二维图像数据中的超尺寸包裹对应的影像区域,根据相机的内参矩阵和外参矩阵以及二维图像数据中的超尺寸包裹对应的影像区域,得到采集该二维图像数据时该超尺寸包裹在输送线上的位置。之后,设备根据采集包裹图像时集装包裹在输送线上的位置、该二维图像数据的采集时间、当前时间以及包裹输送速度,得到超尺寸包裹在输送线上的当前位置,最后,根据超尺寸包裹在输送线上的当前位置,对达到预设位置的超尺寸包裹进行剔除。
在一个可选的实施方式中,由于每个包裹在进入数据采集设备的视野范围内至离开视野范围内的过程中,数据采集设备会多次采集该包裹对应的三维点云数据。
那么,S101对输送线上运输的包裹进行数据采集,得到包裹对应的二维图像数据和三维点云数据的步骤中,包括:
设备对输送线上运输的包裹进行数据采集,得到同一个包裹对应的若干帧三维点云数据。
S105根据单件包裹的尺寸,将单件包裹分为常规尺寸包裹和超尺寸包裹,包括:
设备根据同一个单件包裹对应的若干帧(至少两帧)三维点云数据,得到单件包裹的若干个尺寸。
之后,设备根据单件包裹的若干个尺寸和预设尺寸阈值,得到单件包裹的若干个初始分类结果。
一个初始分类结果是指一帧三维点云数据对应的分类结果,针对同一单件包裹采集的不同帧的三维点云数据,可能会存在分类结果不同的情况,将其称为初始分类结果。
最后,设备根据单件包裹的若干个初始分类结果,将单件包裹分为常规尺寸包裹和超尺寸包裹,具体地,若判断单件包裹为常规尺寸包裹的初始分类结果的数量大于判断单件包裹为超尺寸包裹的初始分类结果的数量,则设备将单件包裹分为常规尺寸包裹。若判断单件包裹为常规尺寸包裹的初始分类结果的数量小于判断单件包裹为超尺寸包裹的初始分类结果的数量,则设备将单件包裹分为超尺寸包裹。
本申请实施例中,设备对输送线上运输的包裹进行数据采集,得到包裹对应的二维图像数据和三维点云数据;识别包裹对应的二维图像数据中的包裹影像区域;根据包裹对应的二维图像数据中的包裹影像区域,将包裹分为单件包裹和叠件包裹;其中,叠件包裹是指层叠在输送线上的包裹;根据单件包裹对应的三维点云数据,得到单件包裹的尺寸根据单件包裹的尺寸,将单件包裹分为常规尺寸包裹和超尺寸包裹;其中,超尺寸包裹是指尺寸超过预设尺寸阈值的单件包裹。上述方法,通过识别包裹对应的二维图像数据中的包裹影像区域,将包裹区分为单件包裹和叠件包裹,从而避免了在测量叠件包裹尺寸时,将其误判为超尺寸包裹,提高了包裹分类的准确性,并且,基于单件包裹对应的三维点云数据,计算单件包裹的尺寸,能够更准确地将单件包裹分为常规尺寸包裹和超尺寸包裹,进而有效避免了由包裹误分类而对无人化供件系统产生的影响,大幅提升了无人供件效率。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
请参见图6,图6是本申请第二实施例提供的包裹分类装置的示意图。包括的各单元用于执行图2对应的实施例中的各步骤。具体请参阅图2对应的实施例中的相关描述。为了便于说明,仅示出了与本实施例相关的部分。参见图6,包裹分类装置6包括:
采集单元61,用于对输送线上运输的包裹进行数据采集,得到包裹对应的二维图像数据和三维点云数据;
识别单元62,用于识别包裹对应的二维图像数据中的包裹影像区域;
第一分类单元63,用于根据包裹对应的二维图像数据中的包裹影像区域,将包裹分为单件包裹和叠件包裹;其中,叠件包裹是指层叠在输送线上的包裹;
尺寸计算单元64,用于根据单件包裹对应的三维点云数据,得到单件包裹的尺寸;
第二分类单元65,用于根据单件包裹的尺寸,将单件包裹分为常规尺寸包裹和超尺寸包裹;其中,超尺寸包裹是指尺寸超过预设尺寸阈值的单件包裹。
进一步地,尺寸计算单元64,包括:过滤单元,用于过滤单件包裹对应的三维点云数据中的背景点云数据,得到目标点云数据;聚类单元,用于对目标点云数据进行聚类,得到点云数据集合;选取单元,用于从点云数据集合中选取目标点云数据集合;其中,目标点云数据集合为点数量最多的点云数据集合;第一计算单元,根据目标点云数据集合,计算单件包裹的尺寸。
进一步地,过滤单元,包括:第二计算单元,用于根据单件包裹对应的三维点云数据,得到数据变换矩阵和背景过滤参数;第一识别单元,用于识别单件包裹对应的三维点云数据中的包裹点云区域,得到包裹点云数据;第一变换单元,用于根据包裹点云数据和数据变换矩阵,得到变换后的包裹点云数据;第一过滤单元,用于根据背景过滤参数过滤变换后的包裹点云数据,得到目标点云数据。
进一步地,第二计算单元,具体用于:根据单件包裹对应的三维点云数据和预设的主成分分析算法,提取目标方向向量;根据单件包裹对应的三维点云数据,获取点云数据重心;其中,点云数据重心包括所有点分别在第一维度、第二维度和第三维度上的值的平均值;其中,所述第一维度、所述第二维度和所述第三维度分别指三维直角坐标系中x轴对应的维度、y轴对应的维度和z轴对应的维度;根据目标方向向量和点云数据重心,得到数据变换矩阵。
进一步地,第二计算单元,还具体用于:根据单件包裹对应的三维点云数据和数据变换矩阵,得到变换后的三维点云数据;将变换后的三维点云数据中第三维度上的最大值作为背景过滤参数。
进一步地,第一计算单元,具体用于:获取目标点云数据集合中所有点在第三维度上的最大值作为单件包裹的高度;其中,所述第三维度是指三维直角坐标系中z轴对应的维度;提取目标点云数据集合中所有点在第一维度和第二维度上的值;其中,第一维度和第二维度是指三维直角坐标系中x轴对应的维度和y轴对应的维度;根据所有点在第一维度和第二维度上的值以及预设的最小外接矩形算法,得到单件包裹的长度和宽度。
进一步地,采集单元61,具体用:对输送线上运输的包裹进行数据采集,得到同一个包裹对应的若干帧三维点云数据;第二分类单元65,具体用于:根据同一个单件包裹对应的若干帧三维点云数据,得到单件包裹的若干个尺寸;根据单件包裹的若干个尺寸和预设尺寸阈值,得到单件包裹的若干个初始分类结果;若判断所述单件包裹为常规尺寸包裹的初始分类结果的数量大于判断所述单件包裹为超尺寸包裹的初始分类结果的数量,则将所述单件包裹分为常规尺寸包裹;若判断所述单件包裹为常规尺寸包裹的初始分类结果的数量小于判断所述单件包裹为超尺寸包裹的初始分类结果的数量,则将所述单件包裹分为超尺寸包裹。
进一步地,包裹分类装置6,还包括:获取单元,用于获取超尺寸包裹在输送线上的当前位置;剔除单元,用于根据超尺寸包裹在输送线上的当前位置,对达到预设位置的超尺寸包裹进行剔除。
请参见图7,图7是本申请第三实施例提供的集装包裹识别设备的示意图。如图7所示,该实施例的集装包裹识别设备7包括:处理器70、存储器71以及存储在所述存储器71中并可在所述处理器70上运行的计算机程序72,例如集装包裹识别程序。所述处理器70执行所述计算机程序72时实现上述各个包裹分类方法实施例中的步骤,例如图2所示的步骤S101至S105。或者,所述处理器70执行所述计算机程序72时实现上述各装置实施例中各模块/单元的功能,例如图6所示采集单元61至第二分类单元65的功能。
示例性的,所述计算机程序72可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器71中,并由所述处理器70执行,以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序72在所述集装包裹识别设备7中的执行过程。例如,所述计算机程序72可以被分割成采集单元、识别单元、第一分类单元、尺寸计算单元、第二分类单元,各单元具体功能如下:
采集单元,用于对输送线上运输的包裹进行数据采集,得到包裹对应的二维图像数据和三维点云数据;
识别单元,用于识别包裹对应的二维图像数据中的包裹影像区域;
第一分类单元,用于根据包裹对应的二维图像数据中的包裹影像区域,将包裹分为单件包裹和叠件包裹;其中,叠件包裹是指层叠在输送线上的包裹;
尺寸计算单元,用于根据单件包裹对应的三维点云数据,得到单件包裹的尺寸;
第二分类单元,用于根据单件包裹的尺寸,将单件包裹分为常规尺寸包裹和超尺寸包裹;其中,超尺寸包裹是指尺寸超过预设尺寸阈值的单件包裹。
所述集装包裹识别设备7可包括,但不仅限于,处理器70、存储器71。本领域技术人员可以理解,图7仅仅是集装包裹识别设备7的示例,并不构成对集装包裹识别设备7的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述集装包裹识别设备7还可以包括输入输出设备、网络接入设备、总线等。
所称处理器70可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器71可以是所述集装包裹识别设备7的内部存储单元,例如集装包裹识别设备7的硬盘或内存。所述存储器71也可以是所述集装包裹识别设备7的外部存储设备,例如所述集装包裹识别设备7上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述集装包裹识别设备7还可以既包括所述集装包裹识别设备7的内部存储单元也包括外部存储设备。所述存储器71用于存储所述计算机程序以及所述集装包裹识别设备7所需的其他程序和数据。所述存储器71还可以用于暂时地存储已经输出或者将要输出的数据。
需要说明的是,上述装置/单元之间的信息交互、执行过程等内容,由于与本申请方法实施例基于同一构思,其具体功能及带来的技术效果,具体可参见方法实施例部分,此处不再赘述。
请参见图8,图8是本申请第四实施例提供的集装包裹识别系统的示意图。集装包裹识别系统8包括:包裹输送设备81、数据采集设备82、处理器83、存储器84以及存储在所述存储器84中并可在所述处理器83上运行的计算机程序;
所述包裹输送设备81用于通过输送线运输包裹;
所述数据采集设备82用于对所述输送线上运输的包裹进行图像采集;
所述处理器83,用于在执行所述计算机程序时实现如上述第一实施例所述的方法。
该处理器83和存储器84可以为一台独立设备中的部件,例如:包裹分类设备中的部件,也可以为设置于包裹输送设备81中的部件。
本申请实施例还提供了一种网络设备,该网络设备包括:至少一个处理器、存储器以及存储在所述存储器中并可在所述至少一个处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述任意各个方法实施例中的步骤。
本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品,当计算机程序产品在移动终端上运行时,使得移动终端执行时实现可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括:能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区,根据立法和专利实践,计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置/网络设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/网络设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
Claims (10)
1.一种包裹分类方法,其特征在于,包括:
对输送线上运输的包裹进行数据采集,得到所述包裹对应的二维图像数据和三维点云数据;
识别所述包裹对应的二维图像数据中的包裹影像区域;
根据所述包裹对应的二维图像数据中的包裹影像区域,将所述包裹分为单件包裹和叠件包裹;其中,所述叠件包裹是指层叠在所述输送线上的包裹;
根据所述单件包裹对应的三维点云数据,得到所述单件包裹的尺寸;
根据所述单件包裹的尺寸,将所述单件包裹分为常规尺寸包裹和超尺寸包裹;其中,所述超尺寸包裹是指尺寸超过预设尺寸阈值的单件包裹。
2.如权利要求1所述的包裹分类方法,其特征在于,所述根据所述单件包裹对应的三维点云数据,得到所述单件包裹的尺寸,包括:
过滤所述单件包裹对应的三维点云数据中的背景点云数据,得到目标点云数据;
对所述目标点云数据进行聚类,得到点云数据集合;
从所述点云数据集合中选取目标点云数据集合;其中,所述目标点云数据集合为点数量最多的点云数据集合;
根据所述目标点云数据集合,计算所述单件包裹的尺寸。
3.如权利要求2所述的包裹分类方法,其特征在于,所述过滤所述单件包裹对应的三维点云数据中的背景点云数据,得到目标点云数据,包括:
根据所述单件包裹对应的三维点云数据,得到数据变换矩阵和背景过滤参数;
识别所述单件包裹对应的三维点云数据中的包裹点云区域,得到包裹点云数据;
根据所述包裹点云数据和所述数据变换矩阵,得到变换后的包裹点云数据;
根据所述背景过滤参数过滤所述变换后的包裹点云数据,得到所述目标点云数据。
4.如权利要求3所述的包裹分类方法,其特征在于,所述根据所述单件包裹对应的三维点云数据,得到数据变换矩阵和背景过滤参数的步骤中,包括:
根据所述单件包裹对应的三维点云数据和预设的主成分分析算法,提取目标方向向量;
根据所述单件包裹对应的三维点云数据,获取点云数据重心;其中,所述点云数据重心包括所有点分别在第一维度、第二维度和第三维度上的值的平均值;其中,所述第一维度、所述第二维度和所述第三维度分别指三维直角坐标系中x轴对应的维度、y轴对应的维度和z轴对应的维度;
根据所述目标方向向量和所述点云数据重心,得到所述数据变换矩阵。
5.如权利要求4所述的包裹分类方法,其特征在于,所述根据所述单件包裹对应的三维点云数据,得到数据变换矩阵和背景过滤参数的步骤中,还包括:
根据所述单件包裹对应的三维点云数据和所述数据变换矩阵,得到变换后的三维点云数据;
将所述变换后的三维点云数据中所述第三维度上的最大值作为所述背景过滤参数。
6.如权利要求2所述的包裹分类方法,其特征在于,所述根据所述目标点云数据集合,计算所述单件包裹的尺寸,包括:
获取所述目标点云数据集合中所有点在第三维度上的最大值作为所述单件包裹的高度;其中,所述第三维度是指三维直角坐标系中z轴对应的维度;
提取所述目标点云数据集合中所有点在第一维度和第二维度上的值;其中,所述第一维度和所述第二维度是指所述三维直角坐标系中x轴对应的维度和y轴对应的维度;
根据所有点在所述第一维度和所述第二维度上的值以及预设的最小外接矩形算法,得到所述单件包裹的长度和宽度。
7.如权利要求1至6任意一项所述的包裹分类方法,其特征在于,所述对输送线上运输的包裹进行数据采集,得到所述包裹对应的二维图像数据和三维点云数据的步骤中,包括:
对输送线上运输的包裹进行数据采集,得到同一个所述包裹对应的若干帧三维点云数据;
所述根据所述单件包裹的尺寸,将所述单件包裹分为常规尺寸包裹和超尺寸包裹,包括:
根据同一个所述单件包裹对应的若干帧三维点云数据,得到所述单件包裹的若干个尺寸;
根据所述单件包裹的若干个尺寸和所述预设尺寸阈值,得到所述单件包裹的若干个初始分类结果;
若判断所述单件包裹为常规尺寸包裹的初始分类结果的数量大于判断所述单件包裹为超尺寸包裹的初始分类结果的数量,则将所述单件包裹分为常规尺寸包裹;
若判断所述单件包裹为常规尺寸包裹的初始分类结果的数量小于判断所述单件包裹为超尺寸包裹的初始分类结果的数量,则将所述单件包裹分为超尺寸包裹。
8.如权利要求1至6任意一项所述的包裹分类方法,其特征在于,还包括:
获取所述超尺寸包裹在所述输送线上的当前位置;
根据所述超尺寸包裹在所述输送线上的当前位置,对达到预设位置的超尺寸包裹进行剔除。
9.一种包裹分类装置,其特征在于,包括:
采集单元,用于对输送线上运输的包裹进行数据采集,得到包裹对应的二维图像数据和三维点云数据;
识别单元,用于识别包裹对应的二维图像数据中的包裹影像区域;
第一分类单元,用于根据包裹对应的二维图像数据中的包裹影像区域,将包裹分为单件包裹和叠件包裹;其中,叠件包裹是指层叠在输送线上的包裹;
尺寸计算单元,用于根据单件包裹对应的三维点云数据,得到单件包裹的尺寸;
第二分类单元,用于根据单件包裹的尺寸,将单件包裹分为常规尺寸包裹和超尺寸包裹;其中,超尺寸包裹是指尺寸超过预设尺寸阈值的单件包裹。
10.一种包裹分类系统,其特征在于,包括:包裹输送设备、数据采集设备、处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序;
所述包裹输送设备用于通过输送线运输包裹;
所述数据采集设备用于对所述输送线上运输的包裹进行数据采集;
所述处理器,用于在执行所述计算机程序时实现如权利要求1至8任意一项所述方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211302413.6A CN117975075A (zh) | 2022-10-24 | 2022-10-24 | 一种包裹分类方法、装置及系统 |
PCT/CN2023/126124 WO2024088238A1 (zh) | 2022-10-24 | 2023-10-24 | 包裹分类方法、装置及系统、电子设备及储存介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211302413.6A CN117975075A (zh) | 2022-10-24 | 2022-10-24 | 一种包裹分类方法、装置及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117975075A true CN117975075A (zh) | 2024-05-03 |
Family
ID=90830116
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211302413.6A Pending CN117975075A (zh) | 2022-10-24 | 2022-10-24 | 一种包裹分类方法、装置及系统 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN117975075A (zh) |
WO (1) | WO2024088238A1 (zh) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109029250A (zh) * | 2018-06-11 | 2018-12-18 | 广东工业大学 | 一种基于三维相机检测包裹尺寸的方法、装置以及设备 |
CN108960202B (zh) * | 2018-08-01 | 2022-05-10 | 京东方科技集团股份有限公司 | 一种智能货架、系统、判断商品叠放的方法 |
CN109190696A (zh) * | 2018-08-28 | 2019-01-11 | 江苏科技大学苏州理工学院 | 一种物流包裹分类方法、装置、设备及可读存储介质 |
CN114255199A (zh) * | 2020-09-10 | 2022-03-29 | 顺丰科技有限公司 | 一种包裹数量检测方法、装置及存储介质 |
CN114581803A (zh) * | 2022-03-01 | 2022-06-03 | 北京京东振世信息技术有限公司 | 一种物品识别处理方法和装置 |
CN114862929A (zh) * | 2022-04-19 | 2022-08-05 | 深圳市优必选科技股份有限公司 | 三维目标检测方法、装置、计算机可读存储介质及机器人 |
-
2022
- 2022-10-24 CN CN202211302413.6A patent/CN117975075A/zh active Pending
-
2023
- 2023-10-24 WO PCT/CN2023/126124 patent/WO2024088238A1/zh unknown
Also Published As
Publication number | Publication date |
---|---|
WO2024088238A1 (zh) | 2024-05-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112528878B (zh) | 检测车道线的方法、装置、终端设备及可读存储介质 | |
EP3008666B1 (en) | Image based object classification | |
CN108388879B (zh) | 目标的检测方法、装置和存储介质 | |
CN110070090B (zh) | 一种基于手写文字识别的物流标签信息检测方法及系统 | |
CN109284664B (zh) | 驾驶员辅助系统和护栏检测方法 | |
US11854249B2 (en) | Character recognition method and terminal device | |
US20230175945A1 (en) | Method for determining the particle size distribution of parts of a bulk material fed onto a conveyor belt | |
CN110136044B (zh) | 一种物品分拣方法、系统、设备及智能终端 | |
EP3726421A2 (en) | Recognition method and apparatus for false detection of an abandoned object and image processing device | |
KR20200036079A (ko) | 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치 및 방법 | |
EP3761221B1 (en) | Pedestrian re-identification method and apparatus | |
CN117975075A (zh) | 一种包裹分类方法、装置及系统 | |
CN115588145B (zh) | 基于无人机的河道垃圾漂浮识别方法及系统 | |
CN115082449B (zh) | 一种电子元器件缺陷检测方法 | |
CN116543003A (zh) | 一种图像目标分割方法及其系统 | |
CN112464938B (zh) | 车牌检测识别方法、装置、设备及存储介质 | |
CN113239738B (zh) | 一种图像的模糊检测方法及模糊检测装置 | |
CN112287769B (zh) | 一种人脸检测方法、装置、设备和存储介质 | |
CN111445401B (zh) | 圆柱棒料无序分拣的视觉识别方法、装置、设备及介质 | |
CN114226257A (zh) | 一种包裹分离方法、装置、电子设备及存储介质 | |
Hobson et al. | Rule based concave curvature segmentation for touching rice grains in binary digital images | |
JP4424798B2 (ja) | 物体の認識方法および認識装置並びに物体の選別装置 | |
CN113361446B (zh) | 一种x射线包裹图像提取方法 | |
US20230075334A1 (en) | Method for determining, in parts, the volume of a bulk material fed onto a conveyor belt | |
CN113657333B (zh) | 警戒线识别方法、装置、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |