CN116109670A - 基于目标检测的动态包裹计数方法及系统 - Google Patents

基于目标检测的动态包裹计数方法及系统 Download PDF

Info

Publication number
CN116109670A
CN116109670A CN202211741197.5A CN202211741197A CN116109670A CN 116109670 A CN116109670 A CN 116109670A CN 202211741197 A CN202211741197 A CN 202211741197A CN 116109670 A CN116109670 A CN 116109670A
Authority
CN
China
Prior art keywords
package
counting
parcel
image
similar feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211741197.5A
Other languages
English (en)
Inventor
朱强
唐金亚
杜萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Zhongkeguanwei Automation Technology Co ltd
Original Assignee
Jiangsu Zhongkeguanwei Automation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Zhongkeguanwei Automation Technology Co ltd filed Critical Jiangsu Zhongkeguanwei Automation Technology Co ltd
Priority to CN202211741197.5A priority Critical patent/CN116109670A/zh
Publication of CN116109670A publication Critical patent/CN116109670A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于目标检测的动态包裹计数方法及系统。其包括配置用于获取计数区域运动包裹图像的图像采集装置，其中，对图像采集装置获取的运动包裹图像，利用构建的包裹目标检测模型进行包裹目标检测，以获取运动包裹图像中包裹的位置信息，且利用构建的相似特征向量检测模型进行相似特征向量提取，以获取运动包裹图像中包裹的相似性特征向量；将每帧运动包裹图像中的包裹位置信息与相似特征向量关联，并对每个包裹利用ID号标记，在标记时，不同帧运动包裹图像中的同一包裹保持相同的ID号；基于对包裹标记的ID号以及预配置计数规则，对通过计数区域的包裹进行计数。本发明能有效实现包裹数量的统计，提高包裹动态计数的准确性与可靠性。

Description

基于目标检测的动态包裹计数方法及系统
技术领域
本发明涉及一种包裹计数方法及系统，尤其是一种基于目标检测的动态包裹计数方法及系统。
背景技术
目前，快递物流行业一般采用人工或光电传感器的方式进行计件。人工计件方式工作强度太大，效率太低；而光电传感器的计件方式场景应用有限，必须要求包裹按顺序排列且保持一定的间距，通常需要前置一个单件分离系统，将散乱的包裹有序输出。
因此，对于包裹随意摆放的情况，光电传感器的计件方式不适用，很容易造成漏检。如何设计一种通用性较强的包裹计数系统成为了一个急需解决的技术难题。
发明内容
本发明的目的是克服现有技术中存在的不足，提供一种基于目标检测的动态包裹计数方法及系统，其能有效实现包裹数量的统计，提高包裹动态计数的准确性与可靠性。
按照本发明提供的技术方案，一种基于目标检测的动态包裹计数方法，所述动态包裹计数方法包括：
配置用于获取计数区域运动包裹图像的图像采集装置，其中，对图像采集装置获取的运动包裹图像，利用构建的包裹目标检测模型进行包裹目标检测，以获取运动包裹图像中包裹的位置信息，且利用构建的相似特征向量检测模型进行相似特征向量提取，以获取运动包裹图像中包裹的相似性特征向量；
将每帧运动包裹图像中的包裹位置信息与相似特征向量关联，并对每个包裹利用ID号标记，在标记时，不同帧运动包裹图像中的同一包裹保持相同的ID号；
基于对包裹标记的ID号以及预配置计数规则，对通过计数区域的包裹进行计数。
图像采集装置为顶扫相机，其中，
所述顶扫相机安装于包裹传送带上方，顶扫相机的安装面与包裹传送带所在平面平行，利用顶扫相机获取运动包裹图像的画面水平方向与包裹传送带的运行方向平行或垂直。
对构建的包裹目标检测模型，所述包裹目标检测模型为基于PP-Picodet的目标检测模型，包裹目标检测模型内采用PP-LCNet作为骨干网络。
对相似特征向量检测模型，所述相似特征向量检测模型为基于孪生神经网络的模型。
对每个包裹利用ID号标记时，包括：
将当前帧运动包裹图像检测到的包裹记为候选集合{a0…ai…an}，其中，ai为第i个候选目标框，将对应包裹的相似特征向量集合记为
Figure BDA0004033309220000021
n为候选目标框的数量；
将先前帧运动包裹图像出现的包裹记为待匹配集合{b0…bj…bm}，将对应包裹的特征向量集合记为
Figure BDA0004033309220000022
其中，bj为第j个待匹配预测框，m为待匹配预测框的数量；
将待匹配集合中第j个待匹配目标框bj沿包裹传送方向逐像素滑动，以生成滑动目标框集合{cj,0…cj,k…cj,m}；
对于第j组的滑动目标框{cj,0…cj,k…cj,m}，遍历候选集合{a0…ai…an}，并计算交并比IOU，且保留交并比IOU最大的一对滑动目标框cj,k和候选目标框ai；
将所有保留后的滑动目标框记为预测目标框集合{c0…cm}；
依次计算候选集合{a0…ai…an}与预测目标框集合{c0…cj}相应的交并比IOU，记为交并比集合{I0,0…Ii,j}，其中，Ii,j为ai与cj的交并比IOU；
依次计算相似特征向量集合
Figure BDA0004033309220000023
与相似特征向量集合
Figure BDA0004033309220000024
的特征向量距离，以得到特征向量距离集合，其中，相似特征向量
Figure BDA0004033309220000025
与相似特征向量
Figure BDA0004033309220000026
相应的特性向量距离为：
Figure BDA0004033309220000027
其中，
Figure BDA0004033309220000028
为相似特征向量内积的绝对值，
Figure BDA0004033309220000029
为相似特征向量
Figure BDA00040333092200000210
的模，
Figure BDA00040333092200000211
为相似特征向量
Figure BDA00040333092200000212
的模；
计算交并比集合IOU{I0,0…Ii,j}与特征向量距离集合相应的加权归一化分数{S0,0…Si,j}；
将加权归一化分数{S0,0…Si,j}按降序排序保留下标信息并依次遍历，若当前遍历元素下标从未出现则记录保留，否则将元素置0；
将最终保留下不为0的元素配置为已匹配预测目标框；
对已匹配预测目标框，其对应的包裹位置信息使用候选目标框更新，并将预测目标框对应包裹的状态配置为激活状态；
对于未匹配上的待匹配预测框，将其对应的包裹标记为丢失状态；
对于未匹配上的候选目标框，使用新ID进行标记，ID从1开始依次递增，并加入待匹配集合；
对于连续丢失次数超过所设丢失次数阈值的包裹将其从待匹配集合中删除。
对加权归一化分数，则有：
Si,j＝αIi,j+(1-α)γdi,j
其中，α、γ为系数。
对计数区域，所述计数区域的中心与图像采集中心的中心相一致。
计数区域的长度与运动包裹图像垂直方向像素数量相同，计数区域的宽度为运动包裹图像水平方向像素数量的五分之一。
对预配置的计数规则，包括：
当有被新ID标号的包裹进入所设计数区域时进行标记，记录所述新ID标号包裹相应的初始目标框信息；
在计数区域内，所述ID标号的包裹在后续的包裹运动图像中再次出现时，计算所述包裹的当前目标框与初始记录目标框中心点的偏移距离和偏移方向；
若偏移方向与传送带运行方向一致且偏移距离大于设定预设偏移距离阈值，则计数值加1。
一种基于目标检测的动态包裹计数系统，包括包裹计数控制器，其中，
对包裹输送的物流包裹，包裹计数控制器采用上述的计数方法进行包裹计数。
本发明的优点：通过所述图像采集装置获取运动包裹包裹图像；利用构建的包裹目标检测模型进行包裹目标检测，以获取运动包裹图像中包裹的位置信息，利用构建的相似特征向量检测模型进行相似特征向量提取，以获取运动包裹图像中包裹的相似性特征向量；将每帧运动包裹图像中的包裹位置信息与相似特征向量关联，并对每个包裹利用ID号标记，在标记时，不同帧运动包裹图像中的同一包裹保持相同的ID号，即可避免重复计数；通过对计数区域内符合规则的包裹进行自动计数，有效解决了人工与光电传感器计件效率低下、使用场景受限等问题。
附图说明
图1为本发明的一种实施例流程图。
具体实施方式
下面结合具体附图和实施例对本发明作进一步说明。
为了能有效实现包裹数量的统计，提高包裹动态计数的准确性与可靠性，对基于目标检测的动态包裹计数方法，本发明的一种实施例汇总，所述动态包裹计数方法包括：
配置用于获取计数区域运动包裹图像的图像采集装置，其中，对图像采集装置获取的运动包裹图像，利用构建的包裹目标检测模型进行包裹目标检测，以获取运动包裹图像中包裹的位置信息，且利用构建的相似特征向量检测模型进行相似特征向量提取，以获取运动包裹图像中包裹的相似性特征向量；
将每帧运动包裹图像中的包裹位置信息与相似特征向量关联，并对每个包裹利用ID号标记，在标记时，不同帧运动包裹图像中的同一包裹保持相同的ID号；
基于对包裹标记的ID号以及预配置计数规则，对通过计数区域的包裹进行计数。
图1中示出了进行动态包裹计数的一种流程图，由图1可知，在进行动态计数时，需要先配置图像采集装置，利用图像采集装置可获取计数区域内运动包裹图像。
利用图像采集装置获取运动包裹图像时，本发明的一种实施例中，图像采集装置为顶扫相机，其中，
所述顶扫相机安装于包裹传送带上方，顶扫相机的安装面与包裹传送带所在平面平行，利用顶扫相机获取运动包裹图像的画面水平方向与包裹传送带的运行方向平行或垂直。
具体地，顶扫相机可采用现有常用的形式，顶扫相机位于包裹传送带的上方，包裹传送带能实现对包裹的传送，包裹传送带对包裹输送的方式以及过程可与现有相一致，具体实现对包裹传送的情况可根据需要选择，以能满足对包裹传送为准。
对于计数区域，具体是指包裹传送带上的一区域，包裹通过所述区域时，实现对包裹的计数，计数区域在包裹传送带上的情况可根据实际需要选择。选择的计数区域，一般为图像采集装置可获取运动包裹图像的区域。
具体实施时，对计数区域，所述计数区域的中心与图像采集中心的中心相一致。计数区域的长度与运动包裹图像垂直方向像素数量相同，计数区域的宽度为运动包裹图像水平方向像素数量的五分之一。
具体实施时，在对包裹计数时，一般需要先构建包裹目标检测模型，以及相似特征向量检测模型，其中，用构建的包裹目标检测模型进行包裹目标检测，以获取运动包裹图像中包裹的位置信息。利用构建的相似特征向量检测模型进行相似特征向量提取，以获取运动包裹图像中包裹的相似性特征向量。
本发明的一种实施例中，对构建的包裹目标检测模型，所述包裹目标检测模型为基于PP-Picodet的目标检测模型，包裹目标检测模型内采用PP-LCNet作为骨干网络。
具体实施时，包裹目标检测模型采用基于PP-Picodet目标检测模型，PP-Picodet目标检测模型为现有常用的目标检测模型。为了能实现运动包裹图像进行目标检测，需要对基于PP-Picodet目标检测模型进行训练，以在训练后构建得到包裹目标检测模型。训练时，共采集500张含有各类包裹的图像，按8:2的比例划分训练集和验证集，取MAP值最高的权重为最终模型权重，具体的训练过程可采用现有常用的形式，具体以能得到所需的包裹目标检测模型为准。
具体实施时，为保证能够多次抓拍到同一包裹，应当依据图像采集装置的视野以及包裹传送带速率设定图像采集装置的帧率。本发明的一种实施例中，相机视野为1500mmx1200mm，包裹传送带的速率为1.2m/s，图像采集装置的帧率设置为15帧。
当运动包裹图像中存在多个包裹时，包裹目标检测模型在进行包裹检测时，会得到多个预测框。为了提高计数的可靠性，可通过非极大值抑制方式对预测框进行筛选删除，以可快速准确定位每个包裹。通过非极大值抑制方式对预测框筛选删除的方式以及过程可与现有相一致，此处不再详述。
工作时，利用包裹目标检测模型对运动包裹图像中的包裹进行目标检测时，只需要将RGB彩色图像的运动包裹图像作为输入，输出为包裹在图像中的预测框集合，对任一预测框，可确定所述预测框的左上角坐标(x1，y1)与右下角坐标(x2，y2)，即可确定包裹的位置信息。
本发明的一种实施例中，对相似特征向量检测模型，所述相似特征向量检测模型为基于孪生神经网络的模型。
具体地，孪生神经网络可选择最基本的2-branches，2-branches的孪生神经网络为现有常用骨干网络以及孪生网络结构，为本技术领域人员所熟知，故不再赘述。
对选择2-branches的孪生神经网络进行训练，可得到相似特征向量检测模型。在训练时，共采集4000张包裹图像，按8:2的比例划分训练集和验证集，取F1值最高的权重为最终模型权重。对孪生神经网络进行训练方法以及步骤，可与现有相一致，为本技术领域人员所熟知，故不再赘述。
当相似特征向量检测模型基于孪生神经网络构建得到时，根据孪生神经网络的特性可知，相似特征向量检测模型可输出高纬度空间特征，即能得到所需的相似特征向量。具体实施时，同一包裹对应的相似特征向量余弦距离较为接近，不同包裹对应的相似特征向量的余弦距离较远，因此，利用相似特征向量可描述包裹的相似性。本发明的一种实施例中，相似性特征向量的维数可固定为64，即每个包裹对应一个大小为1x64的特征向量。
本发明的一种实施例中，将每帧运动包裹图像中的包裹位置信息与相似特征向量关联，并对每个包裹利用ID号标记，在标记时，不同帧运动包裹图像中的同一包裹保持相同的ID号；
具体地，对每个包裹利用ID号标记时，包括：
将当前帧运动包裹图像检测到的包裹记为候选集合{a0…ai…an}，其中，ai为第i个候选目标框，将对应包裹的相似特征向量集合记为
Figure BDA0004033309220000051
n为候选目标框的数量；
将先前帧运动包裹图像出现的包裹记为待匹配集合{b0…bj…bm}，将对应包裹的特征向量集合记为
Figure BDA0004033309220000061
其中，bj为第j个待匹配预测框，m为待匹配预测框的数量；
将待匹配集合中第j个待匹配目标框bj沿包裹传送方向逐像素滑动，以生成滑动目标框集合{cj,0…cj,k…cj,m}；
对于第j组的滑动目标框{cj,0…cj,k…cj,m}，遍历候选集合{a0…ai…an}，并计算交并比IOU，且保留交并比IOU最大的一对滑动目标框cj,k和候选目标框ai；
将所有保留后的滑动目标框记为预测目标框集合{c0…cm}；
依次计算候选集合{a0…ai…an}与预测目标框集合{c0…cj}相应的交并比IOU，记为交并比集合{I0,0…Ii,j}，其中，Ii,j为ai与cj的交并比IOU；
依次计算相似特征向量集合
Figure BDA0004033309220000062
与相似特征向量集合
Figure BDA0004033309220000063
的特征向量距离，以得到特征向量距离集合，其中，相似特征向量
Figure BDA0004033309220000064
与相似特征向量
Figure BDA0004033309220000065
相应的特性向量距离为：
Figure BDA0004033309220000066
其中，
Figure BDA0004033309220000067
为相似特征向量内积的绝对值，
Figure BDA0004033309220000068
为相似特征向量
Figure BDA0004033309220000069
的模，
Figure BDA00040333092200000610
为相似特征向量
Figure BDA00040333092200000611
的模；
计算交并比集合IOU{I0,0…Ii,j}与特征向量距离集合相应的加权归一化分数{S0,0…Si,j}；
将加权归一化分数{S0,0…Si,j}按降序排序保留下标信息并依次遍历，若当前遍历元素下标从未出现则记录保留，否则将元素置0；
将最终保留下不为0的元素配置为已匹配预测目标框；
对已匹配预测目标框，其对应的包裹位置信息使用候选目标框更新，并将预测目标框对应包裹的状态配置为激活状态；
对于未匹配上的待匹配预测框，将其对应的包裹标记为丢失状态；
对于未匹配上的候选目标框，使用新ID进行标记，ID从1开始依次递增，并加入待匹配集合；
对于连续丢失次数超过所设丢失次数阈值的包裹将其从待匹配集合中删除。
具体实施时，候选集合{a0…ai…an}内候选目标框的数量n与运动包裹图像中包裹的数量相关，即与通过目标检测模型进行包裹目标检测的结果相对应。同理，待匹配集合{b0…bj…bm}内待匹配预测框的数量m也与目标检测模型进行包裹目标检测的结果相对应。候选目标框、待匹配预测框的具体情况可参考上述说明，此处不再赘述。
具体实施时，对加权归一化分数，则有：
Si,j＝αIi,j+(1-α)γdi,j
其中，α、γ为系数。系数α以及系数γ一般可根据经验取值，α的取值范围可为[0,1]，γ的取值范围可为(0,2]。
将加权归一化分数{S0,0…Si,j}按降序排序保留下标信息并依次遍历时，如已出现S10,20，则第一下标为10或第二下标为20的元素均置0，以此类推；如最终保留下不为0的加权归一化风速Si，j，即代表候选目标框ai与滑动目标框cj匹配成功。丢失次数阈值一般可设置为0-3，如可设为2。
此外，使用候选目标框更新，具体是指把候选目标框坐标替换这个包裹坐标。到了下一帧之后，当前帧匹配上的候选目标框就成了下一帧的待匹配预测框。
本发明的一种实施例中，对预配置的计数规则，包括：
当有被新ID标号的包裹进入所设计数区域时进行标记，记录所述新ID标号包裹相应的初始目标框信息；
在计数区域内，所述ID标号的包裹在后续的包裹运动图像中再次出现时，计算所述包裹的当前目标框与初始记录目标框中心点的偏移距离和偏移方向；
若偏移方向与传送带运行方向一致且偏移距离大于设定预设偏移距离阈值，则计数值加1。
具体实施时，预设偏移距离阈值可为图像水平方向像素数量的八分之一。初始目标框就型即是ID标号对应包裹第一次出现时的坐标信息，即可通过上述的包裹目标检测模型进行目标检测得到。
上述包裹的当前目标框就是当前帧运动包裹图像中包裹相应的预测框。偏移距离的计算即为初始目标框与当前目标框相应中心点之间的距离。偏移方向的计算具体是指初始目标框与当前目标框相应中心点之间的移动方向。
本发明通过所述图像采集装置获取运动包裹包裹图像；利用构建的包裹目标检测模型进行包裹目标检测，以获取运动包裹图像中包裹的位置信息，利用构建的相似特征向量检测模型进行相似特征向量提取，以获取运动包裹图像中包裹的相似性特征向量；将每帧运动包裹图像中的包裹位置信息与相似特征向量关联，并对每个包裹利用ID号标记，在标记时，不同帧运动包裹图像中的同一包裹保持相同的ID号，即可避免重复计数；通过对计数区域内符合规则的包裹进行自动计数，有效解决了人工与光电传感器计件效率低下、使用场景受限等问题。
通过所述模型训练模块完成包裹检测模型及孪生神经网络训练；通过所述包裹检测模块获取包裹在图像中的位置信息及包裹相似性特征计算；通过所述帧间包裹信息关联模块识别不同时刻的同一包裹，
综上，可得基于目标检测的动态包裹计数系统，包括包裹计数控制器，其中，对包裹输送的物流包裹，包裹计数控制器采用上述的计数方法进行包裹计数。
具体实施时，包裹计数控制器可采用现有常用的设备，包裹计数控制器可采用上述计数方式实现对计数区域内通过的包裹进行计数，具体计数过程可参考上述说明，此处不再赘述。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于目标检测的动态包裹计数方法，其特征是，所述动态包裹计数方法包括：
配置用于获取计数区域运动包裹图像的图像采集装置，其中，对图像采集装置获取的运动包裹图像，利用构建的包裹目标检测模型进行包裹目标检测，以获取运动包裹图像中包裹的位置信息，且利用构建的相似特征向量检测模型进行相似特征向量提取，以获取运动包裹图像中包裹的相似性特征向量；
将每帧运动包裹图像中的包裹位置信息与相似特征向量关联，并对每个包裹利用ID号标记，在标记时，不同帧运动包裹图像中的同一包裹保持相同的ID号；
基于对包裹标记的ID号以及预配置计数规则，对通过计数区域的包裹进行计数。
2.根据权利要求1所述基于目标检测的动态包裹计数方法，其特征是：图像采集装置为顶扫相机，其中，
所述顶扫相机安装于包裹传送带上方，顶扫相机的安装面与包裹传送带所在平面平行，利用顶扫相机获取运动包裹图像的画面水平方向与包裹传送带的运行方向平行或垂直。
3.根据权利要求1所述基于目标检测的动态包裹计数方法，其特征是，对构建的包裹目标检测模型，所述包裹目标检测模型为基于PP-Picodet的目标检测模型，包裹目标检测模型内采用PP-LCNet作为骨干网络。
4.根据权利要求1所述基于目标检测的动态包裹计数方法，其特征是，对相似特征向量检测模型，所述相似特征向量检测模型为基于孪生神经网络的模型。
5.根据权利要求1至4任一项所述基于目标检测的动态包裹计数方法，其特征是，对每个包裹利用ID号标记时，包括：
将当前帧运动包裹图像检测到的包裹记为候选集合{a0…ai…an}，其中，ai为第i个候选目标框，将对应包裹的相似特征向量集合记为
Figure FDA0004033309210000011
n为候选目标框的数量；
将先前帧运动包裹图像出现的包裹记为待匹配集合{b0…bj…bm}，将对应包裹的特征向量集合记为
Figure FDA0004033309210000012
其中，bj为第j个待匹配预测框，m为待匹配预测框的数量；
将待匹配集合中第j个待匹配目标框bj沿包裹传送方向逐像素滑动，以生成滑动目标框集合{cj,0…cj,k…cj,m}；
对于第j组的滑动目标框{cj,0…cj,k…cj,m}，遍历候选集合{a0…ai…an}，并计算交并比IOU，且保留交并比IOU最大的一对滑动目标框cj,k和候选目标框ai；
将所有保留后的滑动目标框记为预测目标框集合{c0…cm}；
依次计算候选集合{a0…ai…an}与预测目标框集合{c0…cj}相应的交并比IOU，记为交并比集合{I0,0…Ii,j}，其中，Ii,j为ai与cj的交并比IOU；
依次计算相似特征向量集合
Figure FDA0004033309210000021
与相似特征向量集合
Figure FDA0004033309210000022
的特征向量距离，以得到特征向量距离集合，其中，相似特征向量
Figure FDA0004033309210000023
与相似特征向量
Figure FDA0004033309210000024
相应的特性向量距离为：
Figure FDA0004033309210000025
其中，
Figure FDA0004033309210000026
为相似特征向量内积的绝对值，
Figure FDA0004033309210000027
为相似特征向量
Figure FDA0004033309210000028
的模，
Figure FDA0004033309210000029
为相似特征向量
Figure FDA00040333092100000210
的模；
计算交并比集合
Figure FDA00040333092100000211
与特征向量距离集合相应的加权归一化分数{S0,0…Si,j}；
将加权归一化分数{S0,0…Si,j}按降序排序保留下标信息并依次遍历，若当前遍历元素下标从未出现则记录保留，否则将元素置0；
将最终保留下不为0的元素配置为已匹配预测目标框；
对已匹配预测目标框，其对应的包裹位置信息使用候选目标框更新，并将预测目标框对应包裹的状态配置为激活状态；
对于未匹配上的待匹配预测框，将其对应的包裹标记为丢失状态；
对于未匹配上的候选目标框，使用新ID进行标记，ID从1开始依次递增，并加入待匹配集合；
对于连续丢失次数超过所设丢失次数阈值的包裹将其从待匹配集合中删除。
6.根据权利要求5所述基于目标检测的动态包裹计数方法，其特征是，对加权归一化分数，则有：
Si,j＝αIi,j+(1-α)γdi,j
其中，α、γ为系数。
7.根据权利要求1至4任一项所述基于目标检测的动态包裹计数方法，其特征是，对计数区域，所述计数区域的中心与图像采集中心的中心相一致。
8.根据权利要求7所述基于目标检测的动态包裹计数方法，其特征是，计数区域的长度与运动包裹图像垂直方向像素数量相同，计数区域的宽度为运动包裹图像水平方向像素数量的五分之一。
9.根据权利要求1至4任一项所述基于目标检测的动态包裹计数方法，其特征是，对预配置的计数规则，包括：
当有被新ID标号的包裹进入所设计数区域时进行标记，记录所述新ID标号包裹相应的初始目标框信息；
在计数区域内，所述ID标号的包裹在后续的包裹运动图像中再次出现时，计算所述包裹的当前目标框与初始记录目标框中心点的偏移距离和偏移方向；
若偏移方向与传送带运行方向一致且偏移距离大于设定预设偏移距离阈值，则计数值加1。
10.一种基于目标检测的动态包裹计数系统，其特征是：包括包裹计数控制器，其中，
对包裹输送的物流包裹，包裹计数控制器采用上述权利要求1～权利要求9任一项的计数方法进行包裹计数。
CN202211741197.5A 2022-12-31 2022-12-31 基于目标检测的动态包裹计数方法及系统 Pending CN116109670A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211741197.5A CN116109670A (zh) 2022-12-31 2022-12-31 基于目标检测的动态包裹计数方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211741197.5A CN116109670A (zh) 2022-12-31 2022-12-31 基于目标检测的动态包裹计数方法及系统

Publications (1)

Publication Number Publication Date
CN116109670A true CN116109670A (zh) 2023-05-12

Family

ID=86260865

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211741197.5A Pending CN116109670A (zh) 2022-12-31 2022-12-31 基于目标检测的动态包裹计数方法及系统

Country Status (1)

Country Link
CN (1) CN116109670A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110458867A (zh) * 2019-08-15 2019-11-15 北京邮电大学 一种基于注意力循环网络的目标跟踪方法
CN110992305A (zh) * 2019-10-31 2020-04-10 中山大学 基于深度学习和多目标跟踪技术的包裹计数方法及系统
CN112288773A (zh) * 2020-10-19 2021-01-29 慧视江山科技(北京)有限公司 基于Soft-NMS的多尺度人体跟踪方法及装置
CN113393411A (zh) * 2020-02-26 2021-09-14 顺丰科技有限公司 包裹计数方法和装置、服务器、计算机可读存储介质
CN113744221A (zh) * 2021-08-26 2021-12-03 讯飞智元信息科技有限公司 拍摄对象计数方法、装置、计算机设备和存储介质
CN114186632A (zh) * 2021-12-10 2022-03-15 北京百度网讯科技有限公司 关键点检测模型的训练方法、装置、设备、存储介质
CN114519725A (zh) * 2020-11-04 2022-05-20 顺丰科技有限公司 物体跟踪计数方法、装置、计算机设备和存储介质
CN115222697A (zh) * 2022-07-18 2022-10-21 北京国泰星云科技有限公司 基于机器视觉和深度学习的集装箱残损检测方法
CN115393563A (zh) * 2022-09-15 2022-11-25 杭州萤石软件有限公司 一种包裹检测方法、系统及电子设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110458867A (zh) * 2019-08-15 2019-11-15 北京邮电大学 一种基于注意力循环网络的目标跟踪方法
CN110992305A (zh) * 2019-10-31 2020-04-10 中山大学 基于深度学习和多目标跟踪技术的包裹计数方法及系统
CN113393411A (zh) * 2020-02-26 2021-09-14 顺丰科技有限公司 包裹计数方法和装置、服务器、计算机可读存储介质
CN112288773A (zh) * 2020-10-19 2021-01-29 慧视江山科技(北京)有限公司 基于Soft-NMS的多尺度人体跟踪方法及装置
CN114519725A (zh) * 2020-11-04 2022-05-20 顺丰科技有限公司 物体跟踪计数方法、装置、计算机设备和存储介质
CN113744221A (zh) * 2021-08-26 2021-12-03 讯飞智元信息科技有限公司 拍摄对象计数方法、装置、计算机设备和存储介质
CN114186632A (zh) * 2021-12-10 2022-03-15 北京百度网讯科技有限公司 关键点检测模型的训练方法、装置、设备、存储介质
CN115222697A (zh) * 2022-07-18 2022-10-21 北京国泰星云科技有限公司 基于机器视觉和深度学习的集装箱残损检测方法
CN115393563A (zh) * 2022-09-15 2022-11-25 杭州萤石软件有限公司 一种包裹检测方法、系统及电子设备

Similar Documents

Publication Publication Date Title
CN111339839B (zh) 一种密集型目标检测计量方法
CN109255787A (zh) 基于深度学习和图像处理技术的丝锭划痕检测系统及方法
US8824823B1 (en) Increased quality of image objects based on depth in scene
EP3008666A1 (en) Image based object classification
US20200058129A1 (en) Image tracking method
CN103679187B (zh) 图像识别方法和系统
EP3213297B1 (en) System for real-time moving target detection using vision based image segmentation
CN104475344B (zh) 基于机器视觉实现纺织纱管分拣的方法
CN105069816B (zh) 一种进出口人流量统计的方法及系统
TWI734472B (zh) 基於深度學習的行車輔助系統及其方法
CN105938551A (zh) 一种基于视频数据的人脸特定区域提取方法
CN111461133B (zh) 快递面单品名识别方法、装置、设备及存储介质
CN101678404A (zh) 包括对与邮寄件相关的签名进行图形分类的邮寄件处理方法
CN110176024A (zh) 在视频中对目标进行检测的方法、装置、设备和存储介质
CN112396035A (zh) 基于注意力检测模型的物体检测方法和装置
CN116109670A (zh) 基于目标检测的动态包裹计数方法及系统
CN110008782A (zh) 条码信息的获取方法及装置
CN112528740A (zh) 一种压板状态识别方法
US20180173946A1 (en) Learning device, paper sheet identification device, and paper sheet identification method
CN105975910A (zh) 一种用于对运动物体进行视频识别的技术处理方法及其系统
CN113762190B (zh) 一种基于神经网络的包裹堆叠检测方法及装置
CN115438208A (zh) 一种提升包裹关联准确率的方法及装置
CN114693556B (zh) 一种高空抛物帧差法运动目标检测去拖影方法
CN103093273B (zh) 基于人体重识别的视频人数统计方法
CN108734158B (zh) 一种实时列车车号识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination