CN113393411A - 包裹计数方法和装置、服务器、计算机可读存储介质 - Google Patents

包裹计数方法和装置、服务器、计算机可读存储介质 Download PDF

Info

Publication number
CN113393411A
CN113393411A CN202010118843.7A CN202010118843A CN113393411A CN 113393411 A CN113393411 A CN 113393411A CN 202010118843 A CN202010118843 A CN 202010118843A CN 113393411 A CN113393411 A CN 113393411A
Authority
CN
China
Prior art keywords
frame
target
neural network
predicted
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010118843.7A
Other languages
English (en)
Inventor
冷鹏宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SF Technology Co Ltd
SF Tech Co Ltd
Original Assignee
SF Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SF Technology Co Ltd filed Critical SF Technology Co Ltd
Priority to CN202010118843.7A priority Critical patent/CN113393411A/zh
Publication of CN113393411A publication Critical patent/CN113393411A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种包裹计数方法和装置、服务器、计算机可读存储介质，包括：采集物流动态秤上包裹的图像，通过目标检测算法从包裹的图像上获取目标先验框。将目标先验框、包裹的图像输入至预设卷积神经网络模型中输出预测边框，采用非极大值抑制算法从预测边框中筛选出目标边框，统计目标边框的数目得到物流动态秤上包裹的数目。将机器视觉与深度学习结合进行包裹计数，能够实时、高效、准确地进行包裹计数，从而提高效率，节约人力。

Description

包裹计数方法和装置、服务器、计算机可读存储介质
技术领域
本申请涉及物流技术领域，特别是涉及一种包裹计数方法和装置、服务器、计算机可读存储介质。
背景技术
随着互联网和电商的迅速发展，人们的生活越来越多地被互联网和电商所改变，互联网和电商为人们的生活带来了越来越多的便利。随着互联网和电商的迅速发展，也带来了物流行业的蓬勃发展。每天有大量的快递包裹在城市流转，也随着分拣系统越来越完善，中转场分拣机集安检、称重、分拣等功能于一身，将原本复杂低效的任务变得更加自动化。但是在称重过程中，传统技术不能够对物流动态秤上的包裹进行准确的计数，即不能准确地判断出“一称多包”的情况，只要当物流运单号上对应的重量跟动态称实测重量不一致时就产生警告信号。以至于需要工作人员在后期对包裹跟踪系统中的出现警告信号的图像进行核实，显然，通过人工来进行核实会大大延迟时间、降低效率，以至于可能当工作人员核实处重量不符时，包裹已经派送到客户手上，无法追收快递费而因此对公司的营收造成不利的影响。因此，急需改善当前的包裹计数方式。
发明内容
本申请实施例提供一种包裹计数方法、装置、服务器、计算机可读存储介质，可以提高包裹计数的效率。
一种包裹计数方法，包括：
采集物流动态秤上包裹的图像；
通过目标检测算法从所述包裹的图像上获取目标先验框；
将所述目标先验框、所述包裹的图像输入至预设卷积神经网络模型中输出预测边框，采用非极大值抑制算法从所述预测边框中筛选出目标边框；
统计所述目标边框的数目得到所述物流动态秤上包裹的数目。
在其中一个实施例中，所述通过目标检测算法从所述包裹的图像上获取目标先验框，包括：
通过目标检测算法在所述包裹的图像上获取目标对应的检测框；
根据所述检测框的尺寸筛选出现次数排名在前预设名次的尺寸所对应的检测框，作为基础先验框；
对所述基础先验框进行尺寸变换得到目标先验框；
获取所述目标先验框的定位信息。
在其中一个实施例中，所述将所述目标先验框输入至预设卷积神经网络模型中输出预测边框，采用非极大值抑制算法从所述预测边框中筛选出目标边框，包括：
根据所述目标先验框的定位信息，将所述目标先验框输入至预设卷积神经网络模型中进行边框回归，输出预测边框相对所述目标先验框的位置偏移、所述预测边框的类别信息；
根据所述目标先验框的定位信息、所述位置偏移，得到所述预测边框的定位信息；
根据所述预测边框的类别信息、所述预测边框的定位信息，采用非极大值抑制算法从所述预测边框中筛选出目标边框。
在其中一个实施例中，所述预设卷积神经网络模型包括多层卷积神经网络；
将所述目标先验框、所述包裹的图像输入至预设卷积神经网络模型中进行边框回归，输出预测边框相对所述目标先验框的位置偏移、所述预测边框的类别信息，包括：
根据所述目标先验框的定位信息，将所述目标先验框设置在预设卷积神经网络模型中的预设卷积神经网络层所输出的特征图上进行边框回归，输出预测边框相对所述目标先验框的位置偏移、所述预测边框的类别信息。
在其中一个实施例中，所述预测边框的类别信息包括所述预测边框的类别及所述类别对应的类别概率；
根据所述预测边框的类别信息、所述预测边框的定位信息，采用非极大值抑制算法从所述预测边框中筛选出目标边框，包括：
从所述预测边框中剔除类别概率小于类别概率阈值的预测边框，得到中间预测边框；
采用非极大值抑制算法从所述中间预测边框剔除冗余的边框，得到目标边框。
在其中一个实施例中，所述采用非极大值抑制算法从所述中间预测边框剔除冗余的边框，得到目标边框，包括：
从所述图像的中间预测边框中筛选出类别概率最大的中间预测边框，作为目标边框；
从所述图像的中间预测边框中剔除所述类别概率最大的中间预测边框，得到剩余的中间预测边框；
计算每个所述剩余的中间预测边框与所述类别概率最大的中间预测边框的重叠面积；
从所述剩余的中间预测边框中保留所述重叠面积小于或等于重叠面积阈值的中间预测边框，将所述保留的中间预测边框作为输入重复执行上述过程直到输出所述图像所有的目标边框。
在其中一个实施例中，在所述采集物流动态秤上包裹的图像之后，包括：
对所述包裹的图像进行数据增广处理。
在其中一个实施例中，所述预设卷积神经网络模型的生成过程包括：
采集多张物流动态秤上包裹的图像构成训练集；
通过目标检测算法从所述包裹的图像上分别获取目标先验框；
通过卷积神经网络对预设数据集进行训练，得到初始卷积神经网络模型；
将所述训练集中的图像输入至所述初始卷积神经网络模型中计算所述图像的特征图；
根据所述目标先验框的定位信息，将所述目标先验框输入至初始卷积神经网络模型中的预设卷积神经网络层所输出的特征图上进行边框回归，输出预测边框的类别及定位信息；
将所述真实边框的类别及定位信息、所述预测边框的类别及定位信息输入至损失函数，根据所述损失函数调整初始卷积神经网络模型的参数，得到预设卷积神经网络模型。
在其中一个实施例中，所述方法还包括：
根据所述物流动态秤上包裹的数目对物流动态秤上的重量异常包裹进行检验。
一种包裹计数装置，包括：
图像采集模块，用于采集物流动态秤上包裹的图像；
目标先验框获取模块，用于通过目标检测算法从所述包裹的图像上获取目标先验框；
目标边框获取模块，用于将所述目标先验框、所述包裹的图像输入至预设卷积神经网络模型中输出预测边框，采用非极大值抑制算法从所述预测边框中筛选出目标边框；
包裹的数目统计模块，用于统计所述目标边框的数目得到所述物流动态秤上包裹的数目。
一种服务器，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上方法的步骤。
上述包裹计数方法、装置、服务器、计算机可读存储介质，采集物流动态秤上包裹的图像，通过目标检测算法从包裹的图像上获取目标先验框。将目标先验框、包裹的图像输入至预设卷积神经网络模型中输出预测边框，采用非极大值抑制算法从预测边框中筛选出目标边框，统计目标边框的数目得到物流动态秤上包裹的数目。将机器视觉与深度学习结合进行包裹计数，能够实时、高效、准确地进行包裹计数，从而提高效率，节约人力。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中包裹计数方法的应用环境图；
图2为一个实施例中包裹计数方法的流程图；
图3为图2中通过单阶段多框检测SSD算法从包裹的图像上获取目标先验框方法的流程图；
图4为在包裹的图像上获取目标对应的基础先验框的示意图；
图5为图2中将目标先验框输入至预设卷积神经网络模型中输出预测边框，采用非极大值抑制算法从预测边框中筛选出目标边框方法的流程图；
图6为图5中采用非极大值抑制算法从中间预测边框剔除冗余的边框，得到目标边框方法的流程图；
图7为一个实施例中预设卷积神经网络模型的生成过程的流程图；
图8为一个实施例中包裹计数装置的结构框图；
图9为图8中目标先验框获取模块的结构框图；
图10为图8中目标边框获取模块的结构框图；
图11为预设卷积神经网络模型的生成模块的结构框图；
图12为一个实施例中服务器的内部结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。
图1为一个实施例中包裹计数方法的应用环境示意图。如图1所示，该应用环境包括相机120及服务器140，相机120对物流动态秤上的包裹实时进行拍摄图像，将所拍摄的图像通过网络发送至服务器140，服务器140采集物流动态秤上包裹的图像；通过单阶段多框检测SSD算法从包裹的图像上获取目标先验框；将目标先验框输入至预设卷积神经网络模型中输出预测边框，采用非极大值抑制算法从预测边框中筛选出目标边框；统计目标边框的数目得到物流动态秤上包裹的数目。其中，相机可以是工业相机或普通相机，可以安装在物流动态秤的上方，以便能够清楚地拍摄物流动态秤上的包裹，当然本申请对此不做限定。
图2为一个实施例中包裹计数方法的流程图，如图2所示，包裹计数方法包括步骤220至步骤280，应用于服务器。
步骤220，采集物流动态秤上包裹的图像。
其中，物流动态秤指的是分布在物流流水线上，用于对动态的物流流水线上的包裹进行称重的设备。通过相机实时对物流流水线上的包裹进行拍摄图像，然后将实时拍摄的图像发送至服务器，因此，服务器就可以实时采集到物流动态秤上包裹的图像。因为物流流水线上的包裹并不一定是依次排列在流水线上，所以有时候会出现多个快递包裹同时堆放在一起的情况(或距离较近)，从而同时处于物流动态秤上，以至于出现动态称上一次称重的结果却对应多件包裹的重量。此时，一个物流运单号对应的重量，就与物流动态称实际称重的结果不一致，且可能差异较大超过了阈值。包裹跟踪系统就会根据重量差异超过阈值的这张图像生成报警信号。
步骤240，通过目标检测算法从包裹的图像上获取目标先验框。
其中，目标检测算法可以是单阶段多框检测算法(Single Shot MultiBoxDetector，SSD)，以下简称SSD算法。SSD算法是一种目标检测算法，SSD算法相比较与其他的目标检测算法具有以下优点：其一，SSD算法提取了不同尺度的特征图来做检测，大尺度特征图(较靠前的特征图)可以用来检测小物体，而小尺度特征图(较靠后的特征图)用来检测大物体，可以满足不同尺度范围的物体检测；其二，SSD算法采用了不同尺度和长宽比的先验框(Prior boxes,Default boxes，在Faster R-CNN中叫做锚，Anchors)。
其中，选取不同尺度和长宽比的先验框的步骤包括：首先，通过SSD算法从所采集的包裹的图像上提取包含目标的多个矩形检测框；其次，通过以下公式(1-1)来计算每个矩形检测框的size对应的数值；
Figure BDA0002392322460000081
其中，w指的是矩形检测框的宽，h指的是矩形检测框的高，通过公式(1-1)对矩形检测框的宽和高进行计算平均值。再次，将所计算出的size数值按照从大到小进行排序，获取排名在前预设数目的size数值，将每一个size数值作为矩形检测框的宽和高，此时所得到的矩形检测框为正方形检测框，将该正方形检测框作为基础先验框。最后，对基础先验框进行尺寸变换得到目标先验框。具体的，进行尺寸变换既可以是对基础先验框进行缩小，也可以是对基础先验框进行扩大，且同时可以得到目标先验框的类别信息及定位信息。
步骤260，将目标先验框、包裹的图像输入至预设卷积神经网络模型中输出预测边框，采用非极大值抑制算法从预测边框中筛选出目标边框。
其中，预设卷积神经网络模型指的是MobileNet-SSD卷积神经网络模型。MobileNet-SSD卷积神经网络模型包括多层卷积神经网络。将包裹的图像输入至预设卷积神经网络模型中进行提取特征图，根据目标先验框的定位信息，将目标先验框输入至预设卷积神经网络模型中进行边框回归，输出预测边框相对目标先验框的位置偏移、预测边框的类别信息。再根据目标先验框的定位信息、位置偏移，得到预测边框的定位信息。进而根据预测边框的类别信息、预测边框的定位信息，采用非极大值抑制算法从预测边框中筛选出目标边框。
步骤280，统计目标边框的数目得到物流动态秤上包裹的数目。
在得到了一张图像的目标边框之后，统计该图像上目标边框的数目。每一个目标边框就对应一个包裹，所以目标边框的数目便是图像上包裹的数目，即为物流动态秤上包裹的数目。
本申请实施例中，采集物流动态秤上包裹的图像，通过单阶段多框检测SSD算法从包裹的图像上获取目标先验框。将目标先验框输入至预设卷积神经网络模型中输出预测边框，采用非极大值抑制算法从预测边框中筛选出目标边框，统计目标边框的数目得到物流动态秤上包裹的数目。将机器视觉与深度学习算法结合进行包裹计数，能够实时、高效、准确地进行包裹计数，从而提高效率，节约人力。
在一个实施例中，如图3所示，步骤240，通过目标检测算法从包裹的图像上获取目标先验框，包括：
步骤242，通过目标检测算法在包裹的图像上获取目标对应的检测框；
步骤244，根据检测框的尺寸筛选出现次数排名在前预设名次的尺寸所对应的检测框，作为基础先验框。
步骤246，对基础先验框进行尺寸变换得到目标先验框。
步骤248，获取目标先验框的定位信息。
其中，目标检测算法可以是单阶段多框检测算法(Single Shot MultiBoxDetector，SSD)，以下简称SSD算法。首先，通过SSD算法从所采集的包裹的图像上提取包含目标的多个矩形检测框；其次，通过公式(1-1)来计算每个矩形检测框的size对应的数值；
Figure BDA0002392322460000101
其中，w指的是矩形检测框的宽，h指的是矩形检测框的高，通过公式(1-1)对矩形检测框的宽和高进行计算平均值。再次，将所计算出的size数值按照从大到小进行排序，获取排名在前预设数目的size数值，将每一个size数值作为矩形检测框的宽和高，此时所得到的矩形检测框为正方形检测框，将该正方形检测框作为基础先验框。例如，获取排名前三位的size数值，当然，还可以获取排名前五位、前七位的size数值，本申请对此不做限定。
最后，对基础先验框进行尺寸变换得到目标先验框。具体的，进行尺寸变换既可以是对基础先验框进行缩小，也可以是对基础先验框进行扩大，且同时可以得到目标先验框的类别信息及定位信息。例如，如图4所示，获取排名前三位的size数值，将每一个size数值作为矩形检测框的宽和高，此时所得到的矩形检测框为正方形检测框，将该正方形检测框作为基础先验框。然后，对该基础先验框按照[1:1,1:2,2:1]三种尺寸进行变换，得到目标先验框420(正方形检测框)、目标先验框440(竖直方向的矩形检测框)及目标先验框460(水平方向的矩形检测框)。
进而，获取目标先验框的定位信息，定位信息包括目标先验框中心点位置、目标先验框的宽和高(x,y,w,h)。
本申请实施例中，通过单阶段多框检测SSD算法在包裹的图像上获取目标对应的检测框，根据检测框的尺寸筛选出现次数排名在前预设名次的尺寸所对应的检测框，作为基础先验框。对基础先验框进行尺寸变换得到目标先验框，进而获取目标先验框的定位信息。其中，筛选出现次数排名在前预设名次的尺寸所对应的检测框，作为基础先验框，这样能够最大限度的获取到包含目标的检测框。然后，再对基础先验框进行尺寸变换，从而通过SSD算法实现了获取到不同尺度和宽高比的先验框，不同尺度和宽高比的先验框显然能够更大限度地覆盖到目标的完整区域。从而，最终提高对图像进行包裹计算的准确性。
如图5所示，步骤260，将目标先验框输入至预设卷积神经网络模型中输出预测边框，采用非极大值抑制算法从预测边框中筛选出目标边框，包括：
步骤262，根据目标先验框的定位信息，将目标先验框输入至预设卷积神经网络模型中进行边框回归，输出预测边框相对目标先验框的位置偏移、预测边框的类别信息。
其中，预设卷积神经网络模型包括多层卷积神经网络。对于边框一般使用四维向量(x,y,w,h)来表示，分别表示边框的中心点坐标和宽高。边框回归(Bounding BoxRegression)，指的是计算出预测边框相对目标先验框的位置偏移的过程。
根据目标先验框的定位信息，将目标先验框设置在预设卷积神经网络模型中的预设卷积神经网络层所输出的特征图上进行边框回归，输出预测边框相对目标先验框的位置偏移、预测边框的类别信息。
步骤264，根据目标先验框的定位信息、位置偏移，得到预测边框的定位信息。
步骤266，根据预测边框的类别信息、预测边框的定位信息，采用非极大值抑制算法从预测边框中筛选出目标边框。
其中，非极大值抑制(Non-Maximum Suppression，NMS)，顾名思义就是抑制不是极大值的元素，可以理解为局部最大搜索。具体为，从预测边框中剔除所计算出的类别的概率P小于类别概率阈值T的预测边框，得到中间预测边框。采用非极大值抑制算法从中间预测边框剔除冗余的边框，得到目标边框。
本申请实施例中，将目标先验框输入至预设卷积神经网络模型中进行边框回归，输出预测边框相对目标先验框的位置偏移、预测边框的类别信息。借助目标先验框实现边框回归，能够提高所得到的预测检验框的准确性。进而，再根据预测边框的类别信息、预测边框的定位信息，采用非极大值抑制算法从预测边框中筛选出目标边框。从而，也提高了最终所得到的目标边框的准确性。将机器视觉和深度学习结合进行端对端的包裹检测，将检测问题转换为回归问题，采用多特征图回归的方式，充分利用各层特征图丰富信息，提高检测准确率。
在一个实施例中，预设卷积神经网络模型包括多层卷积神经网络；
将目标先验框、包裹的图像输入至预设卷积神经网络模型中进行边框回归，输出预测边框相对目标先验框的位置偏移、预测边框的类别信息，包括：
根据目标先验框的定位信息，将目标先验框设置在预设卷积神经网络模型中的预设卷积神经网络层所输出的特征图上进行边框回归，输出预测边框相对目标先验框的位置偏移、预测边框的类别信息。
具体的，在边框回归过程中，需要预测5个值，分为两个部分。其中，第一部分为类别概率P，概率值最高的那个类别就是边框所属的类别。第二部分就是边框的位置location包含4个值，一般使用四维向量(x，y，w，h)来表示，分别表示边界框的中心坐标以及宽高。但是真实预测值其实只是边框相对于先验框anchor的相对值。
其中，anchor先验框的位置(ax，ay，aw，ah)；通过人工或其他方式使用矩形边框对包裹图片进行包裹标定，得到边框的中心坐标以及边框的宽和高，即所标注的真实边框(tx，ty，tw，th)；通过训练出的神经网络所输出的预测边框(px，py，pw，ph)。
计算网络输出的预测边框相对于anchor先验框的位置关系的公式如下所示，得到：
Figure BDA0002392322460000131
Figure BDA0002392322460000132
Figure BDA0002392322460000133
Figure BDA0002392322460000134
同样，计算真实边框相对于anchor先验框的位置关系的公式如下所示，得到：
Figure BDA0002392322460000135
Figure BDA0002392322460000136
Figure BDA0002392322460000137
Figure BDA0002392322460000138
再通过优化损失函数来使得预测边框的相对位置不断趋近真实边框的相对位置，以及使得预测框的类别不断趋近真实边框的类别。其中，损失函数包括两部分，softmax分类误差和边框回归误差。
Figure BDA0002392322460000139
N代表正样本个数，Lconf是softmax分类误差，Lloc是边框回归误差。
softmax分类误差使用交叉熵：
Figure BDA00023923224600001310
其中
Figure BDA00023923224600001311
表示第i个先验框跟第j个真实边框匹配，即第i个先验框负责预测第j个真实边框。ci是softmax输出概率。
Figure BDA00023923224600001312
其中采用smooth L1损失函数来计算预测边框的相对位置与真实边框相对位置之间的误差。
Figure BDA0002392322460000141
和
Figure BDA0002392322460000142
是前面计算的x,y,w,h各自的相对值，其中m指的是(x,y,w,h)。
通过构建损失函数，并且使用梯度下降算法对模型进行优化，直到损失最小，模型收敛。
本申请实施例中，根据目标先验框的定位信息，将目标先验框设置在预设卷积神经网络模型中的特定卷积神经网络层所输出的特征图上进行边框回归，输出预测边框相对目标先验框的位置偏移、预测边框的类别信息。
在一个实施例中，预测边框的类别信息包括预测边框的类别及类别对应的类别概率；
根据预测边框的类别信息、预测边框的定位信息，采用非极大值抑制算法从预测边框中筛选出目标边框，包括：
从预测边框中剔除类别概率小于类别概率阈值的预测边框，得到中间预测边框；
采用非极大值抑制算法从中间预测边框剔除冗余的边框，得到目标边框。
具体的，类别概率阈值T可以根据多次实验的经验值进行设置，例如，设置T为70％，当然，还可以是其他数值，本申请对此不做限定。因为从图像中得到了多个预测边框，而有的预测边框类别概率较低，即该预测边框可能是噪声。因此，从预测边框中剔除所计算出的类别的概率P小于类别概率阈值T的预测边框，得到中间预测边框。
再采用非极大值抑制算法从中间预测边框剔除冗余的边框，得到目标边框。即每次从中间预测边框中获取类别概率最大的中间预测边框，且剔除与类别概率最大的中间预测边框之间重叠较小的剩余的中间预测边框，得到目标边框。
本申请实施例中，从预测边框中剔除类别概率小于类别概率阈值的预测边框，得到中间预测边框。采用非极大值抑制算法从中间预测边框剔除冗余的边框，得到目标边框。能够逐步从所预测边框中去除噪声，而使得预测边框更接近于真实边框。
接上一个实施例中，如图6所示，采用非极大值抑制算法从中间预测边框剔除冗余的边框，得到目标边框，包括：
步骤620，从图像的中间预测边框中筛选出类别概率最大的中间预测边框，作为目标边框；
步骤640，从图像的中间预测边框中剔除类别概率最大的中间预测边框，得到剩余的中间预测边框；
步骤660，计算每个剩余的中间预测边框与类别概率最大的中间预测边框的重叠面积；
步骤680，从剩余的中间预测边框中保留重叠面积小于或等于重叠面积阈值的中间预测边框，将保留的中间预测边框作为输入重复执行上述过程直到输出图像所有的目标边框。
本申请实施例中，从预测边框中剔除类别概率小于类别概率阈值的预测边框，得到中间预测边框。采用非极大值抑制算法从中间预测边框剔除冗余的边框，得到目标边框。通过循环每次从剩余的中间预测边框中筛选出类别概率最大的中间预测边框作为目标边框，并提取出来保留。然后，对其他的剩余中间预测边框与本次所保留的目标边框进行重叠面积比较，从而从剩余的中间预测边框中保留重叠面积小于或等于重叠面积阈值的中间预测边框，将保留的中间预测边框作为输入重复执行上述过程直到输出图像所有的目标边框。
通过多次循环重叠面积比较，提高所保留下的目标边框的准确性，所保留的目标边框也能够更精确、全面地覆盖图像中的包裹，从而最终提高根据目标边框的个数所得到的包裹的数目的准确性。
在一个实施例中，在采集物流动态秤上包裹的图像之后，包括：
对包裹的图像进行数据增广处理。
具体的，数据增广的方式可以包括颜色通道变换、透视变换、运动模糊、翻转、镜像(flip)、旋转(rotation)、缩放(scale)、裁剪(crop)、平移(translation)、高斯噪声(gaussion noise)、图像亮度、饱和度和对比度变化、PCA Jittering、Lable shuffle、SDA、生成对抗网络(generative adversi network)等。通过上述方式中的一种或多种对包裹的图像进行数据增广处理，得到处理之后的图像。
本申请实施例中，对包裹的图像进行数据增广处理，能够在不改变图像类别的情况下，增加数据量，进而提高模型的泛化能力。
在一个实施例中，如图7所示，预设卷积神经网络模型的生成过程包括：
步骤702，采集多张物流动态秤上包裹的图像构成训练集。
在训练模型的阶段，预先通过相机对物流流水线上的包裹进行拍摄图像，然后将所拍摄的多张图像发送至服务器，因此，服务器就采集到多张物流动态秤上包裹的图像。这些多张物流动态秤上包裹的图像构成了训练集。
步骤704，通过单阶段多框检测SSD算法从包裹的图像上分别获取目标先验框。
首先，通过SSD算法从所采集的包裹的图像上提取包含目标的多个矩形检测框；其次，通过以下公式(1-1)来计算每个矩形检测框的size对应的数值；
Figure BDA0002392322460000161
其中，w指的是矩形检测框的宽，h指的是矩形检测框的高，通过公式(1-1)对矩形检测框的宽和高进行计算平均值。再次，将所计算出的size数值按照从大到小进行排序，获取排名在前预设数目的size数值，将每一个size数值作为矩形检测框的宽和高，此时所得到的矩形检测框为正方形检测框，将该正方形检测框作为基础先验框。例如，获取排名前三位的size数值，当然，还可以获取排名前五位、前七位的size数值，本申请对此不做限定。
最后，对基础先验框进行尺寸变换得到目标先验框。具体的，进行尺寸变换既可以是对基础先验框进行缩小，也可以是对基础先验框进行扩大，且同时可以得到目标先验框的类别信息及定位信息。例如，如图4所示，获取排名前三位的size数值，将每一个size数值作为矩形检测框的宽和高，此时所得到的矩形检测框为正方形检测框，将该正方形检测框作为基础先验框。然后，对该基础先验框按照[1:1,1:2,2:1]三种尺寸进行变换，得到目标先验框420(正方形检测框)、目标先验框440(竖直方向的矩形检测框)及目标先验框460(水平方向的矩形检测框)。
进而，获取目标先验框的定位信息，定位信息包括目标先验框中心点位置、目标先验框的宽和高(x,y,w,h)。
步骤706，通过卷积神经网络对预设数据集进行训练，得到初始卷积神经网络模型。
其中，预设数据集指的是ImageNet的分类数据集，通过MobileNet-SSD卷积神经网络对ImageNet的分类数据集进行训练，得到初始卷积神经网络模型。
步骤708，将训练集中的图像输入至初始卷积神经网络模型中计算图像的特征图。
将训练集中多张物流动态秤上包裹的图像输入至初始卷积神经网络模型中进行特征提取，计算出图像的特征图。
步骤710，根据目标先验框的定位信息，将目标先验框输入至初始卷积神经网络模型中的预设卷积神经网络层所输出的特征图上进行边框回归，输出预测边框的类别及定位信息。
其中，预设卷积神经网络模型包括多层卷积神经网络。对于边框一般使用四维向量(x,y,w,h)来表示，分别表示边框的中心点坐标和宽高。边框回归(Bounding BoxRegression)，指的是计算出预测边框相对目标先验框的位置偏移的过程。
根据目标先验框的定位信息，将目标先验框设置在预设卷积神经网络模型中的预设卷积神经网络层所输出的特征图上进行边框回归，输出预测边框相对目标先验框的位置偏移、预测边框的类别信息。其中，预设卷积神经网络层主要指的是下表所示的预设卷积神经网络模型的第11层、第14层及第18层，将目标先验框设置在这3层网络所输出的特征图上进行边框回归，输出预测边框相对目标先验框的位置偏移、预测边框的类别信息。因为，深度学习常用的特征金字塔，更深的特征图语义信息更加丰富，适合预测大目标，而更浅的特征图更关注细节，适合预测小目标。因此，本申请采用第11层、第14层及第18层的神经网络所输出的特征图来进行边框回归，能够兼顾大目标和小目标(大包裹和小包裹)。当然，本申请并不对具体是哪几层神经网络进行限定，还可以是其他层神经网络。
步骤712，将真实边框的类别及定位信息、预测边框的类别及定位信息输入至损失函数，根据损失函数调整初始卷积神经网络模型的参数，得到预设卷积神经网络模型。
具体的，如下表1所示，为预设卷积神经网络模型的网络结构。
表1
Figure BDA0002392322460000181
Figure BDA0002392322460000191
将真实边框的类别及定位信息、预测边框的类别及定位信息输入至损失函数，其中损失函数包括两部分，softmax分类误差和边框回归误差。
Figure BDA0002392322460000192
N代表正样本个数，Lconf是softmax分类误差，Lloc是边框回归误差。
softmax分类误差使用交叉熵：
Figure BDA0002392322460000201
其中
Figure BDA0002392322460000202
表示第i个先验框跟第j个真实边框匹配，即第i个先验框负责预测第j个真实边框。ci是softmax输出概率。
Figure BDA0002392322460000203
其中采用smooth L1损失函数来计算预测边框的相对位置与真实边框相对位置之间的误差。
Figure BDA0002392322460000204
和
Figure BDA0002392322460000205
是前面计算的x，y，w，h各自的相对值，其中m指的是(x，y，w，h)。
通过构建损失函数，并且使用梯度下降算法对模型进行优化，直到损失最小，模型收敛。
本申请实施例中，采集多张物流动态秤上包裹的图像构成训练集，通过单阶段多框检测SSD算法从包裹的图像上分别获取目标先验框。通过卷积神经网络对预设数据集进行训练，得到初始卷积神经网络模型。将训练集中的图像输入至初始卷积神经网络模型中计算图像的特征图。根据目标先验框的定位信息，将目标先验框输入至初始卷积神经网络模型中的预设卷积神经网络层所输出的特征图上进行边框回归，输出预测边框的类别及定位信息。将真实边框的类别及定位信息、预测边框的类别及定位信息输入至损失函数，根据损失函数调整初始卷积神经网络模型的参数，得到预设卷积神经网络模型。
采用开源的MobileNet-SSD目标检测模型作为初始卷积神经网络模型。其中SSD单阶段目标检测算法，采用多尺度特征图用于检测，可以满足不同尺度范围的物体检测，并且通过anchor先验框帮助检测边框的回归。此外，MobileNet-SSD目标检测模型的基础网络模型为MobileNet，MobileNet的优点是网络参数少、计算量小、网络推理速度快，适合用于实时检测任务，并且容易移植到移动端，增加了部署的便利性。
在一个实施例中，提供了一种包裹计数方法，还包括：
根据物流动态秤上包裹的数目对物流动态秤上的重量异常包裹进行检验。
在对包裹分拣称重过程中，传统技术不能够对物流动态秤上的包裹进行准确的计数，即不能准确地判断出“一称多包”的情况，只要当物流运单号上对应的重量跟动态称实测重量不一致时就产生警告信号。以至于需要工作人员在后期对包裹跟踪系统中的出现警告信号的图像进行核实，显然，通过人工来进行核实会大大延迟时间、降低效率，以至于可能当工作人员核实处重量不符时，包裹已经派送到客户手上，无法追收快递费而因此对公司的营收造成不利的影响。
本申请实施例中，将机器视觉与深度学习结合进行包裹计数，能够实时、高效、准确地进行包裹计数。然后，再根据物流动态秤上包裹的数目对物流动态秤上的重量异常包裹进行检验。如果检测出重量异常包裹对应的图像上的包裹数目是多个，则就说明是因为出现了“一称多包”，则消除警告信号；否则就上报警告。这样，通过自动化的包裹计数，提高包裹计数的效率、同时大大节约人力。如此，通过自动化的包裹计数最终便能够及时发现包裹重量异常、追回快递费，降低快递公司的营收损失。
在一个实施例中，如图8所示，提供了一种包裹计数装置800，包括：
图像采集模块820，用于采集物流动态秤上包裹的图像；
目标先验框获取模块840，用于通过单阶段多框检测SSD算法从包裹的图像上获取目标先验框；
目标边框获取模块860，用于将目标先验框输入至预设卷积神经网络模型中输出预测边框，采用非极大值抑制算法从预测边框中筛选出目标边框；
包裹的数目统计模块880，用于统计目标边框的数目得到物流动态秤上包裹的数目。
在一个实施例中，如图9所示，目标先验框获取模块840，包括：
检测框获取单元842，用于通过单阶段多框检测SSD算法在包裹的图像上获取目标对应的检测框；
基础先验框筛选单元844，用于根据检测框的尺寸筛选出现次数排名在前预设名次的尺寸所对应的检测框，作为基础先验框；
尺寸变换单元846，用于对基础先验框进行尺寸变换得到目标先验框；
定位信息获取单元848，用于获取目标先验框的定位信息。
在一个实施例中，如图10所示，目标边框获取模块860，还包括：
边框回归单元862，用于将目标先验框、包裹的图像输入至预设卷积神经网络模型中进行边框回归，输出预测边框相对目标先验框的位置偏移、预测边框的类别信息；
预测边框的定位信息获取单元864，用于根据目标先验框的定位信息、位置偏移，得到预测边框的定位信息；
目标边框筛选单元866，用于根据预测边框的类别信息、预测边框的定位信息，采用非极大值抑制算法从预测边框中筛选出目标边框。
在一个实施例中，预设卷积神经网络模型包括多层卷积神经网络；边框回归单元862，还用于根据目标先验框的定位信息，将目标先验框设置在预设卷积神经网络模型中的预设卷积神经网络层所输出的特征图上进行边框回归，输出预测边框相对目标先验框的位置偏移、预测边框的类别信息。
在一个实施例中，预测边框的类别信息包括预测边框的类别及类别对应的类别概率；目标边框筛选单元866，还用于从预测边框中剔除类别概率小于类别概率阈值的预测边框，得到中间预测边框；采用非极大值抑制算法从中间预测边框剔除冗余的边框，得到目标边框。
在一个实施例中，目标边框筛选单元866，还用于从图像的中间预测边框中筛选出类别概率最大的中间预测边框，作为目标边框；从图像的中间预测边框中剔除类别概率最大的中间预测边框，得到剩余的中间预测边框；计算每个剩余的中间预测边框与类别概率最大的中间预测边框的重叠面积；从剩余的中间预测边框中保留重叠面积小于或等于重叠面积阈值的中间预测边框，将保留的中间预测边框作为输入重复执行上述过程直到输出图像所有的目标边框。
在一个实施例中，还提供了一种包裹计数装置800，还包括：数据处理模块，用于对包裹的图像进行数据增广处理。
在一个实施例中，还提供了一种包裹计数装置800，还包括：预设卷积神经网络模型的生成模块890，
如图11所示，预设卷积神经网络模型的生成模块890，包括：
训练集生成单元891，用于采集多张物流动态秤上包裹的图像构成训练集；
目标先验框获取单元892，用于通过单阶段多框检测SSD算法从包裹的图像上分别获取目标先验框；
初始卷积神经网络模型获取单元893，用于通过卷积神经网络对预设数据集进行训练，得到初始卷积神经网络模型；
特征图计算单元894，用于将训练集中的图像输入至初始卷积神经网络模型中计算图像的特征图；
边框回归单元895，用于根据目标先验框的定位信息，将目标先验框输入至初始卷积神经网络模型中的预设卷积神经网络层所输出的特征图上进行边框回归，输出预测边框的类别及定位信息；
参数调整单元896，用于将真实边框的类别及定位信息、预测边框的类别及定位信息输入至损失函数，根据损失函数调整初始卷积神经网络模型的参数，得到预设卷积神经网络模型。
在一个实施例中，还提供了一种包裹计数装置800，还包括：重量异常包裹检验模块，用于根据物流动态秤上包裹的数目对物流动态秤上的重量异常包裹进行检验。
上述包裹计数装置中各个模块的划分仅用于举例说明，在其他实施例中，可将包裹计数装置按照需要划分为不同的模块，以完成上述包裹计数装置的全部或部分功能。
图12为一个实施例中服务器的内部结构示意图。如图12所示，该服务器包括通过系统总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个服务器的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种包裹计数方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该服务器可以是手机、平板电脑或者个人数字助理或穿戴式设备等。
本申请实施例中提供的包裹计数装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当计算机可执行指令被一个或多个处理器执行时，使得处理器执行包裹计数方法的步骤。
一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行包裹计数方法。
本申请实施例所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (11)

1.一种包裹计数方法，其特征在于，包括：
采集物流动态秤上包裹的图像；
通过目标检测算法从所述包裹的图像上获取目标先验框；
将所述目标先验框、所述包裹的图像输入至预设卷积神经网络模型中输出预测边框，采用非极大值抑制算法从所述预测边框中筛选出目标边框；
统计所述目标边框的数目得到所述物流动态秤上包裹的数目。
2.根据权利要求1所述的方法，其特征在于，所述通过目标检测算法从所述包裹的图像上获取目标先验框，包括：
通过目标检测算法在所述包裹的图像上获取目标对应的检测框；
根据所述检测框的尺寸筛选出现次数排名在前预设名次的尺寸所对应的检测框，作为基础先验框；
对所述基础先验框进行尺寸变换得到目标先验框；
获取所述目标先验框的定位信息。
3.根据权利要求2所述的方法，其特征在于，所述将所述目标先验框、所述包裹的图像输入至预设卷积神经网络模型中输出预测边框，采用非极大值抑制算法从所述预测边框中筛选出目标边框，包括：
将所述目标先验框、所述包裹的图像输入至预设卷积神经网络模型中进行边框回归，输出预测边框相对所述目标先验框的位置偏移、所述预测边框的类别信息；
根据所述目标先验框的定位信息、所述位置偏移，得到所述预测边框的定位信息；
根据所述预测边框的类别信息、所述预测边框的定位信息，采用非极大值抑制算法从所述预测边框中筛选出目标边框。
4.根据权利要求3所述的方法，其特征在于，所述预设卷积神经网络模型包括多层卷积神经网络；
所述根据所述目标先验框的定位信息，将所述目标先验框输入至预设卷积神经网络模型中进行边框回归，输出预测边框相对所述目标先验框的位置偏移、所述预测边框的类别信息，包括：
根据所述目标先验框的定位信息，将所述目标先验框设置在预设卷积神经网络模型中的预设卷积神经网络层所输出的特征图上进行边框回归，输出预测边框相对所述目标先验框的位置偏移、所述预测边框的类别信息。
5.根据权利要求3或4所述的方法，其特征在于，所述预测边框的类别信息包括所述预测边框的类别及所述类别对应的类别概率；
根据所述预测边框的类别信息、所述预测边框的定位信息，采用非极大值抑制算法从所述预测边框中筛选出目标边框，包括：
从所述预测边框中剔除类别概率小于类别概率阈值的预测边框，得到中间预测边框；
采用非极大值抑制算法从所述中间预测边框剔除冗余的边框，得到目标边框。
6.根据权利要求5所述的方法，其特征在于，所述采用非极大值抑制算法从所述中间预测边框剔除冗余的边框，得到目标边框，包括：
从所述图像的中间预测边框中筛选出类别概率最大的中间预测边框，作为目标边框；
从所述图像的中间预测边框中剔除所述类别概率最大的中间预测边框，得到剩余的中间预测边框；
计算每个所述剩余的中间预测边框与所述类别概率最大的中间预测边框的重叠面积；
从所述剩余的中间预测边框中保留所述重叠面积小于或等于重叠面积阈值的中间预测边框，将所述保留的中间预测边框作为输入重复执行上述过程直到输出所述图像所有的目标边框。
7.根据权利要求1至6任意一项所述的方法，其特征在于，在所述采集物流动态秤上包裹的图像之后，包括：
对所述包裹的图像进行数据增广处理。
8.根据权利要求1至7任意一项所述的方法，其特征在于，所述预设卷积神经网络模型的生成过程包括：
采集多张物流动态秤上包裹的图像构成训练集；
通过目标检测算法从所述包裹的图像上分别获取目标先验框；
通过卷积神经网络对预设数据集进行训练，得到初始卷积神经网络模型；
将所述训练集中的图像输入至所述初始卷积神经网络模型中计算所述图像的特征图；
根据所述目标先验框的定位信息，将所述目标先验框输入至初始卷积神经网络模型中的预设卷积神经网络层所输出的特征图上进行边框回归，输出预测边框的类别及定位信息；
将所述真实边框的类别及定位信息、所述预测边框的类别及定位信息输入至损失函数，根据所述损失函数调整初始卷积神经网络模型的参数，得到预设卷积神经网络模型。
9.根据权利要求1至8任意一项所述的方法，其特征在于，所述方法还包括：
根据所述物流动态秤上包裹的数目对物流动态秤上的重量异常包裹进行检验。
10.一种包裹计数装置，其特征在于，包括：
图像采集模块，用于采集物流动态秤上包裹的图像；
目标先验框获取模块，用于通过目标检测算法从所述包裹的图像上获取目标先验框；
目标边框获取模块，用于将所述目标先验框输入至预设卷积神经网络模型中输出预测边框，采用非极大值抑制算法从所述预测边框中筛选出目标边框；
包裹的数目统计模块，用于统计所述目标边框的数目得到所述物流动态秤上包裹的数目。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至9中任一项所述的包裹计数方法的步骤。
CN202010118843.7A 2020-02-26 2020-02-26 包裹计数方法和装置、服务器、计算机可读存储介质 Pending CN113393411A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010118843.7A CN113393411A (zh) 2020-02-26 2020-02-26 包裹计数方法和装置、服务器、计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010118843.7A CN113393411A (zh) 2020-02-26 2020-02-26 包裹计数方法和装置、服务器、计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN113393411A true CN113393411A (zh) 2021-09-14

Family

ID=77615275

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010118843.7A Pending CN113393411A (zh) 2020-02-26 2020-02-26 包裹计数方法和装置、服务器、计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113393411A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115147642A (zh) * 2022-06-02 2022-10-04 盛视科技股份有限公司 基于视觉的渣土车检测方法、装置、计算机及存储介质
CN116109670A (zh) * 2022-12-31 2023-05-12 江苏中科贯微自动化科技有限公司 基于目标检测的动态包裹计数方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020118873A1 (en) * 2000-01-24 2002-08-29 Robotic Vision Systems, Inc. Machine vision-based singulation verification system and method
CN109685145A (zh) * 2018-12-26 2019-04-26 广东工业大学 一种基于深度学习和图像处理的小物件检测方法
CN109784190A (zh) * 2018-12-19 2019-05-21 华东理工大学 一种基于深度学习的自动驾驶场景关键目标检测提取方法
CN110414574A (zh) * 2019-07-10 2019-11-05 厦门美图之家科技有限公司 一种目标检测方法、计算设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020118873A1 (en) * 2000-01-24 2002-08-29 Robotic Vision Systems, Inc. Machine vision-based singulation verification system and method
CN109784190A (zh) * 2018-12-19 2019-05-21 华东理工大学 一种基于深度学习的自动驾驶场景关键目标检测提取方法
CN109685145A (zh) * 2018-12-26 2019-04-26 广东工业大学 一种基于深度学习和图像处理的小物件检测方法
CN110414574A (zh) * 2019-07-10 2019-11-05 厦门美图之家科技有限公司 一种目标检测方法、计算设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JIMMYHUA: "【SSD算法】史上最全代码解析-核心篇", 《HTTPS://ZHUANLAN.ZHIHU.COM/P/79854543》 *
WEI LIU,等: "SSD: Single Shot MultiBox Detector", 《ARXIV》 *
罗建坤等: "基于深度学习的包裹追踪检测计数系统", 《自动化与信息工程》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115147642A (zh) * 2022-06-02 2022-10-04 盛视科技股份有限公司 基于视觉的渣土车检测方法、装置、计算机及存储介质
CN116109670A (zh) * 2022-12-31 2023-05-12 江苏中科贯微自动化科技有限公司 基于目标检测的动态包裹计数方法及系统

Similar Documents

Publication Publication Date Title
CN109447169B (zh) 图像处理方法及其模型的训练方法、装置和电子系统
CN110569721B (zh) 识别模型训练方法、图像识别方法、装置、设备及介质
CN108090458A (zh) 人体跌倒检测方法和装置
CN110047069B (zh) 一种图像检测装置
CN110084165B (zh) 基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法
CN108764372A (zh) 数据集的构建方法和装置、移动终端、可读存储介质
CN111680746B (zh) 车损检测模型训练、车损检测方法、装置、设备及介质
CN110516541B (zh) 文本定位方法、装置、计算机可读存储介质和计算机设备
CN112560796B (zh) 人体姿态实时检测方法、装置、计算机设备及存储介质
CN113838034B (zh) 基于机器视觉的糖果包装表面缺陷快速检测方法
CN111807183A (zh) 基于深度学习的电梯门状态智能检测方法
CN113469074B (zh) 基于孪生注意力融合网络的遥感图像变化检测方法及系统
CN111368636A (zh) 目标分类方法、装置、计算机设备和存储介质
CN113393411A (zh) 包裹计数方法和装置、服务器、计算机可读存储介质
US20200005075A1 (en) Computer Vision Systems and Methods for Automatically Detecting, Classifying, and Pricing Objects Captured in Images or Videos
CN114998324A (zh) 半导体晶圆缺陷检测模型的训练方法及装置
CN111461101A (zh) 工服标志的识别方法、装置、设备及存储介质
CN114821102A (zh) 密集柑橘数量检测方法、设备、存储介质及装置
CN113706481A (zh) 精子质量检测方法、装置、计算机设备和存储介质
US11663799B1 (en) Smart image tagging and selection on mobile devices
CN112052702A (zh) 一种识别二维码的方法和装置
CN115496976A (zh) 多源异构数据融合的视觉处理方法、装置、设备及介质
Hassan et al. Comparative study of forecasting global mean sea level rising using machine learning
CN111291716B (zh) 精子细胞识别方法、装置、计算机设备和存储介质
CN113192017A (zh) 包裹缺陷识别方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210914

RJ01 Rejection of invention patent application after publication