CN113191228A - 快件抛投的识别方法、装置、设备和存储介质 - Google Patents

快件抛投的识别方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN113191228A
CN113191228A CN202110424165.1A CN202110424165A CN113191228A CN 113191228 A CN113191228 A CN 113191228A CN 202110424165 A CN202110424165 A CN 202110424165A CN 113191228 A CN113191228 A CN 113191228A
Authority
CN
China
Prior art keywords
model
express
training
human body
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110424165.1A
Other languages
English (en)
Inventor
徐梦佳
李斯
杨周龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongpu Software Co Ltd
Original Assignee
Dongpu Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongpu Software Co Ltd filed Critical Dongpu Software Co Ltd
Priority to CN202110424165.1A priority Critical patent/CN113191228A/zh
Publication of CN113191228A publication Critical patent/CN113191228A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种快件抛投的识别方法、装置、设备和存储介质，针对现有的采用人工监控视频判断快递人员暴力分拣动作的方法存在错漏及误判的问题，通过创建Openpose模型，生成快件抛投的正负样本集对Openpose模型进行提取人体的骨架信息的训练，得到人体骨架训练集；然后创建动作分类模型，采用人体骨架训练集对动作分类模型进行训练，得到训练好的动作分类模型；继而采用训练好的动作分类模型对物流分拨中心的快件分拣视频流进行识别，判断是否存在快件抛投行为。上述采用计算机智能学习人体姿态来识别分拨中心的视频流中是否存在快件抛投行为的方法，无需人工监控视频，可全天不间断地对快件分拣视频进行识别，提高快件抛投的识别准确率。

Description

快件抛投的识别方法、装置、设备和存储介质
技术领域
本发明属于快件分拣的技术领域，尤其涉及一种快件抛投的识别方法、装置、设备和存储介质。
背景技术
随着互联网技术的发展，物流行业随之飞速发展，物流所带来的便捷生活，使得物流操作成为日常操作。在对物流的货品装卸中，当快件量激增时，为了追求效率，一些快递网点存在暴力分拣现象。虽然有自动化设备辅助，但是仍有快递员为了追求速度而对快件进行暴力分拣，存在快递员抛件、踩件等现象。为了防止这种现状，越来越多的视频监控系统被投入使用，通过视频监控系统对快递员的分拣动作进行识别和监控。
目前，由于大多数传统的监控系统都需要专门的人员对监控视频中快递员的暴力分拣进行人工判断，需要耗费大量的人力，并且人工判断会存在错漏判断和误操作，因而，导致对快递员暴力分拣动作的识别准确度较低。
发明内容
本发明的目的是提供一种快件抛投的识别方法、装置、设备和存储介质，提高对快递员暴力分拣动作的识别准确度。
为解决上述问题，本发明的技术方案为：
一种快件抛投的识别方法，包括：
创建Openpose模型，生成快件抛投的正负样本集对Openpose模型进行提取人体的骨架信息的训练，得到人体骨架训练集；
创建动作分类模型，采用人体骨架训练集对动作分类模型进行训练，得到训练好的动作分类模型；
采用训练好的动作分类模型对物流分拨中心的快件分拣视频流进行识别，判断是否存在快件抛投行为。
根据本发明一实施例，所述生成快件抛投的正负样本集对Openpose模型进行提取人体的骨架信息的训练进一步包括：
在生成快件抛投的正负样本集时，采用Mosaic数据增强技术，每次抽取四张图像，分别对四张图像进行翻转、缩放及色域变化操作后，在左上、左下、右上、右下四个方位依次放置所述四张图像，将所述四张图像拼接成一张新的图像，扩充正负样本集。
根据本发明一实施例，所述生成快件抛投的正负样本集对Openpose模型进行提取人体的骨架信息的训练进一步包括：
在对Openpose模型进行提取人体的骨架信息的训练时，采用训练好的state ofthe art模型对正负样本集进行一次标签生成，并将Openpose模型的ground truth与生成的标签进行融合，得到新的标签作为当前训练的ground truth。
根据本发明一实施例，所述生成快件抛投的正负样本集对Openpose模型进行提取人体的骨架信息的训练进一步包括：
收集快件抛投的正负样本集，采用Openpose模型提取正负样本集中的人体骨架信息，所述骨架信息通过前馈网络预测出人体部位置信度S，同时预测出相应部位的亲和力向量场L，生成集合S(S1，S2，…，SJ)及集合L(L1，L2，…，LC)，其中J表示每个骨骼关节点包含J个身体部位置信图，每个肢体包含C个部位亲和力向量场；基于集合S及集合L，使用Greedyalgorithm算法生成人体骨骼关节连接信息。
根据本发明一实施例，所述生成快件抛投的正负样本集对Openpose模型进行提取人体的骨架信息的训练进一步包括：
采用Openpose模型提取人体关节信息，得到关节的heatmap；
采用非最大值抑制算法从heatmap中提取关节的具体位置，通过关节部位置信图和关节部位相似性信息以及关节的具体位置获得肢体连接信息。
根据本发明一实施例，所述创建动作分类模型，采用人体骨架训练集对动作分类模型进行训练进一步包括：
创建基于卷积神经网络的ResNet动作分类模型，采用人体骨架训练集对ResNet动作分类模型进行训练，对肢体连接信息进行姿态识别，获取人体姿态信息，识别人体姿态信息中手臂关节对应的肢体姿态，提取所述肢体姿态，创建人体姿态信息与手臂姿态信息的对应关系，得到手臂行为姿态信息。
一种快件抛投的识别装置，包括：
数据集生成模块，用于创建Openpose模型，生成快件抛投的正负样本集对Openpose模型进行提取人体的骨架信息的训练，得到人体骨架训练集；
分类模块，用于创建动作分类模型，采用人体骨架训练集对动作分类模型进行训练，得到训练好的动作分类模型；
抛投检测模块，用于采用训练好的动作分类模型对物流分拨中心的快件分拣视频流进行识别，判断是否存在快件抛投行为。
根据本发明一实施例，所述数据集生成模块包括数据增强单元及标签融合单元；
所述数据增强单元采用Mosaic数据增强技术，每次抽取四张图像，分别对四张图像进行翻转、缩放及色域变化操作后，在左上、左下、右上、右下四个方位依次放置所述四张图像，将所述四张图像拼接成一张新的图像，扩充正负样本集；
所述标签融合单元采用训练好的state of the art模型对正负样本集进行一次标签生成，并将Openpose模型的ground truth与生成的标签进行融合，得到新的标签作为当前训练的ground truth。
一种快件抛投的识别设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行计算机可读指令时，实现本发明一实施例中的快件抛投的识别方法。
一种计算机可读介质，存储计算机程序，所述计算机程序被一个或多个处理器执行时，实现本发明一实施例中的快件抛投的识别方法。
本发明由于采用以上技术方案，使其与现有技术相比具有以下的优点和积极效果：
1)本发明一实施例中的快件抛投的识别方法，针对现有的采用人工监控视频判断快递人员暴力分拣动作的方法存在错漏及误判的问题，通过创建Openpose模型，生成快件抛投的正负样本集对Openpose模型进行提取人体的骨架信息的训练，得到人体骨架训练集；然后创建动作分类模型，采用人体骨架训练集对动作分类模型进行训练，得到训练好的动作分类模型；继而采用训练好的动作分类模型对物流分拨中心的快件分拣视频流进行识别，判断是否存在快件抛投行为。上述采用计算机智能学习人体姿态来识别分拨中心的视频流中是否存在快件抛投行为的方法，无需人工监控视频，可全天不间断地对快件分拣视频进行识别，提高快件抛投的识别准确率。
2)本发明一实施例中的快件抛投的识别方法，在建立Openpose模型训练集时采用mosaic数据增强，每次读取四张图片、分别对四张图片进行翻转、缩放、色域变化等操作，并且按照四个方向位置摆好，进行图片的组合和框的组合，极大丰富了检测物体的背景，扩充了训练样本集。
3)本发明一实施例中的快件抛投的识别方法，Openpose模型的姿态估测方法采用PAF算法，在对模型进行训练的时候，一个PAF连接就是对已知的两个骨骼点进行连接，如果两个骨骼点中有一个不存在，则不生成PAF标签；而在实际训练中，存在骨骼点错漏的情况，针对这种情况，本实施例通过使用现有的训练好的state of the art的模型(比如已经训练好的CMU-POSE)对数据集进行一次标签生成，然后在训练的时候，将ground truth与生成的标签进行融合，得到新的标签作为当前训练的ground truth。避免了上述情况的发生，提高Openpose模型的训练准确度，进而提高快件抛投的识别准确率。
附图说明
图1为本发明一实施例中的快件抛投的识别方法流图；
图2为本发明一实施例中的Openpose模型的原理图；
图3为本发明一实施例中的快件抛投的识别装置框图；
图4为本发明一实施例中的快件抛投的识别设备示意图。
具体实施方式
以下结合附图和具体实施例对本发明提出的一种快件抛投的识别方法、装置、设备和存储介质作进一步详细说明。根据下面说明和权利要求书，本发明的优点和特征将更清楚。
实施例一
本实施例针对现有的采用人工监控视频判断快递人员暴力分拣动作的方法存在错漏及误判的问题，提供了一种快件抛投的识别方法，该方法采用计算机智能学习人体姿态来识别分拨中心的视频流中是否存在快件抛投行为的方法，无需人工监控视频，可全天不间断地对快件分拣视频进行识别，提高快件抛投的识别准确率。
具体的，请参看图1，该快件抛投的识别方法包括以下步骤：
S1：创建Openpose模型，生成快件抛投的正负样本集对Openpose模型进行提取人体的骨架信息的训练，得到人体骨架训练集；
S2：创建动作分类模型，采用人体骨架训练集对动作分类模型进行训练，得到训练好的动作分类模型；
S3：采用训练好的动作分类模型对物流分拨中心的快件分拣视频流进行识别，判断是否存在快件抛投行为。
在步骤S1中，创建Openpose模型，请参看图2。其中，S表示每个关节点的confidence maps，L表示2D vector fields(肢体的位置和方向信息)。F为由VGG-19前10层组成的feature maps集合，两分支的多阶段CNN，第一分支用来预测confidence map St,第二分支用来预测PAFs Lt。在每个阶段之后，来自两个分支的预测以及图像特征被连接起来用于下一阶段。为了更好的学习S和L，每个阶段会都有loss计算调整模型参数。
Openpose模型主要实现对人体关节(part)的检测及两个part之间的连接关系(PAF)的确定，其中，对part的检测可通过以下定义进行训练：
令
Figure BDA0003029178930000051
为personk的第j part的confidence map，*为groundtruth，Xj,k为第k个人的第j个part的ground truth的坐标信息。对于
Figure BDA0003029178930000052
位置p的值，如下定义：
Figure BDA0003029178930000053
σ是用来控制分布的参数，用于训练part的groundtruth confidence map是对各人的confidence map进行求最大操作：
Figure BDA0003029178930000054
如此，若有两个不同的人的相同关节比较靠近，它们的最大值也不会受到影响，因为最终是用非最大抑制(NMS)算法来获得峰值作为关节位置。
对PAF信息的确定可通过以下定义进行训练：
定义若干个(19个)连接，对于每一个连接，都包含了x方向和y方向的信息。令
Figure BDA0003029178930000061
为person k的第c个limb的ground truth PAF。该limb对应于partj1和partj2，对于
Figure BDA0003029178930000062
上的位置p，如果p在limb c上，则定义如下：
Figure BDA0003029178930000063
Figure BDA0003029178930000064
如果p不在limb c上，则：
Figure BDA0003029178930000065
Figure BDA0003029178930000066
最终用于训练PAF的ground truth PAF是对各人的PAF求平均：
Figure BDA0003029178930000067
如此，若有两个不同的人的相同limb且重叠，在重叠部分求平均，可以兼顾遮挡limb和被遮挡limb的信息。
在步骤S1中，生成快件抛投的正负样本集对Openpose模型进行提取人体的骨架信息的训练进一步包括：
S21：在生成快件抛投的正负样本集时，采用Mosaic数据增强技术，每次抽取四张图像，分别对四张图像进行翻转、缩放及色域变化操作后，在左上、左下、右上、右下四个方位依次放置所述四张图像，将所述四张图像拼接成一张新的图像，扩充正负样本集。
本实施例在对Openpose模型的训练集上作了一些优化，如采用Mosaic数据增强技术，来丰富目标检测的背景，扩充样本集。
在实际应用中，Openpose模型的训练集可采用COCO数据集，在COCO数据集中包含了人体关键点的坐标及类型信息，根据关键点信息生成part和PAF的训练样本。
由于本发明的目的是对快件分拣时的抛投行为进行检测，因此，在制作Openpose模型的样本集时，需要分为具有抛投行为的正样本集及不具有抛投行为的负样本集。分别对正样本集及负样本集作Mosaic数据增强操作，每次从正样本集或负样本集中随机读取四张图像，分别对四张图像进行翻转(左右翻转)、缩放、色域变化(对图像的明亮度、饱和度、色调进行改变)操作；然后在左上、左下、右上、右下四个方位依次放置这四张图像，利用矩阵的方式截取这四张图像中感兴趣区域，并拼接成一张新的图像。
本实施例在训练Openpose模型方面除了上述优化外，还做了以下优化：
如步骤S31所述的在对Openpose模型进行提取人体的骨架信息的训练时，采用训练好的state of the art模型对正负样本集进行一次标签生成，并将Openpose模型的ground truth与生成的标签进行融合，得到新的标签作为当前训练的ground truth。
Openpose模型的姿态估测方法就是采用CPM+PAF的方法，在对模型进行训练的时候，一个PAF连接就是对已知的两个骨骼点进行连接。如果两个骨骼点中有一个不存在，则不生成PAF标签。
如手臂的骨骼点连接，当腕关节点存在，肘关节的点缺失时，在生成PAF标签时，就不会生成这两个点之间的PAF，但实际上这个PAF明显存在，应该被标记。因此，严格来说，这样的样本属于错误样本，在训练过程中，即使模型预测出了正确的PAF，也会被惩罚，很容易对模型的训练造成影响。因此，本实施例在训练模型的时候，先使用现有的训练好的stateof the art的模型(比如已经训练好的CMU-POSE)对数据集进行一次标签生成，然后在训练的时候，将ground truth与生成的标签进行融合，得到新的标签作为当前训练的groundtruth。
对于人体关键点keypoint标签，直接在对应的标签上取max(groundtruth_label,generate_label)，PAF的标签则是取groundtruth label和generate label中模大的那个，因PAF的标签有正有负。
以上，都是对Openpose模型训练作的准备工作，制作好模型训练的样本集后，就可正式对模型进行训练了，如下步骤所示：
步骤S41：收集快件抛投的正负样本集，采用Openpose模型提取正负样本集中的人体骨架信息，所述骨架信息通过前馈网络预测出人体部位置信度S，同时预测出相应部位的亲和力向量场L，生成集合S(S1，S2，…，SJ)及集合L(L1，L2，…，LC)，其中J表示每个骨骼关节点包含J个身体部位置信图，每个肢体包含C个部位亲和力向量场；基于集合S及集合L，使用Greedy algorithm算法生成人体骨骼关节连接信息。
对抛投动作的图片、视频进行收集作为正样本，相应的收集非抛投动作的负样本。当样本收集完成后采用Openpose模型将正负样本集的骨架特征信息提取出来。例如输入一幅样本集中的图像，经过卷积网络提取特征，得到一组特征图，然后分成两个岔路，分别使用CNN网络提取Part Confidence Maps和Part Affinity Fields信息，得到这两个信息后，使用Bipartite Matching(偶匹配)算法求出Part Association，将同一个人的关节点连接起来。由于PAF自身的矢量性，使得生成的偶匹配很正确，最终合并为一个人的整体骨架，并得到人体骨架信息，整理得到人体骨架信息数据集，即人体骨架训练集。
上述步骤S41提供了一种Openpose模型的实现方式，本实施例还提供了另一种Openpose模型的实现方式，具体如下所示：
步骤S51：采用Openpose模型提取人体关节信息，得到关节的heatmap；采用非最大值抑制算法从heatmap中提取关节的具体位置，通过关节部位置信图和关节部位相似性信息以及关节的具体位置获得肢体连接信息。
输入一幅样本集中的图像，经过卷积网络提取特征，得到一组特征图，使用CNN网络提取Part Confidence Maps，得到关节的heatmap；然后应用非最大抑制(NMS)算法来获得heatmap中的峰值，该峰值值为置信度，作为相应part的score(分数)。
获得了关节的位置及分数信息后，基于关节信息和PAF信息来获得肢体连接。之前提到Openpose模型包含了19个肢体，通过确定每一肢体所对应的两个part和PAF，将两个part之间的PAF信息进行积分，所得结果作为该肢体的置信度。
例如，要寻找所有的左上臂，在已经有左肩和左肘part信息，以及左上臂的PAF信息的前提下，将左肩中的所有part与左肘的所有part进行匹配，计算两个part间的PAF信息的积分，所得结构作为该part相连的score。最后将所有score进行排序，来确定part之间是否相连。
通过上述方法就可获得所有的连接信息，每一个连接都可以看作是一个肢体。
在步骤S2中，创建动作分类模型，采用人体骨架训练集对动作分类模型进行训练进一步包括：
步骤S61：创建基于卷积神经网络的ResNet动作分类模型，采用人体骨架训练集对ResNet动作分类模型进行训练，对肢体连接信息进行姿态识别，获取人体姿态信息，识别人体姿态信息中手臂关节对应的肢体姿态，提取所述肢体姿态，创建人体姿态信息与手臂姿态信息的对应关系，得到手臂行为姿态信息。
ResNet通过引入残差网络结构增加了网络的深度，通过捷径连接改变简单的堆叠网络解决了网络加深导致梯度消失的问题。ResNet吸收借鉴了以往的网络结构的优点舍弃全连接层，对堆叠结构都采用残差学习减少了学习的难度和提升了学习的效率。
本实施例采用ResNet-56作为动作分类模型，将步骤S1生成的人体骨架训练集中的样本传入假动作分类模型中训练，当检测到人体抛投的准确率到达较好程度(如90％的正确率)之后就结束训练。
在步骤S3中，采用训练好的动作分类模型对物流分拨中心的快件分拣视频流进行识别，判断是否存在快件抛投行为。
具体的，通过物流分拨中心的服务器获取快件装卸视频，将快件装卸视频转换为图像，获得快件装卸图像，对快件装卸图像进行特征提取，获得快件装卸图像特征。实际应用中，可以通过预置的机器人操作系统ROS获取预置视频采集器采集的快件装卸视频，对快件装卸视频进行基于数字图像处理Opencv的视频转图像处理，获得快件装卸图像，对快件装卸图像进行边缘检测获得灰度图像特征，对灰度图像特征进行人体检测，从而获得存在人体形状的快件装卸图像特征。
服务器通过预置的机器人操作系统(Robot Operating System，ROS)进行与各预置视频采集器之间的通信与连接，存储预置视频采集器采集的快件装卸视频，服务器可从ROS中提取预设时段的快件装卸视频。在ROS创建工作空间，在该工作空间，通过预置接口连接和启动数字图像处理器Opencv将快件装卸视频转换为Opencv图像。通过方向梯度直方图(Histogram of Oriented Gradient，HOG)算法和支持向量机(Support Vector Machine，SVM)分类算法对灰度图像特征进行人体检测，获得存在人体形状的快件装卸图像特征。通过在机器人操作系统ROS下将快件装卸视频转换为Opencv图像，便于对转换快件装卸视频为Opencv图像的操作和提高其操作效率。通过对快件装卸图像进行边缘检测，增强图像对于人体的纹理特征，从而便于后续的人体检测和提高人体检测的准确度。通过人体检测对快件装卸图像进行筛选，减少后续的操作，提高操作效率。
将处理过的快件装卸图像训练好的动作分类模型中，判断是否存在快件抛投行为。若存在，则将该图像标记为快件违规分拣图像，并保存；后续可将该快件违规分拣图像传输给物流企业管理系统，作为快递人员的违规操作的证据。
实施例二
本实施例提供了一种快件抛投的识别装置，请参看图3，该快件抛投的识别装置包括：
数据集生成模块1，用于创建Openpose模型，生成快件抛投的正负样本集对Openpose模型进行提取人体的骨架信息的训练，得到人体骨架训练集；
分类模块2，用于创建动作分类模型，采用人体骨架训练集对动作分类模型进行训练，得到训练好的动作分类模型；
抛投检测模块3，用于采用训练好的动作分类模型对物流分拨中心的快件分拣视频流进行识别，判断是否存在快件抛投行为。
其中，数据集生成模块1包括数据增强单元及标签融合单元。该数据增强单元采用Mosaic数据增强技术，每次抽取四张图像，分别对四张图像进行翻转、缩放及色域变化操作后，在左上、左下、右上、右下四个方位依次放置所述四张图像，将所述四张图像拼接成一张新的图像，扩充正负样本集。
由于Openpose模型的姿态估测方法采用PAF算法，在对模型进行训练的时候，一个PAF连接就是对已知的两个骨骼点进行连接，如果两个骨骼点中有一个不存在，则不生成PAF标签；而在实际训练中，存在骨骼点错漏的情况，针对这种情况，本实施例通过标签融合单元采用训练好的state of the art模型对正负样本集进行一次标签生成，并将Openpose模型的ground truth与生成的标签进行融合，得到新的标签作为当前训练的groundtruth。避免了上述情况的发生，提高Openpose模型的训练准确度，进而提高快件抛投的识别准确率。
上述数据集生成模块1、分类模块2及抛投检测模块3的功能及实现方法均如上述实施例一所述，在此不再赘述。
实施例三
上述实施例二从模块化功能实体的角度对本发明快件抛投的识别装置进行详细描述，下面从硬件处理的角度对本发明快件抛投的识别设备进行详细描述。
请参看图4，该快件抛投的识别设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)510(例如，一个或一个以上处理器)和存储器520，一个或一个以上存储应用程序533或数据532的存储介质530(例如一个或一个以上海量存储设备)。其中，存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对快件抛投的识别设备500中的一系列指令操作。
进一步地，处理器510可以设置为与存储介质530通信，在快件抛投的识别设备500上执行存储介质530中的一系列指令操作。
快件抛投的识别设备500还可以包括一个或一个以上电源540，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口560，和/或，一个或一个以上操作系统531，例如Windows Serve、Vista等等。
本领域技术人员可以理解，图4示出的快件抛投的识别设备结构并不构成对快件抛投的识别设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质。该计算机可读存储介质中存储有指令，当该指令在计算机上运行时，使得计算机执行实施例一中的快件抛投的识别方法中的步骤。
实施例二中的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件的形式体现出来，该计算机软件存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-only memory，ROM)、随机存取存储器(Random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置及设备的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式。即使对本发明作出各种变化，倘若这些变化属于本发明权利要求及其等同技术的范围之内，则仍落入在本发明的保护范围之中。

Claims (10)

1.一种快件抛投的识别方法，其特征在于，包括：
创建Openpose模型，生成快件抛投的正负样本集对Openpose模型进行提取人体的骨架信息的训练，得到人体骨架训练集；
创建动作分类模型，采用人体骨架训练集对动作分类模型进行训练，得到训练好的动作分类模型；
采用训练好的动作分类模型对物流分拨中心的快件分拣视频流进行识别，判断是否存在快件抛投行为。
2.如权利要求1所述的快件抛投的识别方法，其特征在于，所述生成快件抛投的正负样本集对Openpose模型进行提取人体的骨架信息的训练进一步包括：
在生成快件抛投的正负样本集时，采用Mosaic数据增强技术，每次抽取四张图像，分别对四张图像进行翻转、缩放及色域变化操作后，在左上、左下、右上、右下四个方位依次放置所述四张图像，将所述四张图像拼接成一张新的图像，扩充正负样本集。
3.如权利要求1所述的快件抛投的识别方法，其特征在于，所述生成快件抛投的正负样本集对Openpose模型进行提取人体的骨架信息的训练进一步包括：
在对Openpose模型进行提取人体的骨架信息的训练时，采用训练好的state oftheart模型对正负样本集进行一次标签生成，并将Openpose模型的ground truth与生成的标签进行融合，得到新的标签作为当前训练的ground truth。
4.如权利要求1所述的快件抛投的识别方法，其特征在于，所述生成快件抛投的正负样本集对Openpose模型进行提取人体的骨架信息的训练进一步包括：
收集快件抛投的正负样本集，采用Openpose模型提取正负样本集中的人体骨架信息，所述骨架信息通过前馈网络预测出人体部位置信度S，同时预测出相应部位的亲和力向量场L，生成集合S(S1，S2，…，SJ)及集合L(L1，L2，…，LC)，其中J表示每个骨骼关节点包含J个身体部位置信图，每个肢体包含C个部位亲和力向量场；基于集合S及集合L，使用Greedyalgorithm算法生成人体骨骼关节连接信息。
5.如权利要求1所述的快件抛投的识别方法，其特征在于，所述生成快件抛投的正负样本集对Openpose模型进行提取人体的骨架信息的训练进一步包括：
采用Openpose模型提取人体关节信息，得到关节的heatmap；
采用非最大值抑制算法从heatmap中提取关节的具体位置，通过关节部位置信图和关节部位相似性信息以及关节的具体位置获得肢体连接信息。
6.如权利要求1所述的快件抛投的识别方法，其特征在于，所述创建动作分类模型，采用人体骨架训练集对动作分类模型进行训练进一步包括：
创建基于卷积神经网络的ResNet动作分类模型，采用人体骨架训练集对ResNet动作分类模型进行训练，对肢体连接信息进行姿态识别，获取人体姿态信息，识别人体姿态信息中手臂关节对应的肢体姿态，提取所述肢体姿态，创建人体姿态信息与手臂姿态信息的对应关系，得到手臂行为姿态信息。
7.一种快件抛投的识别装置，其特征在于，包括：
数据集生成模块，用于创建Openpose模型，生成快件抛投的正负样本集对Openpose模型进行提取人体的骨架信息的训练，得到人体骨架训练集；
分类模块，用于创建动作分类模型，采用人体骨架训练集对动作分类模型进行训练，得到训练好的动作分类模型；
抛投检测模块，用于采用训练好的动作分类模型对物流分拨中心的快件分拣视频流进行识别，判断是否存在快件抛投行为。
8.如权利要求7所述的快件抛投的识别装置，其特征在于，所述数据集生成模块包括数据增强单元及标签融合单元；
所述数据增强单元采用Mosaic数据增强技术，每次抽取四张图像，分别对四张图像进行翻转、缩放及色域变化操作后，在左上、左下、右上、右下四个方位依次放置所述四张图像，将所述四张图像拼接成一张新的图像，扩充正负样本集；
所述标签融合单元采用训练好的state ofthe art模型对正负样本集进行一次标签生成，并将Openpose模型的ground truth与生成的标签进行融合，得到新的标签作为当前训练的groundtruth。
9.一种快件抛投的识别设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行计算机可读指令时，实现如权利要求1至6中任意一项所述的快件抛投的识别方法。
10.一种计算机可读介质，存储计算机程序，其特征在于，所述计算机程序被一个或多个处理器执行时，实现如权利要求1至6中任意一项所述的快件抛投的识别方法。
CN202110424165.1A 2021-04-20 2021-04-20 快件抛投的识别方法、装置、设备和存储介质 Pending CN113191228A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110424165.1A CN113191228A (zh) 2021-04-20 2021-04-20 快件抛投的识别方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110424165.1A CN113191228A (zh) 2021-04-20 2021-04-20 快件抛投的识别方法、装置、设备和存储介质

Publications (1)

Publication Number Publication Date
CN113191228A true CN113191228A (zh) 2021-07-30

Family

ID=76977603

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110424165.1A Pending CN113191228A (zh) 2021-04-20 2021-04-20 快件抛投的识别方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN113191228A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111368730A (zh) * 2020-03-04 2020-07-03 上海东普信息科技有限公司 快件分拣异常动作的识别方法、装置、设备及存储介质
CN111967433A (zh) * 2020-08-31 2020-11-20 重庆科技学院 一种基于自监督学习网络的动作识别办法
CN112001347A (zh) * 2020-08-31 2020-11-27 重庆科技学院 一种基于人体骨架形态与检测目标的动作识别方法
US20200394413A1 (en) * 2019-06-17 2020-12-17 The Regents of the University of California, Oakland, CA Athlete style recognition system and method
CN112287777A (zh) * 2020-10-15 2021-01-29 河海大学 基于边缘智能的学生状态课堂监测方法
CN112613343A (zh) * 2020-12-01 2021-04-06 浙江大学 一种基于改进YOLOv4的河道废弃物监测方法
CN112631135A (zh) * 2020-11-30 2021-04-09 西安建筑科技大学 基于计算机视觉监测的个体热舒适控制系统及控制方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200394413A1 (en) * 2019-06-17 2020-12-17 The Regents of the University of California, Oakland, CA Athlete style recognition system and method
CN111368730A (zh) * 2020-03-04 2020-07-03 上海东普信息科技有限公司 快件分拣异常动作的识别方法、装置、设备及存储介质
CN111967433A (zh) * 2020-08-31 2020-11-20 重庆科技学院 一种基于自监督学习网络的动作识别办法
CN112001347A (zh) * 2020-08-31 2020-11-27 重庆科技学院 一种基于人体骨架形态与检测目标的动作识别方法
CN112287777A (zh) * 2020-10-15 2021-01-29 河海大学 基于边缘智能的学生状态课堂监测方法
CN112631135A (zh) * 2020-11-30 2021-04-09 西安建筑科技大学 基于计算机视觉监测的个体热舒适控制系统及控制方法
CN112613343A (zh) * 2020-12-01 2021-04-06 浙江大学 一种基于改进YOLOv4的河道废弃物监测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
马里奥奥利奥: "openpose tensorflow版本 原理+项目代码详解", pages 6, Retrieved from the Internet <URL:https://blog.csdn.net/surserrr/article/details/90371238> *

Similar Documents

Publication Publication Date Title
CN108022235B (zh) 高压输电铁塔关键部件缺陷识别方法
CN104463117B (zh) 一种基于视频方式的人脸识别样本采集方法及系统
CN111222500B (zh) 一种标签提取方法及装置
CN113065558A (zh) 一种结合注意力机制的轻量级小目标检测方法
CN107977639B (zh) 一种人脸清晰度判断方法
CN110781836A (zh) 人体识别方法、装置、计算机设备及存储介质
CN108596102B (zh) 基于rgb-d的室内场景物体分割分类器构造方法
CN111161315A (zh) 一种基于图神经网络的多目标跟踪方法和系统
CN111160307A (zh) 一种人脸识别方法及人脸识别打卡系统
CN111582154A (zh) 基于多任务骨架姿态划分部件的行人重识别方法
CN110245592A (zh) 一种用于提升监控场景的行人重识别率的方法
CN113537107A (zh) 一种基于深度学习的人脸识别及追踪方法、装置及设备
CN114332911A (zh) 一种头部姿态检测方法、装置及计算机设备
CN111860117A (zh) 一种基于深度学习的人体行为识别方法
CN115620090A (zh) 模型训练方法、低照度目标重识别方法和装置、终端设备
Yan et al. Human-object interaction recognition using multitask neural network
Shankar et al. A framework to enhance object detection performance by using YOLO algorithm
CN116977937A (zh) 一种行人重识别的方法及系统
CN111898418A (zh) 一种基于t-tiny-yolo网络的人体异常行为检测方法
CN111241926A (zh) 考勤与学情分析方法、系统、设备及可读存储介质
EP3352112A1 (en) Architecture adapted for recognising a category of an element from at least one image of said element
CN112766065A (zh) 一种移动端考生身份认证方法、装置、终端及存储介质
CN111611917A (zh) 模型训练方法、特征点检测方法、装置、设备及存储介质
CN113191228A (zh) 快件抛投的识别方法、装置、设备和存储介质
CN115239807A (zh) 基于循环多模态融合的机械臂抓取位姿检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination