CN111723617A - 动作识别的方法、装置、设备及存储介质 - Google Patents

动作识别的方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111723617A
CN111723617A CN201910214629.9A CN201910214629A CN111723617A CN 111723617 A CN111723617 A CN 111723617A CN 201910214629 A CN201910214629 A CN 201910214629A CN 111723617 A CN111723617 A CN 111723617A
Authority
CN
China
Prior art keywords
action
video
classification network
video sample
abnormal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910214629.9A
Other languages
English (en)
Other versions
CN111723617B (zh
Inventor
李�杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SF Technology Co Ltd
Original Assignee
SF Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SF Technology Co Ltd filed Critical SF Technology Co Ltd
Priority to CN201910214629.9A priority Critical patent/CN111723617B/zh
Publication of CN111723617A publication Critical patent/CN111723617A/zh
Application granted granted Critical
Publication of CN111723617B publication Critical patent/CN111723617B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/083—Shipping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Business, Economics & Management (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Development Economics (AREA)
  • Social Psychology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供的动作识别的方法、装置、设备及存储介质中，首先基于第一视频样本，经过训练得到第一动作分类网络；而后，为降低误报的几率，又基于第二视频样本训练得到二分类网络；然后，将第一动作分类网络的卷积层与二分类网络的全连接层相结合得到第二动作分类网络；并结合第一动作分类网络和第二动作分类网络对待检测的视频进行判断分析。相较于现有技术而言，本申请一方面能够复用了第一动作分类网络的骨干网络来获得第二动作分类网络，最大限度地降低了计算量；一方面，针对可能存在误报的动作类型，可在不改变骨干网络的前提下进行动态处理，只需训练一个新增误报的二分类网络即可，大幅度地提高了暴力行为报警的准确率。

Description

动作识别的方法、装置、设备及存储介质
技术领域
本公开一般涉及动作识别技术领域，具体涉及一种动作识别的方法、装置、设备及存储介质。
背景技术
近年来，伴随着网购的逐年兴起快递物流行业的发展势头依旧迅猛，为能够快速地完成快递物流的分拣输送，快递站点的工作人员的工作压力与日俱增。在此过程中，不可避免地存在暴力分拣的情况，这种行为既影响公司形象，也给公司造成很大的经济损失。
为能够有效地将上述暴力行为识别出来，现有的识别方法基本依靠人工检查监控视频等方式监管，缺少时效性，且有很大主观性，此外，也需要投入大量的人力成本且无法全面覆盖，仅能依赖抽样检查。即使依赖现有的一些动作识别技术，鉴于其分类较为粗放，也很容易出现误判的情况，亟待改进。
发明内容
鉴于现有技术中的上述缺陷或不足，期望提供一种相较于现有技术而言，能够有效地节省人力成本，同时，能够更为细化且精确地识别暴力分拣行为的动作识别的方法及装置。
第一方面，一种动作识别方法，包括：根据第一视频样本，训练第一动作分类网络；所述第一视频样本包括：至少两类目标动作；根据第二视频样本，训练二分类网络；所述第二视频样本包括：异常动作和非异常动作两类；将第一动作分类网络的卷积层特征，与所述二分类网络的全连接层连接，并基于第二视频样本训练得到第二动作分类网络；基于第一动作分类网络，判断待检测视频是否为目标动作；若为目标动作，则继续基于第二动作分类网络，判断是否为异常动作；若为非异常动作，则认定为目标动作。
在一些实施例中，将第一动作分类网络的卷积层特征，与所述二分类网络的全连接层连接，并基于第二视频样本训练得到第二动作分类网络，之后还包括：基于第二动作分类网络，输入第二视频样本中的异常动作类以得到全连接层的输出作为特征向量；并对所有特征向量进行聚类分析得到聚类中心；再将各个特征向量与聚类中心的距离中的最大值作为阈值。
在一些实施例中，在若为非异常判断，则认定为目标动作，之后还包括：将待检测视频输入第二动作分类网络，并得到其全连接层输出特征；将其全连接层输出特征与聚类中心进行比较，得到计算距离；若计算距离在阈值范围内，则判断为异常动作，否则，则为目标动作。
在一些实施例中，在根据标注的第一视频样本，训练第一动作分类网络，之前还包括：解析视频，得到多个第一预设帧长度的帧序列；根据帧序列的内容对其进行分类，得到第一视频样本；在根据标注的第二视频样本，训练二分类网络，之前还包括：解析视频，得到多个第二预设帧长度的帧序列；根据帧序列的内容对其进行分类，得到第二视频样本。
在一些实施例中，所述第一视频样本的帧序列互不重叠，且同类别的第一视频样本数量小于等于2；所述第二视频样本的帧序列互不重叠。
第二方面，一种动作识别装置，包括：第一训练模块，用于根据第一视频样本，训练第一动作分类网络；所述第一视频样本包括：至少两类目标动作；第二训练模块，用于第二视频样本，训练二分类网络；所述第二视频样本包括：异常动作和非异常动作两类；第三训练模块，用于将第一动作分类网络的卷积层特征，与所述二分类网络的全连接层连接，并基于第二视频样本训练得到第二动作分类网络；判断分析模块，用于基于第一动作分类网络，判断待检测视频是否为目标动作；若为目标动作，则继续基于第二动作分类网络，判断是否为异常动作；若为非异常判断，则认定为目标动作。
在一些实施例中，还包括：阈值求解模块，用于基于第二动作分类网络，输入第二视频样本中的异常动作类以得到全连接层的输出作为特征向量；并对所有特征向量进行聚类分析得到聚类中心；再将各个特征向量与聚类中心的距离中的最大值作为阈值。
在一些实施例中，还包括：阈值判断模块，用于将待检测视频输入第二动作分类网络，并得到其全连接层输出特征；将其全连接层输出特征与聚类中心进行比较，得到计算距离；若计算距离在阈值范围内，则判断为异常动作，否则，则为目标动作。
在一些实施例中，还包括：第一分类模块和第二分类模块；所述第一分类模块，包括：第一解析单元，用于解析视频，得到多个第一预设帧长度的帧序列；第一分类单元，根据帧序列的内容对其进行分类，得到第一视频样本；所述第一分类模块，包括：第二解析单元，解析视频，得到多个第二预设帧长度的帧序列；第二分类单元，根据帧序列的内容对其进行分类，得到第二视频样本。
在一些实施例中，所述第一视频样本的帧序列互不重叠，且同类别的第一视频样本数量小于等于2；所述第二视频样本的帧序列互不重叠。
第三方面，一种设备，所述设备包括：存储器，用于存储可执行程序代码；一个或多个处理器，用于读取所述存储器中存储的可执行程序代码以执行第一方面所述的动作识别方法。
第四方面，一种计算机可读存储介质，所述计算机可读存储介质包括指令，当所述指令在计算机上运行时，使得计算机执行第一方面所述的动作识别方法。
本申请实施例提供的动作识别的方法、装置、设备及存储介质中，首先基于第一视频样本，经过训练得到第一动作分类网络；而后，为降低误报的几率，又基于第二视频样本训练得到二分类网络；然后，将第一动作分类网络的卷积层与二分类网络的全连接层相结合得到第二动作分类网络；并结合第一动作分类网络和第二动作分类网络对待检测的视频进行判断分析。相较于现有技术而言，本申请一方面能够复用了第一动作分类网络的骨干网络来获得第二动作分类网络，最大限度地降低了计算量；一方面，针对可能存在误报的动作类型，可在不改变骨干网络的前提下进行动态处理，只需训练一个新增误报的二分类网络即可，大幅度地提高了暴力行为报警的准确率。
更进一步，本申请还利用第二分类网络求解得到判断阈值，并将待检测视频的特征向量与聚类中心的计算距离与阈值进行比较，以继续提高动作识别的准确率。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是一种动作识别方法的实施方式一的流程示意图；
图2是一种动作识别方法的实施方式二的流程示意图；
图3是一种动作识别方法的实施方式三的流程示意图；
图4是一种动作识别装置的实施方式一的结构示意图；
图5是一种动作识别装置的实施方式二的结构示意图；
图6是一种动作识别装置的实施方式三的结构示意图；
图7是适用于来实现本申请实施例的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
请参考图1所示的一种动作识别方法的实施方式一的流程示意图。一种动作识别方法，包括以下步骤：
根据第一视频样本，训练第一动作分类网络；所述第一视频样本包括：至少两类目标动作。在此步骤中，将第一视频样本输入动作分类网络(举例来说，此网络可以使用TSN使用的inception v2，或者eco使用的inceptionv2+c3d网络)进行训练，当准确率不再提升，loss下降不明显，或者训练迭代次数达到预设，即可训练结束。当训练结束后，即得到第一动作分类网络的参数，获得第一动作分类网络。
所述第一视频样本是多个帧序列，根据其内动作内容将其标注为不同的动作类型，而所述动作类型即属于目标动作。
根据第二视频样本，训练二分类网络；所述第二视频样本包括：异常动作和非异常动作两类。在实际的动作识别过程中，需要将待检测的视频输入训练完成的第一动作分类网络，以判断该视频中是否存在目标动作。但是，考虑到一些容易混淆的情况，故本实施方式中基于第二视频样本，训练得到二分类网络。
需要说明的是：该二分类网络针对一种容易被误判的情况，将误判的情况确定为异常动作；将未误判的情况确定为非异常动作。然后，基于异常动作和非异常动作构成的第二视频样本，进行训练得到二分类网络。
将第一动作分类网络的卷积层特征，与所述二分类网络的全连接层连接，并基于第二视频样本训练得到第二动作分类网络。
此步骤中，将第一动作分类网络与二分类网络结合起来，构成第二分类网络。具体为，第一动作分类网络的动作分类网络最后几层为average pool(池化层)+fc(全连接层)+softmax(分类器)，二分类网络可共用动作分类网络average pool的输出，然后接其fc1(第一全连接层)+fc2层(第二全连接层)+softmax层(分类器)，其中：二分类网络可以有多于两个全连接层。一个全连接层用于聚类中心特征的计算，第二个用于分类的计算。
而后，基于第二视频样本，训练得到第二动作分类网络，具体训练方法为：
1、训练average pool到fc1层的权值，动作网络的权值固定。
loss函数采用triplet loss进行训练，基于此步训练能够使得相同的类别接近，不同的类别远离。
2、固定动作网络的权值及average pool到fc1层的权值，训练fc1层到fc2层的权值。
loss函数采用softmax loss。
基于第一动作分类网络，判断待检测视频是否为目标动作；若为目标动作，则继续基于第二动作分类网络，判断是否为异常动作；若为非异常动作，则认定为目标动作。
此步骤给出了具体使用上述第一动作分类网络和第二动作分类网络对待检测视频进行判断的步骤。
第一步，基于第一动作分类网络，判断待检测视频是否为目标动作，若非目标动作，证明不是需要进行报警的动作类型，结束判断即可；若为目标动作，证明是需要进行报警的动作类型，但是，为排除是否为异常动作，还需要进行如下步骤的判断。
第二步，为确定判定为目标动作是否为误判，则继续基于第二动作分类网络，判断是否为异常动作，若为异常动作，则确定第一步中认定的目标动作为误判，故结束判断即可。若为非异常动作，则确定第一步中的目标动作为正常报警，再次确定待检测的视频动作属于目标动作。
在本实施方式中，基于上述步骤的配合，相较于现有技术而言，本申请一方面能够复用了第一动作分类网络的骨干网络来获得第二动作分类网络，最大限度地降低了计算量；一方面，针对可能存在误报的动作类型，可在不改变骨干网络的前提下进行动态处理，只需训练一个新增误报的二分类网络即可，大幅度地提高了暴力行为报警的准确率。
请参考图2所示的一种动作识别方法的实施方式二的流程示意图。在本实施方式中，将第一动作分类网络的卷积层特征，与所述二分类网络的全连接层连接，并基于第二视频样本训练得到第二动作分类网络，之后还包括：基于第二动作分类网络，输入第二视频样本中的异常动作类以得到全连接层的输出作为特征向量；并对所有特征向量进行聚类分析得到聚类中心；再将各个特征向量与聚类中心的距离中的最大值作为阈值。
相较于实施方式一而言，本实施方式中，在得到第二动作分类网络之后，还通过输入第二视频样本中的异常动作类，得到了第二动作分类网络中全连接层的输出作为特征向量。
比如：若第二视频样本中的异常动作类有100个，则基于第二动作分类网络将得到100个特征向量。
然后，将所有的特征向量结合起来进行聚类分析，得到聚类中心。具体地，可采用kmeans算法，目标函数是：最小化特征向量与聚类中心的距离。
得到聚类中心后，再计算各个特征向量与聚类中心的距离，并将所有距离中的最大值作为阈值。
基于此阈值，可以继续对判定为目标动作的待检测视频进行判断，以更为精准地确定其是否为目标动作。
请参考图2所示的一种动作识别方法的实施方式二的流程示意图。在本实施方式中，在若为非异常判断，则认定为目标动作，之后还包括：将待检测视频输入第二动作分类网络，并得到其全连接层输出特征；将其全连接层输出特征与聚类中心进行比较，得到计算距离；若计算距离在阈值范围内，则判断为异常动作，否则，则为目标动作。
基于第一步和第二步皆被判定为目标动作的待检测视频，输入第二动作分类网络，将得到其全连接层的输出特征向量。
然后，将该特征向量与聚类中心进行计算，得到计算距离，若计算距离在阈值范围内，则判断为异常动作，否则，则为目标动作。
请参考图3所示的一种动作识别方法的实施方式三的流程示意图。在本实施方式中，在根据标注的第一视频样本，训练第一动作分类网络，之前还包括：解析视频，得到多个第一预设帧长度的帧序列；根据帧序列的内容对其进行分类，得到第一视频样本；在根据标注的第二视频样本，训练二分类网络，之前还包括：解析视频，得到多个第二预设帧长度的帧序列；根据帧序列的内容对其进行分类，得到第二视频样本。
此步骤给出了得到第一视频样本和第二视频样本的具体步骤。
其中：
为得到第一视频样本：解析视频，得到多个第一预设帧长度的帧序列；根据帧序列的内容对其进行分类，得到第一视频样本。
具体地：
首先，将视频解析为帧序列，标号1,2,3,4，...
然后，对每个视频从第一帧开始，观察第一预设帧长度的帧序列(记作一个第一视频样本，如：第一预设帧长度为10帧)。
再然后，根据一个第一视频样本中的内容对帧序列进行分类，比如严重抛扔、轻微抛扔、没有抛扔、特定物体抛扔、环境运动(光的闪烁、晃动，风扇的转动等)等若干类。
为得到第二视频样本：解析视频，得到多个第二预设帧长度的帧序列；根据帧序列的内容对其进行分类，得到第二视频样本。
在获得第二视频样本的过程中，鉴于其仅存在两类，即异常动作和非异常动作，故其整体样本数量无需过大，具体步骤可以参考获得第一视频样本的步骤。
如:有行人在传动带上走动与否，即为一组第二视频样本所考虑的情况，其中：有行人在传动带上走动为异常动作，则无行人在传动带上走为非异常动作。
如：传送带货物滑落与否，亦为一组第二视频样本所考虑的情况，其中：传送带货物滑落为异常动作，则非传送带货物滑落为非异常动作。
在一些实施例中，所述第一视频样本的帧序列互不重叠，且同类别的第一视频样本数量小于等于2；所述第二视频样本的帧序列互不重叠。
需要说明的是，前述对动作识别方法实施例的解释说明也适用于本实施例的装置，此处不再赘述。
请参考图4所示的一种动作识别装置的实施方式一的结构示意图。一种动作识别装置10，包括：第一训练模块101，用于根据第一视频样本，训练第一动作分类网络；所述第一视频样本包括：至少两类目标动作；第二训练模块102，用于第二视频样本，训练二分类网络；所述第二视频样本包括：异常动作和非异常动作两类；第三训练模块103，用于将第一动作分类网络的卷积层特征，与所述二分类网络的全连接层连接，并基于第二视频样本训练得到第二动作分类网络；判断分析模块104，用于基于第一动作分类网络，判断待检测视频是否为目标动作；若为目标动作，则继续基于第二动作分类网络，判断是否为异常动作；若为非异常判断，则认定为目标动作。
在本实施方式中，基于第一训练模块101、第二训练模块102、第三训练模块103和判断分析模块104的配合，能够将一种动作识别方法中实施方式一的功能内置于动作识别装置10内。
请参考图5所示的一种动作识别装置的实施方式二的结构示意图。在一些实施例中，还包括：阈值求解模块105，用于基于第二动作分类网络，输入第二视频样本中的异常动作类以得到全连接层的输出作为特征向量；并对所有特征向量进行聚类分析得到聚类中心；再将各个特征向量与聚类中心的距离中的最大值作为阈值。
请参考图5所示的一种动作识别装置的实施方式二的结构示意图。在一些实施例中，还包括：阈值判断模块106，用于将待检测视频输入第二动作分类网络，并得到其全连接层输出特征；将其全连接层输出特征与聚类中心进行比较，得到计算距离；若计算距离在阈值范围内，则判断为异常动作，否则，则为目标动作。
请参考图6所示的一种动作识别装置的实施方式三的结构示意图。在一些实施例中，还包括：第一分类模块107和第二分类模块108；所述第一分类模块，包括：第一解析单元1071，用于解析视频，得到多个第一预设帧长度的帧序列；第一分类单元1072，根据帧序列的内容对其进行分类，得到第一视频样本；所述第一分类模块1081，包括：第二解析单元，解析视频，得到多个第二预设帧长度的帧序列；第二分类单元1082，根据帧序列的内容对其进行分类，得到第二视频样本。
请参考图7所示的一种动作识别装置的实施方式三的结构示意图。在一些实施例中，所述第一视频样本的帧序列互不重叠，且同类别的第一视频样本数量小于等于2；所述第二视频样本的帧序列互不重叠。
请参考图7所示的适用于来实现本申请实施例的计算机系统的结构示意图。一种设备，所述设备包括：存储器，用于存储可执行程序代码；一个或多个处理器，用于读取所述存储器中存储的可执行程序代码以执行实施方式一至三所述的动作识别方法。
计算机系统包括中央处理单元(CPU)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM503中，还存储有系统操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。
特别地，根据本发明的实施例，上文参考流程图1至图3中描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(CPU)501执行时，执行本申请的系统中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种图4至图6的装置、图1至图3的方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。所描述的单元或模块也可以设置在处理器中，例如，可以描述为：一种设备，其特征在于，所述设备包括：存储器，用于存储可执行程序代码；一个或多个处理器，用于读取所述存储器中存储的可执行程序代码以执行图1至图3所示的动作识别方法。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如上述实施例中所述的动作识别方法。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种动作识别方法，其特征在于，包括：
根据第一视频样本，训练第一动作分类网络；所述第一视频样本包括，至少两类目标动作；
根据第二视频样本，训练二分类网络；所述第二视频样本包括，异常动作和非异常动作两类；
将第一动作分类网络的卷积层特征，与所述二分类网络的全连接层连接，并基于第二视频样本训练得到第二动作分类网络；
基于第一动作分类网络，判断待检测视频是否为目标动作；
若为目标动作，则继续基于第二动作分类网络，判断是否为异常动作；
若为非异常动作，则认定为目标动作。
2.根据权利要求1所述的一种动作识别方法，其特征在于，将第一动作分类网络的卷积层特征，与所述二分类网络的全连接层连接，并基于第二视频样本训练得到第二动作分类网络，之后还包括：
基于第二动作分类网络，输入第二视频样本中的异常动作类以得到全连接层的输出作为特征向量；并对所有特征向量进行聚类分析得到聚类中心；再将各个特征向量与聚类中心的距离中的最大值作为阈值。
3.根据权利要求2所述的一种动作识别方法，其特征在于，在若为非异常判断，则认定为目标动作，之后还包括：
将待检测视频输入第二动作分类网络，并得到其全连接层输出特征；将其全连接层输出特征与聚类中心进行比较，得到计算距离；
若计算距离在阈值范围内，则判断为异常动作，否则，则为目标动作。
4.根据权利要求1至3任一项所述的一种动作识别方法，其特征在于，在根据标注的第一视频样本，训练第一动作分类网络，之前还包括，
解析视频，得到多个第一预设帧长度的帧序列；
根据帧序列的内容对其进行分类，得到第一视频样本；
在根据标注的第二视频样本，训练二分类网络，之前还包括，
解析视频，得到多个第二预设帧长度的帧序列；
根据帧序列的内容对其进行分类，得到第二视频样本。
5.根据权利要求4所述的一种动作识别方法，其特征在于：所述第一视频样本的帧序列互不重叠，且同类别的第一视频样本数量小于等于2；所述第二视频样本的帧序列互不重叠。
6.一种动作识别装置，其特征在于，包括：
第一训练模块，用于根据第一视频样本，训练第一动作分类网络；所述第一视频样本包括，至少两类目标动作；
第二训练模块，用于第二视频样本，训练二分类网络；所述第二视频样本包括，异常动作和非异常动作两类；
第三训练模块，用于将第一动作分类网络的卷积层特征，与所述二分类网络的全连接层连接，并基于第二视频样本训练得到第二动作分类网络；
判断分析模块，用于基于第一动作分类网络，判断待检测视频是否为目标动作；若为目标动作，则继续基于第二动作分类网络，判断是否为异常动作；若为非异常判断，则认定为目标动作。
7.根据权利要求6所述的一种动作识别装置，其特征在于，还包括：阈值求解模块，用于基于第二动作分类网络，输入第二视频样本中的异常动作类以得到全连接层的输出作为特征向量；并对所有特征向量进行聚类分析得到聚类中心；再将各个特征向量与聚类中心的距离中的最大值作为阈值。
8.根据权利要求7所述的一种动作识别装置，其特征在于，还包括：
阈值判断模块，用于将待检测视频输入第二动作分类网络，并得到其全连接层输出特征；将其全连接层输出特征与聚类中心进行比较，得到计算距离；
若计算距离在阈值范围内，则判断为异常动作，否则，则为目标动作。
9.一种设备，其特征在于，所述设备包括：
存储器，用于存储可执行程序代码；
一个或多个处理器，用于读取所述存储器中存储的可执行程序代码以执行权利要求1至5中任一项所述的动作识别方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括指令，当所述指令在计算机上运行时，使得计算机执行如权利要求1至5中任一项所述的动作识别方法。
CN201910214629.9A 2019-03-20 2019-03-20 动作识别的方法、装置、设备及存储介质 Active CN111723617B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910214629.9A CN111723617B (zh) 2019-03-20 2019-03-20 动作识别的方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910214629.9A CN111723617B (zh) 2019-03-20 2019-03-20 动作识别的方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111723617A true CN111723617A (zh) 2020-09-29
CN111723617B CN111723617B (zh) 2023-10-27

Family

ID=72562540

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910214629.9A Active CN111723617B (zh) 2019-03-20 2019-03-20 动作识别的方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111723617B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112800912A (zh) * 2021-01-20 2021-05-14 江苏天幕无人机科技有限公司 基于动态特征基于标签的迁移特征的神经网络的训练方法
CN114863556A (zh) * 2022-04-13 2022-08-05 上海大学 一种基于骨骼姿态的多神经网络融合连续动作识别方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090037440A1 (en) * 2007-07-30 2009-02-05 Stefan Will Streaming Hierarchical Clustering
US20110052068A1 (en) * 2009-08-31 2011-03-03 Wesley Kenneth Cobb Identifying anomalous object types during classification
CN102572390A (zh) * 2010-12-02 2012-07-11 株式会社日立制作所 对监视对象者的行动进行监视的装置以及方法
US20140180651A1 (en) * 2012-12-21 2014-06-26 Xerox Corporation User profiling for estimating printing performance
CN105930402A (zh) * 2016-04-15 2016-09-07 乐视控股（北京）有限公司 基于卷积神经网络的视频检索方法及系统
US20170032222A1 (en) * 2015-07-30 2017-02-02 Xerox Corporation Cross-trained convolutional neural networks using multimodal images
CN106506557A (zh) * 2016-12-29 2017-03-15 北京神州绿盟信息安全科技股份有限公司 一种端口扫描检测方法及装置
CN106612457A (zh) * 2016-11-09 2017-05-03 广州视源电子科技股份有限公司 视频序列对齐方法和系统
CN106650806A (zh) * 2016-12-16 2017-05-10 北京大学深圳研究生院 一种用于行人检测的协同式深度网络模型方法
CN106919888A (zh) * 2015-12-25 2017-07-04 中国移动通信集团公司 一种吃饭行为识别方法、装置及家庭网关
CN108171250A (zh) * 2016-12-07 2018-06-15 北京三星通信技术研究有限公司 目标检测方法及装置
CN108230296A (zh) * 2017-11-30 2018-06-29 腾讯科技（深圳）有限公司 图像特征的识别方法和装置、存储介质、电子装置
CN109271886A (zh) * 2018-08-29 2019-01-25 武汉大学 一种教育考试监控视频的人体行为分析方法及系统
US20200175264A1 (en) * 2017-08-07 2020-06-04 Shenzhen Institutes Of Advanced Technology Chinese Academy Of Sciences Teaching assistance method and teaching assistance system using said method

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090037440A1 (en) * 2007-07-30 2009-02-05 Stefan Will Streaming Hierarchical Clustering
US20110052068A1 (en) * 2009-08-31 2011-03-03 Wesley Kenneth Cobb Identifying anomalous object types during classification
CN102572390A (zh) * 2010-12-02 2012-07-11 株式会社日立制作所 对监视对象者的行动进行监视的装置以及方法
US20140180651A1 (en) * 2012-12-21 2014-06-26 Xerox Corporation User profiling for estimating printing performance
US20170032222A1 (en) * 2015-07-30 2017-02-02 Xerox Corporation Cross-trained convolutional neural networks using multimodal images
CN106919888A (zh) * 2015-12-25 2017-07-04 中国移动通信集团公司 一种吃饭行为识别方法、装置及家庭网关
CN105930402A (zh) * 2016-04-15 2016-09-07 乐视控股（北京）有限公司 基于卷积神经网络的视频检索方法及系统
CN106612457A (zh) * 2016-11-09 2017-05-03 广州视源电子科技股份有限公司 视频序列对齐方法和系统
CN108171250A (zh) * 2016-12-07 2018-06-15 北京三星通信技术研究有限公司 目标检测方法及装置
CN106650806A (zh) * 2016-12-16 2017-05-10 北京大学深圳研究生院 一种用于行人检测的协同式深度网络模型方法
CN106506557A (zh) * 2016-12-29 2017-03-15 北京神州绿盟信息安全科技股份有限公司 一种端口扫描检测方法及装置
US20200175264A1 (en) * 2017-08-07 2020-06-04 Shenzhen Institutes Of Advanced Technology Chinese Academy Of Sciences Teaching assistance method and teaching assistance system using said method
CN108230296A (zh) * 2017-11-30 2018-06-29 腾讯科技（深圳）有限公司 图像特征的识别方法和装置、存储介质、电子装置
CN109271886A (zh) * 2018-08-29 2019-01-25 武汉大学 一种教育考试监控视频的人体行为分析方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LI J, ET AL: "A real-time human motion recognition system using topic model and SVM", 2017 IEEE EMBS INTERNATIONAL CONFERENCE ON BIOMEDICAL & HEALTH INFORMATICS (BHI), pages 173 - 176 *
WANG T, ET AL: "Vision-based illegal human ladder climbing action recognition in substation", 2017 NINTH INTERNATIONAL CONFERENCE ON ADVANCED COMPUTATIONAL INTELLIGENCE (ICACI), pages 189 - 194 *
蔚佳宏: "基于N-SCHMM的人体行为识别算法研究", 辽宁大学, pages 1 - 85 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112800912A (zh) * 2021-01-20 2021-05-14 江苏天幕无人机科技有限公司 基于动态特征基于标签的迁移特征的神经网络的训练方法
CN114863556A (zh) * 2022-04-13 2022-08-05 上海大学 一种基于骨骼姿态的多神经网络融合连续动作识别方法

Also Published As

Publication number Publication date
CN111723617B (zh) 2023-10-27

Similar Documents

Publication Publication Date Title
CN112330591B (zh) 少样本学习的钢轨表面缺陷检测方法及装置
CN113240909A (zh) 车辆监测方法、设备、云控平台和车路协同系统
CN111199238A (zh) 一种基于双流卷积神经网络的行为识别方法及设备
CN111723617B (zh) 动作识别的方法、装置、设备及存储介质
CN105117737A (zh) 一种基于车辆轨迹向量确定车辆实际方向的方法及装置
US20200193340A1 (en) Business default prediction system and operation method thereof
CN113705726A (zh) 流量的分类方法、装置、电子设备及计算机可读介质
CN115019209A (zh) 一种基于深度学习的电力杆塔状态检测的方法及系统
CN111126112B (zh) 候选区域确定方法和装置
CN115359471A (zh) 图像处理及联合检测模型训练方法、装置、设备和存储介质
CN111210412A (zh) 一种包装检测方法、装置、电子设备及存储介质
CN113469137A (zh) 异常行为的识别方法、装置、存储介质及电子装置
Valencia et al. Overhead view bus passenger detection and counter using deepsort and tiny-yolo v4
CN116052061B (zh) 事件监测方法、装置、电子设备及存储介质
CN116257651A (zh) 一种贯通道渡板异响智能监测系统
CN115631457A (zh) 建筑施工监控视频中的人机协作异常检测方法及系统
CN115908816A (zh) 基于人工智能的积水识别方法、装置、设备及存储介质
CN112308885A (zh) 基于光流的暴力抛扔检测方法、装置、设备和存储介质
CN115880563A (zh) 车体破损检测方法、装置、电子设备及可读存储介质
CN115526837A (zh) 一种异常行车检测方法、装置、电子设备以及介质
CN111798237B (zh) 基于应用日志的异常交易诊断方法及系统
CN111783618A (zh) 一种基于视频内容分析的园区大脑感知方法和系统
CN104168473B (zh) 一种视频图像的横波干扰的检测方法及装置
CN115861321B (zh) 应用于工业互联网的生产环境检测方法及系统
CN113091925B (zh) 一种冷链物流中温度断点的处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant