CN111814557A - 动作流检测方法、装置、设备及存储介质 - Google Patents

动作流检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111814557A
CN111814557A CN202010519642.8A CN202010519642A CN111814557A CN 111814557 A CN111814557 A CN 111814557A CN 202010519642 A CN202010519642 A CN 202010519642A CN 111814557 A CN111814557 A CN 111814557A
Authority
CN
China
Prior art keywords
action
ith
standard
period
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010519642.8A
Other languages
English (en)
Inventor
高宗
谭泽汉
陈彦宇
马雅奇
谭龙田
周慧子
陈高
李海棠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gree Electric Appliances Inc of Zhuhai
Zhuhai Lianyun Technology Co Ltd
Original Assignee
Gree Electric Appliances Inc of Zhuhai
Zhuhai Lianyun Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gree Electric Appliances Inc of Zhuhai, Zhuhai Lianyun Technology Co Ltd filed Critical Gree Electric Appliances Inc of Zhuhai
Priority to CN202010519642.8A priority Critical patent/CN111814557A/zh
Publication of CN111814557A publication Critical patent/CN111814557A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Manufacturing & Machinery (AREA)

Abstract

本申请涉及一种动作流检测方法、装置、设备及存储介质，属于计算机技术领域。方法包括：获取周期起始标记和实时视频流数据；根据所述实时视频流数据和所述周期起始标记，对所述周期起始标记指示的时刻开始的每个动作进行检测，其中，对第i个动作的检测步骤如下：确定所述实时视频流数据中所述第i个动作的动作执行情况；检测所述第i个动作的动作执行情况是否符合预存储的单个所述周期内标准动作的动作执行标准，获得所述第i个动作的检测结果。本申请用以解决现有的动作检测中，无法对动作流的执行情况进行实时、全面诊断的问题。

Description

动作流检测方法、装置、设备及存储介质
技术领域
本申请涉及计算机技术领域，尤其涉及一种动作流检测方法、装置、设备及存储介质。
背景技术
在生产制造过程中，为保证生产质量，通常需要遵循一定的规程，对于复杂的更是需要有经验的技工才能完成，但一些流程因为人的主观因素难免会出现失误，而目前对于由操作错误导致的问题，通常只能在产品质检流程甚至是在使用过程中才能发现，发现错误的时间大大滞后于产生时间，由此可能会产生批量的质量问题，会对产品质量和使用造成极大的影响，所以在生产制造中，对于动作的执行情况进行监测，在产品质量中有着至关重要的作用。
目前针对动作执行情况的监测主要包括两类：人工巡检和自动监测。人工巡检的方式通过人眼对相关的历史视频或离线视频进行观察，粗略遍历，不仅耗时耗力，效率低，容易出现漏检、误检的情况，而且大多数都是离线的历史视频，不能及时发现异常行为，也不能及时处理异常情况，对于重大危害行为，可能会造成无法弥补的损失；现有的自动监测方法，基于视频分析，只能对一些禁止性动作和必要动作进行监测，不能对每个动作进行实时、全面详细的诊断，因此，现有生产制造中对动作执行情况实时准确分析的问题亟待解决。
发明内容
本申请提供了一种动作流异常检测方法、装置、设备及存储介质，用以解决现有的动作检测中，无法对动作流的执行情况进行实时、全面诊断的问题。
第一方面，本申请实施例提供了一种动作流检测方法，包括：
获取周期起始标记和实时视频流数据；
根据所述实时视频流数据和所述周期起始标记，对所述周期起始标记指示的时刻开始的每个动作进行检测，其中，对第i个动作的检测步骤如下：确定所述实时视频流数据中所述第i个动作的动作执行情况；检测所述第i个动作的动作执行情况是否符合预存储的单个所述周期内标准动作的动作执行标准，获得所述第i个动作的检测结果。
进一步的，所述动作执行情况包括动作类别、与所述动作类别对应的动作类别置信度和动作持续时间；
所述检测所述第i个动作的动作执行情况是否符合预存储的单个所述周期内标准动作的动作执行标准，获得所述第i个动作的检测结果包括：
判断所述第i个动作是否属于预存储的单个所述周期内标准动作的动作类别；
若不属于，获得所述第i个动作不属于所述周期内的标准动作的检测结果；
若属于，根据所述动作类别、所述动作类别置信度和所述动作持续时间，获得所述第i个动作的检测结果。
进一步的，所述根据所述动作类别、所述动作类别置信度和所述动作持续时间，获得所述第i个动作的检测结果包括：
检测所述第i个动作的动作类别是否符合预存储的单个所述周期内第i个标准动作的动作类别；
若符合，确定所述第i个动作的动作类别正常，根据所述动作类别置信度和所述动作持续时间，获得所述第i个动作的检测结果；
若不符合，获得所述第i个动作的动作类别异常的检测结果。
进一步的，所述根据所述动作类别置信度和所述动作持续时间，获得所述第i个动作的检测结果包括：
检测所述第i个动作的动作类别置信度是否符合预存储的与所述第i个标准动作对应的标准类别置信度范围；
若不符合对应的标准类别置信度范围，获得所述动作类别正常但所述动作不符合标准的检测结果。
若符合对应的标准类别置信度范围，检测所述第i个动作的动作持续时间是否符合预存储的与所述第i个标准动作对应的标准持续时间范围；
若不符合对应的标准持续时间范围，获得所述第i个动作的动作类别正常但耗时异常的检测结果；
若符合对应的标准持续时间范围，获得所述第i个动作的动作耗时正常的检测结果；
所述第i个标准动作对应的标准类别置信度范围，和，所述第i个标准动作对应的标准持续时间范围，是根据动作异常识别模型获取到的，所述动作异常识别模型包括第i个标准动作的多个类别置信度样本数据和第i个标准动作的多个持续时间样本数据。
进一步的，所述获得所述第i个动作的动作耗时正常的检测结果之后，包括：
将所述第i个动作的动作类别置信度，增加至所述第i个标准动作置信度样本数据；
将所述第i个动作的动作持续时间，增加至所述第i个标准动作持续时间样本数据。
进一步的，根据所述实时视频流数据和所述周期起始标记，对所述周期起始标记指示的时刻开始的每个动作进行检测之后，还包括：
接收周期终止标记；
确定所述周期终止标记至所述周期起始标记限定的时间段内检测到的动作数目，作为第一动作检测数目；
根据所述第一动作检测数目和所述周期内包含的标准动作的总数，判断所述时间段内是否出现动作缺失。
进一步的，根据所述实时视频流数据和所述周期起始标记，对所述周期起始标记指示的时刻开始的每个动作进行检测之后，还包括：
接收周期终止标记；
确定所述周期终止标记至所述周期起始标记限定的时间段内所述动作类别正常的动作数目，作为第二动作检测数目；
根据所述第二动作检测数目以及所述周期内包含标准动作的总数，判断所述时间段内是否出现工序错误。
第二方面，本申请实施例提供了一种装置，包括：
获取模块，用于获取实时视频流数据和周期起始标记；
检测模块，用于根据所述实时视频流数据和所述周期起始标记，对所述周期起始标记指示的时刻开始的每个动作进行检测，其中，对第i个动作的检测步骤如下：确定所述实时视频流数据中所述第i个动作的动作执行情况；检测所述第i个动作的动作执行情况是否符合预存储的单个所述周期内标准动作的动作执行标准，获得所述第i个动作的检测结果。
第三方面，本申请实施例提供了一种电子设备，包括：处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；
所述存储器，用于存储计算机程序；
所述处理器，用于执行所述存储器中所存储的程序，实现如第一方面任一所述的动作流检测方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的动作流检测方法。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点：本申请实施例提供的该方法通过获取实时视频流数据和周期起始标记，从周期起始标记指示的时刻开始的每个动作进行检测，使得能够在获知周期起始后，及时对实时视频流数据周期内的每个动作进行检测，提高了动作检测的实时性，并且将检测到的每个动作识别动作执行情况，与预存储的单个周期内标准动作的动作执行标准进行判断，实现了对周期内每一个动作的动作执行情况实时准确的检测，从检测结果获知每个动作的异常情况，从而达到对动作的异常情况进行及时监管，优化工艺生产环节，提高生产效率的目的。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例中提供的一种动作流检测方法的流程示意图；
图2为本申请实施例中提供的判断第i个动作的动作类别是否属于预存储的单个周期内的标准动作的动作类别的流程示意图；
图3为本申请实施例中提供的获得第i个动作的检测结果的流程示意图；
图4为本申请实施例中提供的另一获得第i个动作的检测结果的流程示意图；
图5为本申请实施例中提供的另一获得第i个动作的检测结果的流程示意图；
图6为本申请实施例中提供的对周期的每个动作进行整体异常判断的流程示意图；
图7为本申请实施例中提供的一种动作流检测方法的具体实施方式的流程示意图；
图8为本申请实施例中提供的一种动作流检测装置的结构示意图；
图9为本申请实施例中提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例中提供了一种动作流检测方法，用以实时检测视频流中每一个动作是否符合预存储的单个周期内标准工序的动作执行标准，该方法不限于工艺动作监测，可以运用于其它需要对有序动作集合的异常情况进行监测的场景，例如体育场景，用于监控体操动作的异常、检测舞蹈动作的异常等。
该方法可以直接以软件模块的形式集成在电子设备中，该电子设备可以直接是监视动作流的拍摄装置本身，也可以是与该拍摄装置建立通信连接的其他电子设备，该电子设备可以是任意一种形式的终端或者服务器。
本申请实施例中，参照图1所示，动作流检测方法的具体过程主要包括：
S101、获取实时视频流数据和周期起始标记。
实时视频流数据为实时采集动作流的视频数据，根据周期起始标记和周期终止标记划分的一个周期对应的动作流，每个周期包括n个动作。
一个具体实施例中，周期起始标记是通过动作流触发器触发的，动作流触发器可以是某一指定动作，例如可以是指定的防呆动作，防呆动作为每个周期的基础动作，防呆动作可以理解为其他动作都是在此基础上进行的，为动作流中每个周期开始的必需动作。
同样，下文所述的周期终止标记也可以是防呆动作，连续检测到的两个防呆动作限定一个周期。将第一次检测到的防呆动作作为工序开始检测的标记，即周期开始的标记，将第二次检测到的防呆动作作为该工序结束的标记，即周期终止的标记。
如果在实时视频流数据中检测到该防呆动作，则标记为一个周期的开始或者一个周期的结束。
另一个具体实施例中，周期起始标记也可以是流水生产线上的限位装置发出的指令，工件达到生产线开始检测时，会触发限位开关发出开始触发指令，并将开始触发指令作为周期起始标记即时发送给用于执行动作流检测的电子设备。同样工件在完成检测时，触发限位开关发出结束触发指令，该结束触发指令即为下文描述中提到的周期终止标记，并将结束触发指令作为周期终止标记即时发送给用于指定动作流检测的电子设备。
对于限定动作周期开始和结束的装置，通过某一指定动作或限位装置进行触发为列举方案，并不限于上述两种方案，可以根据实际情况和需要进行选择。
根据周期起始标记和周期终止标记对实时视频流数据的动作流划分周期，一个周期也称为一个动作周期。
S102、根据实时视频流数据和周期起始标记，对周期起始标记指示的时刻开始的每个动作进行检测，其中，对第i个动作的检测步骤如下：确定实时视频流数据中第i个动作的动作执行情况；检测第i个动作的动作执行情况是否符合预存储的单个周期内标准动作的动作执行标准，获得第i个动作的检测结果。
在一个具体实施例中，接收到周期起始标记后对实时视频流数据的动作开始进行检测，确定实时视频流数据中第i个动作的动作执行情况。
其中，动作执行情况包括动作类别、与动作类别对应的动作类别置信度和动作持续时间。
动作执行情况是通过神经网络分类器获取到的，将检测到的动作输入至神经网络分类器，可以分类识别到每个动作的动作类别、与动作类别对应的动作类别置信度和动作持续时间。
该分类器训练过程大致如下：通过预先采集单个周期内所有的标准动作，将所有标准动作作为标准工序数据样本，采用标准工序数据样本原始分类器进行学习训练，至可以识别每个动作的动作类别、动作类别置信度和动作持续时间，得到最终的分类器。
例如，若待检测标准工序中包括n个动作A(1)，A(2)······A(n)，将动作A(1)，A(2)······A(n)输入神经网络分类器中进行学习训练，至可以识别分类n+1个动作类别，包括A(1)，A(2)······A(n)和其它动作类别，及识别的每个动作类别对应的置信度，并在每个动作完成时，输出该动作对应的动作持续时间。神经网络分类器对标准工序中的动作进行类别分类，如果识别到实时视频流数据中的动作不是标准工序中的动作类别，则将该动作判断为其它动作，其它动作可以是干扰动作或辅助动作。
其中，每个动作类别对应的置信度表示神经网络分类器识别出的每个动作类别的准确程度。神经网络分类器在对实时视频流的动作进行识别时，可能识别出多个动作类别，每个动作类别对应一个置信度，根据置信度对动作类别进行筛选，确定最高置信度对应的动作类别，将最高置信度对应的动作类别作为最终输出的动作类别。
动作持续时间是指识别的当前动作类别对应的时刻，到识别到下一个动作类别对应的时刻之间持续的时间。
一个具体实施例中，接收到周期起始标记后，对实时视频流数据的动作周期中第i个动作的动作执行情况进行识别，动作执行情况包括第i个动作的动作类别、与动作类别对应的动作类别置信度和动作持续时间。
该神经网络分类器可以是深度卷积神经网络分类器，例如，可以是InceptionV3神经网络构成的分类器，也可以是VGG模型(Visual Geometry Group Network)、深度残差学习(Deep Residual learning Network)、密集卷积网络(DenseNet)等神经网络构建的分类器，在此不对神经网络分类器的选择进行限定。
其中深度卷积神经网络分类器上述是对周期内第i个动作的检测步骤进行的描述，对周期内每个动作的检测步骤均可参照第i个动作的检测步骤的描述，在获得第i个动作的检测结果后继续对第i+1个动作进行检测，从而获得周期内所有动作的检测结果。
本实施例中，对实时视频流数据中周期起始标记指示的时刻开始的每个动作进行检测，使得能够在获知周期起始后，及时对实时视频流数据周期内的每个动作进行检测，提高了动作检测的实时性，并且将检测到的每个动作识别动作执行情况，与预存储的单个周期内标准动作的动作执行标准进行判断，实现了对周期内每一个动作的动作执行情况实时准确的检测，从检测结果获知每个动作的异常情况，从而达到对动作的异常情况进行及时监管，优化工艺生产环节，提高生产效率的目的。
参照图2所示，在一些具体实施例中，步骤S102包括：
S201、判断第i个动作的动作类别是否属于预存储的单个周期内的标准动作的动作类别，若不属于，执行步骤S202，若属于，则执行步骤S203。
S202、获得第i个动作不属于该周期内的标准动作的检测结果。
若第i个动作不属于预存储的单个周期的动作，判断第i个动作为其它动作，通过动作识别模型对第i+1个动作进行检测，其中，其它动作可能为干扰动作或辅助动作。
S203、根据动作类别，动作类别置信度和动作持续时间，获得第i个动作的检测结果。
本实施例在判定识别到的该周期的第i个动作不属于预存储单个周期内标准动作的动作类别后，直接将该动作识别为干扰动作或者辅助动作，后续不对该动作进行后续的动作类别置信度检测和持续时间检测，简化了后续动作检测的过程，提高了获取每个动作检测结果的效率。
参照图3所示，在一些具体实施例中，步骤S203根据动作类别，动作类别置信度和动作持续时间，获得第i个动作的检测结果包括：
S301、检测第i个动作的动作类别是否符合预存储单个周期内第i个标准动作的动作类别，若不符合，执行步骤S302，若符合，则执行步骤S303。
S302、获得第i个动作的动作类别异常的检测结果。
S303、确定第i个动作的动作类别正常，根据动作类别置信度和动作持续时间，获得第i个动作的检测结果。
本实施例通过检测第i个动作的动作类别是否符合预存储单个周期内第i个标准动作的动作类别，来判断每个动作的动作类别以及该动作发生的次序是否异常，有效的检测因动作发生次序导致的动作异常。
参照图4所示，在一些具体实施例中，步骤S303根据动作类别置信度和动作持续时间，获得第i个动作的检测结果包括：
S401、检测第i个动作的动作类别置信度是否符合预存储的第i个标准动作对应的标准类别置信度范围，若不符合，执行步骤S402，若符合，则执行步骤S403。
其中，预存储的与第i个标准动作对应的标准类别置信度范围，和预存储的与第i个标准动作对应的标准持续时间范围，是根据动作异常识别模型获取到的，动作异常识别模型包括第i个标准动作类别的多个置信度样本数据和第i个标准动作的多个持续时间样本数据。每个标准动作类别的置信度样本和每个标准动作类别的持续时间样本是由神经网络分类器分类识别得到的。
动作异常识别模型是一个正态分布的数学模型，通过选取各工序标准动作的样本数据作为初始样本，将初始样本输入神经网络分类器中，分类识别得到每个动作的动作类别，和每个动作对应的置信度和动作持续时间，根据多个类别置信度样本数据确定置信度正态分布曲线，并按照(每个动作置信度的平均值-3×标准差，每个动作置信度的平均+3×标准差)的区间作为每个动作的标准类别置信度范围，根据多个动作持续时间样本数据确定持续时间正态分布曲线，并按照(每个动作持续时间的平均值-3×标准差，每个动作持续时间的平均值+3×标准差)的区间作为每个动作的标准动作持续时间范围。
S402、获得动作类别正常但动作不符合标准的检测结果。
S403、根据动作持续时间，获得第i个动作的检测结果。
参照图5所示，其中步骤S403根据动作持续时间，获得第i个动作的检测结果包括：
S501、检测第i个动作的动作持续时间是否符合预存储的第i个标准动作对应的标准持续时间范围，若不符合，执行步骤S502，若符合，执行步骤S503。
S502、获得第i个动作的动作类别正常，动作的耗时异常的检测结果。
若动作的持续时间不在对应的标准持续时间范围内，表明该动作耗时出现异常，动作的持续时间小于对应的标准持续时间范围下限值表明耗时过短，动作的持续时间大于对应的标准持续时间范围上限值表明耗时过长。
S503、获得第i个动作的动作耗时正常的检测结果。
若该动作的动作耗时也正常，表明该动作的执行情况符合预存储的单个周期内标准工序的动作执行标准，进行到第i+1个动作的检测流程中。
本实施例通过对该动作的动作类别置信度的判断，确定该动作识别出的动作类别是否异常，提高了检测该动作的动作类别的准确性，在确定动作类别置信度无异常后，对该动作的持续时间进行判断，从而确定该动作耗时是否异常，从而实现了对动作进行全面的诊断，详细检测动作是否出现异常。
在一些具体实施例中，在步骤S503获得第i个动作的动作耗时正常的检测结果之后，包括：
将第i个动作的动作类别置信度，增加至第i个标准动作置信度样本数据中。
若第i个动作的类别置信度在置信度正态分布曲线附近，则将该动作的类别置信度增加至第i个标准动作置信度样本数据统计中，进行样本数据的扩充。
若该第i个动作的类别置信度偏离置信度正态分布曲线，表示该动作类别置信度出现异常浮动，则将该动作的类别置信度作为随机误差，不计入至第i个标准动作置信度样本数据统计中。
将第i个动作的持续时间，增加至第i个标准动作持续时间样本数据。
若第i个动作的持续时间在持续时间正态分布曲线附近，则将该动作的持续时间增加至第i个标准动作置信度样本数据统计中，进行样本数据的扩充。
若该第i个动作的持续时间偏离持续时间正态分布曲线，表示该动作的持续时间出现异常浮动，则将该动作的持续时间作为随机误差，不计入至第i个标准动作持续时间样本数据统计中。
将第i个动作的动作类别置信度作为样本数据扩充至动作异常识别模型的第i个标准动作置信度样本数据中，将第i个动作的动作持续时间作为样本数据扩充至动作异常识别模型的第i个标准动作持续时间样本数据中，采用更新后的样本进行检测，随着样本数量的增加，训练得到的动作异常识别模型准确度越来越高，从而达到了不断提高动作检测准确率和稳定性的能力。
参照图6所示，在一些具体实施例中，步骤S102根据实时视频流数据和周期起始标记，对周期起始标记指示的时刻开始的每个动作进行检测之后，包括：
S601、接收周期终止标记，根据周期起始标记和周期终止标记得到动作周期，对周期内的每个动作进行整体异常判断。
S602、确定周期终止标记至周期起始标记限定的时间段内检测到的动作数目，作为第一动作检测数目。
S603、根据第一动作检测数目和周期内包含的标准动作的总数，判断该时间段内是否出现动作缺失。
根据第一动作检测数目和周期内包含的标准动作的总数，判断该时间段内是否出现动作缺失包括：
判断第一动作检测数目与周期内包含的标准动作的总数的关系。
S604、若第一动作检测数目小于周期内包含的标准动作的总数，表示该时间段内出现动作缺失。
S605、若第一动作检测数目大于周期内包含的标准动作的总数，表示该时间段内出现未知异常。
S606、若第一动作检测数目与周期内包含的标准动作的总数相等，确定周期终止标记至周期起始标记限定的时间段内动作类别正常的动作数目，作为第二动作检测数目。
S607、根据第二动作检测数目以及周期内包含标准动作的总数，判断该时间段内是否出现工序错误。
判断该时间段内是否出现工序错误包括：
判断第二动作检测数目是否与周期内包含标准动作的总数相等。
S608、若第二动作检测数目与周期内包含标准动作的总数相等，即检测的动作类别与标准工序中的标准动作类别一一对应，表示动作流中工序正常。
S609、若第二动作检测数目与周期内包含标准动作的总数不相等，表示动作流中工序出现错误。
本实施例的动作流检测方法，通过将实时视频流数据与神经网络分类器相结合，通过神经网络分类器检测实时视频流数据的每个动作类别、动作类别置信度和动作持续时间，判断每个动作类别是否符合与预存储单个周期的标准动作中对应的动作类别，如果符合，通过动作异常识别模型判断该动作的动作类别置信度和动作持续时间是否在与该动作对应的标准范围内，诊断结果细化至每个工艺动作的异常原因。在对工序动作流检测完成后，确定动作检测数目和有效动作数目，通过动作检测数目和有效动作数目对整体动作流的异常类别进行判断，监测范围由单动作拓展至全动作流，实现工艺动作执行异常原因详细、全面的诊断。
本申请实施例中，提供了一种动作流检测方法的具体实施方式，参照图7所示，动作流检测方法的具体过程如下：
S701、获取实时视频流数据和周期起始标记。
S702、根据实时视频流数据和周期起始标记，对周期起始标记指示的时刻开始的每个动作进行检测。
S703、确定实时视频流数据中每个动作的动作执行情况。
其中，步骤S703具体包括以下步骤：
S704、判断第i个动作是否属于预存储的单个周期内标准动作的动作类别，若不是执行步骤S705，若是，则执行步骤S706。
S705、获得第i个动作为其它动作的检测结果,更新i＝i+1，返回执行步骤S704。
S706、检测第i个动作的动作类别是否符合预存储单个周期内第i个标准动作的动作类别，若不是执行步骤S707，若是，则执行步骤S708。
S707、获得第i个动作的动作类别异常的检测结果,更新i＝i+1，返回执行步骤S704。
S708、确定动作异常识别模型。
S709、检测第i个动作的动作类别置信度是否符合预存储的第i个标准动作对应的标准类别置信度范围，若不是执行步骤S710，若是，则执行步骤S711。
S710、获得动作类别正常但动作不符合标准的检测结果,更新i＝i+1，返回执行步骤S704。
S711、检测第i个动作的动作持续时间是否符合预存储的第i个标准动作对应的标准持续时间范围，若不是执行步骤S712，若是，则执行步骤S713。
S712、获得动作类别正常，动作耗时异常的检测结果,更新i＝i+1，返回执行步骤S704。
S713、获得第i个动作的动作耗时正常的检测结果，并将第i个动作的动作类别置信度和动作持续时间作为样本数据反馈至动作异常识别模型中,更新i＝i+1，返回执行步骤S704。
在步骤S703之后，接收周期终止标记，根据周期起始标记和周期终止标记得到动作周期，对工序的每个动作进行整体异常判断。
基于同一构思，本申请实施例中提供了一种动作流检测装置，该装置的具体实施可参见方法实施例部分的描述，重复之处不再赘述，参照图8所示，该装置主要包括：
获取模块801，用于获取实时视频流数据和周期起始标记。
检测模块802，用于根据实时视频流数据和周期起始标记，对周期起始标记指示的时刻开始的每个动作进行检测，其中，对第i个动作的检测步骤如下：确定实时视频流数据中第i个动作的动作执行情况；检测第i个动作的动作执行情况是否符合预存储的单个周期内标准动作的动作执行标准，获得所述第i个动作的检测结果。
本实施例通过通过获取模块获取实时视频流数据和周期起始标记，检测模块根据周期起始标记对实时视频流数据的每个动作进行检测，其中，对第i个动作的检测步骤包括通过确定模块确定实时视频流数据的动作周期中第i个动作的动作执行情况，检测第i个动作的动作执行情况是否符合预存储的与第i个动作对应的动作执行标准，获得第i个动作的检测结果，实现了对实时视频流数据的每一个动作执行情况实时准确的检测，从而达到了从检测结果中获取动作异常的原因，对每个动作的异常情况能够及时监管，优化工艺生产环节，提高生产效率的目的。
基于同一构思，本申请实施例中还提供了一种电子设备，参照图9所示，该电子设备主要包括：处理器901、通信接口902、存储器903和通信总线904，其中，处理器901、通信接口902和存储器903通过通信总线904完成相互间的通信。其中，存储器903中存储有可被至处理器901执行的程序，处理器901执行存储器903中存储的程序，实现如上述实施例中所描述的动作流检测方法的步骤。
总线904可以是外设部件互连标准(Peripheral Component Interconnect，简称PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，简称EISA)总线等。该通信总线904可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口902用于上述电子设备与其他设备之间的通信。
存储器903可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器901的存储装置。
上述的处理器901可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等，还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，当该计算机程序在计算机上运行时，使得计算机执行上述实施例中所描述的动作流检测方法的步骤。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机指令时，全部或部分地产生按照本申请实施例所述的流程或功能。该计算机可以时通用计算机、专用计算机、计算机网络或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、微波等)方式向另外一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如软盘、硬盘、磁带等)、光介质(例如DVD)或者半导体介质(例如固态硬盘)等。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种动作流检测方法，其特征在于，包括：
获取周期起始标记和实时视频流数据；
根据所述实时视频流数据和所述周期起始标记，对所述周期起始标记指示的时刻开始的每个动作进行检测，其中，对第i个动作的检测步骤如下：确定所述实时视频流数据中所述第i个动作的动作执行情况；检测所述第i个动作的动作执行情况是否符合预存储的单个所述周期内标准动作的动作执行标准，获得所述第i个动作的检测结果。
2.根据权利要求1所述的动作流检测方法，其特征在于，所述动作执行情况包括动作类别、与所述动作类别对应的动作类别置信度和动作持续时间；
所述检测所述第i个动作的动作执行情况是否符合预存储的单个所述周期内标准动作的动作执行标准，获得所述第i个动作的检测结果包括：
判断所述第i个动作的动作类别是否属于预存储的单个所述周期内的标准动作的动作类别；
若不属于，获得所述第i个动作不属于所述周期内的标准动作的检测结果；
若属于，根据所述动作类别、所述动作类别置信度和所述动作持续时间，获得所述第i个动作的检测结果。
3.根据权利要求2所述的动作流检测方法，其特征在于，所述根据所述动作类别、所述动作类别置信度和所述动作持续时间，获得所述第i个动作的检测结果包括：
检测所述第i个动作的动作类别是否符合预存储的单个所述周期内第i个标准动作的动作类别；
若不符合，获得所述第i个动作的动作类别异常的检测结果；
若符合，确定所述第i个动作的动作类别正常，根据所述动作类别置信度和所述动作持续时间，获得所述第i个动作的检测结果。
4.根据权利要求3所述的动作流检测方法，其特征在于，所述根据所述动作类别置信度和所述动作持续时间，获得所述第i个动作的检测结果包括：
检测所述第i个动作的动作类别置信度是否符合预存储的与所述第i个标准动作对应的标准类别置信度范围；
若不符合对应的标准类别置信度范围，获得所述动作类别正常但所述动作不符合标准的检测结果。
若符合对应的标准类别置信度范围，检测所述第i个动作的动作持续时间是否符合预存储的与所述第i个标准动作对应的标准持续时间范围；
若不符合对应的标准持续时间范围，获得所述第i个动作的动作类别正常但耗时异常的检测结果；
若符合对应的标准持续时间范围，获得所述第i个动作的动作耗时正常的检测结果；
所述第i个标准动作对应的标准类别置信度范围，和，所述第i个标准动作对应的标准持续时间范围，是根据动作异常识别模型获取到的，所述动作异常识别模型包括第i个标准动作的多个类别置信度样本数据和第i个标准动作的多个持续时间样本数据。
5.根据权利要求4所述的动作流检测方法，其特征在于，所述获得所述第i个动作的动作耗时正常的检测结果之后，包括：
将所述第i个动作的动作类别置信度，增加至所述第i个标准动作的置信度样本数据；
将所述第i个动作的动作持续时间，增加至所述第i个标准动作的持续时间样本数据。
6.根据权利要求1所述的动作流检测方法，其特征在于，根据所述实时视频流数据和所述周期起始标记，对所述周期起始标记指示的时刻开始的每个动作进行检测之后，还包括：
接收周期终止标记；
确定所述周期终止标记至所述周期起始标记限定的时间段内检测到的动作数目，作为第一动作检测数目；
根据所述第一动作检测数目和所述周期内包含的标准动作的总数，判断所述时间段内是否出现动作缺失。
7.根据权利要求3所述的动作流检测方法，其特征在于，根据所述实时视频流数据和所述周期起始标记，对所述周期起始标记指示的时刻开始的每个动作进行检测之后，还包括：
接收周期终止标记；
确定所述周期终止标记至所述周期起始标记限定的时间段内所述动作类别正常的动作数目，作为第二动作检测数目；
根据所述第二动作检测数目以及所述周期内包含标准动作的总数，判断所述时间段内是否出现工序错误。
8.一种装置，其特征在于，包括：
获取模块，用于获取实时视频流数据和周期起始标记；
检测模块，用于根据所述实时视频流数据和所述周期起始标记，对所述周期起始标记指示的时刻开始的每个动作进行检测，其中，对第i个动作的检测步骤如下：确定所述实时视频流数据中所述第i个动作的动作执行情况；检测所述第i个动作的动作执行情况是否符合预存储的单个所述周期内标准动作的动作执行标准，获得所述第i个动作的检测结果。
9.一种电子设备，其特征在于，包括：处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；
所述存储器，用于存储计算机程序；
所述处理器，用于执行所述存储器中所存储的程序，实现如权利要求1-7中任一所述的动作流检测方法。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一所述的动作流检测方法。
CN202010519642.8A 2020-06-09 2020-06-09 动作流检测方法、装置、设备及存储介质 Pending CN111814557A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010519642.8A CN111814557A (zh) 2020-06-09 2020-06-09 动作流检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010519642.8A CN111814557A (zh) 2020-06-09 2020-06-09 动作流检测方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN111814557A true CN111814557A (zh) 2020-10-23

Family

ID=72845673

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010519642.8A Pending CN111814557A (zh) 2020-06-09 2020-06-09 动作流检测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111814557A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113326772A (zh) * 2021-05-28 2021-08-31 青岛海尔工业智能研究院有限公司 作业分析方法、装置、电子设备、及存储介质
CN113591589A (zh) * 2021-07-02 2021-11-02 北京百度网讯科技有限公司 产品漏检的识别方法、装置、电子设备及存储介质
CN116824706A (zh) * 2023-08-25 2023-09-29 华大天元(北京)科技股份有限公司 一种变电站人员行为检测方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103785158A (zh) * 2012-10-31 2014-05-14 鸿富锦精密工业（深圳）有限公司 体感游戏动作指导系统及方法
CN108198601A (zh) * 2017-12-27 2018-06-22 广东欧珀移动通信有限公司 运动评分方法、装置、设备及存储介质
CN109089055A (zh) * 2018-06-05 2018-12-25 李志朋 一种生产视频片段获取方法及系统
CN109102857A (zh) * 2018-05-31 2018-12-28 杭州同绘科技有限公司 一种智能化肢体康复训练系统和方法
CN109784269A (zh) * 2019-01-11 2019-05-21 中国石油大学(华东) 一种基于时空联合的人体动作检测和定位方法
CN110516636A (zh) * 2019-08-30 2019-11-29 盈盛智创科技(广州)有限公司 一种工序的监测方法、装置、计算机设备和存储介质
CN110869952A (zh) * 2017-08-25 2020-03-06 三星电子株式会社 用于电子设备的自动化动作的方法
CN111144262A (zh) * 2019-12-20 2020-05-12 北京容联易通信息技术有限公司 一种基于监控视频的工序异常检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103785158A (zh) * 2012-10-31 2014-05-14 鸿富锦精密工业（深圳）有限公司 体感游戏动作指导系统及方法
CN110869952A (zh) * 2017-08-25 2020-03-06 三星电子株式会社 用于电子设备的自动化动作的方法
CN108198601A (zh) * 2017-12-27 2018-06-22 广东欧珀移动通信有限公司 运动评分方法、装置、设备及存储介质
CN109102857A (zh) * 2018-05-31 2018-12-28 杭州同绘科技有限公司 一种智能化肢体康复训练系统和方法
CN109089055A (zh) * 2018-06-05 2018-12-25 李志朋 一种生产视频片段获取方法及系统
CN109784269A (zh) * 2019-01-11 2019-05-21 中国石油大学(华东) 一种基于时空联合的人体动作检测和定位方法
CN110516636A (zh) * 2019-08-30 2019-11-29 盈盛智创科技(广州)有限公司 一种工序的监测方法、装置、计算机设备和存储介质
CN111144262A (zh) * 2019-12-20 2020-05-12 北京容联易通信息技术有限公司 一种基于监控视频的工序异常检测方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113326772A (zh) * 2021-05-28 2021-08-31 青岛海尔工业智能研究院有限公司 作业分析方法、装置、电子设备、及存储介质
CN113591589A (zh) * 2021-07-02 2021-11-02 北京百度网讯科技有限公司 产品漏检的识别方法、装置、电子设备及存储介质
CN113591589B (zh) * 2021-07-02 2022-09-27 北京百度网讯科技有限公司 产品漏检的识别方法、装置、电子设备及存储介质
WO2023273695A1 (zh) * 2021-07-02 2023-01-05 北京百度网讯科技有限公司 产品漏检的识别方法、装置、电子设备及存储介质
CN116824706A (zh) * 2023-08-25 2023-09-29 华大天元(北京)科技股份有限公司 一种变电站人员行为检测方法及系统

Similar Documents

Publication Publication Date Title
CN111459700B (zh) 设备故障的诊断方法、诊断装置、诊断设备及存储介质
CN111814557A (zh) 动作流检测方法、装置、设备及存储介质
CN108304287B (zh) 一种磁盘故障检测方法、装置以及相关设备
JP6871877B2 (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
CN111262750B (zh) 一种用于评估基线模型的方法及系统
CN111143173A (zh) 一种基于神经网络的服务器故障监测方法及系统
EP3405844B1 (en) Methods and systems for root cause analysis for assembly lines using path tracking
CN112529109A (zh) 一种基于无监督多模型的异常检测方法及系统
TW201945987A (zh) 製程異常狀態預判方法及預判系統
CN113722134A (zh) 一种集群故障处理方法、装置、设备及可读存储介质
CN114511026A (zh) 一种故障诊断方法、装置、终端设备及存储介质
CN106652393B (zh) 假警报确定方法及装置
CN111555899B (zh) 告警规则配置方法、设备状态监测方法、装置和存储介质
CN116743637B (zh) 一种异常流量的检测方法、装置、电子设备及存储介质
CN116661954B (zh) 虚拟机异常预测方法、装置、通信设备及存储介质
CN117149565A (zh) 云平台关键性能指标的状态检测方法、装置、设备及介质
US20220230028A1 (en) Determination method, non-transitory computer-readable storage medium, and information processing device
CN107896232B (zh) 一种ip地址评估方法及装置
CN114928467A (zh) 一种网络安全运维关联分析方法及系统
CN115147236A (zh) 一种处理方法、处理装置和电子设备
CN113869373A (zh) 设备异常检测方法、装置、计算机设备和存储介质
TWI824681B (zh) 裝置管理系統、裝置的障礙原因推測方法以及非暫時性地記憶程式的記憶媒體
US20220283139A1 (en) Method, system and paperboard production machine for estimating paperboard quality parameters
CN117910148B (zh) 基于影子模式的bms优化方法、系统、介质及设备
CN117469152B (zh) 流体泵异常检测方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination