CN114170543A - 数据处理方法、装置、计算机设备及计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种数据处理方法、装置、计算机设备及计算机可读存储介质。其中，该方法包括：获取对生产线上的操作对象进行操作的视频数据，其中，对操作对象进行操作包括：对操作对象进行多个连续操作；对视频数据进行检测，得到对操作对象进行多个连续操作中预定操作的开始时间和结束时间；基于开始时间和结束时间，将视频数据中对操作对象进行预定操作的操作行为与标准操作行为进行比对，得到视频数据中的操作行为是否规范的比对结果。本发明解决了相关技术中无法自动实现对生产线上的多个连续操作中预定操作的规范性进行检测的技术问题。

Description

数据处理方法、装置、计算机设备及计算机可读存储介质

技术领域

本发明涉及计算机领域，具体而言，涉及一种数据处理方法、装置、计算机设备及计算机可读存储介质。

背景技术

目前，很多的工厂流水线对于操作员的动作的规范性有很高的要求。不规范的操作行为可能会带来严重的产品缺陷和质量问题。为了解决上述问题，现有技术中提供了两种解决方案，1)使用视频行为检测方案；2)使用人体关键点检测、目标识别的方案。但是采用上述方案解决问题时，会出现检测成本高、稳定性差的问题。由此可知，上述方案中对于这些可能存在的不规范行为的自动检测技术不完善。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种数据处理方法、装置、计算机设备及计算机可读存储介质，以至少解决相关技术中无法自动实现对生产线上的多个连续操作中预定操作的规范性进行检测的技术问题。

根据本发明实施例的一个方面，提供了一种数据处理方法，包括：获取对生产线上的操作对象进行操作的视频数据，其中，对所述操作对象进行操作包括：对所述操作对象进行多个连续操作；对所述视频数据进行检测，得到对所述操作对象进行所述多个连续操作中预定操作的开始时间和结束时间；基于所述开始时间和所述结束时间，将所述视频数据中对所述操作对象进行所述预定操作的操作行为与标准操作行为进行比对，得到所述视频数据中的操作行为是否规范的比对结果。

可选地，所述对所述视频数据进行检测，得到对所述操作对象进行所述多个连续操作中所述预定操作的开始时间和结束时间，包括：将所述视频数据划分为多帧图像；分别提取所述多帧图像的图像特征；基于所述多帧图像的图像特征，采用预定比对算法对所述多帧图像进行比对，得到对所述操作对象进行所述多个连续操作中所述预定操作的开始时间和结束时间。

可选地，所述基于所述开始时间和所述结束时间，将所述视频数据中对所述操作对象进行所述预定操作的操作行为与标准操作行为进行比对，得到所述视频数据中的操作行为是否规范的比对结果，包括：所述基于所述开始时间和所述结束时间，从所述视频数据中提取对所述操作对象执行所述预定操作的部分视频数据；提取所述部分视频数据的时空特征；将提取的时空特征与所述标准操作行为的标准时空特征进行比对，得到所述部分视频数据中的操作行为是否规范的比对结果。

可选地，所述将提取的时空特征与所述标准操作行为的标准时空特征进行比对，得到所述部分视频数据中的操作行为是否规范的比对结果，包括：对于所述标准操作行为中的任一标准操作步骤，获取所述标准操作步骤的第一标准时空特征；将所述第一标准时空特征与所述部分视频数据在时空连续上的时空特征进行相似度计算，得到与所述第一标准时空特征相似度最大的待定时空特征对应的视频片段；基于所述视频片段，得到所述部分视频数据中针对所述标准操作步骤是否规范的比对结果。

可选地，所述基于所述视频片段，得到所述部分视频数据中针对所述标准操作步骤是否规范的比对结果包括：获取所述视频片段与所述标准操作步骤的平均相似度；基于所述平均相似度，确定所述视频片段对应的操作步骤是否为所述标准操作步骤。

可选地，所述基于所述视频片段，得到所述部分视频数据中针对所述标准操作步骤是否规范的比对结果包括：获取所述视频片段的开始时间，结束时间；基于所述开始时间，结束时间，确定所述视频片段对应的操作步骤是否为标准操作顺序。

可选地，所述基于所述视频片段，得到所述部分视频数据中针对所述标准操作步骤是否规范的比对结果包括：确定所述视频片段与所述标准操作步骤对应的最大相似度是否小于第一预定阈值；在确定所述视频片段与所述标准操作步骤对应的最大相似度小于所述第一预定阈值的情况下，确定所述部分视频数据中缺少所述标准操作步骤。

可选地，该方法还包括：对所述视频数据进行检测，得到所述操作对象的目标类型；基于所述开始时间和所述结束时间，将所述视频数据中对所述操作对象进行所述预定操作的操作行为与标准操作行为进行比对，得到所述视频数据中的操作行为是否规范的比对结果包括：基于所述开始时间和所述结束时间，将所述视频数据中对所述操作对象进行所述预定操作的操作行为与所述目标类型对应的标准操作行为进行比对，得到所述视频数据中的操作行为是否规范的比对结果。

根据本发明实施例的另一个方面，提供了一种数据处理方法，包括：通过显示界面上的导入控件输入视频数据，其中，所述视频数据为对生产线上的操作对象进行操作的录像数据，对所述操作对象进行操作包括：对所述操作对象进行多个连续操作；接收对所述视频数据进行检测的指令；响应所述指令，在所述显示界面上显示所述视频数据中的操作行为是否规范的比对结果，其中，所述比对结果基于所述视频数据中对所述操作对象进行所述多个连续操作中预定操作的开始时间和结束时间，将所述视频数据中对所述操作对象进行所述预定操作的操作行为与标准操作行为进行比对得到。

根据本发明实施例的另一个方面，提供了一种数据处理装置，包括：第一获取模块，用于获取对生产线上的操作对象进行操作的视频数据，其中，对所述操作对象进行操作包括：对所述操作对象进行多个连续操作；检测模块，用于对所述视频数据进行检测，得到对所述操作对象进行所述多个连续操作中预定操作的开始时间和结束时间；比对模块，用于基于所述开始时间和所述结束时间，将所述视频数据中对所述操作对象进行所述预定操作的操作行为与标准操作行为进行比对，得到所述视频数据中的操作行为是否规范的比对结果。

根据本发明实施例的另一个方面，提供了一种数据处理装置，包括：导入模块，用于通过显示界面上的导入控件输入视频数据，其中，所述视频数据为对生产线上的操作对象进行操作的录像数据，对所述操作对象进行操作包括：对所述操作对象进行多个连续操作；接收模块，用于接收对所述视频数据进行检测的指令；显示模块，用于响应所述指令，在所述显示界面上显示所述视频数据中的操作行为是否规范的比对结果，其中，所述比对结果基于所述视频数据中对所述操作对象进行所述多个连续操作中预定操作的开始时间和结束时间，将所述视频数据中对所述操作对象进行所述预定操作的操作行为与标准操作行为进行比对得到。

根据本发明实施例的另一个方面，提供了一种计算机设备，包括：存储器和处理器，所述存储器存储有计算机程序；所述处理器，用于执行所述存储器中存储的计算机程序，所述计算机程序运行时使得所述处理器执行任意一项所述的数据处理方法。

根据本发明实施例的另一个方面，提供了一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行任一项所述的数据处理方法。

根据本发明实施例的另一个方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现任一项所述的数据处理方法。

在本发明实施例中，通过对生产线上的操作对象进行多个连续操作的视频数据进行检测，得到对操作对象进行预定操作的开始时间和结束时间，并基于该开始时间和结束时间，将视频数据中对操作对象的操作行为与标准操作行为进行比对，从而得到视频数据中的操作行为是否规范的比对结果，达到了自动从多个连续操作中，直接高效、准确地判断预定操作是否规范的目的，解决了相关技术中无法自动实现对生产线上的多个连续操作中预定操作的规范性进行检测的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1示出了一种用于实现数据处理方法的计算机终端的硬件结构框图；

图2是根据本发明实施例1的数据处理方法一的流程图；

图3是根据本发明实施例1的数据处理方法二的流程图；

图4是本发明可选实施方式提供的方法中工厂流水线的示意图；

图5是本发明可选实施方式提供的方法的方案概述流程图；

图6是本发明可选实施方式提供的产品状态检测模块的逻辑流程图；

图7是本发明可选实施方式提供的操作规范性检测模块的逻辑流程图；

图8是本发明可选实施方式提供的对预定操作进行检测的示意图；

图9是根据本发明实施例2提供的数据处理装置一的结构框图；

图10是根据本发明实施例3提供的数据处理装置二的结构框图；

图11是根据本发明实施例的一种计算机终端的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

根据本发明实施例，还提供了一种数据处理方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现数据处理方法的计算机终端(或移动设备)的硬件结构框图。如图1所示，计算机终端10(或移动设备)可以包括一个或多个(图中采用102a、102b，……，102n来示出)处理器102(处理器可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输模块。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为BUS总线的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机终端10(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。

存储器104可用于存储应用软件的软件程序以及模块，如本发明实施例中的数据处理方法对应的程序指令/数据存储装置，处理器102通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的应用程序的数据处理方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中，传输装置包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。

显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与计算机终端10(或移动设备)的用户界面进行交互。

在上述运行环境下，本申请提供了如图2所示的数据处理方法。图2是根据本发明实施例1的数据处理方法一的流程图，如图2所示，该方法包括如下步骤：

步骤S202，获取对生产线上的操作对象进行操作的视频数据，其中，对操作对象进行操作包括：对操作对象进行多个连续操作；

步骤S204，对视频数据进行检测，得到对操作对象进行多个连续操作中预定操作的开始时间和结束时间；

步骤S206，基于开始时间和结束时间，将视频数据中对操作对象进行预定操作的操作行为与标准操作行为进行比对，得到视频数据中的操作行为是否规范的比对结果。

通过上述步骤，通过对生产线上的操作对象进行多个连续操作的视频数据进行检测，得到对操作对象进行预定操作的开始时间和结束时间，并基于该开始时间和结束时间，将视频数据中对操作对象的操作行为与标准操作行为进行比对，从而得到视频数据中的操作行为是否规范的比对结果，达到了自动从多个连续操作中，直接高效，准确地判断预定操作的操作行为是否规范的目的，解决了相关技术中无法自动实现对生产线上的多个连续操作中预定操作的规范性进行检测的技术问题。

作为一种可选的实施例，获取对生产线上的操作对象进行操作的视频数据，其中，对操作对象进行操作包括：对操作对象进行多个连续操作。例如，操作对象进行的操作可以是对生产线上的产品进行的操作，视频数据可以为录像得到的视频数据。当该操作对象为预定产品时，对操作对象进行多个连续操作可以包括：先对产品的翻转操作，再对产品的叠加操作，之后将产品固定于某一固定物上的固紧操作，等等多个连续操作。其中，上述预定操作可以是上述多个连续操作中的任一操作。对获取的视频数据进行检测，得到对操作对象进行多个连续操作中预定操作的开始时间和结束时间，在操作对象执行预定操作时，通过确定操作的开始时间与结束时间，可以确定出该时间段内为对操作对象执行多个连续操作中该预定操作的一个有效时间，通过对在该段时间内的预定操作与标准操作进行比对的方式，有效地提升了比对的高效性。在基于开始时间和结束时间，将视频数据中对操作对象的操作行为与标准操作行为进行比对，得到视频数据中的操作行为是否规范的比对结果时，比较的是整个操作行为是否符合标准，将人与物互动的动作视为一个整体概念，而不是单独去检测人和物，提高了算法的鲁棒性和性能。

作为一种可选的实施例，在对视频数据进行检测，得到对操作对象进行多个连续操作中预定操作的开始时间和结束时间时，可以通过如下方式：先将视频数据划分为多帧图像，在将视频数据划分为多帧图像后，可以对获取的多帧图像进行预处理，例如，可以包括以下处理至少之一：调整图像色调，例如：亮度，对比度，等等；调整图像的大小，例如：将图像放大缩小，调整长宽高，等等；当图像中预定目标包括多个时，截取预定目标的区域。在本可选实施例的场景中，预定目标为操作对象进行的操作的部分，举例而言，在原始图像中包括生产线中其他设施，操作对象进行的操作的部分，等等，此时需要对原始图像进行识别，指定操作对象进行的操作的区域为预定目标，提取有关预定的区域，截取原始图像中的操作对象进行的操作的部分，当目标操作对象进行的操作的区域个数为多个时，可以对原始图像中不同区域的操作对象的操作分别进行截取，截取得到多个操作中图像，等等；若拍摄图像时生产线的亮度不够，拍摄的原始图像色调较暗，可以调高图像亮度以更好地对图像进行识别；若在获取原始图像时摄像头的高度较高，高处摄像头拍摄得到的操作的图像会产生畸变现象，此时可以对原始图像调整高度。使得最终获取的图像能够更清晰，以更好的用于图像特征提取。在由视频数据获取了多帧图像后，分别提取多帧图像的图像特征，其中，图像特征可以采用特征向量来表示，等等。另外，在提取多帧图像的图像特征时，可以采用图像特征提取模型，使用图像分类数据预训练深度学习模型得到，输入单帧图像，即可返回图像特征向量。基于多帧图像的图像特征，采用预定比对算法对多帧图像进行比对，即可得到对操作对象进行操作的开始时间和结束时间，其中，预定比对算法可以为KNN(K-Nearest Neighbor，最近邻)分类算法，可以进行逐帧比对，确定出操作对象进行操作的开始时间和结束时间。通过提取多帧图像的图像特征，并采用预定比对算法进行对比，能够以较高准确率的方式确定出操作对象进行预定操作的开始时间和结束时间。例如，通过对多帧图像的比较，按照时间帧的顺序，对于时间上连续的两帧图像，在前一帧图像中没有出现操作对象，而在后一帧图像中出现了该操作对象时，则确定该前一帧图像与后一帧图像之间所对应的时间点即为该开始时间。又例如，通过对多帧图像的比较，按照时间帧的顺序，对于时间上连续的两帧图像，在前一帧图像中出现有操作对象，而在后一帧图像中该操作对象消失了，则确定该前一帧图像与后一帧图像之间所对应的时间点即为该结束时间。

作为一种可选的实施例，基于开始时间和结束时间，将视频数据中对操作对象执行预定操作的操作行为与标准操作行为进行比对，得到视频数据中的操作行为是否规范的比对结果，可以包括如下步骤：基于开始时间和结束时间，从视频数据中提取对操作对象执行预定操作的部分视频数据，即有目的性地只提取出操作对象执行该预定操作的部分视频数据，仅提取部分视频数据的时空特征，减少了计算量，缩短了比对的时间。需要说明的是，此处的时空特征包括时间特征和位置特征两部分。即时空特征，可以指视频或者多帧图像的特征，包括每帧图像本身的特征，比如图像中包含什么物体(空间特征)；和视频时序变化的运动特征，比如物体如何运动(时间特征)，这两种特征融合在一起，得到视频的时空特征，通过时空特征，就可以知晓视频中有哪些物体在做什么样的运动。另外，在提取部分视频数据的时空特征时，可以运用时空特征提取模型，使用视频数据集预训练得到，输入单帧或者多帧图像，返回提取的时空特征。之后，将提取的时空特征与标准操作行为的标准时空特征进行比对，得到部分视频数据中的操作行为是否规范的比对结果。而且简单地通过提取的时空特征与标准操作行为的标准时空特征进行比对即可获得操作行为是否规范的比对结果，大大提升了相关技术中识别操作行为标准的便捷性，通过时空特征进行识别，依据时间信息与空间信息进行比对，能够保证搜索的时空有效性，能够较大程度地提高操作行为是否规范的识别结果的准确性。

需要说明的是，上述的图像特征提取模型，时空特征提取模型均可以为使用预训练通用模型通过简单的训练得到的，无需大量的样本标注和训练，可以低成本迁移到其它场景。

作为一种可选的实施例，将提取的时空特征与标准操作行为的标准时空特征进行比对，得到部分视频数据中的操作行为是否规范的比对结果，可以包括如下步骤：对于标准操作行为中的任一标准操作步骤，获取标准操作步骤的第一标准时空特征，将第一标准时空特征与部分视频数据在时空连续上的时空特征进行相似度计算，其中，相似度计算可以使用欧氏距离或者余弦距离作为相似度度量工具。得到与第一标准时空特征相似度最大的待定时空特征对应的视频片段，即在相似度最大时，能够在一定程度上认为该视频片段的操作步骤与标准的操作步骤是基本对应的。基于视频片段，得到部分视频数据中针对标准操作步骤是否规范的比对结果，因为视频片段能够较大可能地与该部分的标准操作步骤对应，能够保证在视频数据与标准操作步骤对应的部分进行比对，保证比对结果的正确性。需要说明的是，在将第一标准时空特征与部分视频数据对应的时间特征进行相似度计算时，可以是在该部分视频数据对应的全部时空特征与将该第一标准时空特征进行比对，得到相似度最大的该时空特征对应的视频片段。换句话说，即是在该部分视频数据对应的全部时空特征上搜索与该第一标准时空特征相似度最大的时空特征。因此，通过上述相似度计算的方式，可以在一定程度上有效过滤掉完全不与标准步骤对应的视频片段，使得比对效率，以及准确性均有效提高。

作为一种可选的实施例，基于视频片段，得到部分视频数据中针对标准操作步骤是否规范的比对结果，可能会出现操作不规范的情况，即在比对过程中可以包括如下步骤：获取视频片段与标准操作步骤的平均相似度，基于平均相似度，确定视频片段对应的操作步骤是否为标准操作步骤。通过平均相似度确定是否为标准操作步骤，保证了比对结果的有效性与准确度，避免操作不规范的现象出现。

作为一种可选的实施例，基于视频片段，得到部分视频数据中针对标准操作步骤是否规范的比对结果，可能会出现操作步骤错乱的情况，即在比对过程中还可以包括如下步骤：获取视频片段的开始时间，结束时间，基于开始时间，结束时间，确定视频片段对应的操作步骤是否为标准操作顺序。通过在开始时间至结束时间的这一时间段内，各部分的操作步骤，进而确定出视频片段对应的操作步骤是否为标准操作顺序，避免操作行为规范但是操作步骤错乱的现象出现。

作为一种可选的实施例，基于视频片段，得到部分视频数据中针对标准操作步骤是否规范的比对结果，可能会出现缺少标准操作步骤的情况，即在比对过程中还可以包括如下步骤：确定视频片段与标准操作步骤对应的最大相似度是否小于第一预定阈值，在确定视频片段与标准操作步骤对应的最大相似度小于第一预定阈值的情况下，确定部分视频数据中缺少标准操作步骤。例如，在该部分视频数据对应的全部时空特征上搜索得到的与该第一标准时空特征相似度最大的时空特征时，该最大相似度只有60％，则认为虽然是与该第一标准时空特征最为相似，但也能够确定并不是该标准步骤，因此，可以认为对操作对象执行操作的视频数据中并没有该标准操作，即对操作对象进行操作时，遗漏了该标准操作。

作为一种可选的实施例，基于上述处理，还可以对视频数据进行检测，得到操作对象的目标类型，基于开始时间和结束时间，将视频数据中对操作对象进行预定操作的操作行为与标准操作行为进行比对，得到视频数据中的操作行为是否规范的比对结果包括：基于开始时间和结束时间，将视频数据中对操作对象进行预定操作的操作行为与目标类型对应的标准操作行为进行比对，得到视频数据中的操作行为是否规范的比对结果。在操作对象不同时，对应的标准操作行为也不应相同，通过得到操作对象的目标类型，能够对应该目标类型进行比对，保证了比对结果的规范性。

图3是根据本发明实施例1的数据处理方法二的流程图，如图3所示，该方法包括如下步骤：

步骤S302，通过显示界面上的导入控件输入视频数据，其中，视频数据为对生产线上的操作对象进行操作的录像数据，对操作对象进行操作包括：对操作对象进行多个连续操作；

步骤S304，接收对视频数据进行检测的指令；

步骤S306，响应指令，在显示界面上显示视频数据中的操作行为是否规范的比对结果，其中，比对结果基于视频数据中对操作对象进行多个连续操作中预定操作的开始时间和结束时间，将视频数据中对操作对象进行预定操作的操作行为与标准操作行为进行比对得到。

通过上述步骤，通过显示界面上的导入控件接收视频数据，并响应对该视频数据进行检测的指令，对生产线上的操作对象进行操作的视频数据进行检测，得到视频数据中的操作行为是否规范的比对结果，达到了自动从多个连续操作中，直接高效、准确地判断该预定操作的操作行为是否规范的目的，解决了相关技术中无法自动实现对生产线上的多个连续操作中预定操作的规范性进行检测的技术问题。

基于上述实施例及可选实施例，提供一种可选实施方式，下面具体说明。

很多的工厂流水线，对于操作员的动作的规范性有很高的要求。不规范的操作行为可能会带来严重的产品缺陷和质量问题。为了解决上述问题，在相关技术中提供了夏威夷两种解决方案，1)使用视频行为检测方案，该方案需要大量标记样本，迁移到不同场景时需要重新大量标注和训练，成本较高；2)使用人体关键点检测、目标识别的方案，该方案需要匹配人体部位与操作目标的关系，且易受干扰，算法鲁棒性较差。但是采用上述方案解决问题时，方案1)中，需要大量标记样本，迁移到不同场景时需要重新大量标注和训练，成本较高；方案2)中，需要匹配人体部位与操作目标的关系，且易受干扰，算法鲁棒性较差。由此可知，上述方案中对于这些可能存在的不规范行为的自动检测技术不完善。因此，利用摄像机，基于人工智能技术、计算机视觉技术对这些动作进行规范性检测，检测出不规范甚至漏掉的动作对于提升产品质量具有非常重要的意义。

鉴于此，在本发明可选实施方式中，提供了一种利用摄像机录像，基于计算机视觉的视频理解技术，对这些动作进行规范性检测，能够检测出不规范操作、漏掉的操作或者操作顺序不对等各种异常行为。这对于提高生产质量具有重要意义。

图4是本发明可选实施方式提供的方法中工厂流水线的示意图，如图4所示，在流水线上，产品沿着流水线进行前进，到达操作员所在的操作台时，暂时停下来，待操作员完成规定的操作后再离开当前操作台，进入下一个环节。操作员的操作环节会有套严格的规范的动作要求。通过摄像机拍摄操作员的操作行为，输入到视频分析系统，对操作员的行为规范性进行分析评估，发现不规范的行为及时发出警告，从而达到提升产品质量的目的。

图5是本发明可选实施方式提供的方法的方案概述流程图，如图5所示，该方案通过视频流的输入，到模块1，即产品状态检测模块中进行处理，即检测产品到达并离开检测产品型号分区，再到达模块2，即操作规范性检测模块，进行处理，即进行时空动作定位与动作规范性对比，再进行后处理与逻辑判断，最后根据对比结果结合具体的业务逻辑输出异常情况，并发出警报，以完成本发明可选实施方式提供的方法，下面对其中两个模块进行详细说明：

a.模块1：产品状态检测模块。

功能：检测产品达到操作台，操作员开始处理的时间和离开操作台时间，以及产品的类型，其中，不同类型的产品可能有不同的操作规范；

输入：视频流；

输出：每个产品的类型，以及到达离开操作台的时间；

算法逻辑：图6是本发明可选实施方式提供的产品状态检测模块的逻辑流程图，如图6所示，输入的视频流进行特征提取，再经过KNN算法，得到产品的类型，以及到达离开操作台的时间，其中，特征提取的过程是经过预训练模型1，由产品到达离开状态，类型标注后提取的特征训练得到的。

需要说明的是，图6中预训练模型1是图像特征提取模型，使用图像分类数据预训练深度学习模型得到，输入单帧图像，返回图像特征向量；KNN算法指K邻近分类算法。假设有N种不同类型的产品，这里的KNN算法将所有输入分为N+1类，其中一个类别表示操作台上无产品，逐帧进行预测，就可以得到当前操作的产品类型以及到达离开操作台的时间。

b.模块2：操作规范性检测模块。

功能：根据产品状态检测模块输出，得到操作员开始操作和结束操作的时间，以及产品类型。通过行为检测算法，对操作员的当前动作和提前定义的标准动作进行对比，输出对比结果。

输入：视频流，产品类型，到达离开时间；

输出：操作员对当前产品操作与标准规范操作的对比结果；

算法逻辑：图7是本发明可选实施方式提供的操作规范性检测模块的逻辑流程图，如图7所示，输入视频流是根据产品状态检测模块的结果，仅输入正在操作产品的部分视频流，当操作台无产品时不输入视频到当前模块。然后根据提前标定的标准规范动作的时空特征，进行行为相似度计算，相似度计算可以使用常见的欧氏距离或者余弦距离作为相似度度量工具。当得到每个操作步骤在操作员操作过程中的所有时空上的相似度数据后，根据相似度大小、时空连续性利用预设的阈值过滤掉相似度不够的时间段，剩下的时空连续区域作为标准操作动作的proposal，计算每个proposal区域的平均相似度作为对应proposal的相似度，再次使用阈值过滤proposal后剩下的就是行为检测的结果，每个行为检测的结果包含行为起始时间、行为结束时间，行为类别与置信度等4个数据。

需要说明的是，图7中预训练模型2是行为时空特征提取模型，使用视频行为分析数据集预训练得到，输入单帧或者多帧数据，返回时空特征图(spatiotemporal featuremap)。

在上述两个模块处理之后，即得到行为检测结果后，再次和标准规范行为进行对比，结合具体的业务逻辑，可以得到缺少某种操作，操作顺序不对等异常情况，并发出警报。

举例说明：对于一条汽车制造流水线，当搭载不同类型的车辆部件的AGV(Automated Guided Vehicle)小车到达后。操作员根据AGV搭载的产品类型，对产品进行相应的操作。这些操作分为若干个行为步骤，需要检测这些行为步骤的顺序是否正确，是否漏掉某个步骤等异常行为，使用场景可以代入如图4所示的流水线示意图中。

在汽车制造流水线的场景中使用本发明可选实施方式提出的行为规范性检测方法：模块1检测AGV到达离开的时间，以及AGV搭载产品的类型，表1是一个AGV到达和离开时间，以及这个AGV每个操作步骤的开始和结束时间和持续时间的统计表，如表1所示，表1中第一行表示该AGV到达、离开的时间及总停留时长，表中其他行表示该AGV搭载的产品各个操作步骤的开始和结束时间及持续时长。图8是本发明可选实施方式提供的对预定操作进行检测的示意图，如图8所示，图中虚线框表示，操作员在操作产品的A5步骤(即A5这个操作行为)时，在图像中的一个空间位置(空间特征)，结合这个A5步骤所涉及的时间(时间特征)，得到A5这个操作行为的时空特征，将得到的时空特征与标准操作步骤对应的时空特征进行比对，如图8中得到与标准操作步骤的相似度为0.939。假如，上述用于确定为标准步骤的第一预定阈值为0.900的情况下，则确定操作员操作的该步骤本身是规范的。即，通过上述处理，能够根据AGV搭载的产品类型以及到达、离开时间，将该步骤对应视频流到模块2，使用模块2的算法检测该操作，通过和标准规范操作对比，输出可能存在的异常情况并发出警报。

表1

使用本发明可选实施方式，成功对操作员的规范性进行检测，并检测出可能的异常情况，验证了本发明可选实施方式的有效性。

通过上述可选实施方式，还可以达到以下有益效果：

(1)通过使用通用预训练模型提取图像或视频的通用特征，在通用特征的基础上进行特征分析达到行为识别和检测的目的，在不同应用场景下无需重新训练，大大降低产品场景迁移的成本；

(2)训练流程仅包含标准操作标注和特征提取，仅需少量标注样本，在极短的时间内就可以完成训练，计算要求低，耗时短，能够用极低的运算成本将算法迁移到不同场景；

(3)通过使用时空特征行为识别的方法，将人与物互动的动作视为一个整体概念，而不是单独去检测人和物，提高了算法的鲁棒性和性能。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的数据处理方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例的方法。

实施例2

根据本发明实施例，还提供了一种用于实施上述数据处理方法的装置一，图9是根据本发明实施例2提供的数据处理装置一的结构框图，如图9所示，该装置包括：第一获取模块902，检测模块904和比对模块906，下面对该装置进行说明。

第一获取模块902，用于获取对生产线上的操作对象进行操作的视频数据，其中，对操作对象进行操作包括：对操作对象进行多个连续操作；检测模块904，连接于上述第一获取模块902，用于对视频数据进行检测，得到对操作对象进行多个连续操作中预定操作的开始时间和结束时间；比对模块906，连接于上述检测模块904，用于基于开始时间和结束时间，将视频数据中对操作对象进行预定操作的操作行为与标准操作行为进行比对，得到视频数据中的操作行为是否规范的比对结果。

此处需要说明的是，上述第一获取模块902，检测模块904和比对模块906，对应于实施例1中的步骤S202至步骤S206，两个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例一提供的计算机终端10中。

实施例3

根据本发明实施例，还提供了一种用于实施上述数据处理方法的装置二，图10是根据本发明实施例3提供的数据处理装置二的结构框图，如图10所示，该装置包括：导入模块1002，接收模块1004和显示模块1006，下面对该装置进行说明。

导入模块1002，用于通过显示界面上的导入控件输入视频数据，其中，视频数据为对生产线上的操作对象进行操作的录像数据，对操作对象进行操作包括：对操作对象进行多个连续操作；接收模块1004，连接于上述导入模块1002，用于接收对视频数据进行检测的指令；显示模块1006，连接于上述接收模块1004，用于响应指令，在显示界面上显示视频数据中的操作行为是否规范的比对结果，其中，比对结果基于视频数据中对操作对象进行多个连续操作中预定操作的开始时间和结束时间，将视频数据中对操作对象进行预定操作的操作行为与标准操作行为进行比对得到。

此处需要说明的是，上述导入模块1002，接收模块1004和显示模块1006，对应于实施例1中的步骤S302至步骤S306，多个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例一提供的计算机终端10中。

实施例4

本发明的实施例可以提供一种计算机终端，该计算机终端可以是计算机终端群中的任意一个计算机终端设备。可选地，在本实施例中，上述计算机终端也可以替换为移动终端等终端设备。

可选地，在本实施例中，上述计算机终端可以位于计算机网络的多个网络设备中的至少一个网络设备。

在本实施例中，上述计算机终端可以执行应用程序的数据处理方法中以下步骤的程序代码：获取对生产线上的操作对象进行操作的视频数据，其中，对操作对象进行操作包括：对操作对象进行多个连续操作；对视频数据进行检测，得到对操作对象进行多个连续操作中预定操作的开始时间和结束时间；基于开始时间和结束时间，将视频数据中对操作对象进行预定操作的操作行为与标准操作行为进行比对，得到视频数据中的操作行为是否规范的比对结果。

可选地，图11是根据本发明实施例的一种计算机终端的结构框图。如图11所示，该计算机终端可以包括：一个或多个(图中仅示出一个)处理器、存储器等。

其中，存储器可用于存储软件程序以及模块，如本发明实施例中的数据处理方法和装置对应的程序指令/模块，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的数据处理方法。存储器可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：获取对生产线上的操作对象进行操作的视频数据，其中，对操作对象进行操作包括：对操作对象进行多个连续操作；对视频数据进行检测，得到对操作对象进行多个连续操作中预定操作的开始时间和结束时间；基于开始时间和结束时间，将视频数据中对操作对象进行预定操作的操作行为与标准操作行为进行比对，得到视频数据中的操作行为是否规范的比对结果。

可选的，上述处理器还可以执行如下步骤的程序代码：对视频数据进行检测，得到对操作对象进行多个连续操作中预定操作的开始时间和结束时间，包括：将视频数据划分为多帧图像；分别提取多帧图像的图像特征；基于多帧图像的图像特征，采用预定比对算法对多帧图像进行比对，得到对操作对象进行多个连续操作中预定操作的开始时间和结束时间。

可选的，上述处理器还可以执行如下步骤的程序代码：基于开始时间和结束时间，将视频数据中对操作对象进行预定操作的操作行为与标准操作行为进行比对，得到视频数据中的操作行为是否规范的比对结果，包括：基于开始时间和结束时间，从视频数据中提取对操作对象执行预定操作的部分视频数据；提取部分视频数据的时空特征；将提取的时空特征与标准操作行为的标准时空特征进行比对，得到部分视频数据中的操作行为是否规范的比对结果。

可选的，上述处理器还可以执行如下步骤的程序代码：将提取的时空特征与标准操作行为的标准时空特征进行比对，得到部分视频数据中的操作行为是否规范的比对结果，包括：对于标准操作行为中的任一标准操作步骤，获取标准操作步骤的第一标准时空特征；将第一标准时空特征与部分视频数据在时空连续上的时空特征进行相似度计算，得到与第一标准时空特征相似度最大的待定时空特征对应的视频片段；基于视频片段，得到部分视频数据中针对标准操作步骤是否规范的比对结果。

可选的，上述处理器还可以执行如下步骤的程序代码：基于视频片段，得到部分视频数据中针对标准操作步骤是否规范的比对结果包括：获取视频片段与标准操作步骤的平均相似度；基于平均相似度，确定视频片段对应的操作步骤是否为标准操作步骤。

可选的，上述处理器还可以执行如下步骤的程序代码：基于视频片段，得到部分视频数据中针对标准操作步骤是否规范的比对结果包括：获取视频片段的开始时间，结束时间；基于开始时间，结束时间，确定视频片段对应的操作步骤是否为标准操作顺序。

可选的，上述处理器还可以执行如下步骤的程序代码：基于视频片段，得到部分视频数据中针对标准操作步骤是否规范的比对结果包括：确定视频片段与标准操作步骤对应的最大相似度是否小于第一预定阈值；在确定视频片段与标准操作步骤对应的最大相似度小于第一预定阈值的情况下，确定部分视频数据中缺少标准操作步骤。

可选的，上述处理器还可以执行如下步骤的程序代码：对视频数据进行检测，得到操作对象的目标类型；基于开始时间和结束时间，将视频数据中对操作对象进行预定操作的操作行为与标准操作行为进行比对，得到视频数据中的操作行为是否规范的比对结果包括：基于开始时间和结束时间，将视频数据中对操作对象进行预定操作的操作行为与目标类型对应的标准操作行为进行比对，得到视频数据中的操作行为是否规范的比对结果。

处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：通过显示界面上的导入控件输入视频数据，其中，视频数据为对生产线上的操作对象进行操作的录像数据，对操作对象进行操作包括：对操作对象进行多个连续操作；接收对视频数据进行检测的指令；响应指令，在显示界面上显示视频数据中的操作行为是否规范的比对结果，其中，比对结果基于视频数据中对操作对象进行多个连续操作中预定操作的开始时间和结束时间，将视频数据中对操作对象进行预定操作的操作行为与标准操作行为进行比对得到。

采用本发明实施例，提供了一种数据处理的方案。通过对生产线上的操作对象进行多个连续操作的视频数据进行检测，得到对操作对象进行预定操作的开始时间和结束时间，并基于该开始时间和结束时间，将视频数据中对操作对象的操作行为与标准操作行为进行比对，从而得到视频数据中的操作行为是否规范的比对结果，达到了自动从多个连续操作中，直接高效、准确地判断预定操作是否规范的目的，解决了相关技术中无法自动实现对生产线上的多个连续操作中预定操作的规范性进行检测的技术问题。

本领域普通技术人员可以理解，图中所示的结构仅为示意，计算机终端也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌声电脑以及移动互联网设备(MobileInternet Devices，MID)、PAD等终端设备。图11其并不对上述电子装置的结构造成限定。例如，计算机终端还可包括比图11中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图11所示不同的配置。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(RandomAccess Memory，RAM)、磁盘或光盘等。

实施例4

本发明的实施例还提供了一种计算机可读存储介质。可选地，在本实施例中，上述计算机可读存储介质可以用于保存上述实施例一所提供的数据处理方法所执行的程序代码。

可选地，在本实施例中，上述计算机可读存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中。

可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：获取对生产线上的操作对象进行操作的视频数据，其中，对操作对象进行操作包括：对操作对象进行多个连续操作；对视频数据进行检测，得到对操作对象进行多个连续操作中预定操作的开始时间和结束时间；基于开始时间和结束时间，将视频数据中对操作对象进行预定操作的操作行为与标准操作行为进行比对，得到视频数据中的操作行为是否规范的比对结果。

可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：对视频数据进行检测，得到对操作对象进行多个连续操作中预定操作的开始时间和结束时间，包括：将视频数据划分为多帧图像；分别提取多帧图像的图像特征；基于多帧图像的图像特征，采用预定比对算法对多帧图像进行比对，得到对操作对象进行多个连续操作中预定操作的开始时间和结束时间。

可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：基于开始时间和结束时间，将视频数据中对操作对象进行预定操作的操作行为与标准操作行为进行比对，得到视频数据中的操作行为是否规范的比对结果，包括：基于开始时间和结束时间，从视频数据中提取对操作对象执行预定操作的部分视频数据；提取部分视频数据的时空特征；将提取的时空特征与标准操作行为的标准时空特征进行比对，得到部分视频数据中的操作行为是否规范的比对结果。

可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：将提取的时空特征与标准操作行为的标准时空特征进行比对，得到部分视频数据中的操作行为是否规范的比对结果，包括：对于标准操作行为中的任一标准操作步骤，获取标准操作步骤的第一标准时空特征；将第一标准时空特征与部分视频数据在时空连续上的时空特征进行相似度计算，得到与第一标准时空特征相似度最大的待定时空特征对应的视频片段；基于视频片段，得到部分视频数据中针对标准操作步骤是否规范的比对结果。

可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：基于视频片段，得到部分视频数据中针对标准操作步骤是否规范的比对结果包括：获取视频片段与标准操作步骤的平均相似度；基于平均相似度，确定视频片段对应的操作步骤是否为标准操作步骤。

可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：基于视频片段，得到部分视频数据中针对标准操作步骤是否规范的比对结果包括：获取视频片段的开始时间，结束时间；基于开始时间，结束时间，确定视频片段对应的操作步骤是否为标准操作顺序。

可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：基于视频片段，得到部分视频数据中针对标准操作步骤是否规范的比对结果包括：确定视频片段与标准操作步骤对应的最大相似度是否小于第一预定阈值；在确定视频片段与标准操作步骤对应的最大相似度小于第一预定阈值的情况下，确定部分视频数据中缺少标准操作步骤。

可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：该方法还包括：对视频数据进行检测，得到操作对象的目标类型；基于开始时间和结束时间，将视频数据中对操作对象进行预定操作的操作行为与标准操作行为进行比对，得到视频数据中的操作行为是否规范的比对结果包括：基于开始时间和结束时间，将视频数据中对操作对象进行预定操作的操作行为与目标类型对应的标准操作行为进行比对，得到视频数据中的操作行为是否规范的比对结果。

可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：通过显示界面上的导入控件输入视频数据，其中，视频数据为对生产线上的操作对象进行操作的录像数据，对操作对象进行操作包括：对操作对象进行多个连续操作；接收对视频数据进行检测的指令；响应指令，在显示界面上显示视频数据中的操作行为是否规范的比对结果，其中，比对结果基于视频数据中对操作对象进行多个连续操作中预定操作的开始时间和结束时间，将视频数据中对操作对象进行预定操作的操作行为与标准操作行为进行比对得到。

本发明的实施例还提供了一种计算机程序产品，包括计算机程序。可选地，在本实施例中，上述计算机程序产品可以用于保存上述实施例一所提供的数据处理方法所执行的程序代码。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (14)

1.一种数据处理方法，其特征在于，包括：

获取对生产线上的操作对象进行操作的视频数据，其中，对所述操作对象进行操作包括：对所述操作对象进行多个连续操作；

对所述视频数据进行检测，得到对所述操作对象进行所述多个连续操作中预定操作的开始时间和结束时间；

基于所述开始时间和所述结束时间，将所述视频数据中对所述操作对象进行所述预定操作的操作行为与标准操作行为进行比对，得到所述视频数据中的操作行为是否规范的比对结果。

2.根据权利要求1所述的方法，其特征在于，所述对所述视频数据进行检测，得到对所述操作对象进行所述多个连续操作中所述预定操作的开始时间和结束时间，包括：

将所述视频数据划分为多帧图像；

分别提取所述多帧图像的图像特征；

基于所述多帧图像的图像特征，采用预定比对算法对所述多帧图像进行比对，得到对所述操作对象进行所述多个连续操作中所述预定操作的开始时间和结束时间。

3.根据权利要求1所述的方法，其特征在于，所述基于所述开始时间和所述结束时间，将所述视频数据中对所述操作对象进行所述预定操作的操作行为与标准操作行为进行比对，得到所述视频数据中的操作行为是否规范的比对结果，包括：

所述基于所述开始时间和所述结束时间，从所述视频数据中提取对所述操作对象执行所述预定操作的部分视频数据；

提取所述部分视频数据的时空特征；

将提取的时空特征与所述标准操作行为的标准时空特征进行比对，得到所述部分视频数据中的操作行为是否规范的比对结果。

4.根据权利要求1所述的方法，其特征在于，所述将提取的时空特征与所述标准操作行为的标准时空特征进行比对，得到所述部分视频数据中的操作行为是否规范的比对结果，包括：

对于所述标准操作行为中的任一标准操作步骤，获取所述标准操作步骤的第一标准时空特征；

将所述第一标准时空特征与所述部分视频数据在时空连续上的时空特征进行相似度计算，得到与所述第一标准时空特征相似度最大的待定时空特征对应的视频片段；

基于所述视频片段，得到所述部分视频数据中针对所述标准操作步骤是否规范的比对结果。

5.根据权利要求4所述的方法，其特征在于，所述基于所述视频片段，得到所述部分视频数据中针对所述标准操作步骤是否规范的比对结果包括：

获取所述视频片段与所述标准操作步骤的平均相似度；

基于所述平均相似度，确定所述视频片段对应的操作步骤是否为所述标准操作步骤。

6.根据权利要求4所述的方法，其特征在于，所述基于所述视频片段，得到所述部分视频数据中针对所述标准操作步骤是否规范的比对结果包括：

获取所述视频片段的开始时间，结束时间；

基于所述开始时间，结束时间，确定所述视频片段对应的操作步骤是否为标准操作顺序。

7.根据权利要求4所述的方法，其特征在于，所述基于所述视频片段，得到所述部分视频数据中针对所述标准操作步骤是否规范的比对结果包括：

确定所述视频片段与所述标准操作步骤对应的最大相似度是否小于第一预定阈值；

在确定所述视频片段与所述标准操作步骤对应的最大相似度小于所述第一预定阈值的情况下，确定所述部分视频数据中缺少所述标准操作步骤。

8.根据权利要求1至7中任一项所述的方法，其特征在于，还包括：

对所述视频数据进行检测，得到所述操作对象的目标类型；

基于所述开始时间和所述结束时间，将所述视频数据中对所述操作对象进行所述预定操作的操作行为与标准操作行为进行比对，得到所述视频数据中的操作行为是否规范的比对结果包括：基于所述开始时间和所述结束时间，将所述视频数据中对所述操作对象进行所述预定操作的操作行为与所述目标类型对应的标准操作行为进行比对，得到所述视频数据中的操作行为是否规范的比对结果。

9.一种数据处理方法，其特征在于，包括：

通过显示界面上的导入控件输入视频数据，其中，所述视频数据为对生产线上的操作对象进行操作的录像数据，对所述操作对象进行操作包括：对所述操作对象进行多个连续操作；

接收对所述视频数据进行检测的指令；

响应所述指令，在所述显示界面上显示所述视频数据中的操作行为是否规范的比对结果，其中，所述比对结果基于所述视频数据中对所述操作对象进行所述多个连续操作中预定操作的开始时间和结束时间，将所述视频数据中对所述操作对象进行所述预定操作的操作行为与标准操作行为进行比对得到。

10.一种数据处理装置，其特征在于，包括：

第一获取模块，用于获取对生产线上的操作对象进行操作的视频数据，其中，对所述操作对象进行操作包括：对所述操作对象进行多个连续操作；

检测模块，用于对所述视频数据进行检测，得到对所述操作对象进行所述多个连续操作中预定操作的开始时间和结束时间；

比对模块，用于基于所述开始时间和所述结束时间，将所述视频数据中对所述操作对象进行所述预定操作的操作行为与标准操作行为进行比对，得到所述视频数据中的操作行为是否规范的比对结果。

11.一种数据处理装置，其特征在于，包括：

导入模块，用于通过显示界面上的导入控件输入视频数据，其中，所述视频数据为对生产线上的操作对象进行操作的录像数据，对所述操作对象进行操作包括：对所述操作对象进行多个连续操作；

接收模块，用于接收对所述视频数据进行检测的指令；

显示模块，用于响应所述指令，在所述显示界面上显示所述视频数据中的操作行为是否规范的比对结果，其中，所述比对结果基于所述视频数据中对所述操作对象进行所述多个连续操作中预定操作的开始时间和结束时间，将所述视频数据中对所述操作对象进行所述预定操作的操作行为与标准操作行为进行比对得到。

12.一种计算机设备，其特征在于，包括：存储器和处理器，

所述存储器存储有计算机程序；

所述处理器，用于执行所述存储器中存储的计算机程序，所述计算机程序运行时使得所述处理器执行权利要求1至9中任意一项所述的数据处理方法。

13.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至9中任一项所述的数据处理方法。

14.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的数据处理方法。

Images