CN112633126A - 视频处理方法及装置 - Google Patents
视频处理方法及装置 Download PDFInfo
- Publication number
- CN112633126A CN112633126A CN202011505115.8A CN202011505115A CN112633126A CN 112633126 A CN112633126 A CN 112633126A CN 202011505115 A CN202011505115 A CN 202011505115A CN 112633126 A CN112633126 A CN 112633126A
- Authority
- CN
- China
- Prior art keywords
- video
- target
- identified
- standard
- operation behavior
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title abstract description 28
- 230000006399 behavior Effects 0.000 claims abstract description 222
- 230000002159 abnormal effect Effects 0.000 claims abstract description 77
- 238000000034 method Methods 0.000 claims abstract description 49
- 238000012545 processing Methods 0.000 claims abstract description 35
- 238000004590 computer program Methods 0.000 claims description 16
- 238000012937 correction Methods 0.000 abstract description 3
- 238000003860 storage Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 238000004519 manufacturing process Methods 0.000 description 10
- 206010000117 Abnormal behaviour Diseases 0.000 description 8
- 230000009471 action Effects 0.000 description 8
- 230000003993 interaction Effects 0.000 description 8
- 230000011664 signaling Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 238000013500 data storage Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000003754 machining Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本申请提供一种视频处理方法及装置，该方法包括：接收终端设备发送的待识别视频，待识别视频中包含至少一个对目标设备的操作行为；根据标准操作视频识别出待识别视频中目标视频片段，目标视频片段包含有对目标设备的异常操作行为，标准操作视频包含有对目标设备的标准操作行为；向终端设备发送目标视频片段。与现有技术相比，本申请将待识别视频与标准操作视频对比，得到包含异常操作行为的目标视频片段，然后将目标视频片段发送给终端设备，通过将异常操作行为发送给终端设备进行实时的显示，实现对操作行为规范性的判断和纠正，从而提高了操作行为的规范性。
Description
技术领域
本申请涉及视频处理技术领域，尤其涉及一种视频处理方法及装置。
背景技术
随着制造企业竞争的不断加大，制造企业对工业现场操作行为工人操作行为技能的要求越来越高。对工业现场操作行为工人的操作行为技能和要求也越来越高。提高操作行为工人的操作行为技能，一方面可以更有效地利用设备、加快生产节奏、提高产量，另一方面可以有效提升成品率，进而提升企业利润。
为了提高工业现场操作行为工人的操作行为技能，制造企业会对操作行为工人进行培训，并且对操作行为工人的操作行为进行监督。现有的方案主要包括：由专门的管理人员进行操作行为规范培训及监督，以及在工业现场配备用户侧现场视频处理终端。
但是，由专门的管理人员进行操作行为规范培训及监督的方法的培训周期长、见效慢；在工业现场配备用户侧现场视频处理终端的方法，需要在现场端存储较多的数据，并且无法快速的处理操作行为工人的操作行为。这两种方法的成本高、处理速度慢，并且无法实时的对操作行为的规范性进行判断和纠正。因此，现有的方案无法满足制造企业对于工业现场操作行为规范性的要求。
发明内容
本申请实施例提供一种视频处理方法及装置，以解决现有技术中无法实时的对工业现场的操作行为的规范性进行判断和纠正的问题。
本申请第一方面提供一种视频处理方法，所述方法包括：
接收终端设备发送的待识别视频，所述待识别视频中包含至少一个对目标设备的操作行为；
根据标准操作视频识别出所述待识别视频中目标视频片段，所述目标视频片段包含有对所述目标设备的异常操作行为，所述标准操作视频包含有对所述目标设备的标准操作行为；
向所述终端设备发送所述目标视频片段。
在一种可选的实施方式中，所述根据标准操作视频识别出所述待识别视频中目标视频片段，包括：
将所述待识别视频拆分成至少一个子视频片段，所述子视频片段中包括一个对所述目标设备的操作行为；
若所述子视频片段中的操作行为与所述标准操作视频中对应的操作行为不符，则确定所述子视频片段为所述目标视频片段。
在一种可选的实施方式中，所述根据标准操作视频识别出所述待识别视频中目标视频片段，还包括：
对所述待识别视频进行切片，得到至少一帧待识别图像；
将所述至少一帧待识别图像逐帧与所述标准操作视频进行比对，得到目标图像，所述目标图像包含有异常操作行为；
将同一异常操作行为对应的目标图像按照时序进行合并，得到所述目标视频片段。
在一种可选的实施方式中，在所述对所述待识别视频进行切片，得到至少一帧待识别图像之后，还包括：
在所述目标视频片段中的至少一帧待识别图像中添加异常操作行为标识。
在一种可选的实施方式中，在所述根据标准操作视频识别出所述待识别视频中的异常操作行为，得到异常操作行为视频之后，还包括：
根据所述目标视频片段，从所述标准操作视频中确定出所述目标视频片段对应的规范视频片段，所述规范视频片段包含有所述目标视频片段中的异常操作行为对应的标准操作行为；
将所述规范视频片段发送给所述终端设备。
本申请第二方面提供一种视频处理装置，所述装置包括：
接收模块，用于接收终端设备发送的待识别视频，所述待识别视频中包含至少一个对目标设备的操作行为；
识别模块，用于根据标准操作视频识别出所述待识别视频中目标视频片段，所述目标视频片段包含有对所述目标设备的异常操作行为，所述标准操作视频包含有对所述目标设备的标准操作行为；
发送模块，用于向所述终端设备发送所述目标视频片段。
在一种可选的实施方式中，所述识别模块，还用于将所述待识别视频拆分成至少一个子视频片段，所述子视频片段中包括一个对所述目标设备的操作行为；若所述子视频片段中的操作行为与所述标准操作视频中对应的操作行为不符，则确定所述子视频片段为所述目标视频片段。
在一种可选的实施方式中，所述识别模块，还用于对所述待识别视频进行切片，得到至少一帧待识别图像；将所述至少一帧待识别图像逐帧与所述标准操作视频进行比对，得到目标图像，所述目标图像包含有异常操作行为；将同一异常操作行为对应的目标图像按照时序进行合并，得到所述目标视频片段。
在一种可选的实施方式中，所述识别模块，还用于在所述目标视频片段中的至少一帧待识别图像中添加异常操作行为标识。
在一种可选的实施方式中，所述识别模块，还用于根据所述目标视频片段，从所述标准操作视频中确定出所述目标视频片段对应的规范视频片段，所述规范视频片段包含有所述目标视频片段中的异常操作行为对应的标准操作行为；
所述发送模块，还用于将所述规范视频片段发送给所述终端设备。
本申请第三方面提供一种电子设备，包括：处理器与存储器；
所述存储器用于存储计算机程序；
所述处理器用于调用并运行所述存储器中存储的计算机程序，执行如第一方面所述的方法。
本申请第四方面提供一种芯片，包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行如第一方面所述的方法。
本申请第五方面提供一种计算机可读存储介质，用于存储计算机程序，所述计算机程序使得计算机执行如第一方面所述的方法。
本申请第六方面提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如第一方面所述的方法。
本申请第七方面提供一种计算机程序，所述计算机程序使得计算机执行如第一方面所述的方法。
本申请实施例提供的视频处理方法及装置，首先接收终端设备发送的待识别视频，待识别视频中包含至少一个对目标设备的操作行为，然后根据标准操作视频识别出待识别视频中目标视频片段，目标视频片段包含有对目标设备的异常操作行为，标准操作视频包含有对目标设备的标准操作行为，最后向终端设备发送目标视频片段。与现有技术相比，本申请将待识别视频与标准操作视频对比，得到包含异常操作行为的目标视频片段，然后将目标视频片段发送给终端设备，通过将异常操作行为发送给终端设备进行实时的显示，实现对操作行为规范性的判断和纠正，从而提高了操作行为的规范性。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种视频处理方法的应用场景示意图；
图2为本申请实施例提供的一种视频处理方法的系统架构示意图；
图3为本申请实施例提供的一种视频处理方法的信令交互图；
图4为本申请实施例提供的另一种视频处理方法的信令交互图；
图5为本申请实施例提供的再一种视频处理方法的信令交互图；
图6为本申请实施例提供的又一种视频处理方法的信令交互图；
图7为本申请实施例提供的一种视频处理装置的结构示意图；
图8为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
随着制造企业竞争的不断加大，制造企业对工业现场操作行为工人操作行为技能的要求越来越高。为了提高工业现场操作行为工人的操作行为技能，制造企业会对操作行为工人进行培训，并且对操作行为工人的操作行为进行监督。现有的方案主要包括：由专门的管理人员进行操作行为规范培训及监督，以及在工业现场配备用户侧现场视频处理终端。
但是，由专门的管理人员进行操作行为规范培训及监督的方法的培训周期长、见效慢；在工业现场配备用户侧现场视频处理终端的方法，需要在现场端存储较多的数据，并且无法快速的处理操作行为工人的操作行为。这两种方法的成本高、处理速度慢，并且无法实时的对操作行为的规范性进行判断和纠正。因此，现有的方案无法满足制造企业对于工业现场操作行为规范性的要求。
为解决上述问题，本申请提供了一种视频处理方法及装置，通过将待识别视频与标准操作视频对比，得到包含异常操作行为的目标视频片段以及目标视频片段对应的规范视频片段，然后将目标视频片段，以及规范视频片段在终端设备进行对比显示，从而实现了对操作行为规范性的判断和纠正，提高了操作行为的规范性。
下面对本申请的应用场景进行说明。
图1为本申请实施例提供的一种视频处理方法的应用场景示意图。如图1所示，包括：终端设备001、服务器002和终端设备003。终端设备001采集对目标设备的操作行为，然后将采集到的视频发送给服务器002，服务器002接收终端设备发送的待识别视频，然后将待识别视频与标准操作视频进行比较，将待识别视频中的操作行为与标准操作视频中的操作行为不符的片段提取出来作为目标视频片段，并提取出标准操作视频中目标视频片段对应的规范视频片段，将目标视频片段与规范视频片段发送给终端设备003，终端设备003将目标视频片段与规范视频片段进行同步显示。
可选的，终端设备001和终端设备003可以为同一设备，示例性的，在终端设备001上添加视频显示功能模块。终端设备001采集对目标设备的操作行为，然后将采集到的视频发送给服务器002，服务器002接收终端设备发送的待识别视频，然后将待识别视频与标准操作视频进行比较，将待识别视频中的操作行为与标准操作视频中的操作行为不符的片段提取出来作为目标视频片段，并提取出标准操作视频中目标视频片段对应的规范视频片段，将目标视频片段与规范视频片段发送给终端设备001，终端设备001将目标视频片段与规范视频片段进行同步显示。
其中，终端设备可以是带无线收发功能的电脑、虚拟现实(virtual reality，VR)终端设备、增强现实(augmented reality，AR)终端设备、手机(mobile phone)、平板电脑(pad)、工业控制(industrial control)中的无线终端、远程手术(remote medicalsurgery)中的无线终端、智能电网(smart grid)中的无线终端、智慧家庭(smart home)中的无线终端等。
本申请实施例中，用于实现视频处理的功能的装置可以是终端设备或者服务器，也可以是能够支持实现该功能的装置，例如芯片系统，该装置可以被安装在终端设备或者服务器中。本申请实施例中，芯片系统可以由芯片构成，也可以包括芯片和其他分立器件。
需要说明的是，本申请技术方案的应用场景可以是图1中的场景，但并不限于此，还可以应用于其他需要进行视频处理的场景。
下面以工业现场视频处理为例，对本申请提供的视频处理方法的系统架构进行具体的说明。图2为本申请实施例提供的一种视频处理方法的系统架构示意图，如图2所示，包括：工业现场行为处理终端1和行为处理云2。工业现场行为处理终端1由现场行为视频处理模块11、异常行为文件存储模块12、标准行为文件存储模块13、第五代移动通信网络(5thGeneration mobile networks，5G)传输模块14和行为对比显示模块15组成。行为处理云2由调度处理模块21、分析对比模块22、标准行为知识库23和现场行为数据存储模块24组成。
现场行为视频处理模块11负责现场行为视频采集，并通过5G传输模块14实时传输到行为处理云2。调度处理模块21进行视频流处理，一边将现场行为视频分发到现场行为数据存储模块24进行原始行为视频的存储，一边将实时行为视频切片为多个现场行为文件(每个现场行为文件是以帧为单位N个单幅影像画面)亦分发到现场行为数据存储模块24进行存储。分析对比模块22分别从现场行为数据存储模块24和标准行为知识库23中读取现场行为文件及标准行为文件(每个标准行为文件是以帧为单位M个单幅影像画面)进行对比分析后，找出现场行为中的异常行为将其处理成带有异常标识的异常行为文件，并将与之对应的标准行为文件同步发送到现场行为数据存储模块24进行存储。调度处理模块21实时将异常行为文件和与之对应的标准行为文件，通过5G传输模块14回传到工业现场行为处理终端1中的异常行为文件存储模块12、标准行为文件存储模块13中，最后由行为对比显示模块15将异常行为文件和标准行为文件同步输出显示。
可以理解为，上述视频处理方法可以通过本申请实施例提供的视频处理装置实现，视频处理装置可以是某个设备的部分或全部，例如为上述终端设备或者服务器或者终端设备的芯片。
下面以具体地实施例对本申请实施例的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图3为本申请实施例提供的一种视频处理方法的信令交互图，本申请实施例涉及的是视频处理的具体过程。如图3所示，该方法包括：
S101、终端设备向服务器发送待识别视频。
在本申请中对于终端设备的类型不做限制，示例性的，可以为摄像机、带有摄像功能的电脑等。
可以理解为，终端设备通过摄像头等设备记录对目标设备的操作行为，得到操作行为视频，然后对操作行为视频进行格式转换和压缩，得到待识别视频，随后终端设备将待识别视频发送给服务器，服务器接收并存储待识别视频。
本申请对于视频发送的方式不做限制，示例性的，可以将待识别视频通过5G传输方式发送给服务器。
S102、服务器接收终端设备发送的待识别视频，待识别视频中包含至少一个对目标设备的操作行为。
其中，待识别视频中记录有至少一个对目标设备的操作行为。
S103、服务器根据标准操作视频识别出待识别视频中目标视频片段，目标视频片段包含有对目标设备的异常操作行为，标准操作视频包含有对目标设备的标准操作行为。
其中，目标视频片段中记录有待识别视频中异常操作行为的部分。
本申请对于操作行为是否异常的判断标准不做限制，可以根据情况具体说明，示例性的，对于需要精密加工的工厂中，对于操作行为的规范性要求比较严格，可以相应的规定，达到标准操作行为的95％及其以上操作行为为符合标准的操作行为，未达到标准操作行为的95％的操作行为为异常操作行为。
本申请通过将待识别视频与标准操作视频对比的方式实现异常操作行为的识别，示例性的，可以通过下面两种方式实现。
第一种情况，将待识别视频拆分成至少一个子视频片段，子视频片段中包括一个对目标设备的操作行为，若子视频片段中的操作行为与标准操作视频中对应的操作行为不符，则确定子视频片段为目标视频片段。
其中，将标准操作视频拆分成至少一个标准子视频片段。
并且，子视频片段中的操作行为与标准子视频片段中的操作行为为对目标设备的同一个操作行为。
第二种情况，对待识别视频进行切片，得到至少一帧待识别图像，将至少一帧待识别图像逐帧与标准操作视频进行比对，得到目标图像，目标图像包含有异常操作行为，将同一异常操作行为对应的目标图像按照时序进行合并，得到目标视频片段。
相应的，对标准操作视频进行切片，得到至少一帧标准操作行为图像。
并且，待识别图像中操作行为与标准操作行为图像中的操作行为为对目标设备的同一个操作行为。
可选的，在目标视频片段中的至少一帧待识别图像中添加异常操作行为标识，向终端设备发送包含异常操作行为标识的目标视频片段。
其中，异常操作行为标识用于标识异常操作行为的具体情况。示例性的，可以采取水印的方式标识异常操作行为。
S104、服务器向终端设备发送目标视频片段。
本申请对于视频发送的方式不做限制，示例性的，可以将待识别视频通过5G传输方式发送给服务器。
可选的，根据目标视频片段，从标准操作视频中确定出目标视频片段对应的规范视频片段，规范视频片段包含有目标视频片段中的异常操作行为对应的标准操作行为，将规范视频片段发送给终端设备。
可以理解为，服务器向终端设备发送包含异常操作行为标识的目标视频片段以及规范视频片段。
本申请实施例提供的视频处理方法，首先接收终端设备发送的待识别视频，待识别视频中包含至少一个对目标设备的操作行为，然后根据标准操作视频识别出待识别视频中目标视频片段，目标视频片段包含有对目标设备的异常操作行为，标准操作视频包含有对目标设备的标准操作行为，最后向终端设备发送目标视频片段。与现有技术相比，本申请将待识别视频与标准操作视频对比，得到包含异常操作行为的目标视频片段，然后将目标视频片段发送给终端设备，通过将异常操作行为发送给终端设备进行实时的显示，实现对操作行为规范性的判断和纠正，从而提高了操作行为的规范性。
在上述实施例的基础上，下面对于通过标准操作视频识别出目标操作行为视频的情况进行说明。图4为本申请实施例提供的另一种视频处理方法的信令交互图，如图4所示，该方法包括：
S201、终端设备向服务器发送待识别视频。
S202、服务器接收终端设备发送的待识别视频，待识别视频中包含至少一个对目标设备的操作行为。
S203、服务器将待识别视频拆分成至少一个子视频片段，子视频片段中包括一个对目标设备的操作行为。
在本步骤中，在服务器接收终端设备发送的待识别视频后，则将待识别视频拆分成至少一个子视频片段。
S204、服务器判断若子视频片段中的操作行为与标准操作视频中对应的操作行为不符，则确定子视频片段为目标视频片段。
其中，目标视频片段中记录有待识别视频中异常操作行为的部分。
本申请对于操作行为是否异常的判断标准不做限制，可以根据情况具体说明，示例性的，对于需要精密加工的工厂中，对于操作行为的规范性要求比较严格，可以相应的规定，达到标准操作行为的95％及其以上操作行为为符合标准的操作行为，未达到标准操作行为的95％的操作行为为异常操作行为。
其中，标准操作视频存储在标准行为知识库中，服务器根据待识别视频中的操作行为提取对应的标准操作视频。
可选的，可以在终端设备端设置操作行为标识。当终端设备发送待识别视频数据时，服务器可以识别出其对应的标准操作视频，并提取出标准操作视频。
S205、向终端设备发送目标视频片段。
在本步骤中，当服务器确定目标视频片段后，则向终端设备发送目标视频片段。
S201、S202、S205的技术名词、技术效果、技术特征，以及可选实施方式，可参照图3所示的S101、S102、S104理解，对于重复的内容，在此不再累述。
在上述实施例的基础上，图5为本申请实施例提供的再一种视频处理方法的信令交互图，如图5所示，该方法包括：
S301、终端设备向服务器发送待识别视频。
S302、服务器接收终端设备发送的待识别视频，待识别视频中包含至少一个对目标设备的操作行为。
S303、服务器对待识别视频进行切片，得到至少一帧待识别图像。
在本步骤中，当服务器接收终端设备发送的待识别视频后，则对待识别视频进行切片，得到至少一帧待识别图像。
其中，对待识别视频以帧为单位进行切片，得到至少一帧待识别图像。
S304、服务器将至少一帧待识别图像逐帧与标准操作视频进行比对，得到目标图像，目标图像包含有异常操作行为。
在本步骤中，在服务器对待识别视频进行切片，得到至少一帧待识别图像后，则将至少一帧待识别图像逐帧与标准操作视频进行比对，得到目标图像，目标图像包含有异常操作行为。
其中，标准操作视频存储在标准行为知识库中，服务器根据待识别视频中的操作行为提取对应的标准操作视频。
可选的，可以在终端设备端设置操作行为标识。当终端设备发送待识别视频数据时，服务器可以识别出其对应的标准操作视频，并提取出标准操作视频。
S305、服务器将同一异常操作行为对应的目标图像按照时序进行合并，得到目标视频片段。
在本步骤中，当服务器将至少一帧待识别图像逐帧与标准操作视频进行比对，得到目标图像，目标图像包含有异常操作行为后，则将同一异常操作行为对应的目标图像按照时序进行合并，得到目标视频片段。
S306、服务器在目标视频片段中的至少一帧待识别图像中添加异常操作行为标识。
在本步骤中，当服务器将至少一帧待识别图像逐帧与标准操作视频进行比对，得到目标图像，目标图像包含有异常操作行为后，则在目标视频片段中的至少一帧图像中添加异常操作行为标识。
其中，异常操作行为标识用于标识异常操作行为的具体情况。示例性的，可以采取水印的方式标识异常操作行为。
S307、服务器向终端设备发送包含异常操作行为标识的目标视频片段。
其中，服务器将目标视频片段存储在服务器中。
并且，在终端设备接收到目标视频片段后可以将目标视频片段进行临时存储，本申请对于临时存储的时间不做限制，示例性的，可以设备存储一周的时间。
S308、服务器根据目标视频片段，从标准操作视频中确定出目标视频片段对应的规范视频片段，规范视频片段包含有目标视频片段中的异常操作行为对应的标准操作行为。
在本步骤中，在服务器根据标准操作视频识别出待识别视频中目标视频片段的同时，根据目标视频片段，从标准操作视频中确定出目标视频片段对应的规范视频片段。
其中，规范视频片段记录有目标视频片段中的异常操作行为对应的标准操作行为。
S309、服务器将规范视频片段发送给终端设备。
S310、终端设备将目标视频片段与规范视频片段同步显示。
在上述实施例的基础上，图6为本申请实施例提供的又一种视频处理方法的信令交互图。如图6所示，包括：
S401、终端设备向服务器发送待识别视频。
S402、服务器根据标准操作视频识别出待识别视频中目标视频片段。
S403、服务器在目标视频片段中的至少一帧图像中添加异常操作行为标识。
S404、服务器向终端设备发送包含异常操作行为标识的目标视频片段。
S405、服务器根据目标视频片段，从标准操作视频中确定出目标视频片段对应的规范视频片段。
S406、服务器将规范视频片段发送给终端设备。
S401-S406的技术名词、技术效果、技术特征，以及可选实施方式，可参照图3所示的S101-S104理解，对于重复的内容，在此不再累述。
S407、终端设备将目标视频片段与规范视频片段同步显示。
本申请实施例提供的视频处理方法，包括：首先接收终端设备发送的待识别视频，待识别视频中包含至少一个对目标设备的操作行为，然后根据标准操作视频识别出待识别视频中目标视频片段，目标视频片段包含有对目标设备的异常操作行为，标准操作视频包含有对目标设备的标准操作行为，最后向终端设备发送目标视频片段。与现有技术相比，本申请将待识别视频与标准操作视频对比，得到包含异常操作行为的目标视频片段，然后将目标视频片段发送给终端设备，通过实时的将对目标设备的异常操作行为发送给终端设备进行显示，对操作行为的规范性进行判断和纠正，从而提高了操作行为的规范性。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例还提供的一种视频处理装置，图7为本申请实施例提供的一种视频处理装置的结构示意图，该视频处理装置可以通过软件、硬件或者两者的结合实现。如图7所示，该视频处理装置500包括：接受模块501、识别模块502和发送模块503。
接收模块501，用于接收终端设备发送的待识别视频，待识别视频中包含至少一个对目标设备的操作行为；
识别模块502，用于根据标准操作视频识别出待识别视频中目标视频片段，目标视频片段包含有对目标设备的异常操作行为，标准操作视频包含有对目标设备的标准操作行为；
发送模块503，用于向终端设备发送目标视频片段。
一种可选的实施方式中，识别模块502，还用于将待识别视频拆分成至少一个子视频片段，子视频片段中包括一个对目标设备的操作行为；若子视频片段中的操作行为与标准操作视频中对应的操作行为不符，则确定子视频片段为目标视频片段。
一种可选的实施方式中，识别模块502，还用于对待识别视频进行切片，得到至少一帧待识别图像；将至少一帧待识别图像逐帧与标准操作视频进行比对，得到目标图像，目标图像包含有异常操作行为；将同一异常操作行为对应的目标图像按照时序进行合并，得到目标视频片段。
一种可选的实施方式中，识别模块502，还用于在目标视频片段中的至少一帧待识别图像中添加异常操作行为标识；
一种可选的实施方式中，识别模块502，还用于根据目标视频片段，从标准操作视频中确定出目标视频片段对应的规范视频片段，规范视频片段包含有目标视频片段中的异常操作行为对应的标准操作行为；
发送模块503，还用于将规范视频片段发送给终端设备。
需要说明的，本申请实施例提供的关键短语抽取装置，可用于执行上述任意实施例所提供的方法，具体实现方式和技术效果类似，这里不再进行赘述。
图8为本申请实施例提供的一种电子设备的结构示意图。如图8所示，该电子设备可以包括：至少一个处理器601和存储器602。图8示出的是以一个处理器为例的电子设备。
存储器602，用于存放程序。具体地，程序可以包括程序代码，程序代码包括计算机操作行为指令。
存储器602可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
处理器601用于执行存储器602存储的计算机执行指令，以实现上述视频处理方法；
其中，处理器601可能是一个中央处理器(Central Processing Unit，简称为CPU)，或者是特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。
可选的，在具体实现上，如果通信接口、存储器602和处理器601独立实现，则通信接口、存储器602和处理器601可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(Industry Standard Architecture，简称为ISA)总线、外部设备互连(Peripheral Component，简称为PCI)总线或扩展工业标准体系结构(Extended IndustryStandard Architecture，简称为EISA)总线等。总线可以分为地址总线、数据总线、控制总线等，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果通信接口、存储器602和处理器601集成在一块芯片上实现，则通信接口、存储器602和处理器601可以通过内部接口完成通信。
本申请实施例还提供了一种芯片，包括处理器和接口。其中接口用于输入输出处理器所处理的数据或指令。处理器用于执行以上方法实施例中提供的方法。该芯片可以应用于视频处理装置中。
本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁盘或者光盘等各种可以存储程序代码的介质，具体的，该计算机可读存储介质中存储有程序信息，程序信息用于上述视频处理方法。
本申请实施例还提供一种程序，该程序在被处理器执行时用于执行以上方法实施例提供的视频处理方法。
本申请实施例还提供一种程序产品，例如计算机可读存储介质，该程序产品中存储有指令，当其在计算机上运行时，使得计算机执行上述方法实施例提供的视频处理方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本发明实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (13)
1.一种视频处理方法，其特征在于，所述方法包括：
接收终端设备发送的待识别视频，所述待识别视频中包含至少一个对目标设备的操作行为；
根据标准操作视频识别出所述待识别视频中目标视频片段，所述目标视频片段包含有对所述目标设备的异常操作行为，所述标准操作视频包含有对所述目标设备的标准操作行为；
向所述终端设备发送所述目标视频片段。
2.根据权利要求1所述的方法，其特征在于，所述根据标准操作视频识别出所述待识别视频中目标视频片段，包括：
将所述待识别视频拆分成至少一个子视频片段，所述子视频片段中包括一个对所述目标设备的操作行为；
若所述子视频片段中的操作行为与所述标准操作视频中对应的操作行为不符，则确定所述子视频片段为所述目标视频片段。
3.根据权利要求1所述的方法，其特征在于，所述根据标准操作视频识别出所述待识别视频中目标视频片段，还包括：
对所述待识别视频进行切片，得到至少一帧待识别图像；
将所述至少一帧待识别图像逐帧与所述标准操作视频进行比对，得到目标图像，所述目标图像包含有异常操作行为；
将同一异常操作行为对应的目标图像按照时序进行合并，得到所述目标视频片段。
4.根据权利要求3所述的方法，其特征在于，在所述对所述待识别视频进行切片，得到至少一帧待识别图像之后，还包括：
在所述目标视频片段中的至少一帧待识别图像中添加异常操作行为标识。
5.根据权利要求1所述的方法，其特征在于，在所述根据标准操作视频识别出所述待识别视频中的异常操作行为，得到异常操作行为视频之后，还包括：
根据所述目标视频片段，从所述标准操作视频中确定出所述目标视频片段对应的规范视频片段，所述规范视频片段包含有所述目标视频片段中的异常操作行为对应的标准操作行为；
将所述规范视频片段发送给所述终端设备。
6.一种视频处理装置，其特征在于，所述装置包括：
接收模块，用于接收终端设备发送的待识别视频，所述待识别视频中包含至少一个对目标设备的操作行为；
识别模块，用于根据标准操作视频识别出所述待识别视频中目标视频片段，所述目标视频片段包含有对所述目标设备的异常操作行为，所述标准操作视频包含有对所述目标设备的标准操作行为；
发送模块，用于向所述终端设备发送所述目标视频片段。
7.根据权利要求6所述的装置，其特征在于，所述识别模块，还用于将所述待识别视频拆分成至少一个子视频片段，所述子视频片段中包括一个对所述目标设备的操作行为；若所述子视频片段中的操作行为与所述标准操作视频中对应的操作行为不符，则确定所述子视频片段为所述目标视频片段。
8.根据权利要求6所述的装置，其特征在于，所述识别模块，还用于对所述待识别视频进行切片，得到至少一帧待识别图像；将所述至少一帧待识别图像逐帧与所述标准操作视频进行比对，得到目标图像，所述目标图像包含有异常操作行为；将同一异常操作行为对应的目标图像按照时序进行合并，得到所述目标视频片段。
9.根据权利要求8所述的装置，其特征在于，所述识别模块，还用于在所述目标视频片段中的至少一帧待识别图像中添加异常操作行为标识。
10.根据权利要求6所述的装置，其特征在于，所述识别模块，还用于根据所述目标视频片段，从所述标准操作视频中确定出所述目标视频片段对应的规范视频片段，所述规范视频片段包含有所述目标视频片段中的异常操作行为对应的标准操作行为；
所述发送模块，还用于将所述规范视频片段发送给所述终端设备。
11.一种电子设备，其特征在于，包括：处理器与存储器；
所述存储器用于存储计算机程序；
所述处理器用于调用并运行所述存储器中存储的计算机程序，执行如权利要求1-5中任一项所述的方法。
12.一种芯片，其特征在于，包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行如权利要求1-5中任一项所述的方法。
13.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-5中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011505115.8A CN112633126A (zh) | 2020-12-18 | 2020-12-18 | 视频处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011505115.8A CN112633126A (zh) | 2020-12-18 | 2020-12-18 | 视频处理方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112633126A true CN112633126A (zh) | 2021-04-09 |
Family
ID=75317140
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011505115.8A Pending CN112633126A (zh) | 2020-12-18 | 2020-12-18 | 视频处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112633126A (zh) |
Citations (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140043480A1 (en) * | 2011-04-18 | 2014-02-13 | Zte Corporation | Video monitoring system and method |
| CN106651910A (zh) * | 2016-11-17 | 2017-05-10 | 北京蓝天多维科技有限公司 | 驾驶员异常行为状态的智能图像分析方法和告警系统 |
| US20170318355A1 (en) * | 2015-03-23 | 2017-11-02 | Tencent Technology (Shenzhen) Company Limited | Information processing method and apparatus, terminal and storage medium |
| US20180048850A1 (en) * | 2016-08-10 | 2018-02-15 | International Business Machines Corporation | Detecting anomalous events to trigger the uploading of video to a video storage server |
| CN109241946A (zh) * | 2018-10-11 | 2019-01-18 | 平安科技（深圳）有限公司 | 异常行为监控方法、装置、计算机设备及存储介质 |
| CN110225299A (zh) * | 2019-05-06 | 2019-09-10 | 平安科技（深圳）有限公司 | 视频监测方法、装置、计算机设备及存储介质 |
| US20190362834A1 (en) * | 2018-05-23 | 2019-11-28 | Verb Surgical Inc. | Machine-learning-oriented surgical video analysis system |
| CN110533328A (zh) * | 2019-08-30 | 2019-12-03 | 广州广电城市服务集团股份有限公司 | 一种项目现场运行调度方法、装置、介质及终端设备 |
| CN110569389A (zh) * | 2019-07-25 | 2019-12-13 | 深圳壹账通智能科技有限公司 | 环境监控方法、装置、计算机设备和存储介质 |
| CN110580568A (zh) * | 2019-10-28 | 2019-12-17 | 深圳市世鑫富电子有限公司 | 一种基于大数据物联网的智能管理方法 |
| CN110647812A (zh) * | 2019-08-19 | 2020-01-03 | 平安科技（深圳）有限公司 | 摔倒行为检测处理方法、装置、计算机设备及存储介质 |
| CN110705389A (zh) * | 2019-09-16 | 2020-01-17 | 全球能源互联网研究院有限公司 | 一种电网作业行为的识别方法及系统 |
| CN111063144A (zh) * | 2019-12-03 | 2020-04-24 | 联通物联网有限责任公司 | 异常行为的监控方法、装置、设备及计算机可读存储介质 |
| CN111541912A (zh) * | 2020-04-30 | 2020-08-14 | 北京奇艺世纪科技有限公司 | 一种视频拆分方法、装置、电子设备及存储介质 |
| CN111680651A (zh) * | 2020-06-12 | 2020-09-18 | 武汉星巡智能科技有限公司 | 非接触式生命体征检测方法、装置、存储介质及系统 |
| CN111683227A (zh) * | 2020-06-18 | 2020-09-18 | 中冶东方工程技术有限公司 | 一种基于视频异常监测的皮带操作智能辅助方法和系统 |
| CN111726682A (zh) * | 2020-06-30 | 2020-09-29 | 北京百度网讯科技有限公司 | 视频片段生成方法、装置、设备和计算机存储介质 |
| CN111814653A (zh) * | 2020-07-02 | 2020-10-23 | 苏州交驰人工智能研究院有限公司 | 一种视频中异常行为的检测方法、装置、设备及存储介质 |
| CN112016409A (zh) * | 2020-08-11 | 2020-12-01 | 艾普工华科技（武汉）有限公司 | 一种基于深度学习的工步规范视觉识别判定方法及系统 |
| CN112016538A (zh) * | 2020-10-29 | 2020-12-01 | 腾讯科技（深圳）有限公司 | 视频处理方法、装置、计算机设备和存储介质 |
| WO2020248386A1 (zh) * | 2019-06-14 | 2020-12-17 | 平安科技（深圳）有限公司 | 视频分析方法、装置、计算机设备及存储介质 |
-
2020
- 2020-12-18 CN CN202011505115.8A patent/CN112633126A/zh active Pending
Patent Citations (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140043480A1 (en) * | 2011-04-18 | 2014-02-13 | Zte Corporation | Video monitoring system and method |
| US20170318355A1 (en) * | 2015-03-23 | 2017-11-02 | Tencent Technology (Shenzhen) Company Limited | Information processing method and apparatus, terminal and storage medium |
| US20180048850A1 (en) * | 2016-08-10 | 2018-02-15 | International Business Machines Corporation | Detecting anomalous events to trigger the uploading of video to a video storage server |
| CN106651910A (zh) * | 2016-11-17 | 2017-05-10 | 北京蓝天多维科技有限公司 | 驾驶员异常行为状态的智能图像分析方法和告警系统 |
| US20190362834A1 (en) * | 2018-05-23 | 2019-11-28 | Verb Surgical Inc. | Machine-learning-oriented surgical video analysis system |
| CN109241946A (zh) * | 2018-10-11 | 2019-01-18 | 平安科技（深圳）有限公司 | 异常行为监控方法、装置、计算机设备及存储介质 |
| CN110225299A (zh) * | 2019-05-06 | 2019-09-10 | 平安科技（深圳）有限公司 | 视频监测方法、装置、计算机设备及存储介质 |
| WO2020248386A1 (zh) * | 2019-06-14 | 2020-12-17 | 平安科技（深圳）有限公司 | 视频分析方法、装置、计算机设备及存储介质 |
| CN110569389A (zh) * | 2019-07-25 | 2019-12-13 | 深圳壹账通智能科技有限公司 | 环境监控方法、装置、计算机设备和存储介质 |
| CN110647812A (zh) * | 2019-08-19 | 2020-01-03 | 平安科技（深圳）有限公司 | 摔倒行为检测处理方法、装置、计算机设备及存储介质 |
| CN110533328A (zh) * | 2019-08-30 | 2019-12-03 | 广州广电城市服务集团股份有限公司 | 一种项目现场运行调度方法、装置、介质及终端设备 |
| CN110705389A (zh) * | 2019-09-16 | 2020-01-17 | 全球能源互联网研究院有限公司 | 一种电网作业行为的识别方法及系统 |
| CN110580568A (zh) * | 2019-10-28 | 2019-12-17 | 深圳市世鑫富电子有限公司 | 一种基于大数据物联网的智能管理方法 |
| CN111063144A (zh) * | 2019-12-03 | 2020-04-24 | 联通物联网有限责任公司 | 异常行为的监控方法、装置、设备及计算机可读存储介质 |
| CN111541912A (zh) * | 2020-04-30 | 2020-08-14 | 北京奇艺世纪科技有限公司 | 一种视频拆分方法、装置、电子设备及存储介质 |
| CN111680651A (zh) * | 2020-06-12 | 2020-09-18 | 武汉星巡智能科技有限公司 | 非接触式生命体征检测方法、装置、存储介质及系统 |
| CN111683227A (zh) * | 2020-06-18 | 2020-09-18 | 中冶东方工程技术有限公司 | 一种基于视频异常监测的皮带操作智能辅助方法和系统 |
| CN111726682A (zh) * | 2020-06-30 | 2020-09-29 | 北京百度网讯科技有限公司 | 视频片段生成方法、装置、设备和计算机存储介质 |
| CN111814653A (zh) * | 2020-07-02 | 2020-10-23 | 苏州交驰人工智能研究院有限公司 | 一种视频中异常行为的检测方法、装置、设备及存储介质 |
| CN112016409A (zh) * | 2020-08-11 | 2020-12-01 | 艾普工华科技（武汉）有限公司 | 一种基于深度学习的工步规范视觉识别判定方法及系统 |
| CN112016538A (zh) * | 2020-10-29 | 2020-12-01 | 腾讯科技（深圳）有限公司 | 视频处理方法、装置、计算机设备和存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 李亮;罗毅;: "帧间差分法在视频监控中的应用研究", 四川理工学院学报(自然科学版), no. 06, pages 58 - 62 * |
| 王跃;: "基于视频监控技术的药业生产管理系统的设计", 科技经济导刊, no. 31, pages 28 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8463737B2 (en) | Realtime unification management information data conversion and monitoring apparatus and method for thereof | |
| CN110830823B (zh) | 播放进度修正方法、装置、电子设备及可读存储介质 | |
| CN109862100B (zh) | 用于推送信息的方法和装置 | |
| CN111694644A (zh) | 基于机器人操作系统的消息处理方法、装置及计算机设备 | |
| CN114268957A (zh) | 异常业务数据处理方法、装置、服务器及存储介质 | |
| CN107648854B (zh) | 一种游戏分类方法、装置及电子设备 | |
| CN114827732A (zh) | 一种多通道内容审核方法、平台及存储介质 | |
| CN111182251A (zh) | 一种应用于网上巡查同步转码且存储介质可热插拔的录像备份方法和装置 | |
| CN116069838A (zh) | 一种数据处理方法、装置、计算机设备及存储介质 | |
| CN114040189A (zh) | 多媒体测试方法、装置、存储介质及电子设备 | |
| CN112633126A (zh) | 视频处理方法及装置 | |
| CN102427520A (zh) | 一种基于两层id结构的多路网络视频监控方法及系统 | |
| CN112672154A (zh) | 直播视频播放方法、装置、服务器和计算机可读存储介质 | |
| CN102014274A (zh) | 一种考试监控系统及其监控信息处理方法 | |
| CN107396030B (zh) | 一种视频通话的处理方法及调度控制端 | |
| CN112995400B (zh) | 通话数据处理方法及相关产品 | |
| WO2023077866A1 (zh) | 多媒体数据处理方法、装置、电子设备及存储介质 | |
| CN114566173A (zh) | 一种音频混音方法、装置、设备及存储介质 | |
| CN110753034B (zh) | 一种权限管理方法和相关装置 | |
| CN113297149A (zh) | 数据处理请求的监测方法及装置 | |
| CN107633180B (zh) | 公安系统的数据查询方法及系统 | |
| CN112929706A (zh) | 视频数据的回放方法、装置、存储介质以及电子装置 | |
| CN101674493A (zh) | 数字电视网络图像监控方法、监控终端及监控系统 | |
| CN111400156A (zh) | 日志分析方法和装置 | |
| CN111124841A (zh) | 一种异常页面的报警方法、装置及计算机系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |