CN112380922B - 复盘视频帧确定方法、装置、计算机设备和存储介质 - Google Patents
复盘视频帧确定方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN112380922B CN112380922B CN202011148121.2A CN202011148121A CN112380922B CN 112380922 B CN112380922 B CN 112380922B CN 202011148121 A CN202011148121 A CN 202011148121A CN 112380922 B CN112380922 B CN 112380922B
- Authority
- CN
- China
- Prior art keywords
- test
- target
- procedure
- determining
- target video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 256
- 238000012360 testing method Methods 0.000 claims abstract description 335
- 238000010998 test method Methods 0.000 claims abstract description 64
- 230000008569 process Effects 0.000 claims description 165
- 238000001514 detection method Methods 0.000 claims description 49
- 239000012634 fragment Substances 0.000 claims description 41
- 238000004590 computer program Methods 0.000 claims description 26
- 238000013101 initial test Methods 0.000 claims description 13
- 230000001960 triggered effect Effects 0.000 claims description 12
- 238000012216 screening Methods 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 description 14
- 150000001875 compounds Chemical class 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000009286 beneficial effect Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000005549 size reduction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
- G06V20/47—Detecting features for summarising video content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种复盘视频帧确定方法、装置、计算机设备和存储介质。所述方法包括：当接收到复盘终端发送的复盘指令时，对复盘指令进行解析，得到待复盘的目标试验工序的目标工序标识；根据目标工序标识，确定对应的目标试验视频和目标试验工单；根据目标试验工单，确定目标试验工序的执行时间段；从目标试验视频中截取与执行时间段相对应的目标视频片段；对目标视频片段中的视频帧进行内容识别，确定包含有当前操作设备零件的零件图像的目标视频帧，将目标视频帧返回至复盘终端。采用本方法能够提升试验复盘效率。
Description
技术领域
本申请涉及核电信息化建设技术领域，特别是涉及一种复盘视频帧确定方法、装置、计算机设备和存储介质。
背景技术
核电厂是通过核燃料在核反应堆中产生的热能来进行发电，为了保证核电厂的基本安全，现场操作人员会对核电厂内的核电设备进行核电试验，并由点检工程师远程对现场操作人员的操作进行监控。当需要对核电设备进行核电试验时，现场操作人员在试验现场架设记录仪，由记录仪对试验现场进行录制，并将录制的试验视频发送至服务器进行存储，以使后续可以基于试验视频对核电试验进行复盘。
现有技术中，当需要针对核电试验中的某个试验工序进行视频复盘时，就需要从头开始浏览试验视频，如此，便导致了试验视频的试验复盘效率低。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提升试验复盘效率的复盘视频帧确定方法、装置、计算机设备和存储介质。
一种复盘视频帧确定方法，所述方法包括：
当接收到复盘终端发送的复盘指令时，对所述复盘指令进行解析，得到待复盘的目标试验工序的目标工序标识；
根据所述目标工序标识，确定对应的目标试验视频和目标试验工单；
根据所述目标试验工单，确定所述目标试验工序的执行时间段；
从所述目标试验视频中截取与所述执行时间段相对应的目标视频片段；
对所述目标视频片段中的视频帧进行内容识别，确定包含有当前操作设备零件的零件图像的目标视频帧，将所述目标视频帧返回至所述复盘终端。
在其中一个实施例中，所述根据所述目标工序标识，确定对应的目标试验视频和目标试验工单，包括：
获取候选试验工单集；
从所述候选试验工单集筛选出包含有所述目标工序标识的目标试验工单；
通过所述目标试验工单，确定对应的目标核电试验标识；
通过所述目标核电试验标识，确定针对目标核电试验的试验过程进行录制的目标试验视频。
在其中一个实施例中，所述对所述目标视频片段中的视频帧进行内容识别，确定包含有当前操作设备零件的零件图像的目标视频帧，包括：
对所述目标视频片段中的当前检测视频帧进行手部检测，得到对应的手部区域；
基于所述手部区域，判断所述当前检测视频帧中是否包含有当前操作设备零件的零件图像；
在所述当前检测视频帧包含当前操作设备零件的零件图像时，将所述当前检测视频帧作为包含有当前操作设备零件的零件图像的目标视频帧。
在其中一个实施例中，所述方法还包括：
获取待生成工序标识的试验工序的工序信息；
基于预设信息分割符对所述工序信息进行分割，得到至少一个信息片段；
确定每个信息片段各自对应的编码方式，并按照所述编码方式对相应的信息片段进行编码，得到对应的工序子标识码；
确定所述工序子标识码的标识码总数，根据所述标识码总数、以及各工序子标识码，生成对应的工序标识。
在其中一个实施例中，所述试验工单的生成步骤包括：
当触发执行时间输入操作时，通过试验终端获取所输入的执行时间；
通过所述试验终端，确定所述执行时间指向的执行试验工序；
通过所述试验终端，将所述执行时间写入所指向的执行试验工序的工序信息中；
当触发试验工单生成操作时，通过所述试验终端综合各执行试验工序的工序信息，得到对应的试验工单。
在其中一个实施例中，所述方法还包括：
提取所述目标视频片段中的现场语音片段，并基于预训练的语音识别模型对所述现场语音片段进行识别，得到语音字幕；
从所述语音字幕中提取多个关键词；所述关键词包括基础关键词以及从属关键词；
根据所述基础关键词以及从属关键词的词义，确定所述语音字幕中的基础关键词数量；
当所述语音字幕中的基础关键词数量超过预设数量阈值时，根据所述现场语音片段的采集时间，将所述语音字幕添加至对应的目标视频帧中。
在其中一个实施例中，所述方法还包括：
当所述目标视频片段中具有多帧目标视频帧时，从所述目标视频帧中截取当前操作设备零件的零件图像、以及与所述当前操作设备零件相接触的手部的手部图像；
确定所述零件图像中的零件完整度、以及所述手部图像中的手部完整度；
根据所述零件完整度和所述手部完整度，对相应目标视频帧进行图像评分；
根据所述图像评分，确定所述目标视频片段中的重点目标视频帧和次要目标视频帧。
一种复盘视频帧确定装置，所述装置包括：
解析模块，用于当接收到复盘终端发送的复盘指令时，对所述复盘指令进行解析，得到待复盘的目标试验工序的目标工序标识；
执行时间段确定模块，用于根据所述目标工序标识，确定对应的目标试验视频和目标试验工单；根据所述目标试验工单，确定所述目标试验工序的执行时间段；
目标视频帧确定模块，用于从所述目标试验视频中截取与所述执行时间段相对应的目标视频片段；对所述目标视频片段中的视频帧进行内容识别，确定包含有当前操作设备零件的零件图像的目标视频帧，将所述目标视频帧返回至所述复盘终端。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
当接收到复盘终端发送的复盘指令时，对所述复盘指令进行解析，得到待复盘的目标试验工序的目标工序标识；
根据所述目标工序标识，确定对应的目标试验视频和目标试验工单；
根据所述目标试验工单，确定所述目标试验工序的执行时间段；
从所述目标试验视频中截取与所述执行时间段相对应的目标视频片段；
对所述目标视频片段中的视频帧进行内容识别，确定包含有当前操作设备零件的零件图像的目标视频帧，将所述目标视频帧返回至所述复盘终端。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
当接收到复盘终端发送的复盘指令时，对所述复盘指令进行解析，得到待复盘的目标试验工序的目标工序标识；
根据所述目标工序标识，确定对应的目标试验视频和目标试验工单；
根据所述目标试验工单，确定所述目标试验工序的执行时间段；
从所述目标试验视频中截取与所述执行时间段相对应的目标视频片段；
对所述目标视频片段中的视频帧进行内容识别，确定包含有当前操作设备零件的零件图像的目标视频帧，将所述目标视频帧返回至所述复盘终端。
上述复盘视频帧确定方法、装置、计算机设备和存储介质，当接收到复盘指令时，通过对复盘指令进行解析，可以得到对应的目标工序标识；通过获取目标工序标识，可以根据目标工序标识，确定对应的目标试验视频和目标试验工单，如此，便能根据目标试验工单确定目标试验工序的执行时间段，并从目标试验视频中截取与执行时间段对应的目标视频片段；通过获取目标视频片段，可以对目标视频片段中的视频帧进行内容识别，确定目标视频片段中的有助于试验复盘的目标视频帧。由于可以从目标视频片段中提取出有助于试验复盘的目标视频帧，因此，复盘试验人员只需对目标视频帧进行观看，而无需从头至尾观看整个试验视频，从而大大提升了试验复盘的复盘效率。
附图说明
图1为一个实施例中复盘视频帧确定方法的应用环境图；
图2为一个实施例中复盘视频帧确定方法的流程示意图；
图3为一个实施例中目标视频帧确定步骤的流程示意图；
图4为一个实施例中当前操作设备零件的示意图；
图5为一个实施例中复盘视频帧确定装置的结构框图；
图6为另一个实施例中复盘视频帧确定装置的结构框图；
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的复盘视频帧确定方法，可以应用于如图1所示的应用环境中。其中，复盘终端102通过网络与服务器104进行通信。当接收到复盘终端102发送的复盘指令时，服务器104可以根据复盘指令确定对应的目标试验视频和目标试验工单，并根据目标试验工单从目标试验视频中提取待复盘的目标视频帧，将目标视频帧发送至复盘终端102中对应展示。其中，复盘终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种复盘视频帧确定方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
步骤S202，当接收到复盘终端发送的复盘指令时，对复盘指令进行解析，得到待复盘的目标试验工序的目标工序标识。
其中，核电试验是逐项执行预设的试验工序，并记录结果的过程；一个完整的核电试验可以包括多个试验工序，一个试验工序具体可以包括一个或多个可执行步骤。核电试验管理人员可以预先对核电试验中的每个可执行步骤进行划分，从而得到多个试验工序。
具体地，当需要对特定试验工序进行视频复盘时，试验复盘人员可以通过终端输入待复盘的目标试验工序的目标工序标识，从而终端可以基于试验人员的输入操作，生成相应的复盘指令，并将复盘指令发送至服务器。当服务器接收到复盘指令时，服务器可对接收到的复盘指令进行解析，从中提取目标工序标识。
步骤S204，根据目标工序标识，确定对应的目标试验视频和目标试验工单。
其中，试验视频为视频记录仪针对核电试验的试验过程进行视频录制而得的视频图像。在进行核电试验之前，试验人员可以前往仓库领取视频记录仪，并在试验现场架设领取得到视频记录仪，通过视频记录仪对现场试验区域进行录制，得到试验视频，并在核电试验结束后，将试验视频上传至服务器。
试验工单为记录有核电试验标识、以及核电试验中的每个试验工序的工序信息的表单；工序信息具体可以包括试验工序的工序标识、执行试验工序的试验人员的人员标识、试验工序的可执行步骤、与试验工序对应的设备零件关键词等。
具体地，当进行核电试验之前，试验管理人员可通过试验终端输入待生成初始试验工单的核电试验中的各试验工序的工序信息，从而服务器可根据接收到的各试验工序的工序信息、以及待生成初始试验工单的核电试验的核电试验标识，生成相对应的初始试验工单。当进行核电试验时，试验人员可通过试验终端获取当前待执行的核电试验的初始试验工单，从而试验终端可基于接收到的初始试验工单，对应展示各试验工序的工序信息。进一步地，试验人员在确定当前试验工序执行结束时，可在工序信息中输入当前试验工序的执行时间段，这样，在当前核电试验执行结束时，试验终端可根据试验人员输入的执行时间段、以及初始试验工单，生成试验工单，并将试验工单返回至服务器对应存储。
当对复盘指令进行解析，得到待复盘的目标试验工序的目标工序标识时，服务器根据目标工序标识，确定对应的目标试验视频和目标试验工单。其中，工序标识为唯一标识一个试验工序的标识信息，其具体可以为工序名称、工序ID等。
在一个实施例中，服务器中具有工序标识与核电试验标识之间的对应关系。当确定目标工序标识时，服务器可根据工序标识与核电试验标识之间的对应关系，确定与目标工序标识相对应的目标核电试验标识，进而可根据目标核电试验标识确定针对目标核电试验所录制的目标试验视频，以及针对目标核电试验所生成的目标试验工单。其中，核电试验标识为唯一标识一个核电试验的标识信息，其具体可以为核电试验的试验名称、试验ID等。
在一个实施例中，根据目标工序标识，确定对应的目标试验视频和目标试验工单，包括：获取候选试验工单集；从候选试验工单集筛选出包含有目标工序标识的目标试验工单；通过目标试验工单，确定对应的目标核电试验标识；通过目标核电试验标识，确定针对目标核电试验的试验过程进行录制的目标试验视频。
具体地，当获取得到目标工序标识时，服务器可对应获取候选试验工单集。其中，候选试验工单集为包含有至少一个核电试验的试验工单的集合。服务器对候选试验工单集中的每个试验工单进行遍历，确定当前遍历顺序的试验工单中是否包含有目标工序标识，在当前遍历顺序的试验工单中包含有目标工序标识时，服务器将当前遍历顺序的试验工单作为目标试验工单。进一步地，服务器从目标试验工单中读取目标核电试验标识，并根据目标核电试验标识，确定针对目标核电试验的试验过程进行视频录制得到的目标试验视频。
步骤S206，根据目标试验工单，确定目标试验工序的执行时间段。
具体地，由于目标试验工单中包含有各试验工序各自对应的执行时间段，因此，当确定目标试验工单时，服务器可从目标试验工单中查询目标试验工序的执行时间段。
在一个实施例中，服务器可根据目标工序的工序标识，从目标试验工单中查询目标试验工序的执行时间段。
在一个实施例中，当目标试验工单中仅包含有一个试验工序的工序信息时，服务器将此试验工序的执行时间段作为目标试验工序的执行时间段。
步骤S208，从目标试验视频中截取与执行时间段相对应的目标视频片段。
具体地，当获取得到目标试验视频以及目标试验工序的执行时间段时，服务器可从目标试验视频中截取与执行时间段相对应的目标视频片段。
在一个实施例中，执行时间段包括开始执行时间点以及结束执行时间点，服务器从目标试验视频中截取开始时间点至结束执行时间点的目标视频片段。
在一个实施例中，服务器可将位于开始执行时间点之前预设第一时长的时间点作为开始分割时间点，将位于结束执行时间点之后预设第二市场的时间点作为结束分割时间点，并获取开始分割时间点以及结束分割时间点间的目标视频片段。比如，当开始执行时间点为12:00，第一时长为5分钟，结束执行时间点为13:00，第二时长为5分钟，此时服务器截取11:55至13:05之间的视频片段，并将截取得到的视频片段作为目标视频片段。通过适当延长视频片段的截取时长，可以减少因执行时间段不准确，而导致所截取的视频片段不全的概率。
步骤S210，对目标视频片段中的视频帧进行内容识别，确定包含有当前操作设备零件的零件图像的目标视频帧，将目标视频帧返回至复盘终端。
其中，当前操作设备零件是指试验人员正在操作的设备零件。一个完整的核电设备可以包括多个关键设备零件和非关键设备零件，关键设备零件为在核电设备的运行过程中，起到关键作用的设备零件，故而在设计核电试验时，会重点对关键设备零件进行试验设计，比如，将同一试验工序中的可执行步骤设置为针对同一关键设备零件进行试验的试验步骤，如此，便能基于核电试验中的试验工序，实现对核电设备中的关键设备零件进行试验的目的。
具体地，服务器对目标视频片段中的检测视频帧进行内容识别，确定各检测视频帧中是否存在当前操作设备零件。其中，当前操作设备零件是指试验人员正在操作的设备零件。其中，服务器可以基于预设的设备零件检测算法对视频帧中的当前操作设备零件进行检测，从而确定试验人员正在操作的设备零件。其中，设备零件检测算法可根据需要自定义，如可基于matlab中的图像识别算法对当前操作设备零件进行识别，或基于OpenCV中的图像识别算法对当前操作设备零件进行识别。
在当前检测视频帧中包含有当前操作设备零件时，表明此视频帧为针对试验人员的执行过程进行录制得到的帧图像，从而服务器将此检测视频帧作为目标视频帧。在当前检测视频帧中未包含有当前操作设备零件时，表明此视频帧为针对试验人员的非执行过程进行录制得到的帧图像，从而服务器停止将此检测视频帧作为目标视频帧。其中，执行过程是指试验人员对核电设备的设备零件进行相应操作的过程，比如，执行过程可以为开启开关阀的过程。对应的，非执行过程是指试验人员未对核电设备的设备零件进行相应操作的过程，比如，非执行过程可以为试验人员在试验的过程进行问题讨论的讨论过程。
当提取出目标视频片段中的全部目标视频帧时，服务器将此目标视频帧返回至复盘终端，以使复盘终端对应展示目标视频帧，从而试验复盘人员可以根据目标视频帧对待复盘的目标试验工序进行复盘。
在一个实施例中，可以通过预训练的设备零件识别模型，识别视频帧中的当前操作设备零件。其中，设备零件识别模型可以是由人工神经网络构成的模型。人工神经网络(Artificial Neural Networks，简写为ANNs)，也简称为神经网络(NNs)或称作连接模型(Connection Model)。人工神经网络可从信息处理角度对人脑神经元网络进行抽象，以建立某种模型，按不同的连接方式组成不同的网络。在工程与学术界也常直接简称为神经网络或类神经网络。其中，神经网络模型可以为CNN(Convolutional Neural Network，卷积神经网络)模型、DNN(Deep Neural Network，深度神经网络)模型和RNN(Recurrent NeuralNetwork，循环神经网络)模型等。
在一个实施例中，当需要对设备零件识别模型进行训练时，开发人员从网络中获取大量的设备零件图片，并将设备零件图片作为样本图片。开发人员对样本图片中的设备零件所对应的零件关键词进行标记，得到样本图片的图像标签，比如，将设备零件的零件名称作为图像标签，并将样本图片以及对应的图像标签输入至待训练的设备零件识别模型中，由待训练的设备零件识别模型基于图像标签学习得到样本图像中的设备零件特征，从而后续可以根据学习得到的设备零件特征，对视频帧中的当前操作设备零件进行识别。
上述复盘视频帧确定方法中，当接收到复盘指令时，通过对复盘指令进行解析，可以得到对应的目标工序标识；通过获取目标工序标识，可以根据目标工序标识，确定对应的目标试验视频和目标试验工单，如此，便能根据目标试验工单确定目标试验工序的执行时间段，并从目标试验视频中截取与执行时间段对应的目标视频片段；通过获取目标视频片段，可以对目标视频片段中的视频帧进行内容识别，确定目标视频片段中的有助于试验复盘的目标视频帧。由于可以从目标视频片段中提取出有助于试验复盘的目标视频帧，因此，复盘试验人员只需对目标视频帧进行观看，而无需从头至尾观看整个试验视频，从而大大提升了试验复盘的复盘效率。
在一个实施例中，如图3所示，对目标视频片段中的视频帧进行内容识别，确定包含有当前操作设备零件的零件图像的目标视频帧，包括：
步骤S302，对目标视频片段中的当前检测视频帧进行手部检测，得到对应的手部区域。
步骤S304，基于手部区域，判断当前检测视频帧中是否包含有当前操作设备零件的零件图像。
步骤S306，在当前检测视频帧包含当前操作设备零件的零件图像时，将当前检测视频帧作为包含有当前操作设备零件的零件图像的目标视频帧。
具体地，服务器对目标视频片段中的至少一张视频帧进行内容识别，并基于预设的手部检测算法对当前检测视频帧进行手部检测。当通过手部检测算法确定当前检测视频帧中的手部区域时，服务器通过预设大小的几何框选框出与手部区域相接触的图像区域，得到待识别图像，并将待识别图像输入至预训练的设备零件识别模型，通过预训练的设备零件识别模型确定待识别图像中是否包含有当前操作设备零件的零件图像。当预训练的设备零件识别模型能够识别出当前操作设备零件时，表明剪裁出的待识别图像中包含有如图4所示的当前操作设备零件的图像图像，此时，服务器将当前检测视频帧作为目标视频帧；当预训练的设备零件识别模型未能识别出当前操作设备零件时，表明剪裁出的待识别图像中不包含有当前操作设备零件的图像图像，即试验人员的手部未与设备零件相接触，此时，服务器停止将当前检测视频帧作为目标视频帧。值的注意的是，预设的几何框的几何尺寸可以根据需求自由设置。图4为一个实施例中当前操作设备零件的示意图。
在另一个实施例中，当设备零件识别模型识别出设备零件图像中具有多个设备零件时，服务器预设的尺寸缩小规则缩小几何框的尺寸，将预设大小的几何框缩小一倍，使得缩小后的几何框能够框选出更为准确地与手部相接触的设备零件图像，进而预训练的设备零件识别模型可以准确地识别出一个当前操作设备零件。
上述实施例中，由于当对试验设备中的某个设备零件进行试验的过程中，试验人员必然会通过手部接触此设备零件，因此通过对视频帧进行手部检测，可以基于手部检测结果确定试验人员当前正在操作的设备零件，从而可以根据当前正在操作设备零件选择有助于试验复盘的目标视频帧。
在一个实施例中，在确定目标视频帧之前，还需要生成工序标识，生成工序标识的步骤包括：获取待生成工序标识的试验工序的工序信息；基于预设信息分割符对工序信息进行分割，得到至少一个信息片段；确定每个信息片段各自对应的编码方式，并按照编码方式对相应的信息片段进行编码，得到对应的工序子标识码；确定工序子标识码的标识码总数，根据标识码总数、以及各工序子标识码，生成对应的工序标识。
具体地，当根据试验工序的工序信息生成对应的工序标识的过程中，服务器可以根据预设信息分割符对工序信息进行分割，得到至少一个信息片段，并对每个信息片段使用不同编码方式进行编码，得到各信息片段各自对应的工序子标识码，组合各工序子标识码，得到工序标识。其中，预设信息分割符包括但不限于是“，”、“；”、“。”等。
比如，当服务器根据预设试验信息对工序信息进行分割，得到包含有试验工序的工序名称的第一信息片段、以及包含有设备零件关键词的第二信息片段时，服务器按照A编码规则对第一信息片段进行编码，并将与A编码规则对应的解析序号添加至编码后的第一信息片段中，得到第一工序子标识码；服务器按照B编码规则对第二信息片段进行编码，并将与B编码规则对应的解析序号添加至编码后的第二信息片段中，得到第二工序子标识码；服务器组合第一工序子标识码以及第二工序子标识码，得到工序标识，并将工序子标识码的总数添加至工序标识中。
本实施例中，通过不同的编码方式对工序信息中的不同组成部分进行编码，可以降低编码后的工序标识相重复的概率，从而使得一个工序标识可以唯一对应一个试验工序。
在一个实施例中，试验工单的生成步骤包括：当触发执行时间输入操作时，通过试验终端获取所输入的执行时间；通过试验终端，确定执行时间指向的执行试验工序；通过试验终端，将执行时间写入所指向的执行试验工序的工序信息中；当触发试验工单生成操作时，通过试验终端综合各执行试验工序的工序信息，得到对应的试验工单。
具体地，当进行核电试验时，试验人员可通过试验终端对应展示初始试验工单，并根据初始试验工单中的工序信息，逐个执行试验工序。当执行当前试验工序时，试验人员可确定当前试验工序的开始执行时间点以及结束执行时间点，将开始执行时间点和结束执行时间点写入当前执行工序的工序信息中。当核电试验结束时，试验人员可通过试验终端触发试验工单生成操作，从而试验终端可以根据试验人员的触发操作，根据初始试验工单和输入的时间信息，生成对应的试验工单。
本实施例中，试验人员只需对应输入各工序的执行时间段，即可根据执行时间段生成相应的试验工单，从而后续可基于试验工单确定待复盘的目标试验视频片段。
在一个实施例中，上述复盘视频帧确定方法还包括：提取目标视频片段中的现场语音片段，并基于预训练的语音识别模型对现场语音片段进行识别，得到语音字幕；从语音字幕中提取多个关键词；关键词包括基础关键词以及从属关键词；根据基础关键词以及从属关键词的词义，确定语音字幕中的基础关键词数量；当语音字幕中的基础关键词数量超过预设数量阈值时，根据现场语音片段的采集时间，将语音字幕添加至对应的目标视频帧中。
具体地，服务器可以对目标视频片段进行静音检测，确定目标视频片段中静音时长大于预设阈值的静音片段，基于静音片段对目标视频片段进行分割，得到至少一个目标视频子片段。进一步地，服务器提取目标视频子片段中的语音信息，并将提取的语音信息作为现场语音片段。比如，一般来说，试验人员在本轮次的语音对话和上一轮次的语音对话中，会具有一段较长的静音时间，因此，服务器可基于此静音时间，提取与本轮次的语音对话相对应的现场语音片段、以及与上一轮次的语音对话相对应的现场语音片段。
当获取得到现场语音片段时，服务器将现场语音片段输入预训练的语音识别模型，通过预训练的语音识别模型对现场语音片段进行识别，得到语音字幕。其中，语音识别模型是由人工神经网络构成的模型。开发人员可以通过训练样本以及标签对语音识别模型进行训练，从而得到预训练的语音识别模型。
由于在执行试验工序的过程中，试验人员可能会讨论与试验相关的内容，或者讨论与试验不相关的内容，因此，可通过预设的关键词库，确定与试验相关的语音字幕，并将与试验相关的语音字幕添加至目标视频帧中，从而试验复盘人员可以根据语音字幕进一步了解试验过程。
考虑到语音字幕中可能会存在与关键词近义或同义，但与关键词表述方式不同的词汇，预设关键词库中可以包含有基础关键词，以及与基础关键词相关联的从属关键词，其中，从属关键词为与基础关键词近义或同义的词汇。当获取得到语音字幕时，服务器根据预设的关键词库，从语音字幕中提取基础关键词和从属关键词，并根据基础关键词以及从属关键词的词义，确定语音字幕中的基础关键词数量。需要说明的是，服务器对语音字幕包含关键词数量进行统计时，从属关键词与其对应的基础关键词是等效的。也就是说，若语音字幕中同时包含某个基础关键词和对应的从属关键词，或者仅包含某个基础关键词对应的从属关键词，则服务器最终统计该语音字幕中包含对应的基础关键词，从而服务器最终的统计结果是语音字幕中包含了哪些基础关键词。例如，在上述举例中，关键词库中具有与A同义的关键词A1和A2，若语音字幕中出现了3次关键词A、1次关键词A1、2次关键词A2和5次关键词B，则最后统计该条信访信息中包含的关键词数量仍为2个：A和B。
进一步地，服务器判断信访信息中的关键词数量是否超过阈值，若是，则服务器确定语音字幕所对应的现场语音片段的采集时间，根据采集时间，将语音字幕添加至对应的目标视频帧中。为了更好的描述，下述将现场语音片段的采集时间称作片段采集时间，将目标视频帧的采集时间称作视频帧采集时间。比如，服务器确定各目标视频帧的视频帧采集时间，并确定视频帧采集时间距片段采集时间最近的目标视频帧，将语音字幕添加至距片段采集时间最近的目标视频帧中，从而复盘试验人员可以根据语音字幕了解试验过程。
本实施例中，通过在目标视频帧中添加有助于试验复盘的语音字幕，使得复盘试验人员可以根据助于试验复盘的语音字幕进一步提升试验复盘效率。此外，由于是根据采集时间，在相应的目标视频帧中添加语音字幕，因此，目标视频帧与添加的语音字幕之间具有更为紧密的关联关系，有助于复盘试验人员建立目标视频帧与语音字幕之间的对应关系，从而提升试验复盘效率。
在一个实施例中，上述复盘视频帧确定方法还包括：当目标视频片段中具有多帧目标视频帧时，从目标视频帧中截取当前操作设备零件的零件图像、以及与当前操作设备零件相接触的手部的手部图像；确定零件图像中的零件完整度、以及手部图像中的手部完整度；根据零件完整度和手部完整度，对相应目标视频帧进行图像评分；根据图像评分，确定目标视频片段中的重点目标视频帧和次要目标视频帧。
由于视频记录仪在视频录制的过程中，可以更改记录视角，因此，有的时间段可以拍摄得到较为完整的试验现场，而有的时间段仅拍摄部分试验现场，比如，由于遮挡物的存在，有的试验视频片段可以记录完整的核点设备图像，而有的试验视频片段只能记录核电设备的上半部分。为了进一步提升复盘效率，可以将能够完整记录当前操作设备零件以及手部的目标视频帧作为重点目标视频帧，将未能够完整记录当前操作设备零件以及手部的目标视频帧作为次要目标视频帧。
具体地，当具有个目标视频帧时，服务器遍历各目标视频帧，从当前遍历顺序的目标视频帧中截取当前操作设备零件的零件图像、以及与当前操作设备零件相接触的手部的手部图像，并将零件图像和手部图像输入预训练的完整度检测模型中，通过预设的完整度检测算法检测当前遍历顺序的目标视频帧中的当前操作设备零件的完整度、以及与当前操作设备零件相接触的手部的完整度。其中，完整度检测算法可以根据需求自定义。其中，当前操作设备零件的完整度用以表征目标视频帧中的当前操作设备零件的被遮挡情况，比如，在当前操作设备零件被遮挡20％时，当前操作设备零件的完整度即为80％。同理，与当前操作设备零件相接触的手部的完整度用以表征手部的被遮挡情况。
进一步地，服务器根据目标视频帧中的当前设备零件的完整度以及手部的完整度对目标视频帧进行图像评分。比如，服务器将当前设备零件的完整度与手部的完整度进行加权求和，得到对应的图像评分。容易理解地，目标视频帧中的当前操作设备零件越完整、且与当前操作设备零件相接触的手部越完整，目标视频帧的图像评分则越高。服务器将图像评分超出预设评分阈值的目标视频帧置为重要目标视频帧，将其余的目标视频帧置为次要目标视频帧，并在重点目标视频帧中添加预设的重点标识符，以使复盘试验人员可以根据重点标识符选择需要重点复盘的目标视频帧。
本实施例中，由于当前设备零件的完整度以及与当前设备零件相接触的手部的完整度越高，复盘试验人员越容易判别当前试验人员的操作是否正确，因此，将完整度高的重点目标视频帧与完整度低的次要目标视频帧进行区分，可以提升复盘试验人员的判别效率，从而提升核电试验的复盘效率。
应该理解的是，虽然图2、3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、3中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图5所示，提供了一种复盘视频帧确定装置500，包括：解析模块502、执行时间段确定模块504和目标视频帧确定模块506，其中：
解析模块502，用于当接收到复盘终端发送的复盘指令时，对复盘指令进行解析，得到待复盘的目标试验工序的目标工序标识；
执行时间段确定模块504，用于根据目标工序标识，确定对应的目标试验视频和目标试验工单；根据目标试验工单，确定目标试验工序的执行时间段；
目标视频帧确定模块506，用于从目标试验视频中截取与执行时间段相对应的目标视频片段；对目标视频片段中的视频帧进行内容识别，确定包含有当前操作设备零件的零件图像的目标视频帧，将目标视频帧返回至复盘终端。
在一个实施例中，如图6所示，执行时间段确定模块504还用于获取候选试验工单集；从候选试验工单集筛选出包含有目标工序标识的目标试验工单；通过目标试验工单，确定对应的目标核电试验标识；通过目标核电试验标识，确定针对目标核电试验的试验过程进行录制的目标试验视频。
在一个实施例中，目标视频帧确定模块506还包括检测模块5061，用于对目标视频片段中的当前检测视频帧进行手部检测，得到对应的手部区域；基于手部区域，判断当前检测视频帧中是否包含有当前操作设备零件的零件图像；在当前检测视频帧包含当前操作设备零件的零件图像时，将当前检测视频帧作为包含有当前操作设备零件的零件图像的目标视频帧。
在一个实施例中，复盘视频帧确定装置500还包括工序标识生成模块508，用于获取待生成工序标识的试验工序的工序信息；基于预设信息分割符对工序信息进行分割，得到至少一个信息片段；确定每个信息片段各自对应的编码方式，并按照编码方式对相应的信息片段进行编码，得到对应的工序子标识码；确定工序子标识码的标识码总数，根据标识码总数、以及各工序子标识码，生成对应的工序标识。
在一个实施例中，复盘视频帧确定装置500还用于当触发执行时间输入操作时，通过试验终端获取所输入的执行时间；通过试验终端，确定执行时间指向的执行试验工序；通过试验终端，将执行时间写入所指向的执行试验工序的工序信息中；当触发试验工单生成操作时，通过试验终端综合各执行试验工序的工序信息，得到对应的试验工单。
在一个实施例中，复盘视频帧确定装置500还包括字幕生成模块510，用于提取目标视频片段中的现场语音片段，并基于预训练的语音识别模型对现场语音片段进行识别，得到语音字幕；从语音字幕中提取多个关键词；关键词包括基础关键词以及从属关键词；根据基础关键词以及从属关键词的词义，确定语音字幕中的基础关键词数量；当语音字幕中的基础关键词数量超过预设数量阈值时，根据现场语音片段的采集时间，将语音字幕添加至对应的目标视频帧中。
在一个实施例中，复盘视频帧确定装置500还用于当目标视频片段中具有多帧目标视频帧时，从目标视频帧中截取当前操作设备零件的零件图像、以及与当前操作设备零件相接触的手部的手部图像；确定零件图像中的零件完整度、以及手部图像中的手部完整度；根据零件完整度和手部完整度，对相应目标视频帧进行图像评分；根据图像评分，确定目标视频片段中的重点目标视频帧和次要目标视频帧。
关于复盘视频帧确定装置的具体限定可以参见上文中对于复盘视频帧确定方法的限定，在此不再赘述。上述复盘视频帧确定装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储复盘视频帧确定数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种复盘视频帧确定方法。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
当接收到复盘终端发送的复盘指令时，对复盘指令进行解析，得到待复盘的目标试验工序的目标工序标识；
根据目标工序标识，确定对应的目标试验视频和目标试验工单；
根据目标试验工单，确定目标试验工序的执行时间段；
从目标试验视频中截取与执行时间段相对应的目标视频片段；
对目标视频片段中的视频帧进行内容识别，确定包含有当前操作设备零件的零件图像的目标视频帧，将目标视频帧返回至复盘终端。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取候选试验工单集；
从候选试验工单集筛选出包含有目标工序标识的目标试验工单；
通过目标试验工单，确定对应的目标核电试验标识；
通过目标核电试验标识，确定针对目标核电试验的试验过程进行录制的目标试验视频。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
对目标视频片段中的当前检测视频帧进行手部检测，得到对应的手部区域；
基于手部区域，判断当前检测视频帧中是否包含有当前操作设备零件的零件图像；
在当前检测视频帧包含当前操作设备零件的零件图像时，将当前检测视频帧作为包含有当前操作设备零件的零件图像的目标视频帧。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取待生成工序标识的试验工序的工序信息；
基于预设信息分割符对工序信息进行分割，得到至少一个信息片段；
确定每个信息片段各自对应的编码方式，并按照编码方式对相应的信息片段进行编码，得到对应的工序子标识码；
确定工序子标识码的标识码总数，根据标识码总数、以及各工序子标识码，生成对应的工序标识。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
当触发执行时间输入操作时，通过试验终端获取所输入的执行时间；
通过试验终端，确定执行时间指向的执行试验工序；
通过试验终端，将执行时间写入所指向的执行试验工序的工序信息中；
当触发试验工单生成操作时，通过试验终端综合各执行试验工序的工序信息，得到对应的试验工单。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
提取目标视频片段中的现场语音片段，并基于预训练的语音识别模型对现场语音片段进行识别，得到语音字幕；
从语音字幕中提取多个关键词；关键词包括基础关键词以及从属关键词；
根据基础关键词以及从属关键词的词义，确定语音字幕中的基础关键词数量；
当语音字幕中的基础关键词数量超过预设数量阈值时，根据现场语音片段的采集时间，将语音字幕添加至对应的目标视频帧中。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
当目标视频片段中具有多帧目标视频帧时，从目标视频帧中截取当前操作设备零件的零件图像、以及与当前操作设备零件相接触的手部的手部图像；
确定零件图像中的零件完整度、以及手部图像中的手部完整度；
根据零件完整度和手部完整度，对相应目标视频帧进行图像评分；
根据图像评分，确定目标视频片段中的重点目标视频帧和次要目标视频帧。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
当接收到复盘终端发送的复盘指令时，对复盘指令进行解析，得到待复盘的目标试验工序的目标工序标识；
根据目标工序标识，确定对应的目标试验视频和目标试验工单；
根据目标试验工单，确定目标试验工序的执行时间段；
从目标试验视频中截取与执行时间段相对应的目标视频片段；
对目标视频片段中的视频帧进行内容识别，确定包含有当前操作设备零件的零件图像的目标视频帧，将目标视频帧返回至复盘终端。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取候选试验工单集；
从候选试验工单集筛选出包含有目标工序标识的目标试验工单；
通过目标试验工单，确定对应的目标核电试验标识；
通过目标核电试验标识，确定针对目标核电试验的试验过程进行录制的目标试验视频。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
对目标视频片段中的当前检测视频帧进行手部检测，得到对应的手部区域；
基于手部区域，判断当前检测视频帧中是否包含有当前操作设备零件的零件图像；
在当前检测视频帧包含当前操作设备零件的零件图像时，将当前检测视频帧作为包含有当前操作设备零件的零件图像的目标视频帧。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取待生成工序标识的试验工序的工序信息；
基于预设信息分割符对工序信息进行分割，得到至少一个信息片段；
确定每个信息片段各自对应的编码方式，并按照编码方式对相应的信息片段进行编码，得到对应的工序子标识码；
确定工序子标识码的标识码总数，根据标识码总数、以及各工序子标识码，生成对应的工序标识。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
当触发执行时间输入操作时，通过试验终端获取所输入的执行时间；
通过试验终端，确定执行时间指向的执行试验工序；
通过试验终端，将执行时间写入所指向的执行试验工序的工序信息中；
当触发试验工单生成操作时，通过试验终端综合各执行试验工序的工序信息，得到对应的试验工单。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
提取目标视频片段中的现场语音片段，并基于预训练的语音识别模型对现场语音片段进行识别，得到语音字幕；
从语音字幕中提取多个关键词；关键词包括基础关键词以及从属关键词；
根据基础关键词以及从属关键词的词义，确定语音字幕中的基础关键词数量；
当语音字幕中的基础关键词数量超过预设数量阈值时，根据现场语音片段的采集时间，将语音字幕添加至对应的目标视频帧中。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
当目标视频片段中具有多帧目标视频帧时，从目标视频帧中截取当前操作设备零件的零件图像、以及与当前操作设备零件相接触的手部的手部图像；
确定零件图像中的零件完整度、以及手部图像中的手部完整度；
根据零件完整度和手部完整度，对相应目标视频帧进行图像评分；
根据图像评分，确定目标视频片段中的重点目标视频帧和次要目标视频帧。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种复盘视频帧确定方法，其特征在于，所述方法包括：
当接收到复盘终端发送的复盘指令时，对所述复盘指令进行解析，得到待复盘的目标试验工序的目标工序标识；
获取候选试验工单集，从所述候选试验工单集中筛选包含所述目标工序标识的目标试验工单；试验工单是根据试验人员输入的执行时间段以及初始试验工单生成的工单；所述初始试验工单是根据试验工序的工序信息和核电试验标识生成的工单；所述工序信息包括试验工序的工序标识、执行试验工序的试验人员的人员标识、试验工序的可执行步骤、与试验工序对应的设备零件关键词；试验工序的执行时间段，是在试验人员通过展示的试验工序的工序信息进行试验的过程中，在试验工序执行结束时，在试验工序的工序信息中输入得到的；
从所述目标试验工单中读取目标核电试验标识，根据目标核电试验标识，确定针对目标核电试验的试验过程进行视频录制得到的目标试验视频；根据所述目标工序标识，从所述目标试验工单中查询所述目标试验工序的执行时间段；
从所述目标试验视频中截取与所述执行时间段相对应的目标视频片段；
对所述目标视频片段中的视频帧进行内容识别，确定包含有当前操作设备零件的零件图像的目标视频帧，将所述目标视频帧返回至所述复盘终端。
2.根据权利要求1所述的方法，其特征在于，所述对所述目标视频片段中的视频帧进行内容识别，确定包含有当前操作设备零件的零件图像的目标视频帧，包括：
对所述目标视频片段中的当前检测视频帧进行手部检测，得到对应的手部区域；
基于所述手部区域，判断所述当前检测视频帧中是否包含有当前操作设备零件的零件图像；
在所述当前检测视频帧包含当前操作设备零件的零件图像时，将所述当前检测视频帧作为包含有当前操作设备零件的零件图像的目标视频帧。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取待生成工序标识的试验工序的工序信息；
基于预设信息分割符对所述工序信息进行分割，得到至少一个信息片段；
确定每个信息片段各自对应的编码方式，并按照所述编码方式对相应的信息片段进行编码，得到对应的工序子标识码；
确定所述工序子标识码的标识码总数，根据所述标识码总数、以及各工序子标识码，生成对应的工序标识。
4.根据权利要求1所述的方法，其特征在于，所述试验工单的生成步骤包括：
当触发执行时间输入操作时，通过试验终端获取所输入的执行时间；
通过所述试验终端，确定所述执行时间指向的执行试验工序；
通过所述试验终端，将所述执行时间写入所指向的执行试验工序的工序信息中；
当触发试验工单生成操作时，通过所述试验终端综合各执行试验工序的工序信息，得到对应的试验工单。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
提取所述目标视频片段中的现场语音片段，并基于预训练的语音识别模型对所述现场语音片段进行识别，得到语音字幕；
从所述语音字幕中提取多个关键词；所述关键词包括基础关键词以及从属关键词；
根据所述基础关键词以及从属关键词的词义，确定所述语音字幕中的基础关键词数量；
当所述语音字幕中的基础关键词数量超过预设数量阈值时，根据所述现场语音片段的采集时间，将所述语音字幕添加至对应的目标视频帧中。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当所述目标视频片段中具有多帧目标视频帧时，从所述目标视频帧中截取当前操作设备零件的零件图像、以及与所述当前操作设备零件相接触的手部的手部图像；
确定所述零件图像中的零件完整度、以及所述手部图像中的手部完整度；
根据所述零件完整度和所述手部完整度，对相应目标视频帧进行图像评分；
根据所述图像评分，确定所述目标视频片段中的重点目标视频帧和次要目标视频帧。
7.一种复盘视频帧确定装置，其特征在于，所述装置包括：
解析模块，用于当接收到复盘终端发送的复盘指令时，对所述复盘指令进行解析，得到待复盘的目标试验工序的目标工序标识；
执行时间段确定模块，用于获取候选试验工单集，从所述候选试验工单集中筛选包含所述目标工序标识的目标试验工单；试验工单是根据试验人员输入的执行时间段以及初始试验工单生成的工单；所述初始试验工单是根据试验工序的工序信息和核电试验标识生成的工单；所述工序信息包括试验工序的工序标识、执行试验工序的试验人员的人员标识、试验工序的可执行步骤、与试验工序对应的设备零件关键词；试验工序的执行时间段，是在试验人员通过展示的试验工序的工序信息进行试验的过程中，在试验工序执行结束时，在试验工序的工序信息中输入得到的；从所述目标试验工单中读取目标核电试验标识，根据目标核电试验标识，确定针对目标核电试验的试验过程进行视频录制得到的目标试验视频；根据所述目标工序标识，从所述目标试验工单中查询所述目标试验工序的执行时间段；
目标视频帧确定模块，用于从所述目标试验视频中截取与所述执行时间段相对应的目标视频片段；对所述目标视频片段中的视频帧进行内容识别，确定包含有当前操作设备零件的零件图像的目标视频帧，将所述目标视频帧返回至所述复盘终端。
8.根据权利要求7所述的装置，其特征在于，所述目标视频帧确定模块还用于对所述目标视频片段中的当前检测视频帧进行手部检测，得到对应的手部区域；基于所述手部区域，判断所述当前检测视频帧中是否包含有当前操作设备零件的零件图像；在所述当前检测视频帧包含当前操作设备零件的零件图像时，将所述当前检测视频帧作为包含有当前操作设备零件的零件图像的目标视频帧。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011148121.2A CN112380922B (zh) | 2020-10-23 | 2020-10-23 | 复盘视频帧确定方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011148121.2A CN112380922B (zh) | 2020-10-23 | 2020-10-23 | 复盘视频帧确定方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112380922A CN112380922A (zh) | 2021-02-19 |
| CN112380922B true CN112380922B (zh) | 2024-03-22 |
Family
ID=74580889
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011148121.2A Active CN112380922B (zh) | 2020-10-23 | 2020-10-23 | 复盘视频帧确定方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112380922B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022204925A1 (zh) * | 2021-03-30 | 2022-10-06 | 华为技术有限公司 | 一种图像的获取方法以及相关设备 |
| CN112861823A (zh) * | 2021-04-06 | 2021-05-28 | 南京工业大学 | 一种用于工件安装关键工序视觉检测与定位的方法及装置 |
| CN113891118B (zh) * | 2021-10-11 | 2023-03-24 | 北京仁光科技有限公司 | 信号源调用复盘系统、可读存储介质和电子设备 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108401192A (zh) * | 2018-04-25 | 2018-08-14 | 腾讯科技（深圳）有限公司 | 视频流处理方法、装置、计算机设备及存储介质 |
| CN109271533A (zh) * | 2018-09-21 | 2019-01-25 | 深圳市九洲电器有限公司 | 一种多媒体文件检索方法 |
| CN109359202A (zh) * | 2018-08-10 | 2019-02-19 | 昆仑智汇数据科技(北京)有限公司 | 基于音频视频记录的电子运维工单自动生成方法及系统 |
| CN109862422A (zh) * | 2019-02-28 | 2019-06-07 | 腾讯科技（深圳）有限公司 | 视频处理方法、装置、计算机可读存储介质和计算机设备 |
| CN109978668A (zh) * | 2019-04-02 | 2019-07-05 | 苏州工业职业技术学院 | 基于时间戳匹配的交易顾客识别方法、系统、设备及介质 |
| CN110147722A (zh) * | 2019-04-11 | 2019-08-20 | 平安科技（深圳）有限公司 | 一种视频处理方法、视频处理装置及终端设备 |
| CN110213522A (zh) * | 2019-05-27 | 2019-09-06 | 腾讯科技（深圳）有限公司 | 一种视频数据处理方法、装置以及相关设备 |
| CN110490101A (zh) * | 2019-07-30 | 2019-11-22 | 平安科技（深圳）有限公司 | 一种图片截取方法、装置及计算机存储介质 |
| KR20200023013A (ko) * | 2018-08-24 | 2020-03-04 | 에스케이텔레콤 주식회사 | 영상 컨텐츠 검색을 지원하는 영상 서비스 장치 및 영상 컨텐츠 검색 지원 방법 |
| CN110996138A (zh) * | 2019-12-17 | 2020-04-10 | 腾讯科技（深圳）有限公司 | 一种视频标注方法、设备及存储介质 |
| CN111178246A (zh) * | 2019-12-27 | 2020-05-19 | 深圳供电局有限公司 | 基于电力施工操作的远程监测方法、装置和计算机设备 |
| WO2020119508A1 (zh) * | 2018-12-14 | 2020-06-18 | 深圳壹账通智能科技有限公司 | 视频切割方法、装置、计算机设备和存储介质 |
| CN111429087A (zh) * | 2020-03-10 | 2020-07-17 | 岭东核电有限公司 | 基于核电试验的试验工序信息处理方法和装置 |
| CN111526294A (zh) * | 2020-04-30 | 2020-08-11 | 广东智源机器人科技有限公司 | 食品制作系统、视频录制、播放方法、系统和存储介质 |
| CN111798587A (zh) * | 2020-07-07 | 2020-10-20 | 中冶赛迪重庆信息技术有限公司 | 一种生产制造领域的多媒体质量回溯方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190050783A1 (en) * | 2015-10-07 | 2019-02-14 | Esfera Color Ltda | Method and system for controlling work flow in car maintenance workshops |
-
2020
- 2020-10-23 CN CN202011148121.2A patent/CN112380922B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108401192A (zh) * | 2018-04-25 | 2018-08-14 | 腾讯科技（深圳）有限公司 | 视频流处理方法、装置、计算机设备及存储介质 |
| CN109359202A (zh) * | 2018-08-10 | 2019-02-19 | 昆仑智汇数据科技(北京)有限公司 | 基于音频视频记录的电子运维工单自动生成方法及系统 |
| KR20200023013A (ko) * | 2018-08-24 | 2020-03-04 | 에스케이텔레콤 주식회사 | 영상 컨텐츠 검색을 지원하는 영상 서비스 장치 및 영상 컨텐츠 검색 지원 방법 |
| CN109271533A (zh) * | 2018-09-21 | 2019-01-25 | 深圳市九洲电器有限公司 | 一种多媒体文件检索方法 |
| WO2020119508A1 (zh) * | 2018-12-14 | 2020-06-18 | 深圳壹账通智能科技有限公司 | 视频切割方法、装置、计算机设备和存储介质 |
| CN109862422A (zh) * | 2019-02-28 | 2019-06-07 | 腾讯科技（深圳）有限公司 | 视频处理方法、装置、计算机可读存储介质和计算机设备 |
| CN109978668A (zh) * | 2019-04-02 | 2019-07-05 | 苏州工业职业技术学院 | 基于时间戳匹配的交易顾客识别方法、系统、设备及介质 |
| CN110147722A (zh) * | 2019-04-11 | 2019-08-20 | 平安科技（深圳）有限公司 | 一种视频处理方法、视频处理装置及终端设备 |
| CN110213522A (zh) * | 2019-05-27 | 2019-09-06 | 腾讯科技（深圳）有限公司 | 一种视频数据处理方法、装置以及相关设备 |
| CN110490101A (zh) * | 2019-07-30 | 2019-11-22 | 平安科技（深圳）有限公司 | 一种图片截取方法、装置及计算机存储介质 |
| CN110996138A (zh) * | 2019-12-17 | 2020-04-10 | 腾讯科技（深圳）有限公司 | 一种视频标注方法、设备及存储介质 |
| CN111178246A (zh) * | 2019-12-27 | 2020-05-19 | 深圳供电局有限公司 | 基于电力施工操作的远程监测方法、装置和计算机设备 |
| CN111429087A (zh) * | 2020-03-10 | 2020-07-17 | 岭东核电有限公司 | 基于核电试验的试验工序信息处理方法和装置 |
| CN111526294A (zh) * | 2020-04-30 | 2020-08-11 | 广东智源机器人科技有限公司 | 食品制作系统、视频录制、播放方法、系统和存储介质 |
| CN111798587A (zh) * | 2020-07-07 | 2020-10-20 | 中冶赛迪重庆信息技术有限公司 | 一种生产制造领域的多媒体质量回溯方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112380922A (zh) | 2021-02-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112380922B (zh) | 复盘视频帧确定方法、装置、计算机设备和存储介质 | |
| CN111741356B (zh) | 双录视频的质检方法、装置、设备及可读存储介质 | |
| CN109859029A (zh) | 异常申请检测方法、装置、计算机设备以及存储介质 | |
| CN111523117A (zh) | 一种安卓恶意软件检测和恶意代码定位系统及方法 | |
| CN112306982B (zh) | 异常用户检测方法、装置、计算设备及存储介质 | |
| CN109388556B (zh) | 一种测试过程的分析方法及装置 | |
| CN111475324B (zh) | 日志信息的分析方法、装置、计算机设备和存储介质 | |
| CN112434178B (zh) | 图像分类方法、装置、电子设备和存储介质 | |
| CN111723784A (zh) | 一种风险视频识别方法、装置和电子设备 | |
| CN109766474A (zh) | 审讯信息审核方法、装置、计算机设备和存储介质 | |
| CN111539358A (zh) | 工作状态确定方法、装置、计算机设备和存储介质 | |
| CN112257545A (zh) | 一种违规行为实时监控分析方法、装置及存储介质 | |
| CN114218348A (zh) | 基于问答文本的直播片段获取方法、装置、设备及介质 | |
| US12093027B1 (en) | Recognition method and system for safety behaviors in industrial control system for gas field | |
| CN116032602A (zh) | 一种自动识别威胁数据的方法、装置、设备及存储介质 | |
| CN112272277B (zh) | 核电试验中的语音添加方法、装置和计算机设备 | |
| CN110490079A (zh) | 巡检数据处理方法、装置、计算机设备和存储介质 | |
| CN112818150B (zh) | 一种图片内容审核方法、装置、设备和介质 | |
| CN116189063B (zh) | 一种用于智能视频监控的关键帧优化方法及装置 | |
| CN112258513B (zh) | 核电试验视频分割方法、装置、计算机设备和存储介质 | |
| CN112364714B (zh) | 人脸识别方法、装置、计算机设备和存储介质 | |
| CN114722240A (zh) | 一种用于堡垒机录屏审计的视频分类方法和系统 | |
| CN111178248B (zh) | 在线实验考核方法、装置、计算机设备和存储介质 | |
| Patil et al. | Automated Alarm System for Student Anomalous Action Detection in Examination Based on Video Surveillance Using ML Techniques | |
| CN113626807A (zh) | 基于大数据的计算机信息安全处理方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |