CN112383734B - 视频处理方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种视频处理方法、装置、计算机设备和存储介质。所述方法包括：对作业现场进行视频采集，得到当前作业视频；将当前作业视频发送至作业指导终端，所述作业指导终端为与本端进行视频通话的终端，所述作业指导终端接收对当前作业视频的标注操作，获取所述标注操作所标注的标注图像区域；接收图像标注信息，所述图像标注信息是所述标注图像区域对应的相似图像区域的标注信息；在视频通话的过程中，展示当前作业视频，并根据所述图像标注信息对当前作业视频进行标注，以在当前作业视频上标注所述相似图像区域。采用本方法能够提高沟通效率。

Description

视频处理方法、装置、计算机设备和存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种视频处理方法、装置、计算机设备和存储介质。

背景技术

核电站的安全性至关重要，需要时常对核电站中的设备进行维护，例如在每次换料期间都需要对核电站进行全面的检查和维修。核电站中参与维护的人员包括点检工程师和现场执行人员，现场执行人员负责在车间对设备进行现场维护，点检工程师通常具有丰富的工作经验，点检工程师可以在现场或者远端对现场执行人员的工作进行监督，以帮助现场执行人员顺利完成工作。

然而，由于点检工程师的数量相比现场执行人员要少很多，通常一个点检工程师要监督指导多个现场执行人员，现场执行人员通常不能及时的与点检工程师进行沟通，导致得点检工程师与现场执行人员之间的沟通效率低。

发明内容

基于此，有必要针对上述沟通效率低的技术问题，提供一种能够提高沟通效率的视频处理方法、装置、计算机设备和存储介质。

一种视频处理方法，所述方法包括：对作业现场进行视频采集，得到当前作业视频；将当前作业视频发送至作业指导终端，所述作业指导终端为与本端进行视频通话的终端，所述作业指导终端接收对当前作业视频的标注操作，获取所述标注操作所标注的标注图像区域；接收图像标注信息，所述图像标注信息是所述标注图像区域对应的相似图像区域的标注信息；在视频通话的过程中，展示当前作业视频，并根据所述图像标注信息对当前作业视频进行标注，以在当前作业视频上标注所述相似图像区域。

在一些实施例中，得到所述图像标注信息的步骤包括：获取所述标注图像区域与当前作业视频的视频帧中相似度大于相似度阈值的图像区域，得到所述相似图像区域；根据所述相似图像区域在所述当前视频帧中的位置信息，确定所述相似图像区域对应的图像标注信息。

在一些实施例中，所述图像标注信息包括设备故障描述信息，所述根据所述图像标注信息对当前作业视频进行标注包括：在当前作业视频中对应展示所述相似图像区域以及所述设备故障描述信息，所述设备故障描述信息是利用故障检测模型对所述标注图像区域进行故障检测，并检测到故障时生成的；所述方法还包括：获取对所述设备故障描述信息的关注操作，根据所述关注操作获取所述设备故障描述信息对应的故障处理方法；展示所述设备故障信息对应的故障处理方法。

在一些实施例中，所述方法还包括：获取故障处理结果，所述故障处理结果是利用所述故障检测模型对相似图像区域进行故障检测得到的；若确定所述故障处理结果为故障已消除，则移除对所述相似图像区域的标注。

在一些实施例中，所述方法还包括：在视频通话的过程中，获取当前语音会话；若确定所述当前语音会话指示故障处理完成，则移除对所述相似图像区域的标注。

在一些实施例中，所述方法还包括：接收作业指导终端发送的目标指导信息标识；获取预先存储的所述目标指导信息标识对应的作业指导信息；输出所述目标指导信息标识对应的作业指导信息。

一种视频处理装置，所述装置包括：当前作业视频得到模块，用于对作业现场进行视频采集，得到当前作业视频；当前作业视频发送模块，用于将当前作业视频发送至作业指导终端，所述作业指导终端为与本端进行视频通话的终端，所述作业指导终端接收对当前作业视频的标注操作，获取所述标注操作所标注的标注图像区域；图像标注信息接收模块，用于接收图像标注信息，所述图像标注信息是所述标注图像区域对应的相似图像区域的标注信息；标注模块，用于在视频通话的过程中，展示当前作业视频，并根据所述图像标注信息对当前作业视频进行标注，以在当前作业视频上标注所述相似图像区域。

在一些实施例中，所述装置还包括：相似图像区域得到模块，用于获取所述标注图像区域与当前作业视频的视频帧中相似度大于相似度阈值的图像区域，得到所述相似图像区域；图像标注信息确定模块，用于根据所述相似图像区域在所述当前视频帧中的位置信息，确定所述相似图像区域对应的图像标注信息。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述视频处理方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述视频处理方法的步骤。

上述视频处理方法、装置、计算机设备和存储介质，对作业现场进行视频采集，得到当前作业视频，将当前作业视频发送至作业指导终端，作业指导终端为与本端进行视频通话的终端，作业指导终端接收对当前作业视频的标注操作，获取标注操作所标注的标注图像区域，接收图像标注信息，图像标注信息是标注图像区域对应的相似图像区域的标注信息，在视频通话的过程中，展示当前作业视频，并根据图像标注信息对当前作业视频进行标注，以在当前作业视频上标注相似图像区域。从而使得作业指导终端标的注出，展示在本端(作业执行终端)的视频中，使得作业执行终端可以动态标注与标注图像区域相似的相似图像区域，从而有利于作业执行方直观的明白作业指导方所表达的信息，提高作业执行方与作业指导方的沟通效率。

附图说明

图1为一些实施例中视频处理方法的应用环境图；

图2为一些实施例中视频处理方法的流程示意图；

图3为一些实施例中视频处理方法的流程示意图；

图4为一些实施例中视频处理方法的流程示意图；

图5为一些实施例中视频处理装置的结构框图；

图6为一些实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的视频处理方法，可以应用于如图1所示的应用环境中。该应用环境包括作业执行终端102、服务器104和作业指导终端106。其中，作业执行终端102、服务器104和作业指导终端106之间通过网络进行通信。

具体地，作业执行终端102对作业现场进行视频采集，得到当前作业视频，通过服务器104将当前作业视频发送至作业指导终端106。作业指导终端106为与本端进行视频通话的终端。作业指导终端106接收对当前作业视频的标注操作，获取标注操作所标注的标注图像区域。作业执行终端102可以接收图像标注信息，图像标注信息是标注图像区域对应的相似图像区域的标注信息；在视频通话的过程中，作业执行终端102可以展示当前作业视频，并根据图像标注信息对当前作业视频进行标注，以在当前作业视频上标注相似图像区域。

其中，作业执行终端102和作业指导终端106可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一些实施例中，如图2所示，提供了一种视频处理方法，以该方法应用于图1中的作业执行终端102为例进行说明，包括以下步骤：

S202，对作业现场进行视频采集，得到当前作业视频。

具体地，作业执行终端可以对应有视频采集装置。视频采集设备可以是摄像头，例如可以是作业执行终端上集成的摄像头，也可以是外接的摄像头。作业指的是从事生产劳动，例如从事核电站中的生产劳动。作业现场指的是进行作业的场地。作业视频指的是与作业相关的视频。当前作业视频指的是当前时间点或者当前时间段采集到的作业视频。作业执行终端可以利用视频采集设备对当前作业环境进行视频采集，得到当前作业视频。作业执行终端指的是作业执行方对应的终端。不同的时间采集得到的当前作业视频可以是不同的。

在一些实施例中，作业执行终端可以将当前作业视频传输至作业指导终端，作业指导终端指的是作业指导方对应的终端。作业指导方可以是指导作业执行方进行作业的人员。例如，在核电站工作中，作业指导方可以是点检工程师，作业执行方可以是现场执行人员。作业指导方可以通过现场或者远程的方式，指导作业执行方进行作业。一个作业指导方可以对应一个或者多个作业执行方。一个作业执行方可以对应一个或者多个作业指导方。作业指导方可以根据当前作业视频对作业执行方进行作业指导，例如作业指导方可以对当前作业视频进行标注。

S204，将当前作业视频发送至作业指导终端，作业指导终端为与本端进行视频通话的终端，作业指导终端接收对当前作业视频的标注操作，获取标注操作所标注的标注图像区域。

具体地，本端指的是作业执行终端。作业指导终端可以通过服务器与作业执行终端进行视频通话。标注操作指的是对图像进行标注的操作，可以是触摸操作、语音操作、通过输入设备例如鼠标进行操作或者手势操作中的至少一个。标注图像区域指的是被标注的图像区域。标注图像区域可以是作业设备所在的图像区域。作业设备指的是作业中涉及到的设备，例如正在维修的设备。作业指导终端可以在视频播放界面上播放当前作业视频，在播放当前作业视频时，若接收到对视频播放界面中的界面区域的标注操作时，将界面区域对应的视频图像作为标注图像区域。

在一些实施例中，作业执行终端可以将当前作业视频发送至服务器，服务器可以将当前作业视频发送至作业指导终端。作业指导终端可以播放当前作业视频，当接收到标注操作时，将当前作业视频进行暂停，并获取标注操作所标注的图像区域，得到标注图像区域。

在一些实施例中，服务器可以利用设备检测模型对标注图像区域中的设备进行识别，得到标注图像区域中的设备对应的设备信息，设备信息可以包括设备的名称、序列号或型号中的至少一种。例如，服务器可以对标注图像区域进行特征提取，将提取出的特征值输入到设备检测模型中，通过设备检测模型对标注图像进行识别，输出设备信息，将设备信息以及标注图像发送给作业执行终端，以使得作业执行终端上可以显示设备信息。

S206，接收图像标注信息，图像标注信息是标注图像区域对应的相似图像区域的标注信息。

具体地，相似图像区域指的是当前视频帧中与标注图像区域相似的图像区域。当前视频帧为当前作业视频包括的视频帧。相似图像区域与标注图像区域之间的区域相似度可以大于相似度阈值或者在相似度范围内。相似度阈值可以根据需要进行设置，也可以是预先设置的，例如可以是0.9。相似度范围可以根据需要进行设置，也可以是预先设置的，例如可以是0.8到0.9。

标注信息指的是与标注相关的信息，可以包括标注方式、标注位置信息或文本内容中的至少一种，标注方式可以包括标注的形状和风格，形状例如可以是矩形和三角形，风格可以标注对应的线条的颜色或尺寸中的至少一个。标注位置信息可以包括标注的起始位置信息或终止位置信息中的至少一种。文本内容可以是自定义的内容，也可以是从现有的文本中选取的。图像标注信息指的是标注图像区域对应的相似图像区域的标注信息，图像标注信息中的文本内容例如可以是与设备故障相关的信息。图像标注信息可以是作业指导终端获取的，例如可以接收标注信息编辑操作，获取编辑好的标注信息，得到图像标注信息。作业指导终端可以将图像标注信息发送至服务器，由服务器将图像标注信息发送至作业执行终端。图像标注信息也可以是服务器根据相似图像区域生成的，例如可以根据相似图像区域的位置信息生成。图像标注信息可以包括相似图像区域在当前视频帧中的位置信息。

在一些实施例中，当前视频可以包括多个当前视频帧，一个相似图像区域可以对应一个当前视频帧，一个相似图像区域也可以对应多个当前视频帧。例如服务器可以获取当前作业视频，从当前作业视频包括的各个当前视频帧中分别选取与标注图像区域对应的相似图像区域，得到各个当前视频帧分别对应的相似图像区域。服务器可以从当前作业视频包括的当前视频帧中，按照预设帧数间隔，选取得到目标视频帧，从目标视频帧中选取与标注图像区域对应的相似图像区域，得到目标视频帧对应的相似图像区域，获取相邻的目标视频帧之间的当前视频，得到中间视频，将相邻的目标视频帧中的前向的目标视频帧的相似图像区域，作为中间作业视频对应的相似图像区域。

S208，在视频通话的过程中，展示当前作业视频，并根据图像标注信息对当前作业视频进行标注，以在当前作业视频上标注相似图像区域。

具体地，在视频通话的过程中，作业执行终端可以实时的获取当前时间对应的当前作业视频，将当前作业视频发送至服务器，服务器可以确定实时的当前作业视频中的当前视频帧对应的图像标注信息，将图像标注信息返回至作业执行终端，作业执行终端可以展示当前作业视频，并在当前视频中利用图像标注信息标注出相似图像区域。

在一些实施例中，作业指导终端可以播放当前作业视频，并获取对当前作业视频进行标注得到的标注图像区域，将标注图像区域发送至服务器，服务器可以实时获取当前作业视频，在当前作业视频中的当前视频帧中叠加标注图像区域，得到叠加后的视频帧，将叠加后的视频帧组成的视频发送至作业执行终端，从而使得作业执行终端中展示的视频中实时展示标注图像区域。

在一些实施例中，作业执行终端可以接收对当前作业视频的标注操作，获取标注操作所标注的标注图像区域。例如，现场执行人员可以通过移动终端视频将现场的作业情况展示给点检工程师，并且可以在动态的视频上进行标注，得到标注图像区域，并将标注图像区域与视频进行叠加，得到叠加后的视频，将叠加后的视频发送给服务器，服务器可以将叠加后的视频发送给点检工程师的视频设备上。

上述视频处理方法中，对作业现场进行视频采集，得到当前作业视频，将当前作业视频发送至作业指导终端，作业指导终端为与本端进行视频通话的终端，作业指导终端接收对当前作业视频的标注操作，获取标注操作所标注的标注图像区域，接收图像标注信息，图像标注信息是标注图像区域对应的相似图像区域的标注信息，在视频通话的过程中，展示当前作业视频，并根据图像标注信息对当前作业视频进行标注，以在当前作业视频上标注相似图像区域。从而使得作业指导终端标的注出，展示在本端(作业执行终端)的视频中，使得作业执行终端可以动态标注与标注图像区域相似的相似图像区域，从而实现了在视频播放过程中实时和动态标注相似图像区域，使得作业执行方可以快速定位到作业指导方所指的区域，从而有利于作业执行方直观的明白作业指导方所表达的信息，提高作业执行方与作业指导方的沟通效率。

在一些实施例中，得到图像标注信息的步骤包括：获取标注图像区域与当前作业视频的视频帧中相似度大于相似度阈值的图像区域，得到相似图像区域；根据相似图像区域在当前视频帧中的位置信息，确定相似图像区域对应的图像标注信息。

具体地，服务器可以从当前作业视频的视频帧(即当前视频帧)中分割得到多个候选图像区域，各个候选图像区域之间可以有重叠区域，也可以没有重叠区域。服务器可以计算候选图像区域与标注图像区域之间的相似度，得到各个候选图像区域分别对应的候选相似度，将候选相似度与相似度阈值进行对比，当候选相似度大于相似度阈值时，将候选相似度对应的候选图像区域作为与标注图像区域对应的相似图像区域。

在一些实施例中，服务器可以获取标注图像区域包括的各个第一像素点分别对应的第一灰度值，获取候选图像区域包括的各个第二像素点分别对应的第二灰度值，根据第一灰度值以及第二灰度值计算得到候选图像区域与标注图像区域之间的候选相似度。第一像素点指的是标注图像区域包括的像素点，第二像素点指的是候选图像区域包括的像素点。第一灰度值为第一像素点的灰度值，第二灰度值为第二像素点的灰度值。例如服务器可以计算各个第一灰度值的统计值，得到第一灰度统计值，计算各个第二灰度值的统计值，得到第二灰度统计值，计算第一灰度统计值与第二灰度统计值之间的灰度统计值差异，得到候选图像区域与标注图像区域之间的候选相似度。灰度统计值差异与候选相似度之间成负相关关系。统计值可以是平均值或者总和中的至少一种。

在一些实施例中，服务器可以将相似图像区域在当前视频帧中的位置信息，作为相似图像区域对应的图像标注信息。服务器也可以获取预先存储的预设标注信息，将相似图像区域在当前视频帧中的位置信息以及预设标注信息，作为图像标注信息。预设标注信息可以包括标注类型或标注颜色中的至少一种，标注类型可以包括矩形标注或三角形标注中的至少一种。

上述实施例中，根据相似图像区域在当前视频帧中的位置信息，确定相似图像区域对应的图像标注信息，由于相似图像区域是当前作业视频的视频帧中与标注图像区域之间的相似度，大于相似度阈值的图像区域，因此得到的相似图像区域的准确度高，从而提高图像标注信息的准确度。

在一些实施例中，图像标注信息包括设备故障描述信息，根据图像标注信息对当前作业视频进行标注包括：在当前作业视频中对应展示相似图像区域以及设备故障描述信息，设备故障描述信息是利用故障检测模型对标注图像区域进行故障检测，并检测到故障时生成的；该方法还包括：获取对设备故障描述信息的关注操作，根据关注操作获取设备故障描述信息对应的故障处理方法；展示设备故障信息对应的故障处理方法。

具体地，图像标注信息还可以包括设备故障描述信息，设备故障描述信息指的是设备故障对应的描述信息，可以包括设备名称、故障类型、故障等级、故障发生时间或故障消除时间中的至少一种。故障检测模型指的是对设备进行故障检测的模型，可以是已训练的神经网络模型。关注操作可以包括点击操作或者眼球的注视操作中的至少一种。故障处理方法指的是进行故障消除的方法。作业执行终端中可以预先存储有各种设备故障描述信息分别对应的故障处理方法。故障处理方法也可以是从服务器中获取到的。例如，服务器可以将设备故障描述信息与故障处理方法建立关联关系，服务器可以获取设备故障描述信息对应的故障处理方法，将设备故障描述信息对应的故障处理方法发送至作业执行终端，从而使得作业执行终端可以根据故障处理方法，快速的解决问题。

在一些实施例中，作业执行终端或者服务器可以利用训练得到的故障检测模型对标注图像区域进行故障检测，当检测到标注图像区域中的设备存在故障时，输出设备故障描述信息，作业执行终端可以在当前作业视频中对应展示相似图像区域以及设备故障描述信息，并当获取到对设备故障描述信息的关注操作时，展示设备故障描述信息对应的故障处理方法。服务器可以将设备故障描述信息发送至作业指导中心。从而能够辅助作业指导中心确定具体的故障。

在一些实施例中，服务器可以获取训练样本集合，训练样本集合包括多个训练样本，训练样本是作业执行终端采集到的作业视频中的图像区域，包括正样本和负样本，正样本指的是包括故障设备的图像区域，负样本指的是包括正常设备的图像区域。服务器可以利用训练图像集对预设神经网络模型进行训练，得到故障检测模型。

上述实施例中，在当前作业视频中对应展示相似图像区域以及设备故障描述信息，设备故障描述信息是利用故障检测模型对标注图像区域进行故障检测，并检测到故障时生成的，获取对设备故障描述信息的关注操作，根据关注操作获取设备故障描述信息对应的故障处理方法，展示设备故障信息对应的故障处理方法，从而可以快速的为作业执行方提供故障处理方法，为作业执行方的工作提供了便利，提高了作业执行方的工作效率。

在一些实施例中，如图3所示，该方法还包括：

S302，获取故障处理结果，故障处理结果是利用故障检测模型对相似图像区域进行故障检测得到的。

具体地，故障处理结果可以为故障已消除，也可以为故障未消除。服务器可以将相似图像区域输入到故障检测模型中，得到故障检测模型的输出结果，根据输出结果确定故障处理结果。当服务器根据输出结果确定设备依旧存在故障时，确定故障处理结果为故障未消除，当服务器根据输出结果确定设备正常时，确定故障处理结果为故障已消除。服务器可以将故障处理结果发送至作业执行终端，即作业执行终端可以从服务器获取故障处理结果。

S304，若确定故障处理结果为故障已消除，则移除对相似图像区域的标注。

具体地，当作业执行终端确定故障处理结果为故障已消除时，可以向服务器发送移除标注的请求，以使得服务器停止从当前视频帧中获取标注图像区域对应的相似图像区域，从而使得作业执行终端停止对相似图像区域的标注。

上述实施例中，获取故障处理结果，故障处理结果是利用故障检测模型对相似图像区域进行故障检测得到的，若确定故障处理结果为故障已消除，则移除对相似图像区域的标注，从而在故障已消除时，及时的将对相似图像区域的标注进行移除，使得视频通话的会话界面保持良好的用户体验，避免大量的标注导致会话界面杂乱。

在一些实施例中，该方法还包括：在视频通话的过程中，获取当前语音会话；若确定当前语音会话指示故障处理完成，则移除对相似图像区域的标注。

具体地，作业执行终端可以在视频通话的过程中，获取当前语音会话，获取当前语音会话的会话内容，根据会话内容确定故障处理结果，当根据会话内容确定故障处理完成时，确定故障处理结果为故障已消除，则移除对相似图像区域的标注。

在一些实施例中，服务器可以获取当前语音会话的会话内容，将会话内容输入到语音识别模型中，对会话内容进行识别，得到识别结果，将识别结果返回至作业执行终端，当识别结果确定故障处理完成时，确定故障处理结果为故障已消除，则移除对相似图像区域的标注。

上述实施例中，在视频通话的过程中，获取当前语音会话，若确定当前语音会话指示故障处理完成，则移除对相似图像区域的标注，从而在故障已消除时，及时的将对相似图像区域的标注进行移除，使得视频通话的会话界面保持良好的用户体验，避免大量的标注导致会话界面杂乱。

在一些实施例中，如图4所示，该方法还包括：

S402，接收作业指导终端发送的目标指导信息标识。

具体地，指导信息标识用于唯一标识作业指导信息。作业指导信息指的是指导作业执行方进行作业的信息。作业指导信息可以是预先存在作业执行终端中的。目标指导信息标识指的是作业指导终端发送至作业执行终端的作业指导信息的标识。

S404，获取预先存储的目标指导信息标识对应的作业指导信息。

具体地，作业执行终端中可以预先存储各个指导信息标识分别对应的作业指导信息。作业执行终端可以根据目标指导信息标注，从预先存储的各个作业指导信息中，获取对应的作业指导信息。

S406，输出目标指导信息标识对应的作业指导信息。

具体地，作业执行终端可以将目标指导信息标识对应的作业指导信息(记作目标作业指导信息)展示在视频通话的界面中。

在一些实施例中，作业指导终端可以获取到指导信息编辑操作，根据指导信息编辑操作所编辑的内容生成作业指导信息，将生成的作业指导信息发送至也执行终端，作业执行终端可以将接收到的作业指导信息展示在视频通话的界面中。

上述实施例中，接收作业指导终端发送的目标指导信息标识，获取预先存储的目标指导信息标识对应的作业指导信息，输出目标指导信息标识对应的作业指导信息，从而快速的将作业指导信息提供给作业执行方，提高了作业指导方与作业执行方之间的沟通效率。

应该理解的是，虽然上述各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述各实施例的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一些实施例中，如图5所示，提供了一种视频处理装置，包括：当前作业视频得到模块502、当前作业视频发送模块504、图像标注信息接收模块506和标注模块508，其中：

当前作业视频得到模块502，用于对作业现场进行视频采集，得到当前作业视频。

当前作业视频发送模块504，用于将当前作业视频发送至作业指导终端，作业指导终端为与本端进行视频通话的终端，作业指导终端接收对当前作业视频的标注操作，获取标注操作所标注的标注图像区域。

图像标注信息接收模块506，用于接收图像标注信息，图像标注信息是标注图像区域对应的相似图像区域的标注信息。

标注模块508，用于在视频通话的过程中，展示当前作业视频，并根据图像标注信息对当前作业视频进行标注，以在当前作业视频上标注相似图像区域。

在一些实施例中，该装置还包括图像标注信息得到模块，图像标注信息得到模块包括：

相似图像区域得到单元，用于获取标注图像区域与当前作业视频的视频帧中相似度大于相似度阈值的图像区域，得到相似图像区域。

图像标注信息确定单元，用于根据相似图像区域在当前视频帧中的位置信息，确定相似图像区域对应的图像标注信息。

在一些实施例中，图像标注信息包括设备故障描述信息，标注模块508，还用于在当前作业视频中对应展示相似图像区域以及设备故障描述信息，设备故障描述信息是利用故障检测模型对标注图像区域进行故障检测，并检测到故障时生成的。

装置还包括：

关注操作获取模块，用于获取对设备故障描述信息的关注操作，根据关注操作获取设备故障描述信息对应的故障处理方法。

故障处理方法展示模块，用于展示设备故障信息对应的故障处理方法。

在一些实施例中，装置还包括：

故障处理结果获取模块，用于获取故障处理结果，故障处理结果是利用故障检测模型对相似图像区域进行故障检测得到的。

第一标注移除模块，用于若确定故障处理结果为故障已消除，则移除对相似图像区域的标注。

在一些实施例中，装置还包括：

当前语音会话获取模块，用于在视频通话的过程中，获取当前语音会话。

第二标注移除模块，用于若确定当前语音会话指示故障处理完成，则移除对相似图像区域的标注。

在一些实施例中，装置还包括：

目标指导信息标识接收模块，用于接收作业指导终端发送的目标指导信息标识。

作业指导信息获取模块，用于获取预先存储的目标指导信息标识对应的作业指导信息。

作业指导信息输出模块，用于输出目标指导信息标识对应的作业指导信息。

关于视频处理装置的具体限定可以参见上文中对于视频处理方法的限定，在此不再赘述。上述视频处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一些实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种视频处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一些实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述视频处理方法的步骤。

在一些实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述视频处理方法的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种视频处理方法，其特征在于，所述方法包括：

对作业现场进行视频采集，得到当前作业视频；

将当前作业视频发送至作业指导终端，所述作业指导终端为与本端进行视频通话的终端，所述作业指导终端接收对当前作业视频的标注操作，获取所述标注操作所标注的标注图像区域；

接收图像标注信息，所述图像标注信息是所述标注图像区域对应的相似图像区域的标注信息；所述图像标注信息包括设备故障描述信息；所述设备故障描述信息是利用故障检测模型对所述标注图像区域进行故障检测，并检测到故障时生成的；设备故障描述信息与故障处理方法之间建立有关联关系；

在视频通话的过程中，展示当前作业视频，并在当前作业视频中对应展示所述相似图像区域以及所述设备故障描述信息，以在当前作业视频上标注所述相似图像区域；

获取对所述设备故障描述信息的关注操作，根据所述关注操作获取所述设备故障描述信息对应的故障处理方法；

展示所述设备故障描述信息对应的故障处理方法；

获取故障处理结果，所述故障处理结果是利用所述故障检测模型对相似图像区域进行故障检测得到的；

若确定所述故障处理结果为故障已消除，则移除对所述相似图像区域的标注。

2.根据权利要求1所述的方法，其特征在于，得到所述图像标注信息的步骤包括：

获取所述标注图像区域与当前作业视频的视频帧中相似度大于相似度阈值的图像区域，得到所述相似图像区域；

根据所述相似图像区域在当前视频帧中的位置信息，确定所述相似图像区域对应的图像标注信息。

3.根据权利要求1所述的方法，其特征在于，所述关注操作包括点击操作或者眼球的注视操作中的至少一种。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：利用设备检测模型对所述标注图像区域中的设备进行识别，得到所述标注图像区域中的设备对应的设备信息；所述设备信息包括设备的名称、序列号或型号中的至少一种。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在视频通话的过程中，获取当前语音会话；

若确定所述当前语音会话指示故障处理完成，则移除对所述相似图像区域的标注。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

接收作业指导终端发送的目标指导信息标识；

获取预先存储的所述目标指导信息标识对应的作业指导信息；

输出所述目标指导信息标识对应的作业指导信息。

7.一种视频处理装置，其特征在于，所述装置包括：

当前作业视频得到模块，用于对作业现场进行视频采集，得到当前作业视频；

当前作业视频发送模块，用于将当前作业视频发送至作业指导终端，所述作业指导终端为与本端进行视频通话的终端，所述作业指导终端接收对当前作业视频的标注操作，获取所述标注操作所标注的标注图像区域；

图像标注信息接收模块，用于接收图像标注信息，所述图像标注信息是所述标注图像区域对应的相似图像区域的标注信息；所述图像标注信息包括设备故障描述信息；所述设备故障描述信息是利用故障检测模型对所述标注图像区域进行故障检测，并检测到故障时生成的；设备故障描述信息与故障处理方法之间建立有关联关系；

标注模块，用于在视频通话的过程中，展示当前作业视频，并在当前作业视频中对应展示所述相似图像区域以及所述设备故障描述信息，以在当前作业视频上标注所述相似图像区域；

所述装置还用于：获取对所述设备故障描述信息的关注操作，根据所述关注操作获取所述设备故障描述信息对应的故障处理方法；展示所述设备故障描述信息对应的故障处理方法；获取故障处理结果，所述故障处理结果是利用所述故障检测模型对相似图像区域进行故障检测得到的；若确定所述故障处理结果为故障已消除，则移除对所述相似图像区域的标注。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

相似图像区域得到模块，用于获取所述标注图像区域与当前作业视频的视频帧中相似度大于相似度阈值的图像区域，得到所述相似图像区域；

图像标注信息确定模块，用于根据所述相似图像区域在当前视频帧中的位置信息，确定所述相似图像区域对应的图像标注信息。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

Images