CN111340101B - 稳定性评估方法、装置、电子设备和计算机可读存储介质 - Google Patents

稳定性评估方法、装置、电子设备和计算机可读存储介质 Download PDF

Info

Publication number
CN111340101B
CN111340101B CN202010112749.0A CN202010112749A CN111340101B CN 111340101 B CN111340101 B CN 111340101B CN 202010112749 A CN202010112749 A CN 202010112749A CN 111340101 B CN111340101 B CN 111340101B
Authority
CN
China
Prior art keywords
image
images
segmentation
source
segmented
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010112749.0A
Other languages
English (en)
Other versions
CN111340101A (zh
Inventor
叶海佳
许佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Huya Technology Co Ltd
Original Assignee
Guangzhou Huya Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Huya Technology Co Ltd filed Critical Guangzhou Huya Technology Co Ltd
Priority to CN202010112749.0A priority Critical patent/CN111340101B/zh
Publication of CN111340101A publication Critical patent/CN111340101A/zh
Application granted granted Critical
Publication of CN111340101B publication Critical patent/CN111340101B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供一种稳定性评估方法、装置、电子设备和计算机可读存储介质，预先利用源视频中时间相邻的源图像计算得到源图像之间的光流信息，即变化信息。在利用分割模型得到各个源图像对应的分割图像之后，针对时间相邻的分割图像，利用预先得到该相邻的分割图像所对应的源图像的光流信息以及其中一帧分割图像，计算出预测分割图像。再将预测分割图像与实际得到的分割图像进行比对，从而得到分割稳定值。该方案利用分割之前源图像之间的光流信息进行分割图像的预测，再与基于分割模型真实得到的分割图像进行比对的方式，对分割模型的稳定性进行评估，有利于分割模型的优化。

Description

稳定性评估方法、装置、电子设备和计算机可读存储介质
技术领域
本申请涉及计算机技术领域，具体而言，涉及一种稳定性评估方法、装置、电子设备和计算机可读存储介质。
背景技术
在人像分割的处理过程中，一般较多地以人像分割的准确性作为评估指标。但是，当人像分割应用到视频流时，分割的准确性已不再是唯一衡量指标，此时，人像分割的稳定性也十分重要。由于视频流是以多帧时间连续的图像帧所组成，在利用分割模型对视频流的每一帧图像帧进行人像分割时，若相邻帧间的分割不稳定，分割结果相差较大，将导致视觉上的不连贯，影响分割图像的质量，因此，如何有效地检测分割的稳定性对于视频流人像分割任务十分重要。但是，目前视频分割稳定性的评估缺乏一种可靠地、可量化的评估方案，难以为分割模型的优化提供指导依据。
发明内容
本申请的目的包括，例如，提供了一种稳定性评估方法、装置、电子设备和计算机可读存储介质，以对分割模型的分割稳定性进行定量评估。
本申请的实施例可以这样实现：
第一方面，本申请实施例提供一种稳定性评估方法，所述方法包括：
将获得的源视频导入至预先建立的分割模型，输出所述源视频包含的各帧源图像对应的分割图像；
针对时间相邻的两帧分割图像，获取预先根据该两帧分割图像对应的两帧源图像计算得到的光流信息；
获取所述两帧分割图像中的其中一帧分割图像按所述光流信息变化后的预测分割图像，比对所述预测分割图像以及所述两帧分割图像中的另一帧分割图像，得到分割稳定值。
在可选的实施方式中，所述源视频中的各帧源图像包含人像，所述将获得的源视频导入至预先建立的分割模型，输出所述源视频包含的各帧源图像对应的分割图像的步骤，包括：
将获得的源视频导入至预先建立的分割模型，利用所述分割模型分割出各所述源图像中包含的人像区域以及背景区域，并以第一像素点标记所述人像区域，以第二像素点标记所述背景区域；
输出各所述源图像对应的标记后的包含人像区域和背景区域的分割图像。
在可选的实施方式中，所述光流信息包括后向光流信息，所述获取所述两帧分割图像中的其中一帧分割图像按所述光流信息变化后的预测分割图像，比对所述预测分割图像以及所述两帧分割图像中的另一帧分割图像，得到分割稳定值的步骤，包括：
获取所述时间相邻的两帧分割图像中时序靠前的分割图像；
根据所述时序靠前的分割图像的图像信息以及所述后向光流信息，计算得到所述时序靠前的分割图像按所述后向光流信息变化后的预测分割图像；
比对所述预测分割图像以及所述两帧分割图像中时序靠后的分割图像，得到分割稳定值。
在可选的实施方式中，所述光流信息包括后向光流信息，获取所述后向光流信息的步骤包括：
针对所述源视频包括的时间相邻的两帧源图像，获取其中时序靠前的源图像及时序靠后的源图像；
针对所述时序靠前的源图像中的每个像素点，计算该像素点变化至所述时序靠后的源图像中对应像素点的矢量信息；
根据所述时序靠前的源图像中的所有像素点对应的矢量信息，得到后向光流信息。
在可选的实施方式中，所述光流信息包括前向光流信息，所述获取所述两帧分割图像中的其中一帧分割图像按所述光流信息变化后的预测分割图像，比对所述预测分割图像以及所述两帧分割图像中的另一帧分割图像，得到分割稳定值的步骤，包括：
获取所述时间相邻的两帧分割图像中时序靠后的分割图像；
根据所述时序靠后的分割图像的图像信息以及所述前向光流信息，计算得到所述时序靠后的分割图像按所述前向光流信息变化后的预测分割图像；
比对所述预测分割图像以及所述两帧分割图像中时序靠前的分割图像，得到分割稳定值。
在可选的实施方式中，所述比对所述预测分割图像以及所述两帧分割图像中的另一帧分割图像，得到分割稳定值的步骤，包括：
计算所述预测分割图像与所述两帧分割图像中的另一帧分割图像之间的灰度差；
计算所述源视频包含的每组时间相邻的两帧分割图像所得到的灰度差的平均值，得到所述分割稳定值。
在可选的实施方式中，所述计算所述预测分割图像与所述两帧分割图像中的另一帧分割图像之间的灰度差的步骤，包括：
针对所述预测分割图像中的每个像素点，计算该像素点与所述两帧分割图像中的另一帧分割图像对应的像素点之间的灰度差的绝对值；
计算所述预测分割图像中包含的所有像素点各自得到的灰度差的绝对值的总值。
在可选的实施方式中，所述方法还包括：
在所述分割稳定值高于预设阈值时，调整所述分割模型的模型参数，并将所述源视频导入至调整后的分割模型中继续进行分割，直至得到的分割稳定值低于所述预设阈值为止。
第二方面，本申请实施例提供一种稳定性评估装置，所述装置包括：
导入模块，用于将获得的源视频导入至预先建立的分割模型，输出所述源视频包含的各帧源图像对应的分割图像；
光流信息获取模块，用于针对时间相邻的两帧分割图像，获取预先根据该两帧分割图像对应的两帧源图像计算得到的光流信息；
比对模块，用于获取所述两帧分割图像中的其中一帧分割图像按所述光流信息变化后的预测分割图像，比对所述预测分割图像以及所述两帧分割图像中的另一帧分割图像，得到分割稳定值。
第三方面，本申请实施例提供一种电子设备，包括：
存储器，用于存储计算机程序；
与所述存储器连接的处理器，用于执行所述计算机程序，以实现上述任意一项所述的稳定性评估方法。
第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被执行时实现上述任意一项所述的稳定性评估方法。
本申请实施例的有益效果包括，例如：
本申请实施例提供一种稳定性评估方法、装置、电子设备和计算机可读存储介质，预先利用源视频中时间相邻的源图像计算得到源图像之间的光流信息，即变化信息。在利用分割模型得到各个源图像对应的分割图像之后，针对时间相邻的分割图像，利用预先得到该相邻的分割图像所对应的源图像的光流信息以及其中一帧分割图像，计算出预测分割图像。再将预测分割图像与实际得到的分割图像进行比对，从而得到分割稳定值。该方案利用分割之前源图像之间的光流信息进行分割图像的预测，再与基于分割模型真实得到的分割图像进行比对的方式，对分割模型的稳定性进行评估，有利于分割模型的优化。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的稳定性评估方法的应用场景示意图；
图2为本申请实施例提供的稳定性评估方法的流程图；
图3(a)为导入至分割模型的源图像；
图3(b)为分割模型输出的分割图像；
图4为本申请实施例提供的提取的光流信息的示意图；
图5为本申请实施例提供的后向光流信息获取方法的流程图；
图6为本申请实施例提供的分割稳定值获取方法的流程图；
图7为本申请实施例提供的前向光流信息获取方法的流程图；
图8为本申请实施例提供的分割稳定值获取方法的另一流程图；
图9为本申请实施例提供的电子设备的结构框图；
图10为本申请实施例提供的稳定性评估装置的功能模块框图。
图标：100-直播提供终端；200-直播服务器；300-直播接收终端；110-存储介质；120-处理器；130-稳定性评估装置；131-导入模块；132-光流信息获取模块；133-比对模块；140-通信接口。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本申请的描述中，需要说明的是，若出现术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。需要说明的是，在不冲突的情况下，本申请的实施例中的特征可以相互结合。
本申请实施例提供的稳定性评估方法可以应用于多种需要进行人像分割、前景分割的应用场景中，例如，图像处理应用中、直播应用中、门禁应用中等等。在这类应用中，需要对采集到的视频流中的各帧图像进行人像分割或前景分割，基于分割出的如人像图像进行后续的人像处理等。本申请中，后续将以直播应用的应用场景为例进行说明。
请参阅图1，为本申请实施例提供的稳定性评估方法的一种可能的应用场景示意图，该场景中包括直播提供终端100、直播服务器200、直播接收终端300。直播服务器200分别与直播提供终端100和直播接收终端300通信连接，用于为直播提供终端100以及直播接收终端300提供直播服务。例如，直播提供终端100可以将直播视频流发送给直播服务器200，观众可以通过直播接收终端300访问直播服务器200以观看直播视频。其中，直播服务器200推送的直播视频流可以是当前正在直播平台中直播的视频流或者直播完成后形成的完整视频流。可以理解，图1所示的场景仅为一种可行的示例，在其它可行的实施例中，该场景也可以仅包括图1所示组成部分的其中一部分或者还可以包括其它的组成部分。
本实施例中，直播提供终端100和直播接收终端300可以是，但不限于，智能手机、个人数字助理、平板电脑、个人计算机、笔记本电脑、虚拟现实终端设备、增强现实终端设备等。其中，直播提供终端100和直播接收终端300中可以安装用于提供互联网直播服务的互联网产品，例如，互联网产品可以是计算机或智能手机中使用的与互联网直播服务相关的应用程序APP、Web网页、小程序等。
本实施例中，在该场景中还可以包括用于采集主播视频帧或观众视频信息的视频采集设备，视频采集设备可以是，但不限于摄像头、数码照相机的镜头、监控摄像头或者网络摄像头等。视频采集设备可以直接安装或集成于直播提供终端100或直播接收终端300。例如，视频采集设备可以是配置在直播提供终端100或直播接收终端300上的摄像头，直播提供终端100或直播接收终端300中的其他模块或组件可以经由内部总线接收从视频采集设备处发送的视频、图像。或者，视频采集设备也可以独立于直播提供终端100或直播接收终端300，两者之间通过有线或无线的方式进行通信。
图2示出了本申请实施例提供的稳定性评估方法的流程示意图，该稳定性评估方法可由图1中所示的直播提供终端100或直播接收终端300或直播服务器200执行。应当理解，在其它实施例中，本实施例的稳定性评估方法其中部分步骤的顺序可以根据实际需要相互交换，或者其中的部分步骤也可以省略或删除。该稳定性评估方法的详细步骤介绍如下。
步骤S210，将获得的源视频导入至预先建立的分割模型，输出所述源视频包含的各帧源图像对应的分割图像。
步骤S220，针对时间相邻的两帧分割图像，获取预先根据该两帧分割图像对应的两帧源图像计算得到的光流信息。
步骤S230，获取所述两帧分割图像中的其中一帧分割图像按所述光流信息变化后的预测分割图像，比对所述预测分割图像以及所述两帧分割图像中的另一帧分割图像，得到分割稳定值。
视频流由按时序依次排列的多帧静态的图像帧所组成，由图像帧之间的变化信息构成了呈现为动态的视频信息。本实施例中，源视频可以是直播提供终端100所采集到的主播的直播视频，也可以是直播接收终端300采集到的包含观众图像的源视频，具体地在本实施例中不作限制。对源视频的处理，可以是在直播接收终端300进行处理，或者是直播接收终端300将采集到的源视频传输至直播服务器200，由直播服务器200进行处理。或者，可以是在直播接收终端300进行处理，也可以是直播接收终端300将采集到的源视频传输至直播服务器200，由直播服务器200进行处理。
本实施例中，预先建立并存储有分割模型，该分割模型为预先利用获取的样本视频流对神经网络模型进行训练所获得，其中，采用的神经网络模型可以是但不限于DeeplabV3+模型。样本视频流中包含多帧样本图像，各帧样本图像被分割为前景区域图像和背景区域图像，且前景区域图像和背景区域图像分别被标记出。利用标记好的一系列连续的样本图像对神经网络模型进行训练，得到分割模型，以用于后续对待处理视频流中的图像进行分割处理。
分割模型的输入为获取的源视频，即一系列连续的源图像构成的视频流，输出为各个源图像所对应的分割图像，同样地该一系列连续的分割图像构成视频流。
具体地，本实施例中，源视频中的各帧源图像包含人像，可将获得的源视频导入至预先建立的分割模型，利用分割模型分割出各源图像中包含的人像区域以及背景区域，并以第一像素点标记人像区域、以第二像素点标记背景区域。例如，得到的分割图像可为由0和1构成的掩模图像，其中，可以白色像素点将人像区域进行标记，利用黑色像素点将背景区域进行标记，如此，可以将人像部分区域抠离背景。最后，分割模型可输出各源图像对应的标记后的包含人像区域和背景区域的分割图像，例如，如图3(a)为输入至分割模型的源图像，图3(b)为分割模型所输出的分割图像。
对于单帧图像的分割往往分割的准确性为最重要的指标，而对视频流中的图像进行分割相对于单帧图像的分割有一个很大的区别，即视频流的图像的分割结果需要保持时序一致性，对于相邻帧的分割图像其分割差异不能太大，否则分割的抖动会严重影响用户体验。
本实施例中，可以理解，源视频中的源图像在分割之前，时间相邻的源图像之间是连续的，不存在图像的抖动，因此，可预先获取时间相邻的源图像之间的光流信息。其中，光流是目标、场景或摄像机在连续两帧图像间运动时造成的目标的运动。它是图像在平移过程中的二维矢量场，是通过二维图像来表示物体点三维运动的速度场，反映了微小时间间隔内由于运动形成的图像变化，以确定图像点上的运动方向和运动速率。
时间相邻的源图像是指按时序排列的一系列源图像中相邻的图像，例如，若按时序排列的源图像为I1，I2，I3，I4……，则其中I1和I2可以是时间相邻的两帧源图像，或者，I1和I3也可以是时间相邻的两帧源图像。获得的光流信息可以是源图像I1和源图像I2之间的光流信息，也可以是源图像I1和源图像I3之间的光流信息。
光流提供了恢复运动的线索，例如，若前一帧源图像为It-1，当前帧源图像为It，则两者之间的前向光流信息保留了从源图像It到源图像It-1的运动方向和速率，而两者之间的后向光流信息保留了从源图像It-1到源图像It的运动方向和速率，其中，图4示意性示出了从源图像It-1到源图像It的光流信息。
本实施例中，对于分割模型所输出的多帧分割图像，按时序排列可记为F1，F2，F3，F4……。针对时间相邻的两帧分割图像，例如可以是分割图像F1和F2，或者也可以是分割图像F1和F3。其中，时间相邻的分割图像F1和F2对应源图像I1和I2，而时间相邻的分割图像F1和F3对应源图像I1和I3。
本实施例中，将获得的时间相邻的两帧分割图像中的其中一帧分割图像，按获得的与该两帧分割图像对应的源图像所计算得到的光流信息进行变化处理，得到预测分割图像。若分割模型对源图像的分割稳定性高，则得到的分割图像之间的光流场应当与源图像之间的光流场一致，那么基于源图像的光流信息所得到的预测分割图像应当与分割模型所输出的分割图像一致。
因此，本实施例，可将得到的预测分割图像与上述时间相邻的两帧分割图像中的另一帧分割图像进行比对，从而得到分割稳定值。
本实施例所提供的稳定性评估方案，利用分割之前源图像之间的光流信息进行分割图像的预测，再与基于分割模型真实得到的分割图像进行比对的方式，对分割模型的稳定性进行评估，有利于后续对分割模型的优化进行指导。
由上述可知，光流信息可包括前向光流信息和后向光流信息，前向光流信息即为时间序列中时序靠后的图像帧变化为时序靠前的图像帧所依据的信息，而后向光流信息为时间序列中时序靠前的图像帧变化为时序靠后的图像帧所依据的信息。
其中，时序靠前的图像帧是指相邻的图像帧中时间戳较早的图像帧，时序靠后的图像帧是指相邻的图像帧中时间戳较晚的图像帧。例如，针对按时序排列的源图像I1，I2，I3，I4，其中，源图像I1为相对于源图像I2、I3和I4的时序靠前的源图像，源图像I2为相对于源图像I1的时序靠后的源图像，源图像I2为相对于源图像I3和I4的时序靠前的源图像。
本实施例中，作为一种可能的实施方式，可基于后向光流信息进行分割图像的预测，请参阅图5，该后向光流信息可预先通过以下方式获得：
步骤S510，针对所述源视频包括的时间相邻的两帧源图像，获取其中时序靠前的源图像及时序靠后的源图像。
步骤S520，针对所述时序靠前的源图像中的每个像素点，计算该像素点变化至所述时序靠后的源图像中对应像素点的矢量信息。
步骤S530，根据所述时序靠前的源图像中的所有像素点对应的矢量信息，得到后向光流信息。
例如，获得的时间相邻的两帧源图像分别为I1和I2，其中，I1为时序靠前的源图像，I2为时序靠后的源图像。其中，源图像I1中的各个像素点在源图像I2上具有对应的像素点。针对源图像I1中的每个像素点，可计算该像素点变化至源图像I2中的对应像素点的矢量信息。在获得源图像I1中的所有像素点分别变化至其在源图像I2中的对应像素点的矢量信息后，综合得到的所有矢量信息，即可获得源图像I1变化至源图像I2的后向光流信息。
在获得后向光流信息的基础上，在进行分割图像预测时，请参阅图6，可通过以下方式进行：
步骤S231，获取所述时间相邻的两帧分割图像中时序靠前的分割图像。
步骤S232，根据所述时序靠前的分割图像的图像信息以及所述后向光流信息，计算得到所述时序靠前的分割图像按所述后向光流信息变化后的预测分割图像。
步骤S233，比对所述预测分割图像以及所述两帧分割图像中时序靠后的分割图像，得到分割稳定值。
以上述为例，假设获取的时间相邻的两帧分割图像分别为分割图像F1和F2，则其中，分割图像F1为时序靠前的分割图像。根据分割图像F1的图像信息以及上述获得的源图像I1变化至源图像I2的后向光流信息，则可获得分割图像F1按该后向光流信息变化后的预测分割图像。
应当理解，由于源图像I1按后向光流信息变化至源图像I2，而源图像I1和源图像I2之间是连贯的，两者之间不存在抖动现象，因此，分割图像F1基于该后向光流信息变化至预测分割图像，分割图像F1和预测分割图像之间也应当是连贯的、不存在抖动的，即该预测分割图像为预期的稳定性好的分割图像。
可将上述得到的预测分割图像与基于分割模型得到的分割图像F2进行对比，基于两者之间的差异，即可获得模型的分割稳定性情况。
本实施例中，作为另一种可能的实施方式，也可基于前向光流信息进行分割图像的预测，请参阅图7，该前向光流信息可预先通过以下方式获得：
步骤S710，针对所述源视频包括的时间相邻的两帧源图像，获取其中时序靠前的源图像及时序靠后的源图像。
步骤S720，针对所述时序靠后的源图像中的每个像素点，计算该像素点变化至所述时序靠前的源图像中对应像素点的矢量信息。
步骤S730，根据所述时序靠后的源图像中的所有像素点对应的矢量信息，得到前向光流信息。
本实施例中，假设针对源视频中时间相邻的两帧源图像I1和I2，其中，源图像I1为时序靠前的源图像，源图像I2为时序靠后的源图像。针对源图像I2中的各个像素点，在源图像I1中具有对应的像素点，是由源图像I1中的像素点经过变换后形成源图像I2中的像素点的。相应地，源图像I2中的像素点也可通过一定的变换恢复为源图像I1中的对应像素点。因此，针对源图像I2中的每个像素点，可计算该像素点变化至源图像I1中的对应像素点的矢量信息。综合得到的所有矢量信息，即可获得源图像I2变化至源图像I1的前向光流信息。
在通过以上方式获得前向光流信息的基础上，请参阅图8，在进行分割图像预测时，可通过以下方式进行：
步骤S234，获取所述时间相邻的两帧分割图像中时序靠后的分割图像。
步骤S235，根据所述时序靠后的分割图像的图像信息以及所述前向光流信息，计算得到所述时序靠后的分割图像按所述前向光流信息变化后的预测分割图像。
步骤S236，比对所述预测分割图像以及所述两帧分割图像中时序靠前的分割图像，得到分割稳定值。
以上述为例，假设获取的时间相邻的两帧分割图像分别为分割图像F1和F2，其中，分割图像F1为时序靠前的分割图像，F2为时序靠后的分割图像。根据分割图像F2的图像信息以及上述获得的源图像I2变化至源图像I1的前向光流信息，则可获得分割图像F2按该前向光流信息变化后的预测分割图像。
同理，由于源图像I2按前向光流信息变化至源图像I1，源图像I2和源图像I1之间是连贯的，因此，分割图像F2基于该前向光流信息变化至预测分割图像，分割图像F2与预测分割图像之间也应当是连贯的。可将获得的该预测分割图像与实际的分割图像F1进行比对，即可获得分割图像F1的分割稳定性情况。而分割图像F2到分割图像F1之间的稳定性情况，可相当于分割图像F1到分割图像F2之间的稳定性情况。
在本实施例中，为了将分割稳定值进行量化，以便于有数值化的评估指标，因此，可通过以下方式得到分割稳定值：
可计算得到的预测分割图像与上述时间相邻的两帧分割图像中的另一帧分割图像之间的灰度差，再计算源视频包含的每组时间相邻的两帧分割图像所得到的灰度差的平均值，得到分割稳定值。
例如，假设源视频包含源图像I1，I2，I3，I4，相应地，得到的分割图像为F1，F2，F3，F4。在进行计算时，可将分割图像F1和F2作为一组，分割图像F2和F3作为一组，分割图像F3和F4作为一组。按上述方式，可分别计算得到三组分割图像分别计算得到的灰度差，对三组分割图像得到的灰度差进行均值求取，作为最终的分割稳定值。
当然应当理解，上述源视频包含的图像的帧数以及划分组的方式仅为举例说明，并不限定于此。
可选地，在计算预测分割图像与实际得到的分割图像之间的灰度差时，可针对预测分割图像中的每个像素点，计算该像素点与上述的两帧分割图像中的另一帧分割图像对应的像素点之间的灰度差的绝对值，再计算预测分割图像中包含的所有像素点各自得到的灰度差的绝对值的总值。以此作为预测分割图像与实际得到的分割图像之间的灰度差。
本实施例中，得到的分割稳定值的数值越小，则表明实际得到的分割图像与预期的分割图像之间的差异越小，即分割的稳定性越高，反之，则分割稳定性越低。因此，可检测得到的分割稳定值与预设阈值之间的大小关系，若分割稳定值低于预设阈值，则表明训练得到的分割模型其分割稳定性较好。而若分割稳定值高于预设阈值，则需要对分割模型进行优化，以提高分割模型的分割稳定性。
可选地，在分割稳定值高于预设阈值时，可调整分割模型的模型参数，并将源视频导入至调整后的分割模型中继续进行分割，再执行上述的分割图像预测、对比分割图像得到分割稳定性的步骤，直至得到的分割稳定值低于预设阈值时为止。如此，得到的分割稳定值可为分割模型的训练提供指导意义，基于不断减小分割稳定值的方向对分割模型进行优化，提高分割模型的分割稳定性。
请参阅图9，为本申请实施例提供的电子设备的示例性组件示意图，该电子设备可为图1中所示的直播提供终端100或直播接收终端300或直播服务器200。该电子设备可包括存储介质110、处理器120、稳定性评估装置130及通信接口140。本实施例中，存储介质110与处理器120均位于电子设备中且二者分离设置。然而，应当理解的是，存储介质110也可以是独立于电子设备之外，且可以由处理器120通过总线接口来访问。可替换地，存储介质110也可以集成到处理器120中，例如，可以是高速缓存和/或通用寄存器。
稳定性评估装置130可以理解为上述电子设备，或电子设备的处理器120，也可以理解为独立于上述电子设备或处理器120之外的在电子设备控制下实现上述稳定性评估方法的软件功能模块。
如图10所示，上述稳定性评估装置130可以包括导入模块131、光流信息获取模块132以及比对模块133。下面分别对该稳定性评估装置130的各个功能模块的功能进行详细阐述。
导入模块131，用于将获得的源视频导入至预先建立的分割模型，输出所述源视频包含的各帧源图像对应的分割图像；可以理解，该导入模块131可以用于执行上述步骤S210，关于该导入模型的详细实现方式可以参照上述对步骤S210有关的内容。
光流信息获取模块132，用于针对时间相邻的两帧分割图像，获取预先根据该两帧分割图像对应的两帧源图像计算得到的光流信息；可以理解，该光流信息获取模块132可以用于执行上述步骤S220，关于该光流信息获取模块132的详细实现方式可以参照上述对步骤S220有关的内容。
比对模块133，用于获取所述两帧分割图像中的其中一帧分割图像按所述光流信息变化后的预测分割图像，比对所述预测分割图像以及所述两帧分割图像中的另一帧分割图像，得到分割稳定值。可以理解，该比对模块133可以用于执行上述步骤S230，关于该比对模块133的详细实现方式可以参照上述对步骤S230有关的内容。
在一种可能的实施方式中，导入模块131可以用于通过以下方式得到分割图像：
将获得的源视频导入至预先建立的分割模型，利用所述分割模型分割出各所述源图像中包含的人像区域以及背景区域，并以第一像素点标记所述人像区域，以第二像素点标记所述背景区域；
输出各所述源图像对应的标记后的包含人像区域和背景区域的分割图像。
在一种可能的实施方式中，所述光流信息包括后向光流信息，比对模块133可以用于通过以下方式获得分割稳定值：
获取所述时间相邻的两帧分割图像中时序靠前的分割图像；
根据所述时序靠前的分割图像的图像信息以及所述后向光流信息，计算得到所述时序靠前的分割图像按所述后向光流信息变化后的预测分割图像；
比对所述预测分割图像以及所述两帧分割图像中时序靠后的分割图像，得到分割稳定值。
在一种可能的实施方式中，光流信息包括后向光流信息，稳定性评估装置130还包括计算模块，该计算模块用于通过以下方式计算获得后向光流信息：
针对所述源视频包括的时间相邻的两帧源图像，获取其中时序靠前的源图像及时序靠后的源图像；
针对所述时序靠前的源图像中的每个像素点，计算该像素点变化至所述时序靠后的源图像中对应像素点的矢量信息；
根据所述时序靠前的源图像中的所有像素点对应的矢量信息，得到后向光流信息。
在一种可能的实施方式中，光流信息包括前向光流信息，比对模块133还可以用于通过以下方式获得分割稳定值：
获取所述时间相邻的两帧分割图像中时序靠后的分割图像；
根据所述时序靠后的分割图像的图像信息以及所述前向光流信息，计算得到所述时序靠后的分割图像按所述前向光流信息变化后的预测分割图像；
比对所述预测分割图像以及所述两帧分割图像中时序靠前的分割图像，得到分割稳定值。
在一种可能的实施方式中，比对模块133可以用于通过以下方式计算得到分割稳定值：
计算所述预测分割图像与所述两帧分割图像中的另一帧分割图像之间的灰度差；
计算所述源视频包含的每组时间相邻的两帧分割图像所得到的灰度差的平均值，得到所述分割稳定值。
在一种可能的实施方式中，比对模块133可以用于通过以下方式计算预测分割图像与两帧分割图像中的另一帧分割图像之间的灰度差：
针对所述预测分割图像中的每个像素点，计算该像素点与所述两帧分割图像中的另一帧分割图像对应的像素点之间的灰度差的绝对值；
计算所述预测分割图像中包含的所有像素点各自得到的灰度差的绝对值的总值。
在一种可能的实施方式中，稳定性评估装置130还包括调整模块，该调整模块可以用于：
在所述分割稳定值高于预设阈值时，调整所述分割模型的模型参数，并将所述源视频导入至调整后的分割模型中继续进行分割，直至得到的分割稳定值低于所述预设阈值为止。
在本申请实施例中，对应于上述的稳定性评估方法，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，该计算机程序运行时执行上述稳定性评估方法的各个步骤。
其中，前述计算机程序运行时执行的各步骤，在此不再一一赘述，可参考前文对所述稳定性评估方法的解释说明。
综上所述，本申请实施例提供一种稳定性评估方法、装置、电子设备和计算机可读存储介质，预先利用源视频中时间相邻的源图像计算得到源图像之间的光流信息，即变化信息。在利用分割模型得到各个源图像对应的分割图像之后，针对时间相邻的分割图像，利用预先得到该相邻的分割图像所对应的源图像的光流信息以及其中一帧分割图像，计算出预测分割图像。再将预测分割图像与实际得到的分割图像进行比对，从而得到分割稳定值。该方案利用分割之前源图像之间的光流信息进行分割图像的预测，再与基于分割模型真实得到的分割图像进行比对的方式，对分割模型的稳定性进行评估，有利于分割模型的优化。
在本申请实施例所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，电子设备，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (11)

1.一种稳定性评估方法，其特征在于，所述方法包括：
将获得的源视频导入至预先建立的分割模型，输出所述源视频包含的各帧源图像对应的分割图像；
针对时间相邻的两帧分割图像，获取预先根据该两帧分割图像对应的两帧源图像计算得到的光流信息；所述光流信息是其中一张所述源图像到另一张所述源图像的运动方向和速率；
获取所述两帧分割图像中的其中一帧分割图像按所述光流信息变化后的预测分割图像，比对所述预测分割图像以及所述两帧分割图像中的另一帧分割图像，得到分割稳定值。
2.根据权利要求1所述的稳定性评估方法，其特征在于，所述源视频中的各帧源图像包含人像，所述将获得的源视频导入至预先建立的分割模型，输出所述源视频包含的各帧源图像对应的分割图像的步骤，包括：
将获得的源视频导入至预先建立的分割模型，利用所述分割模型分割出各所述源图像中包含的人像区域以及背景区域，并以第一像素点标记所述人像区域，以第二像素点标记所述背景区域；
输出各所述源图像对应的标记后的包含人像区域和背景区域的分割图像。
3.根据权利要求1所述的稳定性评估方法，其特征在于，所述光流信息包括后向光流信息，所述获取所述两帧分割图像中的其中一帧分割图像按所述光流信息变化后的预测分割图像，比对所述预测分割图像以及所述两帧分割图像中的另一帧分割图像，得到分割稳定值的步骤，包括：
获取所述时间相邻的两帧分割图像中时序靠前的分割图像；
根据所述时序靠前的分割图像的图像信息以及所述后向光流信息，计算得到所述时序靠前的分割图像按所述后向光流信息变化后的预测分割图像；
比对所述预测分割图像以及所述两帧分割图像中时序靠后的分割图像，得到分割稳定值。
4.根据权利要求1所述的稳定性评估方法，其特征在于，所述光流信息包括后向光流信息，获取所述后向光流信息的步骤包括：
针对所述源视频包括的时间相邻的两帧源图像，获取其中时序靠前的源图像及时序靠后的源图像；
针对所述时序靠前的源图像中的每个像素点，计算该像素点变化至所述时序靠后的源图像中对应像素点的矢量信息；
根据所述时序靠前的源图像中的所有像素点对应的矢量信息，得到后向光流信息。
5.根据权利要求1所述的稳定性评估方法，其特征在于，所述光流信息包括前向光流信息，所述获取所述两帧分割图像中的其中一帧分割图像按所述光流信息变化后的预测分割图像，比对所述预测分割图像以及所述两帧分割图像中的另一帧分割图像，得到分割稳定值的步骤，包括：
获取所述时间相邻的两帧分割图像中时序靠后的分割图像；
根据所述时序靠后的分割图像的图像信息以及所述前向光流信息，计算得到所述时序靠后的分割图像按所述前向光流信息变化后的预测分割图像；
比对所述预测分割图像以及所述两帧分割图像中时序靠前的分割图像，得到分割稳定值。
6.根据权利要求1所述的稳定性评估方法，其特征在于，所述比对所述预测分割图像以及所述两帧分割图像中的另一帧分割图像，得到分割稳定值的步骤，包括：
计算所述预测分割图像与所述两帧分割图像中的另一帧分割图像之间的灰度差；
计算所述源视频包含的每组时间相邻的两帧分割图像所得到的灰度差的平均值，得到所述分割稳定值。
7.根据权利要求6所述的稳定性评估方法，其特征在于，所述计算所述预测分割图像与所述两帧分割图像中的另一帧分割图像之间的灰度差的步骤，包括：
针对所述预测分割图像中的每个像素点，计算该像素点与所述两帧分割图像中的另一帧分割图像对应的像素点之间的灰度差的绝对值；
计算所述预测分割图像中包含的所有像素点各自得到的灰度差的绝对值的总值。
8.根据权利要求1-7任意一项所述的稳定性评估方法，其特征在于，所述方法还包括：
在所述分割稳定值高于预设阈值时，调整所述分割模型的模型参数，并将所述源视频导入至调整后的分割模型中继续进行分割，直至得到的分割稳定值低于所述预设阈值为止。
9.一种稳定性评估装置，其特征在于，所述装置包括：
导入模块，用于将获得的源视频导入至预先建立的分割模型，输出所述源视频包含的各帧源图像对应的分割图像；
光流信息获取模块，用于针对时间相邻的两帧分割图像，获取预先根据该两帧分割图像对应的两帧源图像计算得到的光流信息；所述光流信息是其中一张所述源图像到另一张所述源图像的运动方向和速率；
比对模块，用于获取所述两帧分割图像中的其中一帧分割图像按所述光流信息变化后的预测分割图像，比对所述预测分割图像以及所述两帧分割图像中的另一帧分割图像，得到分割稳定值。
10.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序；
与所述存储器连接的处理器，用于执行所述计算机程序，以实现权利要求1-8任意一项所述的稳定性评估方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-8任意一项所述的稳定性评估方法。
CN202010112749.0A 2020-02-24 2020-02-24 稳定性评估方法、装置、电子设备和计算机可读存储介质 Active CN111340101B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010112749.0A CN111340101B (zh) 2020-02-24 2020-02-24 稳定性评估方法、装置、电子设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010112749.0A CN111340101B (zh) 2020-02-24 2020-02-24 稳定性评估方法、装置、电子设备和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111340101A CN111340101A (zh) 2020-06-26
CN111340101B true CN111340101B (zh) 2023-06-30

Family

ID=71185550

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010112749.0A Active CN111340101B (zh) 2020-02-24 2020-02-24 稳定性评估方法、装置、电子设备和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111340101B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111898573A (zh) * 2020-08-05 2020-11-06 上海眼控科技股份有限公司 图像预测方法、计算机设备和存储介质
CN112418481A (zh) * 2020-10-21 2021-02-26 上海眼控科技股份有限公司 雷达回波图预测方法、装置、计算机设备和存储介质
CN112734805B (zh) * 2021-01-11 2022-04-15 北京深睿博联科技有限责任公司 一种基于深度学习的行人运动轨迹预测方法及装置
CN114387311B (zh) * 2021-12-21 2024-06-25 国能新朔铁路有限责任公司 Lkj文件与机车视频自动对时方法、装置和计算机设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109272457B (zh) * 2018-08-09 2022-07-22 腾讯科技（深圳）有限公司 一种图像掩膜生成方法、装置及服务器
CN110569698B (zh) * 2018-08-31 2023-05-12 创新先进技术有限公司 一种图像目标检测及语义分割方法和装置
CN110176027B (zh) * 2019-05-27 2023-03-14 腾讯科技（深圳）有限公司 视频目标跟踪方法、装置、设备及存储介质
CN110310299B (zh) * 2019-07-03 2021-11-19 北京字节跳动网络技术有限公司 用于训练光流网络、以及处理图像的方法和装置
CN110427899B (zh) * 2019-08-07 2023-06-13 网易（杭州）网络有限公司 基于人脸分割的视频预测方法及装置、介质、电子设备

Also Published As

Publication number Publication date
CN111340101A (zh) 2020-06-26

Similar Documents

Publication Publication Date Title
CN111340101B (zh) 稳定性评估方法、装置、电子设备和计算机可读存储介质
CN108875676B (zh) 活体检测方法、装置及系统
EP3540637A1 (en) Neural network model training method, device and storage medium for image processing
US9224211B2 (en) Method and system for motion detection in an image
CN112967212A (zh) 一种虚拟人物的合成方法、装置、设备及存储介质
CN106875437B (zh) 一种面向rgbd三维重建的关键帧提取方法
CN112989116B (zh) 一种视频推荐方法、系统及装置
KR101173559B1 (ko) 비디오 동영상의 움직이는 다중 객체 자동 분할 장치 및 방법
CN113516666A (zh) 图像裁剪方法、装置、计算机设备及存储介质
CN107959798B (zh) 视频数据实时处理方法及装置、计算设备
CN111985419B (zh) 视频处理方法及相关设备
WO2022148248A1 (zh) 图像处理模型的训练方法、图像处理方法、装置、电子设备及计算机程序产品
CN111507997A (zh) 图像分割方法、装置、设备及计算机存储介质
CN115334335B (zh) 视频插帧方法及装置
CN115205150A (zh) 图像的去模糊方法、装置、设备、介质及计算机程序产品
CN112488072A (zh) 一种人脸样本集获取方法、系统及设备
CN116170650A (zh) 视频插帧方法及装置
CN112101344A (zh) 一种视频文本跟踪方法及装置
CN113688839B (zh) 视频处理方法及装置、电子设备、计算机可读存储介质
GB2572435A (en) Manipulating a face in an image
CN111914850B (zh) 图片特征提取方法、装置、服务器和介质
CN116188535A (zh) 基于光流估计的视频跟踪方法、装置、设备及存储介质
CN116188954A (zh) 目标检测算法在线评估方法、系统和电子设备及存储介质
CN112085025B (zh) 物体分割方法、装置、设备
CN114387440A (zh) 一种视频裁剪方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant