CN117011325A - 视频处理方法、装置、计算机设备和存储介质 - Google Patents

视频处理方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN117011325A
CN117011325A CN202211263414.4A CN202211263414A CN117011325A CN 117011325 A CN117011325 A CN 117011325A CN 202211263414 A CN202211263414 A CN 202211263414A CN 117011325 A CN117011325 A CN 117011325A
Authority
CN
China
Prior art keywords
image
target
segmentation
images
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211263414.4A
Other languages
English (en)
Inventor
刘文然
文伟
朱允全
钟立耿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202211263414.4A priority Critical patent/CN117011325A/zh
Publication of CN117011325A publication Critical patent/CN117011325A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种视频处理方法、装置、计算机设备、存储介质和计算机程序产品，可应用于云技术、人工智能、智慧交通、辅助驾驶等各种场景。方法包括：对待处理视频中的各图像帧进行目标分割处理，得到各图像帧对应的初始分割图像，并从初始分割图像中确定多张选定分割图像；针对多张选定分割图像中的当前选定分割图像，基于时序在当前选定分割图像之前的分割图像，对当前选定分割图像进行帧间平滑处理；基于帧间平滑处理得到的图像进行连通域检测，并基于连通域检测结果进行前景优化，以保留目标前景对象；基于前景优化后的图像进行边缘优化处理，得到目标分割图像，并根据各选定分割图像各自对应的目标分割图像，确定目标视频。提升了分割准确性。

Description

视频处理方法、装置、计算机设备和存储介质
技术领域
本申请涉及图像处理技术领域，特别是涉及一种视频处理方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
随着智能终端技术的发展，智能终端上应用的种类也日渐丰富，其中视频类应用为传播最广、使用率最高的种类之一，很多视频类应用提供针对背景或者前景的特效功能，以增加应用的玩法趣味性，在此情况下，如何将组成视频的图像帧中的前景和背景分割开成为亟待解决的问题。
传统技术中，基于图像样本进行模型训练，得到目标分割模型，将图像帧输入训练好的目标分割模型中，目标分割模型便会输出图像帧对应的分割图像。然而，这种分割方式的准确性并不高。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提升分割准确性的视频处理方法、装置、计算机设备、存储介质和计算机程序产品、装置、计算机设备、计算机可读存储介质和计算机程序产品。
一方面，本申请提供了一种视频处理方法。方法包括：
对待处理视频中的各图像帧进行目标分割处理，得到各图像帧对应的初始分割图像，并从初始分割图像中确定多张选定分割图像；
针对多张选定分割图像中的当前选定分割图像，基于时序在当前选定分割图像之前的分割图像，对当前选定分割图像进行帧间平滑处理；
基于帧间平滑处理得到的图像进行连通域检测，并基于连通域检测结果进行前景优化，以保留目标前景对象；
基于前景优化后的图像进行边缘优化处理，得到目标分割图像，并根据各选定分割图像各自对应的目标分割图像，确定目标视频。
另一方面，本申请还提供了一种视频处理装置。装置包括：
初步分割模块，用于对待处理视频中的各图像帧进行目标分割处理，得到各图像帧对应的初始分割图像，并从初始分割图像中确定多张选定分割图像；
帧间平滑模块，用于针对多张选定分割图像中的当前选定分割图像，基于时序在当前选定分割图像之前的分割图像，对当前选定分割图像进行帧间平滑处理；
连通域检测模块，用于基于帧间平滑处理得到的图像进行连通域检测，并基于连通域检测结果进行前景优化，以保留目标前景对象；
边缘优化模块，用于基于前景优化后的图像进行边缘优化处理，得到目标分割图像，并根据各选定分割图像各自对应的目标分割图像，确定目标视频。
在一些实施例中，初步分割模块具体用于：获取待处理视频的帧率，并确定与帧率相匹配的图像采样率；基于图像采样率从各初始分割图像中采样得到多张选定分割图像。
在一些实施例中，帧间平滑模块还用于：确定多张选定分割图像各自对应的时序；基于当前选定分割图像对应的时序，从多张选定分割图像或者多张初始分割图像中，确定预设数量个时序在当前选定分割图像之前的分割图像。
在一些实施例中，帧间平滑模块具体用于：确定时序在当前选定分割图像之前的分割图像对应的影响系数；基于当前选定分割图像上各个像素的灰度值、时序在当前选定分割图像之前的分割图像上各个像素的灰度值、以及影响系数，对当前选定分割图像上各个像素的灰度值进行更新，以实现帧间平滑处理。
在一些实施例中，连通域检测模块具体用于：对帧间平滑处理得到的图像进行二值化处理，得到二值化图像；在二值化图像上查找像素值为前景像素值的像素，将查找到的像素构成的闭合区域作为连通域。
在一些实施例中，连通域检测模块具体用于：确定检测得到的连通域的连通域面积；将连通域面积和预设面积阈值进行比较；在连通域面积小于预设面积阈值的情况下，将连通域包含的像素的像素值更新为背景像素值，以实现前景优化。
在一些实施例中，边缘优化模块具体用于：通过预设膨胀核对前景优化后的图像进行膨胀处理，得到膨胀处理后的图像；通过预设腐蚀核对膨胀处理后的图像进行腐蚀处理，得到腐蚀处理后的图像；通过预设高斯核对腐蚀处理后的图像进行高斯模糊，得到目标分割图像。
在一些实施例中，边缘优化模块具体用于：将预设膨胀核的中心点，在前景优化后的图像中的目标前景对象所覆盖的各个第一像素上移动；当预设膨胀核的中心点移动至每个第一像素时，将前景优化后的图像上预设膨胀核覆盖的像素的像素值更新为前景像素值，以得到膨胀处理后的图像。
在一些实施例中，边缘优化模块具体用于：将预设腐蚀核的中心点，在膨胀处理后的图像中的目标前景对象所覆盖的各个第二像素上移动；当预设腐蚀核的中心点移动至每个第二像素时，判断预设腐蚀核覆盖的像素中是否存在不属于目标前景对象的像素；在预设腐蚀核覆盖的像素中存在不属于目标前景对象的像素的情况下，将当前移动至的像素的像素值更新为背景像素值，以得到腐蚀处理后的图像。
在一些实施例中，边缘优化模块具体用于：将预设高斯核的中心点，在腐蚀处理后的图像中的目标前景对象的边缘像素上移动；当预设高斯核的中心点移动至每个边缘像素时，将腐蚀处理后的图像上预设高斯核覆盖的各像素的像素值，与预设高斯核相应位置的权重值相乘，得到相乘结果；将预设高斯核覆盖的各像素各自对应的相乘结果相加，将相应边缘像素的像素值更新为相加结果，以得到目标分割图像。
在一些实施例中，边缘优化模块具体用于：在各初始分割图像中确定处于相邻选定分割图像中间的目标初始分割图像；将相邻选定分割图像中任一选定分割图像所对应的目标分割图像，作为目标初始分割图像对应的目标分割图像；组合各目标初始分割图像各自对应的目标分割图像，以及各选定分割图像各自对应的目标分割图像，得到目标视频。
在一些实施例中，边缘优化模块还用于：针对待处理视频中的各图像帧，从目标视频中确定与每张图像帧分别对应的目标分割图像；基于各目标分割图像，确定每张图像帧各自所包括的前景区域和背景区域；按照预设功能需求，对各图像帧中的背景区域进行相应的功能化处理，得到与预设功能需求匹配的视频。
第三方面，本申请还提供了一种计算机设备。计算机设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：
对待处理视频中的各图像帧进行目标分割处理，得到各图像帧对应的初始分割图像，并从初始分割图像中确定多张选定分割图像；
针对多张选定分割图像中的当前选定分割图像，基于时序在当前选定分割图像之前的分割图像，对当前选定分割图像进行帧间平滑处理；
基于帧间平滑处理得到的图像进行连通域检测，并基于连通域检测结果进行前景优化，以保留目标前景对象；
基于前景优化后的图像进行边缘优化处理，得到目标分割图像，并根据各选定分割图像各自对应的目标分割图像，确定目标视频。
第四方面，本申请还提供了一种计算机可读存储介质。计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
对待处理视频中的各图像帧进行目标分割处理，得到各图像帧对应的初始分割图像，并从初始分割图像中确定多张选定分割图像；
针对多张选定分割图像中的当前选定分割图像，基于时序在当前选定分割图像之前的分割图像，对当前选定分割图像进行帧间平滑处理；
基于帧间平滑处理得到的图像进行连通域检测，并基于连通域检测结果进行前景优化，以保留目标前景对象；
基于前景优化后的图像进行边缘优化处理，得到目标分割图像，并根据各选定分割图像各自对应的目标分割图像，确定目标视频。
第五方面，本申请还提供了一种计算机程序产品。计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
对待处理视频中的各图像帧进行目标分割处理，得到各图像帧对应的初始分割图像，并从初始分割图像中确定多张选定分割图像；
针对多张选定分割图像中的当前选定分割图像，基于时序在当前选定分割图像之前的分割图像，对当前选定分割图像进行帧间平滑处理；
基于帧间平滑处理得到的图像进行连通域检测，并基于连通域检测结果进行前景优化，以保留目标前景对象；
基于前景优化后的图像进行边缘优化处理，得到目标分割图像，并根据各选定分割图像各自对应的目标分割图像，确定目标视频。
上述视频处理方法、装置、计算机设备、存储介质和计算机程序产品，对待处理视频中的各图像帧进行目标分割处理，得到各图像帧对应的初始分割图像，并从初始分割图像中确定多张选定分割图像；针对多张选定分割图像中的当前选定分割图像，基于时序在当前选定分割图像之前的分割图像，对当前选定分割图像进行帧间平滑处理。帧间平滑处理得到的图像结合了在前分割图像的信息，使得当前选定分割图像和在前分割图像之间跳动减小，连贯性增强。进而再基于帧间平滑处理得到的图像进行连通域检测，基于连通域检测结果进行前景优化，以保留目标前景对象，可将非目标前景对象滤除，避免了将不属于前景的单独区域被误分割为前景的情况发生。进一步地，基于前景优化后的图像进行边缘优化处理，得到目标分割图像，可使得目标前景对象的边缘更加平滑，并且与图像帧中前景对象的边缘更加贴合。通过这种方式进行目标前景对象的分割，可以在整体上使得分割出的目标前景对象更稳定、准确和清晰，有效提升了目标前景对象分割的清晰度和连贯性，并抑制了分割错误的小面积前景，大大提高了分割准确性。
附图说明
图1为一个实施例中视频处理方法的应用环境图；
图2为一个实施例中视频处理方法的流程示意图；
图3为一个实施例中前景优化处理的示意图；
图4为一个实施例中膨胀处理的示意图；
图5为一个实施例中腐蚀处理的示意图；
图6为另一个实施例中视频处理方法的流程示意图；
图7为一个实施例中背景替换处理的示意图；
图8为另一个实施例中视频处理方法的流程示意图；
图9为另一个实施例中视频处理方法的流程示意图；
图10为一个实施例中目标分割图像的示意图；
图11为一个实施例中视频处理装置的结构框图；
图12为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的视频处理方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他服务器上。本申请各实施例所提供的视频处理方法可通过终端102或服务器104单独执行，还可以通过终端102和服务器104共同协作执行。以终端单独执行为例进行说明：对待处理视频中的各图像帧进行目标分割处理，得到各图像帧对应的初始分割图像，并从初始分割图像中确定多张选定分割图像；针对多张选定分割图像中的当前选定分割图像，基于时序在当前选定分割图像之前的分割图像对当前选定分割图像进行帧间平滑处理；基于帧间平滑处理得到的图像进行连通域检测，并基于连通域检测结果进行前景优化，以保留帧间平滑处理得到的图像中的目标前景对象；基于前景优化后的图像进行边缘优化处理，得到目标分割图像，并根据各选定分割图像各自对应的目标分割图像，确定目标视频。
其中，终端102包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端、飞行器等。服务器104可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。本发明实施例可应用于各种场景，包括但不限于云技术、人工智能、智慧交通、辅助驾驶等。
本申请实施例提供的视频处理方法可通过计算机视觉技术(Computer Vision,CV)实现，计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、移动轨迹检测和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
在一个实施例中，如图2所示，提供了一种视频处理方法，以该方法应用于计算机设备(该计算机设备具体可以是图1中的终端或服务器)为例进行说明，包括以下步骤：
S202、对待处理视频中的各图像帧进行目标分割处理，得到各图像帧对应的初始分割图像，并从初始分割图像中确定多张选定分割图像。
其中，待处理视频可以为图像采集装置采集的视频，也可以为采用视频制作装置制作的视频，本申请实施例对此不作限定。
其中，待处理视频是由图像帧组成的，每张图像帧均有对应的帧序号，各图像帧的帧序号按照播放顺序呈规律变化。图像帧对应的帧序号可以为字母、数字、或者字母和数字的组合，各图像帧的帧序号可以按照播放顺序递增或者递减，本申请实施例对此不作限定。
其中，图像帧的帧序号在后续处理过程中可以复用，比如某张图像帧的帧序号为10，对该图像帧进行图像处理后得到的图像的帧序号也可为10。
举例来说，待处理视频包括N张图像帧，第一张播放的图像帧的帧序号可以为，第二张图像帧的帧序号可以为2，第三张播放的图像帧的帧序号可以为3，以此类推。
在一些实施例中，计算机设备可将待处理视频进行拆分，得到组成待处理视频的各图像帧，对于每张图像帧，计算机设备可对该图像帧进行目标分割处理，得到该图像帧对应的初始分割图像。
在一些实施例中，计算机设备可预先训练得到目标分割模型，在得到组成待处理视频的各图像帧后，对于每张图像帧，计算机设备可将该图像帧输入至目标分割模型中，将目标分割模型输出的图像作为该图像帧对应的初始分割图像。对组成待处理视频的各图像帧均做上述处理，可得到各图像帧对应的初始分割图像。
在一些实施例中，计算机设备可从初始分割图像中确定多张选定分割图像，具体的，得到各图像帧各自对应的初始分割图像后，可将各初始分割图像，均作为选定分割图像。或者，在各初始分割图像中，每隔预设帧数，选择一张初始分割图像作为选定分割图像。或者，基于待处理视频的帧率确定图像采样率，基于图像采样率，从各初始分割图像中选择选定分割图像。
举例来说，待处理视频包括N张图像帧，对于每张图像帧，计算机设备将该图像帧输入至目标分割模型，可得到该图像帧对应的初始分割图像，共可得到N张初始分割图像，假设预设帧数为3帧，可从N张初始分割图像中，每隔3帧取一张初始分割图像作为选定分割图像，从而得到多张选定分割图像。
S204、针对多张选定分割图像中的当前选定分割图像，基于时序在当前选定分割图像之前的分割图像，对当前选定分割图像进行帧间平滑处理。
在一些实施例中，计算机设备可基于待处理视频的各图像帧的帧序号的变换规律，确定时序在当前选定分割图像之前的分割图像。
具体的，在组成待处理视频的各图像帧的帧序号按照播放顺序递增的情况下，计算机设备可将帧序号小于当前选定分割图像的帧序号的分割图像，作为时序在当前选定分割图像之前的分割图像。在组成待处理视频的各图像帧的帧序号按照播放顺序递减的情况下，计算机设备可将帧序号大于当前选定分割图像的帧序号的分割图像，作为时序在当前选定分割图像之前的分割图像。
在一些实施例中，在从初始分割图像中确定多张选定分割图像后，对于多张选定分割图像中的当前选定分割图像，计算机设备可从多张选定分割图像中，提取时序在当前选定分割图像之前的预设数量个选定分割图像，基于提取到的选定分割图像对当前选定分割图像进行帧间平滑处理。其中，预设数量可以根据实际情况灵活设定，示例性的，预设数量可以为2。
举例来说，假设待处理视频包括N张图像帧，对于每张图像帧，计算机设备将该图像帧输入至目标分割模型，可得到该图像帧对应的初始分割图像，共可得到N张初始分割图像，假设从N张初始分割图像中确定了M张选定分割图像，对于M张选定分割图像中的当前选定分割图像，计算机设备可从M张选定分割图像提取时序在当前选定分割图像之前的2张选定分割图像，基于提取到的2张选定分割图像对当前选定分割图像进行帧间平滑处理。
在一些实施例中，在从初始分割图像中确定多张选定分割图像后，对于多张选定分割图像中的当前选定分割图像，计算机设备可在各初始分割图像中查找时序在当前选定分割图像之前，且未被选为选定分割图像的预设数量个初始分割图像，基于查找到的初始分割图像对当前选定分割图像进行帧间平滑处理。其中，预设数量可以根据实际情况灵活设定，示例性的，预设数量可以为2。
举例来说，假设待处理视频包括N张图像帧，对于每张图像帧，计算机设备将该图像帧输入至目标分割模型，可得到该图像帧对应的初始分割图像，共可得到N张初始分割图像，假设从N张初始分割图像中确定了M张选定分割图像，对于M张选定分割图像中的当前选定分割图像，可从N张初始分割图像查找时序在当前选定分割图像之前，且未被选为选定分割图像的2张初始分割图像，基于查找到的2张初始分割图像对当前选定分割图像进行帧间平滑处理。
在一些实施例中，计算机设备可获取当前选定分割图像上各个像素的像素值，以及时序排在当前选定分割图像之前的分割图像上各个像素的像素值，基于获取到的像素值，按照预设的规则对当前选定分割图像进行帧间平滑处理。
需要说明的是：在得到多张选定分割图像后，需通过本申请实施例提供的方法对每张选定分割图像均进行帧间平滑处理，上文中当前选定分割图像可以为多张选定分割图像中的任一张，每张选定分割图像的帧间平滑过程类型，本申请实施例不再一一赘述。
S206、基于帧间平滑处理得到的图像进行连通域检测，并基于连通域检测结果进行前景优化，以保留目标前景对象。
其中，目标分割模型输出初始分割图像可以为灰度图，对选定分割图像进行帧间平滑处理得到的图像也可以为灰度图。
在一些实施例中，计算机设备可对帧间平滑处理得到的图像进行二值化处理，从而将帧间平滑处理得到的图像转换为仅包括两个像素值的图像，为方便说明，本申请实施例中将二值化处理得到的图像称为二值化图像。可在二值化图像上进行连通域检测，得到至少一个连通域。对于检测得到的每个连通域，可判断该连通域是否为目标前景对象，若不是，则将该连通域覆盖的像素的像素值更新为背景像素值，以实现前景优化。
在一些实施例中，可预先设置二值化阈值，对于帧间平滑处理得到的图像上每个像素，计算机设备将该像素的像素值和二值化阈值进行比较，若该像素的像素值大于等于二值化阈值，则将该像素的像素值更新为预设的前景像素值，若该像素的像素值小于二值化阈值，则将该像素的像素值更新为预设的背景像素值。对帧间平滑处理得到的图像上每个像素均做上述处理，便可得到二值化图像。
其中，预设的前景像素值和预设的背景像素值不同，示例性的，预设的前景像素值可以为1，预设的背景像素值可以为0。
在一些实施例中，在得到二值化图像后，计算机设备可在二值化图像上查找像素值为前景像素值的像素，可将这些像素构成的至少一个闭合的区域，均作为连通域。
在一些实施例中，考虑到检测得到的至少一个连通域中可能存在干扰区域，本申请实施例提出利用预设面积阈值对干扰区域进行过滤，具体的，在检测得到至少一个连通域后，对于每个连通域，计算机设备将该连通域的面积和预设面积阈值进行比较，若该连通域的面积小于预设面积阈值，则确定该连通域不是目标前景对象，则将该连通域覆盖的像素的像素值更新为背景像素值，从而将干扰区域去除。或者，在检测得到至少一个连通域后，可获取每个连通域的形状，对于每个连通域，可判断该连通域的形状是否和目标前景对象匹配，若不匹配，则确定该连通域不是目标前景对象，则将该连通域覆盖的像素的像素值更新为背景像素值，从而将干扰区域去除。
S208、基于前景优化后的图像进行边缘优化处理，得到目标分割图像，并根据各选定分割图像各自对应的目标分割图像，确定目标视频。
其中，边缘优化处理指的是对前景优化后的图像中目标前景对象的边缘进行优化处理。边缘优化处理可以使前景优化后的图像中目标前景对象的边缘，与相应图像帧中真实前景对象的边缘更加贴合。
在一些实施例中，计算机设备可对前景优化后的图像进行任何能够提升边缘表达效果的图像处理，示例性的，可对前景优化后的图像进行膨胀处理、腐蚀处理、高斯模糊处理中的至少一种。
在一些实施例中，在从初始分割图像中确定多张选定分割图像后，对于多张选定分割图像中的每张选定分割图像，计算机设备可基于时序在该选定分割图像之前的分割图像，对该选定分割图像进行帧间平滑处理，然后，基于帧间平滑处理得到的图像进行连通域检测，并基于连通域检测结果进行前景优化，然后，基于前景优化后的图像进行边缘优化处理，得到目标分割图像。在对每张选定分割图像均做上述处理后，可以得到多张选定分割图像各自对应的目标分割图像。
在一些实施例中，上述实施例中仅获取到多张选定分割图像各自对应的目标分割图像，多张选定分割图像是从各图像帧对应的初始分割图像中选取的，也就是说，待处理视频中只有部分图像帧有对应的目标分割图像。为了获取到其他图像帧对应的目标分割图像，本申请实施例提出，将选定分割图像对应的目标分割图像进行扩展复用，以得到上文提到的其他图像帧对应的目标分割图像。
举例来说，假设待处理视频包括10张图像帧，通过目标分割模型可得到每张图像帧对应的初始分割图像，共可得到10张初始分割图像，假设预设帧数为3帧，可从10张初始分割图像中，每隔3帧取一张初始分割图像作为选定分割图像，假设选取第1张、第4张、第7张和第10张初始分割图像作为选定分割图像，通过本申请实施例提供的方式分别对4张选定分割图像进行处理，可以得到4张选定分割图像各自对应的目标分割图像，即得到10张图像帧中第1张、第4张、第7张和第10张图像帧各自对应的目标分割图像，可将第4张图像帧对应的目标分割图像复用为，第2张和第3张图像帧对应的目标分割图像，将第7张图像帧对应的目标分割图像复用为，第5张和第6张图像帧对应的目标分割图像，将第10张图像帧对应的目标分割图像复用为，第8张和第9张图像帧对应的目标分割图像。
在一些实施例中，在得到待处理视频中各图像帧各自对应的目标分割图像后，计算机设备可将各图像帧各自对应的目标分割图像按照帧序号进行组合，从而得到目标视频。
本申请实施例提供的视频处理方法，对待处理视频中的各图像帧进行目标分割处理，得到各图像帧对应的初始分割图像，并从初始分割图像中确定多张选定分割图像；针对多张选定分割图像中的当前选定分割图像，基于时序在当前选定分割图像之前的分割图像，对当前选定分割图像进行帧间平滑处理。帧间平滑处理得到的图像结合了在前分割图像的信息，使得当前选定分割图像和在前分割图像之间跳动减小，连贯性增强。进而再基于帧间平滑处理得到的图像进行连通域检测，基于连通域检测结果进行前景优化，以保留目标前景对象，可将非目标前景对象滤除，避免了将不属于前景的单独区域被误分割为前景的情况发生。进一步地，基于前景优化后的图像进行边缘优化处理，得到目标分割图像，可使得目标前景对象的边缘更加平滑，并且与图像帧中前景对象的边缘更加贴合。通过这种方式进行目标前景对象的分割，可以在整体上使得分割出的目标前景对象更稳定、准确和清晰，有效提升了目标前景对象分割的清晰度和连贯性，并抑制了分割错误的小面积前景，大大提高了分割准确性。
在一些实施例中，从初始分割图像中确定多张选定分割图像的步骤包括：获取待处理视频的帧率，并确定与帧率相匹配的图像采样率；基于图像采样率从各初始分割图像中采样得到多张选定分割图像。
其中，待处理视频的帧率可以为30fps，可以为60fps，或者其他数值，本申请实施例对此不作限定。
在一些实施例中，在得到待处理视频后，计算机设备可获取与待处理视频相关的配置信息，从配置信息中查找待处理视频的帧率。
在一些实施例中，在获取到待处理视频的帧率后，计算机设备可基于待处理视频的帧率确定对应的图像采样率，图像采样率可以和待处理视频的帧率呈正相关，即待处理视频的帧率越大，图像采样率越大。
在一些实施例中，可预先建立帧率和图像采样率之间的对应关系，在获取到待处理视频的帧率后，计算机设备可在该对应关系中查找待处理视频的帧率所对应的图像采样率，将查找到的图像采样率，作为与待处理视频的帧率相匹配的图像采样率。示例性，预先建立的对应关系中，帧率和图像采样率呈正相关。
在一些实施例中，在确定图像采样率后，计算机设备可基于图像采样率确定图像采样间隔，基于该图像采样间隔从各初始分割图像中采样得到多张选定分割图像。
举例来说，假设待处理视频的帧率为30fps，基于待处理视频的帧率确定的图像采样率为1/3，则可确定采样间隔为3，假设待处理视频包括N张图像帧，对于每张图像帧，将该图像帧输入至目标分割模型，可得到该图像帧对应的初始分割图像，共可得到N张初始分割图像，可从N张初始分割图像中，每隔3帧取一张初始分割图像作为选定分割图像，从而得到多张选定分割图像。
上述实施例中，考虑到对每张图像帧对应的初始分割图像均进行后续的分割处理时，最终得到的目标视频是每张图像帧对应的分割结果组成的，基于该目标视频从各个图像帧中截取出的前景的边缘在人眼直观感受下，容易产生剧烈跳动。因此提出获取待处理视频的帧率，并确定与帧率相匹配的图像采样率，基于图像采样率从各初始分割图像中采样得到多张选定分割图像。后续仅对多张选定分割图像进行后续的分割处理，并将分割结果复用至未被作为选定分割图像的其他初始分割图像，可避免上述前景边缘的跳动问题。
在一些实施例中，基于时序在当前选定分割图像之前的分割图像，对当前选定分割图像进行帧间平滑处理之前，本申请实施例提供的视频处理方法还包括：确定多张选定分割图像各自对应的时序；基于当前选定分割图像对应的时序，从多张选定分割图像或者多张初始分割图像中，确定预设数量个时序在当前选定分割图像之前的分割图像。
其中，如前述实施例所描述，待处理视频是由图像帧组成的，每张图像帧均有对应的帧序号，各图像帧的帧序号按照播放顺序呈规律变化，图像帧的帧序号在后续处理过程中可以复用，也就是说，每张图像帧经过目标分割处理所得到的初始分割图像的帧序号沿用该图像帧的帧序号。示例性的，比如某张图像帧的帧序号为5，该图像帧对应的初始分割图像的帧序号也为5。多张选定分割图像是从各图像帧对应的初始分割图像选取的，因此每张选定分割图像也有对应的帧序号，可基于多张选定分割图像各自对应的帧序号，确定多张选定分割图像各自对应的时序。
其中，在组成待处理视频的各图像帧的帧序号按照播放顺序递增的情况下，选定分割图像对应的帧序号越小，该选定分割图像的时序越靠前。在组成待处理视频的各图像帧的帧序号按照播放顺序递减的情况下，选定分割图像对应的帧序号越大，该选定分割图像的时序越靠前。本申请实施例以组成待处理视频的各图像帧的帧序号按照播放顺序递增为例对实现过程进行说明。
其中，预设数量可以根据实际情况灵活设置，示例性的，预设数量可以为2，本申请实施例对此不作限定。
在一些实施例中，在从初始分割图像中确定多张选定分割图像后，对于多张选定分割图像中的当前选定分割图像，计算机设备可基于当前选定分割图像对应的时序，从多张选定分割图像中，确定预设数量个时序在当前选定分割图像之前的分割图像。
在一些实施例中，计算机设备可基于当前选定分割图像对应的帧序号，从多张选定分割图像中，选择预设数量个帧序号小于当前选定分割图像的分割图像，作为时序在当前选定分割图像之前的分割图像。
举例来说，假设待处理视频包括10张图像帧，通过目标分割模型可得到每张图像帧对应的初始分割图像，假设从初始分割图像中选取帧序号为1、4、7、10的初始分割图像作为选定分割图像，假设当前选定分割图像为帧序号为4，则可将帧序号为1的选定分割图像作为时序在当前选定分割图像之前的分割图像。
在一些实施例中，在从初始分割图像中确定多张选定分割图像后，对于多张选定分割图像中的当前选定分割图像，计算机设备可基于当前选定分割图像对应的时序，从多张初始分割图像中，确定预设数量个时序在当前选定分割图像之前的分割图像。
在一些实施例中，计算机设备可基于当前选定分割图像对应的帧序号，从多张初始分割图像中，选择预设数量个帧序号小于当前选定分割图像的分割图像，作为时序在当前选定分割图像之前的分割图像。
举例来说，假设待处理视频包括10张图像帧，通过目标分割模型可得到每张图像帧对应的初始分割图像，假设从初始分割图像中选取帧序号为1、4、7、10的初始分割图像作为选定分割图像，假设当前选定分割图像为帧序号为4，则可将帧序号为2、3的初始分割图像作为时序在当前选定分割图像之前的分割图像。
上述实施例中，确定多张选定分割图像各自对应的时序；基于当前选定分割图像对应的时序，从多张选定分割图像或者多张初始分割图像中，确定预设数量个时序在当前选定分割图像之前的分割图像，该时序在当前选定分割图像之前的分割图像后续可用于对当前选定分割图像进行帧间平滑处理，使得帧间平滑处理得到的图像结合了在前分割图像的信息，从而使当前选定分割图像和在前分割图像之间跳动减小，连贯性增强。
在一些实施例中，基于时序在当前选定分割图像之前的分割图像，对当前选定分割图像进行帧间平滑处理，包括：确定时序在当前选定分割图像之前的分割图像对应的影响系数；基于当前选定分割图像上各个像素的灰度值、时序在当前选定分割图像之前的分割图像上各个像素的灰度值、以及影响系数，对当前选定分割图像上各个像素的灰度值进行更新，以实现帧间平滑处理。
其中，时序在当前选定分割图像之前的分割图像对应的影响系数用于指示，时序在当前选定分割图像之前的分割图像对当前选定分割图像的影响程度。影响系数越大，时序在当前选定分割图像之前的分割图像对当前选定分割图像的影响程度越大。
其中，时序在当前选定分割图像之前的分割图像的数量可以为多个，时序在当前选定分割图像之前的各个分割图像各自对应的影响系数之和可以为1。时序在当前选定分割图像之前的分割图像中，时序与当前选定分割图像越接近，分割图像对当前选定分割图像的影响系数越大。
在一些实施例中，在得到时序在当前选定分割图像之前的分割图像对应的影响系数后，计算机设备基于当前选定分割图像上各个像素的灰度值、时序在当前选定分割图像之前的分割图像上各个像素的灰度值、以及影响系数，计算当前选定分割图像上各个像素的新的灰度值，基于新的灰度值对当前选定分割图像上各个像素的灰度值进行更新。
示例性的，假设待处理视频包括N张图像帧，通过目标分割模型可得到每张图像帧对应的初始分割图像，共可得到N张初始分割图像，假设从N张初始分割图像中确定了M张选定分割图像，对于M张选定分割图像中的当前选定分割图像，可从M张选定分割图像提取时序在当前选定分割图像之前的2张选定分割图像，可基于当前选定分割图像上各个像素的灰度值、从M张选定分割图像中提取得到的2张选定分割图像上各个像素的灰度值、以及从M张选定分割图像中提取得到的2张选定分割图像各自对应的影响系数，对当前选定分割图像上各个像素的灰度值进行更新，以实现帧间平滑处理。
在一些实施例中，计算机设备可通过如下公式计算当前选定分割图像上各个像素的新的灰度值：
其中，Ft表示当前选定分割图像上像素的灰度值，Ft-1表示在当前选定分割图像之前的第1张选定分割图像上像素的灰度值，Ft-2表示在当前选定分割图像之前的第2张选定分割图像上像素的灰度值，α表示在当前选定分割图像之前的第1张选定分割图像对应的影响系数，β表示在当前选定分割图像之前的第2张选定分割图像对应的影响系数，α和β之和为1。
需要说明的是：上述公式仅以使用当前选定分割图像之前的2张分割图像对当前选定分割图像进行帧间平滑处理为例说明帧间平滑的过程，可以理解的，也可使用当前选定分割图像之前的N张分割图像对当前选定分割图像进行帧间平滑处理，N大于2或者N等于1，本申请实施例对此不作限定。
上述实施例中，确定时序在当前选定分割图像之前的分割图像对应的影响系数；基于当前选定分割图像上各个像素的灰度值、时序在当前选定分割图像之前的分割图像上各个像素的灰度值、以及影响系数，对当前选定分割图像上各个像素的灰度值进行更新，以实现帧间平滑处理。帧间平滑处理得到的图像结合了在前分割图像的信息，使得当前选定分割图像和在前分割图像之间跳动减小，连贯性增强。
在一些实施例中，基于帧间平滑处理得到的图像进行连通域检测的步骤，包括：对帧间平滑处理得到的图像进行二值化处理，得到二值化图像；在二值化图像上查找像素值为前景像素值的像素，将查找到的像素构成的闭合区域作为连通域。
如上文所描述，目标分割模型输出初始分割图像可以为灰度图，对选定分割图像进行帧间平滑处理得到的图像也可以为灰度图，可对帧间平滑处理得到的图像进行二值化处理，得到二值化图像。
在一些实施例中，对于帧间平滑处理得到的图像上的每个像素，计算机设备可判断该像素的像素值是否大于或者等于预设阈值，若是，则将该像素的像素值置为第一预设值，若否，则将该像素的像素值置为第二预设值。
其中，第一预设值和第二预设值不同，可将第一预设值作为前景像素值，可将第二预设值作为背景像素值。第一预设值可以为1，第二预设值可以为0。或者第一预设值可以为0，第二预设值可以为1。本申请实施例对此不作限定。
具体的，计算机设备可通过如下公式对帧间平滑处理得到的图像进行二值化处理：
其中，Ft B(i,j)表示二值化图像，i∈[1,W],j∈[1,H],W表示二值化图像的宽，H表示二值化图像的高，i和j表示像素下表。δ表示预设阈值。可将1作为前景像素值，将0作为背景像素值。如公式所见，可通过δ控制前景的大小，通常情况下，δ可取0.8。
在一些实施例中，在得到二值化图像后，计算机设备可在二值化图像上查找像素值为前景像素值的像素，将这些像素作为前景像素，前景像素通常情况下可构成至少一个闭合区域，可将该至少一个闭合区域均作为连通域。
上述实施例中，对帧间平滑处理得到的图像进行二值化处理，得到二值化图像；在二值化图像上查找像素值为前景像素值的像素，将查找到的像素构成的闭合区域作为连通域，检测出的连通域可用于后续前景优化，以将不属于前景的干扰区域删除，提升分割处理的准确性。
在一些实施例中，基于连通域检测结果进行前景优化的步骤，包括：确定检测得到的连通域的连通域面积；将连通域面积和预设面积阈值进行比较；在连通域面积小于预设面积阈值的情况下，将连通域包含的像素的像素值更新为背景像素值，以实现前景优化。
在一些实施例中，在得到二值化图像后，计算机设备可在二值化图像上查找像素值为前景像素值的像素，这些像素可构成至少一个闭合区域，可将该至少一个闭合区域均作为连通域，对于每个连通域，获取该连通域的面积，将该面积和预设面积阈值进行比较，若该面积大于或者等于预设面积阈值，则保持对应的连通域内各个像素的像素值不变，若该面积小于预设面积阈值，则将对应的连通域中各个像素的像素值置为背景像素值。
在一些实施例中，计算机设备可将预设面积阈值转换为像素数量，得到像素数量阈值，对于每个连通域，可获取该连通域所覆盖的像素的像素数量，使用该像素数量代表连通域的面积，将该像素数量和像素数量阈值进行比较，若该像素数量大于或者等于像素数量阈值，则保持对应的连通域内各个像素的像素值不变，若该像素数量小于像素数量阈值，则将对应的连通域中各个像素的像素值置为背景像素值。
举例来说，假设二值化图像上前景像素值为1，背景像素值为0，在二值化图像上查找像素值为1的像素，将这些像素构成的至少一个闭合区域均作为连通域，对于每个连通域，获取该连通域内像素的像素数量，将该像素数量和像素数量阈值进行比较，若该像素数量大于或者等于像素数量阈值，则保持该连通域内各个像素的像素值为1不变，若该像素数量小于像素数量阈值，则将该连通域内各个像素的像素值置为0，从而将面积较小的连通域删除。
示例性的，参见图3所示，在二值化图像上进行连通域检测，可以得到两个连通域，图3中使用数字1和2标识这两个连通域，假设数字1对应的连通域的面积小于预设面积阈值，数字2对应的连通域的面积大于预设面积阈值，则将数字1对应的连通域包含的像素的像素值更新为背景像素值，以删除小于预设面积阈值的连通域。
上述实施例中，确定检测得到的连通域的连通域面积；将连通域面积和预设面积阈值进行比较；在连通域面积小于预设面积阈值的情况下，将连通域包含的像素的像素值更新为背景像素值，可将非目标前景对象滤除，避免了将不属于前景的单独区域被误分割为前景的情况发生。
在一些实施例中，基于前景优化后的图像进行边缘优化处理，得到目标分割图像，包括：通过预设膨胀核对前景优化后的图像进行膨胀处理，得到膨胀处理后的图像；通过预设腐蚀核对膨胀处理后的图像进行腐蚀处理，得到腐蚀处理后的图像；通过预设高斯核对腐蚀处理后的图像进行高斯模糊，得到目标分割图像。
其中，预设膨胀核、预设腐蚀核以及预设高斯核的大小可以根据实际场景灵活设定，示例性的，预设膨胀核的大小可以为3×3，预设腐蚀核的大小可以为3×3，预设高斯核的大小可以为5×5，本申请实施例对此不作限定。
在一些实施例中，计算机设备可确定预设膨胀核的中心点，将该中心点在前景优化后的图像中的目标前景对象所覆盖的各个像素上移动，当移动至每个像素时，对前景优化后的图像上预设膨胀核所覆盖的像素进行像素值更新，从而得到膨胀处理后的图像。
在一些实施例中，在得到膨胀处理后的图像后，计算机设备获取预设腐蚀核的中心点，将该中心点在膨胀处理后的图像中的目标前景对象所覆盖的各个像素上移动，当移动至每个像素时，基于膨胀处理后的图像上预设腐蚀核所覆盖的像素，对当前移动至的像素进行像素值处理，从而得到腐蚀处理后的图像。
在一些实施例中，在得到腐蚀处理后的图像后，计算机设备获取预设高斯核的中心点，将该中心点在腐蚀处理后的图像中的目标前景对象的边缘像素上移动，当移动至每个边缘像素时，基于预设高斯核中的权重值以及腐蚀处理后的图像上预设高斯核覆盖的各像素的像素值，对当前移动至的边缘像素进行像素值更新，从而得到目标分割图像。
上述实施例中，通过预设膨胀核对前景优化后的图像进行膨胀处理，得到膨胀处理后的图像；通过预设腐蚀核对膨胀处理后的图像进行腐蚀处理，得到腐蚀处理后的图像；通过预设高斯核对腐蚀处理后的图像进行高斯模糊，得到目标分割图像，经过上述处理得到的目标前景对象的边缘更加平顺且有渐变的效果，提升了分割准确性。
在一些实施例中，通过预设膨胀核对前景优化后的图像进行膨胀处理，得到膨胀处理后的图像的步骤，包括：将预设膨胀核的中心点，在前景优化后的图像中的目标前景对象所覆盖的各个第一像素上移动；当预设膨胀核的中心点移动至每个第一像素时，将前景优化后的图像上预设膨胀核覆盖的像素的像素值更新为前景像素值，以得到膨胀处理后的图像。
其中，预设膨胀核的中心点可以为预设膨胀核中处于中心位置的点，前景优化后的图像中的目标前景对象包含多个像素，为便于区分说明，将前景优化后的图像中的目标前景对象所包含的各个像素均称为第一像素。
在一些实施例中，计算机设备将预设膨胀核的中心点在各个第一像素上移动时，可逐行在这些第一像素上移动，或者逐列在这些第一像素上移动，或者按照预设的规则在这些第一像素上移动，本申请实施例对此不作限定。
在一些实施例中，计算机设备将预设膨胀核的中心点移动至每个第一像素时，可获取前景优化后的图像上预设膨胀核覆盖的像素，将这些像素的像素值更新为前景像素值，从而可得到膨胀处理后的图像。
举例来说，参见图4所示，前景优化后的图像中的目标前景对象所覆盖的第一像素包括：第3行第3列的像素、第3行第4列的像素、第3行第5列的像素、第4行第3列的像素、第4行第4列的像素、第4行第5列的像素、第5行第3列的像素、第5行第5列的像素，这些像素的像素值为前景像素值，其余像素的像素值为背景像素值。预设膨胀核的大小为3×3。将预设膨胀核第2行第2列对应的点作为预设膨胀核的中心点，将该点依次在第3行第3列的像素、第3行第4列的像素、第3行第5列的像素、第4行第3列的像素、第4行第4列的像素、第4行第5列的像素、第5行第3列的像素、第5行第5列的像素上移动，移动至每个第一像素时，获取前景优化后的图像上预设膨胀核覆盖的像素，将这些像素的像素值更新为前景像素值，以第5行第3列的像素为例，参见图4所示，当预设膨胀核的中心点移动至该像素时，可确定前景优化后的图像上预设膨胀核覆盖的像素包括：第4行第2列的像素、第4行第3列的像素、第4行第4列的像素、第5行第2列的像素、第5行第3列的像素、第5行第4列的像素、第6行第2列的像素、第6行第3列的像素、第6行第4列的像素。可将这些像素的像素值更新为前景像素值。将预设膨胀核的中心点每移动至一个第一像素时，均做上述处理，可得到图4所示膨胀处理后的图像。
上述实施例中，将预设膨胀核的中心点，在前景优化后的图像中的目标前景对象所覆盖的各个第一像素上移动；当预设膨胀核的中心点移动至每个第一像素时，将前景优化后的图像上预设膨胀核覆盖的像素的像素值更新为前景像素值，以得到膨胀处理后的图像。膨胀处理可以使目标前景对象上原本不连续的边缘变得连续，使得目标前景对象的边缘更加平顺。
在一些实施例中，通过预设腐蚀核对膨胀处理后的图像进行腐蚀处理，得到腐蚀处理后的图像的步骤，包括：将预设腐蚀核的中心点，在膨胀处理后的图像中的目标前景对象所覆盖的各个第二像素上移动；当预设腐蚀核的中心点移动至每个第二像素时，判断预设腐蚀核覆盖的像素中是否存在不属于目标前景对象的像素；在预设腐蚀核覆盖的像素中存在不属于目标前景对象的像素的情况下，将当前移动至的像素的像素值更新为背景像素值，以得到腐蚀处理后的图像。
其中，预设腐蚀核的中心点可以为预设腐蚀核中处于中心位置的点，膨胀处理后的图像中的目标前景对象包含多个像素，为便于区分说明，将膨胀处理后的图像中的目标前景对象所包含的各个像素均称为第二像素。
在一些实施例中，计算机设备将预设腐蚀核的中心点在各个第二像素上移动时，可逐行在这些第二像素上移动，或者逐列在这些第二像素上移动，或者按照预设的规则在这些第二像素上移动，本申请实施例对此不作限定。
在一些实施例中，计算机设备将预设腐蚀核的中心点移动至每个第二像素时，可获取膨胀处理后的图像上预设腐蚀核覆盖的像素，判断预设腐蚀核覆盖的像素中是否存在不属于目标前景对象的像素，在预设腐蚀核覆盖的像素中存在不属于目标前景对象的像素的情况下，将当前移动至的像素的像素值更新为背景像素值，在预设腐蚀核覆盖的像素均属于目标前景对象的像素的情况下，则保持当前移动至的像素的像素值不变。
举例来说，参见图5所示，膨胀处理后的图像中的目标前景对象所覆盖的第二像素包括：第2行第2列的像素、第2行第3列的像素、第2行第4列的像素、第2行第5列的像素、第2行第6列的像素、第3行第2列的像素、第3行第3列的像素、第3行第4列的像素、第3行第5列的像素、第3行第6列的像素、第4行第2列的像素、第4行第3列的像素、第4行第4列的像素、第4行第5列的像素、第4行第6列的像素、第5行第2列的像素、第5行第3列的像素、第5行第4列的像素、第5行第5列的像素、第5行第6列的像素、第6行第2列的像素、第6行第3列的像素、第6行第4列的像素、第6行第5列的像素、第6行第6列的像素。这些像素的像素值为前景像素值，其余像素的像素值为背景像素值。预设腐蚀核的大小为3×3。将预设腐蚀核第2行第2列对应的点作为预设腐蚀核的中心点，将该点依次在膨胀处理后的图像中目标前景对象所覆盖的各个第二像素上移动，移动至每个第二像素时，判断预设腐蚀核覆盖的像素中是否存在不属于目标前景对象的像素，在预设腐蚀核覆盖的像素中存在不属于目标前景对象的像素的情况下，将当前移动至的第二像素的像素值更新为背景像素值。以第2行第2列的像素为例，参见图5所示，当预设腐蚀核的中心点移动至该像素时，可确定膨胀处理后的图像上预设腐蚀核覆盖的像素包括：第1行第1列的像素、第1行第2列的像素、第1行第3列的像素、第2行第1列的像素、第2行第2列的像素、第2行第3列的像素、第3行第1列的像素、第3行第2列的像素、第3行第3列的像素，由于这些像素中第1行第1列的像素、第1行第2列的像素、第1行第3列的像素、第2行第1列的像素、第3行第1列的像素不属于目标前景对象，则将第2行第2列的像素的像素值更新为背景像素值。将预设腐蚀核的中心点每移动至一个第二像素时，均做上述处理，可得到图5所示腐蚀处理后的图像。
上述实施例中，将预设腐蚀核的中心点，在膨胀处理后的图像中的目标前景对象所覆盖的各个第二像素上移动；当预设腐蚀核的中心点移动至每个第二像素时，判断预设腐蚀核覆盖的像素中是否存在不属于目标前景对象的像素；在预设腐蚀核覆盖的像素中存在不属于目标前景对象的像素的情况下，将当前移动至的像素的像素值更新为背景像素值，以得到腐蚀处理后的图像。腐蚀处理可以消除目标前景对象边缘的毛刺，使得目标前景对象的边缘更加平顺。
在一些实施例中，通过预设高斯核对腐蚀处理后的图像进行高斯模糊，得到目标分割图像的步骤，包括：将预设高斯核的中心点，在腐蚀处理后的图像中的目标前景对象的边缘像素上移动；当预设高斯核的中心点移动至每个边缘像素时，将腐蚀处理后的图像上预设高斯核覆盖的各像素的像素值，与预设高斯核相应位置的权重值相乘，得到相乘结果；将预设高斯核覆盖的各像素各自对应的相乘结果相加，将相应边缘像素的像素值更新为相加结果，以得到目标分割图像。
其中，预设高斯核的中心点可以为预设高斯核中处于中心位置的点，腐蚀处理后的图像为二值化图，可将该二值化图再次转换为灰度图，将预设高斯核的中心点，在该灰度图中目标前景对象的边缘像素上移动。
在一些实施例中，计算机设备将预设高斯核的中心点在目标前景对象的边缘像素上移动时，可按照顺时针方向移动，也可按照逆时针方向移动，或者按照预设规则在边缘像素上移动，本申请实施例对此不作限定。
在一些实施例中，计算机设备将预设高斯核的中心点移动至每个边缘像素时，可获取腐蚀处理后的图像上预设高斯核覆盖的像素，将这些像素的像素值与预设高斯核相应位置的权重值相乘，得到相乘结果，然后将预设高斯核覆盖的各像素各自对应的相乘结果相加，将相应边缘像素的像素值更新为该相加结果，便可得到最终的目标分割图像。
举例来说，腐蚀处理后的图像中目标前景对象的边缘像素包括：第3行第3列的像素、第3行第4列的像素、第3行第5列的像素、第4行第3列的像素、第4行第4列的像素、第4行第5列的像素、第5行第3列的像素、第5行第4列的像素、第5行第5列的像素。这些像素的像素值为前景像素值，其余像素的像素值为背景像素值。预设高斯核的大小为3×3。将预设高斯核第2行第2列对应的点作为预设腐蚀核的中心点，将该点依次在上述边缘像素上移动，移动至每个边缘像素时，将腐蚀处理后的图像上预设高斯核覆盖的像素的像素值，与预设高斯核相应位置的权重值相乘，得到相乘结果，然后将预设高斯核覆盖的各像素各自对应的相乘结果相加，并将相应边缘像素的像素值更新为该相加结果。以第3行第3列的像素为例，当预设高斯核的中心点移动至该边缘像素时，可确定腐蚀处理后的图像上预设高斯核覆盖的像素包括：第2行第2列的像素、第2行第3列的像素、第2行第4列的像素、第3行第2列的像素、第3行第3列的像素、第3行第4列的像素、第4行第2列的像素、第4行第3列的像素、第4行第4列的像素，分别将这些像素的像素值和预设高斯核中相应位置的权重相乘，得到各个像素各自对应的相乘结果，将9个相乘结果相加，得到相加结果，将第3行第3列的像素的像素值更新为该相加结果。将预设高斯核的中心点每移动至一个边缘像素时，均做上述处理，可得到最终的目标分割图像。
上述实施例中，将预设高斯核的中心点，在腐蚀处理后的图像中的目标前景对象的边缘像素上移动；当预设高斯核的中心点移动至每个边缘像素时，将腐蚀处理后的图像上预设高斯核覆盖的各像素的像素值，与预设高斯核相应位置的权重值相乘，得到相乘结果；将预设高斯核覆盖的各像素各自对应的相乘结果相加，将相应边缘像素的像素值更新为相加结果，以得到目标分割图像。上述高斯模糊处理的过程，可使得最终得到目标分割图像上目标前景对象的边缘有渐变的效果，从而使得后续在将目标前景对象和更新后的背景融合时，融合效果更好。
在一些实施例中，根据各选定分割图像各自对应的目标分割图像，确定目标视频，包括：在各初始分割图像中确定处于相邻选定分割图像中间的目标初始分割图像；将相邻选定分割图像中任一选定分割图像所对应的目标分割图像，作为目标初始分割图像对应的目标分割图像；组合各目标初始分割图像各自对应的目标分割图像，以及各选定分割图像各自对应的目标分割图像，得到目标视频。
在一些实施例中，计算机设备在从初始分割图像中确定多张选定分割图像时，可基于图像采样率从各初始分割图像中采样得到多张选定分割图像，可获取处于相邻选定分割图像中间，未被选为选定分割图像的初始分割图像，作为目标初始分割图像。
举例来说，假设待处理视频包括10张图像帧，通过目标分割模型可得到每张图像帧对应的初始分割图像，假设从初始分割图像中选取帧序号为1、4、7、10的初始分割图像作为选定分割图像，则可将帧序号为2、3、5、6、8、9的初始分割图像，均作为目标初始分割图像。
在一些实施例中，计算机设备可将相邻选定分割图像中时序在前的选定分割图像所对应的目标分割图像，作为目标初始分割图像对应的目标分割图像。或者，将相邻选定分割图像中时序在后的选定分割图像所对应的目标分割图像，作为目标初始分割图像对应的目标分割图像，本申请实施例对此不作限定。
举例来说，假设从初始分割图像中选取帧序号为1、4、7、10的初始分割图像作为选定分割图像，处于帧序号为1的选定分割图像和帧序号为4的选定分割图像中间的初始分割图像包括：帧序号为2的初始分割图像和帧序号为3的初始分割图像，可将这两个图像均作为目标初始分割图像，可将帧序号为1的选定分割图像所对应的目标分割图像，作为该目标初始分割图像的目标分割图像，或者将帧序号为4的选定分割图像所对应的目标分割图像，作为该目标初始分割图像的目标分割图像，从而将帧数补足，使得最终得到的目标视频和待处理视频的帧数相同。
在一些实施例中，在得到各个目标初始分割图像各自对应的目标分割图像，以及各个选定分割图像各自对应目标分割图像后，计算机设备可按照帧序号的顺序将所有目标分割图像组合起来，得到目标视频。
上述实施例中，在各初始分割图像中确定处于相邻选定分割图像中间的目标初始分割图像；将相邻选定分割图像中任一选定分割图像所对应的目标分割图像，作为目标初始分割图像对应的目标分割图像；组合各目标初始分割图像各自对应的目标分割图像，以及各选定分割图像各自对应的目标分割图像，得到目标视频。由于获取每张初始分割图像对应的目标分割图像的情况下，基于所有目标分割图像组合形成的视频中，目标前景对象的边缘在人眼直观感受下，容易产生剧烈的跳动，上述实施例中目标分割图像复用的方式可以使目标前景对象的边缘跳动减小，提升后续前后景融合效果。
在一些实施例中，本申请实施例提供的视频处理方法还包括：针对待处理视频中的各图像帧，从目标视频中确定与每张图像帧分别对应的目标分割图像；基于各目标分割图像，确定每张图像帧各自所包括的前景区域和背景区域；按照预设功能需求，对各图像帧中的背景区域进行相应的功能化处理，得到与预设功能需求匹配的视频。
在一些实施例中，待处理视频和目标视频帧数相同，对于待处理视频中的各图像帧，计算机设备可从目标视频中提取与图像帧帧序号相同的目标分割图像，作为与图像帧对应的目标分割图像。
在一些实施例中，对于每张图像帧，在确定与其对应的目标分割图像后，计算机设备可基于目标分割图像上各像素的像素值，判断图像帧上相应位置的像素为前景还是背景，在得到图像帧上各个像素的判断结果后，基于该判断结果可确定前景区域和背景区域。
其中，预设功能需求可以包括针对前景区域的功能需求、或者针对背景区域的功能需求中的至少一种，示例性的，预设功能需求可以为背景虚化、背景替换等，本申请实施例对此不作限定。
在一些实施例中，预设功能需求可以为背景虚化，计算机设备可将各图像帧中的背景区域进行虚化处理，得到背景虚化视频。
在一些实施例中，预设功能需求可以为背景替换，计算机设备可将各图像帧中的背景区域替换为预设的背景，得到背景替换后的视频。
上述实施例中，针对待处理视频中的各图像帧，从目标视频中确定与每张图像帧分别对应的目标分割图像；基于各目标分割图像，确定每张图像帧各自所包括的前景区域和背景区域；按照预设功能需求，对各图像帧中的背景区域进行相应的功能化处理，便可得到与预设功能需求匹配的视频。
在一些实施例中，提供一种视频处理方法，以该方法由计算机设备执行为例进行说明，该方法包括如下步骤：
对待处理视频中的各图像帧进行目标分割处理，得到各图像帧对应的初始分割图像；获取待处理视频的帧率，并确定与帧率相匹配的图像采样率；基于图像采样率从各初始分割图像中采样得到多张选定分割图像。
针对多张选定分割图像中的当前选定分割图像，确定多张选定分割图像各自对应的时序；基于当前选定分割图像对应的时序，从多张选定分割图像或者多张初始分割图像中，确定预设数量个时序在当前选定分割图像之前的分割图像。
确定时序在当前选定分割图像之前的分割图像对应的影响系数；基于当前选定分割图像上各个像素的灰度值、时序在当前选定分割图像之前的分割图像上各个像素的灰度值、以及影响系数，对当前选定分割图像上各个像素的灰度值进行更新，以实现帧间平滑处理。
对帧间平滑处理得到的图像进行二值化处理，得到二值化图像；在二值化图像上查找像素值为前景像素值的像素，将查找到的像素构成的闭合区域作为连通域。
确定检测得到的连通域的连通域面积；将连通域面积和预设面积阈值进行比较；在连通域面积小于预设面积阈值的情况下，将连通域包含的像素的像素值更新为背景像素值，以实现前景优化。
将预设膨胀核的中心点，在前景优化后的图像中的目标前景对象所覆盖的各个第一像素上移动；当预设膨胀核的中心点移动至每个第一像素时，将前景优化后的图像上预设膨胀核覆盖的像素的像素值更新为前景像素值，以得到膨胀处理后的图像。
将预设腐蚀核的中心点，在膨胀处理后的图像中的目标前景对象所覆盖的各个第二像素上移动；当预设腐蚀核的中心点移动至每个第二像素时，判断预设腐蚀核覆盖的像素中是否存在不属于目标前景对象的像素；在预设腐蚀核覆盖的像素中存在不属于目标前景对象的像素的情况下，将当前移动至的像素的像素值更新为背景像素值，以得到腐蚀处理后的图像。
将预设高斯核的中心点，在腐蚀处理后的图像中的目标前景对象的边缘像素上移动；当预设高斯核的中心点移动至每个边缘像素时，将腐蚀处理后的图像上预设高斯核覆盖的各像素的像素值，与预设高斯核相应位置的权重值相乘，得到相乘结果；将预设高斯核覆盖的各像素各自对应的相乘结果相加，将相应边缘像素的像素值更新为相加结果，以得到目标分割图像。
在各初始分割图像中确定处于相邻选定分割图像中间的目标初始分割图像；将相邻选定分割图像中任一选定分割图像所对应的目标分割图像，作为目标初始分割图像对应的目标分割图像；组合各目标初始分割图像各自对应的目标分割图像，以及各选定分割图像各自对应的目标分割图像，得到目标视频。
针对待处理视频中的各图像帧，从目标视频中确定与每张图像帧分别对应的目标分割图像；基于各目标分割图像，确定每张图像帧各自所包括的前景区域和背景区域；按照预设功能需求，对各图像帧中的背景区域进行相应的功能化处理，得到与预设功能需求匹配的视频。
本申请实施例提供的视频处理方法，对待处理视频中的各图像帧进行目标分割处理，得到各图像帧对应的初始分割图像，并从初始分割图像中确定多张选定分割图像；针对多张选定分割图像中的当前选定分割图像，基于时序在当前选定分割图像之前的分割图像，对当前选定分割图像进行帧间平滑处理。帧间平滑处理得到的图像结合了在前分割图像的信息，使得当前选定分割图像和在前分割图像之间跳动减小，连贯性增强。进而再基于帧间平滑处理得到的图像进行连通域检测，基于连通域检测结果进行前景优化，以保留目标前景对象，可将非目标前景对象滤除，避免了将不属于前景的单独区域被误分割为前景的情况发生。进一步地，基于前景优化后的图像进行边缘优化处理，得到目标分割图像，可使得目标前景对象的边缘更加平滑，并且与图像帧中前景对象的边缘更加贴合。通过这种方式进行目标前景对象的分割，可以在整体上使得分割出的目标前景对象更稳定、准确和清晰，有效提升了目标前景对象分割的清晰度和连贯性，并抑制了分割错误的小面积前景，大大提高了分割准确性。
在一种可能的场景中，本申请实施例提供的视频处理方法可应用在视频人像分割场景下，具体可应用在实时音视频会议软件中的背景虚化或者背景替换场景。参见图6所示，在得到包含人像的待处理视频后，可对待处理视频进行拆分，得到组成待处理视频的图像帧，将每张图像帧输入至目标分割模型，得到对应的初始分割图像，基于各图像帧各自对应的初始分割图像，执行后处理流程，可得到目标视频，基于该目标视频，可将组成待处理视频中各图像帧的非人像区域提取出来，对各图像帧中非人像区域进行虚化处理或者替换处理，便可得到分割后的视频。示例性的，参见图7所示，待处理视频中某图像帧的背景为背景1，可通过本申请实施例提供的处理方法获取该图像帧对应的目标分割图像，基于该目标分割图像，可从图像帧中确定出背景区域，可将背景区域替换为背景2，从而得到图7中背景替换后的图像。
其中，图6中的后处理流程包括图8中示意的过程，具体的，在得到各图像帧各自对应的初始分割图像后，从初始分割图像中确定多张选定分割图像，对选定分割图像进行帧间平滑处理，基于帧间平滑处理得到的图像进行连通域检测，将检测到的连通域中干扰连通域删除，得到前景优化后的图像，基于前景优化后的图像，依次进行形态学膨胀处理、形态学腐蚀处理以及高斯模糊处理，便可得到最终的目标分割图像，基于各选定分割图像各自对应的目标分割图像，扩展得到目标视频。
在一些实施例中，在得到各图像帧各自对应的初始分割图像后，参见图9所示，使用当前帧1表示初始分割图像，对于每张初始分割图像执行后处理方案1，后处理方案1具体包括对初始分割图像进行形态学膨胀处理和形态学腐蚀处理，便可得到对应的目标分割图像。或者，在得到各图像帧各自对应的初始分割图像后，从初始分割图像中确定多张选定分割图像，对于多张选定分割图像中的当前选定分割图像，图9中使用当前帧2表示该当前选定分割图像，基于当前选定分割图像，以及当前选定分割图像之前的两帧选定分割图像，执行后处理方案2，便可得到对应的目标分割图像。后处理方案2具体包括帧间平滑处理、连通域检测、前景优化、边缘优化处理等。示例性的，图10示出了图像帧、基于后处理方案1对图像帧进行处理得到的目标分割图像1、以及基于后处理方案2对图像帧进行处理得到的目标分割图像2，对比可见，相对于目标分割图像1，目标分割图像2中不存在干扰对象，准确性更高。
需要说明的是，上述提供的应用场景只是用于对本申请的视频处理方法进行说明，本申请提供的视频处理方法的应用不局限于上述提供的应用场景。比如还可以是应用在对动植物分割场景、建筑物分割场景、或者卡通形象分割场景等等。在不同的应用场景中，目标前景对象可以是基于业务需求指定的任意对象，本申请实施例对此不作限定。
应该理解的是，虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的视频处理方法的视频处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个视频处理装置实施例中的具体限定可以参见上文中对于视频处理方法的限定，在此不再赘述。
在一个实施例中，如图11所示，提供了一种视频处理装置，包括：
初步分割模块1101，用于对待处理视频中的各图像帧进行目标分割处理，得到各图像帧对应的初始分割图像，并从初始分割图像中确定多张选定分割图像。
帧间平滑模块1102，用于针对多张选定分割图像中的当前选定分割图像，基于时序在当前选定分割图像之前的分割图像，对当前选定分割图像进行帧间平滑处理。
连通域检测模块1103，用于基于帧间平滑处理得到的图像进行连通域检测，并基于连通域检测结果进行前景优化，以保留目标前景对象。
边缘优化模块1104，用于基于前景优化后的图像进行边缘优化处理，得到目标分割图像，并根据各选定分割图像各自对应的目标分割图像，确定目标视频。
在一些实施例中，初步分割模块1101具体用于：获取待处理视频的帧率，并确定与帧率相匹配的图像采样率；基于图像采样率从各初始分割图像中采样得到多张选定分割图像。
在一些实施例中，帧间平滑模块1102还用于：确定多张选定分割图像各自对应的时序；基于当前选定分割图像对应的时序，从多张选定分割图像或者多张初始分割图像中，确定预设数量个时序在当前选定分割图像之前的分割图像。
在一些实施例中，帧间平滑模块1102具体用于：确定时序在当前选定分割图像之前的分割图像对应的影响系数；基于当前选定分割图像上各个像素的灰度值、时序在当前选定分割图像之前的分割图像上各个像素的灰度值、以及影响系数，对当前选定分割图像上各个像素的灰度值进行更新，以实现帧间平滑处理。
在一些实施例中，连通域检测模块1103具体用于：对帧间平滑处理得到的图像进行二值化处理，得到二值化图像；在二值化图像上查找像素值为前景像素值的像素，将查找到的像素构成的闭合区域作为连通域。
在一些实施例中，连通域检测模块1103具体用于：确定检测得到的连通域的连通域面积；将连通域面积和预设面积阈值进行比较；在连通域面积小于预设面积阈值的情况下，将连通域包含的像素的像素值更新为背景像素值，以实现前景优化。
在一些实施例中，边缘优化模块1104具体用于：通过预设膨胀核对前景优化后的图像进行膨胀处理，得到膨胀处理后的图像；通过预设腐蚀核对膨胀处理后的图像进行腐蚀处理，得到腐蚀处理后的图像；通过预设高斯核对腐蚀处理后的图像进行高斯模糊，得到目标分割图像。
在一些实施例中，边缘优化模块1104具体用于：将预设膨胀核的中心点，在前景优化后的图像中的目标前景对象所覆盖的各个第一像素上移动；当预设膨胀核的中心点移动至每个第一像素时，将前景优化后的图像上预设膨胀核覆盖的像素的像素值更新为前景像素值，以得到膨胀处理后的图像。
在一些实施例中，边缘优化模块1104具体用于：将预设腐蚀核的中心点，在膨胀处理后的图像中的目标前景对象所覆盖的各个第二像素上移动；当预设腐蚀核的中心点移动至每个第二像素时，判断预设腐蚀核覆盖的像素中是否存在不属于目标前景对象的像素；在预设腐蚀核覆盖的像素中存在不属于目标前景对象的像素的情况下，将当前移动至的像素的像素值更新为背景像素值，以得到腐蚀处理后的图像。
在一些实施例中，边缘优化模块1104具体用于：将预设高斯核的中心点，在腐蚀处理后的图像中的目标前景对象的边缘像素上移动；当预设高斯核的中心点移动至每个边缘像素时，将腐蚀处理后的图像上预设高斯核覆盖的各像素的像素值，与预设高斯核相应位置的权重值相乘，得到相乘结果；将预设高斯核覆盖的各像素各自对应的相乘结果相加，将相应边缘像素的像素值更新为相加结果，以得到目标分割图像。
在一些实施例中，边缘优化模块1104具体用于：在各初始分割图像中确定处于相邻选定分割图像中间的目标初始分割图像；将相邻选定分割图像中任一选定分割图像所对应的目标分割图像，作为目标初始分割图像对应的目标分割图像；组合各目标初始分割图像各自对应的目标分割图像，以及各选定分割图像各自对应的目标分割图像，得到目标视频。
在一些实施例中，边缘优化模块1104还用于：针对待处理视频中的各图像帧，从目标视频中确定与每张图像帧分别对应的目标分割图像；基于各目标分割图像，确定每张图像帧各自所包括的前景区域和背景区域；按照预设功能需求，对各图像帧中的背景区域进行相应的功能化处理，得到与预设功能需求匹配的视频。
上述视频处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一些实施例中，提供了一种计算机设备，该计算机设备可以是终端或者服务器。其内部结构图可以如图12所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种视频处理方法。
本领域技术人员可以理解，图12中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (16)

1.一种视频处理方法，其特征在于，所述方法包括：
对待处理视频中的各图像帧进行目标分割处理，得到各图像帧对应的初始分割图像，并从所述初始分割图像中确定多张选定分割图像；
针对多张选定分割图像中的当前选定分割图像，基于时序在所述当前选定分割图像之前的分割图像，对所述当前选定分割图像进行帧间平滑处理；
基于帧间平滑处理得到的图像进行连通域检测，并基于连通域检测结果进行前景优化，以保留目标前景对象；
基于前景优化后的图像进行边缘优化处理，得到目标分割图像，并根据各选定分割图像各自对应的目标分割图像，确定目标视频。
2.根据权利要求1所述的方法，其特征在于，所述从所述初始分割图像中确定多张选定分割图像，包括：
获取所述待处理视频的帧率，并确定与所述帧率相匹配的图像采样率；
基于所述图像采样率从各初始分割图像中采样得到多张选定分割图像。
3.根据权利要求1所述的方法，其特征在于，所述基于时序在所述当前选定分割图像之前的分割图像，对所述当前选定分割图像进行帧间平滑处理之前，所述方法还包括：
确定多张选定分割图像各自对应的时序；
基于当前选定分割图像对应的时序，从多张选定分割图像或者多张初始分割图像中，确定预设数量个时序在所述当前选定分割图像之前的分割图像。
4.根据权利要求1所述的方法，其特征在于，所述基于时序在所述当前选定分割图像之前的分割图像，对所述当前选定分割图像进行帧间平滑处理，包括：
确定时序在所述当前选定分割图像之前的分割图像对应的影响系数；
基于所述当前选定分割图像上各个像素的灰度值、时序在所述当前选定分割图像之前的分割图像上各个像素的灰度值、以及所述影响系数，对所述当前选定分割图像上各个像素的灰度值进行更新，以实现帧间平滑处理。
5.根据权利要求1所述的方法，其特征在于，所述基于帧间平滑处理得到的图像进行连通域检测，包括：
对帧间平滑处理得到的图像进行二值化处理，得到二值化图像；
在所述二值化图像上查找像素值为前景像素值的像素，将查找到的像素构成的闭合区域作为连通域。
6.根据权利要求1所述的方法，其特征在于，所述基于连通域检测结果进行前景优化，包括：
确定检测得到的连通域的连通域面积；
将所述连通域面积和预设面积阈值进行比较；
在所述连通域面积小于所述预设面积阈值的情况下，将所述连通域包含的像素的像素值更新为背景像素值，以实现前景优化。
7.根据权利要求1所述的方法，其特征在于，所述基于前景优化后的图像进行边缘优化处理，得到目标分割图像，包括：
通过预设膨胀核对所述前景优化后的图像进行膨胀处理，得到膨胀处理后的图像；
通过预设腐蚀核对所述膨胀处理后的图像进行腐蚀处理，得到腐蚀处理后的图像；
通过预设高斯核对所述腐蚀处理后的图像进行高斯模糊，得到目标分割图像。
8.根据权利要求7所述的方法，其特征在于，所述通过预设膨胀核对所述前景优化后的图像进行膨胀处理，得到膨胀处理后的图像，包括：
将所述预设膨胀核的中心点，在所述前景优化后的图像中的目标前景对象所覆盖的各个第一像素上移动；
当所述预设膨胀核的中心点移动至每个第一像素时，将所述前景优化后的图像上所述预设膨胀核覆盖的像素的像素值更新为前景像素值，以得到膨胀处理后的图像。
9.根据权利要求7所述的方法，其特征在于，所述通过预设腐蚀核对所述膨胀处理后的图像进行腐蚀处理，得到腐蚀处理后的图像，包括：
将所述预设腐蚀核的中心点，在所述膨胀处理后的图像中的目标前景对象所覆盖的各个第二像素上移动；
当所述预设腐蚀核的中心点移动至每个第二像素时，判断所述预设腐蚀核覆盖的像素中是否存在不属于所述目标前景对象的像素；
在所述预设腐蚀核覆盖的像素中存在不属于所述目标前景对象的像素的情况下，将当前移动至的像素的像素值更新为背景像素值，以得到腐蚀处理后的图像。
10.根据权利要求7所述的方法，其特征在于，所述通过预设高斯核对所述腐蚀处理后的图像进行高斯模糊，得到所述目标分割图像，包括：
将所述预设高斯核的中心点，在所述腐蚀处理后的图像中的目标前景对象的边缘像素上移动；
当所述预设高斯核的中心点移动至每个边缘像素时，将所述腐蚀处理后的图像上所述预设高斯核覆盖的各像素的像素值，与所述预设高斯核相应位置的权重值相乘，得到相乘结果；
将所述预设高斯核覆盖的各像素各自对应的相乘结果相加，将相应边缘像素的像素值更新为相加结果，以得到目标分割图像。
11.根据权利要求1所述的方法，其特征在于，所述根据各选定分割图像各自对应的目标分割图像，确定目标视频，包括：
在各初始分割图像中确定处于相邻选定分割图像中间的目标初始分割图像；
将所述相邻选定分割图像中任一选定分割图像所对应的目标分割图像，作为所述目标初始分割图像对应的目标分割图像；
组合各目标初始分割图像各自对应的目标分割图像，以及各选定分割图像各自对应的目标分割图像，得到目标视频。
12.根据权利要求1-11任一项所述的方法，其特征在于，所述方法还包括：
针对所述待处理视频中的各图像帧，从所述目标视频中确定与每张图像帧分别对应的目标分割图像；
基于各目标分割图像，确定每张图像帧各自所包括的前景区域和背景区域；
按照预设功能需求，对各图像帧中的背景区域进行相应的功能化处理，得到与所述预设功能需求匹配的视频。
13.一种视频处理装置，其特征在于，所述装置包括：
初步分割模块，用于对待处理视频中的各图像帧进行目标分割处理，得到各图像帧对应的初始分割图像，并从所述初始分割图像中确定多张选定分割图像；
帧间平滑模块，用于针对多张选定分割图像中的当前选定分割图像，基于时序在所述当前选定分割图像之前的分割图像，对所述当前选定分割图像进行帧间平滑处理；
连通域检测模块，用于基于帧间平滑处理得到的图像进行连通域检测，并基于连通域检测结果进行前景优化，以保留目标前景对象；
边缘优化模块，用于基于前景优化后的图像进行边缘优化处理，得到目标分割图像，并根据各选定分割图像各自对应的目标分割图像，确定目标视频。
14.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至12中任一项所述的方法的步骤。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至12中任一项所述的方法的步骤。
16.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至12中任一项所述的方法的步骤。
CN202211263414.4A 2022-10-14 2022-10-14 视频处理方法、装置、计算机设备和存储介质 Pending CN117011325A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211263414.4A CN117011325A (zh) 2022-10-14 2022-10-14 视频处理方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211263414.4A CN117011325A (zh) 2022-10-14 2022-10-14 视频处理方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN117011325A true CN117011325A (zh) 2023-11-07

Family

ID=88573334

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211263414.4A Pending CN117011325A (zh) 2022-10-14 2022-10-14 视频处理方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN117011325A (zh)

Similar Documents

Publication Publication Date Title
WO2020238560A1 (zh) 视频目标跟踪方法、装置、计算机设备及存储介质
CN109344742B (zh) 特征点定位方法、装置、存储介质和计算机设备
US20190050994A1 (en) Control method, non-transitory computer-readable storage medium, and control apparatus
CN107424171B (zh) 一种基于分块的抗遮挡目标跟踪方法
JP2019036008A (ja) 制御プログラム、制御方法、及び情報処理装置
EP1542155A1 (en) Object detection
CN110176024B (zh) 在视频中对目标进行检测的方法、装置、设备和存储介质
CN109614933B (zh) 一种基于确定性拟合的运动分割方法
EP1542152A1 (en) Object detection
Dai et al. Adaptive disparity candidates prediction network for efficient real-time stereo matching
CN112734931B (zh) 一种辅助点云目标检测的方法及系统
CN113284155B (zh) 视频目标分割方法、装置、存储介质及电子设备
EP1542154A2 (en) Object detection
CN111696110A (zh) 场景分割方法及系统
CN111914878A (zh) 特征点跟踪训练及跟踪方法、装置、电子设备及存储介质
CN113920170A (zh) 结合场景上下文和行人社会关系的行人轨迹预测方法、系统及存储介质
CN114998595A (zh) 弱监督语义分割方法、语义分割方法及可读存储介质
JP5192437B2 (ja) 物体領域検出装置、物体領域検出方法および物体領域検出プログラム
Yao et al. Mask guided GAN for density estimation and crowd counting
JP2014110020A (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN111967484B (zh) 点云聚类方法、装置、计算机设备和存储介质
CN113129332A (zh) 执行目标对象跟踪的方法和装置
CN117011325A (zh) 视频处理方法、装置、计算机设备和存储介质
Le et al. SpatioTemporal utilization of deep features for video saliency detection
CN111126395B (zh) R-cnn网络中选择性搜索算法的优化方法、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination