CN116012404A - 视频图像分割方法及其装置、设备、介质 - Google Patents
视频图像分割方法及其装置、设备、介质 Download PDFInfo
- Publication number
- CN116012404A CN116012404A CN202310087985.5A CN202310087985A CN116012404A CN 116012404 A CN116012404 A CN 116012404A CN 202310087985 A CN202310087985 A CN 202310087985A CN 116012404 A CN116012404 A CN 116012404A
- Authority
- CN
- China
- Prior art keywords
- image
- mask
- image frame
- confidence
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003709 image segmentation Methods 0.000 title claims abstract description 61
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000008859 change Effects 0.000 claims abstract description 62
- 238000004422 calculation algorithm Methods 0.000 claims description 30
- 230000000694 effects Effects 0.000 claims description 28
- 238000012545 processing Methods 0.000 claims description 24
- 238000005457 optimization Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 11
- 238000010586 diagram Methods 0.000 claims description 10
- 230000002194 synthesizing effect Effects 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 7
- 238000011002 quantification Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 13
- 238000012549 training Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 7
- 230000015572 biosynthetic process Effects 0.000 description 6
- 238000003786 synthesis reaction Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 4
- 238000013136 deep learning model Methods 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000009432 framing Methods 0.000 description 2
- 238000013140 knowledge distillation Methods 0.000 description 2
- 238000010030 laminating Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本申请涉及网络直播技术领域中一种视频图像分割方法及其装置、设备、介质，所述方法包括：获取直播视频流中的当前图像帧相对应的第一图像掩膜；根据第一图像掩膜与前一图像帧相对应的第二图像掩膜的对应像素点的置信度确定出差异变化图，所述差异变化图表征所述各个像素点在所述当前图像帧与所述前一图像帧中是否均属于前景；根据差异变化图和第一图像掩膜确定出所述当前图像帧的低置信度图像区域，区别像素点是否属于所述低置信图像区域而从所述第一图像掩膜和所述第二图像掩膜中选定置信度构造出所述当前图像帧的有效图像掩膜；根据所述有效图像掩膜从所述当前图像帧中分离出前景图像和背景图像。本申请能够精准分割出图像帧中的前景和背景。
Description
技术领域
本申请涉及网络直播技术领域，尤其涉及一种视频图像分割方法及其相应的装置、计算机设备、计算机可读存储介质。
背景技术
网络直播场景中，主播用户向直播间推送视频流，实现才艺展示、信息分享、知识教育等应用目的，使主播用户通过这些活动参与社会劳动获取收益，促进整体社会效益。
目前传统技术实现的视频图像分割，通常在深度学习模型的训练阶段，采用大量标注了前景和背景的视频流的图像帧、视频流中前后图像帧之间的背景信息、视频流中图像帧之间的时序信息等，从而在模型训练至到收敛状态后，采用该深度学习模型分割出视频流的图像帧中的前景和背景，然而存在标注成本和训练成本很高，及模型计算量过大等问题。
鉴于传统技术的不足，本申请人长期从事相关领域的研究，为解决业内难题，故另辟蹊径。
发明内容
本申请的首要目的在于解决上述问题至少之一而提供一种视频图像分割方法及其相应的装置、计算机设备、计算机可读存储介质。
为满足本申请的各个目的，本申请采用如下技术方案：
适应本申请的目的之一而提供的一种视频图像分割方法，包括如下步骤：
获取直播视频流中的当前图像帧相对应的第一图像掩膜，所述图像掩膜包含图像帧中各个像素点相对应的置信度；
根据所述第一图像掩膜与前一图像帧相对应的第二图像掩膜的对应像素点的置信度确定出差异变化图，所述差异变化图表征所述各个像素点的置信度在所述当前图像帧与所述前一图像帧之间是否产生变动；
根据所述差异变化图和第一图像掩膜确定出所述当前图像帧的低置信度图像区域，区别像素点是否属于所述低置信图像区域而从所述第一图像掩膜和所述第二图像掩膜中选定置信度构造出所述当前图像帧的有效图像掩膜；
根据所述有效图像掩膜从所述当前图像帧中分离出前景图像和背景图像。
进一步的实施例中，所述根据第一图像掩膜与前一图像帧相对应的第二图像掩膜的对应像素点的置信度确定出差异变化图的步骤中，包括如下步骤：
分别将所述第一图像掩膜和第二图像掩膜二值化，获得第一区分图和第二区分图；
求取所述第一区分图和所述第二区分图的对应像素点之间的异或运算结果，获得差异变化图。
进一步的实施例中，所述根据所述差异变化图和第一图像掩膜确定出当前图像帧的低置信度图像区域，区别像素点是否属于低置信图像区域而从第一图像掩膜和第二图像掩膜中选定置信度构造出当前图像帧的有效图像掩膜的步骤中，包括如下步骤：
根据所述差异变化图量化判断所述像素点是否属于前景，且判断该像素点在第一图像掩膜中的置信度是否属于预设的低置信度区间，当以上判断均成立时，确定所述像素点属于所述低置信度图像区域，否则不属于低信度图像区域；
检测所述像素点是否属于所述低置信度图像区域，当属于所述低置信度图像区域时，从第二图像掩膜确定所述像素点的置信度，否则从所述第一图像掩膜中确定所述像素点的置信度，作为所述有效图像掩膜中所述像素点的置信度。
进一步的实施例中，所述根据所述有效图像掩膜从所述当前图像帧中分离出前景图像和背景图像的步骤中，包括如下步骤：
应用优化算法对所述有效图像掩膜进行优化，获得优化图像掩膜，所述优化算法包括开操作算法、闭操作算法、高斯模糊算法中任意一种或任意多种；
对所述优化图像掩膜进行二值化处理，获得二值化掩膜；
根据所述二值化掩膜实施对所述当前图像帧的图像提取操作，获得所述当前图像帧中的前景图像和背景图像。
进一步的实施例中，所述根据所述有效图像掩膜从所述当前图像帧中分离出前景图像和背景图像的步骤之后，包括如下步骤：
获取特效图像帧；
将所述特效图像帧插置于所述前景图像和背景图像之间合成出更新图像帧；
将所述更新图像帧替换所述直播视频流中的当前图像帧，推送至直播间。
进一步的实施例中，所述根据所述有效图像掩膜从所述当前图像帧中分离出前景图像和背景图像的步骤之后，包括如下步骤：
将所述背景图像进行模糊处理或者替换为虚拟图像，获得更新背景图像；
将所述前景图像与所述更新背景图像合成为更新图像帧；
将所述更新图像帧替换所述直播视频流中的当前图像帧，推送至直播间。
进一步的实施例中，所述根据所述有效图像掩膜从所述当前图像帧中分离出前景图像和背景图像的步骤之后，包括如下步骤：
检测所述前景图像中是否存在人脸图像，当存在人脸图像时，获取所述前景图像相对应的数字人图像；
将所述数字人图像替换所述前景图像与所述背景图像合成为更新图像帧；
将所述更新图像帧替换所述直播视频流中的当前图像帧，推送至直播间。
另一方面，适应本申请的目的之一而提供的一种视频图像分割装置，包括掩膜获取模块、置信度比对模块、掩膜重构模块以及图像分割模块，其中，掩膜获取模块，用于获取直播视频流中的当前图像帧相对应的第一图像掩膜，所述图像掩膜包含图像帧中各个像素点相对应的置信度；置信度比对模块，用于根据所述第一图像掩膜与前一图像帧相对应的第二图像掩膜的对应像素点的置信度确定出差异变化图，所述差异变化图表征所述各个像素点的置信度在所述当前图像帧与所述前一图像帧之间是否产生变动；掩膜重构模块，用于根据所述差异变化图和第一图像掩膜确定出所述当前图像帧的低置信度图像区域，区别像素点是否属于所述低置信图像区域而从所述第一图像掩膜和所述第二图像掩膜中选定置信度构造出所述当前图像帧的有效图像掩膜；图像分割模块，用于根据所述有效图像掩膜从所述当前图像帧中分离出前景图像和背景图像。
进一步的实施例中，所述置信度比对模块，包括：第一掩膜二值化子模块，用于分别将所述第一图像掩膜和第二图像掩膜二值化，获得第一区分图和第二区分图；元素积子模块，用于求取所述第一区分图和所述第二区分图的对应像素点之间的异或运算结果，获得差异变化图。
进一步的实施例中，所述掩膜重构模块，包括：区域判断子模块，用于根据所述差异变化图量化判断所述像素点是否属于前景，且判断该像素点在第一图像掩膜中的置信度是否属于预设的低置信度区间，当以上判断均成立时，确定所述像素点属于所述低置信度图像区域，否则不属于低信度图像区域；置信度确定子模块，用于检测所述像素点是否属于所述低置信度图像区域，当属于所述低置信度图像区域时，从第二图像掩膜确定所述像素点的置信度，否则从所述第一图像掩膜中确定所述像素点的置信度，作为所述有效图像掩膜中所述像素点的置信度。
进一步的实施例中，所述图像分割模块，包括：掩膜优化子模块，用于应用优化算法对所述有效图像掩膜进行优化，获得优化图像掩膜，所述优化算法包括开操作算法、闭操作算法、高斯模糊算法中任意一种或任意多种；第二掩膜二值化子模块，用于对所述优化图像掩膜进行二值化处理，获得二值化掩膜；图像提取子模块，用于根据所述二值化掩膜实施对所述当前图像帧的图像提取操作，获得所述当前图像帧中的前景图像和背景图像。
进一步的实施例中，所述图像分割模块之后，包括：特效获取子模块，用于获取特效图像帧；第一图像合成子模块，用于将所述特效图像帧插置于所述前景图像和背景图像之间合成出更新图像帧；第一图像替换子模块，用于将所述更新图像帧替换所述直播视频流中的当前图像帧，推送至直播间。
进一步的实施例中，所述图像分割模块之后，包括：背景处理子模块，用于将所述背景图像进行模糊处理或者替换为虚拟图像，获得更新背景图像；第二图像合成子模块，用于将所述前景图像与所述更新背景图像合成为更新图像帧；第二图像替换子模块，用于将所述更新图像帧替换所述直播视频流中的当前图像帧，推送至直播间。
进一步的实施例中，所述图像分割模块之后，包括：人脸检测子模块，用于检测所述前景图像中是否存在人脸图像，当存在人脸图像时，获取所述前景图像相对应的数字人图像；第三图像合成子模块，用于将所述数字人图像替换所述前景图像与所述背景图像合成为更新图像帧；第三图像替换子模块，用于将所述更新图像帧替换所述直播视频流中的当前图像帧，推送至直播间。
又一方面，适应本申请的目的之一而提供的一种计算机设备，包括中央处理器和存储器，所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行本申请所述的视频图像分割方法的步骤。
又一方面，适应本申请的另一目的而提供的一种计算机可读存储介质，其以计算机可读指令的形式存储有依据所述的视频图像分割方法所实现的计算机程序，该计算机程序被计算机调用运行时，执行该方法所包括的步骤。
本申请的技术方案存在多方面优势，包括但不限于如下各方面：
根据直播视频流中的当前图像帧相对应的第一图像掩膜，与前一图像帧相对应的第二图像掩膜的对应像素点的置信度确定出差异变化图，根据差异变化图和第一图像掩膜确定出当前图像帧的低置信度图像区域，区别像素点是否属于所述低置信图像区域而从所述第一图像掩膜和所述第二图像掩膜中选定置信度构造出所述当前图像帧的有效图像掩膜，据此，从所述当前图像帧中分离出前景图像和背景图像。本申请能够快速精准地确定出用于分割直播视频流中的图像帧的有效图像掩膜，以其实现对图像帧中的前景和背景的分离，以轻量化的运算实现高效精准的图像分割效果。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请网络直播场景中网络直播服务所采用的示例性的网络架构；
图2为本申请的视频图像分割方法的典型实施例的流程示意图；
图3为本身的实施例中示范性举例的原始图像、背景图像、有效图像掩膜的示意图；
图4为本申请的实施例中构造置信度量化表的流程示意图；
图5为本申请的实施例中基于第一图像掩膜和第二图像掩膜构造有效图像掩膜的流程示意图；
图6为本申请的实施例中分割出当前图像帧中的前景和背景的流程示意图；
图7为本申请的实施例中添加直播视频流的特效的流程示意图；
图8为本申请的实施例中模糊直播视频流的背景的流程示意图；
图9为本申请的实施例中替换直播视频流中人脸图像为数字人图像的流程示意图；
图10为本申请的视频图像分割装置的原理框图；
图11为本申请所采用的一种计算机设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解，这里所使用的“客户端”、“终端”、“终端设备”既包括无线信号接收器的设备，其仅具备无发射能力的无线信号接收器的设备，又包括接收和发射硬件的设备，其具有能够在双向通信链路上，进行双向通信的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他诸如个人计算机、平板电脑之类的通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备；PCS(PersonalCommunications Service，个人通信系统)，其可以组合语音、数据处理、传真和/或数据通信能力；PDA(Personal Digital Assistant，个人数字助理)，其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(Global PositioningSystem，全球定位系统)接收器；常规膝上型和/或掌上型计算机或其他设备，其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“客户端”、“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的，或者适合于和/或配置为在本地运行，和/或以分布形式，运行在地球和/或空间的任何其他位置运行。这里所使用的“客户端”、“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端，例如可以是PDA、MID(Mobile Internet Device，移动互联网设备)和/或具有音乐/视频播放功能的移动电话，也可以是智能电视、机顶盒等设备。
本申请所称的“服务器”、“客户端”、“服务节点”等名称所指向的硬件，本质上是具备个人计算机等效能力的电子设备，为具有中央处理器(包括运算器和控制器)、存储器、输入设备以及输出设备等冯诺依曼原理所揭示的必要构件的硬件装置，计算机程序存储于其存储器中，中央处理器将存储在外存中的程序调入内存中运行，执行程序中的指令，与输入输出设备交互，借此完成特定的功能。
需要指出的是，本申请所称的“服务器”这一概念，同理也可扩充到适用于服务器机群的情况。依据本领域技术人员所理解的网络部署原理，所述各服务器应是逻辑上的划分，在物理空间上，这些服务器既可以是互相独立但可通过接口调用的，也可以是集成到一台物理计算机或一套计算机机群的。本领域技术人员应当理解这一变通，而不应以此约束本申请的网络部署方式的实施方式。
本申请的一个或数个技术特征，除非明文指定，既可部署于服务器实施而由客户端远程调用获取服务器提供的在线服务接口来实施访问，也可直接部署并运行于客户端来实施访问。
本申请中所引用或可能引用到的神经网络模型，除非明文指定，既可部署于远程服务器且在客户端实施远程调用，也可部署于设备能力胜任的客户端直接调用，某些实施例中，当其运行于客户端时，其相应的智能可通过迁移学习来获得，以便降低对客户端硬件运行资源的要求，避免过度占用客户端硬件运行资源。
本申请所涉及的各种数据，除非明文指定，既可远程存储于服务器，也可存储于本地终端设备，只要其适于被本申请的技术方案所调用即可。
本领域技术人员对此应当知晓：本申请的各种方法，虽然基于相同的概念而进行描述而使其彼此间呈现共通性，但是，除非特别说明，否则这些方法都是可以独立执行的。同理，对于本申请所揭示的各个实施例而言，均基于同一发明构思而提出，因此，对于相同表述的概念，以及尽管概念表述不同但仅是为了方便而适当变换的概念，应被等同理解。
本申请即将揭示的各个实施例，除非明文指出彼此之间的相互排斥关系，否则，各个实施例所涉的相关技术特征可以交叉结合而灵活构造出新的实施例，只要这种结合不背离本申请的创造精神且可满足现有技术中的需求或解决现有技术中的某方面的不足即可。对此变通，本领域技术人员应当知晓。
请参阅图1，本申请一种示例性的应用场景所采用的网络架构，包括终端设备80、媒体服务器81和应用服务器82。所述应用服务器82可用于部署网络直播服务。所述媒体服务器81或所述终端设备80可运行根据本申请直播视频手势检测方法编程实现的计算机程序产品，通过该产品的运行实施该方法的各个步骤，实现对直播视频流中的人物的手势识别。所述终端设备80可供主播用户或观众用户登入由所述网络直播服务所支持的网络直播间。所述主播用户可以通过其终端设备80中的摄像单元获取录像作为直播视频流提交到所述媒体服务器，所述观众用户可以通过其终端设备80接收媒体服务器推送的直播视频流并播放显示。
本申请的一种视频图像分割方法，可被编程为计算机程序产品，部署于客户端或服务器中运行而实现，例如，本申请的示例性应用场景中，可以在电商平台的服务器中部署实现，藉此可以通过访问该计算机程序产品运行后开放的接口，通过图形用户界面与该计算机程序产品的进程进行人机交互而执行该方法。
请参阅图2，本申请的视频图像分割方法，在其一种实施例中，包括如下步骤：
步骤S1100、获取直播视频流中的当前图像帧相对应的第一图像掩膜，所述图像掩膜包含图像帧中各个像素点相对应的置信度；
直播用户进行直播时，在终端设备实时持续地上传视频流作为所述直播视频流，例如可由所述终端设备上装载的摄像装置直接进行拍摄，生成相应的视频流，或者可由终端设备接收摄像设备进行拍摄所生成的视频流，或者可由终端设备通过视频采集卡接收电子产品生成的视频流，诸如此类均可获得视频流作为所述直播视频流。所述终端设备可为笔记本电脑、台式电脑、平板、智能手机等，所述摄像设备可为摄像机、摄像头等，所述计算机设备可笔记本电脑、台式电脑、平板、智能手机、游戏机、电视等。
对于直播视频流中的各个图像帧，可将其作为当前图像帧进行图像分割，为此，先对所述直播视频流进行分帧处理，根据直播视频流的帧率获得相应的多个图像帧，例如帧率为60fps的直播视频流进行分帧处理，可每秒获得60个图像帧。然后，对每个所述图像帧进行实例分割处理，将当前处理的图像帧作为所述当前图像帧，所述分帧处理可由本领域技术人员灵活变通实现，例如开源的适用于视频分帧的接口、算法、插件、程序等等。
一种实施例中，可以采用预设的图像分割模型对每个所述图像帧进行实例分割，确定出相应的图像帧中的前景图像相对应的图像掩膜，将所述当前图像帧对应确定出的图像掩膜作为所述第一图像掩膜。具体的，所述图像掩膜可表示为二维矩阵数组。
所述图像分割模型预先训练至收敛状态，习得确定分割出图像帧中的前景图像的图像掩膜的能力，可采用适用于实例分割任务的深度学习模型，例如Mask RCNN、FCIS、MaskLab、PANet等任一种作为图像分割模型的选型，鉴于Mask RCNN、FCIS、MaskLab、PANet模型的训练过程均为本领域技术人员所知晓，故对所述训练过程恕不详述。
一种实施例中，采用预先训练至收敛的MaskRCNN作为所述图像分割模型，以所述当前图像帧作为输入，采用CNN层提取出当前图像帧的深层语义信息，获得相应的语义特征图，将所述语义特征图输入至RPN层(region proposal network)获得属于当前图像帧中的前景的ROI(Region of Interest，感兴趣区域)，使用ROI pooling将所有ROI变为固定尺寸大小，将所有ROI传递给全连接层进行回归和分类预测，得到class(类别)和box(Boundingbox，边框)，最终经FCN分支，确定出所述当前图像帧每个像素点的置信度构成所述第一图像掩膜。所述置信度表征相应的像素点属于图像帧中的前景的可靠度。具体的，所述置信度所属值域为[0,1]，可以理解，所述置信度越接近于1表示相应的像素点属于图像帧中的前景的可靠度越高，而属于图像帧中的背景的可靠度越低，越接近于0表示相应的像素点属于图像帧中的前景的可靠度越低，而属于图像帧中的背景的可靠度越高。据此，可预设一个第一阈值，当所述置信度超过所述第一阈值时，确定该置信度对应的像素点属于图像帧中的前景，否则，确定该置信度对应的像素点属于图像帧中的背景。所述第一阈值可由本领域技术人员根据此处揭示按需设定。
进一步的实施例中，可对所述预设的图像分割模型进行优化，具体而言，可基于所述图像分割模型生成对抗网络实施对抗训练，从而在所述对抗训练结束后，优化图像分割模型的性能，提升模型的准确性。此时的图像分割模型的参数量多且计算量大，故而可将该图像分割模型作为教师模型，同时基于所述教师模型构建相同网络结构但参数量相对较少的学生模型，进而对所述学生模型和教师模型实施知识蒸馏训练，让学生模型输出的预测结果尽可能拟合教师模型输出的预测结果，优化偏差，从而在所述知识训练结束后，获得模型性能与教师模型相当的学生模型，使得该学生模型具备较佳的性能的同时，模型的参数量较少，至此，完成优化，将该学生模型作为优化后的图像分割模型，可以理解，经过优化后，图像分割模型所需的运算资源少，执行效率高，能够精准地分割图像。鉴于所述生成对抗网络、实施对抗训练、构建学生模型、实施知识蒸馏训练均为本领域技术人员所知晓，故对这部分恕不详述。
步骤S1200、根据所述第一图像掩膜与前一图像帧相对应的第二图像掩膜的对应像素点的置信度确定出差异变化图，所述差异变化图表征所述各个像素点的置信度在所述当前图像帧与所述前一图像帧之间是否产生变动；
由于所述直播视频流中的各个图像帧会陆续作为当前图像帧进行处理，因此，可将采用所述预设的图像分割模型对所述当前图像帧的前一帧图像帧进行实例分割后，相应确定出的图像掩膜作为所述第二图像掩膜。
可以理解，当所述直播视频流的帧率越高，直播视频流中的帧与帧之间的变动就越小，即帧与帧之间的关联性越强。为了确定出在所述当前图像帧与所述前一图像帧之间位置对应的各个像素点的置信度是否产生变动，一种实施例中，计算出当前图像帧与前一图像帧之间相同位置对应的各个像素点的置信度的差值，取其绝对值，获得差异变化图，不难理解，差异变化图中元素的值越小表示像素点的置信度产生的变动越小，值越大表示像素点的置信度产生的变动越大，据此，可预设一个第二阈值衡量所述变动，当差异变化图中每个元素对应的值超过所述第二阈值时，确定相应位置的像素点的置信度在所述当前图像帧与前一图像帧之间产生变动，否则，确定相应位置的像素点的置信度在所述当前图像帧与前一图像帧之间未产生变动。所述第二阈值可由本领域技术人员根据此处揭示按需设定。
另一种实施例中，根据所述第一图像掩膜和所述第二图像掩膜中每个置信度是否超过第一阈值进行二值化操作，使得所述每个置信度相应置为二值化数值1或0，进而求取二值化后的第一图像掩膜与第二图像掩膜之间相同位置对应的像素点的置信度进行按位异或运算结果，获得差异变化图，不难理解，差异变化图中元素的值为1表示相应位置的像素点的置信度在所述当前图像帧与前一图像帧之间产生变动，值为0表示相应位置的像素点的置信度在所述当前图像帧与前一图像帧之间未产生变动。
步骤S1300、根据所述差异变化图和第一图像掩膜确定出所述当前图像帧的低置信度图像区域，区别像素点是否属于所述低置信图像区域而从所述第一图像掩膜和所述第二图像掩膜中选定置信度构造出所述当前图像帧的有效图像掩膜；
一方面，基于所述差异变化图中每个元素的值可确定出对应的每个像素点的置信度在所述当前图像帧与所述前一图像帧之间是否产生变动。另一方面，可以理解，所述置信度所属值域为[0,1]，当像素点的置信度越接近0或1时，相应表示该像素点属于图像帧中的背景或前景的可靠度越高，即所述图像分割模型确定的图像掩膜中该置信度的精准性越高，高置信，反之，像素点的置信度越偏离0或1，即表示所述图像分割模型确定的图像掩膜中该置信度的精准性越低，低置信，据此，可预设一个低置信度区间，当像素点的置信度属于该低置信度区间时，表示该像素点的置信度偏离0或1，所述低置信度区间为[θ1,θ2],其中0θ1＜θ2＜1，本领域技术人员可根据此处揭示按需设定，示范性举例,低置信度区间为[0.15,0.85]。
根据所述两个方面，当基于所述差异变化图中元素的值确定出当前图像帧中的像素点的置信度在当前图像帧与前一图像帧之间产生变动时，而且，当所述第一图像掩膜中该像素点的置信度属于所述低置信度区间内时，确定该像素点属于所述低置信度图像区域，否则不属于低置信度区域。
当所述第一图像掩膜中的像素点属于所述低置信图像区域时，表示该像素点的置信度在当前图像帧与前一图像帧之间产生变动，而且，图像分割模型确定出的该当前图像帧的像素点的置信度的精准性低，不应选用该置信度对当前图像帧进行分割，转而可选用在所述第二图像掩膜中该像素点的置信度。
当所述第一图像掩膜中的像素点不属于所述低置信图像区域时，表示该像素点的置信度在当前图像帧与前一图像帧之间未产生变动，或者，产生变动但图像分割模型确定出的该当前图像帧的像素点的置信度的精准性高，可选用该置信度对当前图像帧进行分割。
根据上述，针对当前图像帧中的每个像素点，选用相应的置信度作为有效图像掩膜的置信度。
步骤S1400、根据所述有效图像掩膜从所述当前图像帧中分离出前景图像和背景图像。
采用所述有效图像掩膜中每个像素点的置信度与所述当前图像帧中每个像素点的特征值进行按位相乘，使得当前图像帧中的前景图像中的像素点的特征值不变或边缘轮廓像素点的特征值变小，即该像素点的显示效果得以一定程度上保留原样，背景图像中的像素点的特征值均为0，获得当前图像帧中的前景图像，所述特征值为图像分割模型提取像素点对应的图像特征而得。
将当前图像帧中属于所述前景图像的像素点的特征值置为0，便可获得当前图像帧中的背景图像。
如图3所示，其中300是有效图像掩膜，301是原始图像，302是前景图像
根据本申请的典型实施例可以知晓，本申请的技术方案存在多方面优势，包括但不限于如下各方面：
根据直播视频流中的当前图像帧相对应的第一图像掩膜，与前一图像帧相对应的第二图像掩膜的对应像素点的置信度确定出差异变化图，根据差异变化图和第一图像掩膜确定出当前图像帧的低置信度图像区域，区别像素点是否属于所述低置信图像区域而从所述第一图像掩膜和所述第二图像掩膜中选定置信度构造出所述当前图像帧的有效图像掩膜，据此，从所述当前图像帧中分离出前景图像和背景图像。本申请能够快速精准地确定出用于分割直播视频流中的图像帧的有效图像掩膜，以其实现对图像帧中的前景和背景的分离，以轻量化的运算实现高效精准的图像分割效果。
请参阅图4，进一步的实施例中，步骤S1200、所述根据第一图像掩膜与前一图像帧相对应的第二图像掩膜的对应像素点的置信度确定出差异变化图的步骤中，包括如下步骤：
步骤S1210、分别将所述第一图像掩膜和第二图像掩膜二值化，获得第一区分图和第二区分图；
为了便于比对第一图像掩膜与第二图像掩膜中相同位置的对应像素点的置信度之间的差异，合理地二值化所述置信度，将所述第一图像掩膜和所述第二图像掩膜中超过所述第一阈值的置信度置为1，不超过所述第一阈值的置信度置为0，获得相应的第一区分图和第二区分图。
步骤S1220、求取所述第一区分图和所述第二区分图的对应像素点之间的异或运算结果，获得差异变化图。
将所述第一区分图与所述第二区分图之间相同位置对应的像素点的置信度进行按位异或运算，相同的置信度算出为0，不相同的置信度算出为1，获得差异变化图。不难理解，差异变化图中元素的值为1表示相应位置的像素点的置信度在所述当前图像帧与前一图像帧之间产生变动，值为0表示相应位置的像素点的置信度在所述当前图像帧与前一图像帧之间未产生变动。
本实施例中，通过对二值化后的第一图像掩膜和第二图像掩膜对应像素点的置信度进行异或运算，获得相应的运算结果的差异变化图，执行高效，效果显著。
请参阅图5，进一步的实施例中，步骤S1300、所述根据所述差异变化图和第一图像掩膜确定出当前图像帧的低置信度图像区域，区别像素点是否属于低置信图像区域而从第一图像掩膜和第二图像掩膜中选定置信度构造出当前图像帧的有效图像掩膜的步骤中，包括如下步骤：
步骤S1310、根据所述差异变化图量化判断所述像素点是否属于前景，且判断该像素点在第一图像掩膜中的置信度是否属于预设的低置信度区间，当以上判断均成立时，确定所述像素点属于所述低置信度图像区域，否则不属于低信度图像区域；
一方面，基于所述差异变化图中每个元素的值可确定出对应的每个像素点的置信度在所述当前图像帧与所述前一图像帧之间是否产生变动。另一方面，可以理解，所述置信度所属值域为[0,1]，当像素点的置信度越接近0或1时，相应表示该像素点属于图像帧中的背景或前景的可靠度越高，即所述图像分割模型确定的图像掩膜中该置信度的精准性越高，高置信，反之，像素点的置信度越偏离0或1，即表示所述图像分割模型确定的图像掩膜中该置信度的精准性越低，低置信，据此，可预设一个低置信度区间，当像素点的置信度属于该低置信度区间时，表示该像素点的置信度偏离0或1，所述低置信度区间为[θ1,θ2],其中0θ1＜θ2＜1，本领域技术人员可根据此处揭示按需设定，示范性举例,低置信度区间为[0.15,0.85]。
根据所述两个方面，当基于所述差异变化图中元素的值确定出当前图像帧中的像素点的置信度在当前图像帧与前一图像帧之间产生变动时，而且，当所述第一图像掩膜中该像素点的置信度属于所述低置信度区间内时，确定该像素点属于所述低置信度图像区域，否则不属于低信度图像区域。
步骤S1320、检测所述像素点是否属于所述低置信度图像区域，当属于所述低置信度图像区域时，从第二图像掩膜确定所述像素点的置信度，否则从所述第一图像掩膜中确定所述像素点的置信度，作为所述有效图像掩膜中所述像素点的置信度。
当所述第一图像掩膜中的像素点属于所述低置信图像区域时，表示该像素点的置信度在当前图像帧与前一图像帧之间产生变动，而且，图像分割模型确定出的该当前图像帧的像素点的置信度的精准性低，不应选用该置信度对当前图像帧进行分割，转而可选用在所述第二图像掩膜中该像素点的置信度，避免分割区域的显示出现闪烁。
当所述第一图像掩膜中的像素点不属于所述低置信图像区域时，表示该像素点的置信度在当前图像帧与前一图像帧之间未产生变动，或者，产生变动但图像分割模型确定出的该当前图像帧的像素点的置信度的精准性高，可选用该置信度对当前图像帧进行分割。
根据上述，针对当前图像帧中的每个像素点，选用相应的置信度作为有效图像掩膜的置信度。
本实施例中，通过确定出当前图像帧的像素点是否属于低置信度图像区域，相应从第二图像掩膜或第一图像掩膜中选用相对应的该像素点的置信度，构造出有效图像掩膜。能够快速精准地判断出当前图像帧的像素点的置信度是否可被选用，执行高效。
请参阅图6，进一步的实施例中，步骤S1400、所述根据所述有效图像掩膜从所述当前图像帧中分离出前景图像和背景图像的步骤中，包括如下步骤：
步骤S1410、应用优化算法对所述有效图像掩膜进行优化，获得优化图像掩膜，所述优化算法包括开操作算法、闭操作算法、高斯模糊算法中任意一种或任意多种；
所述闭操作算法，通常消弥目标区域即有效图像掩膜中属于的前景部分的狭窄的间断和长细的鸿沟，消除小的空洞，并填补边缘轮廓线中的断裂。
所述开操作算法与所述闭操作算法相反，故而不做详细论述。
所述高斯模糊算法，利用高斯模糊将有效图像掩膜平滑化，去除干扰的噪声对后续图像处理的影响。
步骤S1420、对所述优化图像掩膜进行二值化处理，获得二值化掩膜；
将所述优化图像掩膜中超过所述第一阈值的置信度置为1，不超过所述第一阈值的置信度置为0，得出二值化掩膜。
步骤S1430、根据所述二值化掩膜实施对所述当前图像帧的图像提取操作，获得所述当前图像帧中的前景图像和背景图像。
采用所述二值化掩膜中每个像素点的置信度与所述当前图像帧中每个像素点的特征值进行按位相乘，使得当前图像帧中的前景图像中的像素点的特征值不变或边缘轮廓像素点的特征值变小点，即该像素点的显示效果得以一定程度上保留原样，背景图像中的像素点的特征值均为0，获得当前图像帧中的前景图像，所述特征值为图像分割模型提取像素点对应的图像特征而得。
将当前图像帧中属于所述前景图像的像素点的特征值置为0，便可获得当前图像帧中的背景图像。
本实施例中，通过优化有效图像掩膜而得的优化图像掩膜，将其二值化处理后，根据所得的二值化掩膜分离出当前图像帧中的前景图像和背景图像。
请参阅图7，进一步的实施例中，步骤S1400、所述根据所述有效图像掩膜从所述当前图像帧中分离出前景图像和背景图像的步骤之后，包括如下步骤：
步骤S1500、获取特效图像帧；
在网络直播场景中，直播平台可提供添加特效功能，所述直播用户通过该功能实现为其所述直播视频流添加特效。当所述添加特征功能被直播用户使用时，根据所述直播视频流的图像帧的尺寸大小，触发生成直播用户选取的特效对应的特效图像帧，其中除显示特效的像素点外无其余像素点，无像素点部分呈现透明的视觉效果。
步骤S1510、将所述特效图像帧插置于所述前景图像和背景图像之间合成出更新图像帧；
所述更新图像帧中所述特效图像帧中显示特征的像素点覆盖在所述背景图像相同位置处像素点上显示，同时所述显示特征的像素点可能被在所述前景图像的相同位置处像素点所覆盖而无法显示。
步骤S1520、将所述更新图像帧替换所述直播视频流中的当前图像帧，推送至直播间。
通常直播平台提供直播视频流推送服务，直播平台的服务器通过接收直播用户上传所述替换后的直播视频流后，将所述直播视频流推送至直播用户的直播间，在直播间中加载直播视频流将其播放，以供进入直播间的观众用户观看。
本实施例中，通过将特效图像帧安插至当前图像帧的前景图像和背景图像之间合成出更新图像，以其替换直播视频流中的当前图像帧，推送至直播间，能够简便高效地为直播视频流添加特效，提升用户体验。
请参阅图8，进一步的实施例中，步骤S1400、所述根据所述有效图像掩膜从所述当前图像帧中分离出前景图像和背景图像的步骤之后，包括如下步骤：
步骤S1600、将所述背景图像进行模糊处理或者替换为虚拟图像，获得更新背景图像；
在网络直播场景中，直播平台可提供背景处理功能，所述直播用户通过该功能实现为其所述直播视频流中的背景进行处理。当所述背景处理功能被直播用户使用时，一种实施例中，可采用高斯模糊将所述背景图像进行模糊处理，使得处理后的背景图像的视觉效果就像是经过一个半透明屏幕在观察图像。
另一种实施中，可替换所述背景图像成虚拟图像，所述虚拟图像可为任意的图像，可由直播平台提供，或者用户自行上传一张图像至直播平台的服务器，由服务器接收而得。所述虚拟图像需与所述背景图像的尺寸大小相同，不同时，可对虚拟图像进行相应的裁剪。
步骤S1610、将所述前景图像与所述更新背景图像合成为更新图像帧；
以所述前景图像置后所述更新背景图像置前，层叠两者合成更新图像帧。
步骤S1620、将所述更新图像帧替换所述直播视频流中的当前图像帧，推送至直播间。
通常直播平台提供直播视频流推送服务，直播平台的服务器通过接收直播用户上传所述替换后的直播视频流后，将所述直播视频流推送至直播用户的直播间，在直播间中加载直播视频流将其播放，以供进入直播间的观众用户观看。
本实施例中，通过将模糊背景图像或者替换背景图像为虚拟图像得出更新图像，以其替换直播视频流中的当前图像帧，推送至直播间，能够让直播视频流中的背景呈现特殊的视觉效果，提升用户体验，执行高效便捷。
请参阅图9，进一步的实施例中，步骤S1400、所述根据所述有效图像掩膜从所述当前图像帧中分离出前景图像和背景图像的步骤之后，包括如下步骤：
步骤S1700、检测所述前景图像中是否存在人脸图像，当存在人脸图像时，获取所述前景图像相对应的数字人图像；
可采用开源的预先训练至收敛的适用于目标检测任务的人脸检测模型，习得检测出图像中的人脸部分的能力。可选的选型包括：SSD、YOLO系列、R-CNN家族、RetinaNet、CornerNet等任意一种，鉴于这些模型的训练过程均为本领域技术人员所知晓，故对所述训练过程恕不详述。
在网络直播场景中，直播平台可提供人脸处理功能，所述直播用户通过该功能实现为其所述直播视频流中的人脸进行处理。当所述人脸处理功能被直播用户使用时，采用所述人脸检测模型对所述前景图像进行目标检测，以人脸作为目标对象，检测前景图像中的是否存在所述目标对象，当存在时，将前景图像中相应的人脸图像替换成数字图像，获得数字人图像，所述数字图像可由直播平台提供，可为动漫化人脸、宠物脸等。
步骤S1710、将所述数字人图像替换所述前景图像与所述背景图像合成为更新图像帧；
以所述替换后的前景图像置后所述更新背景图像置前，层叠两者合成更新图像帧。
步骤S1720、将所述更新图像帧替换所述直播视频流中的当前图像帧，推送至直播间。
通常直播平台提供直播视频流推送服务，直播平台的服务器通过接收直播用户上传所述替换后的直播视频流后，将所述直播视频流推送至直播用户的直播间，在直播间中加载直播视频流将其播放，以供进入直播间的观众用户观看。
本实施例中，通过检测出前景图像中的人脸图像获得相应的数字人图像，以数字人图像替换前景图像与背景图像合成更新图像帧，以其替换直播视频流中的当前图像帧，推送至直播间，能够让直播视频流中的人脸呈现特殊的视觉效果，提升用户体验，执行高效便捷。
请参阅图10，适应本申请的目的之一而提供的一种视频图像分割装置，是对本申请的视频图像分割方法的功能化体现，该装置包括掩膜获取模块1100、置信度比对模块1200、掩膜重构模块1300以及图像分割模块1400，其中，掩膜获取模块1100，用于获取直播视频流中的当前图像帧相对应的第一图像掩膜，所述图像掩膜包含图像帧中各个像素点相对应的置信度；置信度比对模块1200，用于根据所述第一图像掩膜与前一图像帧相对应的第二图像掩膜的对应像素点的置信度确定出差异变化图，所述差异变化图表征所述各个像素点的置信度在所述当前图像帧与所述前一图像帧之间是否产生变动；掩膜重构模块1300，用于根据所述差异变化图和第一图像掩膜确定出所述当前图像帧的低置信度图像区域，区别像素点是否属于所述低置信图像区域而从所述第一图像掩膜和所述第二图像掩膜中选定置信度构造出所述当前图像帧的有效图像掩膜；图像分割模块1400，用于根据所述有效图像掩膜从所述当前图像帧中分离出前景图像和背景图像。
进一步的实施例中，所述置信度比对模块1200，包括：第一掩膜二值化子模块，用于分别将所述第一图像掩膜和第二图像掩膜二值化，获得第一区分图和第二区分图；元素积子模块，用于求取所述第一区分图和所述第二区分图的对应像素点之间的异或运算结果，获得差异变化图。
进一步的实施例中，所述掩膜重构模块1300，包括：区域判断子模块，用于根据所述差异变化图量化判断所述像素点是否属于前景，且判断该像素点在第一图像掩膜中的置信度是否属于预设的低置信度区间，当以上判断均成立时，确定所述像素点属于所述低置信度图像区域，否则不属于低信度图像区域；置信度确定子模块，用于检测所述像素点是否属于所述低置信度图像区域，当属于所述低置信度图像区域时，从第二图像掩膜确定所述像素点的置信度，否则从所述第一图像掩膜中确定所述像素点的置信度，作为所述有效图像掩膜中所述像素点的置信度。
进一步的实施例中，所述图像分割模块1400，包括：掩膜优化子模块，用于应用优化算法对所述有效图像掩膜进行优化，获得优化图像掩膜，所述优化算法包括开操作算法、闭操作算法、高斯模糊算法中任意一种或任意多种；第二掩膜二值化子模块，用于对所述优化图像掩膜进行二值化处理，获得二值化掩膜；图像提取子模块，用于根据所述二值化掩膜实施对所述当前图像帧的图像提取操作，获得所述当前图像帧中的前景图像和背景图像。
进一步的实施例中，所述图像分割模块1400之后，包括：特效获取子模块，用于获取特效图像帧；第一图像合成子模块，用于将所述特效图像帧插置于所述前景图像和背景图像之间合成出更新图像帧；第一图像替换子模块，用于将所述更新图像帧替换所述直播视频流中的当前图像帧，推送至直播间。
进一步的实施例中，所述图像分割模块1400之后，包括：背景处理子模块，用于将所述背景图像进行模糊处理或者替换为虚拟图像，获得更新背景图像；第二图像合成子模块，用于将所述前景图像与所述更新背景图像合成为更新图像帧；第二图像替换子模块，用于将所述更新图像帧替换所述直播视频流中的当前图像帧，推送至直播间。
进一步的实施例中，所述图像分割模块1400之后，包括：人脸检测子模块，用于检测所述前景图像中是否存在人脸图像，当存在人脸图像时，获取所述前景图像相对应的数字人图像；第三图像合成子模块，用于将所述数字人图像替换所述前景图像与所述背景图像合成为更新图像帧；第三图像替换子模块，用于将所述更新图像帧替换所述直播视频流中的当前图像帧，推送至直播间。
为解决上述技术问题，本申请实施例还提供计算机设备。如图11所示，计算机设备的内部结构示意图。该计算机设备包括通过系统总线连接的处理器、计算机可读存储介质、存储器和网络接口。其中，该计算机设备的计算机可读存储介质存储有操作系统、数据库和计算机可读指令，数据库中可存储有控件信息序列，该计算机可读指令被处理器执行时，可使得处理器实现一种视频图像分割方法。该计算机设备的处理器用于提供计算和控制能力，支撑整个计算机设备的运行。该计算机设备的存储器中可存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行本申请的视频图像分割方法。该计算机设备的网络接口用于与终端连接通信。本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本实施方式中处理器用于执行图10中的各个模块及其子模块的具体功能，存储器存储有执行上述模块或子模块所需的程序代码和各类数据。网络接口用于向用户终端或服务器之间的数据传输。本实施方式中的存储器存储有本申请的视频图像分割装置中执行所有模块/子模块所需的程序代码及数据，服务器能够调用服务器的程序代码及数据执行所有子模块的功能。
本申请还提供一种存储有计算机可读指令的存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行本申请任一实施例的视频图像分割方法的步骤。
本领域普通技术人员可以理解实现本申请上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等计算机可读存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
综上所述，本申请能够快速精准地确定出用于分割直播视频流中的图像帧的有效图像掩膜，以其实现对图像帧中的前景和背景的分离，以轻量化的运算实现高效精准的图像分割效果。
本技术领域技术人员可以理解，本申请中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本申请中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本申请中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。
Claims (10)
1.一种视频图像分割方法，其特征在于，包括：
获取直播视频流中的当前图像帧相对应的第一图像掩膜，所述图像掩膜包含图像帧中各个像素点相对应的置信度；
根据所述第一图像掩膜与前一图像帧相对应的第二图像掩膜的对应像素点的置信度确定出差异变化图，所述差异变化图表征所述各个像素点的置信度在所述当前图像帧与所述前一图像帧之间是否产生变动；
根据所述差异变化图和第一图像掩膜确定出所述当前图像帧的低置信度图像区域，区别像素点是否属于所述低置信图像区域而从所述第一图像掩膜和所述第二图像掩膜中选定置信度构造出所述当前图像帧的有效图像掩膜；
根据所述有效图像掩膜从所述当前图像帧中分离出前景图像和背景图像。
2.根据权利要求1所述的视频图像分割方法，其特征在于，所述根据第一图像掩膜与前一图像帧相对应的第二图像掩膜的对应像素点的置信度确定出差异变化图的步骤中，包括如下步骤：
分别将所述第一图像掩膜和第二图像掩膜二值化，获得第一区分图和第二区分图；
求取所述第一区分图和所述第二区分图的对应像素点之间的异或运算结果，获得差异变化图。
3.根据权利要求1所述的视频图像分割方法，其特征在于，所述根据所述差异变化图和第一图像掩膜确定出当前图像帧的低置信度图像区域，区别像素点是否属于低置信图像区域而从第一图像掩膜和第二图像掩膜中选定置信度构造出当前图像帧的有效图像掩膜的步骤中，包括如下步骤：
根据所述差异变化图量化判断所述像素点是否属于前景，且判断该像素点在第一图像掩膜中的置信度是否属于预设的低置信度区间，当以上判断均成立时，确定所述像素点属于所述低置信度图像区域，否则不属于低信度图像区域；
检测所述像素点是否属于所述低置信度图像区域，当属于所述低置信度图像区域时，从第二图像掩膜确定所述像素点的置信度，否则从所述第一图像掩膜中确定所述像素点的置信度，作为所述有效图像掩膜中所述像素点的置信度。
4.根据权利要求1所述的视频图像分割方法，其特征在于，所述根据所述有效图像掩膜从所述当前图像帧中分离出前景图像和背景图像的步骤中，包括如下步骤：
应用优化算法对所述有效图像掩膜进行优化，获得优化图像掩膜，所述优化算法包括开操作算法、闭操作算法、高斯模糊算法中任意一种或任意多种；
对所述优化图像掩膜进行二值化处理，获得二值化掩膜；
根据所述二值化掩膜实施对所述当前图像帧的图像提取操作，获得所述当前图像帧中的前景图像和背景图像。
5.根据权利要求1至4中任意一项所述的视频图像分割方法，其特征在于，所述根据所述有效图像掩膜从所述当前图像帧中分离出前景图像和背景图像的步骤之后，包括如下步骤：
获取特效图像帧；
将所述特效图像帧插置于所述前景图像和背景图像之间合成出更新图像帧；
将所述更新图像帧替换所述直播视频流中的当前图像帧，推送至直播间。
6.根据权利要求1至4中任意一项所述的视频图像分割方法，其特征在于，所述根据所述有效图像掩膜从所述当前图像帧中分离出前景图像和背景图像的步骤之后，包括如下步骤：
将所述背景图像进行模糊处理或者替换为虚拟图像，获得更新背景图像；
将所述前景图像与所述更新背景图像合成为更新图像帧；
将所述更新图像帧替换所述直播视频流中的当前图像帧，推送至直播间。
7.根据权利要求1至4中任意一项所述的视频图像分割方法，其特征在于，所述根据所述有效图像掩膜从所述当前图像帧中分离出前景图像和背景图像的步骤之后，包括如下步骤：
检测所述前景图像中是否存在人脸图像，当存在人脸图像时，获取所述前景图像相对应的数字人图像；
将所述数字人图像替换所述前景图像与所述背景图像合成为更新图像帧；
将所述更新图像帧替换所述直播视频流中的当前图像帧，推送至直播间。
8.一种视频图像分割装置，其特征在于，包括：
掩膜获取模块，用于获取直播视频流中的当前图像帧相对应的第一图像掩膜，所述图像掩膜包含图像帧中各个像素点相对应的置信度；
置信度比对模块，用于根据所述第一图像掩膜与前一图像帧相对应的第二图像掩膜的对应像素点的置信度确定出差异变化图，所述差异变化图表征所述各个像素点的置信度在所述当前图像帧与所述前一图像帧之间是否产生变动；
掩膜重构模块，用于根据所述差异变化图和第一图像掩膜确定出所述当前图像帧的低置信度图像区域，区别像素点是否属于所述低置信图像区域而从所述第一图像掩膜和所述第二图像掩膜中选定置信度构造出所述当前图像帧的有效图像掩膜；
图像分割模块，用于根据所述有效图像掩膜从所述当前图像帧中分离出前景图像和背景图像。
9.一种计算机设备，包括中央处理器和存储器，其特征在于，所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行如权利要求1至7中任意一项所述的方法的步骤。
10.一种计算机可读存储介质，其特征在于，其以计算机可读指令的形式存储有依据权利要求1至7中任意一项所述的方法所实现的计算机程序，该计算机程序被计算机调用运行时，执行相应的方法所包括的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310087985.5A CN116012404A (zh) | 2023-01-18 | 2023-01-18 | 视频图像分割方法及其装置、设备、介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310087985.5A CN116012404A (zh) | 2023-01-18 | 2023-01-18 | 视频图像分割方法及其装置、设备、介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116012404A true CN116012404A (zh) | 2023-04-25 |
Family
ID=86026841
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310087985.5A Pending CN116012404A (zh) | 2023-01-18 | 2023-01-18 | 视频图像分割方法及其装置、设备、介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116012404A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117152658A (zh) * | 2023-05-10 | 2023-12-01 | 瀚博半导体(上海)有限公司 | 用于视频处理的方法、装置、系统、设备和介质 |
-
2023
- 2023-01-18 CN CN202310087985.5A patent/CN116012404A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117152658A (zh) * | 2023-05-10 | 2023-12-01 | 瀚博半导体(上海)有限公司 | 用于视频处理的方法、装置、系统、设备和介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10586350B2 (en) | Optimizations for dynamic object instance detection, segmentation, and structure mapping | |
| US11023772B2 (en) | Generating refined object proposals using deep learning models | |
| US10402986B2 (en) | Unsupervised video segmentation | |
| US11631162B2 (en) | Machine learning training method, system, and device | |
| US20210225037A1 (en) | Learning-based sampling for image matting | |
| EP3815042B1 (en) | Image display with selective depiction of motion | |
| EP3493105A1 (en) | Optimizations for dynamic object instance detection, segmentation, and structure mapping | |
| EP3493106B1 (en) | Optimizations for dynamic object instance detection, segmentation, and structure mapping | |
| CN107295362B (zh) | 基于图像的直播内容筛选方法、装置、设备及存储介质 | |
| US11308628B2 (en) | Patch-based image matting using deep learning | |
| EP3493104A1 (en) | Optimizations for dynamic object instance detection, segmentation, and structure mapping | |
| Cho et al. | Tackling background distraction in video object segmentation | |
| US20220159213A1 (en) | Personalized automatic video cropping | |
| CN111222450A (zh) | 模型的训练及其直播处理的方法、装置、设备和存储介质 | |
| CN116012404A (zh) | 视频图像分割方法及其装置、设备、介质 | |
| CN111914850B (zh) | 图片特征提取方法、装置、服务器和介质 | |
| CN114220175B (zh) | 运动模式识别方法及其装置、设备、介质、产品 | |
| WO2022035628A1 (en) | Adaptive sampling of images | |
| CN113676734A (zh) | 图像压缩方法和图像压缩装置 | |
| Xu et al. | Deep Neural Network‐Based Sports Marketing Video Detection Research | |
| US11644685B2 (en) | Processing stereo images with a machine-learning model | |
| US20240193724A1 (en) | Parametric composite image harmonization | |
| US20230360282A1 (en) | Generating shared augmented reality scenes utilizing video textures from video streams of video call participants | |
| WO2022188563A1 (zh) | 动态封面设置方法和系统 | |
| CN117058585A (zh) | 目标检测方法及其装置、设备、介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |