CN112837323A - 一种基于人像分割的视频处理方法、系统和存储介质 - Google Patents
一种基于人像分割的视频处理方法、系统和存储介质 Download PDFInfo
- Publication number
- CN112837323A CN112837323A CN202110039231.3A CN202110039231A CN112837323A CN 112837323 A CN112837323 A CN 112837323A CN 202110039231 A CN202110039231 A CN 202110039231A CN 112837323 A CN112837323 A CN 112837323A
- Authority
- CN
- China
- Prior art keywords
- image
- original image
- map
- segmentation
- optical flow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 39
- 238000003672 processing method Methods 0.000 title claims abstract description 19
- 238000000034 method Methods 0.000 claims abstract description 74
- 230000003287 optical effect Effects 0.000 claims abstract description 53
- 238000012545 processing Methods 0.000 claims abstract description 50
- 238000003709 image segmentation Methods 0.000 claims abstract description 23
- 238000001914 filtration Methods 0.000 claims abstract description 21
- 230000008859 change Effects 0.000 claims description 14
- 230000004927 fusion Effects 0.000 claims description 7
- 238000005206 flow analysis Methods 0.000 claims description 6
- 230000002123 temporal effect Effects 0.000 claims description 4
- 238000004891 communication Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 229910002056 binary alloy Inorganic materials 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241000270295 Serpentes Species 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于人像分割的视频处理方法、系统和存储介质，所述方法包括：接收视频流输入并读入一帧原始图像；对所述原始图像进行人像分割处理，得到对应的二值化灰度图；采用光流法或时域滤波法对所述二值化灰度图进行优化处理，得到新的二值化灰度图；将新的二值化灰度图与所述原始图像进行融合，得到结果图像。本发明基于光流方法和时域滤波方法，能够有效解决现有的视频云会议中经过人像分割后出现视频中人像边缘闪烁以及人像与背景衔接处出现微小的分割错误问题，并可以使虚拟背景的边缘细粒度分割有明显的提升。
Description
技术领域
本发明涉及视频处理技术领域，尤其涉及一种基于人像分割的视频处理方法、系统和存储介质。
背景技术
视频云会议中的虚拟背景主要用于用户由于个人隐私或所处位置比较敏感时需要将背景信息用已有的图像或视频替换，简称虚拟化。云会议中虚拟背景的功能主要是对视频中的每一帧基于Image Matting(人像分割)生成的二值化灰度图Alpha(一般人像区域为255，背景区域为0，人像与背景交集边缘处为0-255)，将当前帧与所要替换的背景图进行融合，最终得到想要的结果图或视频。
Image Matting技术指的是用于传统图像处理或深度学习CNN网络将图像的前景(255)、背景(0)以及前景与背景的衔接边缘区域(0-255)进行分离生成Alpha图，便于后续应用使用，如云会议中的虚拟背景功能。Image Matting技术不仅仅是将前景和背景或者图像中的物体进行提取得到实际分割出的物体IOU(Intersection over Union)，还需要完成前景和背景之间的衔接边缘区域处理，因为这类区域的Alpha图实际上既有前景信息又有背景信息，所以无法简单的将其完全分离为前景与背景。
现有的Image Matting基本都是针对于图像级的(空域)，主要分成两大类，第一类传统图像处理方法，第二类是基于深度学习CNN网络。
基于传统图像处理方法主要有区域增长、分裂、图割、轮廓模型。其中区域增长、分裂则是通过一些种子点，再加上相似性准则来不断扩充区域直到达到类别的边界，直到分割结果完善，典型方法为分水岭算法。所谓的图割则是通过建立一张图，其中以图像像素或者超像素作为图像顶点，然后优化的目标就是要找到一个切割，使得各个子图不相连从而实现分割，前提是移除边的和权重最小，典型的方法有Graphcut。所谓的轮廓模型通过使用连续曲线来表达目标轮廓，并定义一个能量泛函，其自变量为曲线，将分割过程转变为求解能量泛函的最小值的过程，典型的方法有snake模型。
基于深度学习CNN网络主要是基于Encoder和Decoder模型以及外接对边缘修正的小模型进行端到端的输出。Encoder主要是学习图像中的多层高维特征，Decoder主要是通过将学习到的高维特征与低维特征以及原图进行融合学习上采样至原图大小，得到最终所需的输出，外接对边缘修正小模型主要是对输出的Alpha图细节，如头发丝，细小边缘等区域进行精调，典型的网络有FCN、Deep Image Matting等。
现有的各种Image Matting算法对于单幅图像都可以通过调节参数或CNN网络训练达到预期的效果，但是这种方式对于视频中基于Image Matting的应用无法达到很好的观看质量。
(1)传统图像处理方法对于视频中不同的图像难以调节参数，造成所需结果对于不同图像效果不一。
(2)基于深度学习CNN网络的方法直接应用于视频时，由于视频每帧之间光照、场景、主体之间都会有细微的变化，且上述方法无法做到百分百的准确度，这样会导致视频中连续帧之间的一些人像边缘会出现多余或缺失，同时在合成新的视频帧后会在视频播放时发生闪烁现象。
发明内容
为了解决上述至少一个技术问题，本发明提出了一种基于人像分割的视频处理方法、系统和存储介质。
为了实现上述目的，本发明第一方面提出了一种基于人像分割的视频处理方法，其特征在于，所述方法包括：
接收视频流输入并读入一帧原始图像；
对所述原始图像进行人像分割处理，得到对应的二值化灰度图；
采用光流法或时域滤波法对所述二值化灰度图进行处理，得到新的二值化灰度图；
将新的二值化灰度图与所述原始图像进行融合，得到结果图像。
本方案中，所述采用光流法或时域滤波法对所述二值化灰度图进行优化处理包括：
根据预设标准判断接收视频流输入的设备的机型分类；
如果所述设备是第一类机型，则采用光流法对所述二值化灰度图进行优化处理；如果当前设备是第二类机型，则采用时域滤波法对所述二值化灰度图进行优化处理。
本方案中，在得到结果图像之后，所述方法还包括：
基于上述方式对视频流的每一帧原始图像进行连续处理，得到结果视频。
本方案中，将新的二值化灰度图与所述原始图像进行融合，得到结果图像，具体包括：
将所述原始图像与所要替换的背景图像依托新的二值化灰度图进行融合，得到结果图像；具体融合公式为：
I＝α*F+(1-α)*B；其中I表示融合后的结果图像，
α为透明度，alpha为新的二值化灰度图中对应像素点的灰度值，F为原始图像，B为背景图像。
本方案中，采用光流法对二值化灰度图进行处理，得到新的二值化灰度图，具体包括：
以帧为单位读取输入的视频流，将输入的原始图像进行人像分割处理得到该帧原始图像对应的二值化灰度图Alpha1；
对前后连续两帧原始图像进行稀疏光流分析得到当前帧的原始图像的光流图；
将得到的光流图的方向矢量对前一帧原始图像输出的二值化灰度图进行平移得到新的二值化灰度图Alpha2；
对二值化灰度图Alpha1和二值化灰度图Alpha2按照权重公式Alpha＝w*Alpha1+(1-w)*Alpha2进行融合得到新输出的二值化灰度图Alpha，其中w为权重因子。
进一步的，利用Lucas Kanade稀疏光流法对前后连续两帧原始图像进行稀疏光流分析得到当前帧的原始图像的光流图。
本方案中，采用时域滤波法对二值化灰度图进行处理，具体包括：
步骤7-1，以帧为单位读取输入的视频流，将输入帧的原始图像数据进行人像分割处理得到该帧对应的二值化灰度图，同时将输入帧的原始图像数据及人像分割处理后得到的二值化灰度图数据分别置入到对应已申请好的原始图像缓存区和二值化灰度图缓存区进行缓存；
步骤7-2，检测前后两帧原始图像的场景是否发生变化，若检测发现输入视频流发生了场景变化，则开辟新的缓存区，重新读取视频流场景变化后对应帧的原始图像数据，并进行步骤7-1处理，同时将旧缓存区内的数据进行步骤7-4处理；如果未发生场景变化，则进入步骤7-3进行判断；
步骤7-3，对于原始图像缓存区和二值化灰度图缓存区内的帧数进行阈值判断，若缓存区帧数达到设定阈值时，则进入步骤7-4处理，否则返回进入步骤7-1处理；
步骤7-4，基于高斯公式
对所述二值化灰度图缓存区内的数据进行高斯均值滤波得到高斯二值化灰度图作为新的二值化灰度图。
进一步的，上述步骤7-2，具体包括：
基于公式d(H1,H2)＝∑1min(H1(I),H2(I))对前后两帧原始图像之间的直方图相同位置计算，得到二者间最小值的累加值；
对比最小值的累加值与预设的判断阈值，如果所述最小值的累加值大于或等于所述判断阈值时，则表示场景未发生变化；如果所述最小值的累加值小于所述判断阈值时，则表示场景发生变化。
本发明第二方面还提出一种基于人像分割的视频处理系统，所述基于人像分割的视频处理系统包括：存储器及处理器，所述存储器中包括一种基于人像分割的视频处理方法程序，所述基于人像分割的视频处理方法程序被所述处理器执行时实现如下步骤：
接收视频流输入并读入一帧原始图像；
对所述原始图像进行人像分割处理，得到对应的二值化灰度图；
采用光流法或时域滤波法对所述二值化灰度图进行优化处理，得到新的二值化灰度图；
将新的二值化灰度图与所述原始图像进行融合，得到结果图像。
本发明第三方面还提出一种计算机可读存储介质，所述计算机可读存储介质中包括一种基于人像分割的视频处理方法程序，所述基于人像分割的视频处理方法程序被处理器执行时，实现如上述的一种基于人像分割的视频处理方法的步骤。
本发明将图像级Image Matting算法应用于视频人像分割时视频中连续帧之间的一些人像边缘会出现多余或缺失，以及视频合成后播放时发生闪烁现象，本发明对于高低端设备分别提供了不同的解决方案。基于该现象对于高端设备利用光流法生成的Alpha图与原始Alpha图进行融合，对于低端设备采用同一场景内做出的Alpha图进行时域上的高斯均衡。因此本发明能够有效解决现有的视频云会议中经过人像分割后出现视频中人像边缘闪烁以及人像与背景衔接处出现微小的分割错误问题，并可以使虚拟背景的边缘细粒度分割有明显的提升。
本发明的附加方面和优点将在下面的描述部分中给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
图1示出了本发明一种基于人像分割的视频处理方法的流程图；
图2示出了本发明一种基于人像分割的视频处理系统的框图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
图1示出了本发明一种基于人像分割的视频处理方法的流程图。
如图1所示，本发明第一方面提出一种基于人像分割的视频处理方法，所述方法包括：
S102，接收视频流输入并读入一帧原始图像；
S104，对所述原始图像进行人像分割(Image Matting)处理，得到对应的二值化灰度图(Alpha图)；
S106，采用光流法或时域滤波法对所述二值化灰度图进行优化处理，得到新的二值化灰度图；
S108，将新的二值化灰度图与所述原始图像进行融合，得到结果图像。
可以理解，所述结果图像为虚拟背景图像，通过虚拟背景替代真实背景，可以有效解决用户因个人隐私或所处位置比较敏感时难以进行视频云会议的问题。
根据本发明的实施例，所述采用光流法或时域滤波法对所述二值化灰度图进行优化处理包括：：
根据预设标准判断接收视频流输入的设备的机型分类；
如果所述设备是第一类机型，则采用光流法对所述二值化灰度图进行优化处理；如果当前设备是第二类机型，则采用时域滤波法对所述二值化灰度图进行优化处理。
需要说明的是，上述设备可以为手机、PAD、PC、智能手表、车载终端等通信设备。所述第一类机型为高端机型，例如处理性能参数大于预设阈值的机型，第二类机型为低端机型，例如处理性能参数小于预设阈值的机型。
根据本发明的实施例，在得到结果图像之后，所述方法还包括：
基于上述方式对视频流的每一帧原始图像进行连续处理，得到结果视频。
可以理解，前述内容已介绍了对单帧原始图像进行人像分割以及优化处理等操作步骤，由于视频流由连续的多帧图像形成的，所以在对当前帧原始图像处理得到结果图像后，还应该对在后帧的原始图像进行处理，并分别得到对应的结果图像，最后按照时序排列形成结果视频。
根据本发明的实施例，将新的二值化灰度图与所述原始图像进行融合，得到结果图像，具体包括：
将所述原始图像与所要替换的背景图像依托新的二值化灰度图进行融合，得到结果图像；具体融合公式为：
I＝α*F+(1-α)*B；其中I表示融合后的结果图像，
α为透明度，alpha为新的二值化灰度图中对应像素点的灰度值，F为原始图像，B为背景图像。
可选地，采用光流法对二值化灰度图进行处理，得到新的二值化灰度图，具体包括：
以帧为单位读取输入的视频流，将输入的原始图像进行人像分割(ImageMatting)处理得到该帧原始图像对应的二值化灰度图Alpha1；
对前后连续两帧原始图像进行稀疏光流分析得到当前帧的原始图像的光流图；
将得到的光流图的方向矢量对前一帧原始图像输出的二值化灰度图进行平移得到新的二值化灰度图Alpha2；
对二值化灰度图Alpha1和二值化灰度图Alpha2按照权重公式Alpha＝w*Alpha1+(1-w)*Alpha2进行融合得到新输出的二值化灰度图Alpha，其中w为权重因子。
根据本发明的实施例，利用Lucas Kanade稀疏光流法对前后连续两帧原始图像进行稀疏光流分析得到当前帧的原始图像的光流图，具体包括：
基于光流法的亮度恒定、时间连续性两个假设，得到图像的约束方程：I(x,y,t)＝I(x+δx,y+δy,t+δt)，其中I(x,y,t)是t时刻图像在(x,y)位置的亮度值；
利用泰勒公式对函数I(x+δx,y+δy,t+δt)在(x,y,t)处展开得到：
其中
和
是当前时刻图像在δx和δy方向的梯度，
表示时间方向上的梯度；
联立公式I(x,y,t)＝I(x+δx,y+δy,t+δt)和
得到：
对该式同时除以δt，并移项得到：
其中
和
分别为像素点沿着x和y方向的导数，沿x和y方向的速度分量分别记为u和v，将上式简写为：
令
且It为图像灰度对时间的变化量，将上式写成矩阵形式
基于光流法的空间一致性假设，得到以下方程组：
采用最小二乘法求解上述方程组，得到对应的光流图为：
可以理解，光流问题涉及尝试找出一幅图像中的许多点在第二幅图像中移动的位置通常是以视频序列完成的，因此可以假定第一幅图像中的大部分点框架都可以在第二幅图像中找到。光流可以用于场景中物体的运动估计，设置用于相机相对于整个场景的自运动估计。光流算法的理想输出是两帧图像中每个像素的速度的估计关联，或者等效的，一幅图像中每个像素的位移矢量，指示该像素在另一幅图像中的相对位置，如果图像中的每个像素都采用这种方法通常称为“稠密光流”。稠密光流算法的成本较高，考虑到算法运行成本问题，本发明仅仅只跟踪图像中某些点的子集，即采用“稀疏光流”算法，该算法通常是快速且可靠的，因为其将注意力只放在容易跟踪的特定点上，稀疏跟踪的计算成本远远低于稠密跟踪，优选的，本发明采用性价比高的Lucas Kanade稀疏光流法。
Lucas Kanade稀疏光流算法:它是一种两帧差分的光流估计算法，其基本思想基于以下三个假设。
1.亮度恒定：场景中目标图像的像素看起来在帧到帧移动是不发生改变。对于灰度图像(对于彩色图像同适用)这意味着像素的灰度值不会随着帧的跟踪改变。
2.时间持续性(微小移动)：图像上相机的移动随时间变化缓慢。实际上，这意味着时间的变化不会引起像素位置的剧烈变化，这样像素的灰度值才能对位置求对应的偏导数。
3.空间一致性：场景中相同表面的相邻点具有相似的运动，并且其投影到图像平面上的距离也比较近。
需要说明的是，在利用泰勒公式对函数I(x+δx,y+δy,t+δt)在(x,y,t)处展开得到：
其中
表示时间方向上的梯度，也就是下一帧与当前帧的差分。δt是两帧时间差也就是1，而δx和δy就是我们要求解的像素运动，R(x,y,t)为泰勒公式的高阶余项，其值近似为0，因此可以忽略不计。
需要说明的是，在基于光流法的前两个假设得到矩阵
时，由于以上的方程有u和v两个未知数，所以无法求解，根据第三条假设，可以假设在一个大小为m×m(n＝m2)的窗口内，图像的光流是一个固定值，继而可以得到方程组：
为了求解以上过度约束的系统可以采用最小二乘法对以上的方程进行最小化。记做
采用最小二乘法得到
则最终所有求解的光流为
最终
便是LK算法所对应的光流。
可选地，采用时域滤波法对二值化灰度图进行处理，具体包括：
步骤7-1，以帧为单位读取输入的视频流，将输入帧的原始图像数据进行人像分割(Image Matting)处理得到该帧对应的二值化灰度图，同时将输入帧的原始图像数据及人像分割处理后得到的二值化灰度图数据分别置入到对应已申请好的原始图像缓存区M1和二值化灰度图缓存区N1进行缓存；
步骤7-2，检测前后两帧原始图像的场景是否发生变化，若检测发现输入视频流发生了场景变化，则开辟新的原始图像缓存区M2和二值化灰度图缓存区N2，将场景变化后对应帧的原始图像和二值化灰度图缓存到新的原始图像缓存区M2和二值化灰度图缓存区N2，同时将旧缓存区M1和N1内的数据进行步骤7-4处理；如果未发生场景变化，则进入步骤7-3进行判断；
步骤7-3，将原始图像缓存区M1和二值化灰度图缓存区N1内的帧数与设定阈值比较，若缓存区帧数达到设定阈值时，则进入步骤7-4处理，否则返回进入步骤7-1处理，读取下一帧原始图像；
步骤7-4，基于高斯公式
对所述二值化灰度图缓存区N1内的数据进行高斯均值滤波得到一幅高斯二值化灰度图作为新的二值化灰度图。
进一步地，将输出的高斯二值化灰度图与原始图像缓存区M1的第一帧原始图像基于公式I＝α*F+(1-α)*B进行融合，得到第一帧原始图像的合成图作为结果图像，其中I表示融合后的结果图像，
α为透明度，alpha为新的二值化灰度图中对应像素点的灰度值，F为所述第一帧原始图像，B为背景图像。
而且，将原始图像缓存区M1和二值化灰度图缓存区N1中的第一帧数据进行清除。
进一步的，上述步骤7-2，具体包括：
通过对不同场景不同视频流进行实验测试得到一个场景变化下检测的判断阈值；
基于公式d(H1,H2)＝∑1min(H1(I),H2(I))对前后两帧原始图像之间的直方图相同位置计算，得到二者间最小值的累加值；
对比最小值的累加值与上述判断阈值，如果所述最小值的累加值大于或等于所述判断阈值时，则表示场景未发生变化；如果所述最小值的累加值小于所述判断阈值时，则表示场景发生变化。
可以理解，对前后两帧图像之间的直方图相同位置进行如上述公式d(H1,H2)＝∑1min(H1(I),H2(I))的计算，当两帧图像相同或相近时，二者间最小值的累加值会接近于图像像素点总个数；当两帧图像场景发生变化时或相差较大时，二者最小值的累加值会相应变小。本发明通过对不同场景不同视频流进行实验测试得到一个场景变化下检测的判断阈值，最小值累加值大于或等于该阈值时表示场景未发生变化，小于该阈值时表示场景发生变化。通过这种方法进行场景检测。
需要说明的是，在上述步骤7-3中，对于原始图像缓存区和二值化灰度图缓存区内的帧数进行阈值判断时，为了减少系统内存的压力，同时解决基于ImageMatting算法应用于视频会议时连续帧之间的一些人像边缘会出现多余或缺失，以及视频合成后播放时发生闪烁现象。本发明通过对不同场景下的视频流进行实验寻找出不同分辨率下的最小抗闪烁的缓存帧数，将最小缓存帧数设定为判断帧数的阈值。若缓存区帧数达到设定阈值时进入步骤7-4处理，否则返回进入步骤7-1处理。
需要说明的是，对于二值化灰度图缓存区内的数据进行高斯均值滤波得一幅高斯二值化灰度图，目的是既可以保证当前二值化灰度图不会受其他二值化灰度图过多的影响，又可以避免当前二值化灰度图与其后续的二值化灰度图之间存在较大差异。
图2示出了本发明一种基于人像分割的视频处理系统的框图。
如图2所示，本发明第二方面还提出一种基于人像分割的视频处理系统4，所述基于人像分割的视频处理系统4包括：存储器41及处理器42，所述存储器中包括一种基于人像分割的视频处理方法程序，所述基于人像分割的视频处理方法程序被所述处理器执行时实现如下步骤：
接收视频流输入并读入一帧原始图像；
对所述原始图像进行人像分割处理，得到对应的二值化灰度图；
采用光流法或时域滤波法对所述二值化灰度图进行优化处理，得到新的二值化灰度图；
将新的二值化灰度图与所述原始图像进行融合，得到结果图像。
需要说明的是，本发明的系统可以在手机、PAD、PC、智能手表、车载终端等通信设备中进行运行。
需要说明的是，所述处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本发明第三方面还提出一种计算机可读存储介质，所述计算机可读存储介质中包括一种基于人像分割的视频处理方法程序，所述基于人像分割的视频处理方法程序被处理器执行时，实现如上述的一种基于人像分割的视频处理方法的步骤。
本发明将图像级Image Matting算法应用于视频人像分割时视频中连续帧之间的一些人像边缘会出现多余或缺失，以及视频合成后播放时发生闪烁现象，本发明对于高低端设备分别提供了不同的解决方案。基于该现象对于高端设备利用光流法生成的Alpha图与原始Alpha图进行融合，对于低端设备采用同一场景内做出的Alpha图进行时域上的高斯均衡。因此本发明能够有效解决现有的视频云会议中经过人像分割后出现视频中人像边缘闪烁以及人像与背景衔接处出现微小的分割错误问题，并可以使虚拟背景的边缘细粒度分割有明显的提升。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种基于人像分割的视频处理方法，其特征在于，所述方法包括：
接收视频流输入并读入一帧原始图像；
对所述原始图像进行人像分割处理，得到对应的二值化灰度图；
采用光流法或时域滤波法对所述二值化灰度图进行处理，得到新的二值化灰度图；
将新的二值化灰度图与所述原始图像进行融合，得到结果图像。
2.根据权利要求1所述的一种基于人像分割的视频处理方法，其特征在于，所述采用光流法或时域滤波法对所述二值化灰度图进行优化处理包括：
根据预设标准判断接收视频流输入的设备的机型分类；
如果所述设备是第一类机型，则采用光流法对所述二值化灰度图进行优化处理；如果当前设备是第二类机型，则采用时域滤波法对所述二值化灰度图进行优化处理。
3.根据权利要求1所述的一种基于人像分割的视频处理方法，其特征在于，在得到结果图像之后，所述方法还包括：
基于上述方式对视频流的每一帧原始图像进行连续处理，得到结果视频。
4.根据权利要求1所述的一种基于人像分割的视频处理方法，其特征在于，将新的二值化灰度图与所述原始图像进行融合，得到结果图像，具体包括：
将所述原始图像与所要替换的背景图像依托新的二值化灰度图进行融合，得到结果图像；具体融合公式为：
I＝α*F+(1-α)*B；其中I表示融合后的结果图像，
α为透明度，alpha为新的二值化灰度图中对应像素点的灰度值，F为原始图像，B为背景图像。
5.根据权利要求1所述的一种基于人像分割的视频处理方法，其特征在于，采用光流法对二值化灰度图进行处理，得到新的二值化灰度图，包括：
对前后连续两帧原始图像进行稀疏光流分析得到当前帧的原始图像的光流图；
按照得到的光流图的方向矢量对前一帧原始图像输出的二值化灰度图进行平移得到新的二值化灰度图Alpha2；
对当前帧的二值化灰度图Alpha1和所述二值化灰度图Alpha2按照公式Alpha＝w*Alpha1+(1-w)*Alpha2进行融合得到新的二值化灰度图Alpha，其中w为权重因子。
6.根据权利要求5所述的一种基于人像分割的视频处理方法，其特征在于，利用LucasKanade稀疏光流法对前后连续两帧原始图像进行稀疏光流分析得到当前帧的原始图像的光流图。
7.根据权利要求1所述的一种基于人像分割的视频处理方法，其特征在于，采用时域滤波法对所述二值化灰度图进行处理，得到新的二值化灰度图，包括：
步骤7-1，将所述原始图像及人像分割处理后得到的二值化灰度图分别缓存到对应的原始图像缓存区和二值化灰度图缓存区；
步骤7-2，接收下一帧原始图像，检测前后两帧原始图像的场景是否发生变化，若发生了变化，则将场景变化后对应帧的原始图像和二值化灰度图缓存到新的原始图像缓存区和二值化灰度图缓存区，同时将步骤7-1中缓存的数据进行步骤7-4处理；如果未发生场景变化，则进入步骤7-3处理；
步骤7-3，判断原始图像缓存区和二值化灰度图缓存区内的帧数是否达到阈值，若缓存区帧数达到设定阈值，则进入步骤7-4处理，否则进入步骤7-1处理；
步骤7-4，基于高斯公式
对所述二值化灰度图缓存区内的数据进行高斯均值滤波得到高斯二值化灰度图作为新的二值化灰度图。
8.根据权利要求7所述的一种基于人像分割的视频处理方法，其特征在于，上述步骤7-2，具体包括：
基于公式d(Hi,H2)＝∑imin(H1(I),H2(I))对前后两帧原始图像之间的直方图相同位置计算，得到二者间最小值的累加值；
对比最小值的累加值与预设的判断阈值，如果所述最小值的累加值大于或等于所述判断阈值时，则表示场景未发生变化；如果所述最小值的累加值小于所述判断阈值时，则表示场景发生变化。
9.一种基于人像分割的视频处理系统，其特征在于，所述基于人像分割的视频处理系统包括：存储器及处理器，所述存储器中包括一种基于人像分割的视频处理方法程序，所述基于人像分割的视频处理方法程序被所述处理器执行时实现如下步骤：
接收视频流输入并读入一帧原始图像；
对所述原始图像进行人像分割处理，得到对应的二值化灰度图；
采用光流法或时域滤波法对所述二值化灰度图进行优化处理，得到新的二值化灰度图；
将新的二值化灰度图与所述原始图像进行融合，得到结果图像。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包括一种基于人像分割的视频处理方法程序，所述基于人像分割的视频处理方法程序被处理器执行时，实现如权利要求1至8中任一项所述的一种基于人像分割的视频处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110039231.3A CN112837323A (zh) | 2021-01-12 | 2021-01-12 | 一种基于人像分割的视频处理方法、系统和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110039231.3A CN112837323A (zh) | 2021-01-12 | 2021-01-12 | 一种基于人像分割的视频处理方法、系统和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112837323A true CN112837323A (zh) | 2021-05-25 |
Family
ID=75927868
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110039231.3A Pending CN112837323A (zh) | 2021-01-12 | 2021-01-12 | 一种基于人像分割的视频处理方法、系统和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112837323A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113065534A (zh) * | 2021-06-02 | 2021-07-02 | 全时云商务服务股份有限公司 | 一种基于人像分割精度提升的方法、系统和存储介质 |
| CN113592979A (zh) * | 2021-06-03 | 2021-11-02 | 西北大学 | 一种基于Background Matting改进的戏曲视频融合的方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102640184A (zh) * | 2009-10-20 | 2012-08-15 | 苹果公司 | 用于图像信号处理的时域滤波技术 |
| US20140002746A1 (en) * | 2012-06-29 | 2014-01-02 | Xue Bai | Temporal Matte Filter for Video Matting |
| CN108174238A (zh) * | 2018-01-16 | 2018-06-15 | 北京数码视讯科技股份有限公司 | 增强视频帧对比度的方法、装置和视频编解码器 |
| CN108805898A (zh) * | 2018-05-31 | 2018-11-13 | 北京字节跳动网络技术有限公司 | 视频图像处理方法和装置 |
| CN110349163A (zh) * | 2019-07-19 | 2019-10-18 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
| CN111292337A (zh) * | 2020-01-21 | 2020-06-16 | 广州虎牙科技有限公司 | 图像背景替换方法、装置、设备及存储介质 |
-
2021
- 2021-01-12 CN CN202110039231.3A patent/CN112837323A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102640184A (zh) * | 2009-10-20 | 2012-08-15 | 苹果公司 | 用于图像信号处理的时域滤波技术 |
| US20140002746A1 (en) * | 2012-06-29 | 2014-01-02 | Xue Bai | Temporal Matte Filter for Video Matting |
| CN108174238A (zh) * | 2018-01-16 | 2018-06-15 | 北京数码视讯科技股份有限公司 | 增强视频帧对比度的方法、装置和视频编解码器 |
| CN108805898A (zh) * | 2018-05-31 | 2018-11-13 | 北京字节跳动网络技术有限公司 | 视频图像处理方法和装置 |
| CN110349163A (zh) * | 2019-07-19 | 2019-10-18 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
| CN111292337A (zh) * | 2020-01-21 | 2020-06-16 | 广州虎牙科技有限公司 | 图像背景替换方法、装置、设备及存储介质 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113065534A (zh) * | 2021-06-02 | 2021-07-02 | 全时云商务服务股份有限公司 | 一种基于人像分割精度提升的方法、系统和存储介质 |
| CN113065534B (zh) * | 2021-06-02 | 2021-09-03 | 全时云商务服务股份有限公司 | 一种基于人像分割精度提升的方法、系统和存储介质 |
| CN113592979A (zh) * | 2021-06-03 | 2021-11-02 | 西北大学 | 一种基于Background Matting改进的戏曲视频融合的方法 |
| CN113592979B (zh) * | 2021-06-03 | 2024-02-23 | 西北大学 | 一种基于Background Matting改进的戏曲视频融合的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11637971B2 (en) | Automatic composition of composite images or videos from frames captured with moving camera | |
| Bahnsen et al. | Rain removal in traffic surveillance: Does it matter? | |
| Chen et al. | Pixelwise deep sequence learning for moving object detection | |
| CN102567727B (zh) | 一种背景目标替换方法和装置 | |
| JP4898800B2 (ja) | イメージセグメンテーション | |
| AU2006252252B2 (en) | Image processing method and apparatus | |
| CN113286194A (zh) | 视频处理方法、装置、电子设备及可读存储介质 | |
| CN116018616A (zh) | 保持帧中的目标对象的固定大小 | |
| US20210004962A1 (en) | Generating effects on images using disparity guided salient object detection | |
| US10552962B2 (en) | Fast motion based and color assisted segmentation of video into region layers | |
| CA2649389A1 (en) | Video segmentation using statistical pixel modeling | |
| Bešić et al. | Dynamic object removal and spatio-temporal RGB-D inpainting via geometry-aware adversarial learning | |
| Zhang et al. | Moving vehicles segmentation based on Bayesian framework for Gaussian motion model | |
| Agrawal et al. | A comprehensive review on analysis and implementation of recent image dehazing methods | |
| CN112837323A (zh) | 一种基于人像分割的视频处理方法、系统和存储介质 | |
| WO2016120132A1 (en) | Method and apparatus for generating an initial superpixel label map for an image | |
| CN113065534B (zh) | 一种基于人像分割精度提升的方法、系统和存储介质 | |
| CN114463218A (zh) | 一种基于事件数据驱动的视频去模糊方法 | |
| Guo et al. | Joint raindrop and haze removal from a single image | |
| CN114677394A (zh) | 抠图方法、装置、摄像设备、会议系统、电子设备及介质 | |
| Liu et al. | Learning to see through obstructions with layered decomposition | |
| Liu et al. | Automatic body segmentation with graph cut and self-adaptive initialization level set (SAILS) | |
| Hou et al. | A survey of efficient deep learning models for moving object segmentation | |
| Zhou et al. | Rain detection and removal of sequential images | |
| CN109215047B (zh) | 基于深海视频的运动目标检测方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210525 |