CN113065534B - 一种基于人像分割精度提升的方法、系统和存储介质 - Google Patents

一种基于人像分割精度提升的方法、系统和存储介质 Download PDF

Info

Publication number
CN113065534B
CN113065534B CN202110611581.2A CN202110611581A CN113065534B CN 113065534 B CN113065534 B CN 113065534B CN 202110611581 A CN202110611581 A CN 202110611581A CN 113065534 B CN113065534 B CN 113065534B
Authority
CN
China
Prior art keywords
image
source image
face
suspected
source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110611581.2A
Other languages
English (en)
Other versions
CN113065534A (zh
Inventor
程鹏宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
G Net Cloud Service Co Ltd
Original Assignee
G Net Cloud Service Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by G Net Cloud Service Co Ltd filed Critical G Net Cloud Service Co Ltd
Priority to CN202110611581.2A priority Critical patent/CN113065534B/zh
Publication of CN113065534A publication Critical patent/CN113065534A/zh
Application granted granted Critical
Publication of CN113065534B publication Critical patent/CN113065534B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于人像分割精度提升的方法、系统和存储介质，所述方法包括：接收关于视频云会议的视频流并从中读取一帧源图像；通过RBF人脸检测网络对所述源图像进行人脸检测，并检测得到源图像中的疑似人脸个数；如果检测到的疑似人脸个数不为零，结合源图像分辨率与各个疑似人脸坐标区域之间的比值关系分别判断各个疑似人脸是否为真实人脸；根据判断结果，如果存在真实人脸，则标记出真实人脸坐标区域；基于真实人脸坐标区域对所述源图像进行人像分割处理，得到对应的二值化灰度图；将二值化灰度图与源图像以及预设的背景图像进行融合，得到融合图像，并展示在视频云会议观看侧的界面。本发明能够提升视频云观看端的人像分割精度。

Description

一种基于人像分割精度提升的方法、系统和存储介质
技术领域
本发明涉及视频处理技术领域，尤其涉及一种基于人像分割精度提升的方法。
背景技术
视频云会议中的虚拟背景主要用于用户由于个人隐私或所处位置比较敏感时需要将背景信息用已有的图像或视频替换，简称虚拟化。云会议中虚拟背景的功能主要是对视频中的每一帧基于Image Matting（人像分割）生成的二值化灰度图Alpha（一般人像区域为255，背景区域为0，人像与背景交集边缘处为0-255），将当前帧与所要替换的背景图进行融合，最终得到想要的结果图或视频。
Image Matting技术指的是用于传统图像处理或深度学习CNN网络将图像的前景（255）、背景（0）以及前景与背景的衔接边缘区域（0-255）进行分离生成Alpha图，便于后续应用使用，如云会议中的虚拟背景功能。虽然Image Matting技术熟称人像分割，但是Matting与分割有着本质区别，分割指的是将前景和背景或者图像中的物体进行提取并只关心实际分割出的物体IOU（Intersection over Union），Image Matting如前文所述出了需要完成分割的功能外还需要完成前景和背景之间的衔接边缘区域，因为这类区域的Alpha图实际上既有前景信息又有背景信息，所以无法简单的将其完全分离为前景与背景。
现有的Image Matting基本都是针对于图像级的（空域），主要分成两大类，第一类传统图像处理方法，第二类是基于深度学习CNN网络。
基于传统图像处理方法主要有区域增长、分裂、图割、轮廓模型。其中区域增长、分裂则是通过一些种子点，再加上相似性准则来不断扩充区域直到达到类别的边界，直到分割结果完善，典型方法为分水岭算法。所谓的图割则是通过建立一张图，其中以图像像素或者超像素作为图像顶点，然后优化的目标就是要找到一个切割，使得各个子图不相连从而实现分割，前提是移除边的和权重最小，典型的方法有Graphcut。所谓的轮廓模型通过使用连续曲线来表达目标轮廓，并定义一个能量泛函，其自变量为曲线，将分割过程转变为求解能量泛函的最小值的过程，典型的方法有snake模型。
基于深度学习CNN网络主要是基于Encoder和Decoder模型以及外接对边缘修正的小模型进行端到端的输出。Encoder主要是学习图像中的多层高维特征，Decoder主要是通过将学习到的高维特征与低维特征以及原图进行融合学习上采样至原图大小，得到最终所需的输出，外接对边缘修正小模型主要是对输出的Alpha图细节，如头发丝，细小边缘等区域进行精调，典型的网络有FCN、Deep Image Matting等。
由于CNN网络自身的局限性，无法做到100%的精准，因此人像分割网络常常会将无人视频中的一些很像人衣服、轮廓等物体也识别为人像，比如沙发、高靠背椅子、衣架上的大衣等等，都会被人像分割网络识别为人像从而在观看端显示出来，导致观看体验效果急剧下降
发明内容
为了解决上述至少一个技术问题，本发明提出了一种基于人像分割精度提升的方法、系统和存储介质，能够提升视频云观看端的人像分割精度。
本发明第一方面提出了一种基于人像分割精度提升的方法，所述方法包括：
接收关于视频云会议的视频流并从中读取一帧源图像；
通过RBF人脸检测网络对所述源图像进行人脸检测，并检测得到所述源图像中的疑似人脸个数；
如果检测到的疑似人脸个数不为零，结合所述源图像分辨率与各个疑似人脸坐标区域之间的比值关系分别判断各个疑似人脸是否为真实人脸；
根据判断结果，如果存在真实人脸，则标记出真实人脸坐标区域；
基于真实人脸坐标区域对所述源图像进行人像分割处理，得到对应的二值化灰度图；
将二值化灰度图与所述源图像以及预设的背景图像进行融合，得到融合图像，并展示在视频云会议观看侧的界面。
本方案中，结合所述源图像分辨率与各个疑似人脸坐标区域之间的比值关系分别判断各个疑似人脸是否为真实人脸，具体包括：
预设图像中的人脸大小与该图像分辨率的基准比值；
分别计算各个疑似人脸坐标区域大小与所述源图像分辨率的比值；
分别将计算得到的比值与所述基准比值进行比较，并筛选出超过所述基准比值的部分比值；
将上述部分比值对应的疑似人脸认定为真实人脸。
本方案中，在得到对应的二值化灰度图之后，所述方法还包括：
对所述二值化灰度图进行去噪处理；
采用光流法对去噪后的二值化灰度图进行优化处理，得到新的二值化灰度图；
将新的二值化灰度图与所述源图像以及预设的背景图像进行融合，得到融合图像，并展示在视频云会议观看侧的界面。
本方案中，将新的二值化灰度图与所述源图像以及预设的背景图像进行融合，具体包括：
将新的二值化灰度图与所述源图像以及预设的背景图像按照公式：
Figure 530865DEST_PATH_IMAGE001
进行融合；其中
Figure 775901DEST_PATH_IMAGE002
表示融合后的融合图像，
Figure 821218DEST_PATH_IMAGE003
，
Figure 826214DEST_PATH_IMAGE004
为透明度，
Figure 906166DEST_PATH_IMAGE005
为新的二值化灰度图中对应像素点的灰度值，
Figure 305792DEST_PATH_IMAGE006
为源图像，
Figure 369563DEST_PATH_IMAGE007
为背景图像。
本方案中，采用光流法对去噪后的二值化灰度图进行优化处理，具体包括：
接收视频流，基于真实人脸坐标区域对所述源图像进行人像分割处理，得到对应的二值化灰度图C1；
结合所述二值化灰度图C1对应的源图像以及前一帧源图像进行稀疏光流分析得到所述二值化灰度图C1对应的源图像的光流图；
将得到的光流图的方向矢量对前一帧源图像人像分割处理得到的二值化灰度图进行平移得到新的二值化灰度图C2；
对二值化灰度图C1和二值化灰度图C2按照权重公式C= k * C1 + (1-k) * C2进行融合得到二值化灰度图C，其中k为权重因子；
对所述二值化灰度图C中的人像边界进行平滑处理，得到新的二值化灰度图。
本方案中，结合所述二值化灰度图C1对应的源图像以及前一帧源图像进行稀疏光流分析得到所述二值化灰度图C1对应的源图像的光流图，具体包括：
根据光流法的亮度恒定、时间连续性，得到源图像的约束方程：
Figure 647091DEST_PATH_IMAGE008
，其中
Figure 581549DEST_PATH_IMAGE009
是t时刻源图像在(x, y)位置的亮度值，
Figure 155007DEST_PATH_IMAGE010
是两帧时间差，
Figure 174915DEST_PATH_IMAGE011
和
Figure 239823DEST_PATH_IMAGE012
为需要求解的像素运动，
Figure 779520DEST_PATH_IMAGE013
为泰勒公式的高阶余项；
利用泰勒公式对函数
Figure 537260DEST_PATH_IMAGE014
在(x,y,t)处展开得到：
Figure 90470DEST_PATH_IMAGE015
，其中
Figure 631173DEST_PATH_IMAGE016
和
Figure 602540DEST_PATH_IMAGE017
是当前时刻源图像在
Figure 954018DEST_PATH_IMAGE011
和
Figure 10836DEST_PATH_IMAGE012
方向的梯度，
Figure 355230DEST_PATH_IMAGE018
表示时间方向上的梯度；
联立公式
Figure 185299DEST_PATH_IMAGE008
和
Figure 284842DEST_PATH_IMAGE019
，得到：
Figure 251792DEST_PATH_IMAGE020
，将
Figure 196615DEST_PATH_IMAGE021
置为0，并对该式同时除以
Figure 126262DEST_PATH_IMAGE010
，并移项得到：
Figure 334390DEST_PATH_IMAGE022
，其中
Figure 100221DEST_PATH_IMAGE023
和
Figure 537149DEST_PATH_IMAGE024
分别为像素点沿着x和y方向的导数，沿x和y方向的速度分量分别记为
Figure 337615DEST_PATH_IMAGE025
和
Figure 716644DEST_PATH_IMAGE026
，将式：
Figure 956389DEST_PATH_IMAGE022
变换为：
Figure 508593DEST_PATH_IMAGE027
；
令
Figure 586401DEST_PATH_IMAGE028
，
Figure 198648DEST_PATH_IMAGE029
，
Figure 876754DEST_PATH_IMAGE030
，且
Figure 481917DEST_PATH_IMAGE031
为图像灰度对时间的变化量，将式
Figure 929079DEST_PATH_IMAGE027
写成矩阵形式
Figure 197380DEST_PATH_IMAGE032
；
基于光流法的空间一致性，得到以下方程组：
Figure 362782DEST_PATH_IMAGE033
；
其中，m为源图像中边长为d的正方形窗口面积；
采用最小二乘法求解上述方程组，得到源图像对应的光流图为：
Figure 991210DEST_PATH_IMAGE034
。
本发明第二方面还提出一种基于人像分割精度提升的系统，所述基于人像分割精度提升的系统包括：存储器及处理器，所述存储器中包括一种基于人像分割精度提升的方法程序，所述基于人像分割精度提升的方法程序被所述处理器执行时实现如下步骤：
接收关于视频云会议的视频流并从中读取一帧源图像；
通过RBF人脸检测网络对所述源图像进行人脸检测，并检测得到所述源图像中的疑似人脸个数；
如果检测到的疑似人脸个数不为零，结合所述源图像分辨率与各个疑似人脸坐标区域之间的比值关系分别判断各个疑似人脸是否为真实人脸；
根据判断结果，如果存在真实人脸，则标记出真实人脸坐标区域；
基于真实人脸坐标区域对所述源图像进行人像分割处理，得到对应的二值化灰度图；
将二值化灰度图与所述源图像以及预设的背景图像进行融合，得到融合图像，并展示在视频云会议观看侧的界面。
本方案中，结合所述源图像分辨率与各个疑似人脸坐标区域之间的比值关系分别判断各个疑似人脸是否为真实人脸，具体包括：
预设图像中的人脸大小与该图像分辨率的基准比值；
分别计算各个疑似人脸坐标区域大小与所述源图像分辨率的比值；
分别将计算得到的比值与所述基准比值进行比较，并筛选出超过所述基准比值的部分比值；
将上述部分比值对应的疑似人脸认定为真实人脸。
本方案中，所述基于人像分割精度提升的方法程序被所述处理器执行时还实现如下步骤：
对所述二值化灰度图进行去噪处理；
采用光流法对去噪后的二值化灰度图进行优化处理，得到新的二值化灰度图；
将新的二值化灰度图与所述源图像以及预设的背景图像进行融合，得到融合图像，并展示在视频云会议观看侧的界面。
本发明第三方面还提出一种计算机可读存储介质，所述计算机可读存储介质中包括一种基于人像分割精度提升的方法程序，所述基于人像分割精度提升的方法程序被处理器执行时，实现如上述的一种基于人像分割精度提升的方法的步骤。
本发明利用人脸检测网络与视频分辨率相结合的方法，解决了如沙发、高靠背椅子、衣架上的大衣等等会被神经网络识别为人像的问题，进一步提升了观看体验效果。
本发明的附加方面和优点将在下面的描述部分中给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
图1示出了本发明一种基于人像分割精度提升的方法流程图；
图2示出了本发明一种基于人像分割精度提升的系统框图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
图1示出了本发明一种基于人像分割精度提升的方法流程图。
如图1所示，本发明第一方面提出一种基于人像分割精度提升的方法，所述方法包括：
S102，接收关于视频云会议的视频流并从中读取一帧源图像；
S104，通过RBF人脸检测网络对所述源图像进行人脸检测，并检测得到所述源图像中的疑似人脸个数；
S106，如果检测到的疑似人脸个数不为零，结合所述源图像分辨率与各个疑似人脸坐标区域之间的比值关系分别判断各个疑似人脸是否为真实人脸；
S108，根据判断结果，如果存在真实人脸，则标记出真实人脸坐标区域；
S110，基于真实人脸坐标区域对所述源图像进行人像分割处理，得到对应的二值化灰度图；
S112，将二值化灰度图与所述源图像以及预设的背景图像进行融合，得到融合图像，并展示在视频云会议观看侧的界面。
根据本发明的实施例，如果检测到的疑似人脸个数为零，则读入下一帧源图像，并进行人脸检测以及人像分割处理。
需要说明的是，RBF人脸检测网络是一种三层神经网络，其包括输入层、隐层、输出层。从输入空间到隐层空间的变换是非线性的，而从隐层空间到输出层空间变换是线性的。
可以理解，所述融合图像为虚拟背景图像，通过虚拟背景替代真实背景，可以有效解决用户因个人隐私或所处位置比较敏感时难以进行视频云会议的问题。
根据本发明的实施例，在得到融合图像，并展示在视频云会议观看侧的界面之后，所述方法还包括：
基于上述方式对视频流的每一帧源图像进行连续处理，得到结果视频。
需要说明的是，上述方法介绍了对单帧源图像进行人像分割等操作步骤，由于视频流由连续的多帧图像形成的，所以在对当前帧源图像处理得到融合图像，并展示在视频云会议观看侧的界面后，还应该对在后帧的源图像进行处理，并分别得到对应的融合图像，最后按照时序排列形成结果视频。
根据本发明的实施例，结合所述源图像分辨率与各个疑似人脸坐标区域之间的比值关系分别判断各个疑似人脸是否为真实人脸，具体包括：
预设图像中的人脸大小与该图像分辨率的基准比值；
分别计算各个疑似人脸坐标区域大小与所述源图像分辨率的比值；
分别将计算得到的比值与所述基准比值进行比较，并筛选出超过所述基准比值的部分比值；
将上述部分比值对应的疑似人脸认定为真实人脸。
优选的，所述基准比值为10%，但不限于此。
需要说明的是，在视频云会议中，通常人脸在整个图像中的占比较大，本发明通过设定基准比值10%，当疑似人脸坐标区域大小与所述源图像分辨率的比值大于10%，则可认定该疑似人脸为真实人脸，并基于真实人脸进行后续的人像分割处理流程；当疑似人脸坐标区域大小与所述源图像分辨率的比值小于10%，则继续判断所述源图像中的其它疑似人脸，如果所有疑似人脸区域大小与所述源图像分辨率的比值均小于10%，则读入下一帧源图像，并继续进行人脸检测以及人像分割处理流程。
根据本发明的实施例，在得到对应的二值化灰度图之后，所述方法还包括：
对所述二值化灰度图进行去噪处理；
采用光流法对去噪后的二值化灰度图进行优化处理，得到新的二值化灰度图；
将新的二值化灰度图与所述源图像以及预设的背景图像进行融合，得到融合图像，并展示在视频云会议观看侧的界面。
需要说明的是，本发明采用的去噪方法可以采用中值滤波、高斯滤波、均值滤波中的任意一种。
根据本发明的实施例，将新的二值化灰度图与所述源图像以及预设的背景图像进行融合，具体包括：
将新的二值化灰度图与所述源图像以及预设的背景图像按照公式：
Figure 867112DEST_PATH_IMAGE035
进行融合；其中
Figure 493265DEST_PATH_IMAGE002
表示融合后的融合图像，
Figure 959013DEST_PATH_IMAGE003
，
Figure 125552DEST_PATH_IMAGE004
为透明度，
Figure 858890DEST_PATH_IMAGE005
为新的二值化灰度图中对应像素点的灰度值，
Figure 718262DEST_PATH_IMAGE006
为源图像，
Figure 405726DEST_PATH_IMAGE007
为背景图像。
根据本发明的实施例，采用光流法对去噪后的二值化灰度图进行优化处理，具体包括：
接收视频流，基于真实人脸坐标区域对所述源图像进行人像分割处理，得到对应的二值化灰度图C1；
结合所述二值化灰度图C1对应的源图像以及前一帧源图像进行稀疏光流分析得到所述二值化灰度图C1对应的源图像的光流图；
将得到的光流图的方向矢量对前一帧源图像人像分割处理得到的二值化灰度图进行平移得到新的二值化灰度图C2；
对二值化灰度图C1和二值化灰度图C2按照权重公式C= k * C1 + (1-k) * C2进行融合得到二值化灰度图C，其中k为权重因子；
对所述二值化灰度图C中的人像边界进行平滑处理，得到新的二值化灰度图。
根据本发明的实施例，结合所述二值化灰度图C1对应的源图像以及前一帧源图像进行稀疏光流分析得到所述二值化灰度图C1对应的源图像的光流图，具体包括：
根据光流法的亮度恒定、时间连续性，得到源图像的约束方程：
Figure 641536DEST_PATH_IMAGE008
，其中
Figure 169994DEST_PATH_IMAGE009
是t时刻源图像在(x, y)位置的亮度值，
Figure 200266DEST_PATH_IMAGE013
为泰勒公式的高阶余项；
利用泰勒公式对函数
Figure 375027DEST_PATH_IMAGE014
在(x,y,t)处展开得到：
Figure 680106DEST_PATH_IMAGE015
，其中
Figure 856879DEST_PATH_IMAGE016
和
Figure 58053DEST_PATH_IMAGE017
是当前时刻源图像在
Figure 657793DEST_PATH_IMAGE011
和
Figure 969825DEST_PATH_IMAGE012
方向的梯度，
Figure 263754DEST_PATH_IMAGE018
表示时间方向上的梯度；
联立公式
Figure 635829DEST_PATH_IMAGE008
和
Figure 785182DEST_PATH_IMAGE019
，得到：
Figure 104168DEST_PATH_IMAGE020
，将
Figure 6265DEST_PATH_IMAGE021
置为0，并对该式同时除以
Figure 126405DEST_PATH_IMAGE010
，并移项得到：
Figure 435158DEST_PATH_IMAGE022
，其中
Figure 354572DEST_PATH_IMAGE023
和
Figure 363373DEST_PATH_IMAGE024
分别为像素点沿着x和y方向的导数，沿x和y方向的速度分量分别记为
Figure 342830DEST_PATH_IMAGE025
和
Figure 935617DEST_PATH_IMAGE026
，将式：
Figure 924301DEST_PATH_IMAGE022
变换为：
Figure 50258DEST_PATH_IMAGE027
；
令
Figure 200617DEST_PATH_IMAGE028
，
Figure 483962DEST_PATH_IMAGE029
，
Figure 745179DEST_PATH_IMAGE030
，且
Figure 722712DEST_PATH_IMAGE031
为图像灰度对时间的变化量，将式
Figure 591442DEST_PATH_IMAGE027
写成矩阵形式
Figure 204826DEST_PATH_IMAGE032
；
基于光流法的空间一致性，得到以下方程组：
Figure 456685DEST_PATH_IMAGE033
；
其中，m为源图像中边长为d的正方形窗口面积；
采用最小二乘法求解上述方程组，得到源图像对应的光流图为：
Figure 42387DEST_PATH_IMAGE034
。
可以理解，光流是由于场景中前景目标本身的移动、相机的运动，或者两者的共同运动所产生的。当人的眼睛观察运动物体时，物体的景象在人眼的视网膜上形成一系列连续变化的图像，这一系列连续变化的信息不断“流过”视网膜（即图像平面），好像一种光的“流”，故称之为光流。光流表达了图像的变化，由于它包含了目标运动的信息，因此可被观察者用来确定目标的运动情况。
光流法基本原理：（1）亮度恒定不变。即同一目标在不同帧间运动时，其亮度不会发生改变。这是基本光流法的假定，用于得到光流法基本方程；（2）时间连续或运动是“小运动”。即时间的变化不会引起目标位置的剧烈变化，相邻帧之间位移要比较小。
需要说明的是，在利用泰勒公式对函数
Figure 550860DEST_PATH_IMAGE014
在(x,y,t)处展开得到：
Figure 792485DEST_PATH_IMAGE037
，其中
Figure 241178DEST_PATH_IMAGE018
表示时间方向上的梯度，也就是下一帧与当前帧的差分。
Figure 963277DEST_PATH_IMAGE010
是两帧时间差也就是1，而
Figure 564023DEST_PATH_IMAGE011
和
Figure 355261DEST_PATH_IMAGE012
就是我们要求解的像素运动，
Figure 11239DEST_PATH_IMAGE038
为泰勒公式的高阶余项，其值近似为0，因此可以忽略不计。
需要说明的是，在基于光流法的前两个假设得到矩阵
Figure 571534DEST_PATH_IMAGE032
时，由于以上的方程有
Figure 93913DEST_PATH_IMAGE025
和
Figure 638027DEST_PATH_IMAGE026
两个未知数，所以无法求解，根据第三条假设，可以假设在一个大小为
Figure 852624DEST_PATH_IMAGE039
的窗口内，图像的光流是一个固定值，继而可以得到方程组：
Figure 814895DEST_PATH_IMAGE033
；
为了求解以上过度约束的系统可以采用最小二乘法对以上的方程进行最小化。得到光流为
Figure 396924DEST_PATH_IMAGE034
。
根据本发明的实施例，在对所述二值化灰度图进行去噪处理之后，所述方法还包括：
判断当前设备的性能；
如果为高性能设备，则采用光流法对去噪后的二值化灰度图进行优化处理；
如果为低性能设备，则采用时域滤波法对去噪后的二值化灰度图进行优化处理。
需要说明的是，高性能设备或低性能设备均可以为手机、PAD、PC、智能手表、车载终端等通信设备。
根据本发明的实施例，采用时域滤波法对去噪后的二值化灰度图进行优化处理，具体包括：
接收连续的视频流，从中读取一帧源图像进行人像分割处理得到该帧对应的二值化灰度图，同时将所述源图像及人像分割处理后得到的二值化灰度图分别置入到已申请好的源图像缓存区和二值化灰度图缓存区进行缓存。
检测前后两帧源图像的场景是否发生变化，若检测发现连续视频流发生了场景变化，则创建新的缓存区，重新读取视频流场景变化后对应帧的源图像，并返回上一步处理，同时将旧缓存区内的图像数据进行双边滤波处理得到滤波后的二值化灰度图；如果未发生场景变化，则进入下一步；
对源图像缓存区和二值化灰度图缓存区内的帧数进行阈值判断，若缓存区帧数达到设定阈值时，则进入下一步，否则返回初始步骤并读取下一帧源图像；
对所述二值化灰度图缓存区内的图像进行双边滤波处理得到滤波后的二值化灰度图；
将滤波后的二值化灰度图应用于源图像缓存区的第一帧源图像，并基于公式
Figure 100438DEST_PATH_IMAGE035
进行融合，得到第一帧源图像的合成图作为融合图像，同时将源图像缓存区和二值化灰度图缓存区中的第一帧数据进行清除。
进一步的，检测前后两帧源图像的场景是否发生变化，具体包括：
通过对不同场景不同视频流进行实验测试得到一个场景变化下检测的判断阈值；
基于公式
Figure 583372DEST_PATH_IMAGE040
对前后两帧源图像之间的直方图相同位置计算，得到二者间最小值的累加值；
对比最小值的累加值与上述判断阈值，如果所述最小值的累加值大于所述判断阈值时，则表示场景未发生变化；如果所述最小值的累加值小于所述判断阈值时，则表示场景发生变化。
可以理解，对前后两帧图像之间的直方图相同位置进行如上述公式
Figure 134570DEST_PATH_IMAGE040
的计算，当两帧图像相同或相近时，二者间最小值的累加值会接近于图像像素点总个数；当两帧图像场景发生变化时或相差较大时，二者最小值的累加值会相应变小。本发明通过对不同场景不同视频流进行实验测试得到一个场景变化下检测的判断阈值，最小值累加值大于该阈值时表示场景未发生变化，小于该阈值时表示场景发生变化。通过这种方法进行场景检测。
需要说明的是，在对源图像缓存区和二值化灰度图缓存区内的帧数进行阈值判断时，为了减少系统内存的压力，同时解决基于Image Matting算法应用于视频会议时连续帧之间的一些人像边缘会出现多余或缺失，以及视频合成后播放时发生闪烁现象。本发明通过对不同场景下的视频流进行实验寻找出不同分辨率下的最小抗闪烁的缓存帧数，将最小缓存帧数设定为判断帧数的阈值。若缓存区帧数达到设定阈值时，则对所述二值化灰度图缓存区内的图像进行双边滤波处理得到滤波后的二值化灰度图，否则返回并读取下一帧源图像进行循环处理。
需要说明的是，双边滤波在高斯滤波的基础上加入了像素值权重项，也就是说既考虑距离因素，也考虑像素值差异的影响，像素值越相近，权重越大，因此本发明采用双边滤波可以有效避免图像处理过程的边缘信息出现模糊化的现象。
图2示出了本发明一种基于人像分割精度提升的系统框图。
如图2所示，本发明第二方面还提出一种基于人像分割精度提升的系统2，所述基于人像分割精度提升的系统包括：存储器21及处理器22，所述存储器中包括一种基于人像分割精度提升的方法程序，所述基于人像分割精度提升的方法程序被所述处理器执行时实现如下步骤：
接收关于视频云会议的视频流并从中读取一帧源图像；
通过RBF人脸检测网络对所述源图像进行人脸检测，并检测得到所述源图像中的疑似人脸个数；
如果检测到的疑似人脸个数不为零，结合所述源图像分辨率与各个疑似人脸坐标区域之间的比值关系分别判断各个疑似人脸是否为真实人脸；
根据判断结果，如果存在真实人脸，则标记出真实人脸坐标区域；
基于真实人脸坐标区域对所述源图像进行人像分割处理，得到对应的二值化灰度图；
将二值化灰度图与所述源图像以及预设的背景图像进行融合，得到融合图像，并展示在视频云会议观看侧的界面。
根据本发明的实施例，结合所述源图像分辨率与各个疑似人脸坐标区域之间的比值关系分别判断各个疑似人脸是否为真实人脸，具体包括：
预设图像中的人脸大小与该图像分辨率的基准比值；
分别计算各个疑似人脸坐标区域大小与所述源图像分辨率的比值；
分别将计算得到的比值与所述基准比值进行比较，并筛选出超过所述基准比值的部分比值；
将上述部分比值对应的疑似人脸认定为真实人脸。
根据本发明的实施例，所述基于人像分割精度提升的方法程序被所述处理器执行时还实现如下步骤：
对所述二值化灰度图进行去噪处理；
采用光流法对去噪后的二值化灰度图进行优化处理，得到新的二值化灰度图；
将新的二值化灰度图与所述源图像以及预设的背景图像进行融合，得到融合图像，并展示在视频云会议观看侧的界面。
根据本发明的实施例，将新的二值化灰度图与所述源图像以及预设的背景图像进行融合，具体包括：
将新的二值化灰度图与所述源图像以及预设的背景图像按照公式：
Figure 248020DEST_PATH_IMAGE035
进行融合；其中
Figure 550081DEST_PATH_IMAGE002
表示融合后的融合图像，
Figure 384176DEST_PATH_IMAGE003
，
Figure 976832DEST_PATH_IMAGE004
为透明度，
Figure 572767DEST_PATH_IMAGE005
为新的二值化灰度图中对应像素点的灰度值，
Figure 578769DEST_PATH_IMAGE006
为源图像，
Figure 419817DEST_PATH_IMAGE007
为背景图像。
根据本发明的实施例，采用光流法对去噪后的二值化灰度图进行优化处理，具体包括：
接收视频流，基于真实人脸坐标区域对所述源图像进行人像分割处理，得到对应的二值化灰度图C1；
结合所述二值化灰度图C1对应的源图像以及前一帧源图像进行稀疏光流分析得到所述二值化灰度图C1对应的源图像的光流图；
将得到的光流图的方向矢量对前一帧源图像人像分割处理得到的二值化灰度图进行平移得到新的二值化灰度图C2；
对二值化灰度图C1和二值化灰度图C2按照权重公式C= k * C1 + (1-k) * C2进行融合得到二值化灰度图C，其中k为权重因子；
对所述二值化灰度图C中的人像边界进行平滑处理，得到新的二值化灰度图。
根据本发明的实施例，结合所述二值化灰度图C1对应的源图像以及前一帧源图像进行稀疏光流分析得到所述二值化灰度图C1对应的源图像的光流图，具体包括：
根据光流法的亮度恒定、时间连续性，得到源图像的约束方程：
Figure 866979DEST_PATH_IMAGE008
，其中
Figure 162044DEST_PATH_IMAGE009
是t时刻源图像在(x, y)位置的亮度值，
Figure 389763DEST_PATH_IMAGE010
是两帧时间差，
Figure 768923DEST_PATH_IMAGE011
和
Figure 867329DEST_PATH_IMAGE012
为需要求解的像素运动，
Figure 8330DEST_PATH_IMAGE013
为泰勒公式的高阶余项；
利用泰勒公式对函数
Figure 723345DEST_PATH_IMAGE014
在(x,y,t)处展开得到：
Figure 906195DEST_PATH_IMAGE015
，其中
Figure 124687DEST_PATH_IMAGE016
和
Figure 501835DEST_PATH_IMAGE017
是当前时刻源图像在
Figure 376250DEST_PATH_IMAGE011
和
Figure 628371DEST_PATH_IMAGE012
方向的梯度，
Figure 966949DEST_PATH_IMAGE018
表示时间方向上的梯度；
联立公式
Figure 512068DEST_PATH_IMAGE008
和
Figure 670517DEST_PATH_IMAGE019
，得到：
Figure 132854DEST_PATH_IMAGE020
，将
Figure 591517DEST_PATH_IMAGE021
置为0，并对该式同时除以
Figure 304608DEST_PATH_IMAGE010
，并移项得到：
Figure 215932DEST_PATH_IMAGE022
，其中
Figure 481960DEST_PATH_IMAGE023
和
Figure 529550DEST_PATH_IMAGE024
分别为像素点沿着x和y方向的导数，沿x和y方向的速度分量分别记为
Figure 416473DEST_PATH_IMAGE025
和
Figure 80672DEST_PATH_IMAGE026
，将式：
Figure 150390DEST_PATH_IMAGE022
变换为：
Figure 318067DEST_PATH_IMAGE027
；
令
Figure 113241DEST_PATH_IMAGE028
，
Figure 671261DEST_PATH_IMAGE029
，
Figure 856255DEST_PATH_IMAGE030
，且
Figure 894749DEST_PATH_IMAGE031
为图像灰度对时间的变化量，将式
Figure 592315DEST_PATH_IMAGE027
写成矩阵形式
Figure 231107DEST_PATH_IMAGE032
；
基于光流法的空间一致性，得到以下方程组：
Figure 236103DEST_PATH_IMAGE033
；
其中，m为源图像中边长为d的正方形窗口面积；
采用最小二乘法求解上述方程组，得到源图像对应的光流图为：
Figure 827972DEST_PATH_IMAGE034
。
本发明第三方面还提出一种计算机可读存储介质，所述计算机可读存储介质中包括一种基于人像分割精度提升的方法程序，所述基于人像分割精度提升的方法程序被处理器执行时，实现如上述的一种基于人像分割精度提升的方法的步骤。
本发明利用人脸检测网络与视频分辨率相结合的方法，解决了如沙发、高靠背椅子、衣架上的大衣等等会被神经网络识别为人像的问题，进一步提升了观看体验效果。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机、服务器、或者网络设备等）执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (6)

1.一种基于人像分割精度提升的方法，其特征在于，所述方法包括：
接收关于视频云会议的视频流并从中读取一帧源图像；
通过RBF人脸检测网络对所述源图像进行人脸检测，并检测得到所述源图像中的疑似人脸个数；
如果检测到的疑似人脸个数不为零，结合所述源图像分辨率与各个疑似人脸坐标区域之间的比值关系分别判断各个疑似人脸是否为真实人脸；
根据判断结果，如果存在真实人脸，则标记出真实人脸坐标区域；
基于真实人脸坐标区域对所述源图像进行人像分割处理，得到对应的二值化灰度图；
将二值化灰度图与所述源图像以及预设的背景图像进行融合，得到融合图像，并展示在视频云会议观看侧的界面；
其中，结合所述源图像分辨率与各个疑似人脸坐标区域之间的比值关系分别判断各个疑似人脸是否为真实人脸，具体包括：
预设图像中的人脸大小与该图像分辨率的基准比值；
分别计算各个疑似人脸坐标区域大小与所述源图像分辨率的比值；
分别将计算得到的比值与所述基准比值进行比较，并筛选出超过所述基准比值的部分比值；
将上述部分比值对应的疑似人脸认定为真实人脸；
其中，在得到对应的二值化灰度图之后，所述方法还包括：
对所述二值化灰度图进行去噪处理；
采用光流法对去噪后的二值化灰度图进行优化处理，得到新的二值化灰度图；
将新的二值化灰度图与所述源图像以及预设的背景图像进行融合，得到融合图像，并展示在视频云会议观看侧的界面。
2.根据权利要求1所述的一种基于人像分割精度提升的方法，其特征在于，将新的二值化灰度图与所述源图像以及预设的背景图像进行融合，具体包括：
将新的二值化灰度图与所述源图像以及预设的背景图像按照公式：
Figure 365019DEST_PATH_IMAGE001
进行融合；其中K表示融合后的融合图像
Figure 546602DEST_PATH_IMAGE002
，β为透明度，A为新的二值化灰度图中对应像素点的灰度值，K1 为源图像，K2为背景图像。
3.根据权利要求1所述的一种基于人像分割精度提升的方法，其特征在于，采用光流法对去噪后的二值化灰度图进行优化处理，具体包括：
接收视频流，基于真实人脸坐标区域对所述源图像进行人像分割处理，得到对应的二值化灰度图C1；
结合所述二值化灰度图C1对应的源图像以及前一帧源图像进行稀疏光流分析得到所述二值化灰度图C1对应的源图像的光流图；
将得到的光流图的方向矢量对前一帧源图像人像分割处理得到的二值化灰度图进行
平移得到新的二值化灰度图C2；
对二值化灰度图C1和二值化灰度图C2按照权重公式C= k*C1+(1-k)*C2进行融合得到二值化灰度图C，其中k为权重因子；
对所述二值化灰度图C中的人像边界进行平滑处理，得到新的二值化灰度图。
4.根据权利要求3所述的一种基于人像分割精度提升的方法，其特征在于，结合所述二值化灰度图C1对应的源图像以及前一帧源图像进行稀疏光流分析得到所述二值化灰度图C1对应的源图像的光流图，具体包括：
根据光流法的亮度恒定、时间连续性，得到源图像的约束方程：
Figure 1854DEST_PATH_IMAGE003
，其中
Figure 167256DEST_PATH_IMAGE004
是t时刻源图像在(x,y)位置的亮度值，
Figure 998946DEST_PATH_IMAGE005
是两帧时间差，
Figure 566193DEST_PATH_IMAGE006
和
Figure 457926DEST_PATH_IMAGE007
为需要求解的像素运动，
Figure 110624DEST_PATH_IMAGE008
为泰勒公式的高阶余项；
利用泰勒公式对函数
Figure 746005DEST_PATH_IMAGE009
在(x,y,t)处展开得到：
Figure 902180DEST_PATH_IMAGE010
，其中
Figure 699234DEST_PATH_IMAGE011
和
Figure 573649DEST_PATH_IMAGE012
是当前时刻源图像在
Figure 12721DEST_PATH_IMAGE013
和
Figure 288982DEST_PATH_IMAGE014
方向的梯度，
Figure 522517DEST_PATH_IMAGE015
表示时间方向上的梯度；
联立公式
Figure 884228DEST_PATH_IMAGE016
和
Figure 861411DEST_PATH_IMAGE017
，得到：
Figure 992178DEST_PATH_IMAGE018
，将
Figure 396615DEST_PATH_IMAGE019
置为0，并对该式同时除以
Figure 245622DEST_PATH_IMAGE005
，并移项得到：
Figure 760917DEST_PATH_IMAGE020
，其中
Figure 746191DEST_PATH_IMAGE021
和
Figure 321529DEST_PATH_IMAGE022
分别为像素点沿着x和y方向的导数，沿x和y方向的速度分量分别记为
Figure 657832DEST_PATH_IMAGE023
和
Figure 988537DEST_PATH_IMAGE024
，将式：
Figure 93896DEST_PATH_IMAGE025
变换为：
Figure 840135DEST_PATH_IMAGE026
；
令
Figure 398155DEST_PATH_IMAGE027
，
Figure 520832DEST_PATH_IMAGE028
，
Figure 480698DEST_PATH_IMAGE029
，且
Figure 397838DEST_PATH_IMAGE030
为图像灰度对时间的变化量，将式
Figure 708734DEST_PATH_IMAGE031
写成矩阵形式
Figure 369522DEST_PATH_IMAGE032
；
基于光流法的空间一致性，得到以下方程组：
Figure 183895DEST_PATH_IMAGE033
其中，m为源图像中边长为d的正方形窗口面积；
采用最小二乘法求解上述方程组，得到源图像对应的光流图为：
Figure 271936DEST_PATH_IMAGE034
。
5.一种基于人像分割精度提升的系统，其特征在于，所述基于人像分割精度提升的系统包括：存储器及处理器，所述存储器中包括一种基于人像分割精度提升的方法程序，所述基于人像分割精度提升的方法程序被所述处理器执行时实现如下步骤：
接收关于视频云会议的视频流并从中读取一帧源图像；
通过RBF人脸检测网络对所述源图像进行人脸检测，并检测得到所述源图像中的疑似人脸个数；
如果检测到的疑似人脸个数不为零，结合所述源图像分辨率与各个疑似人脸坐标区域之间的比值关系分别判断各个疑似人脸是否为真实人脸；
根据判断结果，如果存在真实人脸，则标记出真实人脸坐标区域；
基于真实人脸坐标区域对所述源图像进行人像分割处理，得到对应的二值化灰度图；
将二值化灰度图与所述源图像以及预设的背景图像进行融合，得到融合图像，并展示在视频云会议观看侧的界面；
其中，结合所述源图像分辨率与各个疑似人脸坐标区域之间的比值关系分别判断各个疑似人脸是否为真实人脸，具体包括：
预设图像中的人脸大小与该图像分辨率的基准比值；
分别计算各个疑似人脸坐标区域大小与所述源图像分辨率的比值；
分别将计算得到的比值与所述基准比值进行比较，并筛选出超过所述基准比值的部分比值；
将上述部分比值对应的疑似人脸认定为真实人脸；
其中，在得到对应的二值化灰度图之后，所述方法还包括：
对所述二值化灰度图进行去噪处理；
采用光流法对去噪后的二值化灰度图进行优化处理，得到新的二值化灰度图；
将新的二值化灰度图与所述源图像以及预设的背景图像进行融合，得到融合图像，并展示在视频云会议观看侧的界面。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包括一种基于人像分割精度提升的方法程序，所述基于人像分割精度提升的方法程序被处理器执行时，实现如权利要求1至4中任一项所述的一种基于人像分割精度提升的方法的步骤。
CN202110611581.2A 2021-06-02 2021-06-02 一种基于人像分割精度提升的方法、系统和存储介质 Active CN113065534B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110611581.2A CN113065534B (zh) 2021-06-02 2021-06-02 一种基于人像分割精度提升的方法、系统和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110611581.2A CN113065534B (zh) 2021-06-02 2021-06-02 一种基于人像分割精度提升的方法、系统和存储介质

Publications (2)

Publication Number Publication Date
CN113065534A CN113065534A (zh) 2021-07-02
CN113065534B true CN113065534B (zh) 2021-09-03

Family

ID=76568512

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110611581.2A Active CN113065534B (zh) 2021-06-02 2021-06-02 一种基于人像分割精度提升的方法、系统和存储介质

Country Status (1)

Country Link
CN (1) CN113065534B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023220891A1 (en) * 2022-05-16 2023-11-23 Intel Corporation Resolution-switchable segmentation networks
CN114840477B (zh) * 2022-06-30 2022-09-27 深圳乐播科技有限公司 一种基于云会议的文件敏感指数确定方法及相关产品

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102819733A (zh) * 2012-08-09 2012-12-12 中国科学院自动化研究所 一种快速的街景图像中人脸的检测模糊方法
CN110738142A (zh) * 2019-09-26 2020-01-31 广州广电卓识智能科技有限公司 一种自适应改善人脸图像采集的方法、系统及存储介质
CN110956111A (zh) * 2019-11-22 2020-04-03 苏州闪驰数控系统集成有限公司 人工智能cnn、lstm神经网络步态识别系统
CN110956681A (zh) * 2019-11-08 2020-04-03 浙江工业大学 一种结合卷积网络和邻域相似性的人像背景自动替换方法
CN112712525A (zh) * 2020-12-23 2021-04-27 北京华宇信息技术有限公司 多方图像交互系统及方法
CN112837323A (zh) * 2021-01-12 2021-05-25 全时云商务服务股份有限公司 一种基于人像分割的视频处理方法、系统和存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108256497A (zh) * 2018-02-01 2018-07-06 北京中税网控股股份有限公司 一种视频图像处理方法及装置
US10643336B2 (en) * 2018-03-06 2020-05-05 Sony Corporation Image processing apparatus and method for object boundary stabilization in an image of a sequence of images
CN110378277A (zh) * 2019-07-16 2019-10-25 北京锐安科技有限公司 人脸图像识别的方法、装置、设备和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102819733A (zh) * 2012-08-09 2012-12-12 中国科学院自动化研究所 一种快速的街景图像中人脸的检测模糊方法
CN110738142A (zh) * 2019-09-26 2020-01-31 广州广电卓识智能科技有限公司 一种自适应改善人脸图像采集的方法、系统及存储介质
CN110956681A (zh) * 2019-11-08 2020-04-03 浙江工业大学 一种结合卷积网络和邻域相似性的人像背景自动替换方法
CN110956111A (zh) * 2019-11-22 2020-04-03 苏州闪驰数控系统集成有限公司 人工智能cnn、lstm神经网络步态识别系统
CN112712525A (zh) * 2020-12-23 2021-04-27 北京华宇信息技术有限公司 多方图像交互系统及方法
CN112837323A (zh) * 2021-01-12 2021-05-25 全时云商务服务股份有限公司 一种基于人像分割的视频处理方法、系统和存储介质

Also Published As

Publication number Publication date
CN113065534A (zh) 2021-07-02

Similar Documents

Publication Publication Date Title
CN102567727B (zh) 一种背景目标替换方法和装置
WO2018099136A1 (zh) 一种低照度图像降噪方法、装置及存储介质
Tripathi et al. Single image fog removal using bilateral filter
Kuanar et al. Night time haze and glow removal using deep dilated convolutional network
CN109685045B (zh) 一种运动目标视频跟踪方法及系统
Liu et al. A unified variational model for single image dehazing
CN113065534B (zh) 一种基于人像分割精度提升的方法、系统和存储介质
Agrawal et al. A comprehensive review on analysis and implementation of recent image dehazing methods
CN111507997B (zh) 图像分割方法、装置、设备及计算机存储介质
JP2013141210A (ja) 画像霧除去装置、画像霧除去方法及び画像処理システム
CN105023246B (zh) 一种基于对比度和结构相似度的图像增强方法
CN114627269A (zh) 一种基于深度学习目标检测的虚拟现实安防监控平台
CN109215047B (zh) 基于深海视频的运动目标检测方法和装置
CN112837323A (zh) 一种基于人像分割的视频处理方法、系统和存储介质
Khan et al. Recent advancement in haze removal approaches
US20240096094A1 (en) Multi-view visual data damage detection
Baiju et al. An intelligent framework for transmission map estimation in image dehazing using total variation regularized low-rank approximation
Xu et al. Features based spatial and temporal blotch detection for archive video restoration
Wan et al. Illumination robust video foreground prediction based on color recovering
CN110738624A (zh) 一种区域自适应的图像去雾系统及方法
CN116980549A (zh) 视频帧处理方法、装置、计算机设备和存储介质
Kim et al. Real-time human segmentation from RGB-D video sequence based on adaptive geodesic distance computation
CN112949389A (zh) 一种基于改进目标检测网络的雾霾图像目标检测方法
Huang et al. Single image dehazing via color balancing and quad-decomposition atmospheric light estimation
Husain et al. The dynamic scattering coefficient on image dehazing method with different haze conditions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant