CN115880327B - 抠图方法、摄像设备、会议系统、电子设备、装置、介质 - Google Patents
抠图方法、摄像设备、会议系统、电子设备、装置、介质 Download PDFInfo
- Publication number
- CN115880327B CN115880327B CN202211515543.8A CN202211515543A CN115880327B CN 115880327 B CN115880327 B CN 115880327B CN 202211515543 A CN202211515543 A CN 202211515543A CN 115880327 B CN115880327 B CN 115880327B
- Authority
- CN
- China
- Prior art keywords
- image
- preset
- binary image
- foreground
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 125
- 238000012545 processing Methods 0.000 claims abstract description 103
- 230000008569 process Effects 0.000 claims abstract description 75
- 230000011218 segmentation Effects 0.000 claims abstract description 19
- 238000004891 communication Methods 0.000 claims description 30
- 238000005070 sampling Methods 0.000 claims description 19
- 230000000877 morphologic effect Effects 0.000 claims description 17
- 238000012216 screening Methods 0.000 claims description 12
- 238000012937 correction Methods 0.000 claims description 8
- 238000009499 grossing Methods 0.000 claims description 8
- 238000005260 corrosion Methods 0.000 claims description 3
- 230000007797 corrosion Effects 0.000 claims description 3
- 238000003379 elimination reaction Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 241000282326 Felis catus Species 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005530 etching Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本申请公开了一种抠图方法、摄像设备、会议系统、电子设备、装置、介质，涉及图像处理技术领域，主要目的在于改善现有针对待抠图的目标对象所包含透明、反光、低反等深度易丢失部分的识别精度差，从而导致抠取出的图像质量较差的技术问题。包括：获取深度图像以及彩度图像，根据深度图像生成过程二值图；对彩度图像中目标对象的边界部分进行识别处理，生成边界部分三色图，并将边界部分三色图与过程二值图组合生成初始三色图；基于预设的蒙版二值图以及各个通道的预设分量阈值区间对初始三色图进行校正，生成目标三色图；基于前景分割算法，根据目标三色图以及彩度图像生成目标蒙版二值图，并叠加，生成抠出图像。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种抠图方法、摄像设备、会议系统、电子设备、装置、介质。
背景技术
随着互联网的快速发展，基于视频功能的直播带货和视频会议产业也得到了蓬勃发展。其中，可以将目标物体和背景进行分离的抠图技术，被广泛应用于直播带货和视频会议领域中。例如，在直播带货时，通过将背景渲染成华丽的直播间以此来吸引粉丝；或者在视频会议时，将家庭背景替换为其他背景，以此来保护与会者的隐私。
目前，传统的抠图方法主要是通过目标对象与摄像设备之间的距离确定目标对象在深度图像中的深度值，并基于该深度值在深度图中将目标对象筛选出来。然而，由于待抠图的目标对象可能会包含透明、反光、低反等深度易丢失部分(如头发等)，导致抠取出的图像质量较差。因此，亟需一种抠图方法，以解决上述问题。
发明内容
有鉴于此，本申请提供一种抠图方法、摄像设备、会议系统、电子设备、装置、介质，主要目的在于改善现有针对待抠图的目标对象所包含透明、反光、低反等深度易丢失部分的识别精度差，从而导致抠取出的图像质量较差的技术问题。
依据本申请第一个方面，提供了一种抠图方法，包括：
获取目标对象的深度图像以及彩度图像，并根据所述深度图像生成过程二值图；
对所述彩度图像中目标对象的边界部分进行识别处理，生成边界部分三色图，并将所述边界部分三色图与所述过程二值图组合生成初始三色图；
基于预设的蒙版二值图以及所述各个通道的预设分量阈值区间对所述初始三色图进行校正处理，生成目标三色图；
基于前景分割算法，根据所述目标三色图以及所述彩度图像生成目标蒙版二值图，并将所述目标蒙版二值图以及所述彩度图像进行叠加处理，生成抠出图像。
优选的，所述对所述彩度图像中目标对象的边界部分进行识别处理，生成边界部分三色图，具体包括：
根据所述彩度图像确定所述目标对象的边界部分在预设彩度空间内各个通道的预设分量阈值区间，基于所述各个通道的预设分量阈值区间在所述过程二值图中标记出所述边界部分的前景像素点以及待定前景像素点，并生成边界部分三色图。
优选的，所述根据所述彩度图像确定所述目标对象的边界部分在预设彩度空间内各个通道的预设分量阈值区间，基于所述各个通道的预设分量阈值区间在所述过程二值图中标记出所述边界部分的前景像素点以及待定前景像素点，并生成边界部分三色图，具体包括：
获取所述过程二值图中目标对象的边缘区域；
从所述边缘区域所包含的各个像素点中筛选出满足所述各个通道的预设分量阈值区间的像素点，并将筛选出的像素点标记为前景像素点；
分别以各个所述前景像素点为起点，按照预设方向依次将满足所述各个通道的预设分量阈值区间的相邻像素点标记为前景像素点，生成边界部分三色图；
所述将所述边界部分三色图与所述过程二值图组合生成初始三色图，具体包括：
将所述边界部分三色图与所述过程二值图进行加和处理，生成初始三色图。
优选的，述方法还包括：
对所述初始三色图中的目标对象区域依次进行第一预设图像处理以及第二预设图像处理，得到完成图像处理后的目标对象区域；
分别判断所述完成图像处理后的目标对象区域所包含的各个像素点是否满足所述各个通道的预设分量阈值区间；
若满足，则将所述像素点标记为前景像素点；
否则，标记为待定前景像素点。
优选的，所述基于预设的蒙版二值图以及所述各个通道的预设分量阈值区间对所述初始三色图进行校正处理，具体包括：
将同时满足在所述预设的蒙版二值图中被标记为后景像素点、在所述初始三色图中被标记为前景像素点，并且属于所述各个通道的预设分量阈值区间的像素点标记为待定前景像素点；
并且，将同时满足在所述预设的蒙版二值图中被标记为后景像素点、在所述初始三色图中被标记为待定前景像素点，并且属于所述各个通道的预设分量阈值区间的像素点标记为后景像素点；
并且，将同时满足在所述预设的蒙版二值图中被标记为前景像素点、在所述初始三色图中被标记为待定前景像素点，并且属于所述各个通道的预设分量阈值区间的像素点标记为前景像素点。
优选的，所述基于前景分割算法，根据所述目标三色图以及所述彩度图像生成目标蒙版二值图，具体包括：
基于预设像素空间距离阈值以及像素颜色距离阈值对所述目标三色图中所包含的前景部分以及后景部分进行拓展处理；
将所述目标三色图中所包含的待定前景像素点按照预设像素方向进行取样处理，并确定所述待定前景像素点的最佳样本对，所述最佳样本对包括前景取样点以及后景取样点；
基于所述最佳样本对确定所述待定前景像素点的透明度值，以基于所述透明度值标记所述待定前景像素点；
基于完成标记得到的前景部分以及后景部分，生成初始蒙版二值图；
对所述初始蒙版二值图进行优化处理，生成目标蒙版二值图。
优选的，所述生成初始蒙版二值图之前，所述方法还包括：
对所述完成标记得到的前景部分以及后景部分进行高斯局部平滑处理，以生成所述初始蒙版二值图。
优选的，所述优化处理为消除飞点处理，所述对所述初始蒙版二值图进行优化处理，生成目标蒙版二值图，具体包括：
基于预设卷积核对所述初始蒙版二值图进行形态学开运算处理，得到完成形态学开运算处理的初始蒙版二值图；
将所述完成形态学开运算处理的初始蒙版二值图与所述初始蒙版二值图进行点乘运算处理，得到完成点乘运算处理的初始蒙版二值图；
对所述完成点乘运算处理的初始蒙版二值图进行闭运算，以生成目标蒙版二值图。
优选的，所述对所述初始三色图中的目标对象区域进行第二预设图像处理之前，所述方法还包括：
按照预设连通区域阈值对完成第一预设图像处理后的目标对象区域进行连通区域筛选。
依据本申请第二个方面，提供了一种抠图装置，包括：
生成模块，用于获取目标对象的深度图像以及彩度图像，并根据所述深度图像生成过程二值图；
标记模块，用于对所述彩度图像中目标对象的边界部分进行识别处理，生成边界部分三色图，并将所述边界部分三色图与所述过程二值图组合生成初始三色图；
校正模块，用于基于预设的蒙版二值图以及所述各个通道的预设分量阈值区间对所述初始三色图进行校正处理，生成目标三色图；
抠取模块，用于基于前景分割算法，根据所述目标三色图以及所述彩度图像生成目标蒙版二值图，并将所述目标蒙版二值图以及所述彩度图像进行叠加处理，生成抠出图像。
优选的，所述标记模块，具体用于：
根据所述彩度图像确定所述目标对象的边界部分在预设彩度空间内各个通道的预设分量阈值区间，基于所述各个通道的预设分量阈值区间在所述过程二值图中标记出所述边界部分的前景像素点以及待定前景像素点，并生成边界部分三色图。
优选的，所述标记模块，具体包括：
获取单元，用于获取所述过程二值图中目标对象的边缘区域；
标记单元，用于从所述边缘区域所包含的各个像素点中筛选出满足所述各个通道的预设分量阈值区间的像素点，并将筛选出的像素点标记为前景像素点；
所述标记单元，还用于分别以各个所述前景像素点为起点，按照预设方向依次将满足所述各个通道的预设分量阈值区间的相邻像素点标记为前景像素点，生成边界部分三色图；
所述标记模块，还包括：
加和单元，用于将所述边界部分三色图与所述过程二值图进行加和处理，生成初始三色图。
优选的，所述模块还包括：
图像处理单元，用于对所述初始三色图中的目标对象区域依次进行第一预设图像处理以及第二预设图像处理，得到完成图像处理后的目标对象区域；
判断单元，用于分别判断所述完成图像处理后的目标对象区域所包含的各个像素点是否满足所述各个通道的预设分量阈值区间；
所述标记单元，还用于若满足，则将所述像素点标记为前景像素点；
所述标记单元，还用于否则，标记为待定前景像素点。
优选的，所述校正模块，具体用于：
将同时满足在所述预设的蒙版二值图中被标记为后景像素点、在所述初始三色图中被标记为前景像素点，并且属于所述各个通道的预设分量阈值区间的像素点标记为待定前景像素点；
并且，将同时满足在所述预设的蒙版二值图中被标记为后景像素点、在所述初始三色图中被标记为待定前景像素点，并且属于所述各个通道的预设分量阈值区间的像素点标记为后景像素点；
并且，将同时满足在所述预设的蒙版二值图中被标记为前景像素点、在所述初始三色图中被标记为待定前景像素点，并且属于所述各个通道的预设分量阈值区间的像素点标记为前景像素点。
优选的，所述抠取模块，具体包括：
拓展单元，用于基于预设像素空间距离阈值以及像素颜色距离阈值对所述目标三色图中所包含的前景部分以及后景部分进行拓展处理；
取样单元，用于将所述目标三色图中所包含的待定前景像素点按照预设像素方向进行取样处理，并确定所述待定前景像素点的最佳样本对，所述最佳样本对包括前景取样点以及后景取样点；
确定单元，用于基于所述最佳样本对确定所述待定前景像素点的透明度值，以基于所述透明度值标记所述待定前景像素点；
生成单元，用于基于完成标记得到的前景部分以及后景部分，生成初始蒙版二值图；
优化单元，用于对所述初始蒙版二值图进行优化处理，生成目标蒙版二值图。
优选的，所述生成单元之前，所述模块还包括：
平滑单元，用于对所述完成标记得到的前景部分以及后景部分进行高斯局部平滑处理，以生成所述初始蒙版二值图。
优选的，所述优化处理为消除飞点处理，所述优化单元，具体包括：
开运算子单元，用于基于预设卷积核对所述初始蒙版二值图进行形态学开运算处理，得到完成形态学开运算处理的初始蒙版二值图；
点乘子单元，用于将所述完成形态学开运算处理的初始蒙版二值图与所述初始蒙版二值图进行点乘运算处理，得到完成点乘运算处理的初始蒙版二值图；
闭运算子单元，用于对所述完成点乘运算处理的初始蒙版二值图进行闭运算，生成目标蒙版二值图。
优选的，所述图像处理单元，还用于：
按照预设连通区域阈值对完成第一预设图像处理后的目标对象区域进行连通区域筛选。
根据本申请的第三个方面，提供了一种存储介质，所述存储介质中存储有至少一条可执行指令，所述可执行指令使处理器执行如上述抠图方法对应的操作。
根据本申请的第四个方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一条可执行指令，所述可执行指令使所述处理器执行上述抠图方法对应的操作。
根据本申请的第五个方面，提供了一种摄像设备，所述摄像设备部署有上述的抠图装置。
根据本申请的第六个方面，提供了一种视频会议系统，所述视频会议系统包括显示器和若干个摄像设备，所述显示器与所述摄像设备通信连接；其中，所述摄像设备部署有上述的抠图装置；
所述摄像设备，用于采集含有目标对象的深度图像和彩度图像，并将得到的抠出图像发送至所述显示器；
所述显示器，用于接收并显示所述摄像设备发送的抠出图像。
借由上述技术方案，本申请实施例提供的技术方案至少具有下列优点：本申请提供了一种抠图方法、摄像设备、会议系统、电子设备、装置、介质，首先获取目标对象的深度图像以及彩度图像，并根据所述深度图像生成过程二值图；其次对所述彩度图像中目标对象的边界部分进行识别处理，生成边界部分三色图，并将所述边界部分三色图与所述过程二值图组合生成初始三色图；再次基于预设的蒙版二值图以及所述各个通道的预设分量阈值区间对所述初始三色图进行校正处理，生成目标三色图；最后基于前景分割算法，根据所述目标三色图以及所述彩度图像生成目标蒙版二值图，并将所述目标蒙版二值图以及所述彩度图像进行叠加处理，生成抠出图像。与现有技术相比，本申请实施例通过基于目标对象的彩度图像确定目标对象在预设彩度空间内各个通道的预设分量阈值区间，并基于该区间对目标对象的边界部分的前景像素点进行标记，再基于预设的蒙版二值图以及该区间对标记结果进行校正，并生成较为精细的目标三色图；再基于改进的前景分割算法根据精细的目标三色图生成目标对象的目标蒙版二值图；最后将目标蒙版二值图与彩度图像进行叠加处理，生成目标对象的抠出图像，克服了对深度易丢失部分识别精度差的问题，从而提高了抠出图像的质量。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本申请实施例提供的一种抠图方法流程图；
图2示出了本申请实施例提供的深度图像示例图；
图3示出了本申请实施例提供的过程二值图示例图；
图4示出了本申请实施例提供的目标蒙版二值图示例图；
图5示出了本申请实施例提供的抠出图像示例图；
图6示出了本申请实施例提供的另一种抠图方法流程图；
图7示出了本申请实施例提供的一种抠图装置组成框图；
图8示出了本申请实施例提供的一种终端的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本申请及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本申请实施例可以应用于计算机系统/服务器，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与计算机系统/服务器一起使用的众所周知的计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
计算机系统/服务器可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
本申请实施例提供了一种抠图方法，如图1所示，该方法包括：
101、获取目标对象的深度图像以及彩度图像，并根据深度图像生成过程二值图。
其中，目标对象用于表征待进行抠图处理的对象，可以是人，也可以是任务物品，本申请实施例中不做具体限定；深度图像(depth image)也被称为距离影像(rangeimage)，是指将从图像采集设备到场景中各点的距离(深度)作为像素值的图像，如图2所示；过程二值图(即binaryImg二值图)是指仅包含黑、白两种灰度等级(即灰度值0和255)的图像。本申请实施例中，当前执行端可以是提供视频服务功能平台的服务端或客户端，通过RGBD相机(包括RGB彩度相机和DEPTH深度相机)获取目标对象的深度图像以及彩度图像。可以理解的是，由于深度图像反映的是场景中的点到图像采集设备的距离，因此，可以预先根据目标对象与图像采集设备之间的距离设置深度阈值区间，以基于该深度阈值区间将目标对象从深度图像中进行初步提取。具体的，首先生成一个与采集到的深度图像尺寸相同的初始化过程二值图，其中每个像素点的值均为0，即一个全黑的图像。进一步的，根据目标对象与图像采集设备之间的距离设置深度阈值区间[T1,T2]，其中，T1<T2，将深度图像中的深度值d∈[T1,T2]的像素点标记为前景像素点，并将初始化过程二值图中对应位置的灰度值赋值255，其他位置的像素点保持灰度值为0，生成目标对象的过程二值图，如图3所示。
需要说明的是，由于RGBD相机获取深度图像与彩度图像时是基于两个相机进行获取的，因此，可以预先基于D2C(Depth To Color Alignment，深度与彩色对齐)算法将两个相机产生的畸变进行修正，以使得所获取的深度图向与彩度图像中每个像素是对齐的。
102、对彩度图像中目标对象的边界部分进行识别处理，生成边界部分三色图，并将边界部分三色图与过程二值图组合生成初始三色图。
其中，目标对象的边界部分即为深度图像中易丢失的部分，如头发等；边界部分三色图(即边界部分的Trimap三色图)中的三色是指黑白灰三色，其中灰色为待定区域，白色为已知前景区域，黑色为已知后景区域。本申请实施例中，通过对目标对象的边界部分进行识别生成边界部分三色图，进一步与包含目标对象整体的过程二值图组合生成较为粗略的初始三色图。
103、基于预设的蒙版二值图以及各个通道的预设分量阈值区间对初始三色图进行校正处理，生成目标三色图。
其中，蒙版二值图为仅包含黑、白二值的图像。本申请实施例中，当抠图的场景为直播、视频会议等场景时，由于这类应用场景中，通常情况下前后两帧的信息是几乎不会发生突变的，因此预设的蒙版二值图可以是前一帧的蒙版二值图，进一步结合各个通道的预设分量阈值区间对实施例步骤102中生成的初始三色图进行校正处理，以生成更为精细的目标三色图。而当针对单张图片进行抠图处理时，预设的蒙版二值图可以是另一张作为基准的图片。
104、基于前景分割算法，根据目标三色图以及彩度图像生成目标蒙版二值图，并将目标蒙版二值图以及彩度图像进行叠加处理，生成抠出图像。
本申请实施例中，首先根据彩度图像对前景分割算法中所涉及到的像素空间距离阈值以及像素颜色距离阈值进行改进，并基于改进后的前景分割算法根据实施例步骤103中生成的目标三色图，生成目标蒙版二值图，如图4所示。最后将目标蒙版二值图与彩度图像进行叠加处理，从而生成目标对象的抠出图像，如图5所示。
与现有技术相比，本申请实施例通过基于目标对象的彩度图像确定目标对象在预设彩度空间内各个通道的预设分量阈值区间，并基于该区间对目标对象的边界部分的前景像素点进行标记，再基于预设的蒙版二值图以及该区间对标记结果进行校正，并生成较为精细的目标三色图；再基于改进的前景分割算法根据精细的目标三色图生成目标对象的目标蒙版二值图；最后将目标蒙版二值图与彩度图像进行叠加处理，生成目标对象的抠出图像，克服了对深度易丢失部分识别精度差的问题，从而提高了抠出图像的质量。
本申请实施例提供了另一种抠图方法，如图6所示，该方法包括：
201、获取目标对象的深度图像以及彩度图像，并根据深度图像生成过程二值图。
本申请实施例中，示例性的，以视频会议场景为例，首先，基于D2C算法将RGBD相机所包含的两个相机产生的畸变进行修正，以使得所获取的深度图向与彩度图像中每个像素是对齐的。再生成一个与采集到的深度图像尺寸相同的初始化过程二值图，其中每个像素点的值均为0。由于在视频会议时，用户与摄像头(即图像采集设备)之间距离通常为100mm～1200mm之间，因此将深度阈值区间配置为[100,1200]，将深度图像中的深度值d∈[100,1200]的像素点标记为前景像素点，并将初始化过程二值图中对应位置的灰度值赋值255，其他位置的像素点保持灰度值为0，生成目标对象的过程二值图。
202、根据彩度图像确定目标对象的边界部分在预设彩度空间内各个通道的预设分量阈值区间。
其中，彩度空间用于表征采用数学方式描述颜色的结合，例如，RGB、CMYK、YUV、YCbCr等，示例性的，在YCbCr彩度空间中，分别包含亮度通道Y、蓝色色度通道Cb、红色色度通道Cr，通过配置3个通道的分量阈值区间，可以有效地将深度图像中易丢失的部分识别出来，进而提高抠图精度。本申请实施例中，示例性的，首先根据如下公式，将获取到的彩度图像进行YCbCr彩度空间变换，
从而确定目标对象头发部分的各个通道分量阈值区间为
103<p[Cb]<155
103<p[Cr]<157
0<p[G]<110
基于上述各个通道的预设分量阈值区间，对目标对象的边界部分所包含的像素点进行筛选。即可识别出目标对象的头发部分，将其标记为前景像素点，否则标记为待定前景像素点，从而得到目标对象边界部分的三色图，最后与实施例步骤101生成的过程二值图组合生成目标对象的初始三色图。
203、基于各个通道的预设分量阈值区间在过程二值图中标记出边界部分的前景像素点以及待定前景像素点，生成边界部分三色图，再与过程二值图进行加和处理，生成初始三色图。
本申请实施例中，首先将实施例步骤201中生成的过程二值图进行膨胀运算以及腐蚀运算，并将两次运算得到的结果相减，得到目标对象的边缘区域。可以理解的是，腐蚀运算可以使目标对象的区域范围变小，造成边界收缩，以消除小且无意义的目标物；膨胀运算通过将与目标对象的区域接触的后景点合并到目标对象中，使得目标对象的边界向外部扩张，从而使目标对象的区域范围变大，以填补目标对象区域中的空洞以及消除包含在目标对象区域中的小颗粒噪声。通过将两次运算得到的结果相减可以尽可能的涵盖目标对象的边界部分。进一步的，基于实施例步骤202中确定的各个通道的预设分量阈值区间，
103<p[Cb]<155
103<p[Cr]<157
0<p[G]<110
对边缘区域所包含的像素点进行筛选，并将符合要求的像素点标记为前景像素点，即赋灰度值255。再通过预先配置的迭代器，以已经完成标记的各个前景像素点为起点，向上依次判断同一列的像素点是否满足上述实施例步骤202中确定的各个通道的预设分量阈值区间，若满足则标记为前景像素点，并继续先上判断，直到出现第一个不满足的像素点为止，以生成目标对象的边界部分三色图。最后，将边界部分三色图与实施例步骤201中生成的过程二值图进行图像矩阵相加，生成目标对象的初始三色图。具体的，实施例步骤203包括：获取过程二值图中目标对象的边缘区域；从边缘区域所包含的各个像素点中筛选出满足各个通道的预设分量阈值区间的像素点，并将筛选出的像素点标记为前景像素点；分别以各个前景像素点为起点，按照预设方向依次将满足各个通道的预设分量阈值区间的相邻像素点标记为前景像素点，生成边界部分三色图；将边界部分三色图与过程二值图组合生成初始三色图，具体包括：将边界部分三色图与过程二值图进行加和处理，生成初始三色图。
204、对初始三色图中的目标对象区域依次进行第一预设图像处理以及第二预设图像处理，再将得到的区域内满足各个通道的预设分量阈值区间的像素点标记为前景像素点，不满足的标记为待定前景像素点。
其中，第一预设图像处理为腐蚀图像处理；第二图像处理为膨胀图像处理。本申请实施例中，对实施例步骤203中生成的初始三色图中的目标对象区域依次进行腐蚀处理以及膨胀处理，以消除小且无意义的目标物并且填补了目标对象区域中的空洞以及消除包含在目标对象区域中的小颗粒噪声。并且将完成腐蚀处理以及膨胀处理后的目标对象区域中每一个大于零的像素点进行以下条件的判断，
103<[Cb]<155
103<[Cr]<157
0<[G]<90
若满足条件则将该点标记为前景像素点，即赋灰度值255，否则标记为待定前景像素点，即赋灰度值125。
作为一种优选的实施方式，对初始三色图中的目标对象区域进行第二预设图像处理之前，实施例方法还包括：按照预设连通区域阈值对完成第一预设图像处理后的目标对象区域进行连通区域筛选。
具体的，可以根据具体应用场景预先设置连通区域阈值，仅保留大于预设连通区域阈值的像素点集合区域，以消除离群点的噪声干扰。示例性的，连通区域阈值可以配置为50个像素点，也可以通过降低连通区域阈值的像素点数量以使得结果更加精准。
205、基于预设的蒙版二值图以及各个通道的预设分量阈值区间对初始三色图进行校正处理。
本申请实施例中，基于预设的蒙版二值图以及各个通道的预设分量阈值区间对初始三色图进行校正处理。具体的，将预设的蒙版二值图中与初始三色图所有同一位置的像素点m进行比对，需要注意以下3种情况：
(1)m(Alpha)＝0&&m(Triamp)＝255，即像素点m在预设的蒙版二值图中被标记为后景像素点，在初始三色图中被标记为前景像素点，此时，若该像素点m满足以下区间，
103<m[Cb]<155
103<m[Cr]<157
0<m[G]<110
则将该像素点m标记为待定前景像素点，即赋灰度值125；
(2)m(Alpha)＝0&&m(Triamp)＝125，即像素点m在预设的蒙版二值图中被标记为后景像素点，在初始三色图中被标记为待定前景像素点，此时，若该像素点m满足以下区间，
103<m[Cb]<155
103<m[Cr]<157
m[G]>54
则将该像素点m标记为后景像素点，即赋灰度值0；
(3)m(Alpha)>0&&m(Triamp)＝125，即像素点m在预设的蒙版二值图中被标记为前景像素点，在初始三色图中被标记为待定前景像素点，此时，若该像素点m满足以下区间，
103<m[Cb]<155
103<m[Cr]<157
0<m[G]<65
则将该像素点m标记为前景像素点，即赋灰度值255。
具体的，实施例步骤205具体包括：将同时满足在预设的蒙版二值图中被标记为后景像素点、在初始三色图中被标记为前景像素点，并且属于各个通道的预设分量阈值区间的像素点标记为待定前景像素点；并且，将同时满足在预设的蒙版二值图中被标记为后景像素点、在初始三色图中被标记为待定前景像素点，并且属于各个通道的预设分量阈值区间的像素点标记为后景像素点；并且，将同时满足在预设的蒙版二值图中被标记为前景像素点、在初始三色图中被标记为待定前景像素点，并且属于各个通道的预设分量阈值区间的像素点标记为前景像素点。
至此，可以生成一个较为精细的目标三色图，为后续的算法提供了一个较优的先验信息。
206、对目标三色图中所包含的前景部分以及后景部分进行拓展处理，对待定前景像素点进行取样处理，并确定最佳样本对，基于最佳样本对确定待定前景像素点的透明度值，并进行标记；经过高斯局部平滑处理，生成初始蒙版二值图，再进行消除飞点处理，生成目标蒙版二值图。
本申请实施例中，首先基于预设规则对目标三色图中所包含的前景部分以及后景部分进行拓展处理，即对已确定的前景部分以及后景部分进行拓展，并进行相应的标记。预设规则为：
Dimage(p,q)≤ki
Dcolor(p,q)≤kc
其中，Dimage(p,q)表示像素点p与像素点q之间像素空间距离；ki表示像素空间距离阈值；Dcolor(p,q)表示像素点p与像素点q之间像素颜色距离；kc表示像素颜色距离阈值。本申请实施例中像素空间距离阈值ki在ki<30pixels范围内选取，像素颜色距离阈值kc在kc<5/256范围内选取均可，能够保证获得较好的结果与速度。其次，针对目标三色图中所包含的每个待定前景像素点，从该像素点出发引出kg条路径，每个路径之间的夹角为360/kg，记录下每条路径经过的路线中首次遇到的前景或背景点，直到超出图像的边缘，以得到多个取样点，并从中确定最佳样本对，最佳样本对包括前景取样点以及后景取样点，可以通过目标函数进行确定。再在预设的邻域范围内，对每个像素点的最佳样本对重新进行组合，并进行重采样处理，从而确定当前待定前景像素点的透明度值，并根据透明度值确定当前待定前景像素点具体是前景像素点还是后景像素点，例如，若待定前景像素点的透明度值大于等于0.5时，就将其标记为前景像素点；若待定前景像素点的透明度值小于0.5时，就将其标记为前景像素点。进一步的，对前景部分以及后景部分进行高斯局部平滑处理，以减少高频部分的噪音污染，从而生成目标对象的初始蒙版二值图，即初始蒙版。最后，为了进一步提高抠出图像的质量，还可以对初始蒙版二值图进行消除飞点处理。具体的，首先，对初始蒙版二值图进行形态学开运算处理，以消除对目标对象边界部分的补全过程中由于误判而产生的空中飞点。示例性的，可以将开运算所使用的卷积核配置为5*5的矩形核，并且迭代5次。再将完成形态学开运算处理的初始蒙版二值图与初始蒙版二值图进行点乘运算处理，以保证边界部分的精细程度不会因为上述的开运算而丢失。最后，对完成点乘运算处理的初始蒙版二值图进行闭运算，以消除边界部分的内部孔洞，从而生成目标对象的目标蒙版二值图。
为了进一步说明以及限定，对初始蒙版二值图进行消除飞点处理，具体包括：基于预设卷积核对初始蒙版二值图进行形态学开运算处理，得到完成形态学开运算处理的初始蒙版二值图；将完成形态学开运算处理的初始蒙版二值图与初始蒙版二值图进行点乘运算处理，得到完成点乘运算处理的初始蒙版二值图；对完成点乘运算处理的初始蒙版二值图进行闭运算，生成目标蒙版二值图。
207、将目标蒙版二值图以及彩度图像进行叠加处理，生成抠出图像。
本申请实施例中，将当目标蒙版二值图与彩度图像进行叠加处理，将目标蒙版二值图中白色区域部分的彩度图像的像素点进行保留，其余部分置零，从而生成目标对象的抠出图像。
本申请提供了一种抠图方法，首先获取目标对象的深度图像以及彩度图像，并根据所述深度图像生成过程二值图；其次对所述彩度图像中目标对象的边界部分进行识别处理，生成边界部分三色图，并将所述边界部分三色图与所述过程二值图组合生成初始三色图；再次基于预设的蒙版二值图以及所述各个通道的预设分量阈值区间对所述初始三色图进行校正处理，生成目标三色图；最后基于前景分割算法，根据所述目标三色图以及所述彩度图像生成目标蒙版二值图，并将所述目标蒙版二值图以及所述彩度图像进行叠加处理，生成抠出图像。与现有技术相比，本申请实施例通过基于目标对象的彩度图像确定目标对象在预设彩度空间内各个通道的预设分量阈值区间，并基于该区间对目标对象的边界部分的前景像素点进行标记，在基于预设的蒙版二值图以及该区间对标记结果进行校正，并生成较为精细的目标三色图；再基于改进的前景分割算法根据精细的目标三色图生成目标对象的目标蒙版二值图；最后将目标蒙版二值图与彩度图像进行叠加处理，生成目标对象的抠出图像，克服了对深度易丢失部分识别精度差的问题，从而提高了抠出图像的质量。
进一步的，作为对上述图1所示方法的实现，本申请实施例提供了一种抠图装置，如图7所示，该装置包括：
生成模块31，标记模块32，校正模块33，抠取模块34。
生成模块31，用于获取目标对象的深度图像以及彩度图像，并根据所述深度图像生成过程二值图；
标记模块32，用于对所述彩度图像中目标对象的边界部分进行识别处理，生成边界部分三色图，并将所述边界部分三色图与所述过程二值图组合生成初始三色图；
校正模块33，用于基于预设的蒙版二值图以及所述各个通道的预设分量阈值区间对所述初始三色图进行校正处理，生成目标三色图；
抠取模块34，用于基于前景分割算法，根据所述目标三色图以及所述彩度图像生成目标蒙版二值图，并将所述目标蒙版二值图以及所述彩度图像进行叠加处理，生成抠出图像。
在具体的应用场景中，所述标记模块，具体用于：
根据所述彩度图像确定所述目标对象的边界部分在预设彩度空间内各个通道的预设分量阈值区间，基于所述各个通道的预设分量阈值区间在所述过程二值图中标记出所述边界部分的前景像素点以及待定前景像素点，并生成边界部分三色图。
在具体的应用场景中，所述标记模块，具体包括：
获取单元，用于获取所述过程二值图中目标对象的边缘区域；
标记单元，用于从所述边缘区域所包含的各个像素点中筛选出满足所述各个通道的预设分量阈值区间的像素点，并将筛选出的像素点标记为前景像素点；
所述标记单元，还用于分别以各个所述前景像素点为起点，按照预设方向依次将满足所述各个通道的预设分量阈值区间的相邻像素点标记为前景像素点，生成边界部分三色图；
所述标记模块，还包括：
加和单元，用于将所述边界部分三色图与所述过程二值图进行加和处理，生成初始三色图。
在具体的应用场景中，所述模块还包括：
图像处理单元，用于对所述初始三色图中的目标对象区域依次进行第一预设图像处理以及第二预设图像处理，得到完成图像处理后的目标对象区域；
判断单元，用于分别判断所述完成图像处理后的目标对象区域所包含的各个像素点是否满足所述各个通道的预设分量阈值区间；
所述标记单元，还用于若满足，则将所述像素点标记为前景像素点；
所述标记单元，还用于否则，标记为待定前景像素点。
在具体的应用场景中，所述校正模块，具体用于：
将同时满足在所述预设的蒙版二值图中被标记为后景像素点、在所述初始三色图中被标记为前景像素点，并且属于所述各个通道的预设分量阈值区间的像素点标记为待定前景像素点；
并且，将同时满足在所述预设的蒙版二值图中被标记为后景像素点、在所述初始三色图中被标记为待定前景像素点，并且属于所述各个通道的预设分量阈值区间的像素点标记为后景像素点；
并且，将同时满足在所述预设的蒙版二值图中被标记为前景像素点、在所述初始三色图中被标记为待定前景像素点，并且属于所述各个通道的预设分量阈值区间的像素点标记为前景像素点。
在具体的应用场景中，所述抠取模块，具体包括：
拓展单元，用于基于预设像素空间距离阈值以及像素颜色距离阈值对所述目标三色图中所包含的前景部分以及后景部分进行拓展处理；
取样单元，用于将所述目标三色图中所包含的待定前景像素点按照预设像素方向进行取样处理，并确定所述待定前景像素点的最佳样本对，所述最佳样本对包括前景取样点以及后景取样点；
确定单元，用于基于所述最佳样本对确定所述待定前景像素点的透明度值，以基于所述透明度值标记所述待定前景像素点；
生成单元，用于基于完成标记得到的前景部分以及后景部分，生成初始蒙版二值图；
优化单元，用于对所述初始蒙版二值图进行优化处理，生成目标蒙版二值图。
在具体的应用场景中，所述生成单元之前，所述模块还包括：
平滑单元，用于对所述完成标记得到的前景部分以及后景部分进行高斯局部平滑处理，以生成所述初始蒙版二值图。
在具体的应用场景中，所述优化处理为消除飞点处理，所述优化单元，具体包括：
开运算子单元，用于基于预设卷积核对所述初始蒙版二值图进行形态学开运算处理，得到完成形态学开运算处理的初始蒙版二值图；
点乘子单元，用于将所述完成形态学开运算处理的初始蒙版二值图与所述初始蒙版二值图进行点乘运算处理，得到完成点乘运算处理的初始蒙版二值图；
闭运算子单元，用于对所述完成点乘运算处理的初始蒙版二值图进行闭运算，生成目标蒙版二值图。
在具体的应用场景中，所述图像处理单元，还用于：
按照预设连通区域阈值对完成第一预设图像处理后的目标对象区域进行连通区域筛选。
本申请提供了一种抠图装置，首先获取目标对象的深度图像以及彩度图像，并根据所述深度图像生成过程二值图；其次对所述彩度图像中目标对象的边界部分进行识别处理，生成边界部分三色图，并将所述边界部分三色图与所述过程二值图组合生成初始三色图；再次基于预设的蒙版二值图以及所述各个通道的预设分量阈值区间对所述初始三色图进行校正处理，生成目标三色图；最后基于前景分割算法，根据所述目标三色图以及所述彩度图像生成目标蒙版二值图，并将所述目标蒙版二值图以及所述彩度图像进行叠加处理，生成抠出图像。与现有技术相比，本申请实施例通过基于目标对象的彩度图像确定目标对象在预设彩度空间内各个通道的预设分量阈值区间，并基于该区间对目标对象的边界部分的前景像素点进行标记，在基于预设的蒙版二值图以及该区间对标记结果进行校正，并生成较为精细的目标三色图；再基于改进的前景分割算法根据精细的目标三色图生成目标对象的目标蒙版二值图；最后将目标蒙版二值图与彩度图像进行叠加处理，生成目标对象的抠出图像，克服了对深度易丢失部分识别精度差的问题，从而提高了抠出图像的质量。
根据本申请一个实施例提供了一种摄像设备，所述摄像设备部署有上述的抠图装置。
根据本申请一个实施例提供了一种视频会议系统，所述视频会议系统包括显示器和若干个摄像设备，所述显示器与所述摄像设备通信连接；其中，所述摄像设备部署有上述的抠图装置；
所述摄像设备，用于采集含有目标对象的深度图像和彩度图像，并将得到的抠出图像发送至所述显示器；
所述显示器，用于接收并显示所述摄像设备发送的抠出图像。
根据本申请一个实施例提供了一种存储介质，所述存储介质存储有至少一条可执行指令，该计算机可执行指令可执行上述任意方法实施例中的抠图方法。
基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施场景所述的方法。
图8示出了根据本申请一个实施例提供的一种电子设备的结构示意图，本申请具体实施例并不对电子设备的具体实现做限定。
如图8所示，该电子机设备可以包括：处理器(processor)402、通信接口(Commun icat i ons I nterface)404、存储器(memory)406、以及通信总线408。
其中：处理器402、通信接口404、以及存储器406通过通信总线408完成相互间的通信。
通信接口404，用于与其它设备比如客户端或其它服务器等的网元通信。
处理器402，用于执行程序410，具体可以执行上述抠图方法实施例中的相关步骤。
具体地，程序410可以包括程序代码，该程序代码包括计算机操作指令。
处理器402可能是中央处理器CPU，或者是特定集成电路AS I C(App l i cat ion Spec i f i c I ntegrated Ci rcu it)，或者是被配置成实施本申请实施例的一个或多个集成电路。计算机设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个AS I C。
存储器406，用于存放程序410。存储器406可能包含高速RAM存储器，也可能还包括非易失性存储器(non-vo l at i l e memory)，例如至少一个磁盘存储器。
程序410具体可以用于使得处理器402执行以下操作：
获取目标对象的深度图像以及彩度图像，并根据所述深度图像生成过程二值图；
对所述彩度图像中目标对象的边界部分进行识别处理，生成边界部分三色图，并将所述边界部分三色图与所述过程二值图组合生成初始三色图；
基于预设的蒙版二值图以及所述各个通道的预设分量阈值区间对所述初始三色图进行校正处理，生成目标三色图；
基于前景分割算法，根据所述目标三色图以及所述彩度图像生成目标蒙版二值图，并将所述目标蒙版二值图以及所述彩度图像进行叠加处理，生成抠出图像。
存储介质中还可以包括操作系统、网络通信模块。操作系统是管理上述抠图的实体设备硬件和软件资源的程序，支持信息处理程序以及其它软件和/或程序的运行。网络通信模块用于实现存储介质内部各组件之间的通信，以及与信息处理实体设备中其它硬件和软件之间通信。
本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
可能以许多方式来实现本申请的方法和系统。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本申请的方法和系统。用于所述方法的步骤的上述顺序仅是为了进行说明，本申请的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本申请实施为记录在记录介质中的程序，这些程序包括用于实现根据本申请的方法的机器可读指令。因而，本申请还覆盖存储用于执行根据本申请的方法的程序的记录介质。
显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包括在本申请的保护范围之内。
Claims (13)
1.一种抠图方法，其特征在于，包括：
获取目标对象的深度图像以及彩度图像，并根据所述深度图像生成过程二值图；
对所述彩度图像中目标对象的边界部分进行识别处理，生成边界部分三色图，并将所述边界部分三色图与所述过程二值图组合生成初始三色图；
基于预设的蒙版二值图以及各个通道的预设分量阈值区间对所述初始三色图进行校正处理，生成目标三色图；
基于前景分割算法，根据所述目标三色图以及所述彩度图像生成目标蒙版二值图，并将所述目标蒙版二值图以及所述彩度图像进行叠加处理，生成抠出图像；
所述获取目标对象的深度图像以及彩度图像，并根据所述深度图像生成过程二值图，具体包括：
根据目标对象与图像采集设备之间的距离设置深度阈值区间；
生成初始化过程二值图，所述初始化过程二值图与所述深度图像尺寸相同，其中每个像素点的值均为0；
将所述深度图像中深度值处于所述深度阈值区间的像素点标记为前景像素点，并将各个所述前景像素点在所述初始化过程二值图中对应位置的灰度值赋值255，其他位置的像素点保持灰度值为0，以生成所述目标对象的过程二值图；
所述对所述彩度图像中目标对象的边界部分进行识别处理，生成边界部分三色图，具体包括：
根据所述彩度图像确定所述目标对象的边界部分在预设彩度空间内各个通道的预设分量阈值区间，基于所述各个通道的预设分量阈值区间在所述过程二值图中标记出所述边界部分的前景像素点以及待定前景像素点，并生成边界部分三色图。
2.根据权利要求1所述的方法，其特征在于，所述根据所述彩度图像确定所述目标对象的边界部分在预设彩度空间内各个通道的预设分量阈值区间，基于所述各个通道的预设分量阈值区间在所述过程二值图中标记出所述边界部分的前景像素点以及待定前景像素点，并生成边界部分三色图，具体包括：
获取所述过程二值图中目标对象的边缘区域；
从所述边缘区域所包含的各个像素点中筛选出满足所述各个通道的预设分量阈值区间的像素点，并将筛选出的像素点标记为前景像素点；
分别以各个所述前景像素点为起点，按照预设方向依次将满足所述各个通道的预设分量阈值区间的相邻像素点标记为前景像素点，生成边界部分三色图；
所述将所述边界部分三色图与所述过程二值图组合生成初始三色图，具体包括：
将所述边界部分三色图与所述过程二值图进行加和处理，生成初始三色图。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
对所述初始三色图中的目标对象区域依次进行第一预设图像处理以及第二预设图像处理，得到完成图像处理后的目标对象区域，所述第一预设图像处理用于表征腐蚀图像处理，第二图像处理用于表征膨胀图像处理；
分别判断所述完成图像处理后的目标对象区域所包含的各个像素点是否满足所述各个通道的预设分量阈值区间；
若满足，则将所述像素点标记为前景像素点；
否则，标记为待定前景像素点。
4.根据权利要求1-3任一所述的方法，其特征在于，所述基于预设的蒙版二值图以及所述各个通道的预设分量阈值区间对所述初始三色图进行校正处理，具体包括：
将同时满足在所述预设的蒙版二值图中被标记为后景像素点、在所述初始三色图中被标记为前景像素点，并且属于所述各个通道的预设分量阈值区间的像素点标记为待定前景像素点；
并且，将同时满足在所述预设的蒙版二值图中被标记为后景像素点、在所述初始三色图中被标记为待定前景像素点，并且属于所述各个通道的预设分量阈值区间的像素点标记为后景像素点；
并且，将同时满足在所述预设的蒙版二值图中被标记为前景像素点、在所述初始三色图中被标记为待定前景像素点，并且属于所述各个通道的预设分量阈值区间的像素点标记为前景像素点。
5.根据权利要求4所述的方法，其特征在于，所述基于前景分割算法，根据所述目标三色图以及所述彩度图像生成目标蒙版二值图，具体包括：
基于预设像素空间距离阈值以及像素颜色距离阈值对所述目标三色图中所包含的前景部分以及后景部分进行拓展处理；
将所述目标三色图中所包含的待定前景像素点按照预设像素方向进行取样处理，并确定所述待定前景像素点的最佳样本对，所述最佳样本对包括前景取样点以及后景取样点；
基于所述最佳样本对确定所述待定前景像素点的透明度值，以基于所述透明度值标记所述待定前景像素点；
基于完成标记得到的前景部分以及后景部分，生成初始蒙版二值图；
对所述初始蒙版二值图进行优化处理，生成目标蒙版二值图。
6.根据权利要求5所述的方法，其特征在于，所述生成初始蒙版二值图之前，所述方法还包括：
对所述完成标记得到的前景部分以及后景部分进行高斯局部平滑处理，以生成所述初始蒙版二值图。
7.根据权利要求5所述的方法，其特征在于，所述优化处理为消除飞点处理，所述对所述初始蒙版二值图进行优化处理，生成目标蒙版二值图，具体包括：
基于预设卷积核对所述初始蒙版二值图进行形态学开运算处理，得到完成形态学开运算处理的初始蒙版二值图；
将所述完成形态学开运算处理的初始蒙版二值图与所述初始蒙版二值图进行点乘运算处理，得到完成点乘运算处理的初始蒙版二值图；
对所述完成点乘运算处理的初始蒙版二值图进行闭运算，生成目标蒙版二值图。
8.根据权利要求3所述的方法，其特征在于，所述对所述初始三色图中的目标对象区域进行第二预设图像处理之前，所述方法还包括：
按照预设连通区域阈值对完成第一预设图像处理后的目标对象区域进行连通区域筛选。
9.一种抠图装置，其特征在于，包括：
生成模块，用于获取目标对象的深度图像以及彩度图像，并根据所述深度图像生成过程二值图；
标记模块，用于对所述彩度图像中目标对象的边界部分进行识别处理，生成边界部分三色图，并将所述边界部分三色图与所述过程二值图组合生成初始三色图；
校正模块，用于基于预设的蒙版二值图以及各个通道的预设分量阈值区间对所述初始三色图进行校正处理，生成目标三色图；
抠取模块，用于基于前景分割算法，根据所述目标三色图以及所述彩度图像生成目标蒙版二值图，并将所述目标蒙版二值图以及所述彩度图像进行叠加处理，生成抠出图像；
所述生成模块，具体用于：
根据目标对象与图像采集设备之间的距离设置深度阈值区间；
生成初始化过程二值图，所述初始化过程二值图与所述深度图像尺寸相同，其中每个像素点的值均为0；
将所述深度图像中深度值处于所述深度阈值区间的像素点标记为前景像素点，并将各个所述前景像素点在所述初始化过程二值图中对应位置的灰度值赋值255，其他位置的像素点保持灰度值为0，以生成所述目标对象的过程二值图；
所述标记模块，具体用于：
根据所述彩度图像确定所述目标对象的边界部分在预设彩度空间内各个通道的预设分量阈值区间，基于所述各个通道的预设分量阈值区间在所述过程二值图中标记出所述边界部分的前景像素点以及待定前景像素点，并生成边界部分三色图。
10.一种存储介质，所述存储介质中存储有至少一条可执行指令，其特征在于，所述可执行指令使处理器执行如权利要求1-8中任一项所述的抠图方法对应的操作。
11.一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一条可执行指令，其特征在于，所述可执行指令使所述处理器执行如权利要求1-8中任一项所述的抠图方法对应的操作。
12.一种摄像设备，其特征在于，所述摄像设备部署有权利要求9所述的抠图装置。
13.一种视频会议系统，其特征在于，所述视频会议系统包括显示器和摄像设备，所述显示器与所述摄像设备通信连接；其中，所述摄像设备部署有权利要求9所述的抠图装置；
所述摄像设备，用于采集含有目标对象的深度图像和彩度图像，并将得到的抠出图像发送至所述显示器；
所述显示器，用于接收并显示所述摄像设备发送的抠出图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211515543.8A CN115880327B (zh) | 2022-11-30 | 2022-11-30 | 抠图方法、摄像设备、会议系统、电子设备、装置、介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211515543.8A CN115880327B (zh) | 2022-11-30 | 2022-11-30 | 抠图方法、摄像设备、会议系统、电子设备、装置、介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115880327A CN115880327A (zh) | 2023-03-31 |
| CN115880327B true CN115880327B (zh) | 2023-10-31 |
Family
ID=85764785
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211515543.8A Active CN115880327B (zh) | 2022-11-30 | 2022-11-30 | 抠图方法、摄像设备、会议系统、电子设备、装置、介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115880327B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105590312A (zh) * | 2014-11-12 | 2016-05-18 | 株式会社理光 | 前景图像分割方法和装置 |
| CN110189339A (zh) * | 2019-06-03 | 2019-08-30 | 重庆大学 | 深度图辅助的主动轮廓抠图方法及系统 |
| CN110248085A (zh) * | 2018-03-06 | 2019-09-17 | 索尼公司 | 用于图像序列的图像中的对象边界稳定化的装置和方法 |
| CN112241960A (zh) * | 2020-10-01 | 2021-01-19 | 深圳奥比中光科技有限公司 | 一种基于深度信息的抠图方法及系统 |
| CN114677394A (zh) * | 2022-05-27 | 2022-06-28 | 珠海视熙科技有限公司 | 抠图方法、装置、摄像设备、会议系统、电子设备及介质 |
-
2022
- 2022-11-30 CN CN202211515543.8A patent/CN115880327B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105590312A (zh) * | 2014-11-12 | 2016-05-18 | 株式会社理光 | 前景图像分割方法和装置 |
| CN110248085A (zh) * | 2018-03-06 | 2019-09-17 | 索尼公司 | 用于图像序列的图像中的对象边界稳定化的装置和方法 |
| CN110189339A (zh) * | 2019-06-03 | 2019-08-30 | 重庆大学 | 深度图辅助的主动轮廓抠图方法及系统 |
| CN112241960A (zh) * | 2020-10-01 | 2021-01-19 | 深圳奥比中光科技有限公司 | 一种基于深度信息的抠图方法及系统 |
| CN114677394A (zh) * | 2022-05-27 | 2022-06-28 | 珠海视熙科技有限公司 | 抠图方法、装置、摄像设备、会议系统、电子设备及介质 |
Non-Patent Citations (1)
| Title |
|---|
| 人体前景的自动抠图算法;冉清;冯结青;;计算机辅助设计与图形学学报;第30卷(第2期);第277-286页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115880327A (zh) | 2023-03-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2927873B1 (en) | Image processing apparatus and image processing method | |
| US10477128B2 (en) | Neighborhood haze density estimation for single-image dehaze | |
| WO2018082185A1 (zh) | 图像处理方法和装置 | |
| Fredembach et al. | Simple shadow remova | |
| CN111563908B (zh) | 一种图像处理方法及相关装置 | |
| JP6355346B2 (ja) | 画像処理装置、画像処理方法、プログラム、及び記憶媒体 | |
| US10157446B2 (en) | Systems and methods for processing images of objects using interpolation between keyframes | |
| US10477220B1 (en) | Object segmentation in a sequence of color image frames based on adaptive foreground mask upsampling | |
| CN112800850B (zh) | 一种视频处理方法、装置、电子设备及存储介质 | |
| US9959636B2 (en) | Systems and methods for processing images of objects using global lighting estimates | |
| US10181183B2 (en) | Systems and methods for processing images of objects using coarse intrinsic colour estimates | |
| Gu et al. | A Low‐Light Image Enhancement Method Based on Image Degradation Model and Pure Pixel Ratio Prior | |
| US7885458B1 (en) | Illuminant estimation using gamut mapping and scene classification | |
| CN109598736A (zh) | 深度图像与彩色图像的配准方法及装置 | |
| US10055826B2 (en) | Systems and methods for processing images of objects using coarse surface normal estimates | |
| US20170116756A1 (en) | Systems and Methods for Processing Images of Objects Using Lighting Keyframes | |
| JP2018196096A (ja) | 画像処理装置、画像処理方法、プログラム | |
| CN114511580A (zh) | 图像处理方法、装置、设备及存储介质 | |
| US20180336685A1 (en) | Image processing apparatus, image processing method, and storage medium | |
| JP3616680B2 (ja) | クロマキー方法およびキーイング関数を求める回路装置 | |
| CN115880327B (zh) | 抠图方法、摄像设备、会议系统、电子设备、装置、介质 | |
| AU2018202801A1 (en) | Method, apparatus and system for producing a foreground map | |
| CN112949423A (zh) | 物体识别方法、物体识别装置及机器人 | |
| CN108133204B (zh) | 一种手体识别方法、装置、设备及计算机可读存储介质 | |
| CN107103321B (zh) | 道路二值化图像的生成方法及生成系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |