CN114677394B - 抠图方法、装置、摄像设备、会议系统、电子设备及介质 - Google Patents
抠图方法、装置、摄像设备、会议系统、电子设备及介质 Download PDFInfo
- Publication number
- CN114677394B CN114677394B CN202210586129.XA CN202210586129A CN114677394B CN 114677394 B CN114677394 B CN 114677394B CN 202210586129 A CN202210586129 A CN 202210586129A CN 114677394 B CN114677394 B CN 114677394B
- Authority
- CN
- China
- Prior art keywords
- pixel point
- value
- foreground
- color
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 91
- 238000012545 processing Methods 0.000 claims abstract description 36
- 230000011218 segmentation Effects 0.000 claims abstract description 11
- 238000000605 extraction Methods 0.000 claims abstract description 4
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 49
- 239000000523 sample Substances 0.000 claims description 35
- 230000006870 function Effects 0.000 claims description 32
- 230000014509 gene expression Effects 0.000 claims description 19
- 230000007797 corrosion Effects 0.000 claims description 17
- 238000005260 corrosion Methods 0.000 claims description 17
- 238000003860 storage Methods 0.000 claims description 17
- 239000000126 substance Substances 0.000 claims description 17
- 239000013074 reference sample Substances 0.000 claims description 16
- 230000004927 fusion Effects 0.000 claims description 13
- 230000003628 erosive effect Effects 0.000 claims description 12
- 230000004075 alteration Effects 0.000 claims description 7
- 229910003460 diamond Inorganic materials 0.000 claims description 4
- 239000010432 diamond Substances 0.000 claims description 4
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 2
- 230000010339 dilation Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 10
- 238000010586 diagram Methods 0.000 description 29
- 230000008569 process Effects 0.000 description 14
- 238000004590 computer program Methods 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005429 filling process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000006748 scratching Methods 0.000 description 1
- 230000002393 scratching effect Effects 0.000 description 1
- 101150011264 setB gene Proteins 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G06T3/04—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Abstract
本申请公开了一种抠图方法、装置、摄像设备、会议系统、电子设备及介质，其方法包括：获取并预处理含有抠图目标的深度图和彩色图，以使所述深度图和所述彩色图对齐；根据预设深度值阈值范围，对深度图进行分割处理，得到第一蒙版；融合彩色图的像素信息，对第一蒙版进行边缘形态处理，得到三色图；基于透明度抠图法，对三色图的模糊边界进行前景背景归属，得到第二蒙版；根据第一蒙版和第二蒙版对彩色图进行目标提取，得到抠图图像。本申请融合深度图和彩色图的像素信息，实现了高精度实时性抠图；使得黑色物体能够完整、清晰的从图像中分割出来，显著提高了抠图目标的完整性和边界清晰度，极大的提高了抠图的整体效果，提高了用户的体验感受。
Description
技术领域
本申请涉及数字图像处理技术领域，具体涉及一种抠图方法、装置、摄像设备、会议系统、电子设备及介质。
背景技术
从图像中提取目标图像，是数字图像处理技术领域很重要的一项技术，有着广泛的应用场景，如随着办公形式的多样化，视频会议的应用越来越广泛，为了适应一些场景需要，人们在视频会议中经常采用虚拟背景的形式，这时需要将人物图像从原始图像中提取出来，与虚拟背景进行融合。
现有技术中，通常依据深度图中的深度信息进行目标的提取，但是由于深度图是根据激光反射来判断出距离大小，此时与背景颜色相近的物体，便无法在深度图上反应出来，即仅基于深度信息无法把这些物体抠出来，会造成抠图不完全、边界不清晰等很多问题，进而使得与虚拟背景融合效果差、图像失真严重、用户体验感差；且目前大部分精准的抠图方法均存在着计算量大、算力需求高，硬件资源占用率高的缺陷，在某些场景下，甚至会出现卡帧的情况。
发明内容
针对上述问题，本申请实施例提供了一种抠图方法、装置、摄像设备、会议系统、电子设备及介质，以克服或者部分克服现有技术的不足。
第一方面，本申请实施例提供了一种抠图方法，所述方法包括：
获取并预处理含有抠图目标的深度图和彩色图，以使所述深度图和所述彩色图对齐；
根据预设深度值阈值范围，对所述深度图进行分割处理，得到第一蒙版；
融合所述彩色图的像素信息，对所述第一蒙版进行边缘形态处理，得到三色图；
基于透明度抠图法，对所述三色图的模糊边界进行前景背景归属，得到第二蒙版；
根据所述第一蒙版和所述第二蒙版对所述彩色图进行目标提取，得到抠图图像。
第二方面，本申请实施例还提供一种抠图装置，所述装置包括可实现上述的抠图方法。
第三方面，本申请实施例还提供了一种摄像设备，所述摄像设备部署有上述抠图装置。
第四方面，本申请实施例还提供了一种视频会议系统，所述视频会议系统包括显示器和若干个摄像设备，所述显示器与所述摄像设备通信连接；其中，所述所述摄像设备部署有上述的抠图装置；
所述摄像设备，用于采集含有抠图目标的深度图和彩色图，并将得到的抠图图像发送至所述显示器；
所述显示器，用于接收并显示所述摄像设备发送的抠图图像。
第五方面，本申请实施例还提供了一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行上述任一的方法。
第六方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行上述任一的方法。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：
本申请基于深度图和彩色图二者的融合信息实现了高精度实时性抠图，首先利用深度图中的深度信息，基于预设深度值阈值范围，进行相对粗糙的前背景识别，得到第一蒙版；然后对第一蒙版融合如彩色图中的像素信息，进行边缘形态处理，得到初步的三色图；并基于透明度值抠图法，对三色图中的模糊边界部分进一步划分归属，得到第二蒙版；最后联合第一蒙版和第二蒙版的信息对彩色图进行目标分割，即可得到抠图图像。本申请融合深度图和彩色图的像素信息，实现了高精度实时性抠图；使得与背景相近物体能够完整、清晰的从图像中分割出来，显著提高了抠图目标的完整性和边界清晰度，极大的提高了抠图的整体效果，提高了用户的体验感受；计算量小，硬件资源消耗低，提高了抠图效率；且应用场景广泛，如视频背景变换，照片背景变换等。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1示出了根据现有中技术直接基于深度图中深度信息进行抠图得到的效果图；
图2示出了根据本申请的一个实施例的抠图方法的流程示意图；
图3示出了根据本申请的一个实施例的第一蒙版的示意图；
图4示出了根据本申请的一个实施例的第一三色图的示意图；
图5示出了根据本申请的一个实施例的三色图的示意图；
图6示出了根据本申请的一个实施例的第二蒙版的示意图；
图7示出了根据本申请的一个实施例的抠图图像的示意图；
图8示出了根据本申请的一个实施例的抠图装置的结构示意图；
图9示出了根据本申请的一个实施例的视频会议系统的结构示意图；
图10示出了根据本申请的一个实施例的摄像设备的结构示意图；
图11为本申请实施例中一种电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
以下结合附图，详细说明本申请各实施例提供的技术方案。
从图像中抠图，即区分出图像中的前景点和背景点，通常将前景点作为抠图目标。现有技术中，通常根据深度图像中的深度信息进行抠图，由于深度图是根据激光反射来判断出距离大小，因此与背景相近的物体，如黑色的物体便无法在深度图上反应出来，黑色的物体如头发等，抠图时无法把这些物体抠出来，造成抠图不完整、边界不清晰、抠图效果不美观的问题。另一方面，高精度的抠图策略需要高的成本支持，现有技术中，一些高精度抠图方法，计算量过大，硬件占用率高，甚至会出现卡帧的现象。
图1示出了根据现有技术中直接基于深度图中深度信息进行抠图得到的效果图，从图1可以看出，人物的头发没有完整的被分割出来，有一部分被误划分为了背景。
本申请的构思在于，在进行抠图时，将彩色图的像素信息与深度图的像素信息融合起来，精确的划分出前景点和背景点，实现高精度实时性抠图；采用简单算法将前景点和背景点有效分割，计算量小，抠图效率高。
图2示出了根据本申请的一个实施例的抠图方法的流程示意图，从图2可以看出，本申请至少包括步骤S210~步骤S250：
步骤S210：获取并预处理含有抠图目标的深度图和彩色图，以使所述深度图和所述彩色图对齐。
首先获取含有抠图目标的深度图和彩色图，深度图和彩色图是对应的，且深度图和彩色图的大小是一致的。深度图和彩色图的获取可以但不限于利用深度相机与彩色相机分别采集，其中，深度相机的工作帧率以及相位与彩色相机的工作帧率以及相位设定为一致，并且对深度相机和彩色相机的时间戳进行同步，从而保障深度图和彩色图尽量一致。
通常情况下，获取的深度图和彩色图存在一定的畸变，可对深度图和彩色图进行预处理消除这种畸变，并使二者对齐。如可采用D2C算法（一种对齐方法，业内暂无统一中文名）消除这种畸变，采用D2C算法对齐深度图和彩色图主要有两种方式，一种是硬件对齐，一种是软件对齐，硬件对齐由芯片完成，不消耗主机资源，效率较高；软件对齐没有这个限制，且精度较高，才用这两种方式中的任意一种即可。
彩色图（RGB图像）和深度图都可看成三维数组(x， y，d)，其中（x，y）是像素信息，d是颜色信息。不同之处是彩色图的d是三维的颜色信息（R，G，B），深度图的d是一维的灰度信息，在本申请中，将彩色图像的d称为颜色值，将深度图的d称为深度值。
步骤S220：根据预设深度值阈值范围，对所述深度图进行分割处理，得到第一蒙版。
首先直接利用深度图得到初始蒙版，将初始蒙版记为第一蒙版，即在该步骤中，输入为深度图，输出为第一蒙版，由于第一蒙版基于深度图而来，因而第一蒙版是与深度图的大小一致的二值图，即d是一维的。
可以利用预设的深度值阈值范围，对深度图中前景点和背景点作相对粗略的初步分割，可以理解为事先预设一个深度值阈值范围，深度图中深度值在这个预设深度值阈值范围内的像素点属于前景点，其余的像素点属于背景点。
在本申请的一些实施例中，所述预设深度值阈值范围为[第一深度值阈值，第二深度值阈值]；所述根据预设深度值阈值范围，对所述深度图进行分割处理，得到第一蒙版，包括：若所述深度图中一个像素点的深度值大于等于第一深度值阈值且小于等于第二深度值阈值，则将所述初始图中与该像素点的对应的像素点作为前景部分，并对该像素点的深度值赋值为第二预设值，将深度值为第一预设值的多个像素点作为背景部分，得到所述第一蒙版，其中，所述第二预设值不等于所述第一预设值。需要说明的是，第一深度值阈值小于第二深度值阈值，在本申请中，对“范围”进行说明采用区间的表达式时，在前数字均小于在后数字，后续不再特别说明。
首先对第一蒙版进行初始化，记为第一蒙版的初始图，具体的，可以构建一个新的图像，该图像大小与深度图一致，且每一个像素点中的深度值d均赋值为第一预设值，如第一预设值为0。
然后初步筛选前景点，具体的选定第一深度值阈值T1和第二深度值阈值T2，第一深度值阈值T1和第二深度值阈值T2组成预设深度值阈值范围，将深度图像中的深度值处于预设深度值阈值范围内的部分视为前景点，即若深度图中一个像素点的深度值大于等于第一深度值阈值且小于等于第二深度值阈值，则将该像素点作为前景点，并将第一蒙版的初始图中与该像素点的对应位置的深度值d赋值为第二预设值，如第二预设值为255，其他像素点视为背景点（也称后景点），对于不处于预设深度值阈值范围内的部分视为背景点，保持第一蒙版的初始图中与这些像素点的对应位置的深度值d不变，即仍然为第一预设值，得到第一蒙版。在第一蒙版中，像素点的深度值为第一预设值的部分为第一蒙版的背景部分，像素点的深度值为第二预设值的部分为第一蒙版的前景部分。
这里需要说明的是，第一深度值阈值小于第二深度值阈值，第一深度值阈值和第二深度值阈值的选取直接决定初筛的效果，本申请经过大量的尝试，推荐将第一深度值阈值设置为100，将第二深度值阈值设置为1200，二者具有一定的普适性。
需要说明的是，本申请中第一预设值和第二预设值不相等，而对于第一预设值和第二预设值的具体值不作限制，在本申请中，通常将第一预设值设置为0，将第二预设值设置为255。
图3示出了根据本申请的一个实施例的第一蒙版的示意图，从图3中可以看出，图中白色部分为前景部分，黑色部分为背景部分。
步骤S230：融合所述彩色图的像素信息，对所述第一蒙版进行边缘形态处理，得到三色图。
在现有技术中，通常对二值化的第一蒙版直接进行简单的处理，如边界腐蚀，将腐蚀后的第一蒙版作为三色图，这样的话，与背景颜色相近或相同的部分就不容易被识别出来，如人的头发等黑色物体。
对此，本申请做出了改进，在确定三色图时不仅考虑到了深度图中的深度信息，同时考虑了彩色图中的彩色信息。即在该步骤中，利用二值化的第一蒙版以及彩色图得到三色图，即在该步骤中输入为第一蒙版和彩色图，输出为同第二蒙版大小一致的三色图，三色图为灰度图，深度值只有三个值，在本申请中，分别为第一预设值、第二预设值和第三预设值，其中，第一预设值、第二预设值和第三预设值互不相等，如第一预设值为0，第二预设值为255，第三预设值为128。
确定三色图的整体构思在于，首先对第一蒙版进行膨胀、腐蚀操作，从而把头发部分包含在三色图的灰色区域中，得到最初的三色图，其中三色图的灰色区域被定义为模糊边界，在后续步骤中还需要进行进一步的分割。然后对上述的灰色区域（模糊边界）进行分割，从而将筛选出头发部分难以界定的像素点，即结合暗色物体在原始图像的灰度图中灰度较小的特点，对上述膨胀腐蚀处理后的三色图中的灰色区域进行判定，从而将上述灰色区域减小，得到仅头发部分难以分割的像素点为灰色的三色图，将此时得到的三色图作为最终的三色图。
具体的，在本申请的一些实施例中，融合所述彩色图的像素信息，对所述第一蒙版进行边缘形态处理，得到三色图，包括：基于第一核矩阵和第二核矩阵分别对所述第一蒙版进行膨胀和腐蚀处理，以确定所述抠图目标的模糊边界，得到第一三色图，其中，所述第一核矩阵为菱形核矩阵，所述第二核矩阵为常数核矩阵；按照预设前景规则，根据所述第一蒙版、所述彩色图和所述第一三色图中的像素信息，对所述第一三色图中的模糊边界进行前景背景归属；基于所述第二核矩阵，对所述第一三色图的模糊边界中归属于前景的部分进行膨胀和腐蚀处理，得到所述三色图。
其中，基于第一核矩阵和第二核矩阵分别对所述第一蒙版进行膨胀和腐蚀处理，以确定所述抠图目标的模糊边界，得到第一三色图，包括：对所述第一蒙版的前景部分基于第一核矩阵进行膨胀扩大处理，将扩大的部分作为第一未界定部分；对所述第一蒙版的前景部分基于第二核矩阵进行腐蚀缩小处理，将缩小的部分作为第二未界定部分；将所述第一未界定部分和所述第二未界定部分作为所述抠图目标的模糊边界，并将所述第一蒙版中与所述模糊边界对应的像素点赋值为第三预设值，得到所述第一三色图。
首先将第一蒙版作为三色图的初始图；或者可以单独构建一张三色图的初始图，该初始图与第一蒙版的大小一致，其各像素点的深度值d与第一蒙版一致。
然后创建核，包括但不限于第一核矩阵和第二核矩阵，其中，所述第一核矩阵为菱形核矩阵，所述第二核矩阵为常数核矩阵，如kernel1（第一核矩阵=[[0,0,1,0,0],[0,1,1,1,0],[0,1,1,1,0],[0,1,1,1,0],[0,0,1,0,0]]；kernel2（第二核矩阵）=[[1,1,1,1,1],[1,1,1,1,1],[1,1,1,1,1],[1,1,1,1,1],[1,1,1,1,1]]。
可见第一核矩阵为菱形核，可使抠图目标的边缘与背景接近的部分包括进灰色区域，如人体的头发；第二和矩阵是常数核，在膨胀腐蚀处理中发挥作用。
然后对第一蒙版的前景部分（即深度值d为第二预设值的各像素）利用第一核矩阵进行膨胀处理，即扩大前景部分的面积，在膨胀处理过程中，可设置一定的迭代次数以追求理想的效果，如设置迭代次数为20，这个过程就相当于对背景部分进行腐蚀操作，即缩小背景部分的面积，进行膨胀操作后，将扩大的前景部分作为第一未界定部分，即将该部分包含的各像素点的深度值d赋值为第三预设值，如128。
再对第一蒙版的前景部分利用第二核矩阵进行腐蚀操作，即缩小前景部分面积，在腐蚀处理过程中，可设置一定的迭代次数以追求理想的效果，如设置迭代次数为2，在进行腐蚀后，将缩小的前景部分作为第二未界定部分，即将该部分包含的各像素点的深度值赋值为第三预设值，如128。
需要说明的是，如果第一未界定部分和第二未界定部分有交集，将第一未界定部分和第二未界定部分的并集赋值为第三预设值即可，将赋值后得到的图片记为第一三色图，用于后续的抠图过程。在第一三色图中，将其灰色部分认为是抠图目标的模糊边界，后续需要对模糊边界进行进一步的归属。
需要说明的是，在抠图的过程中，得到的新图像并不覆盖原始图像，而是重新保存。
图4示出了根据本申请的一个实施例的第一三色图的示意图，从图4可以看出，相对于第一蒙版，在前景部分周围被识别出很多灰色区域（模糊边界）的像素点，且灰色区域的面积是比较大的。
需要说明的是，本申请对第三预设值的具体值不作限定，但第三预设值和第一预设值以及第二预设值不同。
下面对图4中的模糊边界（灰色区域）进行缩小处理，具体的，在本申请的一些实施例中，所述按照预设前景规则，根据所述第一蒙版、所述彩色图和所述第一三色图中的像素信息，对所述第一三色图中的模糊边界进行前景背景归属。将得到的图像记为第二三色图，具体包括：将所述彩色图进行灰度化处理，得到灰度图；确定所述第一三色图的模糊边界的一个像素点的高度值是否属于预设高度范围，若否，则确定该像素点不满足所述预设前景规则；若是，则确定所述第一蒙版中与该像素点对应的像素点的深度值是否为第一预设值；若否，则确定该像素点不满足所述预设前景规则；若是，则确定所述灰度图中与该像素点对应的像素点的灰度值是否小于第三预设阈值；若否，则确定该像素点不满足所述预设前景规则；若是，则确定所述第一三色图中与该像素点对应的像素点的深度值是否为第三预设值；若否，则确定该像素点不满足所述预设前景规则；若是，则确定该像素点满足所述预设前景规则；对所述第一三色图的模糊边界中满足所述预设前景规则的像素点赋值为第二预设值，对不满足所述预设前景规则的像素点赋值为第一预设值，得到所述第二三色图。
首先对彩度图进行灰度化处理，得到彩色图的灰度（Gray）图，然后判断上述赋值后的第一三色图（即图4）中的灰度部分（深度值d为第三预设值的像素点）中每个像素点的是否满足如下预设的前景规则，在具体的判断过程，对于一个像素点，需要结合多种因素，包括但不限于第一蒙版、灰度图以及第一三色图中的像素信息。
若第一三色图中灰色区域的一个像素点满足预设前景规则，则确定该像素点属于前景部分，将第一三色图中与该像素点对应的像素点的深度值d赋值为第二预设值，即将其划分为前景，采用上述方法，对第一三色图中灰色区域的每一个像素点进行判断，从而将第一三色图中的灰色部分确定出一大部分像素点为前景点，剩余一小部分为背景点。
具体的判断过程如下：假设h，w为第一三色图的长和宽，若所述第一三色图中模糊边界内的一个像素点同时满足以下多个条件，则确定该像素点满足预设前景规则，若不满足其中一个或多个条件，则确定该像素点不满足预设前景规则。预设前景规则中的多个条件包括但不限于：一个像素点的坐标是否属于预设高度范围，如x是否满足x∈[0,0.3h]：在第一蒙版中与该像素对应的像素点的深度值d是否为第一预设阈值；在灰度图中与该像素对应的像素点的灰度值是否小于第三预设阈值（如第三预设阈值为100）；在第一三色图中，该像素的深度值d是否为第三预设阈值，上述规则中，对于x的限制是为了把头发部分标为前景点，如果不限制x的取值，在图像下方也会有一些噪点被包括进去。
根据上述预设前景规则，对每一个像素点进行判断，对所述第一三色图的模糊边界中满足所述预设前景规则的像素点赋值为第二预设值，对不满足所述预设前景规则的像素点赋值为第一预设值，得到所述第二三色图。通过预设的前景规则将彩色图的像素信息也融合进了三色图中，得到了更加完整的抠图目标。
然后对第二三色图进行进一步的处理，基于所述第二核矩阵，对所述二三色图中的模糊边界中归属于前景部分进行膨胀和腐蚀处理，得到最终的三色图，具体包括：基于所述第二核矩阵，依次对所述模糊边界中归属于前景部分进行膨胀和腐蚀处理；将通过所述膨胀处理扩大的部分和所述腐蚀处理处理缩小的部分的作为所述三色图的模糊边界，并为所述模糊边界内的各像素点赋值为第三预设值，得到所述三色图。
为了防止第二三色图中将部分前景都是，对第二三色图中的前景做了扩大处理，具体的，可以基于第二核矩阵依次对第二三色图中的前景部分（赋值为第三预设值的部分）进行膨胀（如可按需要设置迭代次数，如5次，具体次数本申请不作限定）和腐蚀（如可按需要设置迭代次数，如5次，具体次数本申请不作限定）操作，将扩大的灰色部分也加入到模糊边界中，可记为第三未界定部分，对第二三色图中，第三未界定部分的像素点的深度值d赋值为第三预设值，即使其变为灰色，就得到了三色图。
图5示出了根据本申请的一个实施例的三色图的示意图，从图5中可以看出，灰色部分仅包括人物的头发部分，这些灰色部分是暂时未能界定归属的模糊边界。
在本申请的另一些实施例中，可以进一步对图5中的灰色部分基于相邻像素的亲和力，对所述三色图的模糊边界中的各像素点进行前景背景归属，以减小所述模糊边界，将缩减后的三色图作为三色图的最终版本。具体的，对得到的三色图（图5）还可以进行如下操作：确定所述彩色图中与所述三色图中对应的前景部分和背景部分；分别确定所述彩色图中的前景部分和背景部分中小于彩色差度阈值且小于空间距离差值阈值的像素点集合；对于所述三色图中深度值为第三预设值的一个目标像素点，从所述像素点集合确定一个与所述目标像素点的空间距离差值最小的像素点，作为基准像素点；若所述基准像素点的深度值为第二预设值，则将所述三色图中与所述目标像素点对应的像素点的深度值赋值为第二预设值；若所述基准像素点的深度值为第一预设值，则将所述三色图中与所述目标像素点对应的像素点的深度值赋值为第一预设值；若在所述像素点集合中存在多个空间距离差值相同的像素点，则保持所述三色图中与所述目标像素点对应的像素点的深度值不变。
由于腐蚀操作使得模糊边界的范围扩大，此时可以利用相邻像素的亲和力来减小模糊边界的大小。具体的，可选定彩度差值阈值T3和空间距离差值阈值T4，对模糊边界内的每一个像素点（x，y）进行如下操作，从而将一个部分灰色区域的像素点进行进一步的划分：
步骤一：对应三色图确定出彩色图中的前景区域和背景区域；
步骤二：找出彩色图中前景区域、背景区域中与（x，y）的彩度差值小于彩度差值阈值T3，且空间距离差值小于空间距离差值阈值T4的像素点集合；
步骤三：在像素点集合中其中找出空间距离差值最近（最小）的像素点（x1，y1），将像素点（x1，y1）作为像素点（x，y）的基准像素点，如果该像素点（x1，y1）属于前景点，则将三色图中与像素点（x，y）对应的像素点的深度值d赋值为第二预设值，即将其设置为前景点；如果该像素点（x1，y1）属于背景点，则将三色图中与像素点（x，y）对应的像素点的深度值d赋值为第一预设值，即将其设置为背景点；如果有多个空间距离位置相同的像素点，则三色图中与像素点（x，y）对应的像素点的深度值保持不变。
步骤S240：基于透明度抠图法，对所述三色图的模糊边界进行前景背景归属，得到第二蒙版。
经过上述操作后，三色图中仍然有一部分的像素点（灰色区域）未划分出归属，对于这些像素点，可采用透明度抠图法，确定其归属，从而得到第二蒙版。
具体的，就是计算灰色区域中每一个像素点的透明度值，若一个像素点的透明度值大于等于预设透明度阈值，则将该像素点划分为前景点，即对所述三色图中该像素点的深度值赋值为第二预设值；否则，则将该像素点划分为背景点，即对所述三色图中该像素点的深度值赋值为第一预设值；最后将赋值后的三色图作为第二蒙版。
举例而言，预设透明度阈值为0.5，若模糊边界中一个像素点的透明度值为0.7，则该像素点划分为前景点，即对所述三色图中该像素点的深度值赋值为第二预设值；若模糊边界中一个像素点的透明度值为0.3，将该像素点划分为背景点，即对所述三色图中该像素点的深度值赋值为第一预设值，这样就能够对模糊边界中几乎所有的像素点进行前景背景归属。
经过上述的判断后，得到第二蒙版，图6示出了根据本申请的一个实施例的第二蒙版的示意图，从第二蒙版可以看出，图6中基本不包括灰色区域，只包括前景区域和背景区域。
步骤S250：根据所述第一蒙版和所述第二蒙版所述彩色图进行目标分割，得到抠图图像。
最后，将第一蒙版与第二蒙版进行信息融合，得到融合蒙版后，基于融合蒙版对彩色图进行目标分割，即可得到抠图图像，抠图图像为与彩度图同大小的抠图后的结果图，也为彩色图。
在本申请的一些实施例中，根据所述第一蒙版和所述第二蒙版所述彩色图进行目标分割，得到抠图图像，包括：将所述第一蒙版和所述第二蒙版进行空洞填充处理；将处理后的第一蒙版和第二蒙版的前景部分进行融合，得到融合蒙版；若所述融合蒙版中的一个像素点的深度值为第二预设值，则保持所述彩色图中的对应的像素点的颜色值不变；若所述融合蒙版中的一个像素点的深度值为第一预设值，则将所述彩色图中的对应的像素点的深度值赋值为第四预设值（背景值）；将赋值后的彩色图作为所述抠图图像。
需要说明的是，第四预设值作为最后抠图图像的背景值，其可以为合理范围内的任何值，可以与第一预设值、第二预设值和第三预设值相同，也可以不同，对比本申请不作限定。
对得到的第二蒙版和第一蒙版进行孔洞填充操作，如选取阈值为1000，在填充时，仅填充空洞部分面积小的部分。对填充后的第二蒙版和第一蒙版进行合并，将两者的前景点都为融合蒙版的前景点，融合蒙版为二值图像，前景点的深度值d为第二预设值，如255，背景点的深度值d为第一预设值，如0。
在融合蒙版中，对于一个像素点而言，若其深度值为第二预设值，即该像素点为前景点，则在抠图图像中，与该像素点对应的像素点的颜色值（d=[R,G,B]）与彩度图一致，也可以理解为保持所述彩色图中的对应的像素点的颜色值不变；若其深度值为第一预设值，即该像素点为背景点，则在抠图图像中，与该像素点对应的像素点的颜色值（d=[R,G,B]）赋值为第四预设值，如[0,0,0]；最后将赋值后的彩色图作为所述抠图图像。图7示出了根据本申请的一个实施例的抠图图像的示意图，对比图1和图7可以看出，本申请得到的抠图图像中头发部分被完整的分割出来。
从图2可以看出本申请基于深度图和彩色图二者的融合信息实现了高精度实时性抠图，首先利用深度图中的深度信息，基于预设深度值阈值范围，进行相对粗糙的前景、背景识别，得到第一蒙版；然后对第一蒙版融合如彩色图中的像素信息，进行边缘形态处理，得到初步的三色图；并基于透明度值抠图法，对三色图中的未界定部分进一步划分归属，得到第二蒙版；最后联合第一蒙版和第二蒙版的信息对彩色图进行目标分割，即可得到抠图图像。本申请融合深度图和彩色图的像素信息，实现了高精度实时性抠图；使得黑色物体能够完整、清晰的从图像中分割出来，显著提高了抠图目标的完整性和边界清晰度，极大的提高了抠图的整体效果，提高了用户的体验感受；计算量小，硬件资源消耗低，提高了抠图效率；且应用场景广泛，如视频背景变换，照片背景变换等。
在本申请的一些实施例中，在上述的方法中，所述确定所述三色图的模糊边界的各像素点的透明度值ɑ，包括：步骤S411：根据所述彩色图构建所述三色图的模糊边界的一个目标像素点的样本集合；步骤S412：基于目标函数，从所述所述样本集合中选取基准样本对，所述基准样本对包括基准前景点和基准背景点；步骤S413：根据所述基准样本对，确定所述目标像素点的中间透明度值；步骤S414：对所述中间透明度值进行加权平均，得到所述目标像素点的透明度值。
对于模糊边界的一个目标像素点，构建其样本集合，在其样本集合中选取好的样本对，即基准样本对，根据这个好的样本对进行计算即可得到该目标像素点的中间透明度值；尽管样本选择过程考虑了局部像素组之间的亲和力，但这不足以防止生成的蒙版中出现不连续性，因此最好需要对透明度值进行局部平滑，且同时保持其独特的特征，即进行加权平均，最后得到目标像素点的透明度值。
步骤S411：根据所述彩色图构建所述三色图的模糊边界的一个目标像素点的样本集合，包括下述步骤S4111~步骤S4114：
步骤S4111：从所述彩色图中选取与所述目标像素点的物理距离最近的前景点集合和背景点集合。需要说明的是，如果仅选取到一个与目标像素点的物理距离最近的像素点，直接将目标像素点的深度值设置与该最近的像素点一致，后续步骤无需执行。
步骤S4112：从所述前景点集合中随机选取一个第一参考像素点（x，y），赋予所述第一参考像素点的权重为1；并确定所述前景点集合中其他各像素点与所述第一参考像素点的彩色差度值，若一个其它像素点（x1，y1）对应的彩色差度值小于所述彩色差度阈值，则删除对应的其他像素点，并根据式（1）更新所述第一参考像素点，以及根据式（2）更新所述第一参考像素点的权重；
步骤S4113：同理，从所述背景点集合中随机选取一个第二参考像素点，赋予所述第二参考像素点的权重为1；并确定所述背景点集合中其他各像素点与所述第二参考像素点的彩色差度值，若一个其它像素点对应的彩色差度值小于所述彩色差度阈值，则删除对应的其他像素点，并根据式（1）更新所述第二参考像素点，以及根据式（2）更新所述第二参考像素点的权重；
其中，所述式（1）~式（2）的表达式如下：
w x,y= w x,y w x1,y1式（2）；
其中，w x,y表示第一参考像素点（x，y）的权重，w x1,y1表示一个其它像素点（x1，y1）的权重。
步骤S4114：将保留的多个前景点和多个背景点作为样品集合。
步骤S412：基于目标函数，从所述所述样本集合中选取基准样本对，所述基准样本对包括基准前景点和基准背景点，包括步骤步骤S4121~步骤S4123：
步骤S4121：构建目标函数。目标函数结合了能量和空间亲和力，以及用于选择良好背景和前景样本对的概率信息。目标函数的表达式如式（3）所示：
其中，g x，y （F i ，B j ）为目标函数，N x，y （F i ，B j ）最小化区域色彩失真度，e N 表示N x，y （F i ，B j ）的权重；
A x，y （F i ，B j ）表示准确度表征值，e A 表示A x，y （F i ，B j ）的权重；D x，y （F i ）表示前景点F i 对应位置到像素点（x，y）的空间距离，e f 表示D x，y （F i ）的权重；D x，y （B j ）表示背景点B i 对应位置到像素点（x，y）的空间距离，e b 表示D x，y （B j ）的权重。
在上述表达式式（3）中，所述准确度表征值A x，y （F i ，B j ）的表达式为式（4）：
其中，PF x，y 为像素点（x，y）属于前景的概率，a i，j 表示像素点（x，y）的位置相关系数。
在上述表达式式（4）中，位置相关系数a i，j 的表达式为式（5）：
其中，F i 表示样本集合中前景点对应的rgb值和B i 表示样本集合中后景点对应的rgb值；I表示彩度值。
在上述表达式式（4）中，PF x，y 的表达式为式（6）：
其中，E x，y （B j ）表示像素点（x，y）到背景点的能量；E x，y （F i ）表示像素点（x，y）到前景点的能量。
在上述表达式式（6）中，E x，y （B j ）和E x，y （F i ）的表达式为式（7）：
其中，
表示图像空间距离；
表示彩度值求梯度。
在上述的表达式式（3）中，最小化区域色彩失真度N x，y （F i ，B j ）的表达式为式（8）：
其中，Ω x，y 为以（x，y）为中心的领域，如3*3的邻域；M x，y （F i ，B j ）表示最小化色彩失真度，其中，最小化色彩失真度M x，y （F i ，B j ）的表达式为式（9）：
其中，I x，y 表示像素点（x，y）的彩度值。
步骤S4122：从所述样本集合的多个前景点选取使得所述目标函数的值为最小的像素点作为基准前景点。
选取使目标函数结果最小的前景点F i 作为基准前景点F s 。
步骤S4123：从所述样本集合的多个背景点选取使得所述目标函数的值为最小的像素点作为基准背景点。
同理，选取使目标函数结果最小的后景点B i 作为基准前景点B t 。
步骤S413：根据所述基准样本对，确定所述目标像素点的中间透明度值，包括：根据式（10）确定所述目标像素点的中间透明度值：
其中，ɑ’x,y表示目标像素点的中间透明度值，F s 表示基准前景点，表示B t 基准背景点。
步骤S414：对所述中间透明度值进行加权平均，得到所述目标像素点的透明度值，包括：
根据式（11）对所述中间透明度值进行加权平均：
其中，ɑ (x,y)表示所述目标像素点的透明度值；
Ω x，y 为以（x，y）为中心的领域；
c x1，y1 表示适用度值；w s (x1，y1)表示空间距离权重，w d (x1，y1)表示深度距离权重，w c (x1，y1)表示彩色距离权重,ɑ’x1,y1表示目标像素点的中间透明度值；空间距离权重w s (x1，y1)的表达式为式（12），深度距离权重w d (x1，y1)的表达式为式（13），彩色距离权重w c (x1，y1)的表达式为式（14）：
其中，depth x,y代表（x，y）位置的深度；I x,y代表（x,y）位置的彩度值；
w s 、w d 、w c 分别用于调整空间距离权重w s (x1，y1)、深度距离权重w d (x1，y1)和彩度距离权重w c (x1，y1)。
在上述的表达式式（11）中，适用度值c x1，y1 的表达式为式（15）：
其中，
基于前述陈述的多个表达式，下面以一个像素点A为例，对于像素点的透明度值的计算流程进行简要说明：
Step1：选取离像素点A物理距离最近的多个前背景像素点，分别组成前景点集合和背景点集合。
Step2：对前景点集合和背景点集合进行分类合并，得到样本集合。以前景点集合为例，具体为先从前景点集合随机取出一个像素（x，y），权重初始化为1，与集合中其他元素(x1,y1)的rgb值进行距离求取，如果求取的距离<彩度差值阈值T3，此时删除对应的其他元素，并对原始的像素点以及像素点的权重进行更新，更新后的前景点集合和背景点集合合并作为样本集合。
Step3：对更新后的前景点集合对应的颜色值（rgb值）{F i }和背景点集合对应的颜色值（rgb值）{B i }，根据“由好的样本对的线性组合一个尽可能逼近原始点的颜色值”这一原理，求出最小化色彩失真度M x，y （F i ，B j ），再由“小局部窗口中像素的所有颜色大致位于由真实前景和背景色F和B构成的颜色空间中的直线上”这一限制，求出最小化区域色彩失真度N x，y （F i ，B j ）。
Step4：为了将图像空间统计信息考虑进去，定义从当前样本点到当前背景点的能量E x,y (s)，进而估计出像素点（x，y）点属于前景点的概率PF x,y ,从而求出A x，y （F i ，B j ），其中A x，y （F i ，B j ）越小，代表样本对选取得越好。
Step4：构造结果目标函数g x，y （F i ，B j ），选取使结果目标函数最小的前景和背景点（F s ，B t ），其中，g x，y （F i ，B j ）结合了能量和空间亲和力以及用于选择良好背景样本和前景样本对的概率信息。
Step5：对前面所选取的最好的前背景点（F s ，B t ），求得对应的未界定区域的像素点的透明度值。
Step6：以(x,y)为中心点，划定相对应的领域Ω x，y ，其中对于领域Ω x，y 属于未知区域的像素点（x1，y1）进行权重计算，分别包括空间距离权重w s (x1，y1)，深度距离权重w d (x1，y1)，彩色距离权重w c (x1，y1)；然后，计算出对应的适应度值c x1，y1 。
Step7：计算出加权平均后的透明度值。
图8示出了根据本申请的一个实施例的抠图装置的结构示意图，从图8可以看出，该装置800包括：
获取单元810，用于获取并预处理含有抠图目标的深度图和彩色图，以使所述深度图和所述彩色图对齐；
二值化单元820，用于根据预设深度值阈值范围，对所述深度图进行分割处理，得到第一蒙版；
三值化单元830，用于融合所述彩色图的像素信息，对所述第一蒙版进行边缘形态处理，得到三色图；
透明度算法单元840，用于基于透明度抠图法，对所述三色图的模糊边界进行前景背景归属，得到第二蒙版；
分割单元850，用于根据所述第一蒙版和所述第二蒙版对所述彩色图进行目标分割，得到抠图图像。
在本申请的一些实施例中，在上述装置中，所述述预设深度值阈值范围为[第一深度值阈值，第二深度值阈值]；二值化单元820，用于构建所述第一蒙版的初始图，其中，所述第一蒙版的初始图与所述深度图大小一致，且各像素点的深度值均为第一预设值；若所述深度图中一个像素点的深度值大于等于第一深度值阈值且小于等于第二深度值阈值，则将所述初始图中与该像素点的对应的像素点作为前景部分，并对该像素点的深度值赋值为第二预设值，将深度值为第一预设值的多个像素点作为背景部分，得到所述第一蒙版，其中，所述第二预设值不等于所述第一预设值。
在本申请的一些实施例中，在上述装置中，所述第一深度值阈值为100，所述第二深度值阈值为1200。
在本申请的一些实施例中，在上述装置中，三值化单元830，用于基于第一核矩阵和第二核矩阵分别对所述第一蒙版进行膨胀和腐蚀处理,以确定所述抠图目标的模糊边界，得到第一三色图，其中，所述第一核矩阵为菱形核矩阵，所述第二核矩阵为常数核矩阵；按照预设前景规则，根据所述第一蒙版、所述彩色图和所述第一三色图中的像素信息，对所述第一三色图中的模糊边界进行前景背景归属；基于所述第二核矩阵，对所述第一三色图的模糊边界中归属于前景的部分进行膨胀和腐蚀处理，得到所述三色图。
在本申请的一些实施例中，在上述装置中，三值化单元830，用于对所述第一蒙版的前景部分基于第一核矩阵进行膨胀扩大处理，将扩大的部分作为第一未界定部分；对所述第一蒙版的前景部分基于第二核矩阵进行腐蚀缩小处理，将缩小的部分作为第二未界定部分；将所述第一未界定部分和所述第二未界定部分作为所述抠图目标的模糊边界，并将所述第一蒙版中与所述模糊边界对应的像素点赋值为第三预设值，得到所述第一三色图。
在本申请的一些实施例中，在上述装置中，三值化单元830，用于将所述彩色图进行灰度化处理，得到灰度图；确定所述第一三色图的模糊边界的一个像素点的高度值是否属于预设高度范围，若否，则确定该像素点不满足所述预设前景规则；若是，则确定所述第一蒙版中与该像素点对应的像素点的深度值是否为第一预设值；若否，则确定该像素点不满足所述预设前景规则；若是，则确定所述灰度图中与该像素点对应的像素点的灰度值是否小于第三预设阈值；若否，则确定该像素点不满足所述预设前景规则；若是，则确定所述第一三色图中该像素点的深度值是否为第三预设值；若否，则确定该像素点不满足所述预设前景规则；若是，则确定该像素点满足所述预设前景规则；对所述第一三色图的模糊边界中满足所述预设前景规则的像素点赋值为第二预设值，对不满足所述预设前景规则的像素点赋值为第一预设值。
在本申请的一些实施例中，在上述装置中，三值化单元830，用于基于所述第二核矩阵，依次对所述模糊边界中归属于前景部分进行膨胀和腐蚀处理；将通过所述膨胀处理扩大的部分和所述腐蚀处理处理缩小的部分的作为所述三色图的模糊边界，并为所述模糊边界内的各像素点赋值为第三预设值，将得到的图像作为所述三色图。
在本申请的一些实施例中，在上述装置中，三值化单元830，还用于基于相邻像素的亲和力，对所述三色图的模糊边界中的各像素点进行前景背景归属，以减小所述模糊边界，得到所述三色图。
在本申请的一些实施例中，在上述装置中，三值化单元830，还用于确定所述彩色图中与所述三色图中对应的前景部分和背景部分；分别确定所述彩色图中的前景部分和背景部分中小于彩色差度阈值且小于空间距离差值阈值的像素点集合；对于所述三色图中深度值为第三预设值的一个目标像素点，从所述像素点集合确定一个与所述目标像素点的空间距离差值最小的像素点，作为基准像素点；若所述基准像素点的深度值为第二预设值，则将所述三色图中与所述目标像素点对应的像素点的深度值赋值为第二预设值；若所述基准像素点的深度值为第一预设值，则将所述三色图中与所述目标像素点对应的像素点的深度值赋值为第一预设值；若在所述像素点集合中存在多个空间距离差值相同的像素点，则保持所述三色图中与所述目标像素点对应的像素点的深度值不变。
在本申请的一些实施例中，在上述装置中，透明度算法单元840，用于确定所述三色图的模糊边界的各像素点的透明度值ɑ；若一个像素点的透明度值大于等于预设透明度阈值，则将所述三色图中该像素点作为前景部分，并对该像素点的深度值赋值为第二预设值；否则，则将所述三色图中该像素点作为背景部分，并对该像素点的深度值赋值为第一预设值，得到第二蒙版。
在本申请的一些实施例中，在上述装置中，透明度算法单元840，用于根据所述彩色图构建所述三色图的模糊边界的一个目标像素点的样本集合；基于目标函数，从所述所述样本集合中选取基准样本对，所述基准样本对包括基准前景点和基准背景点；根据所述基准样本对，确定所述目标像素点的中间透明度值；对所述中间透明度值进行加权平均，得到所述目标像素点的透明度值。
在本申请的一些实施例中，在上述装置中，透明度算法单元840，用于从所述彩色图中选取与所述目标像素点的物理距离最近的前景点集合和背景点集合；从所述前景点集合中随机选取一个第一参考像素点，赋予所述第一参考像素点的权重为1；并确定所述前景点集合中其他各像素点与所述第一参考像素点的彩色差度值，若一个其它像素点对应的彩色差度值小于所述彩色差度阈值，则删除对应的其他像素点，并根据式（1）更新所述第一参考像素点，以及根据式（2）更新所述第一参考像素点的权重；从所述背景点集合中随机选取一个第二参考像素点，赋予所述第二参考像素点的权重为1；并确定所述背景点集合中其他各像素点与所述第二参考像素点的彩色差度值，若一个其它像素点对应的彩色差度值小于所述彩色差度阈值，则删除对应的其他像素点，并根据式（1）更新所述第二参考像素点，以及根据式（2）更新所述第二参考像素点的权重；将保留的多个前景点和多个背景点作为样品集合；其中，所述式（1）~式（2）的表达式如下：
w x,y= w x,y w x1,y1式（2）；
其中，w x,y表示第一参考像素点（x，y）的权重，w x1,y1表示一个其它像素点（x1，y1）的权重。
在本申请的一些实施例中，在上述装置中，透明度算法单元840，用于构建目标函数；从所述样本集合的多个前景点选取使得所述目标函数的值为最小的像素点作为基准前景点；从所述样本集合的多个背景点选取使得所述目标函数的值为最小的像素点作为基准背景点；其中，所述目标函数的表达式为式（3）：
其中，g x，y （F i ，B j ）为目标函数，N x，y （F i ，B j ）为最小化区域色彩失真度，e N 表示N x，y （F i ，B j ）的权重；A x，y （F i ，B j ）表示准确度表征值，e A 表示A x，y （F i ，B j ）的权重；D x，y （F i ）表示前景点F i 对应位置到像素点（x，y）的空间距离，e f 表示D x，y （F i ）的权重；D x，y （B j ）表示背景点B i 对应位置到像素点（x，y）的空间距离，e b 表示D x，y （B j ）的权重。
在本申请的一些实施例中，在上述装置中，透明度算法单元840，用于根据式（10）确定所述目标像素点的中间透明度值：
其中，ɑ’x,y表示中间透明度值；F s 表示基准前景点，表示B t 基准背景点。
在本申请的一些实施例中，在上述装置中，透明度算法单元840，用于根据式（11）对所述中间透明度值进行加权平均，得到目标像素点的透明度值ɑ：
其中，ɑ (x,y)表示所述目标像素点的透明度值；Ω x，y 为以（x，y）为中心的领域；c x1，y1 表示适用度值；w s (x1，y1)表示空间距离权重，w d (x1，y1)表示深度距离权重，w c (x1，y1)表示彩色距离权重,ɑ’x1,y1表示目标像素点的中间透明度值；空间距离权重w s (x1，y1)的表达式为式（12），深度距离权重w d (x1，y1)的表达式为式（13），彩色距离权重w c (x1，y1)的表达式为式（14）：
其中，depth x,y代表（x，y）位置的深度；I x,y代表（x,y）位置的彩度值；
w s 、w d 、w c 分别用于调整空间距离权重w s (x1，y1)、深度距离权重w d (x1，y1)和彩度距离权重w c (x1，y1)；
所述适用度值c x1，y1 的表达式为式（15）：
其中，
在本申请的一些实施例中，在上述装置中，分割单元840，用于将所述第一蒙版和所述第二蒙版进行空洞填充处理；将处理后的第一蒙版和第二蒙版的前景部分进行融合，得到融合蒙版；若所述融合蒙版中的一个像素点的深度值为第二预设值，则保持所述彩色图中的对应的像素点的颜色值不变；若所述融合蒙版中的一个像素点的深度值为第一预设值，则将所述彩色图中的对应的像素点的深度值赋值为第四预设值，得到所述抠图图像。
能够理解，上述抠图装置，能够实现前述实施例中提供的抠图方法的各个步骤，关于抠图方法的相关阐释均适用于抠图装置，此处不再赘述。
图9示出了根据本申请的一个实施例的一种视频会议系统的结构示意图，从图9可以看出，视频会议系统900包括显示器910和若干个摄像设备920，摄像设备920与显示器910通信连接，各摄像设备部可署有抠图装置800（图10）；所述摄像设备920，用于采集含有抠图目标的深度图和彩色图，并将得到的抠图图像发送至所述显示器910；所述显示器910，用于接收并显示所述摄像设备920发送的抠图图像。即可以将抠图装置800部署于摄像设备中，摄像设备在采集含有抠图目标的深度图和彩色图，根据前述方法确定抠图图像后，发送给显示器910以进行显示。摄像设备包括但不限于独立的摄像头、集成于用户终端的摄像头，如安装在手机和平板电脑的摄像头等等。
由于摄像设备体积和重量的限制，前述的抠图装置800也可以部署在云端，请再参考图9，在另一些实施例中，所述视频会议系统900还包括会议服务器930，所述显示器910和所述摄像设备920还通信连接所述会议服务器930，其中，所述会议服务器930可部署有抠图装置800；所述摄像设备920，还用于将采集的含有抠图目标的深度图和彩色图发送至所述会议服务器930；所述显示器910，用于接收并显示所述会议服务器930发送的抠图图像。这可明显降低摄像设备的硬件成本和算力负担，对于视频会议系统的整体架构部署，本申请不作限制，可根据需要进行选择。
图11是本申请的一个实施例电子设备的结构示意图。请参考图11，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器（non-volatile memory），例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构）总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构）总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图11中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成抠图装置。处理器，执行存储器所存放的程序，并具体用于执行上述方法。
上述如本申请图8所示实施例揭示的抠图装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器（Central Processing Unit，CPU）、网络处理器（Network Processor，NP）等；还可以是数字信号处理器（Digital SignalProcessor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field－Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
该电子设备还可执行图8中抠图装置执行的方法，并实现抠图装置在图8所示实施例的功能，本申请实施例在此不再赘述。
本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的电子设备执行时，能够使该电子设备执行图8所示实施例中抠图装置执行的方法，并具体用于执行前述方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器 (CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器 (RAM) 和/或非易失性内存等形式，如只读存储器 (ROM) 或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体 (transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (19)
1.一种抠图方法，其特征在于，所述方法包括：
获取并预处理含有抠图目标的深度图和彩色图，以使所述深度图和所述彩色图对齐；
根据预设深度值阈值范围，对所述深度图进行分割处理，得到第一蒙版；
融合所述彩色图的像素信息，对所述第一蒙版进行边缘形态处理，得到三色图；
基于透明度抠图法，对所述三色图的模糊边界进行前景背景归属，得到第二蒙版；
根据所述第一蒙版和所述第二蒙版对所述彩色图进行目标提取，得到抠图图像;
其中，所述基于透明度抠图法，对所述三色图的模糊边界进行前景背景归属，得到第二蒙版，包括：
确定所述三色图的模糊边界的各像素点的透明度值ɑ；
若一个像素点的透明度值大于等于预设透明度阈值，则将所述三色图中该像素点作为前景部分，并对该像素点的深度值赋值为第二预设值；否则，则将所述三色图中该像素点作为背景部分，并对该像素点的深度值赋值为第一预设值，得到第二蒙版；
其中，所述确定所述三色图的模糊边界的各像素点的透明度值ɑ，包括：
根据所述彩色图构建所述三色图的模糊边界的一个目标像素点的样本集合；
基于目标函数，从所述样本集合中选取基准样本对，所述基准样本对包括基准前景点和基准背景点；
根据所述基准样本对，确定所述目标像素点的中间透明度值；
对所述中间透明度值进行加权平均，得到所述目标像素点的透明度值ɑ；
其中，所述根据所述彩色图构建所述三色图的模糊边界的一个目标像素点的样本集合，包括：
从所述彩色图中选取与所述目标像素点的物理距离最近的前景点集合和背景点集合；
从所述前景点集合中随机选取一个第一参考像素点，赋予所述第一参考像素点的权重为1；并确定所述前景点集合中其他各像素点与所述第一参考像素点的彩色差度值，若一个其它像素点对应的彩色差度值小于彩色差度阈值，则删除对应的其他像素点，并根据式（1）更新所述第一参考像素点，以及根据式（2）更新所述第一参考像素点的权重；
从所述背景点集合中随机选取一个第二参考像素点，赋予所述第二参考像素点的权重为1；并确定所述背景点集合中其他各像素点与所述第二参考像素点的彩色差度值，若一个其它像素点对应的彩色差度值小于所述彩色差度阈值，则删除对应的其他像素点，并根据式（1）更新所述第二参考像素点，以及根据式（2）更新所述第二参考像素点的权重；
将保留的多个前景点和多个背景点作为样品集合；
其中，所述式（1）~式（2）的表达式如下：
其中，w x,y表示第一参考像素点（x，y）的权重，w x1,y1表示一个其它像素点（x1，y1）的权重。
2.根据权利要求1所述的方法，其特征在于，所述预设深度值阈值范围为[第一深度值阈值，第二深度值阈值]；
所述根据预设深度值阈值范围，对所述深度图进行分割处理，得到第一蒙版，包括：
构建所述第一蒙版的初始图，其中，所述第一蒙版的初始图与所述深度图大小一致，且各像素点的深度值均为第一预设值；
若所述深度图中一个像素点的深度值大于等于第一深度值阈值且小于等于第二深度值阈值，则将所述初始图中与该像素点的对应的像素点作为前景部分，并对该像素点的深度值赋值为第二预设值，将深度值为第一预设值的多个像素点作为背景部分，得到所述第一蒙版，其中，所述第二预设值不等于所述第一预设值。
3.根据权利要求2所述的方法，其特征在于，所述第一深度值阈值为100，所述第二深度值阈值为1200。
4.根据权利要求1所述的方法，其特征在于，所述融合所述彩色图的像素信息，对所述第一蒙版进行边缘形态处理，得到三色图，包括:
基于第一核矩阵和第二核矩阵分别对所述第一蒙版进行膨胀和腐蚀处理,以确定所述抠图目标的模糊边界，得到第一三色图，其中，所述第一核矩阵为菱形核矩阵，所述第二核矩阵为常数核矩阵；
按照预设前景规则，根据所述第一蒙版、所述彩色图和所述第一三色图中的像素信息，对所述第一三色图中的模糊边界进行前景背景归属；
基于所述第二核矩阵，对所述第一三色图的模糊边界中归属于前景的部分进行膨胀和腐蚀处理，得到所述三色图。
5.根据权利要求4所述的方法，其特征在于，所述基于第一核矩阵和第二核矩阵分别对所述第一蒙版进行膨胀和腐蚀处理，以确定所述抠图目标的模糊边界，得到第一三色图，包括：
对所述第一蒙版的前景部分基于第一核矩阵进行膨胀扩大处理，将扩大的部分作为第一未界定部分；
对所述第一蒙版的前景部分基于第二核矩阵进行腐蚀缩小处理，将缩小的部分作为第二未界定部分；
将所述第一未界定部分和所述第二未界定部分作为所述抠图目标的模糊边界，并将所述第一蒙版中与所述模糊边界对应的像素点赋值为第三预设值，得到所述第一三色图。
6.根据权利要求4所述的方法，其特征在于，所述按照预设前景规则，根据所述第一蒙版、所述彩色图和所述第一三色图中的像素信息，对所述第一三色图中的模糊边界进行前景背景归属，包括：
将所述彩色图进行灰度化处理，得到灰度图；
确定所述第一三色图的模糊边界的一个像素点的高度值是否属于预设高度范围，若否，则确定该像素点不满足所述预设前景规则；若是，则确定所述第一蒙版中与该像素点对应的像素点的深度值是否为第一预设值；
若否，则确定该像素点不满足所述预设前景规则；若是，则确定所述灰度图中与该像素点对应的像素点的灰度值是否小于第三预设阈值；
若否，则确定该像素点不满足所述预设前景规则；若是，则确定所述第一三色图中该像素点的深度值是否为第三预设值；
若否，则确定该像素点不满足所述预设前景规则；若是，则确定该像素点满足所述预设前景规则；
对所述第一三色图的模糊边界中满足所述预设前景规则的像素点赋值为第二预设值，对不满足所述预设前景规则的像素点赋值为第一预设值。
7.根据权利要求4所述的方法，其特征在于，所述基于所述第二核矩阵，对所述第一三色图的模糊边界中归属于前景的部分进行膨胀和腐蚀处理，得到所述三色图，包括：
基于所述第二核矩阵，依次对所述模糊边界中归属于前景的部分进行膨胀和腐蚀处理；
将通过膨胀处理扩大的部分和所述腐蚀处理缩小的部分作为所述三色图的模糊边界，并为所述模糊边界内的各像素点赋值为第三预设值，得到所述三色图。
8.根据权利要求7所述的方法，其特征在于，在所述基于所述第二核矩阵，对所述第一三色图的模糊边界中归属于前景的部分进行膨胀和腐蚀处理的，得到所述三色图步骤后，还包括：
基于相邻像素的亲和力，对所述三色图的模糊边界中的各像素点进行前景背景归属，以减小所述模糊边界，将得到的图像作为最终的三色图。
9.根据权利要求8所述的方法，其特征在于，所述基于相邻像素的亲和力，对所述三色图的模糊边界中的各像素点进行前景背景归属，包括：
确定所述彩色图中与所述三色图中对应的前景部分和背景部分；
分别确定所述彩色图中的前景部分和背景部分中小于彩色差度阈值且小于空间距离差值阈值的像素点集合；
对于所述三色图中深度值为第三预设值的一个目标像素点，从所述像素点集合确定一个与所述目标像素点的空间距离差值最小的像素点，作为基准像素点；
若所述基准像素点的深度值为第二预设值，则将所述三色图中与所述目标像素点对应的像素点的深度值赋值为第二预设值；若所述基准像素点的深度值为第一预设值，则将所述三色图中与所述目标像素点对应的像素点的深度值赋值为第一预设值；若在所述像素点集合中存在多个空间距离差值相同的像素点，则保持所述三色图中与所述目标像素点对应的像素点的深度值不变。
10.根据权利要求1所述的方法，其特征在于，所述基于目标函数，从所述样本集合中选取基准样本对，所述基准样本对包括基准前景点和基准背景点，包括：
构建目标函数；
从所述样本集合的多个前景点选取使得所述目标函数的值为最小的像素点作为基准前景点；
从所述样本集合的多个背景点选取使得所述目标函数的值为最小的像素点作为基准背景点；
其中，所述目标函数的表达式为式（3）：
其中，g x，y （F i ，B j ）为目标函数，N x，y （F i ，B j ）为最小化区域色彩失真度，e N 表示N x，y （F i ，B j ）的权重；
A x，y （F i ，B j ）表示准确度表征值，e A 表示A x，y （F i ，B j ）的权重；
D x，y （F i ）表示前景点F i 对应位置到像素点（x，y）的空间距离，e f 表示D x，y （F i ）的权重；
D x，y （B j ）表示背景点B i 对应位置到像素点（x，y）的空间距离，e b 表示D x，y （B j ）的权重。
11.根据权利要求10所述的方法，其特征在于，所述根据所述基准样本对，确定所述目标像素点的中间透明度值，包括：
根据式（10）确定所述目标像素点的中间透明度值：
其中，ɑ’x,y表示中间透明度值；F s 表示基准前景点，B t 表示基准背景点。
12.根据权利要求11所述的方法，其特征在于，所述对所述中间透明度值进行加权平均，得到所述目标像素点的透明度值ɑ，包括：
根据式（11）对所述中间透明度值进行加权平均，得到目标像素点的透明度值ɑ：
其中，ɑ (x,y)表示所述目标像素点的透明度值ɑ；
Ω x，y 为以（x，y）为中心的领域；
c x1，y1 表示适用度值；w s (x1，y1)表示空间距离权重，w d (x1，y1)表示深度距离权重，w c (x1，y1)表示彩色距离权重,ɑ’x1,y1表示目标像素点的中间透明度值；空间距离权重w s (x1，y1)的表达式为式（12），深度距离权重w d (x1，y1)的表达式为式（13），彩色距离权重w c (x1，y1)的表达式为式（14）：
其中，depth x,y代表（x，y）位置的深度；I x,y代表（x,y）位置的彩度值；
w s 、w d 、w c 分别用于调整空间距离权重w s (x1，y1)、深度距离权重w d (x1，y1)和彩度距离权重w c (x1，y1)；
所述适用度值c x1，y1 的表达式为式（15）：
其中，
；
13.根据权利要求1所述的方法，其特征在于，根据所述第一蒙版和所述第二蒙版所述彩色图进行目标提取，得到抠图图像，包括：
将所述第一蒙版和所述第二蒙版进行空洞填充处理；
将处理后的第一蒙版和第二蒙版的前景部分进行融合，得到融合蒙版；
若所述融合蒙版中的一个像素点的深度值为第二预设值，则保持所述彩色图中对应像素点的颜色值不变；若所述融合蒙版中的一个像素点的深度值为第一预设值，则将所述彩色图中对应像素点的深度值赋值为第四预设值，将更新后的彩色图作为所述抠图图像。
14.一种抠图装置，其特征在于，所述装置用于实现权利要求1~13中任一项所述的方法。
15.一种摄像设备，其特征在于，所述摄像设备部署有权利要求14所述的抠图装置。
16.一种视频会议系统，其特征在于，所述视频会议系统包括显示器和若干个摄像设备，所述显示器与所述摄像设备通信连接；其中，所述摄像设备部署有权利要求14所述的抠图装置；
所述摄像设备，用于采集含有抠图目标的深度图和彩色图，并将得到的抠图图像发送至所述显示器；
所述显示器，用于接收并显示所述摄像设备发送的抠图图像。
17.根据权利要求16所述的视频会议系统，其特征在于，所述视频会议系统还包括会议服务器，所述显示器和所述摄像设备还通信连接所述会议服务器，其中，所述会议服务器部署有权利要求14所述的抠图装置；
所述摄像设备，还用于将采集的含有抠图目标的深度图和彩色图发送至所述会议服务器；
所述显示器，用于接收并显示所述会议服务器发送的抠图图像。
18.一种电子设备，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行所述权利要求1~13中任一项所述方法。
19.一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行所述权利要求1~13中任一项所述方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210586129.XA CN114677394B (zh) | 2022-05-27 | 2022-05-27 | 抠图方法、装置、摄像设备、会议系统、电子设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210586129.XA CN114677394B (zh) | 2022-05-27 | 2022-05-27 | 抠图方法、装置、摄像设备、会议系统、电子设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114677394A CN114677394A (zh) | 2022-06-28 |
| CN114677394B true CN114677394B (zh) | 2022-09-30 |
Family
ID=82081018
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210586129.XA Active CN114677394B (zh) | 2022-05-27 | 2022-05-27 | 抠图方法、装置、摄像设备、会议系统、电子设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114677394B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115880327B (zh) * | 2022-11-30 | 2023-10-31 | 珠海视熙科技有限公司 | 抠图方法、摄像设备、会议系统、电子设备、装置、介质 |
| CN115953543B (zh) * | 2023-03-14 | 2023-05-12 | 北京天图万境科技有限公司 | 一种逐像素含时序拟物一致性处理的方法及装置 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107452010A (zh) * | 2017-07-31 | 2017-12-08 | 中国科学院长春光学精密机械与物理研究所 | 一种自动抠图算法和装置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10607318B2 (en) * | 2016-12-30 | 2020-03-31 | Facebook, Inc. | Systems and methods for image matting |
| CN107481261B (zh) * | 2017-07-31 | 2020-06-16 | 中国科学院长春光学精密机械与物理研究所 | 一种基于深度前景跟踪的彩色视频抠图方法 |
| CN109389611A (zh) * | 2018-08-29 | 2019-02-26 | 稿定（厦门）科技有限公司 | 交互式抠图方法、介质及计算机设备 |
| CN111563908B (zh) * | 2020-05-08 | 2023-04-28 | 展讯通信（上海）有限公司 | 一种图像处理方法及相关装置 |
| CN111899266A (zh) * | 2020-07-17 | 2020-11-06 | 深圳奥比中光科技有限公司 | 一种基于rgbd相机的抠图方法及系统 |
| CN112241960A (zh) * | 2020-10-01 | 2021-01-19 | 深圳奥比中光科技有限公司 | 一种基于深度信息的抠图方法及系统 |
-
2022
- 2022-05-27 CN CN202210586129.XA patent/CN114677394B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107452010A (zh) * | 2017-07-31 | 2017-12-08 | 中国科学院长春光学精密机械与物理研究所 | 一种自动抠图算法和装置 |
Non-Patent Citations (1)
| Title |
|---|
| 人体前景的自动抠图算法;冉清等;《计算机辅助设计与图形学学报》;20200215(第02期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114677394A (zh) | 2022-06-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114677394B (zh) | 抠图方法、装置、摄像设备、会议系统、电子设备及介质 | |
| CN109447169B (zh) | 图像处理方法及其模型的训练方法、装置和电子系统 | |
| CN110276767B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN110379020B (zh) | 一种基于生成对抗网络的激光点云上色方法和装置 | |
| CN111563908B (zh) | 一种图像处理方法及相关装置 | |
| JP2007520822A (ja) | 奥行きマップの生成 | |
| CN109525786B (zh) | 视频处理方法、装置、终端设备及存储介质 | |
| CN108597003A (zh) | 一种文章封面生成方法、装置、处理服务器及存储介质 | |
| CN109829925B (zh) | 一种在抠图任务中提取干净前景的方法及模型训练方法 | |
| CN112818732A (zh) | 一种图像处理方法、装置、计算机设备和存储介质 | |
| CN112800850A (zh) | 一种视频处理方法、装置、电子设备及存储介质 | |
| CN113313626A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN111028276A (zh) | 图像对齐方法、装置、存储介质及电子设备 | |
| CN110717962B (zh) | 动态照片生成方法、装置、拍照设备及存储介质 | |
| CN113052754B (zh) | 一种图片背景虚化的方法及装置 | |
| CN112529006B (zh) | 全景图片的检测方法、装置、终端及存储介质 | |
| CN111723805A (zh) | 一种信号灯的前景区域识别方法及相关装置 | |
| CN113312949B (zh) | 视频数据处理方法、视频数据处理装置和电子设备 | |
| CN113674303A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN111654747B (zh) | 弹幕显示方法及装置 | |
| CN111161299B (zh) | 影像分割方法、存储介质及电子装置 | |
| CN112949453A (zh) | 烟火检测模型的训练方法、烟火检测方法及设备 | |
| CN112837323A (zh) | 一种基于人像分割的视频处理方法、系统和存储介质 | |
| CN114677393B (zh) | 深度图像处理方法、装置、摄像设备、会议系统及介质 | |
| CN112991419B (zh) | 视差数据生成方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |