CN111754528A - 人像分割方法、装置、电子设备和计算机可读存储介质 - Google Patents
人像分割方法、装置、电子设备和计算机可读存储介质 Download PDFInfo
- Publication number
- CN111754528A CN111754528A CN202010590233.7A CN202010590233A CN111754528A CN 111754528 A CN111754528 A CN 111754528A CN 202010590233 A CN202010590233 A CN 202010590233A CN 111754528 A CN111754528 A CN 111754528A
- Authority
- CN
- China
- Prior art keywords
- portrait
- image
- image frame
- cut
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 110
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000013507 mapping Methods 0.000 claims abstract description 18
- 238000012549 training Methods 0.000 claims description 53
- 230000009466 transformation Effects 0.000 claims description 32
- 238000001514 detection method Methods 0.000 claims description 22
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 13
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 28
- 238000010586 diagram Methods 0.000 description 19
- 238000003709 image segmentation Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 13
- 238000003384 imaging method Methods 0.000 description 5
- 238000010606 normalization Methods 0.000 description 5
- 208000006440 Open Bite Diseases 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002311 subsequent effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种人像分割方法、装置、计算机设备和存储介质。所述方法包括:获取视频中的第一图像帧;对所述第一图像帧进行人像检测,当检测到所述第一图像帧存在人像切入时,确定切入的人像所在的人像区域,并获取切入的人像对应的参考掩膜图;将所述切入的人像所在的人像区域映射至所述参考掩模图,得到所述参考掩模图对应的人像区域;将所述参考掩膜图对应的人像区域中的各个像素点的像素值设置为255,得到目标掩膜图;将所述目标掩膜图拼接至所述第一图像帧中,得到第二图像帧;对所述第二图像帧进行人像分割,得到人像掩膜图。采用本方法能够分割得到更准确的人像掩膜图。
Description
技术领域
本申请涉及图像处理领域,特别是涉及一种人像分割方法、装置、电子设备和计算机可读存储介质。
背景技术
在图像处理的过程中,当图像或者视频中存在人像,通常需要先将人像分割出来,再对分割出来的人像进行处理,如美颜处理、虚化处理、曝光处理等。而在对人像进行分割的过程中,通常采用掩膜图去分割图像。
然而,传统的人像分割方法,存在分割的人像掩膜图不准确的问题。
发明内容
本申请实施例提供了一种人像分割方法、装置、电子设备、计算机可读存储介质,可以提高分割的人像掩膜图的准确性。
一种人像分割方法,包括:
获取视频中的第一图像帧;
对所述第一图像帧进行人像检测,当检测到所述第一图像帧存在人像切入时,确定切入的人像所在的人像区域,并获取切入的人像对应的参考掩膜图;
将所述切入的人像所在的人像区域映射至所述参考掩模图,得到所述参考掩模图对应的人像区域;
将所述参考掩膜图对应的人像区域中的各个像素点的像素值设置为255,得到目标掩膜图;
将所述目标掩膜图拼接至所述第一图像帧中,得到第二图像帧;
对所述第二图像帧进行人像分割,得到人像掩膜图。
一种人像分割装置,包括:
第一图像帧获取模块,用于获取视频中的第一图像帧;
人像检测模块,用于对所述第一图像帧进行人像检测,当检测到所述第一图像帧存在人像切入时,确定切入的人像所在的人像区域,并获取切入的人像对应的参考掩膜图;
映射模块,用于将所述切入的人像所在的人像区域映射至所述参考掩模图,得到所述参考掩模图对应的人像区域;
目标掩膜图获取模块,用于将所述参考掩膜图对应的人像区域中的各个像素点的像素值设置为255,得到目标掩膜图;
拼接模块,用于将所述目标掩膜图拼接至所述第一图像帧中,得到第二图像帧;
人像分割模块,用于对所述第二图像帧进行人像分割,得到人像掩膜图。
一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如上述的人像分割方法的步骤。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上述的方法的步骤。
上述人像分割方法、装置、电子设备和计算机可读存储介质,当检测到视频中的第一图像帧存在人像切入时,可以预估出切入的人像所在的人像区域,并获取切入的人像对应的参考掩膜图;将切入的人像所在的人像区域映射至参考掩模图,得到参考掩模图对应的人像区域,再将参考掩膜图对应的人像区域中的各个像素点的像素值设置为255,即将参考掩膜图对应的人像区域设置为未遮挡区域,得到目标掩膜图;将目标掩膜图拼接至第一图像帧得到第二图像帧,则对第二图像帧进行人像分割时,可以针对目标掩膜图中像素值为255的区域,即未遮挡区域所对应的第二图像帧的区域进行人像分割,可以分割得到更准确的人像掩膜图。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中图像处理电路的示意图;
图2为一个实施例中人像分割方法的流程图;
图3为一个实施例中目标掩膜图的示意图;
图4为另一个实施例中人像分割方法的流程图;
图5a为一个实施例中采用传统的人像分割方法对视频中连续5帧图像帧分别进行人像分割,得到的5个人像掩膜图;
图5b为一个实施例中采用上述人像分割方法对视频中相同的连续5帧图像帧分别进行人像分割,得到的5个人像掩膜图;
图6为一个实施例中人脸的边缘特征点的示意图;
图7为另一个实施例中人像分割方法的流程图;
图8为一个实施例中人体关键点的示意图;
图9为另一个实施例中人像分割方法的流程图;
图10为另一个实施例中人像分割方法的流程图;
图11为一个实施例中人像分割网络的结构图;
图12为一个实施例中人像分割装置的结构框图;
图13为一个实施例中电子设备的内部结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件,但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说,在不脱离本申请的范围的情况下,可以将第一图像帧称为第二图像帧,且类似地,可将第二图像帧称为第一图像帧。第一图像帧和第二图像帧两者都是图像帧,但其不是同一图像帧。
本申请实施例提供一种电子设备。上述电子设备中包括图像处理电路,图像处理电路可以利用硬件和/或软件组件实现,可包括定义ISP(Image Signal Processing,图像信号处理)管线的各种处理单元。图1为一个实施例中图像处理电路的示意图。如图1所示,为便于说明,仅示出与本申请实施例相关的图像处理技术的各个方面。
如图1所示,图像处理电路包括ISP处理器130。成像设备110捕捉的图像数据首先由ISP处理器130处理,ISP处理器130对图像数据进行分析以捕捉可用于确定和/或成像设备110的一个或多个控制参数的图像统计信息。成像设备110可包括具有一个或多个透镜112和图像传感器114的照相机。图像传感器114可包括色彩滤镜阵列(如Bayer滤镜),图像传感器114可获取用图像传感器114的每个成像像素捕捉的光强度和波长信息,并提供可由ISP处理器130处理的一组原始图像数据。
ISP处理器130按多种格式逐个像素地处理原始图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,ISP处理器130可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。
ISP处理器130还可从图像存储器120接收图像数据。例如,图像存储器130中的原始图像数据提供给ISP处理器130以供处理。图像存储器130可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括DMA(Direct Memory Access,直接直接存储器存取)特征。
当接收到来自图像传感器114接口或来自图像存储器120的原始图像数据时,ISP处理器130可进行一个或多个图像处理操作,如时域滤波。处理后的图像数据可发送给图像存储器120,以便在被显示之前进行另外的处理。ISP处理器130从图像存储器120接收处理数据,并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器130处理后的图像数据可输出给显示器140,以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit,图形处理器)进一步处理。此外,ISP处理器130的输出还可发送给图像存储器120,且显示器140可从图像存储器120读取图像数据。在一个实施例中,图像存储器120可被配置为实现一个或多个帧缓冲器。此外,ISP处理器130的输出可发送给人像分割网络所包括的编码器/解码器150,以便编码/解码图像数据。编码的图像数据可被保存,并在显示于显示器140设备上之前解压缩。编码器/解码器150可由CPU或GPU或协处理器实现。
在一个实施例中,电子设备通过成像设备(照相机)110拍摄得到视频,并将该视频发送至ISP处理器130。ISP处理器130接收到该视频后,获取视频中的第一图像帧;对第一图像帧进行人像检测,当检测到第一图像帧存在人像切入时,确定切入的人像所在的人像区域,并获取切入的人像对应的参考掩膜图;将切入的人像所在的人像区域映射至参考掩模图,得到参考掩模图对应的人像区域;将参考掩膜图对应的人像区域中的各个像素点的像素值设置为255,得到目标掩膜图;将目标掩膜图拼接至第一图像帧中,得到第二图像帧;对第二图像帧进行人像分割,可以得到更准确的人像掩膜图。
图2为一个实施例中人像分割方法的流程图。如图2所示,人像分割方法包括步骤202至步骤212。
步骤202,获取视频中的第一图像帧。
其中,第一图像帧可以是RGB(Red,Green,Blue)图像、RAW(RAW Image Format)图像、灰度图像、深度图像、YUV图像等其中的任意一种。其中,RAW图像是图像感应器将捕捉到的光源信号转化为数字信号的原始数据。YUV图像中的“Y”表示明亮度(Luminance或Luma),也就是灰阶值,“U”和“V”表示的则是色度(Chrominance或Chroma),作用是描述影像色彩及饱和度,用于指定像素的颜色。掩膜图像是用于识别图像中主体的图像滤镜模板,可以遮挡图像的其他部分,筛选出图像中的主体。例如人、花、猫、狗、背景等各种主体。
视频是由至少两个图像帧组成的。第一图像帧可以是视频中的任意一个图像帧。
步骤204,对第一图像帧进行人像检测,当检测到第一图像帧存在人像切入时,确定切入的人像所在的人像区域,并获取切入的人像对应的参考掩膜图。
人像切入指的是切入的人像在第一图像帧之前的预设数量的图像帧中均未存在,而在当前的第一图像帧中存在。人像区域指的是人像所在的区域,可以是包括人像的矩形区域、圆形区域等,也可以是仅包括人像的不规则区域,不限于此。
例如,在第一图像帧之前的预设数量的图像帧中均未存在任何人像,当第一图像帧中存在人像A时,表示第一图像帧存在人像切入,切入的人像为人像A。又如,在第一图像帧之前的预设数量的图像帧中仅存在人像B,当第一图像帧中存在人像A和B时,表示第一图像帧存在人像切入,切入的人像为人像A。
掩膜图指的是对待处理的图像(全部或局部)进行遮挡的图像滤镜模板。通过遮挡待处理的图像(全部或局部),可以针对待处理的图像中未遮挡的部分进行处理。参考掩膜图指的是当第一图像帧存在人像切入时,切入的人像对应的掩膜图。需要指出的是,参考掩膜图的尺寸可以和第一图像帧的尺寸相同。
电子设备获取第一图像帧之后,可以通过摄像头对第一图像帧进行人像检测,检测第一图像帧是否存在人像,以及检测第一图像帧中是否存在人像切入。进一步地,电子设备可以对第一图像帧进行人脸检测,检测第一图像帧是否存在人脸,以及检测第一图像帧中是否存在人脸切入。
在一种实施方式中,当电子设备检测到第一图像帧存在人像切入时,确定切入的人像所在的人像区域。在另一种实施方式中,当电子设备检测到第一图像帧存在人脸切入时,确定切入的人脸,以及检测该切入的人脸对应的人像所在的人像区域。
步骤206,将切入的人像所在的人像区域映射至参考掩模图,得到参考掩模图对应的人像区域。
电子设备确定第一图像帧中切入的人像的人像区域,将该切入的人像的人像区域映射至参考掩膜图中,得到参考掩膜图对应的人像区域。也就是说,切入的人像所在的人像区域在第一图像帧中的位置信息,与对应的人像区域在参考掩膜图中的位置信息一致。
例如,第一图像帧中切入的人像的人像区域为矩形区域,该矩形区域的4个角点的位置信息分别为(0,100)(0,200)(10,100)(10,200),将该矩形区域映射至参考掩膜图中,得到参考掩膜图对应的人像区域也为矩形区域,且该参考掩膜图中的矩形区域的4个角点的位置信息也分别为(0,100)(0,200)(10,100)(10,200)。
步骤208,将参考掩膜图对应的人像区域中的各个像素点的像素值设置为255,得到目标掩膜图。
在掩膜图(参考掩膜图或目标掩膜图)中,遮挡区域的像素点的像素值可以设置为0,表示黑色;未遮挡区域的像素点的像素值可以设置为255,表示白色。当待处理的图像(第一图像帧)采用掩膜图(参考掩膜图或目标掩膜图)进行处理时,则在待处理的图像中,处于掩膜图的遮挡区域对应的区域被遮挡,处于掩膜图的未遮挡区域对应的区域未被遮挡,待处理的图像可以仅对未被遮挡的区域进行处理,提高图像处理的精准度。
电子设备将参考掩膜图对应的人像区域中的各个像素点的像素值设置为255,即将参考掩膜图对应的人像区域设置为未被遮挡的区域,得到目标掩膜图。
如图3所示为目标掩膜图的示意图,其中,302为参考掩膜图对应的人像区域,将参考掩膜图中对应的人像区域设置为255即白色区域,表示未遮挡区域,得到目标掩膜图。
步骤210,将目标掩膜图拼接至第一图像帧中,得到第二图像帧。
第一图像帧可以是RGB(Red,Green,Blue)图像、RAW图像、灰度图像、深度图像、YUV图像等其中的任意一种。
例如,当第一图像帧是RGB图像时,第一图像帧包括R通道图像、G通道图像和B通道图像,则将目标掩膜图作为另一个通道图像拼接至第一图像帧中,得到四通道图像第二图像帧。
又如,当第一图像帧是YUV图像时,第一图像帧包括Y通道图像、U通道图像和V通道图像,则将目标掩膜图作为另一个通道图像拼接至第一图像帧中,得到四通道图像第二图像帧。
进一步地,电子设备还可以对第二图像帧中的各个像素点的像素值进行归一化处理。具体地,电子设备确定第二图像帧中各个像素点的像素值的均值以及方差,将每个像素点的像素值分别减去该均值,再除以方差,可以实现对第二图像帧中的各个像素点的像素值进行归一化处理。
步骤212,对第二图像帧进行人像分割,得到人像掩膜图。
在第二图像中帧,包括目标掩膜图,而目标掩膜图对应的人像区域中的各个像素点的像素值设置为255,即该人像区域为未遮挡区域,则电子设备对第二图像帧进行人像分割时,利用目标掩膜图,仅针对未遮挡区域进行人像分割,可以分割出第二图像帧中的人像,也为第一图像帧中的人像,进而可以得到人像掩膜图。
在一种实施方式中,电子设备可以采用人像分割网络对第二图像帧进行人像分割,得到人像掩膜图。
进一步地,电子设备可以将第二图像帧进行缩放处理,将第二图像帧的尺寸缩放至人像分割网络所需的目标尺寸,如目标尺寸480*640。
进一步地,电子设备获取到人像掩膜图之后,可以统计该人像掩膜图中的连通域面积,确定各个连通域的面积占第二图像帧的面积的比例;将小于比例阈值的连通域中的各个像素点的像素值设置为0,得到最终的人像掩膜图。
其中,比例阈值可以根据用户需要进行设置,如5%。电子设备小于比例阈值的连通域中的各个像素点的像素值设置为0,即将较小的连通域作为噪声清空,设置为遮挡区域。
进一步地,电子设备可以采用更精准的人像掩膜图,对第一图像帧进行处理、如美颜处理、虚化处理、曝光处理等,从而获取到更加准确、清晰的第一图像帧,以及获取到更加准确、清晰的视频。
上述人像分割方法,当检测到视频中的第一图像帧存在人像切入时,可以预估出切入的人像所在的人像区域,并获取切入的人像对应的参考掩膜图;将切入的人像所在的人像区域映射至参考掩模图,得到参考掩模图对应的人像区域,再将参考掩膜图对应的人像区域中的各个像素点的像素值设置为255,即将参考掩膜图对应的人像区域设置为未遮挡区域,得到目标掩膜图;将目标掩膜图拼接至第一图像帧得到第二图像帧,则对第二图像帧进行人像分割时,可以针对目标掩膜图中像素值为255的区域,即未遮挡区域所对应的第二图像帧的区域进行人像分割,可以分割得到更准确的人像掩膜图。
并且,上述人像分割方法避免了传统算法在人像切入场景易存在的空洞、闪烁瑕疵、分割不连续的瑕疵,同时减少了采用时空域滤波算法带来的计算量,提升了后续对第一图像帧中的人像进行处理的效果。
在一个实施例中,如图4所示,电子设备获取视频中的第一图像帧402,执行步骤404,对第一图像帧402进行人像检测;执行步骤406,判断第一图像帧中是否存在人像切入。当判断为否时,表示第一图像帧中未存在人像切入,则执行步骤408,获取当前的第一图像帧的人像掩膜图。当第一图像帧中存在人像并且该人像不属于切入的人像时,则获取的第一图像帧的人像掩膜图中包括了该人像的未遮挡区域。当第一图像帧中不存在人像时,则获取的第一图像帧的人像掩膜图中各个像素点的像素值均为0。
当判断为是时,表示第一图像帧存在人像切入,则电子设备执行步骤410,确定切入的人像所在的人像区域,并执行步骤412,判断之前的预设数量的图像帧中是否存在人像。当判断为否时,即第一图像帧之前的预设数量的图像帧中不存在人像时,表示第一图像帧为第一帧出现该人像的图像帧,执行步骤414,获取像素值均为0的参考掩膜图。当判断为是时,即第一图像帧之前的预设数量的图像帧中存在人像时,执行步骤416,获取上一帧图像帧的人像掩膜图,并将上一帧图像帧的人像掩膜图作为参考掩膜图。
电子设备执行步骤418,对参考掩膜图进行引导增强。具体地,将切入的人像所在的人像区域映射至参考掩模图,得到参考掩模图对应的人像区域;将参考掩膜图对应的人像区域中的各个像素点的像素值设置为255,得到目标掩膜图。
电子设备执行步骤420,通道拼接,即将目标掩膜图拼接至第一图像帧中,得到第二图像帧。电子设备执行步骤422,对第二图像帧进行缩放处理。电子设备执行步骤424,对缩放处理后的第二图像帧进行归一化处理。电子设备执行步骤426,通过人像分割网络对归一化处理后的第二图像帧进行人像分割,得到人像掩膜图。电子设备执行步骤428,对人像掩膜图进行连通域处理,得到最终的人像掩膜图430。
如图5a所示为采用传统的人像分割方法对视频中连续5帧图像帧分别进行人像分割,得到的5个人像掩膜图;如图5b所示为采用上述人像分割方法对视频中相同的连续5帧图像帧分别进行人像分割,得到的5个人像掩膜图。可以看出,采用上述人像分割方法进行人像分割得到的人像掩膜图更加准确。
在一个实施例中,获取切入的人像对应的参考掩膜图,包括:当第一图像帧之前的预设数量的图像帧中不存在人像时,获取切入的人像对应的参考掩膜图;其中,切入的人像对应的参考掩膜图中的各个像素点的像素值均为0;当第一图像帧之前的预设数量的图像帧中存在人像时,获取第一图像帧的上一帧图像帧的人像掩膜图,并将上一帧图像帧的人像掩膜图作为参考掩膜图。
当第一图像帧之前的预设数量的图像帧中不存在人像时,而第一图像帧存在人像切入,表示第一图像帧中的人像均是第一次出现,则获取切入的人像对应的参考掩膜图。其中,预设数量可以根据用户需要进行设定,如30帧。该参考掩膜图中的各个像素点的像素值均为0,表示该参考掩膜图中的所有部分均为遮挡区域。则基于该参考掩膜图得到的目标掩膜图可以将切入的人像对应的人像区域设置为未遮挡区域,可以更精准进行人像分割。
当第一图像帧之前的预设数量的图像帧中存在人像时,第一图像帧存在人像切入,表示在第一图像帧之前存在人像,并且第一图像帧中还出现了新的人像,则将上一帧图像帧的人像掩膜图作为参考掩膜图。
可以理解的是,在视频中,通常上一帧图像帧和当前帧图像帧具有连贯性,上一帧图像帧所具有的人像,当前帧图像通常也具有,因此,将上一帧图像帧的人像掩膜图作为参考掩膜图,则基于该参考掩膜图得到的目标掩膜图既包括了上一帧图像帧对应的人像掩膜图中的未遮挡区域,最大程度地包括了第一图像帧中原本存在的人像所对应的区域,还将新切入的人像的人像区域设置为未遮挡区域,电子设备对包括目标掩膜图的第二图像帧进行人像分割时,可以更加精准地进行人像分割。
在另一个实施例中,电子设备还可以判断第一图像帧之前的预设时长内的图像帧是否存在人像,从而判断第一图像帧是否存在人像切入。
在一个实施例中,对第一图像帧进行人像检测,包括:当第一图像帧符合预设条件时,第一图像帧存在人像切入;当第一图像帧不符合预设条件时,第一图像帧不存在人像切入;预设条件包括条件一、条件二和条件三,其中:条件一,在第一图像帧中检测到新的人像;条件二,新的人像的人脸的尺寸大于尺寸阈值;以及条件三,基于人脸确定人脸的偏转角度,偏转角度小于偏转阈值。
电子设备对第一图像帧进行人像检测,当检测到第一图像帧符合预设条件时,即第一图像帧均符合条件一、条件二和条件三时,则第一图像帧存在人像切入。当检测到第一图像帧不符合预设条件时,即第一图像帧不符合条件一、条件二和条件三中的至少一个条件时,第一图像帧不存在人像切入。
电子设备检测视频中的各个图像帧,当检测到新的人脸时,生成该新的人脸的唯一的人脸标识。当电子设备检测到第一图像帧中存在人脸时,将该人脸与已生成的人脸标识对应的人脸进行匹配;当相匹配时,表示第一图像帧中的人脸不是新的人脸,该人脸所在的人像也不是新的人像;当不相匹配时,表示第一图像帧中的人脸是新的人脸,该人脸所在的人像是新的人像,则生成该新的人脸的唯一的人脸标识,用于第一图像帧之后的图像帧判断是否出现新的人像。当电子设备检测出第一图像帧中出现新的人像,则第一图像帧符合条件一。
当第一图像帧符合条件一之后,再判断第一图像帧是否符合条件二。电子设备获取新的人像的人脸,并检测该人脸的尺寸,当该人脸的尺寸大于尺寸阈值时,表示该新的人像的人脸较大,属于第一图像帧中所要拍摄的人像(人脸),则该第一图像帧符合条件二。当该人脸的尺寸小于或等于尺寸阈值时,表示该新的人像的人脸较小,不属于第一图像帧中所要拍摄的人像(人脸),则该第一图像帧不符合条件二。
当第一图像帧符合条件一之后,再判断第一图像帧是否符合条件三。电子设备获取新的人像的人脸,并检测该人脸的偏转角度,当该人脸的偏转角度小于偏转阈值时,表示该新的人像的人脸面向拍摄设备,属于第一图像帧中所要拍摄的人像(人脸),则该第一图像帧符合条件三。当该人脸的偏转角度大于或等于偏转阈值时,表示该新的人像的人脸未面向拍摄设备,不属于第一图像帧中所要拍摄的人像(人脸),则该第一图像帧不符合条件三。
可选地,电子设备判断第一图像帧是否符合条件二,以及判断第一图像帧是否符合条件三,可以同时并列执行,也可以先执行其中一个,再执行另外一个。
在本实施例中,预设条件包括条件一、条件二和条件三,分别从是否出现新的人像、人像的尺寸和人脸的偏转角度进行检测,可以更准确对第一图像帧进行人像检测,从而更准确判断出第一图像帧中是否存在人像切入。
在一个实施例中,新的人像的人脸的尺寸大于尺寸阈值,包括:当在第一图像帧中检测到新的人像,获取新的人像的人脸,以及人脸所在区域的宽度和高度;获取第一图像帧的宽度和高度;将人脸所在区域的宽度除以第一图像帧的宽度得到宽度比值,将人脸所在区域的高度除以第一图像帧的高度得到高度比值,宽度比值大于宽度阈值,或者高度比值大于高度阈值。
在一种实施方式中,当宽度比值大于宽度阈值,且高度比值小于或等于高度阈值时,第一图像帧符合条件二。在另一种实施方式中,当宽度比值小于或等于宽度阈值,且高度比值大于高度阈值时,第一图像帧符合条件二。在另一种实施方式中,当宽度比值大于宽度阈值,且高度比值大于高度阈值时,第一图像帧符合条件二。在另一种实施方式中,当宽度比值小于或等于宽度阈值,且高度比值小于或等于高度阈值时,第一图像帧不符合条件二。
例如,第一图像帧中检测到新的人像,该新的人像的人脸检测框大小为(face_w,face_h),其中,face_w表示人脸检测框的宽度,也即人脸的宽度,face_h表示人脸检测框的高度,也即人脸的高度。第一图像帧为(w,h),其中w表示第一图像帧的宽度,h表示第一图像帧的高度,宽度阈值为Ther_w,高度阈值为Ther_h,则宽度比值为ratio1=face_w/w,高度比值为ratio2=face_h/h,当宽度比值ratio1大于宽度阈值Ther_w,或者高度比值ratio2大于高度阈值Ther_h,则第一图像帧符合条件二。
在本实施例中,当第一图像帧中检测到新的人像时,通过对比新的人像的人脸的高度与第一图像帧的高度之间的比值,或者对比新的人像的人脸的宽度与第一图像帧的宽度之间的比值,可以更准确地判断新的人像的人脸的尺寸是否大于尺寸阈值,从而更准确判断第一图像帧是否存在人像切入。
在一个实施例中,基于人脸确定人脸的偏转角度,包括:从人脸中获取人脸特征点,以及人脸特征点在人脸中的位置信息;基于人脸特征点在人脸的位置信息确定人脸的偏转角度。
人脸特征点是表征人脸中所具有的特征的点。人脸特征点例如眼睛、鼻子、嘴角、痣等。
电子设备基于人脸特征点在人脸的位置信息,从人脸特征点的位置关系与偏转角度之间的对应关系中,查找人脸的偏转角度。例如,人脸特征点为左眼和右眼,获取左眼的位置信息和右眼的位置信息,从人脸特征点的位置关系与偏转角度之间的对应关系中,查找左眼的位置信息和右眼的位置信息所对应的人脸的偏转角度。
在本实施例中,从人脸中获取人脸特征点,基于人脸特征点的位置信息可以更准确地确定人脸的偏转角度。
在一个实施例中,当第一图像帧不符合预设条件时,第一图像帧不存在人像切入,包括:当第一图像帧符合条件一,并且不符合条件二和条件三时,则确定第一图像帧不存在人像切入;上述方法还包括:获取新的人像为非主体人像,获取非主体人像所在区域,并获取第一图像帧的上一帧图像帧的人像掩膜图;将非主体人像所在的人像区域映射至上一帧图像帧的人像掩膜图,得到上一帧图像帧的人像掩膜图对应的非主体人像区域;将非主体人像区域中的各个像素点的像素值设置为0,得到非主体掩膜图;将非主体掩膜图拼接至第一图像帧中,得到第三图像帧;对第三图像帧进行人像分割,得到人像掩膜图。
当第一图像帧符合条件一,并且不符合条件二和条件三时,确定第一图像帧不存在人像切入,即在第一图像帧中检测到新的人像,但是该新的人像的人脸尺寸小于或等于尺寸阈值,该人脸的偏转角度也大于或等于偏转阈值,表示该新的人像并不是拍摄设备所要拍摄的人像。
电子设备将该新的人像作为非主体人像,为了避免电子设备在对第二图像帧进行人像分割时出现误检而将该非主体人像也分割出来,需要遮挡该非主体人像。
因此,电子设备确定该非主体人像所在区域,并获取第一图像帧的上一帧图像帧的人像掩膜图,将该非主体人像所在区域映射至上一帧图像帧的人像掩膜图中,得到上一帧图像帧的人像掩膜图的非主体人像区域。
电子设备将上一帧图像帧的人像掩膜图的非主体人像区域中的各个像素点的像素值设置为0,表示将上一帧图像帧的人像掩膜图的非主体人像区域设置为遮挡区域,得到非主体掩膜图。
电子设备将非主体掩膜图拼接至第一图像帧中,得到第三图像帧,再对第三图像帧进行人像分割时,利用非主体掩膜图对第一图像帧中的非主体人像进行遮挡,可以避免对非主体人像进行分割,从而分割出更准确的人像,得到更准确的人像掩膜图。
在一个实施例中,当检测到第一图像帧存在人像切入时,确定切入的人像所在的人像区域,包括:当检测到第一图像帧存在人像切入时,从第一图像帧中确定人脸的边缘特征点;基于各个边缘特征点,确定人脸区域;根据人脸区域确定切入的人像所在的人像区域。
当检测到第一图像帧存在人像切入时,电子设备从第一图像帧对人脸进行检测,获取到人脸的边缘特征点。其中,边缘特征点指的是处于人脸边缘的轮廓上的特征点。如图6所示,602为人脸的边缘特征点,通过人脸的边缘特征点可以确定人脸区域。
电子设备基于获取到各个边缘特征点,可以确定人脸的轮廓,从而确定人脸区域,最终由人脸区域确定切入的人像所在的人像区域。具体地,电子设备可以基于人脸区域检测出人脸所处的方向,从人脸所处的方向上检测切入的人像所在的人像区域。
可以理解的是,人脸一般处于人像的头部区域,而人像中除人脸之外的部分与人脸所处的方向相同,则可以基于人脸所处的方向,在人脸所处的方向上,可以更准确、并更快速地检测出切入的人像的人像区域。例如,电子设备检测出的人脸所处的方向是水平向右的方向,则在水平向右的方向检测切入的人像所在的人像区域。
在本实施例中,当检测到第一图像帧存在人像切入时,获取切入的人像的人脸的边缘特征点,可以更准确地确定人脸区域,从而更准确地确定切入的人像所在的人像区域。
在一个实施例中,如图7所示,电子设备获取视频中的第一图像帧702,执行步骤704,对第一图像帧702进行人像检测;执行步骤706,判断第一图像帧中是否存在人像切入。当判断为否时,表示第一图像帧中未存在人像切入,则执行步骤708,获取当前的第一图像帧的人像掩膜图。当第一图像帧中存在人像并且该人像不属于切入的人像时,则获取的第一图像帧的人像掩膜图中包括了该人像的未遮挡区域。当第一图像帧中不存在人像时,则获取的第一图像帧的人像掩膜图中各个像素点的像素值均为0。
当判断为是时,表示第一图像帧存在人像切入,则电子设备执行步骤710,获取人脸的边缘特征点;执行步骤712,确定切入的人像所在的人像区域。具体地,基于各个边缘特征点,确定人脸区域;根据人脸区域确定切入的人像所在的人像区域。
当判断第一图像帧存在人像切入时,还可以执行步骤714,判断之前的预设数量的图像帧中是否存在人像。当判断为否时,即第一图像帧之前的预设数量的图像帧中不存在人像时,表示第一图像帧为第一帧出现该人像的图像帧,执行步骤716,获取像素值均为0的参考掩膜图。当判断为是时,即第一图像帧之前的预设数量的图像帧中存在人像时,执行步骤718,获取上一帧图像帧的人像掩膜图,并将上一帧图像帧的人像掩膜图作为参考掩膜图。
电子设备执行步骤720,对参考掩膜图进行引导增强。具体地,将切入的人像所在的人像区域映射至参考掩模图,得到参考掩模图对应的人像区域;将参考掩膜图对应的人像区域中的各个像素点的像素值设置为255,得到目标掩膜图。
电子设备执行步骤722,通道拼接,即将目标掩膜图拼接至第一图像帧中,得到第二图像帧。电子设备执行步骤724,对第二图像帧进行缩放处理。电子设备执行步骤726,对缩放处理后的第二图像帧进行归一化处理。电子设备执行步骤728,通过人像分割网络对归一化处理后的第二图像帧进行人像分割,得到人像掩膜图。电子设备执行步骤730,对人像掩膜图进行连通域处理,得到最终的人像掩膜图732。
在一个实施例中,上述方法还包括:当检测到第一图像帧存在人像切入时,获取切入的人像的人体关键点;基于切入的人像的各个人体关键点,确定切入的人像的姿态;根据人脸区域确定切入的人像所在的人像区域,包括:根据人脸区域和人像的姿态确定切入的人像所在的人像区域。
人体关键点指的是处于人体关键部分的点。人体关键点例如肩膀所处的点,膝盖所处的点,头部所处的点等。如图8中展示了人体中的人体关键点,通过人体关键点能够确定切入的人像的姿态。
当检测到第一图像帧存在人像切入时,获取切入的人像的人体关键点,基于人体关键点可以构建人体的姿态。其中,人体的姿态可以包括站立、行走、跑步等。电子设备基于人体的姿态,可以从人体的姿态所在的区域内确定切入的人像所在的人像区域。
在一种实施方式中,电子设备可以根据人脸区域确定第一人像区域;根据人像的姿态确定第二人像区域;从第一人像区域和第二人像区域中选取其中一种作为切入的人像所在的人像区域。
在另一种实施方式中,电子设备可以根据人脸区域确定第一人像区域;根据人像的姿态确定第二人像区域;将第一人像区域和第二人像区域的重叠部分作为切入的人像所在的人像区域。
在本实施例中,当检测到第一图像帧存在人像切入时,电子设备获取人体关键点,并基于人体关键点确定人像的姿态,基于人脸区域和人像的姿态可以更准确地确定切入的人像所在的人像区域。
在一个实施例中,如图9所示,电子设备获取视频中的第一图像帧902,执行步骤904,对第一图像帧902进行人像检测;执行步骤906,判断第一图像帧中是否存在人像切入。当判断为否时,表示第一图像帧中未存在人像切入,则执行步骤908,获取当前的第一图像帧的人像掩膜图。当第一图像帧中存在人像并且该人像不属于切入的人像时,则获取的第一图像帧的人像掩膜图中包括了该人像的未遮挡区域。当第一图像帧中不存在人像时,则获取的第一图像帧的人像掩膜图中各个像素点的像素值均为0。
当判断为是时,表示第一图像帧存在人像切入,则电子设备执行步骤910,获取人脸的边缘特征点;执行步骤912,获取人体关键点;执行步骤914,确定切入的人像所在的人像区域。具体地,基于各个边缘特征点,确定人脸区域;基于切入的人像的各个人体关键点,确定切入的人像的姿态;根据人脸区域和人像的姿态确定切入的人像所在的人像区域。
当判断第一图像帧存在人像切入时,还可以执行步骤916,判断之前的预设数量的图像帧中是否存在人像。当判断为否时,即第一图像帧之前的预设数量的图像帧中不存在人像时,表示第一图像帧为第一帧出现该人像的图像帧,执行步骤918,获取像素值均为0的参考掩膜图。当判断为是时,即第一图像帧之前的预设数量的图像帧中存在人像时,执行步骤920,获取上一帧图像帧的人像掩膜图,并将上一帧图像帧的人像掩膜图作为参考掩膜图。
电子设备执行步骤922,对参考掩膜图进行引导增强。具体地,将切入的人像所在的人像区域映射至参考掩模图,得到参考掩模图对应的人像区域;将参考掩膜图对应的人像区域中的各个像素点的像素值设置为255,得到目标掩膜图。
电子设备执行步骤924,通道拼接,即将目标掩膜图拼接至第一图像帧中,得到第二图像帧。电子设备执行步骤926,对第二图像帧进行缩放处理。电子设备执行步骤928,对缩放处理后的第二图像帧进行归一化处理。电子设备执行步骤930,通过人像分割网络对归一化处理后的第二图像帧进行人像分割,得到人像掩膜图。电子设备执行步骤932,对人像掩膜图进行连通域处理,得到最终的人像掩膜图934。
在一个实施例中,当检测到第一图像帧存在人像切入时,确定切入的人像所在的人像区域,包括:当检测到第一图像帧存在人像切入时,获取切入的人像的人体关键点;基于切入的人像的各个人体关键点,确定切入的人像的姿态;根据人像的姿态确定切入的人像所在的人像区域。
人体关键点指的是处于人体关键部分的点。人体关键点例如肩膀所处的点,膝盖所处的点,头部所处的点等。
当检测到第一图像帧存在人像切入时,获取切入的人像的人体关键点,基于人体关键点可以构建人体的姿态。其中,人体的姿态可以包括站立、行走、跑步等。电子设备基于人体的姿态,可以从人体的姿态所在的区域内更准确、更快速地确定切入的人像所在的人像区域。
在一个实施例中,如图10所示,电子设备获取视频中的第一图像帧1002,执行步骤1004,对第一图像帧1002进行人像检测;执行步骤1006,判断第一图像帧中是否存在人像切入。当判断为否时,表示第一图像帧中未存在人像切入,则执行步骤1008,获取当前的第一图像帧的人像掩膜图。当第一图像帧中存在人像并且该人像不属于切入的人像时,则获取的第一图像帧的人像掩膜图中包括了该人像的未遮挡区域。当第一图像帧中不存在人像时,则获取的第一图像帧的人像掩膜图中各个像素点的像素值均为0。
当判断为是时,表示第一图像帧存在人像切入,则电子设备执行步骤1010,获取人体关键点;执行步骤1012,确定切入的人像所在的人像区域。具体地,基于各个人体关键点,确定切入的人像的姿态;根据切入的人像的姿态确定切入的人像所在的人像区域。
当判断第一图像帧存在人像切入时,还可以执行步骤1014,判断之前的预设数量的图像帧中是否存在人像。当判断为否时,即第一图像帧之前的预设数量的图像帧中不存在人像时,表示第一图像帧为第一帧出现该人像的图像帧,执行步骤1016,获取像素值均为0的参考掩膜图。当判断为是时,即第一图像帧之前的预设数量的图像帧中存在人像时,执行步骤1018,获取上一帧图像帧的人像掩膜图,并将上一帧图像帧的人像掩膜图作为参考掩膜图。
电子设备执行步骤1020,对参考掩膜图进行引导增强。具体地,将切入的人像所在的人像区域映射至参考掩模图,得到参考掩模图对应的人像区域;将参考掩膜图对应的人像区域中的各个像素点的像素值设置为255,得到目标掩膜图。
电子设备执行步骤1022,通道拼接,即将目标掩膜图拼接至第一图像帧中,得到第二图像帧。电子设备执行步骤1024,对第二图像帧进行缩放处理。电子设备执行步骤1026,对缩放处理后的第二图像帧进行归一化处理。电子设备执行步骤1028,通过人像分割网络对归一化处理后的第二图像帧进行人像分割,得到人像掩膜图。电子设备执行步骤1030,对人像掩膜图进行连通域处理,得到最终的人像掩膜图1032。
在一个实施例中,上述方法还包括:获取存在人像的训练图像;训练图像包括原始图像,以及原始图像对应的标签掩膜图;将标签掩膜图进行变换得到训练掩模图;将训练图像和训练掩模图输入人像分割网络,对人像分割网络进行训练,得到训练完成的人像分割网络;对第二图像帧进行人像分割,得到人像掩膜图,包括:通过训练完成的人像分割网络对第二图像帧进行人像分割,得到人像掩膜图。
训练图像指的是对人像分割网络进行训练的图像。在训练图像中存在人像,即人像区域为一种类别,而除人像区域之外的背景区域为另一种类别。训练图像包括原始图像,以及原始图像所对应的标签掩膜图。其中,原始图像可以是RGB(Red,Green,Blue)图像、RAW图像、灰度图像、深度图像、YUV图像等其中的任意一种。标签掩膜图指的是原始图像中的人像的掩膜图,该标签掩膜图是人像分割网络对原始图像进行人像分割所期望的掩膜图。训练掩膜图指的是对标签掩膜图进行变换得到的掩膜图。
具体地,电子设备将训练图像和训练掩膜图输入人像分割网络中,人像分割网络利用训练掩膜图,对训练图像中的原始图像进行人像分割,得到参考掩膜图,并将参考掩膜图与标签掩膜图进行比较,得到损失误差值;基于该损失误差值调整人像分割网络的分割参数,直到该损失误差值小于误差阈值,或者对原始图像进行人像分割的分割次数达到次数阈值,停止训练,得到训练完成的人像分割网络。
人像分割网络采用卷积神经网络,以包括但不限于deeplab系列分割算法、U-Net、FCN等为基础架构。在卷积神经网络中,包括Encoder特征编码模块和Decoder目标模板生成模块。如图11所示,在人像分割网络中,采用Encoder特征编码模块对训练掩膜图和原始图像的集合1102进行特征编码,再采用Decoder目标模板生成模块进行特征解码,得到参考掩膜图1104,再将参考掩膜图1104与标签掩膜图进行比较,从而对人像分割网络的分割参数进行调整,得到训练完成的人像分割网络。
在本实施例中,训练图像中包括原始图像以及原始图像对应的标签掩膜图,对标签掩膜图进行变换得到训练掩膜图,基于训练图像和训练掩膜图对人像分割网络进行训练,可以得到人像分割更准确的人像分割网络。而目标掩膜图中将第一图像帧中切入的人像的区域设置为未遮挡区域,相当于给训练完成的人像分割网络进行引导,在该未遮挡区域中有人像出现,则训练完成的人像分割网络可以分割出更准确的人像掩膜图。
在一个实施例中,将标签掩膜图进行变换得到训练掩模图的方式,包括以下任意一种:将标签掩膜图中各个像素点的像素值均设置为0,得到训练掩膜图;将标签掩膜图进行第一仿射变换,得到训练掩膜图;将标签掩膜图进行第二仿射变换,得到训练掩膜图;第一仿射变换的变换幅度小于第二仿射变换的变换幅度。
电子设备将标签掩膜图中的各个像素点的像素值均设置为0,得到训练掩膜图,则将训练图像和训练掩膜图输入人像分割网络中,可以模拟出当前帧图像存在人像切入的场景,即将训练图像中的原始图像作为当前帧图像,训练掩膜图作为前一帧图像帧的人像掩膜图,模拟在当前帧之前未出现人像,而在当前帧图像中出现人像切入的场景。
仿射变换,又称仿射映射,是指在几何中,一个向量空间进行一次线性变换并接上一个平移,变换为另一个向量空间。仿射变换通过一系列变换复合实现,具体包括:平移(Translation)、缩放(Scale)、旋转(Rotation)、翻转(Flip)和错切(Shear)。
电子设备将标签掩膜图进行第一仿射变换,得到训练掩膜图。第一仿射变换的变换幅度较小,模拟出当前帧图像与上一帧图像出现微小变换的场景。
电子设备将标签掩膜图进行第二仿射变换,得到训练掩膜图。第二仿射变换的变换幅度较大,模拟出当前帧图像与上一帧图像出现打的变换的场景。
在本实施例中,基于三种不同的变换方式,可以模拟出人像分割网络分割不同场景下的图像,从而针对不同的场景对人像分割网络进行训练,可以训练出人像分割更准确的人像分割网络。
应该理解的是,虽然图2、图4、图7、图9和图10的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2、图4、图7、图9和图10中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图12为一个实施例的人像分割装置的结构框图。如图12所示,提供了一种人像分割装置1200,包括:第一图像帧获取模块1202、人像检测模块1204、映射模块1206、目标掩膜图获取模块1208、拼接模块1210和人像分割模块1212,其中:
第一图像帧获取模块1202,用于获取视频中的第一图像帧。
人像检测模块1204,用于对第一图像帧进行人像检测,当检测到第一图像帧存在人像切入时,确定切入的人像所在的人像区域,并获取切入的人像对应的参考掩膜图。
映射模块1206,用于将切入的人像所在的人像区域映射至参考掩模图,得到参考掩模图对应的人像区域。
目标掩膜图获取模块1208,用于将参考掩膜图对应的人像区域中的各个像素点的像素值设置为255,得到目标掩膜图。
拼接模块1210,用于将目标掩膜图拼接至第一图像帧中,得到第二图像帧。
人像分割模块1212,用于对第二图像帧进行人像分割,得到人像掩膜图。
上述人像分割装置,当检测到视频中的第一图像帧存在人像切入时,可以预估出切入的人像所在的人像区域,并获取切入的人像对应的参考掩膜图;将切入的人像所在的人像区域映射至参考掩模图,得到参考掩模图对应的人像区域,再将参考掩膜图对应的人像区域中的各个像素点的像素值设置为255,即将参考掩膜图对应的人像区域设置为未遮挡区域,得到目标掩膜图;将目标掩膜图拼接至第一图像帧得到第二图像帧,则对第二图像帧进行人像分割时,可以针对目标掩膜图中像素值为255的区域,即未遮挡区域所对应的第二图像帧的区域进行人像分割,可以分割得到更准确的人像掩膜图。
在一个实施例中,上述人像检测模块1204还用于当第一图像帧之前的预设数量的图像帧中不存在人像时,获取切入的人像对应的参考掩膜图;其中,切入的人像对应的参考掩膜图中的各个像素点的像素值均为0;当第一图像帧之前的预设数量的图像帧中存在人像时,获取第一图像帧的上一帧图像帧的人像掩膜图,并将上一帧图像帧的人像掩膜图作为参考掩膜图。
在一个实施例中,上述人像检测模块1204还用于当第一图像帧符合预设条件时,第一图像帧存在人像切入;当第一图像帧不符合预设条件时,第一图像帧不存在人像切入;预设条件包括条件一、条件二和条件三,其中:条件一,在第一图像帧中检测到新的人像;条件二,新的人像的人脸的尺寸大于尺寸阈值;宽度阈值高度阈值以及条件三,基于人脸确定人脸的偏转角度,偏转角度小于偏转阈值。
在一个实施例中,上述人像检测模块1204还用于当在第一图像帧中检测到新的人像,获取新的人像的人脸,以及人脸所在区域的宽度和高度;获取第一图像帧的宽度和高度;将人脸所在区域的宽度除以第一图像帧的宽度得到宽度比值,将人脸所在区域的高度除以第一图像帧的高度得到高度比值,宽度比值大于宽度阈值,或者高度比值大于高度阈值。
在一个实施例中,上述人像检测模块1204还用于从人脸中获取人脸特征点,以及人脸特征点在人脸中的位置信息;基于人脸特征点在人脸的位置信息确定人脸的偏转角度。
在一个实施例中,上述人像检测模块1204还用于当第一图像帧符合条件一,并且不符合条件二和条件三时,则确定第一图像帧不存在人像切入;上述人像分割装置还包括非主体掩膜图获取模块,用于获取新的人像为非主体人像,获取非主体人像所在区域,并获取第一图像帧的上一帧图像帧的人像掩膜图;将非主体人像所在区域映射至上一帧图像帧的人像掩膜图,得到上一帧图像帧的人像掩膜图对应的非主体人像区域;将非主体人像区域中的各个像素点的像素值设置为0,得到非主体掩膜图;上述拼接模块1210还用于将非主体掩膜图拼接至第一图像帧中,得到第三图像帧;上述人像分割模块1212还用于对第三图像帧进行人像分割,得到人像掩膜图。
在一个实施例中,上述人像检测模块1204还用于当检测到第一图像帧存在人像切入时,从第一图像帧中确定人脸的边缘特征点;基于各个边缘特征点,确定人脸区域;根据人脸区域确定切入的人像所在的人像区域。
在一个实施例中,上述人像检测模块1204还用于当检测到第一图像帧存在人像切入时,获取切入的人像的人体关键点;基于切入的人像的各个人体关键点,确定切入的人像的姿态;根据人脸区域和人像的姿态确定切入的人像所在的人像区域。
在一个实施例中,上述人像检测模块1204还用于当检测到第一图像帧存在人像切入时,获取切入的人像的人体关键点;基于切入的人像的各个人体关键点,确定切入的人像的姿态;根据人像的姿态确定切入的人像所在的人像区域。
在一个实施例中,上述人像分割装置还包括训练模块,用于获取存在人像的训练图像;训练图像包括原始图像,以及原始图像对应的标签掩膜图;将标签掩膜图进行变换得到训练掩模图;将训练图像和训练掩模图输入人像分割网络,对人像分割网络进行训练,得到训练完成的人像分割网络;上述人像分割模块1212还用于通过训练完成的人像分割网络对第二图像帧进行人像分割,得到人像掩膜图。
在一个实施例中,上述训练模块还用于实现以下任意一种变换方式:将标签掩膜图中各个像素点的像素值均设置为0,得到训练掩膜图;将标签掩膜图进行第一仿射变换,得到训练掩膜图;将标签掩膜图进行第二仿射变换,得到训练掩膜图;第一仿射变换的变换幅度小于第二仿射变换的变换幅度。
上述人像分割装置中各个模块的划分仅仅用于举例说明,在其他实施例中,可将人像分割装置按照需要划分为不同的模块,以完成上述人像分割装置的全部或部分功能。
关于人像分割装置的具体限定可以参见上文中对于人像分割方法的限定,在此不再赘述。上述人像分割装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
图13为一个实施例中电子设备的内部结构示意图。如图13所示,该电子设备包括通过系统总线连接的处理器和存储器。其中,该处理器用于提供计算和控制能力,支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行,以用于实现以下各个实施例所提供的一种人像分割方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑、PDA(Personal DigitalAssistant,个人数字助理)、POS(Point of Sales,销售终端)、车载电脑、穿戴式设备等任意终端设备。
本申请实施例中提供的人像分割装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在电子设备的存储器上。该计算机程序被处理器执行时,实现本申请实施例中所描述方法的步骤。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行人像分割方法的步骤。
一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行人像分割方法。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM),它用作外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (14)
1.一种人像分割方法,其特征在于,包括:
获取视频中的第一图像帧;
对所述第一图像帧进行人像检测,当检测到所述第一图像帧存在人像切入时,确定切入的人像所在的人像区域,并获取切入的人像对应的参考掩膜图;
将所述切入的人像所在的人像区域映射至所述参考掩模图,得到所述参考掩模图对应的人像区域;
将所述参考掩膜图对应的人像区域中的各个像素点的像素值设置为255,得到目标掩膜图;
将所述目标掩膜图拼接至所述第一图像帧中,得到第二图像帧;
对所述第二图像帧进行人像分割,得到人像掩膜图。
2.根据权利要求1所述的方法,其特征在于,所述获取切入的人像对应的参考掩膜图,包括:
当所述第一图像帧之前的预设数量的图像帧中不存在人像时,获取切入的所述人像对应的参考掩膜图;其中,切入的所述人像对应的参考掩膜图中的各个像素点的像素值均为0;
当所述第一图像帧之前的预设数量的图像帧中存在人像时,获取所述第一图像帧的上一帧图像帧的人像掩膜图,并将所述上一帧图像帧的人像掩膜图作为参考掩膜图。
3.根据权利要求1或2中所述的方法,其特征在于,所述对所述第一图像帧进行人像检测,包括:
当所述第一图像帧符合预设条件时,所述第一图像帧存在人像切入;
当所述第一图像帧不符合预设条件时,所述第一图像帧不存在人像切入;
所述预设条件包括条件一、条件二和条件三,其中:
条件一,在所述第一图像帧中检测到新的人像;
条件二,所述新的人像的人脸的尺寸大于尺寸阈值;
宽度阈值高度阈值以及
条件三,基于所述人脸确定所述人脸的偏转角度,所述偏转角度小于偏转阈值。
4.根据权利要求3所述的方法,其特征在于,所述新的人像的人脸的尺寸大于尺寸阈值,包括:
当在所述第一图像帧中检测到新的人像,获取新的人像的人脸,以及所述人脸所在区域的宽度和高度;
获取所述第一图像帧的宽度和高度;
将所述人脸所在区域的宽度除以所述第一图像帧的宽度得到宽度比值,将所述人脸所在区域的高度除以所述第一图像帧的高度得到高度比值,所述宽度比值大于宽度阈值,或者所述高度比值大于高度阈值。
5.根据权利要求3所述的方法,其特征在于,所述基于所述人脸确定所述人脸的偏转角度,包括:
从所述人脸中获取人脸特征点,以及所述人脸特征点在所述人脸中的位置信息;
基于所述人脸特征点在所述人脸的位置信息确定所述人脸的偏转角度。
6.根据权利要求3所述的方法,其特征在于,所述当所述第一图像帧不符合预设条件时,所述第一图像帧不存在人像切入,包括:
当所述第一图像帧符合所述条件一,并且不符合所述条件二和所述条件三时,则确定所述第一图像帧不存在人像切入;
所述方法还包括:
获取所述新的人像为非主体人像,获取所述非主体人像所在区域,并获取所述第一图像帧的上一帧图像帧的人像掩膜图;
将所述非主体人像所在区域映射至所述上一帧图像帧的人像掩膜图,得到所述上一帧图像帧的人像掩膜图对应的非主体人像区域;
将所述非主体人像区域中的各个像素点的像素值设置为0,得到非主体掩膜图;
将所述非主体掩膜图拼接至所述第一图像帧中,得到第三图像帧;
对所述第三图像帧进行人像分割,得到人像掩膜图。
7.根据权利要求1所述的方法,其特征在于,所述当检测到所述第一图像帧存在人像切入时,确定切入的人像所在的人像区域,包括:
当检测到所述第一图像帧存在人像切入时,从所述第一图像帧中确定人脸的边缘特征点;
基于各个所述边缘特征点,确定人脸区域;
根据所述人脸区域确定切入的人像所在的人像区域。
8.根据权利要求7所述的方法,其特征在于,所述方法还包括:
当检测到所述第一图像帧存在人像切入时,获取切入的人像的人体关键点;
基于切入的人像的各个人体关键点,确定切入的人像的姿态;
所述根据所述人脸区域确定切入的人像所在的人像区域,包括:
根据所述人脸区域和所述人像的姿态确定切入的人像所在的人像区域。
9.根据权利要求1所述的方法,其特征在于,所述当检测到所述第一图像帧存在人像切入时,确定切入的人像所在的人像区域,包括:
当检测到所述第一图像帧存在人像切入时,获取切入的人像的人体关键点;
基于切入的人像的各个人体关键点,确定切入的人像的姿态;
根据所述人像的姿态确定切入的人像所在的人像区域。
10.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取存在人像的训练图像;所述训练图像包括原始图像,以及所述原始图像对应的标签掩膜图;
将所述标签掩膜图进行变换得到训练掩模图;
将所述训练图像和所述训练掩模图输入人像分割网络,对所述人像分割网络进行训练,得到训练完成的人像分割网络;
所述对所述第二图像帧进行人像分割,得到人像掩膜图,包括:
通过训练完成的所述人像分割网络对所述第二图像帧进行人像分割,得到人像掩膜图。
11.根据权利要求10所述的方法,其特征在于,所述将所述标签掩膜图进行变换得到训练掩模图的方式,包括以下任意一种:
将所述标签掩膜图中各个像素点的像素值均设置为0,得到训练掩膜图;
将所述标签掩膜图进行第一仿射变换,得到训练掩膜图;
将所述标签掩膜图进行第二仿射变换,得到训练掩膜图;所述第一仿射变换的变换幅度小于所述第二仿射变换的变换幅度。
12.一种人像分割装置,其特征在于,包括:
第一图像帧获取模块,用于获取视频中的第一图像帧;
人像检测模块,用于对所述第一图像帧进行人像检测,当检测到所述第一图像帧存在人像切入时,确定切入的人像所在的人像区域,并获取切入的人像对应的参考掩膜图;
映射模块,用于将所述切入的人像所在的人像区域映射至所述参考掩模图,得到所述参考掩模图对应的人像区域;
目标掩膜图获取模块,用于将所述参考掩膜图对应的人像区域中的各个像素点的像素值设置为255,得到目标掩膜图;
拼接模块,用于将所述目标掩膜图拼接至所述第一图像帧中,得到第二图像帧;
人像分割模块,用于对所述第二图像帧进行人像分割,得到人像掩膜图。
13.一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,其特征在于,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至11中任一项所述的人像分割方法的步骤。
14.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至11中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010590233.7A CN111754528A (zh) | 2020-06-24 | 2020-06-24 | 人像分割方法、装置、电子设备和计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010590233.7A CN111754528A (zh) | 2020-06-24 | 2020-06-24 | 人像分割方法、装置、电子设备和计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111754528A true CN111754528A (zh) | 2020-10-09 |
Family
ID=72677212
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010590233.7A Pending CN111754528A (zh) | 2020-06-24 | 2020-06-24 | 人像分割方法、装置、电子设备和计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111754528A (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112465843A (zh) * | 2020-12-22 | 2021-03-09 | 深圳市慧鲤科技有限公司 | 图像分割方法及装置、电子设备和存储介质 |
CN112487974A (zh) * | 2020-11-30 | 2021-03-12 | 叠境数字科技(上海)有限公司 | 视频流多人分割方法、系统、芯片及介质 |
CN112637517A (zh) * | 2020-11-16 | 2021-04-09 | 北京字节跳动网络技术有限公司 | 视频处理方法、装置、电子设备及存储介质 |
CN112651321A (zh) * | 2020-12-21 | 2021-04-13 | 浙江商汤科技开发有限公司 | 档案处理方法、装置及服务器 |
CN112686907A (zh) * | 2020-12-25 | 2021-04-20 | 联想(北京)有限公司 | 一种图像处理方法、设备及装置 |
CN113313626A (zh) * | 2021-05-20 | 2021-08-27 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN113610884A (zh) * | 2021-07-08 | 2021-11-05 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
CN113920068A (zh) * | 2021-09-23 | 2022-01-11 | 北京医准智能科技有限公司 | 一种基于人工智能的身体部位检测方法、装置及电子设备 |
CN114125462A (zh) * | 2021-11-30 | 2022-03-01 | 北京达佳互联信息技术有限公司 | 视频处理方法及装置 |
CN114943936A (zh) * | 2022-06-17 | 2022-08-26 | 北京百度网讯科技有限公司 | 目标行为识别方法、装置、电子设备及存储介质 |
WO2024037556A1 (zh) * | 2022-08-17 | 2024-02-22 | 北京字跳网络技术有限公司 | 图像处理方法、装置、设备及存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090148041A1 (en) * | 2007-12-11 | 2009-06-11 | Robinson Piramuthu | Systems and methods for unsupervised local boundary or region refinement of figure masks using over and under segmentation of regions |
CN109479098A (zh) * | 2016-06-09 | 2019-03-15 | 谷歌有限责任公司 | 多视图场景分割和传播 |
CN109493350A (zh) * | 2018-11-09 | 2019-03-19 | 重庆中科云丛科技有限公司 | 人像分割方法及装置 |
CN109492608A (zh) * | 2018-11-27 | 2019-03-19 | 腾讯科技(深圳)有限公司 | 图像分割方法、装置、计算机设备及存储介质 |
CN110610526A (zh) * | 2019-08-12 | 2019-12-24 | 江苏大学 | 一种基于wnet对单目人像进行分割和景深渲染的方法 |
CN111160262A (zh) * | 2019-12-30 | 2020-05-15 | 国网北京市电力公司 | 一种融合人体关键点检测的人像分割方法 |
CN111292337A (zh) * | 2020-01-21 | 2020-06-16 | 广州虎牙科技有限公司 | 图像背景替换方法、装置、设备及存储介质 |
-
2020
- 2020-06-24 CN CN202010590233.7A patent/CN111754528A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090148041A1 (en) * | 2007-12-11 | 2009-06-11 | Robinson Piramuthu | Systems and methods for unsupervised local boundary or region refinement of figure masks using over and under segmentation of regions |
CN109479098A (zh) * | 2016-06-09 | 2019-03-15 | 谷歌有限责任公司 | 多视图场景分割和传播 |
CN109493350A (zh) * | 2018-11-09 | 2019-03-19 | 重庆中科云丛科技有限公司 | 人像分割方法及装置 |
CN109492608A (zh) * | 2018-11-27 | 2019-03-19 | 腾讯科技(深圳)有限公司 | 图像分割方法、装置、计算机设备及存储介质 |
CN110610526A (zh) * | 2019-08-12 | 2019-12-24 | 江苏大学 | 一种基于wnet对单目人像进行分割和景深渲染的方法 |
CN111160262A (zh) * | 2019-12-30 | 2020-05-15 | 国网北京市电力公司 | 一种融合人体关键点检测的人像分割方法 |
CN111292337A (zh) * | 2020-01-21 | 2020-06-16 | 广州虎牙科技有限公司 | 图像背景替换方法、装置、设备及存储介质 |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112637517A (zh) * | 2020-11-16 | 2021-04-09 | 北京字节跳动网络技术有限公司 | 视频处理方法、装置、电子设备及存储介质 |
CN112487974A (zh) * | 2020-11-30 | 2021-03-12 | 叠境数字科技(上海)有限公司 | 视频流多人分割方法、系统、芯片及介质 |
CN112651321A (zh) * | 2020-12-21 | 2021-04-13 | 浙江商汤科技开发有限公司 | 档案处理方法、装置及服务器 |
WO2022134382A1 (zh) * | 2020-12-22 | 2022-06-30 | 深圳市慧鲤科技有限公司 | 图像分割方法及装置、电子设备和存储介质、计算机程序 |
CN112465843A (zh) * | 2020-12-22 | 2021-03-09 | 深圳市慧鲤科技有限公司 | 图像分割方法及装置、电子设备和存储介质 |
CN112686907A (zh) * | 2020-12-25 | 2021-04-20 | 联想(北京)有限公司 | 一种图像处理方法、设备及装置 |
CN113313626A (zh) * | 2021-05-20 | 2021-08-27 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN113610884A (zh) * | 2021-07-08 | 2021-11-05 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
CN113920068A (zh) * | 2021-09-23 | 2022-01-11 | 北京医准智能科技有限公司 | 一种基于人工智能的身体部位检测方法、装置及电子设备 |
CN114125462A (zh) * | 2021-11-30 | 2022-03-01 | 北京达佳互联信息技术有限公司 | 视频处理方法及装置 |
CN114125462B (zh) * | 2021-11-30 | 2024-03-12 | 北京达佳互联信息技术有限公司 | 视频处理方法及装置 |
CN114943936A (zh) * | 2022-06-17 | 2022-08-26 | 北京百度网讯科技有限公司 | 目标行为识别方法、装置、电子设备及存储介质 |
WO2024037556A1 (zh) * | 2022-08-17 | 2024-02-22 | 北京字跳网络技术有限公司 | 图像处理方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111754528A (zh) | 人像分割方法、装置、电子设备和计算机可读存储介质 | |
CN107730445B (zh) | 图像处理方法、装置、存储介质和电子设备 | |
CN107680128B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
EP3477931B1 (en) | Image processing method and device, readable storage medium and electronic device | |
CN107730444B (zh) | 图像处理方法、装置、可读存储介质和计算机设备 | |
CN107451969B (zh) | 图像处理方法、装置、移动终端及计算机可读存储介质 | |
CN107424198B (zh) | 图像处理方法、装置、移动终端及计算机可读存储介质 | |
CN108024107B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
CN108604293B (zh) | 提高图像质量的装置和方法 | |
CN108537155B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
KR102277048B1 (ko) | 미리보기 사진 블러링 방법 및 장치 및 저장 매체 | |
CN107945135B (zh) | 图像处理方法、装置、存储介质和电子设备 | |
CN107730446B (zh) | 图像处理方法、装置、计算机设备及计算机可读存储介质 | |
CN113766125B (zh) | 对焦方法和装置、电子设备、计算机可读存储介质 | |
CN107993209B (zh) | 图像处理方法、装置、计算机可读存储介质和电子设备 | |
EP3644599B1 (en) | Video processing method and apparatus, electronic device, and storage medium | |
CN107862659B (zh) | 图像处理方法、装置、计算机设备及计算机可读存储介质 | |
CN108846807B (zh) | 光效处理方法、装置、终端及计算机可读存储介质 | |
CN108717530B (zh) | 图像处理方法、装置、计算机可读存储介质和电子设备 | |
CN107368806B (zh) | 图像矫正方法、装置、计算机可读存储介质和计算机设备 | |
CN109360254B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN110796041B (zh) | 主体识别方法和装置、电子设备、计算机可读存储介质 | |
CN111753882A (zh) | 图像识别网络的训练方法和装置、电子设备 | |
CN112581481B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN107578372B (zh) | 图像处理方法、装置、计算机可读存储介质和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |