CN109509194B - 一种复杂背景下正面人体图像分割方法及装置 - Google Patents

一种复杂背景下正面人体图像分割方法及装置 Download PDF

Info

Publication number
CN109509194B
CN109509194B CN201811408050.8A CN201811408050A CN109509194B CN 109509194 B CN109509194 B CN 109509194B CN 201811408050 A CN201811408050 A CN 201811408050A CN 109509194 B CN109509194 B CN 109509194B
Authority
CN
China
Prior art keywords
human body
image
super
human
blocks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811408050.8A
Other languages
English (en)
Other versions
CN109509194A (zh
Inventor
马燕
贾俊瑛
黄慧
张玉萍
李顺宝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Normal University
Original Assignee
Shanghai Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Normal University filed Critical Shanghai Normal University
Priority to CN201811408050.8A priority Critical patent/CN109509194B/zh
Publication of CN109509194A publication Critical patent/CN109509194A/zh
Application granted granted Critical
Publication of CN109509194B publication Critical patent/CN109509194B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/187Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Abstract

本发明公开了一种复杂背景下正面人体图像分割方法及装置,其中方法包括以下步骤:采集特定站姿的人体正面图像;对人体正面图像进行预处理;对预处理后的人体正面图像进行人脸检测,确定人体头部位置,并结合人体正面结构比例确定人体大致范围;根据人体大致范围,对人体进行分割,并输出分割结果。本发明的方法是在复杂背景下简单、易用、准确性高的正面人体图像分割方法,为基于图像的非接触式人体测量奠定良好的基础。

Description

一种复杂背景下正面人体图像分割方法及装置
技术领域
本发明公开涉及图像分析和人体检测领域,尤其涉及一种复杂背景下正面人体图像分割方法及装置。
背景技术
目前,消费者对服装个性化和合体性的要求越来越高,服装的经营模式也由传统单一的批量生产转向包括量身定制、网络定制和虚拟试衣等的多元化形式。为满足消费者量体裁衣和个性化需求,人体测量技术逐渐发展起来。随着服装技术的不断发展,人体尺寸测量已经由简单的人工接触式逐步转变为非接触式自动测量,如何在非接触情况下准确、快速地获取人体相关尺寸,是国内外很多企业和科研机构正在研究开发的主要课题。
非接触式测量是指不与被测物体相接触就能测量出被测物体相关部位的尺寸信息。非接触式人体测量的方法有很多,主要有二维和三维两种测量方法。虽然三维人体扫描系统精度高,但价格昂贵、系统庞大、测量要求暗室、设备不便于移动,因此实际应用性不强。基于二维图像的非接触式人体测量方法基本方法是先用摄像机拍摄人体正面和侧面等二维图像,经过图像去噪、边缘检测、轮廓提取等处理得到清晰的人体轮廓图像,进一步测量轮廓图中人体各部位宽度、厚度和长度等尺寸,然后采用数学模型计算得到人体各围度尺寸。总体来说,基于二维图像的非接触式人体测量方法可以分为人体图像分割、轮廓提取、特征部位尺寸测量、围度尺寸计算、误差与精度分析等步骤。
在上述步骤中,第一步人体图像分割是将一幅图像中的人体目标从背景中分割出来。常用的人体图像分割方法有Canny边缘提取、Ostu方法、区域生长法等,这些方法在单一背景下能够将人体目标从背景中分割出来,但在复杂背景下则无法准确分割人体目标。Grabcut分割算法可以将目标从图像中提取出来,但该方法在使用前需要人为选定四边形框,因此,无法完成人体图像自动分割。另外,在图像背景和人体目标相似度较大时,该方法分割效果较差。由于人体图像的准确分割能够为后续的轮廓提取、特征部位尺寸测量等垫定基础,该步骤对测量精度起着决定性作用。
因此,本领域的技术人员致力于开发一种复杂背景下简单、易用、准确性高的正面人体图像分割方法,将为基于图像的非接触式人体测量奠定良好的基础。
发明内容
本发明实施例是为了开发一种复杂背景下简单、易用、准确性高的正面人体图像分割方法,为基于图像的非接触式人体测量奠定良好的基础。
本发明实施例提供了一种复杂背景下正面人体图像分割方法,包括以下步骤:
采集特定站姿的人体正面图像;
对人体正面图像进行预处理;
对预处理后的人体正面图像进行人脸检测,确定人体头部位置,并结合人体正面结构比例确定人体大致范围;
根据人体大致范围,对人体进行分割,并输出分割结果。
进一步地,对人体正面图像进行预处理,具体包括以下步骤:
利用SLIC算法对人体正面图像提取超像素块;
对每个超像素块生成Lab颜色直方图;
计算相邻超像素块的颜色直方图之间的巴氏距离。
进一步地,利用Adaboost算法对预处理后的人体正面图像进行人脸检测,确定人体头部位置。
进一步地,根据人体大致范围,对人体进行分割,并输出分割结果,具体包括以下步骤:
根据人体大致范围,结合超像素块,进行人体的初步分割,并将超像素块标记为前景块和背景块;
遍历所有前景块,当前景块与其相邻背景块间的巴氏距离大于阈值,则将前景块标记为背景块;
将阈值减去一个定值,重复步骤上一步骤,直到阈值大于预定值,最终输出人体分割结果。
本发明实施例提供了一种复杂背景下正面人体图像分割装置,包括:
采集装置,用于采集特定站姿的人体正面图像;
预处理装置,用于对人体正面图像进行预处理;
检测装置,用于对预处理后的人体正面图像进行人脸检测,确定人体头部位置,并结合人体正面结构比例确定人体大致范围;
分割装置,用于根据人体大致范围,对人体进行分割,并输出分割结果。
进一步地,预处理装置包括:
提取模块,用于利用SLIC算法对人体正面图像提取超像素块;
直方图模块,用于对每个超像素块生成Lab颜色直方图;
计算模块,用于计算相邻超像素块的颜色直方图之间的巴氏距离。
进一步地,检测装置具体用于利用Adaboost算法对预处理后的人体正面图像进行人脸检测,确定人体头部位置。
进一步地,分割装置包括:
初步分割模块,用于根据人体大致范围,结合超像素块,进行人体的初步分割,并将超像素块标记为前景块和背景块;
标记模块,用于遍历所有前景块,当前景块与其相邻背景块间的巴氏距离大于阈值,则将前景块标记为背景块;
输出模块,用于将阈值减去一个定值,重复上一步骤,直到阈值大于预定值,最终输出人体分割结果。
本发明一实施例提供了一种电子设备,包括存储器和处理器,存储器用于存储一条或多条计算机指令,其中,一条或多条计算机指令被处理器执行以实现如上述的复杂背景下正面人体图像分割方法。
本发明一实施例一种存储有计算机程序的计算机可读存储介质,计算机程序使计算机执行时实现如上述的复杂背景下正面人体图像分割方法。
与现有的人体分割算法相比,本发明公开的一种复杂背景下正面人体图像分割方法及装置,利用SLIC超像素分割算法,将图像分割成若干个超像素块;利用Adaboost算法确定人脸位置,并结合人体正面比例关系确定人体大致范围;计算前景块与其相邻背景块间的巴氏距离,通过迭代法不断将背景块进行合并,最终得到正面人体图像的分割结果。本发明公开采用固定阈值,不需要人工调整阈值,正面人体分割算法对于背景复杂度变化具有鲁棒性,很好地解决了正面人体图像自动分割的难题,同时也为后续的非接触式人体测量工作垫定了良好的基础。
附图说明
图1为本发明实施例一提供的一种复杂背景下正面人体图像分割方法的流程示意图;
图2为本发明实施例二提供的一种复杂背景下正面人体图像分割方法的流程示意图;
图3为本发明实施例三提供的一种复杂背景下正面人体图像分割方法的流程示意图;
图4为本发明实施例四提供的一种复杂背景下正面人体图像分割方法的流程示意图;
图5为本发明实施例一提供的一种复杂背景下正面人体图像分割装置的示意图;
图6是本发明实施例志愿者在环境1下的正面图像;
图7是本发明实施例的超像素块示意图;
图8是本发明实施例的SLIC算法分割结果示意图;
图9是本发明实施例的人脸检测结果示意图;
图10是本发明实施例的人体正面结构比例示意图;
图11是本发明实施例的人体大致范围标记结果;
图12是本发明实施例对图6的正面人体分割结果对比;
图13是本发明实施例志愿者在环境2下的正面图像;
图14是本发明实施例对图13的正面人体分割结果对比;
图15是本发明实施例志愿者在环境3下的正面图像;
图16是本发明实施例对图15的正面人体分割结果对比。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
以下描述中,为了说明而不是为了限定,提出了诸如特定内部程序、技术之类的具体细节,以便透彻理解本发明实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本发明的描述。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
为了说明本发明的技术方案,下面通过具体实施例来进行说明。
实施例一
本发明实施例一提供了一种复杂背景下正面人体图像分割方法,图1为本发明实施例一提供的复杂背景下正面人体图像分割方法的流程示意图。如图1所示,本实施例的一种复杂背景下正面人体图像分割方法,可以包括以下步骤:
步骤101,采集特定站姿的人体正面图像;
步骤102,对人体正面图像进行预处理;
步骤103,对预处理后的人体正面图像进行人脸检测,确定人体头部位置,并结合人体正面结构比例确定人体大致范围;
步骤104,根据人体大致范围,对人体进行分割,并输出分割结果。
本实施例中的方法应用于复杂背景下的正面人体图像分割方法,为基于图像的非接触式人体测量奠定良好的基础。
以下将通过一个简单的例子解释说明本实施例的处理流程。
在正常光照条件下,利用数码相机拍摄人体正面图像;要求被拍摄者衣着颜色与背景颜色具有区分度;要求被拍摄者站立并挺直身体,手臂伸直并与躯体呈特定角度,双腿张开特定角度。
如图6所示,为一幅志愿者的人体正面图像I,被拍摄者身着黑色长袖上衣和合身裤装,呈站立姿势并挺直身体,手臂伸直并与躯体夹角约为30°,双腿张开约30°的角度。
本实施例对拍摄设备操作要求十分简单,拍摄环境与设备包括:背景墙与数码相机,其中背景可以包括杂物。为了能准确分割出正面人体图像,本发明要求环境光线不要太强烈,以免在人像或背景中形成明显的阴影。
本实施例中,要求采集特定站姿的人体正面图像,这是为了在后续的人体测量中获得比较准确的人体尺寸数据。需要对人体姿势进行规范要求的原因如下:
1、站立并挺直身体:有利于精确测量被拍摄者的身高、臂长、内长等尺寸长度;
2、手臂伸直并与躯体呈30°角度:这种姿势使上半身和背景有清晰的区分度,能够准确的测量出胸部位置的尺寸值及胸部关键点,同时测量人体其他部位尺寸更加方便,如腰宽、臀宽、胯宽、立裆长等;
3、双腿张开30°左右的角度:这种姿势使下半身和背景分离开,有利于准确测量内长、大腿围、小腿围等的尺寸值及裆部关键点。
本实施例中,采集特定站姿的人体正面图像作为图像处理的基础,当采集到合适的人体正面图像时,为后期处理奠定良好的基础。本实施例中,采集特定站姿的人体正面图像后,对人体正面图像进行预处理;对预处理后的人体正面图像进行人脸检测,确定人体头部位置,并结合人体正面结构比例确定人体大致范围;根据人体大致范围,对人体进行分割,并输出分割结果。
本实施例的一种复杂背景下正面人体图像分割方法,基于采集到合适的人体正面图像,再对图像进行处理,可以准确分割出正面人体图像。
实施例二
本发明实施例二提供了一种复杂背景下正面人体图像分割方法,图2为本发明实施例一提供的复杂背景下正面人体图像分割方法的流程示意图。如图2所示,本实施例的一种复杂背景下正面人体图像分割方法,可以包括以下步骤:
步骤201,采集特定站姿的人体正面图像;
步骤202,利用SLIC算法对人体正面图像提取超像素块;
步骤203,对每个超像素块生成Lab颜色直方图;
步骤204,计算相邻超像素块的颜色直方图之间的巴氏距离;
步骤205,对预处理后的人体正面图像进行人脸检测,确定人体头部位置,并结合人体正面结构比例确定人体大致范围;
步骤206,根据人体大致范围,对人体进行分割,并输出分割结果。
本实施例是在实施例一的基础上,对实施例一中的步骤102进行详细的解释和说明,步骤102的具体步骤在本实施例中具体包括:
步骤202,利用SLIC算法对人体正面图像提取超像素块;
步骤203,对每个超像素块生成Lab颜色直方图;
步骤204,计算相邻超像素块的颜色直方图之间的巴氏距离;
本实施例中的步骤201与实施例一的步骤101步骤相同,此处将不再赘述。以下将详细描述步骤202-步骤204的过程。
其中,步骤202中,先将人体正面图像I由RGB颜色空间转换到Lab颜色空间;
步骤202-1,Lab色彩模型是由亮度(L)和有关色彩的a,b共三个分量组成。L表示亮度,其值域是0(黑色)到100(白色)。a表示从洋红色至绿色,b表示从黄色至蓝色的范围。
Lab颜色空间的优点:
1)、Lab颜色空间的亮度L分量和颜色a,b分量是分开的;
2)、Lab是与设备无关的颜色模型;
3)、Lab不仅包含了RGB,CMYK的所有色域,还能表现它们无法表现的色彩,人的肉眼能感知的色彩,都能通过Lab模型表现出来。
步骤202-2,假定人体正面图像I的大小为N=m×n,超像素块的大小为50×50,则超像素块的数目K设定为
Figure GDA0003780104150000091
将I分割为K个相同大小的超像素块;
如图6所示的人体正面图像I的大小为3264×2448,超像素块的大小为50×50,则超像素块的数目K的计算公式为:
Figure GDA0003780104150000092
步骤202-3设定每个超像素块的中心为初始聚类中心;
如图7所示的虚线矩形表示一个50×50的超像素块SP1,设定该超像素块的中心点O1为这个超像素块的初始聚类中心,点O1的三个颜色分量值L、a和b分别记作
Figure GDA0003780104150000093
Figure GDA0003780104150000094
点O1的坐标记作
Figure GDA0003780104150000095
同理,其余各超像素块SP2,SP3,…,SPK的中心为初始聚类中心,记作O2,O3,…,OK
步骤202-4,在各初始聚类中心的邻域内,计算各像素点与该初始聚类中心的颜色距离dc及其坐标位置距离ds,并将dc与ds之和作为像素点与该初始聚类中心的距离d,如果距离d小于该像素点与其它初始聚类中心的距离,则该像素点属于该初始聚类中心所在的超像素块;
如图7所示,点A为超像素块SP1内的一个像素点,点A的L、a和b颜色分量值分别记作LA,aA和bA,点A的坐标记作(xA,yA)。点A与点O1的颜色距离dc1及其坐标位置距离ds1为:
Figure GDA0003780104150000101
Figure GDA0003780104150000102
点A与点O1的距离d1为:
Figure GDA0003780104150000103
其中,m=(Lmax-Lmin)2+(amax-amin)2+(bmax-bmin)2,这里,Lmax、amax、bmax表示图像I中所有像素点的L、a和b颜色分量值的最大值,Lmin、amin、bmin表示图像I中所有像素点的L、a和b颜色分量值的最小值。
S是类内最大空间距离,
Figure GDA0003780104150000104
其中,N表示人体正面图像I中的像素点数目,K表示超像素块的数目。
计算点A与其余超像素块SP2,SP3,…,SPK的初始聚类中心O2,O3,…,OK的距离,得到d,d2,…,dK。比较d1和d2,…,dK的大小,如果d1小于d2,…,dK,则点A看作属于O1所在的超像素块SP1
同理比较超像素块SP1中的其余像素点,为各像素点分配超像素类标签。
步骤202-5,计算各超像素块中所有像素点的L、a和b三个颜色分量的均值和坐标位置均值;
假定超像素块SP1内共包括n个像素点,其颜色均值和坐标位置均值按下式计算:
Figure GDA0003780104150000111
Figure GDA0003780104150000112
Figure GDA0003780104150000113
Figure GDA0003780104150000114
Figure GDA0003780104150000115
则超像素块SP1的聚类中心的颜色分量和坐标分量分别为
Figure GDA0003780104150000116
Figure GDA0003780104150000117
反复执行步骤202-4和202-5,直到聚类中心保持不变,则输出各超像素块。
如图8所示为志愿者正面图像的SLIC算法超像素分割结果示意图。
步骤203,对每个超像素块生成Lab颜色直方图;其包括如下步骤:
步骤203-1,将L、a和b三个分量等分为8个区间;
步骤203-2,在各超像素块内,统计各个像素点在L、a、b三个分量8个区间内的分布情况,计算L、a、b三个分量分别落入8个区间的数目,构建归一化颜色直方图。
步骤204,计算相邻超像素块的颜色直方图之间的巴氏距离;其包括如下步骤:
假定P和Q为两个相邻超像素块,它们的归一化颜色直方图分别表示为Hp和HQ,则P和Q之间的巴氏距离:
Figure GDA0003780104150000118
其中,i表示直方图中第i个数值。
本实施例中,步骤205和步骤206与实施例一中的步骤103、104相同,此处将不再赘述。
本实施例详细描述了实施例一中步骤102,对人体正面图像进行预处理的详细处理过程,利用SLIC超像素分割算法,将图像分割成若干个超像素块,生成Lab直方图,并且计算巴氏距离。
实施例三
本发明实施例三提供了一种复杂背景下正面人体图像分割方法,图3为本发明实施例一提供的复杂背景下正面人体图像分割方法的流程示意图。如图3所示,本实施例的一种复杂背景下正面人体图像分割方法,可以包括以下步骤:
步骤301,采集特定站姿的人体正面图像;
步骤302,利用SLIC算法对人体正面图像提取超像素块;
步骤303,对每个超像素块生成Lab颜色直方图;
步骤304,计算相邻超像素块的颜色直方图之间的巴氏距离;
步骤305,利用Adaboost算法对预处理后的人体正面图像进行人脸检测,确定人体头部位置,并结合人体正面结构比例确定人体大致范围;
步骤306,根据人体大致范围,对人体进行分割,并输出分割结果。
本实施例是在实施例二的基础上,对实施例一中的步骤205中的Adaboost算法进行详细的解释和说明,具体包括:
步骤305-1,离线收集大量不同光照条件下的人脸正样本以及非人脸负样本,建立样本集;
步骤305-2,对样本集中各图像使用Haar-like特征做检测,再用积分图对Haar-like特征求值;
在人脸检测时有一个子窗口在待检测的图片窗口中不断地滑动,子窗口每到一个位置,就计算该区域的特征,而积分图就是只遍历一次图像就可以求出图像中所有区域像素和的快速算法,大大提高了图像特征值计算的效率。
步骤305-3,利用Adaboost算法挑选分类能力强的特征作为弱分类器,计算弱分类器阈值;
步骤305-4,利用挑选出的弱分类器组成一个强分类器,计算强分类器阈值;
步骤305-5,将强分类器级联成一个多层分类器;
步骤305-6,利用训练的分类器对正面人体图像检测人脸,得到人脸位置R1,将其头长记作h。
如图9所示黑色矩形框部分即为人脸检测的结果。
以图像左上角为坐标系原点,宽为轴,高为轴,矩形框左上角A点坐标为(1150,206),右下角B点坐标为(1490,626),计算可得头长:
h=yB-yA=626-206=420
本实施例中,基于实施例一和实施例二的处理基础上,利用Adaboost算法对经过实施例二中预处理后的图像进行人脸检测,并确定人体头部的位置。
实施例四
本发明实施例四提供了一种复杂背景下正面人体图像分割方法,图4为本发明实施例一提供的复杂背景下正面人体图像分割方法的流程示意图。如图4所示,本实施例的一种复杂背景下正面人体图像分割方法,可以包括以下步骤:
步骤401,采集特定站姿的人体正面图像;
步骤402,利用SLIC算法对人体正面图像提取超像素块;
步骤403,对每个超像素块生成Lab颜色直方图;
步骤404,计算相邻超像素块的颜色直方图之间的巴氏距离;
步骤405,利用Adaboost算法对预处理后的人体正面图像进行人脸检测,确定人体头部位置,并结合人体正面结构比例确定人体大致范围;
步骤406,根据人体大致范围,结合超像素块,进行人体的初步分割,并将超像素块标记为前景块和背景块;
步骤407,遍历所有前景块,当前景块与其相邻背景块间的巴氏距离大于阈值,则将前景块标记为背景块;
步骤408,将阈值减去一个定值,重复步骤上一步骤,直到阈值大于预定值,最终输出人体分割结果。
本实施例是在实施例三的基础上,对实施例三中的步骤306,根据人体大致范围,对人体进行分割,并输出分割结果进行详细地描述和解释。
其中,步骤401-步骤405在前述实施例中均作了详细的说明,此处将不再赘述。
步骤406,利用人体头部,结合人体正面结构比例,确定人体大致范围;其包括如下步骤:
首先,说明一下人体的比例位置关系。
图10是人体正面结构比例示意图。人体的比例通常是以人的头长为单位来计量的。在我国,人体的正常高度通常为7个到7个半头长,大致比例如下:
躯干共3个头长,颏底至乳头连线一个头长,乳头连线至脐孔1个头长,脐孔至耻骨稍下1个头长。
上肢共3个头长。上臂
Figure GDA0003780104150000141
个头长,前臂1个头长,手
Figure GDA0003780104150000142
个头长。
下肢共4个头长,大腿2个头长,(髂前上棘稍下至膝关节)。小腿2个头长(膝关节至足底)。
人体的
Figure GDA0003780104150000143
处约在耻骨联合部位。
因此,结合人体正面结构比例,本发明将正面图像中的下列内容作为人体大致范围:
1.人脸位置R1
2.人脸位置R1下方的梯形区域R2,该梯形区域上底等于3h,下底等于6h,高等于3.5h;
3.R2下方的矩形区域R3,该矩形区域长度等于3.5h,宽度等于2h,并从R3中间去除1个像素宽度的区域。
然后,根据人体大致范围,结合超像素块,进行人体的初步分割,并将超像素块标记为前景块和背景块;其包括如下步骤:
当超像素块中至少有一个像素不属于人体大致范围,将该超像素块标记为背景块,否则标记该超像素块为前景块。
如图11为人体大致范围标记结果。
步骤407,遍历所有前景块,当前景块与其相邻背景块间的巴氏距离大于阈值th,则将前景块标记为背景块;其包括如下步骤:
假定一前景块P,其相邻块中有一背景块Q,如果满足ρ(P,Q)>th,则将前景块P标记为背景块,遍历所有的前景块,直到没有前景块被标记为背景块,本发明中将th的值设置为2.99。
步骤408,将阈值th减去一个定值,重复步骤S8,直到阈值th大于预定值,最终输出人体分割结果;其包括如下步骤:
将阈值th减去一个定值(本发明中设置为0.01),再次遍历所有前景块,当前景块与其相邻背景块间的巴氏距离大于阈值th,则将前景块标记为背景块,这样一直进行下去,直到阈值th大于预定值,最终输出人体分割结果。
如图12(A)为最终的人体分割结果示意图。
根据上述实施例的方法,选择了3种在不同背景和光照条件下的正面人体图像,包括:
(1)环境1,如图6所示,背景中包括伞、茶杯和杯子等物品,且光照明亮;
(2)环境2,如图13所示,背景中包括植物、椅子,且光照较暗;
(3)环境3,如图15所示,背景中包括纹理图案,且光照较亮。
利用本发明公开的方法、OTSU、区域生长法和GrabCut算法共四种方法对上述三幅图像进行了正面人体分割实验。图12(A,B,C,D)分别为利用本发明方法、OTSU、区域生长法和GrabCut算法对图6所示正面人体图像进行分割的结果。图14(A,B,C,D)分别为利用本发明方法、OTSU、区域生长法和GrabCut算法对图13所示正面人体图像进行分割的结果。图16(A,B,C,D)分别为利用本发明方法、OTSU、区域生长法和GrabCut算法对图15所示正面人体图像进行分割的结果。
从上面结果中可见,利用本发明方法可以准确地将正面人体从复杂背景中提取出来;OTSU算法只适用于简单背景,当遇到复杂背景时,该方法则无法准确地将正面人体从复杂背景中提取出来;区域生长法提取出的轮廓含有背景杂物、光线阴影等内容,则无法准确地将正面人体从复杂背景中提取出来;GrabCut算法对于复杂背景的图像,提取效果也不理想。总之,利用本发明方法可以准确地分割正面人体,并对于复杂背景具有一定的鲁棒性。
实施例五
本发明实施例五提供了一种复杂背景下正面人体图像分割方法,图5为本发明实施例一提供的复杂背景下正面人体图像分割方法的流程示意图。如图5所示,本实施例的一种复杂背景下正面人体图像分割装置,可以包括
采集装置500,用于采集特定站姿的人体正面图像;
预处理装置510,用于对人体正面图像进行预处理;
检测装置520,用于对预处理后的人体正面图像进行人脸检测,确定人体头部位置,并结合人体正面结构比例确定人体大致范围;
分割装置530,用于根据人体大致范围,对人体进行分割,并输出分割结果。
进一步地,预处理装置510包括:
提取模块511,用于利用SLIC算法对人体正面图像提取超像素块;
直方图模块512,用于对每个超像素块生成Lab颜色直方图;
计算模块513,用于计算相邻超像素块的颜色直方图之间的巴氏距离。
进一步地,检测装置520具体用于利用Adaboost算法对预处理后的人体正面图像进行人脸检测,确定人体头部位置。
进一步地,分割装置530包括:
初步分割模块531,用于根据人体大致范围,结合超像素块,进行人体的初步分割,并将超像素块标记为前景块和背景块;
标记模块532,用于遍历所有前景块,当前景块与其相邻背景块间的巴氏距离大于阈值,则将前景块标记为背景块;
输出模块533,用于将阈值减去一个定值,重复上一步骤,直到阈值大于预定值,最终输出人体分割结果。
本实施例提供的一种复杂背景下正面人体图像分割装置,用于实现上述实施例的一种复杂背景下正面人体图像分割方法,其实现过程在上述实施例中均有详细解释,此处将不再赘述。
实施例六
本发明实施例六提供了一种电子设备,包括存储器和处理器存储器用于存储一条或多条计算机指令,其中,一条或多条计算机指令被所述处理器执行以实现上述任一实施例所述的复杂背景下正面人体图像分割方法。
本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序使计算机执行时可以实现上述任一实施例所述的复杂背景下正面人体图像分割方法。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
示例性的,计算机程序可以被分割成一个或多个模块/单元,一个或者多个模块/单元被存储在存储器中,并由处理器执行,以完成本发明。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述计算机程序在计算机设备中的执行过程。
计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。计算机设备可包括,但不仅限于,处理器、存储器。本领域技术人员可以理解,本实施例仅仅是计算机设备的示例,并不构成对计算机设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如计算机设备还可以包括输入输出设备、网络接入设备、总线等。
处理器可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可以是计算机设备的内部存储单元,例如计算机设备的硬盘或内存。存储器也可以是计算机设备的外部存储设备,例如计算机设备上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,存储器还可以既包括计算机设备的内部存储单元也包括外部存储设备。存储器用于存储计算机程序以及计算机设备所需的其他程序和数据。存储器还可以用于暂时地存储已经输出或者将要输出的数据。
本发明实施例还提供了一种存储有计算机程序的计算机可读存储介质,计算机程序使计算机执行时实现上述任一项的复杂背景下正面人体图像分割方法。
本发明的复杂背景下正面人体图像分割方法及装置,利用SLIC超像素分割算法,将图像分割成若干个超像素块;利用Adaboost算法确定人脸位置,并结合人体正面比例关系确定人体大致范围;计算前景块与其相邻背景块间的巴氏距离,通过迭代法不断将背景块进行合并,最终得到正面人体图像的分割结果。本专利采用固定阈值,不需要人工调整阈值,正面人体分割算法对于背景复杂度变化具有鲁棒性,很好地解决了正面人体图像自动分割的难题,同时也为后续的非接触式人体测量工作垫定了良好的基础。
以上详细描述了本发明的具体实施例。应当理解,本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此,凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案,皆应在由权利要求书所确定的保护范围内。

Claims (4)

1.一种复杂背景下正面人体图像分割方法,其特征在于,包括以下步骤:
步骤101,采集特定站姿的人体正面图像;
步骤102,对所述人体正面图像进行预处理;具体包括以下步骤:
利用SLIC算法对人体正面图像提取超像素块;具体为先将人体正面图像I由RGB颜色空间转换到Lab颜色空间;包括以下步骤:
Lab色彩模型是由亮度L和有关色彩的a,b共三个分量组成;L表示亮度,其值域是0到100;a表示从洋红色至绿色,b表示从黄色至蓝色的范围;
假定人体正面图像I的大小为N=m×n,超像素块的大小为50×50,则超像素块的数目K设定为
Figure FDA0004022396800000011
将1分割为K个相同大小的超像素块;
人体正面图像I的大小为3264×2448,超像素块的大小为50×50,则超像素块的数目K的计算公式为:
Figure FDA0004022396800000012
设定每个超像素块的中心为初始聚类中心;
虚线矩形表示一个50×50的超像素块SP1,设定该超像素块的中心点O1为这个超像素块的初始聚类中心,点O1的三个颜色分量值L、a和b分别记作
Figure FDA0004022396800000013
Figure FDA0004022396800000014
点O1的坐标记作
Figure FDA0004022396800000015
同理,其余各超像素块SP2,SP3,…,SPK的中心为初始聚类中心,记作O2,O3,…,OK
在各初始聚类中心的邻域内,计算各像素点与该初始聚类中心的颜色距离dc及其坐标位置距离ds,并将dc与ds之和作为像素点与该初始聚类中心的距离d,如果距离d小于该像素点与其它初始聚类中心的距离,则该像素点属于该初始聚类中心所在的超像素块;
点A为超像素块SP1内的一个像素点,点A的L、a和b颜色分量值分别记作LA,aA和bA,点A的坐标记作(xA,yA);点A与点O1的颜色距离dc1及其坐标位置距离ds1为:
Figure FDA0004022396800000021
Figure FDA0004022396800000022
点A与点O1的距离d1为:
Figure FDA0004022396800000023
其中,m=(Lmax-Lmin)2+(amax-amin)2+(bmax-bmin)2,这里,Lmax、amax、bmax表示图像I中所有像素点的L、a和b颜色分量值的最大值,Lmin、amin、bmin表示图像I中所有像素点的L、a和b颜色分量值的最小值;
S是类内最大空间距离,
Figure FDA0004022396800000024
其中,N表示人体正面图像I中的像素点数目,K表示超像素块的数目;
计算点A与其余超像素块SP2,SP3,…,SPK的初始聚类中心O2,O3,…,OK的距离,得到d,d2,…,dK;比较d1和d2,…,dK的大小,如果d1小于d2,…,dK,则点A看作属于O1所在的超像素块SP1
同理比较超像素块SP1中的其余像素点,为各像素点分配超像素类标签;
计算各超像素块中所有像素点的L、a和b三个颜色分量的均值和坐标位置均值;
假定超像素块SP1内共包括n个像素点,其颜色均值和坐标位置均值按下式计算:
Figure FDA0004022396800000025
Figure FDA0004022396800000031
Figure FDA0004022396800000032
Figure FDA0004022396800000033
Figure FDA0004022396800000034
则超像素块SP1的聚类中心的颜色分量和坐标分量分别为
Figure FDA0004022396800000035
Figure FDA0004022396800000036
反复执行上述步骤,直到聚类中心保持不变,则输出各超像素块;
对每个超像素块生成Lab颜色直方图;其包括如下步骤:
将L、a和b三个分量等分为8个区间;
在各超像素块内,统计各个像素点在L、a、b三个分量8个区间内的分布情况,计算L、a、b三个分量分别落入8个区间的数目,构建归一化颜色直方图;
计算相邻超像素块的颜色直方图之间的巴氏距离;其包括如下步骤:
假定P和Q为两个相邻超像素块,它们的归一化颜色直方图分别表示为Hp和HQ,则P和Q之间的巴氏距离:
Figure FDA0004022396800000037
其中,i表示直方图中第i个数值;
步骤103,对预处理后的所述人体正面图像进行人脸检测,确定人体头部位置,并结合人体正面结构比例确定人体大致范围;具体是利用Adaboost算法对预处理后的所述人体正面图像进行人脸检测,确定人体头部位置,并结合人体正面结构比例确定人体大致范围;具体包括:
离线收集大量不同光照条件下的人脸正样本以及非人脸负样本,建立样本集;
对样本集中各图像使用Haar-like特征做检测,再用积分图对Haar-like特征求值;
在人脸检测时有一个子窗口在待检测的图片窗口中不断地滑动,子窗口每到一个位置,就计算该区域的特征,而积分图就是只遍历一次图像就可以求出图像中所有区域像素和的快速算法,大大提高了图像特征值计算的效率;
利用Adaboost算法挑选分类能力强的特征作为弱分类器,计算弱分类器阈值;
利用挑选出的弱分类器组成一个强分类器,计算强分类器阈值;
将强分类器级联成一个多层分类器;
利用训练的分类器对正面人体图像检测人脸,得到人脸位置R1,将其头长记作h;
步骤104,根据所述人体大致范围,对人体进行分割,并输出分割结果,具体包括以下步骤:
步骤104-1,根据人体大致范围,结合超像素块,进行人体的初步分割,并将超像素块标记为前景块和背景块;
步骤104-2,遍历所有前景块,当前景块与其相邻背景块间的巴氏距离大于阈值,则将前景块标记为背景块;
步骤104-3,将阈值减去一个定值,重复步骤104-2,直到阈值大于预定值,最终输出人体分割结果。
2.一种复杂背景下正面人体图像分割装置,其特征在于,包括:
采集装置,用于采集特定站姿的人体正面图像;
预处理装置,用于对所述人体正面图像进行预处理;所述预处理装置包括:
提取模块,用于利用SLIC算法对人体正面图像提取超像素块;具体包括以下步骤:先将人体正面图像I由RGB颜色空间转换到Lab颜色空间;包括以下步骤:
Lab色彩模型是由亮度L和有关色彩的a,b共三个分量组成;L表示亮度,其值域是0到100;a表示从洋红色至绿色,b表示从黄色至蓝色的范围;
假定人体正面图像I的大小为N=m×n,超像素块的大小为50×50,则超像素块的数目K设定为
Figure FDA0004022396800000051
将I分割为K个相同大小的超像素块;
人体正面图像I的大小为3264×2448,超像素块的大小为50×50,则超像素块的数目K的计算公式为:
Figure FDA0004022396800000052
设定每个超像素块的中心为初始聚类中心;
虚线矩形表示一个50×50的超像素块SP1,设定该超像素块的中心点O1为这个超像素块的初始聚类中心,点O1的三个颜色分量值L、a和b分别记作
Figure FDA0004022396800000053
Figure FDA0004022396800000054
点O1的坐标记作
Figure FDA0004022396800000055
同理,其余各超像素块SP2,SP3,…,SPK的中心为初始聚类中心,记作O2,O3,…,OK
在各初始聚类中心的邻域内,计算各像素点与该初始聚类中心的颜色距离dc及其坐标位置距离ds,并将dc与ds之和作为像素点与该初始聚类中心的距离d,如果距离d小于该像素点与其它初始聚类中心的距离,则该像素点属于该初始聚类中心所在的超像素块;
点A为超像素块SP1内的一个像素点,点A的L、a和b颜色分量值分别记作LA,aA和bA,点A的坐标记作(xA,yA);点A与点O1的颜色距离dc1及其坐标位置距离ds1为:
Figure FDA0004022396800000061
Figure FDA0004022396800000062
点A与点O1的距离d1为:
Figure FDA0004022396800000063
其中,m=(Lmax-Lmin)2+(amax-amin)2+(bmax-bmin)2,这里,Lmax、amax、bmax表示图像I中所有像素点的L、a和b颜色分量值的最大值,Lmin、amin、bmin表示图像I中所有像素点的L、a和b颜色分量值的最小值;
S是类内最大空间距离,
Figure FDA0004022396800000064
其中,N表示人体正面图像I中的像素点数目,K表示超像素块的数目;
计算点A与其余超像素块SP2,SP3,…,SPK的初始聚类中心O2,O3,…,OK的距离,得到d,d2,…,dK;比较d1和d2,…,dK的大小,如果d1小于d2,…,dK,则点A看作属于O1所在的超像素块SP1
同理比较超像素块SP1中的其余像素点,为各像素点分配超像素类标签;
计算各超像素块中所有像素点的L、a和b三个颜色分量的均值和坐标位置均值;
假定超像素块SP1内共包括n个像素点,其颜色均值和坐标位置均值按下式计算:
Figure FDA0004022396800000065
Figure FDA0004022396800000066
Figure FDA0004022396800000067
Figure FDA0004022396800000068
Figure FDA0004022396800000071
则超像素块SP1的聚类中心的颜色分量和坐标分量分别为
Figure FDA0004022396800000072
Figure FDA0004022396800000073
反复执行上述步骤,直到聚类中心保持不变,则输出各超像素块;
直方图模块,用于对每个超像素块生成Lab颜色直方图;具体包括以下步骤:
将L、a和b三个分量等分为8个区间;
在各超像素块内,统计各个像素点在L、a、b三个分量8个区间内的分布情况,计算L、a、b三个分量分别落入8个区间的数目,构建归一化颜色直方图;
计算模块,用于计算相邻超像素块的颜色直方图之间的巴氏距离;具体包括以下步骤:
假定P和Q为两个相邻超像素块,它们的归一化颜色直方图分别表示为Hp和HQ,则P和Q之间的巴氏距离:
Figure FDA0004022396800000074
其中,i表示直方图中第i个数值;
检测装置,用于对预处理后的所述人体正面图像进行人脸检测,确定人体头部位置,并结合人体正面结构比例确定人体大致范围;所述检测装置具体用于利用Adaboost算法对预处理后的所述人体正面图像进行人脸检测,确定人体头部位置,并结合人体正面结构比例确定人体大致范围;具体包括以下步骤:
离线收集大量不同光照条件下的人脸正样本以及非人脸负样本,建立样本集;
对样本集中各图像使用Haar-like特征做检测,再用积分图对Haar-like特征求值;
在人脸检测时有一个子窗口在待检测的图片窗口中不断地滑动,子窗口每到一个位置,就计算该区域的特征,而积分图就是只遍历一次图像就可以求出图像中所有区域像素和的快速算法,大大提高了图像特征值计算的效率;
利用Adaboost算法挑选分类能力强的特征作为弱分类器,计算弱分类器阈值;
利用挑选出的弱分类器组成一个强分类器,计算强分类器阈值;
将强分类器级联成一个多层分类器;
利用训练的分类器对正面人体图像检测人脸,得到人脸位置R1,将其头长记作h;
分割装置,用于根据所述人体大致范围,对人体进行分割,并输出分割结果,所述分割装置包括:
初步分割模块,用于根据人体大致范围,结合超像素块,进行人体的初步分割,并将超像素块标记为前景块和背景块;
标记模块,用于遍历所有前景块,当前景块与其相邻背景块间的巴氏距离大于阈值,则将前景块标记为背景块;
输出模块,用于将阈值减去一个定值,重复所述标记模块的步骤,直到阈值大于预定值,最终输出人体分割结果。
3.一种电子设备,其特征在于,包括存储器和处理器,所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行以实现如权利要求1所述的复杂背景下正面人体图像分割方法。
4.一种存储有计算机程序的计算机可读存储介质,其特征在于,所述计算机程序使计算机执行时实现如权利要求1所述的复杂背景下正面人体图像分割方法。
CN201811408050.8A 2018-11-23 2018-11-23 一种复杂背景下正面人体图像分割方法及装置 Active CN109509194B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811408050.8A CN109509194B (zh) 2018-11-23 2018-11-23 一种复杂背景下正面人体图像分割方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811408050.8A CN109509194B (zh) 2018-11-23 2018-11-23 一种复杂背景下正面人体图像分割方法及装置

Publications (2)

Publication Number Publication Date
CN109509194A CN109509194A (zh) 2019-03-22
CN109509194B true CN109509194B (zh) 2023-04-28

Family

ID=65750459

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811408050.8A Active CN109509194B (zh) 2018-11-23 2018-11-23 一种复杂背景下正面人体图像分割方法及装置

Country Status (1)

Country Link
CN (1) CN109509194B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113034387B (zh) * 2021-03-05 2023-07-14 成都国科微电子有限公司 一种图像去噪方法、装置、设备及介质
CN113822175B (zh) * 2021-09-03 2023-09-01 西安工程大学 一种基于关键点聚类驱动匹配的虚拟试衣图像生成方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104134217A (zh) * 2014-07-29 2014-11-05 中国科学院自动化研究所 一种基于超体素图割的视频显著物体分割方法
CN105118051A (zh) * 2015-07-29 2015-12-02 广东工业大学 一种应用于静态图像人体分割的显著性检测方法
CN107578035A (zh) * 2017-09-30 2018-01-12 深圳市颐通科技有限公司 基于超像素‑多色彩空间的人体轮廓提取方法
CN108596140A (zh) * 2018-05-08 2018-09-28 青岛海信移动通信技术股份有限公司 一种移动终端人脸识别方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011068508A1 (en) * 2009-12-02 2011-06-09 Hewlett-Packard Development Company, Lp System and method of foreground-background segmentation of digitized images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104134217A (zh) * 2014-07-29 2014-11-05 中国科学院自动化研究所 一种基于超体素图割的视频显著物体分割方法
CN105118051A (zh) * 2015-07-29 2015-12-02 广东工业大学 一种应用于静态图像人体分割的显著性检测方法
CN107578035A (zh) * 2017-09-30 2018-01-12 深圳市颐通科技有限公司 基于超像素‑多色彩空间的人体轮廓提取方法
CN108596140A (zh) * 2018-05-08 2018-09-28 青岛海信移动通信技术股份有限公司 一种移动终端人脸识别方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于图像的人体尺寸测量方法研究;贾俊瑛;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20200715;第I138-1085页 *
基于特征融合与度量学习的行人再识别;高木;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20180415;第I138-2318页 *

Also Published As

Publication number Publication date
CN109509194A (zh) 2019-03-22

Similar Documents

Publication Publication Date Title
CN104834898B (zh) 一种人物摄影图像的质量分类方法
CN108009531B (zh) 一种多策略防欺诈的人脸识别方法
CN105740945B (zh) 一种基于视频分析的人群计数方法
CN105740780B (zh) 人脸活体检测的方法和装置
CN105447441B (zh) 人脸认证方法和装置
CN104504723B (zh) 基于视觉显著特征的图像配准方法
CN103210421B (zh) 物体检测装置及物体检测方法
Hao et al. Improved self-adaptive edge detection method based on Canny
CN105279769B (zh) 一种联合多特征的层次粒子滤波跟踪方法
CN106023151B (zh) 一种开放环境下中医舌象目标检测方法
CN104835175B (zh) 一种基于视觉注意机制的核环境中目标检测方法
CN105260750B (zh) 一种奶牛识别方法及系统
CN105335725A (zh) 一种基于特征融合的步态识别身份认证方法
CN105160686B (zh) 一种基于改进sift算子的低空多视角遥感影像匹配方法
CN110569784B (zh) 一种人体尺寸测量方法、系统、存储介质及电子设备
CN109725721B (zh) 用于裸眼3d显示系统的人眼定位方法及系统
CN113177977A (zh) 一种非接触式三维人体尺寸的测量方法
CN110111372A (zh) 基于sift+ransac算法的医学图像配准和融合方法
CN109509194B (zh) 一种复杂背景下正面人体图像分割方法及装置
CN110458792A (zh) 人脸图像质量的评价方法及装置
CN106886754B (zh) 一种基于三角面片的三维场景下的物体识别方法及系统
CN105654479A (zh) 多光谱图像配准方法和装置
CN108648228A (zh) 一种双目红外人体尺寸测量方法及系统
CN110348344A (zh) 一种基于二维和三维融合的特殊人脸表情识别的方法
Bogo et al. Automated detection of new or evolving melanocytic lesions using a 3D body model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant