CN108717530B - 图像处理方法、装置、计算机可读存储介质和电子设备 - Google Patents

图像处理方法、装置、计算机可读存储介质和电子设备 Download PDF

Info

Publication number
CN108717530B
CN108717530B CN201810486157.8A CN201810486157A CN108717530B CN 108717530 B CN108717530 B CN 108717530B CN 201810486157 A CN201810486157 A CN 201810486157A CN 108717530 B CN108717530 B CN 108717530B
Authority
CN
China
Prior art keywords
image
processed
face
coordinates
light effect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810486157.8A
Other languages
English (en)
Other versions
CN108717530A (zh
Inventor
袁全
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201810486157.8A priority Critical patent/CN108717530B/zh
Publication of CN108717530A publication Critical patent/CN108717530A/zh
Application granted granted Critical
Publication of CN108717530B publication Critical patent/CN108717530B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Abstract

本申请涉及一种图像处理方法、装置、计算机可读存储介质和电子设备。所述方法包括:获取包含至少一张待处理图像的图像集合;遍历所述图像集合中的待处理图像,检测所述待处理图像中包含的目标人脸图像,并获取所述目标人脸图像在所述待处理图像中的人脸坐标;根据所述人脸坐标将所述待处理图像进行分类,并根据所述人脸坐标获取每一类待处理图像对应的光效增强模型,所述光效增强模型为模拟光线变化曲线的模型;根据获取的所述光效增强模型对所述待处理图像进行光效增强处理。上述图像处理方法、装置、计算机可读存储介质和电子设备,可以提高图像处理的效率。

Description

图像处理方法、装置、计算机可读存储介质和电子设备
技术领域
本申请涉及计算机技术领域,特别是涉及一种图像处理方法、装置、计算机可读存储介质和电子设备。
背景技术
智能终端可以获取图像,并对图像进行处理,使图像更贴合用户的需求和审美。例如,智能终端可以从网络上获取图片,还可以直接通过摄像头采集图片。智能终端获取到图像之后,用户还可以根据自己的需求进行不同的处理。例如,对图片进行美颜、白平衡、亮度调节等处理。
发明内容
本申请实施例提供一种图像处理方法、装置、计算机可读存储介质和电子设备,可以提高图像处理的效率。
一种图像处理方法,包括:
获取包含至少一张待处理图像的图像集合;
遍历所述图像集合中的待处理图像,检测所述待处理图像中包含的目标人脸图像,并获取所述目标人脸图像在所述待处理图像中的人脸坐标;
根据所述人脸坐标将所述待处理图像进行分类,并根据所述人脸坐标获取每一类待处理图像对应的光效增强模型,所述光效增强模型为模拟光线变化曲线的模型;
根据获取的所述光效增强模型对所述待处理图像进行光效增强处理。
一种图像处理装置,包括:
图像获取模块,用于获取包含至少一张待处理图像的图像集合;
坐标获取模块,用于遍历所述图像集合中的待处理图像,检测所述待处理图像中包含的目标人脸图像,并获取所述目标人脸图像在所述待处理图像中的人脸坐标;
模型获取模块,用于根据所述人脸坐标将所述待处理图像进行分类,并根据所述人脸坐标获取每一类待处理图像对应的光效增强模型,所述光效增强模型为模拟光线变化曲线的模型;
光效处理模块,用于根据获取的所述光效增强模型对所述待处理图像进行光效增强处理。
一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如下步骤:
获取包含至少一张待处理图像的图像集合;
遍历所述图像集合中的待处理图像,检测所述待处理图像中包含的目标人脸图像,并获取所述目标人脸图像在所述待处理图像中的人脸坐标;
根据所述人脸坐标将所述待处理图像进行分类,并根据所述人脸坐标获取每一类待处理图像对应的光效增强模型,所述光效增强模型为模拟光线变化曲线的模型;
根据获取的所述光效增强模型对所述待处理图像进行光效增强处理。
一种电子设备,包括存储器及处理器,所述存储器中储存有计算机可读指令,所述指令被所述处理器执行时,使得所述处理器执行如下步骤:
获取包含至少一张待处理图像的图像集合;
遍历所述图像集合中的待处理图像,检测所述待处理图像中包含的目标人脸图像,并获取所述目标人脸图像在所述待处理图像中的人脸坐标;
根据所述人脸坐标将所述待处理图像进行分类,并根据所述人脸坐标获取每一类待处理图像对应的光效增强模型,所述光效增强模型为模拟光线变化曲线的模型;
根据获取的所述光效增强模型对所述待处理图像进行光效增强处理。
上述图像处理方法、装置、计算机可读存储介质和电子设备,可以获取包含待处理图像的图像集合,然后遍历图像集合中的待处理图像,检测待处理图像中包含的目标人脸图像及对应的人脸坐标。根据人脸坐标可以将待处理图像进行分类,根据分类结果获取光效增强模型,并根据获取的光效增强模型对待处理图像进行光效增强处理。这样在对多张图像进行处理的时候,可以将这多张图像进行分批处理,提高了图像处理的效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中图像处理方法的应用环境图;
图2为一个实施例中图像处理方法的流程图;
图3为另一个实施例中图像处理方法的流程图;
图4为一个实施例中人脸坐标聚类结果的展示示意图;
图5为又一个实施例中图像处理方法的流程图;
图6为一个实施例中光效增强模型的示意图;
图7为一个实施例中图像处理装置的结构示意图;
图8为一个实施例中图像处理电路的示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件,但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说,在不脱离本申请的范围的情况下,可以将第一客户端称为第二客户端,且类似地,可将第二客户端称为第一客户端。第一客户端和第二客户端两者都是客户端,但其不是同一客户端。
图1为一个实施例中图像处理方法的应用环境图。如图1所示,该应用环境图中包含终端102和服务器104。其中,终端102和服务器104之间可以传输图像,终端102可以向服务器104发送图像,服务器104也可以向终端发送图像。终端102或服务器104上可以存储包含至少一张待处理图像的图像集合,然后检测每一张待处理图像中包含的目标人脸图像,以及目标人脸图像在待处理图像中的人脸坐标。根据人脸坐标可以将待处理图像进行分类,并根据人脸坐标获取每一类待处理图像对应的光效增强模型。最后根据获取的光效增强模型对待处理图像进行光效增强处理。其中,终端102是处于计算机网络最外围,主要用于输入用户信息以及输出处理结果的电子设备,例如可以是个人电脑、移动终端、个人数字助理、可穿戴电子设备等。服务器104是用于响应服务请求,同时提供计算服务的设备,例如可以是一台或者多台计算机。可以理解的是,上述图像处理方法的应用场景中可以只包含终端102,也可以只包含服务器104,在此不做限定。
图2为一个实施例中图像处理方法的流程图。如图2所示,该图像处理方法包括步骤202至步骤208。其中:
步骤202,获取包含至少一张待处理图像的图像集合。
图像集合是指待处理图像组成的集合,其中可以包含一张待处理图像,也可以包含多张待处理图像,在此不做限定。可以理解的是,电子设备上存储的待处理图像可以是通过自身安装的摄像头拍摄得到的,也可以是由其他电子设备发送的。例如,移动终端可以拍摄照片,当移动终端中存储的照片数量大于一定值时,就可以将拍摄的照片上传到服务器上,服务器再根据上传的照片进行批量地光效处理。对图像进行批量光效处理可以是由用户触发的,也可以是在满足一定条件时由电子设备自动触发的。
具体地,步骤202具体可以包括,当检测到满足触发条件时,获取包含至少一张待处理图像的图像集合。例如,触发条件可以是在检测到用户输入的触发指令;或者图像集合中存储的待处理图像的数量大于触发数量阈值;还可以是在预设时刻定时进行触发等。电子设备存储的待处理图像可以存放在一个预设的文件夹中,当满足上述触发条件时,电子设备可以通过预设的文件路径来获取上述图像集合,并对获取的图像集合进行批量处理。
步骤204,遍历图像集合中的待处理图像,检测待处理图像中包含的目标人脸图像,并获取目标人脸图像在待处理图像中的人脸坐标。
在一个实施例中,电子设备在获取到图像集合之后,可以遍历图像集合中的待处理图像,并对每一张待处理图像进行人脸检测处理,检测待处理图像中的人脸图像。人脸检测算法可以但不限于是局部保持投影(Locality Preserving Projections,LPP)、主成分分析(Principal Component Analysis,PCA)、特征脸法(Karhunen-LoèveTransform,KL)、人工神经网络等。目标人脸图像是指用于需要进行光效处理的人脸图像,目标人脸图像可以是待处理图像中包含的任意一张人脸图像,也可以是待处理图像中包含的所有人脸图像。例如,一张待处理图像中包含两张人脸图像“FACE_01”和“FACE_02”,则目标人脸图像可以是“FACE_01”和“FACE_02”,也可以是“FACE_01”或“FACE_02”。
图像是由若干像素点构成的二维像素矩阵,这若干个像素点按照一定的规律进行排列,每个像素点都有对应的像素值。因此可以根据图像建立一个坐标系,通过一个二维坐标可以表示每一个像素点在上述坐标系即图像中的位置。例如,可以以图像最左下角的像素点为坐标原点建立坐标系,以原点为基础每向上移动一个像素点,对应纵轴坐标加一;每向右移动一个像素点,对应的横向坐标加一。具体的,人脸坐标可以通过,目标人脸图像中任意一个像素点的坐标进行表示,这样就可以通过人脸坐标来查找目标人脸图像在待处理图像中的具体位置。例如,可以将目标人脸图像的中心点的坐标作为人脸坐标,通过中心点的坐标来定位目标人脸图像在待处理图像中的具体位置。
可以理解的是,每一张目标人脸图像都存在对应的人脸坐标,电子设备可以通过目标人脸标识对目标人脸图像进行唯一标记,并通过图像标识对待处理图像进行唯一标记。电子设备在检测到目标人脸图像之后,可以建立图像标识、目标人脸标识和人脸坐标的对应关系,通过人脸坐标可以从图像标识对应的待处理图像中查找目标人脸图像。
步骤206,根据人脸坐标将待处理图像进行分类,并根据人脸坐标获取每一类待处理图像对应的光效增强模型,光效增强模型为模拟光线变化曲线的模型。
用户在拍摄的过程中场景往往是非常复杂的,特别是拍摄场景的光线复杂多变,而用户在拍摄过程中又无法改变拍摄场景,因此只能通过后期处理来达到用户所想要的效果。光效是一种模拟光源效果的图像增强处理。具体地,光源效果可以是自然光、舞台光、摄影棚光、胶片光、轮廓光等效果。光源发出光之后,光线会以光源为中心向四周进行扩散,并且光线的强度会随着与光源距离的增大而减弱。光效增强模型可以模拟光线变化的曲线,通过光效增强模型可以对待处理图像进行光效处理。
具体地,光效增强模型可以模拟光线变化曲线,该光线变化的强弱会随着与光源距离的变化而变化。因此在构建光效增强模型时,需要找到光源中心点。在本实施例中,该光源中心点可以根据目标人脸图像来确定。首先找到目标人脸图像的坐标,再根据目标人脸图像的坐标来确定光源中心的位置。例如,可以以人脸坐标的位置作为光源中心点,也可以以距人脸坐标一定距离的位置作为光源中心点,在此不进行限定。
在本申请提供的实施例中,光效增强模型是根据目标人脸图像的位置来构建的,因此在对图像批量进行光效增强处理时,可以先根据人脸坐标将待处理图像进行分类,将人脸坐标相同或相近的待处理图像分成一类,这样就可以对每一类待处理图像构建一个光效增强模型,并根据构建的该光效增强模型对图像进行批量地光效增强处理。可以理解的是,每一张待处理图像可以被分到一个或多个类别,当一张待处理图像中存在一张目标人脸图像时,该待处理图像就会被分到一个类别;当一张待处理图像中存在多张目标人脸图像时,该待处理图像就可能会被分到多个类别中,在此不做限定。根据人脸坐标可以确定光源中心点,根据光源中心点可以构建光效增强模型。该光效增强模型可以以该光源中心点作为光源模拟各个像素点所在位置的光线强弱变化。
步骤208,根据获取的光效增强模型对待处理图像进行光效增强处理。
将待处理图像分类后,对每一类待处理图像构建一个对应的光效增强模型,然后根据构建的光效增强模型对待处理图像进行光效增强处理。具体地,根据光效增强模型可以计算待处理图像中各个像素点的光效增强系数,光效增强系数是对各个像素点进行光效增强处理的参数。一般地离光源中心越远的位置,光线衰减越多。相应地,待处理图像中离光源中心距离越远的像素点,光效增强系数越小,根据获取的光效增强系数可以对各个像素点进行光效增强处理。
具体地,可以通过光效增强系数对待处理图像进行叠加或乘积的方式进行光效增强处理。图像中的像素值的取值范围一般为[0,255],因此在经过光效增强处理之后的待处理图像的像素值不能大于255。举例来说,假设待处理图像为H0(x,y),光效增强模型为P(x,y),则通过叠加方式进行光效增强处理之后的待处理图像H(x,y)就可以表示为H(x,y)=(1+P(x,y))H0(x,y),通过乘积的方式进行光效增强处理后的待处理图像就可以表示为H(x,y)=P(x,y)H0(x,y)。可以理解的是,光效增强处理还可以是以其他方式实现的,在此不做限定。
待处理图像可以是由RGB三通道构成的RGB图像,也可以是由一个通道构成的单色图像。若待处理图像为RGB图像时,则待处理图像中的每一个像素点都有对应的RGB三个通道值。若模拟的光源效果不同,光线产生的颜色可能会不同,则分别对RGB三通道的增强系数就会不同。例如,太阳光的颜色会偏黄、舞台光的颜色可以是五颜六色的。具体地,可以根据中心像素点分别获取RGB三通道对应的光效增强模型,并根据光效增强模型分别计算RGB三通道对应的光效增强系数。
具体地,可以根据光效增强模型计算各个像素点对应的RGB三通道的光效增强系数,根据光效增强系数可以分别对各个像素点的RGB三通道进行光效增强处理。对各个通道进行不同强度的光效增强处理之后,得到的图像光效增强效果会一样。例如,获取的RGB三通道对应的光效增强系数中,R通道对应的光效增强系数大于G通道和B通道的光效增强系数,那么根据获取的光效增强系数对待处理图像进行光效增强处理之后,得到的光效增强图像相对待处理图像就是偏红光的效果。
上述实施例提供的图像处理方法,可以获取包含待处理图像的图像集合,然后遍历图像集合中的待处理图像,检测待处理图像中包含的目标人脸图像及对应的人脸坐标。根据人脸坐标可以将待处理图像进行分类,根据分类结果获取光效增强模型,并根据获取的光效增强模型对待处理图像进行光效增强处理。这样在对多张图像进行处理的时候,可以将这多张图像进行分批处理,提高了图像处理的效率。
图3为另一个实施例中图像处理方法的流程图。如图3所示,该图像处理方法包括步骤302至步骤318。其中:
步骤302,获取包含至少一张待处理图像的图像集合。
步骤304,遍历图像集合中的待处理图像,检测待处理图像中包含的人脸图像,从检测到的人脸图像中确定待处理图像对应的目标人脸图像。
在检测到待处理图像中包含的人脸图像之后,可以从检测到的人脸图像中获取一张人脸图像作为目标人脸图像。电子设备可以随机从检测到的人脸图像中选取一张人脸图像作为目标人脸图像,也可以按照一定的规律从检测到的人脸图像中确定一张目标人脸图像。例如,可以将检测到的人脸图像与预设的人脸数据库中的人脸图像进行匹配,将匹配上的人脸图像作为目标人脸图像;还可以通过检测到的人脸图像的人脸面积来识别主人脸,将人脸面积最大或人脸面积超过一定值的人脸图像作为主人脸,并将主人脸作为目标人脸图像。
在本申请提供的实施例中,获取检测到的人脸图像对应的人脸面积,将人脸面积最大的人脸图像作为待处理图像对应的目标人脸图像。检测到的人脸图像是由待处理图像中的全部或部分像素点构成的,因此人脸图像的人脸面积可以用人脸图像中包含的像素点的数量进行表示。人脸图像中包含的像素点的数量越多,人脸图像的人脸面积越大;人脸图像中包含的像素点的数量越少,人脸图像的人脸面积越小。面积较小的人脸被认为是路人的人脸,在图像处理的时候可以忽略路人的人脸不进行处理。
在获取到人脸图像的人脸面积之后,还可以将人脸面积与面积阈值进行比较,将人脸面积大于面积阈值的人脸图像作为目标人脸图像。只有在人脸面积大于一定面积值时,该人脸图像才会被处理。否则人脸面积太小,处理之后的人脸图像就会失真。具体地,在获取到人脸图像对应的人脸面积之后,可以将最大人脸面积与面积阈值进行比较,若最大人脸面积大于上述面积阈值,则将该人脸面积最大的人脸图像作为待处理图像对应的目标人脸图像。否则,该待处理图像不存在对应的目标人脸图像。
步骤306,获取目标人脸图像中的任意一个像素点作为标记像素点。
步骤308,将标记像素点在待处理图像中的坐标,作为目标人脸图像在待处理图像中的人脸坐标。
在获取到目标人脸图像之后,可以去目标人脸图像中的任意一个像素点的坐标,作为目标人脸图像的人脸坐标。具体的,可以随机从目标人脸图像中选取一个像素点作为标记像素点,还可以从目标人脸图像中选取一个固定位置的像素点作为标记像素点,然后将标记像素点在待处理图像中的坐标作为目标人脸图像的人脸坐标。例如,将目标人脸图像的中心位置的像素点作为标记像素点,也可以将目标人脸图像中最左下角的像素点作为标记像素点,然后获取标记像素点在待处理图像中的坐标,将标记像素点的坐标作为目标人脸图像对应的人脸坐标。
步骤310,将人脸坐标进行聚类处理,其中同一类人脸坐标之间的间隔距离小于距离阈值。
在确定每一张目标人脸图像对应的人脸坐标之后,可以将获取的所有人脸坐标在同一个坐标系中进行标记,然后将标记的人脸坐标进行聚类处理。聚类算法可以但不限于是K-MEANS、K-MEDOIDS、Clarans算法等。被分到同一类的人脸坐标之间的间隔距离小于距离阈值,一般的距离阈值是一个比较小的距离值,这样就可以将距离较近的人脸坐标分到同一类。人脸坐标比较靠近时,目标人脸图像的位置也比较靠近,这样同一类目标人脸图像就可以使用同一个光效增强模型进行处理。
图4为一个实施例中人脸坐标聚类结果的展示示意图。如图4所示,将获取的目标人脸图像对应人脸坐标在同一个坐标系中进行标记,然后将标记出来的人脸坐标进行聚类处理,这样就可以将距离比较近的人脸坐标分到同一类。图4中展示了上述人脸坐标的聚类结果,上述人脸坐标被总共分类三类,包括第一类人脸坐标402、第二类人脸坐标404和第三类人脸坐标406,每一类人脸坐标之间的间隔距离都比较小。
步骤312,根据人脸坐标的聚类结果将待处理图像进行分类。
电子设备在获取到人脸坐标之后,会建立目标人脸图像与人脸坐标的对应关系,每一张目标人脸图像对应一个人脸坐标。在将人脸坐标进行聚类处理之后,就可以根据人脸坐标的聚类结果对目标人脸图像进行分类。在本实施例中,每一张待处理图像对应一张目标人脸图像,每一张目标人脸图像对应一个人脸坐标,根据聚类结果可以将待处理图像进行分类,一张待处理图像对应一个类别。在本申请提供的其他实施例中,一张待处理图像还可以对应多张目标人脸图像,也即一张待处理图像就可以对应多个人脸坐标,那么一张待处理图像就可能被分到多个类别中。
步骤314,根据每一类待处理图像中目标人脸图像所对应的人脸坐标,确定目标人脸坐标。
在将待处理图像进行分类之后,可以将一类待处理图像进行批量的光效增强处理。即对每一类待处理图像获取一个光效增强模型,根据获取的光效增强模型对待处理图像进行光效增强处理。具体地,根据聚类处理后的每一类人脸坐标,确定一个目标人脸坐标,并根据该目标人脸坐标构建该分类的待处理图像所对应的光效增强模型。
在一个实施例中,可以从每一类人脸坐标中随机获取选取一个人脸坐标作为目标人脸坐标,还可以根据同一类人脸坐标来计算得到对应的目标人脸坐标。具体的,可以将同一类人脸坐标对应的横坐标和纵坐标分别进行叠加,然后求取横坐标和纵坐标的平均值,并将计算得到的横坐标平均值作为目标人脸坐标的横坐标,将纵坐标平均值作为目标人脸坐标的纵坐标,从而得到目标人脸坐标。例如,人脸坐标1(102,24)、人脸坐标2(114,13)、人脸坐标3(99,26)为同一类人脸坐标,则计算上述三个人脸坐标的横坐标平均值就为(102+114+99)/3=105,纵坐标平均值就为(24+13+26)/3=21,得到的目标人脸坐标就为(105,21)。
步骤316,根据目标人脸坐标确定对应的光效增强模型。
确定目标人脸坐标后,可以根据目标人脸坐标确定光效增强模型的光源中心点,然后根据光源中心点构建光效增强模型。具体地,电子设备中可以预先存储光效增强参考模型,该光效增强参考模型可以是以图像中任意一个参考点为光源的模型。在确定光源中心点之后,可以获取光源中心点相对参考点的位移,并将光效增强参考模型进行位移之后得到该光源中心点对应的光效增强模型。
例如,电子设备中可以预先存储一个光效增强参考模型为P(x,y),该光效增强参考模型以坐标为(0,0)的参考点为光源的模型。假设选取的光源中心点为(x0,y0)的话,那么该光源中心点相对于参考点的位移就为(-x0,-y0),则根据该位移得到的该光源中心点对应的光效增强模型就为P(x-x0,y-y0)。得到的光效增强模型P(x-x0,y-y0)中,就是以光源中心点(x0,y0)为光源的光效增强模型。
步骤318,根据获取的光效增强模型对待处理图像进行光效增强处理。
在一个实施例中,根据光效增强模型可以计算待处理图像中各个像素点的光效增强参数,再根据光效增强参数对待处理图像中的各个像素点进行光效增强处理。具体地,用户一般比较关注人像所在的区域,那么在对待处理图像进行光效处理的时候,可以只针对目标人脸图像对应的人像区域进行光效增強处理,人像区域之外的其他区域可以不处理,也可以进行弱化处理。例如,可以将除人像区域之外的其他区域的像素点的像素值都置为0,或将其他区域的像素点的亮度降低,也可以将其他区域的像素点进行虚化处理等,在本实施例中不做限定。
在本申请提供的其他实施例中,获取光效增强模型的步骤具体可以包括:
步骤502,获取二维高斯分布函数。
步骤504,根据目标人脸坐标确定待处理图像中的中心像素点,以中心像素点作为二维高斯分布函数的极值点构建光效增强模型。
具体地,根据目标人脸坐标确定中心像素点,可以直接将目标人脸坐标对应的像素点作为中心像素点,也可以以目标人脸坐标对应的像素点为起点,延预设方向移动预设距离,确定中心像素点。例如,以目标人脸坐标对应的像素点为起点,向45°方向上移动100个坐标单位,确定中心像素点。确定的中心像素点可以看做是模拟光线的光源中心点,根据中心像素点构建光效增强模型,光效增强模型可以根据二维高斯分布函数进行构建。则首先获取二维高斯分布函数如下:
Figure BDA0001666758550000141
其中,(x,y)表示待处理图像中任一像素点的二维坐标,d为常量。上述函数是以(0,0)为极值点的二维高斯分布函数,则根据中心像素点获取的光效增强模型即为将上述二维高斯分布函数进行位移,将上述二维高斯分布函数的极大值点移动到中心像素点的位置即可得到光效增强模型。假设中心像素点为(xo,yo),则得到的光效增强模型就可以表示为:
Figure BDA0001666758550000142
得到的光效增强模型中,中心像素点(xo,yo)就为极值点,即在中心像素点(xo,yo)得到的光效增强系数Po(x,y)最大。根据上述常量d可以调节光效增强系数的强度。
图6为一个实施例中光效增强模型的示意图。如图6所示,该光效增强模型中待处理图像的分辨率为50*50,中心像素点602的坐标值为(25,25)。可以看出,该中心像素点602对应的光效增强系数最大,待处理图像中其他像素点对应的光效增强系数随着与中心像素点602的距离的增加而降低,离中心像素点602的距离越远的像素点,对应的光效增强系数越小。
上述实施例提供的图像处理方法,可以获取包含待处理图像的图像集合,然后遍历图像集合中的待处理图像,检测待处理图像中包含的目标人脸图像,根据目标人脸图像确定对应的人脸坐标。将人脸坐标进行聚类处理,并根据人脸坐标的聚类结果将待处理图像进行分类。然后根据分类结果获取光效增强模型,并根据获取的光效增强模型对待处理图像进行光效增强处理。这样在对多张图像进行处理的时候,可以将这多张图像进行分批处理,提高了图像处理的效率。
应该理解的是,虽然图2、3、5的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2、3、5中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图7为一个实施例中图像处理装置的结构示意图。如图7所示,该图像处理装置700包括图像获取模块702、坐标获取模块704、模型获取模块706和光效处理模块708。其中:
图像获取模块702,用于获取包含至少一张待处理图像的图像集合。
坐标获取模块704,用于遍历所述图像集合中的待处理图像,检测所述待处理图像中包含的目标人脸图像,并获取所述目标人脸图像在所述待处理图像中的人脸坐标。
模型获取模块706,用于根据所述人脸坐标将所述待处理图像进行分类,并根据所述人脸坐标获取每一类待处理图像对应的光效增强模型,所述光效增强模型为模拟光线变化曲线的模型。
光效处理模块708,用于根据获取的所述光效增强模型对所述待处理图像进行光效增强处理。
上述实施例提供的图像处理装置,可以获取包含待处理图像的图像集合,然后遍历图像集合中的待处理图像,检测待处理图像中包含的目标人脸图像及对应的人脸坐标。根据人脸坐标可以将待处理图像进行分类,根据分类结果获取光效增强模型,并根据获取的光效增强模型对待处理图像进行光效增强处理。这样在对多张图像进行处理的时候,可以将这多张图像进行分批处理,提高了图像处理的效率。
在一个实施例中,坐标获取模块704还用于检测所述待处理图像中包含的人脸图像,从检测到的人脸图像中确定所述待处理图像对应的目标人脸图像。
在一个实施例中,坐标获取模块704还用于获取检测到的人脸图像对应的人脸面积,将所述人脸面积最大的人脸图像作为所述待处理图像对应的目标人脸图像。
在一个实施例中,坐标获取模块704还用于获取所述目标人脸图像中的任意一个像素点作为标记像素点;将所述标记像素点在待处理图像中的坐标,作为所述目标人脸图像在所述待处理图像中的人脸坐标。
在一个实施例中,模型获取模块706还用于将人脸坐标进行聚类处理,其中同一类人脸坐标之间的间隔距离小于距离阈值;根据所述人脸坐标的聚类结果将所述待处理图像进行分类。
在一个实施例中,模型获取模块706还用于根据每一类待处理图像中目标人脸图像所对应的人脸坐标,确定目标人脸坐标;根据所述目标人脸坐标确定对应的光效增强模型。
在一个实施例中,模型获取模块706还用于获取二维高斯分布函数;根据所述目标人脸坐标确定所述待处理图像中的中心像素点,以所述中心像素点作为所述二维高斯分布函数的极值点构建光效增强模型。
上述图像处理装置中各个模块的划分仅用于举例说明,在其他实施例中,可将图像处理装置按照需要划分为不同的模块,以完成上述图像处理装置的全部或部分功能。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行上述实施例提供的图像处理方法。
一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例提供的图像处理方法。
本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路,图像处理电路可以利用硬件和/或软件组件实现,可包括定义ISP(Image Signal Processing,图像信号处理)管线的各种处理单元。图8为一个实施例中图像处理电路的示意图。如图8所示,为便于说明,仅示出与本申请实施例相关的图像处理技术的各个方面。
如图8所示,图像处理电路包括ISP处理器840和控制逻辑器850。成像设备810捕捉的图像数据首先由ISP处理器840处理,ISP处理器840对图像数据进行分析以捕捉可用于确定和/或成像设备810的一个或多个控制参数的图像统计信息。成像设备810可包括具有一个或多个透镜812和图像传感器814的照相机。图像传感器814可包括色彩滤镜阵列(如Bayer滤镜),图像传感器814可获取用图像传感器814的每个成像像素捕捉的光强度和波长信息,并提供可由ISP处理器840处理的一组原始图像数据。传感器820(如陀螺仪)可基于传感器820接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器840。传感器820接口可以利用SMIA(Standard Mobile Imaging Architecture,标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。
此外,图像传感器814也可将原始图像数据发送给传感器820,传感器820可基于传感器820接口类型把原始图像数据提供给ISP处理器840,或者传感器820将原始图像数据存储到图像存储器830中。
ISP处理器840按多种格式逐个像素地处理原始图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,ISP处理器840可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。
ISP处理器840还可从图像存储器830接收图像数据。例如,传感器820接口将原始图像数据发送给图像存储器830,图像存储器830中的原始图像数据再提供给ISP处理器840以供处理。图像存储器830可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括DMA(Direct Memory Access,直接直接存储器存取)特征。
当接收到来自图像传感器814接口或来自传感器820接口或来自图像存储器830的原始图像数据时,ISP处理器840可进行一个或多个图像处理操作,如时域滤波。处理后的图像数据可发送给图像存储器830,以便在被显示之前进行另外的处理。ISP处理器840还可从图像存储器830接收处理数据,对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。处理后的图像数据可输出给显示器880,以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit,图形处理器)进一步处理。此外,ISP处理器840的输出还可发送给图像存储器830,且显示器880可从图像存储器830读取图像数据。在一个实施例中,图像存储器830可被配置为实现一个或多个帧缓冲器。此外,ISP处理器840的输出可发送给编码器/解码器870,以便编码/解码图像数据。编码的图像数据可被保存,并在显示于显示器880设备上之前解压缩。
ISP处理器840处理图像数据的步骤包括:对图像数据进行VFE(Video Front End,视频前端)处理和CPP(Camera Post Processing,摄像头后处理)处理。对图像数据的VFE处理可包括修正图像数据的对比度或亮度、修改以数字方式记录的光照状态数据、对图像数据进行补偿处理(如白平衡,自动增益控制,γ校正等)、对图像数据进行滤波处理等。对图像数据的CPP处理可包括对图像进行缩放、向每个路径提供预览帧和记录帧。其中,CPP可使用不同的编解码器来处理预览帧和记录帧。ISP处理器840处理后的图像数据可发送给光效处理模块860,以便在被显示之前对图像进行光效增强处理。其中,光效处理模块860可为移动终端中CPU(Central Processing Unit,中央处理器)、GPU或协处理器等。光效处理模块860处理后的数据可发送给编码器/解码器870,以便编码/解码图像数据。编码的图像数据可被保存,并在显示于显示器880设备上之前解压缩。其中,光效处理模块860还可位于编码器/解码器870与显示器880之间,即光效增强模块860对已成像的图像进行光效增强处理。上述编码器/解码器870可为移动终端中CPU、GPU或协处理器等。
ISP处理器840确定的统计数据可发送给控制逻辑器850单元。例如,统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜812阴影校正等图像传感器814统计信息。控制逻辑器850可包括执行一个或多个例程(如固件)的处理器和/或微控制器,一个或多个例程可根据接收的统计数据,确定成像设备810的控制参数以及ISP处理器840的控制参数。例如,成像设备810的控制参数可包括传感器820控制参数(例如增益、曝光控制的积分时间)、照相机闪光控制参数、透镜812控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如,在RGB处理期间)的增益水平和色彩校正矩阵,以及透镜812阴影校正参数。
运用图8中图像处理技术可实现如上所述的图像处理方法。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM),它用作外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像处理方法,其特征在于,包括:
获取包含至少一张待处理图像的图像集合;
遍历所述图像集合中的待处理图像,检测所述待处理图像中包含的目标人脸图像,并获取所述目标人脸图像在所述待处理图像中的人脸坐标;
根据所述人脸坐标将所述待处理图像进行分类,并将同一类人脸坐标对应的横坐标和纵坐标分别进行叠加,求取横坐标的平均值和纵坐标的平均值,并将计算得到的所述横坐标平均值作为目标人脸坐标的横坐标,将所述纵坐标平均值作为目标人脸坐标的纵坐标,得到目标人脸坐标;
根据所述目标人脸坐标确定光效增强模型的光源中心点;
获取所述光源中心点相对光效增强参考模型对应的参考点的位移距离,并将所述光效增强参考模型进行位移所述位移距离之后,得到所述光源中心点对应的光效增强模型,对每一类待处理图像构建一个对应的光效增强模型;所述光效增强模型为模拟光线变化曲线的模型;
根据获取的所述光效增强模型对所述待处理图像进行光效增强处理。
2.根据权利要求1所述的方法,其特征在于,所述检测所述待处理图像中包含的目标人脸图像,包括:
检测所述待处理图像中包含的人脸图像,从检测到的人脸图像中确定所述待处理图像对应的目标人脸图像。
3.根据权利要求2所述的方法,其特征在于,所述从检测到的人脸图像中确定所述待处理图像对应的目标人脸图像,包括:
获取检测到的人脸图像对应的人脸面积,将所述人脸面积最大的人脸图像作为所述待处理图像对应的目标人脸图像。
4.根据权利要求1所述的方法,其特征在于,所述获取所述目标人脸图像在所述待处理图像中的人脸坐标,包括:
获取所述目标人脸图像中的任意一个像素点作为标记像素点;
将所述标记像素点在待处理图像中的坐标,作为所述目标人脸图像在所述待处理图像中的人脸坐标。
5.根据权利要求1所述的方法,其特征在于,所述根据所述人脸坐标将所述待处理图像进行分类,包括:
将人脸坐标进行聚类处理,其中同一类人脸坐标之间的间隔距离小于距离阈值;
根据所述人脸坐标的聚类结果将所述待处理图像进行分类。
6.根据权利要求1所述的方法,其特征在于,获取所述光效增强模型的另一种方式,包括:
获取二维高斯分布函数;
根据所述目标人脸坐标确定所述待处理图像中的中心像素点,以所述中心像素点作为所述二维高斯分布函数的极值点构建光效增强模型。
7.一种图像处理装置,其特征在于,包括:
图像获取模块,用于获取包含至少一张待处理图像的图像集合;
坐标获取模块,用于遍历所述图像集合中的待处理图像,检测所述待处理图像中包含的目标人脸图像,并获取所述目标人脸图像在所述待处理图像中的人脸坐标;
模型获取模块,用于根据所述人脸坐标将所述待处理图像进行分类,并将同一类人脸坐标对应的横坐标和纵坐标分别进行叠加,求取横坐标的平均值和纵坐标的平均值,并将计算得到的所述横坐标平均值作为目标人脸坐标的横坐标,将所述纵坐标平均值作为目标人脸坐标的纵坐标,得到目标人脸坐标;根据所述目标人脸坐标确定光效增强模型的光源中心点;获取所述光源中心点相对光效增强参考模型对应的参考点的位移距离,并将所述光效增强参考模型进行位移所述位移距离之后,得到所述光源中心点对应的光效增强模型,对每一类待处理图像构建一个对应的光效增强模型;所述光效增强模型为模拟光线变化曲线的模型;
光效处理模块,用于根据获取的所述光效增强模型对所述待处理图像进行光效增强处理。
8.根据权利要求7所述的装置,其特征在于,所述坐标获取模块还用于检测所述待处理图像中包含的人脸图像,从检测到的人脸图像中确定所述待处理图像对应的目标人脸图像。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的方法。
10.一种电子设备,包括存储器及处理器,所述存储器中储存有计算机可读指令,所述指令被所述处理器执行时,使得所述处理器执行如权利要求1至6中任一项所述的方法。
CN201810486157.8A 2018-05-21 2018-05-21 图像处理方法、装置、计算机可读存储介质和电子设备 Active CN108717530B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810486157.8A CN108717530B (zh) 2018-05-21 2018-05-21 图像处理方法、装置、计算机可读存储介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810486157.8A CN108717530B (zh) 2018-05-21 2018-05-21 图像处理方法、装置、计算机可读存储介质和电子设备

Publications (2)

Publication Number Publication Date
CN108717530A CN108717530A (zh) 2018-10-30
CN108717530B true CN108717530B (zh) 2021-06-25

Family

ID=63900076

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810486157.8A Active CN108717530B (zh) 2018-05-21 2018-05-21 图像处理方法、装置、计算机可读存储介质和电子设备

Country Status (1)

Country Link
CN (1) CN108717530B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111126122B (zh) * 2018-10-31 2023-10-27 浙江宇视科技有限公司 人脸识别算法评估方法及装置
CN111178118B (zh) * 2018-11-13 2023-07-21 浙江宇视科技有限公司 图像采集处理方法、装置及计算机可读存储介质
CN109902624A (zh) * 2019-02-27 2019-06-18 百度在线网络技术(北京)有限公司 用于呈现信息的方法和装置
CN109871819A (zh) * 2019-02-28 2019-06-11 百度在线网络技术(北京)有限公司 用于发送信息的方法和装置
CN109862274A (zh) * 2019-03-18 2019-06-07 北京字节跳动网络技术有限公司 带摄像功能的耳机、用于输出控制信号的方法和装置
CN110610171A (zh) * 2019-09-24 2019-12-24 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN111598796B (zh) * 2020-04-27 2023-09-05 Oppo广东移动通信有限公司 图像处理方法及装置、电子设备、存储介质
CN113689325A (zh) * 2021-07-12 2021-11-23 深圳数联天下智能科技有限公司 一种数字化美型眉毛的方法、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101308572A (zh) * 2008-06-24 2008-11-19 北京中星微电子有限公司 一种发光特效处理方法及装置
CN101452582A (zh) * 2008-12-18 2009-06-10 北京中星微电子有限公司 一种实现三维视频特效的方法和装置
CN101694691A (zh) * 2009-07-07 2010-04-14 北京中星微电子有限公司 一种人脸图像合成方法及装置
CN103577475A (zh) * 2012-08-03 2014-02-12 阿里巴巴集团控股有限公司 一种图片自动化分类方法、图片处理方法及其装置
CN106709874A (zh) * 2016-12-29 2017-05-24 北京工业大学 一种基于人脸结构相关的压缩低分辨率人脸图像复原方法
CN107742274A (zh) * 2017-10-31 2018-02-27 广东欧珀移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN107944420A (zh) * 2017-12-07 2018-04-20 北京旷视科技有限公司 人脸图像的光照处理方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101221620B (zh) * 2007-12-20 2011-04-06 北京中星微电子有限公司 人脸跟踪方法
KR101179497B1 (ko) * 2008-12-22 2012-09-07 한국전자통신연구원 얼굴 검출 방법 및 장치

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101308572A (zh) * 2008-06-24 2008-11-19 北京中星微电子有限公司 一种发光特效处理方法及装置
CN101452582A (zh) * 2008-12-18 2009-06-10 北京中星微电子有限公司 一种实现三维视频特效的方法和装置
CN101694691A (zh) * 2009-07-07 2010-04-14 北京中星微电子有限公司 一种人脸图像合成方法及装置
CN103577475A (zh) * 2012-08-03 2014-02-12 阿里巴巴集团控股有限公司 一种图片自动化分类方法、图片处理方法及其装置
CN106709874A (zh) * 2016-12-29 2017-05-24 北京工业大学 一种基于人脸结构相关的压缩低分辨率人脸图像复原方法
CN107742274A (zh) * 2017-10-31 2018-02-27 广东欧珀移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN107944420A (zh) * 2017-12-07 2018-04-20 北京旷视科技有限公司 人脸图像的光照处理方法和装置

Also Published As

Publication number Publication date
CN108717530A (zh) 2018-10-30

Similar Documents

Publication Publication Date Title
CN108717530B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
EP3477931B1 (en) Image processing method and device, readable storage medium and electronic device
CN109767467B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN108921823B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN108805103B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN108024107B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN107886484B (zh) 美颜方法、装置、计算机可读存储介质和电子设备
CN108810418B (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
EP3849170B1 (en) Image processing method, electronic device, and computer-readable storage medium
CN108419028B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN108734676B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN110536068B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
CN110580428A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN107862658B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN107993209B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN108198152B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN108805265B (zh) 神经网络模型处理方法和装置、图像处理方法、移动终端
CN109242794B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN109712177B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN109685853B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN107704798B (zh) 图像虚化方法、装置、计算机可读存储介质和计算机设备
CN110956679B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN107959841B (zh) 图像处理方法、装置、存储介质和电子设备
CN108848306B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN107194901B (zh) 图像处理方法、装置、计算机设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant