CN111402135A - 图像处理方法、装置、电子设备及计算机可读存储介质 - Google Patents
图像处理方法、装置、电子设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN111402135A CN111402135A CN202010185311.5A CN202010185311A CN111402135A CN 111402135 A CN111402135 A CN 111402135A CN 202010185311 A CN202010185311 A CN 202010185311A CN 111402135 A CN111402135 A CN 111402135A
- Authority
- CN
- China
- Prior art keywords
- image
- area
- portrait
- brightness
- portrait area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 85
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 238000000034 method Methods 0.000 claims abstract description 51
- 238000007499 fusion processing Methods 0.000 claims abstract description 18
- 230000004927 fusion Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 11
- 230000002708 enhancing effect Effects 0.000 claims description 11
- 210000000697 sensory organ Anatomy 0.000 claims description 9
- 238000009499 grossing Methods 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 abstract description 32
- 238000001514 detection method Methods 0.000 description 28
- 238000004422 calculation algorithm Methods 0.000 description 14
- 230000000007 visual effect Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 9
- 230000033001 locomotion Effects 0.000 description 8
- 238000001914 filtration Methods 0.000 description 7
- 230000001965 increasing effect Effects 0.000 description 7
- 230000007613 environmental effect Effects 0.000 description 6
- 239000000284 extract Substances 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000035945 sensitivity Effects 0.000 description 5
- 238000009877 rendering Methods 0.000 description 4
- 230000003247 decreasing effect Effects 0.000 description 3
- 206010034960 Photophobia Diseases 0.000 description 2
- 238000003705 background correction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 208000013469 light sensitivity Diseases 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000002087 whitening effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Abstract
本申请实施例提供一种图像处理方法、装置、移动终端及计算机可读存储介质。该方法包括:对待采集图像进行人脸识别;当所述待采集图像中包含人脸区域时,根据多组曝光参数采集多帧第一图像;对所述多帧第一图像进行融合处理,得到第二图像;提取所述第一图像中包含的人像区域,并对所述人像区域进行增强处理,所述人像区域包括所述人脸区域;将增强处理后的人像区域与所述第二图像进行拼接,得到目标图像。上述图像处理方法、装置、移动终端及计算机可读存储介质,能够使人物图像展示更多的图像细节,提高人物图像的成像质量。
Description
技术领域
本申请涉及计算机技术领域,具体涉及一种图像处理方法、装置、移动终端及计算机可读存储介质。
背景技术
随着电子科技技术的快速发展,用户对使用电子产品进行拍摄的图片质量要求越来越高,而拍摄的图片质量往往受限于拍摄环境的环境亮度、拍摄角度等条件。在拍摄环境的条件较差的情况下拍摄的人物图片无法清晰地呈现更多的细节,成像质量较低。
发明内容
本申请实施例公开了一种图像处理方法、装置、移动终端及计算机可读存储介质,能够使人物图像展示更多的图像细节,提高人物图像的成像质量。
本申请实施例提供一种图像处理方法,包括:对待采集图像进行人脸识别;当所述待采集图像中包含人脸区域时,根据多组曝光参数采集多帧第一图像;对所述多帧第一图像进行融合处理,得到第二图像;提取所述第一图像中包含的人像区域,并对所述人像区域进行增强处理,所述人像区域包括所述人脸区域;将增强处理后的人像区域与所述第二图像进行拼接,得到目标图像。
本申请实施例提供一种图像处理装置,包括:人脸识别模块,用于对待采集图像进行人脸识别;采集模块,用于当所述待采集图像中包含人脸区域时,根据多组曝光参数采集多帧第一图像;融合模块,用于对所述多帧第一图像进行融合处理,得到第二图像;增强模块,用于提取所述第一图像中包含的人像区域,并对所述人像区域进行增强处理,所述人像区域包括所述人脸区域;拼接模块,用于将增强处理后的人像区域与所述第二图像进行拼接,得到目标图像。
本申请实施例提供一种电子设备,包括存储器及处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器实现如上所述的方法。
本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的方法。
上述实施例公开的图像处理方法、装置、移动终端及计算机可读存储介质,通过对待采集图像进行人脸识别,当待采集图像中包含人脸区域时,根据多组曝光参数采集多帧第一图像,对该多帧第一图像进行融合处理,得到第二图像,提取第一图像中包含的人像区域,并对人像区域进行增强处理,再将增强处理后的人像区域与第二图像进行拼接,得到目标图像,单独对人像区域进行增强处理后再与由多帧第一图像融合得到的第二图像拼接,在保证整体图像的成像效果的同时,也增强人像的视觉效果,能够使人物图像展示更多的图像细节,提高人物图像的成像质量。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中图像处理电路的框图;
图2为一个实施例中图像处理方法的流程图;
图3为一个实施例中对采集的多帧第一图像进行融合得到第二图像的示意图;
图4为一个实施例中提取第一图像中的人脸区域进行增强处理后再与第二图像进行拼接的示意图;
图5为另一个实施例中图像处理方法的流程图;
图6为一个实施例中选取曝光补偿值小于0的第一图像的流程图;
图7为另一个实施例中图像处理方法的流程图;
图8为另一个实施例中图像处理方法的流程示意图;
图9为一个实施例中图像处理装置的框图;
图10为一个实施例中电子设备的结构框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,本申请实施例及附图中的术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件,但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说,在不脱离本申请的范围的情况下,可以将第一客户端称为第二客户端,且类似地,可将第二客户端称为第一客户端。第一客户端和第二客户端两者都是客户端,但其不是同一客户端。
本申请实施例提供一种电子设备。该电子设备中包括图像处理电路,图像处理电路可以利用硬件和/或软件组件实现,可包括定义ISP(Image Signal Processing,图像信号处理)管线的各种处理单元。图1为一个实施例中图像处理电路的框图。为便于说明,图1仅示出与本申请实施例相关的图像处理技术的各个方面。
如图1所示,图像处理电路包括ISP处理器140和控制逻辑器150。成像设备110捕捉的图像数据首先由ISP处理器140处理,ISP处理器140对图像数据进行分析以捕捉可用于确定成像设备110的一个或多个控制参数的图像统计信息。成像设备110可包括一个或多个透镜112和图像传感器114。图像传感器114可包括色彩滤镜阵列(如Bayer滤镜),图像传感器114可获取每个成像像素捕捉的光强度和波长信息,并提供可由ISP处理器140处理的一组原始图像数据。姿态传感器120(如三轴陀螺仪、霍尔传感器、加速度计等)可基于姿态传感器120接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器140。姿态传感器120接口可以采用SMIA(Standard Mobile Imaging Architecture,标准移动成像架构)接口、其它串行或并行摄像头接口或上述接口的组合。
此外,图像传感器114也可将原始图像数据发送给姿态传感器120,姿态传感器120可基于姿态传感器120接口类型把原始图像数据提供给ISP处理器140,或者姿态传感器120将原始图像数据存储到图像存储器130中。
ISP处理器140按多种格式逐个像素地处理原始图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,ISP处理器140可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。
ISP处理器140还可从图像存储器130接收图像数据。例如,姿态传感器120接口将原始图像数据发送给图像存储器130,图像存储器130中的原始图像数据再提供给ISP处理器140以供处理。图像存储器130可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括DMA(DirectMemory Access,直接直接存储器存取)特征。
当接收到来自图像传感器114接口或来自姿态传感器120接口或来自图像存储器130的原始图像数据时,ISP处理器140可进行一个或多个图像处理操作,如时域滤波。处理后的图像数据可发送给图像存储器130,以便在被显示之前进行另外的处理。ISP处理器140从图像存储器130接收处理数据,并对该处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器140处理后的图像数据可输出给显示器160,以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit,图形处理器)进一步处理。此外,ISP处理器140的输出还可发送给图像存储器130,且显示器160可从图像存储器130读取图像数据。在一个实施例中,图像存储器130可被配置为实现一个或多个帧缓冲器。
ISP处理器140确定的统计数据可发送给控制逻辑器150。例如,统计数据可包括陀螺仪的振动频率、自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜112阴影校正等图像传感器114统计信息。控制逻辑器150可包括执行一个或多个例程(如固件)的处理器和/或微控制器,一个或多个例程可根据接收的统计数据,确定成像设备110的控制参数及ISP处理器140的控制参数。例如,成像设备110的控制参数可包括姿态传感器120控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、照相机防抖位移参数、透镜112控制参数(例如聚焦或变焦用焦距)或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如,在RGB处理期间)的增益水平和色彩校正矩阵,以及透镜112阴影校正参数。
在一个实施例中,通过成像设备(摄像头)110中的透镜112和图像传感器114获取待采集图像,并将待采集图像发送至ISP处理器140。ISP处理器140对待采集图像进行人脸识别,当待采集图像中包含人脸区域时,可获取多组曝光参数,并将多组曝光参数发送至控制逻辑器150。控制逻辑器150可根据多组曝光参数控制成像设备110采集多帧第一图像,并将采集的多帧第一图像发送至ISP处理器140。ISP处理器140接收成像设备110采集的多帧第一图像,对多帧第一图像进行融合处理,得到第二图像,并提取第一图像中包含的人像区域,对该人像区域进行增强处理,再将增强处理后的人像区域与第二图像进行拼接,得到目标图像。
在一些实施例中,ISP处理器140可将目标图像发送至图像存储器130进行存储。ISP处理器140也可将目标图像输出至显示器160,以供用户对目标图像进行观看等。
如图1所示,在一个实施例中,提供一种图像处理方法,该图像处理方法可适用于手机、智能穿戴设备、平板电脑、数码相机等电子设备,本申请实施例不做限定。其中,上述的电子设备的操作系统可包括但不限于Android操作系统、IOS操作系统、Symbian(塞班)操作系统、Windows操作系统等,本申请实施例不做限定。该方法包括以下步骤:
步骤210,对待采集图像进行人脸识别。
电子设备可通过摄像头等成像设备获取待采集图像,待采集图像可以指的是通过成像设备实时捕获的预览画面,预览画面仅提供对当前所需拍摄的画面的预览功能,而没有进行成像处理并存储在存储器中。待采集图像可以理解为成像设备的取景画面。
可对待采集图像进行人脸识别,检测待采集图像中是否包含有人脸,待采集图像中可能包含有一张或多张人脸,也可能不包含有人脸。在一些实施方式中,可采用人脸检测算法或人脸检测模型对待采集图像进行人脸识别,例如,可采用VJ(Viola-Jones)算法、MTCNN(多任务级联卷积神经网络)算法等进行人脸检测。
在一个实施例中,可基于待采集图像的图像特征判断待采集图像是否包含有人脸。可将待采集图像输入预先构建的人脸检测模型中,人脸检测模型可提取待采集图像中的图像特征。该图像特征可包括但不限于边缘特征、角点特征、颜色特征等,其中,边缘特征用于描述图像中的边缘情况,边缘特征可包括人脸的轮廓特征等,角点特征可指的是图像中存在的拐角或是深度变化大的特征点,比如可包括人脸的眼角特征点、嘴角特征点等,颜色特征则用于描述图像中各个区域的颜色及亮度等。可对提取的图像特征进行分析,判断该图像特征是否与预设的人脸图像特征匹配,若匹配,则可确定待采集图像中包含有人脸。
在一个实施例中,将待采集图像输入预先构建的人脸检测模型后,可将待采集图像划分为多个小窗口,再分别检测每个小窗口中是否包含有人脸。上述的人脸检测模型均可利用大量的人脸图像及非人脸图像作为样本进行训练学习。
可选地,人脸检测模型可直接输出待采集图像中是否包含人脸的结果,也可以输出待采集图像包含人脸的概率及不包含人脸的概率。当人脸的概率与不包含人脸的概率的差值大于预设值时,若人脸的概率较大,则确定待采集图像中包含有人脸,若非人脸的概率较大,则可确定待采集图像中不包含有人脸。当人脸的概率与不包含人脸的概率的差值小于预设值时,可说明二者概率较为接近,可重新获取待采集图像进行检测。
在一些实施例中,用户可在待采集图像中选取感兴趣区域(region ofinterest,ROI),感兴趣区域可指的是用户在进行图像拍摄时比较关注的区域。由于在进行图像拍摄时,若拍摄画面中存在人,则用户的感兴趣区域大部分在人脸上。因此,可获取待采集图像被选取的感兴趣区域,并检测感兴趣区域中是否包含人脸,可减少人脸检测的计算量,提高运算速度。
在一些实施方式中,除了检测待采集图像中是否包含有人脸以外,还可获取检测到的人脸在待采集图像中的位置,确定待采集图像中的人脸区域。可选地,待采集图像中的人脸区域可以采用人脸在待采集图像中的像素坐标进行表示。
步骤220,当待采集图像中包含人脸区域时,根据多组曝光参数采集多帧第一图像。
当确定待采集图像中包含人脸时,可获取多组曝光参数。曝光参数可包括但不限于曝光补偿值、实际曝光量及基础曝光量等,其中,基础曝光量可指的是摄像头的测光模块采集的测光数据对应的曝光量,曝光补偿值则是指相对基础曝光量进行增加或减少的曝光量,实际曝光量则指的是拍摄图像时的真实曝光量。
在一个实施例中,实际曝光量可根据基础曝光量及曝光补偿值进行确定,例如,曝光补偿值为EV+1,其中,EV指的是摄像头的测光模块采集的测光数据对应的曝光量(即基础曝光量)与实际曝光量的差值,“+”表示增加曝光,数值“1”表示的是补偿曝光的级别,EV+1即指的是相对基础曝光量增强一档曝光,则实际曝光量可以为基础曝光量的两倍。
电子设备可根据多组不同的曝光参数对待采集图像进行采集,得到多帧第一图像,每帧第一图像可分别对应一组曝光参数。作为一种具体实施方式,可根据多组不同的曝光参数进行曝光控制,控制摄像头以不同的光圈值和/或快门速度采集得到多帧第一图像,每帧第一图像的图像亮度及包含的细节信息等可不同。可选地,采集的第一图像的帧数可以为3帧,可分别对应具有减少曝光量的曝光补偿值(EV-)、具有不调整曝光量的曝光补偿值、具有增加曝光量的曝光补偿值(EV+)的3组不同的曝光参数。采集的第一图像的帧数也可以是5帧、6帧、8帧等,在此不作限定。
步骤230,对多帧第一图像进行融合处理,得到第二图像。
可将采集的多帧具有不同图像信息的第一图像进行融合,可得到含有更多图像信息的第二图像。进行融合的方式可以为多种,如可利用灰度加权平均法、逻辑滤波法等对多帧第一图像中的相匹配的像素进行融合,也可提取每帧第一图像的图像特征,并对提取的图像特征进行融合得到第二图像等,本申请实施例不进行限定。
在一个实施例中,可采用高动态范围成像(High Dynamic Range Imaging,HDR)对多帧分别对应不同曝光参数的第一图像进行合成,可得到拥有更多动态范围(亮度范围)和图像细节的第二图像。在利用HDR算法进行图像融合时,可根据每帧第一图像包含的图像信息确定每帧第一图像对应的权重,并根据每帧第一图像对应的权重对多帧第一图像进行合成,得到第二图像。第二图像中每个像素点的像素值,可根据每帧第一图像中相匹配的像素点及对应的权重进行加权和计算得到。
作为一种具体的实施方式,可将第一图像划分成多个区域,每个区域中包含的像素点可以为像素信息较为接近的像素点,例如,可以是深度值较为接近的像素点,或是亮度值、颜色值较为接近的像素点等。可将每帧第一图像中相匹配的区域进行比较,并根据每帧第一图像中相匹配的区域所包含的图像细节的丰富程度,确定每帧第一图像中各个区域对应的权重。可选地,区域的图像细节的丰富程度可根据该区域中包含的像素点邻域的梯度、亮度等进行确定。在进行图像合成时,第二图像中每个像素点的像素值,可根据每帧第一图像中相匹配的像素点的像素值,以及该相匹配的像素点所属的区域对应的权重进行加权和计算得到。可使得合成得到的第二图像包含的图像信息更丰富。
在一个实施例中,电子设备还可进行运动检测,检测在采集多帧第一图像的过程中是否发生运动。作为一种具体实施方式,可获取成像设备在采集多帧第一图像时的姿态传感器的姿态数据,根据该姿态数据判断是否是发生运动。若多帧第一图像对应的姿态数据发生变化,则可说明发生运动。作为另一种具体实施方式,还可直接利用采集的多帧第一图像判断是否发生运动。可提取少量每帧第一图像中的特征点,并将提取的特征点进行匹配,如果各帧第一图像中相匹配的特征点的像素坐标出现不同,则可说明发生运动。可以理解地,检测是否发生运动的方式可以有多种,并不仅限于上述描述的几种方式。
当检测到在采集多帧第一图像的过程中发生运动时,在对多帧第一图像进行合成前,还可先将多帧第一图像进行配准,使得每帧第一图像上的每个像素点匹配,可使得后续合成的第二图像更为准确。
利用HDR对多帧第一图像进行融合处理,可得到拥有更多动态范围(亮度范围)和图像细节的第二图像,可提高最终成像的成像质量。
步骤240,提取第一图像中包含的人像区域,并对人像区域进行增强处理,人像区域包括人脸区域。
电子设备采集多帧第一图像后,可从采集的多帧第一图像中选取至少一帧第一图像,并提取该选取的第一图像中包含的人像区域,将人像区域从第一图像中分割出来。可选地,可按照预设的选取策略选择第一图像进行人像区域提取,选取策略可根据实际需求进行设定,例如,可以选取图像质量高的第一图像,图像质量可以根据第一图像中包含的噪声数量及细节信息等进行确定,也可以选取实际曝光量低于基础曝光量的第一图像,或是选取图像亮度在一定范围内的第一图像等,在此不作限定。选取的第一图像的噪声可较少,其人像区域包含的细节信息可较多。
在一些实施方式中,可采用图像分割算法提取第一图像包含的人像区域。可先根据图像的灰度、颜色、纹理及形状等特征将该第一图像划分成若干个互不相交的区域,同一区域内的特征可表现出一致性或相似性,不同区域之间的特征表现出明显不同。划分区域后,再判断各个区域是否属于人像区域,作为一种实施方式,可将各个区域的特征与预设的人像区域特征进行比较,判断是否匹配,若匹配,则可确定该区域属于人像区域。例如,当检测到区域的颜色特征与人像的皮肤颜色特征相同或相似时,则可确定该区域属于人像区域;当检测到区域的纹理特征与人像的衣物纹理特征相似时,则可确定该区域属于人像区域。
在一些实施方式中,还可根据待采集图像的人脸检测结果确定第一图像中的人脸区域,并根据该人脸区域辅助提取人像区域。可以人脸区域为基准,逐一判断在人脸区域的相邻位置的相邻像素点是否符合人像特征,若符合,则将该相邻像素点划分到人像区域内,并继续检测该被划分到人像区域内的像素点的相邻像素点是否符合人像特征,以此类推,直至找不到符合人像特征的相邻像素点为止。以人脸区域为出发点,进行区域生长,最终得到完整的人像区域,可使提取的人像区域更为准确。
可以理解地,也可以采集其它方式提取人像区域,并不仅限于上述描述的几种方式。
电子设备将人像区域从第一图像中分割出来后,可对提取的人像区域进行增强处理,以使增强处理后的人像区域具有更多的图像信息,提高人像区域的视觉效果。在一个实施例中,对人像区域进行增强处理可包括提高人像区域的清晰度、对人像区域进行细节增强等,例如,可提高人像区域的分辨率、对人像区域的五官进行增强等,但不限于此。
在一些实施方式中,可基于各种图像增强算法对人像区域进行增强处理,例如,以对人像区域的五官进行增强为例,可采用高通滤波及梯度法等算法锐化五官的边缘轮廓,以突出五官信息,在此不进行限定。
可以理解地,步骤230及步骤240并不限制先后执行顺序,可以先执行步骤230,再执行步骤240,也可以先执行步骤240,再执行步骤230,或是步骤230及步骤240并行同时执行。
步骤250,将增强处理后的人像区域与第二图像进行拼接,得到目标图像。
电子设备对从第一图像提取的人像区域进行增强处理后,可将增强处理后的人像区域与第二图像进行拼接,得到无缝的目标图像,该目标图像可指的是成像图像,可用于输出到显示器中进行显示,或是输出到图像处理器中作进一步的图像处理等操作。
在一些实施例中,可先将增强处理后的人像区域与第二图像进行配准,将增强处理后的人像区域的各个像素点与第二图像的像素点进行匹配。可选地,可先确定第二图像中的人脸区域,将第二图像中的人脸区域与增强处理后的人像区域的人脸区域进行配准后,以配准的人脸区域为基准,进行增强处理后的整个人像区域与第二图像的匹配,可使配准的结果更为准确。
在完成配准后,可将增强处理后的人像区域与第二图像融合,从而得到目标图像。作为一种具体实施方式,进行图像融合时,可直接用增强处理后的人像区域的像素点替换第二图像中匹配的像素点,也可以为增强处理后的人像区域的像素点及第二图像中匹配的像素点分配不同的权重,再基于分配的权重进行融合,在此不进行限定。
在一些实施方式中,进行图像融合时,可为增强处理后的人像区域的边缘像素点及第二图像中匹配的像素点分配不同的权重,基于分配的权重进行融合,而对于非边缘像素点,可直接用增强处理后的人像区域的像素点替换第二图像中匹配的像素点,在保证人像区域拥有更多图像信息的同时,可使得融合的边缘更为自然,提高视觉效果。
图3为一个实施例中对采集的多帧第一图像进行融合得到第二图像的示意图。图4为一个实施例中提取第一图像中的人脸区域进行增强处理后再与第二图像进行拼接的示意图。如图3所示,电子设备可根据3组不同的曝光参数分别采集得到3帧第一图像(a)、第一图像(b)及第一图像(c),可对采集的3帧第一图像(a)、第一图像(b)及第一图像(c)进行融合处理,得到第二图像310。相比起第一图像(a)、第一图像(b)及第一图像(c),第二图像310拥有更多动态范围。如图4所示,可选取第一图像(a),并可对第一图像(a)进行图像切割处理,提取人像区域402,再对人像区域402进行增强处理,得到增强处理后的人像区域404。增强处理后的人像区域404具有更丰富的图像细节。可将增强处理后的人像区域404与第二图像310进行拼接,得到目标图像410,既保证了目标图像410拥有更多动态范围,也增强了人像的视觉效果。可以理解地,图3及图4仅用于说明本申请实施例,并不表示本申请实施例提供的方法在实际应用中的真实成像,不对本申请实施例的成像效果进行限定。
在本申请实施例中,通过对待采集图像进行人脸识别,当待采集图像中包含人脸区域时,根据多组曝光参数采集多帧第一图像,对该多帧第一图像进行融合处理,得到第二图像,提取第一图像中包含的人像区域,并对人像区域进行增强处理,再将增强处理后的人像区域与第二图像进行拼接,得到目标图像,单独对人像区域进行增强处理后再与由多帧第一图像融合得到的第二图像拼接,在保证整体图像的成像效果的同时,也增强人像的视觉效果,能够使人物图像展示更多的图像细节,提高人物图像的成像质量。
如图5所示,在一个实施例中,提供另一种图像处理方法,可应用于上述的电子设备。该方法可包括如下步骤:
步骤502,检测当前拍摄场景。
电子设备可检测当前的拍摄场景,拍摄场景可根据拍摄环境的环境参数进行确定,其中,环境参数可包括但不限于环境亮度、环境内容等,例如,根据环境亮度,拍摄场景可分为亮光场景、暗光场景、夜景场景、背光场景等,根据环境内容,拍摄场景可分为室内场景、天空场景、雨雾场景等,但不限于此。
在一些实施例中,电子设备可判断当前拍摄场景是否为目标场景。在本申请实施例中,该目标场景可指的是场景亮度低于阈值的场景,例如暗光场景、夜景场景等。在目标场景中拍摄得到的图像,由于环境亮度较低,会丢失较多的图像信息,导致图像的成像效果差,视觉效果不佳等问题。
作为一种具体实施方式,电子设备可通过光照度传感器、光线传感器等检测当前拍摄场景的场景亮度,并判断检测到的场景亮度是否低于阈值。若场景亮度低于阈值,则可确定当前拍摄场景为目标场景。
作为另一种具体实施方式,电子设备还可利用HDR算法进行打分,可采用不同的曝光参数采集当前拍摄场景的图像后,利用HDR算法对采集的多帧图像进行融合,并对融合得到的高动态图像进行打分。可将HDR算法的打分结果与场景亮度进行结合,若场景亮度低于阈值,且亮动态图像的分数高于设定的分数线,则可确定当前拍摄场景为目标场景。
作为另一种具体实施方式,电子设备可获取待采集图像,并将待采集图像输入到场景检测模型中,通过场景检测模型确定当前拍摄场景。场景检测模型可提取待采集图像的图像特征,并对图像特征进行分析,从而确定对应的拍摄场景。场景检测模型可根据大量携带有场景标签的场景图像样本进行训练构建,通过对大量携带有场景标签的场景图像样本进行学习,可以不断学习得到不同拍摄场景对应的图像特征,使得场景检测的结果更为准确。
步骤504,当确定当前拍摄场景为目标场景时,对待采集图像进行人脸识别,目标场景的场景亮度低于阈值。
若当前拍摄场景为目标场景,可说明当前拍摄场景的场景亮度较低,拍摄得到的图像的成像效果不佳,需对拍摄的图像进行处理,以提高图像的成像效果。电子设备在确定当前拍摄场景为目标场景后,可对待采集图像进行人脸识别,当检测到待采集图像中包含人脸时,可执行步骤506至512,得到成像效果高的目标图像。
人脸检测的具体内容,以及步骤506至512的内容可参照上述实施例中的相关描述,在此不再一一赘述。
步骤506,当待采集图像中包含人脸区域时,根据多组曝光参数采集多帧第一图像。
在一些实施例中,曝光参数可包括曝光补偿值,利用曝光补偿值可增加或减少曝光量。当待采集图像中包含人脸区域时,可采用第一数值范围内的多个曝光补偿值采集得到多帧第一图像。例如,第一数值范围为[EV-3,EV+3],若采集5帧第一图像,则可从该数值范围选取5个曝光补偿值,可分别为EV-3、EV-1、EV0、EV+2、EV+3。
若待采集图像中不包含人脸区域,则可采用第二数值范围内的多个曝光补偿值采集多帧第一图像,其中,第二数值范围可区别地第一数值范围。例如,第二数值范围为[EV-2,EV+2],若采集5帧第一图像,则可从该数值范围选取5个曝光补偿值,可分别为EV-2、EV-1、EV0、EV+1、EV+2。可直接对采集的多帧第一图像进行融合处理,得到拥有高动态范围的目标图像。
在一些实施方式中,第一数值范围及第二数值范围均可根据当前拍摄场景的场景亮度及感光度(ISO值)进行确定,感光度可用于衡量底片对于光的灵敏程度。若场景亮度较低且感光度较低,则设置的第一数值范围及第二数值范围可较宽,以保证能采集到具有充足曝光量的图像,若场景亮度较高且感光度较高,则设置的第一数值范围及第二数值范围可较窄,以保证采集到的图像拥有更丰富的图像信息。电子设备中可预先存储有场景亮度及感光度与第一数值范围、第二数值范围之间的对应关系,在确定场景亮度及感光度后,可根据该对应关系获取第一数值范围及第二数值范围,从而根据第一数值范围及第二数值范围采集多帧第一图像。
步骤508,对多帧第一图像进行融合处理,得到第二图像。
步骤510,提取第一图像中包含的人像区域,并对人像区域进行增强处理,人像区域包括人脸区域。
可从采集的多帧第一图像中选取至少一帧第一图像,并从选取的第一图像中提取人像区域。在一些实施方式中,可从采集的多帧第一图像中选取至少一帧曝光补偿值小于0的第一图像。在目标场景下,采用曝光补偿值大于或等于0拍摄得到的第一图像的图像噪声可能较大,即便使用降噪算法也可能无法完全去除图像噪声,因此,可选取曝光补偿值小于0的第一图像。进一步地,可仅选取一张曝光补偿值小于0的第一图像进行人物区域的技取。当存在多张曝光补偿值小于0的第一图像时,可从中随机选取一张第一图像,也可根据每张曝光补偿值小于0的第一图像的图像质量进行选取。
如图6所示,在一个实施例中,选取至少一帧曝光补偿值小于0的第一图像可包括以下步骤:
步骤602,检测每帧曝光补偿值小于0的第一图像的图像噪声。
图像噪声是指图像中存在的不必要的或多余的干扰信息。可选地,可采用噪声检测算法对每帧曝光补偿值小于0的第一图像进行检测,例如,可采用直方图统计、分区均值算法等检测图像噪声。
在一些实施例中,还可将各帧曝光补偿值小于0的第一图像进行比对,从而确定每帧曝光补偿值小于0的第一图像的图像噪声。可进行检测的第一图像的像素点的灰度值与其他曝光补偿值小于0的第一图像匹配的像素点的灰度值进行比较,若检测的像素点与其他第一图像中匹配的像素点的灰度值差值大于波动范围,则可确定该检测的像素点为图像噪声。可以理解地,也可采用其他方式进行图像噪声检测,在此不进行限定。
步骤604,根据每帧曝光补偿值小于0的第一图像的图像噪声及包含的人像信息,确定每帧曝光补偿值小于0的第一图像的图像质量。
人像信息可包括人像的细节信息、亮度信息、饱和度等,人像信息越丰富,可说明第一图像的图像质量越好。作为一种具体实施方式,可根据每帧曝光补偿值小于0的第一图像的图像噪声及包含的人像信息,计算每帧曝光补偿值小于0的第一图像的质量分数,该质量分数可用于表征图像质量。第一图像的图像噪声越少,包含的人像信息越丰富,对应的质量分数可越高,表示图像质量越高;第一图像的图像噪声越多,包含的人像信息越少,对应的质量分数可越低,表示图像质量越低。
步骤606,基于图像质量选取一帧曝光补偿值小于0的第一图像。
电子设备可基于每帧曝光补偿值小于0的第一图像的图像质量,按照图像质量从高到低进行排序,可选择图像质量最高的曝光补偿值小于0的第一图像,并提取该选取的第一图像包含的人像区域,再对该人像区域进行增强处理。可使得提取的人像区域包含的图像信息更多,进一步提高后续得到的目标图像的人像的视觉效果。此外,提取的人像区域包含的图像信息更多,可减少增强处理时的运算工作量,提高图像处理效率。
步骤512,将增强处理后的人像区域与第二图像进行拼接,得到目标图像。
在本申请实施例中,通过检测当前拍摄场景,当当前拍摄场景为场景亮度低于阈值的目标场景时,对待采集图像进行人脸识别,根据多组曝光参数采集多帧第一图像,对该多帧第一图像进行融合处理,得到第二图像,提取第一图像中包含的人像区域,单独对人像区域进行增强处理后再与由多帧第一图像融合得到的第二图像拼接,能够保证在场景亮度低的情况下拍摄的整体图像既拥有更多的亮度范围,又能提高人物图像视觉效果。
如图7所示,在一个实施例中,提供另一种图像处理方法,可应用于上述的电子设备。该方法可包括如下步骤:
步骤702,检测当前拍摄场景。
步骤704,当确定当前拍摄场景为目标场景时,对待采集图像进行人脸识别,目标场景的场景亮度低于阈值。
步骤706,当待采集图像中包含人脸区域时,根据多组曝光参数采集多帧第一图像。
步骤708,对多帧第一图像进行融合处理,得到第二图像。
步骤710,提取第一图像中包含的人像区域,并对人像区域进行增强处理,人像区域包括人脸区域。
步骤702至710的内容可参照上述实施例中的相关描述,在此不再进行一一赘述。
在一些实施方式中,对人像区域进行增强处理,可包括提升人像区域的清晰度、消除人像区域中存在的模糊区域、根据亮度范围调整人像区域中人脸区域的亮度、确定人像区域的皮肤区域,并提高皮肤区域的饱和度、增强人像区域中包含的五官区域的细节信息等中的一种或多种等。
作为一种具体实施方式,可提高人像区域的分辨率,也可以对人像区域中的像素点进行锐化处理,从而可提升人像区域的清晰度。
作为一种具体实施方式,可检测人像区域中存在的模糊区域,并对该模糊区域进行锐化处理,从而消除人像区域中存在的模糊区域。可选地,也可获取其它第一图像中与该模糊区域对应的图像区域,并选取清晰度最高的图像区域与该人像区域中的模糊区域融合,消除人像区域中存在的模糊区域。
作为一种具体实施方式,亮度范围可根据实际需求进行设定,根据亮度范围调整人像区域中人脸区域的亮度,可使人脸区域的亮度不会过亮或过暗。
饱和度可定义为彩度除以明度,可用于表征彩色偏离同亮度灰色的程度。可提高人像区域的皮肤区域的饱和度,以提高人像区域的视觉效果。作为一种具体实施方式,可先检测人像区域的皮肤区域,可先将人像区域划分为多个区域,再判断各个区域是否与预设的皮肤区域的特征匹配,若特征匹配,则可确定为皮肤区域,再提高皮肤区域的饱和度。
作为一种具体实施方式,可以增强人像区域中五官区域的五官轮廓,突出五官的边缘信息,对五官区域进行增强处理。
可以理解地,本申请实施例中还可对人像区域进行比上述所举的几种更多的增强处理,也可以对人像区域进行美化处理,例如瘦身、美白、拉长身体比例等,在此不进行一一限定。
步骤712,确定第二图像中与人像区域对应的子区域。
对提取的人像区域进行增强处理后,可将增强处理的人像区域与第二图像进行亮度对齐,亮度对齐指的是使人像区域的亮度与第二图像的亮度相同或相似。在一些实施例中,可将增强处理后的人像区域与第二图像中对应的子区域进行亮度对齐。
可确定第二图像中与人像区域对应的子区域,作为一种实施方式,可获取人像区域的各个像素点在所属的第一图像的像素坐标,并将第二图像中与该所属的第一图像的像素坐标相同的像素点确定为子区域的像素点,从而可确定第二图像中与人像区域对应的子区域。
作为另一种实施方式,也可直接对第二图像进行人像区域检测,其检测的方式可与上述实施例中从第一图像中提取人像区域时的检测方式一致,在此不再一一赘述。可将第二图像中检测到的人像区域作为与增强处理后的人像区域对应的子区域。
作为另一种实施方式,还可将增强处理后的人像区域与第二图像进行匹配,确定第二图像中与人像区域的边缘像素点匹配的像素点,从而划分出与该人像区域对应的子区域。
步骤714,根据子区域的亮度调整增强处理后的人像区域的亮度,使得增强处理后的人像区域的亮度向子区域的亮度对齐。
可通过多种方式将增强处理后的人像区域的亮度与第二图像中对应的子区域进行亮度对齐,例如,可通过直方图分布方法进行调整,也可以通过计算平均亮度值进行调整等。
在一些实施例中,可计算第二图像中与增强处理后的人像区域对应的子区域的第一平均亮度,并计算增强处理后的人像区域的第二平均亮度。可比较该第一平均亮度及第二平均亮度,得到比较结果,并根据比较结果确定调整参数。若比较结果为第一平均亮度大于第二平均亮度,则可提高增强处理后的人像区域的亮度。若比较结果为第一平均亮度小于第二平均亮度,则可降低增强处理后的人像区域的亮度。
调整参数可根据第一平均亮度与第二平均亮度之间的差值进行确定,以保证进行亮度调整后的人脸区域的第二平均亮度与第二图像对应的子区域的第一平均亮度的差值满足设定的误差范围。可选地,误差范围可根据实际需求进行设定,通常为较小的数值范围,比如为[0,3]等,以保证亮度调整后的人脸区域的亮度与第二图像中对应子区域的亮度相同或相似,实现亮度对齐,可提高拼接后的图像的视觉效果。
步骤716,将增强处理后的人像区域与第二图像进行拼接,得到目标图像。
可将进行亮度对齐后的增强处理后的人像区域与第二图像进行拼接,得到目标图像,具体的实施方式可参照上述实施例中的描述,在此不再一一赘述。
在一些实施方式中,电子设备将增强处理后的人像区域与第二图像进行拼接后,还可对增强处理后的人像区域与第二图像的拼接边缘进行平滑处理。可选地,可采用均值滤波、高斯加权滤波、中值滤波、双边滤波等方式对拼接边缘进行平滑处理,利用拼接边缘像素点的相邻像素点对拼接边缘像素点进行滤波,减小拼接边缘像素点与相邻像素点之间的差异,实现平滑处理,可使得拼接后的目标图像更为自然,提高成像效果。
在本申请实施例中,可将增强处理后的人像区域与第二图像进行亮度对齐,保证二者亮度相同或相似,可提高拼接后的目标图像的视角效果。
图8为另一个实施例中图像处理方法的流程示意图。如图8所示,在一个实施例中,可利用多组不同的曝光补偿值(包括EV+、EV0及EV-等)采集多帧曝光量不同的第一图像,并对采集的多帧第一图像进行RAW域处理,以对多帧第一图像进行降噪。降噪后的多帧第一图像可输入到ISP处理器中,由ISP处理器进行处理。ISP处理器可采用HDR算法对多帧第一图像进行融合,得到具有高动态范围的第二图像。ISP处理器还可选取一帧曝光补偿值为EV-的第一图像进行人像分割,提取人像区域,并对人像区域进行细节增强等增强处理。可将增强处理后的人像区域与第二图像进行亮度对齐,并将亮度对齐后的增强处理后的人像区域与第二图像进行拼接。可对增强处理后的人像区域与第二图像的拼接边缘进行平滑处理,最终得到目标图像。在保证目标图像的拥有高动态范围的同时,也增强人像的视觉效果,能够使人物图像展示更多的图像细节,提高人物图像的成像质量。
如图9所示,在一个实施例中,提供一种图像处理装置900,包括人脸识别模块910、采集模块920、融合模块930、增强模块940及拼接模块950。
人脸识别模块910,用于对待采集图像进行人脸识别。
采集模块920,用于当待采集图像中包含人脸区域时,根据多组曝光参数采集多帧第一图像。
融合模块930,用于对多帧第一图像进行融合处理,得到第二图像。
增强模块940,用于提取第一图像中包含的人像区域,并对人像区域进行增强处理,人像区域包括人脸区域。
拼接模块950,用于将增强处理后的人像区域与第二图像进行拼接,得到目标图像。
在本申请实施例中,通过对待采集图像进行人脸识别,当待采集图像中包含人脸区域时,根据多组曝光参数采集多帧第一图像,对该多帧第一图像进行融合处理,得到第二图像,提取第一图像中包含的人像区域,并对人像区域进行增强处理,再将增强处理后的人像区域与第二图像进行拼接,得到目标图像,单独对人像区域进行增强处理后再与由多帧第一图像融合得到的第二图像拼接,在保证整体图像的成像效果的同时,也增强人像的视觉效果,能够使人物图像展示更多的图像细节,提高人物图像的成像质量。
在一个实施例中,上述图像处理装置900,除了包括人脸识别模块910、采集模块920、融合模块930、增强模块940及拼接模块950,还包括场景检测模块。
场景检测模块,用于检测当前拍摄场景。
人脸识别模块910,还用于当确定当前拍摄场景为目标场景时,对待采集图像进行人脸识别,目标场景的场景亮度低于阈值。
在一个实施例中,曝光参数包括曝光补偿值。
增强模块940,还用于从多帧第一图像中选取至少一帧曝光补偿值小于0的第一图像,并提取选取的第一图像中包含的人像区域。
在一个实施例中,增强模块940,包括噪声检测单元、质量确定单元及选取单元。
噪声检测单元,用于检测每帧曝光补偿值小于0的第一图像的图像噪声。
质量确定单元,用于根据每帧曝光补偿值小于0的第一图像的图像噪声及包含的人像信息,确定每帧曝光补偿值小于0的第一图像的图像质量。
选取单元,用于基于图像质量选取一帧曝光补偿值小于0的第一图像。
在本申请实施例中,通过检测当前拍摄场景,当当前拍摄场景为场景亮度低于阈值的目标场景时,对待采集图像进行人脸识别,根据多组曝光参数采集多帧第一图像,对该多帧第一图像进行融合处理,得到第二图像,提取第一图像中包含的人像区域,单独对人像区域进行增强处理后再与由多帧第一图像融合得到的第二图像拼接,能够保证在场景亮度低的情况下拍摄的整体图像既拥有更多的亮度范围,又能提高人物图像视觉效果。
在一个实施例中,上述图像处理装置900,除了包括人脸识别模块910、采集模块920、融合模块930、增强模块940、拼接模块950及场景检测模块,还包括子区域确定模块及亮度对齐模块。
子区域确定模块,用于确定第二图像中与人像区域对应的子区域。
亮度对齐模块,用于根据子区域的亮度调整增强处理后的人像区域的亮度,使得增强处理后的人像区域的亮度向子区域的亮度对齐。
在一个实施例中,亮度对齐模块,包括计算单元、比较单元及调整单元。
计算单元,用于计算子区域的第一平均亮度及增强处理后的人像区域的第二平均亮度。
比较单元,用于比较第一平均亮度及第二平均亮度,得到比较结果,并根据比较结果确定调整参数。
调整单元,用于根据调整参数调整增强处理后的人像区域的亮度,使得亮度调整后的人脸区域的第二平均亮度与第一平均亮度的差值满足误差范围。
在一个实施例中,增强模块940,还用于对人像区域进行以下一种或多种的增强处理:
提升人像区域的清晰度;
消除人像区域中存在的模糊区域;
根据亮度范围调整人像区域中人脸区域的亮度;
确定人像区域的皮肤区域,并提高皮肤区域的饱和度;
增强人像区域中包含的五官区域的细节信息。
在一个实施例中,拼接模块950,包括拼接单元及平滑单元。
拼接单元,用于将增强处理后的人像区域与第二图像进行拼接。
平滑单元,用于对增强处理后的人像区域与第二图像的拼接边缘进行平滑处理,得到目标图像。
在本申请实施例中,可将增强处理后的人像区域与第二图像进行亮度对齐,保证二者亮度相同或相似,可提高拼接后的目标图像的视角效果。
图10为一个实施例中电子设备的结构框图。如图10所示,电子设备1000可以包括一个或多个如下部件:处理器1010、与处理器1010耦合的存储器1020,其中存储器1020可存储有一个或多个应用程序,一个或多个应用程序可以被配置为由一个或多个处理器1010执行,一个或多个程序配置用于执行如上述实施例描述的方法。
处理器1010可以包括一个或者多个处理核。处理器1010利用各种接口和线路连接整个电子设备1000内的各个部分,通过运行或执行存储在存储器1020内的指令、程序、代码集或指令集,以及调用存储在存储器1020内的数据,执行电子设备1000的各种功能和处理数据。可选地,处理器1010可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable Logic Array,PLA)中的至少一种硬件形式来实现。处理器1010可集成中央处理器(Central Processing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器1010中,单独通过一块通信芯片进行实现。
存储器1020可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。存储器1020可用于存储指令、程序、代码、代码集或指令集。存储器1020可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等。存储数据区还可以存储电子设备1000在使用中所创建的数据等。
可以理解地,电子设备1000可包括比上述结构框图中更多或更少的结构元件,例如,包括电源、输入按键、摄像头、扬声器、屏幕、RF(Radio Frequency,射频)电路、Wi-Fi(Wireless Fidelity,无线保真)模块、蓝牙模块、传感器等,还可在此不进行限定。
本申请实施例公开一种计算机可读存储介质,其存储计算机程序,其中,该计算机程序被处理器执行时实现如上述实施例描述的方法。
本申请实施例公开一种计算机程序产品,该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,且该计算机程序可被处理器执行时实现如上述实施例描述的方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)等。
如此处所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM),它用作外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉,说明书中所描述的实施例均属于可选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在本申请的各种实施例中,应理解,上述各过程的序号的大小并不意味着执行顺序的必然先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物单元,即可位于一个地方,或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本申请各实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可获取的存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分,可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等,具体可以是计算机设备中的处理器)执行本申请的各个实施例上述方法的部分或全部步骤。
以上对本申请实施例公开的一种图像处理方法、装置、电子设备及计算机可读存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (11)
1.一种图像处理方法,其特征在于,包括:
对待采集图像进行人脸识别;
当所述待采集图像中包含人脸区域时,根据多组曝光参数采集多帧第一图像;
对所述多帧第一图像进行融合处理,得到第二图像;
提取所述第一图像中包含的人像区域,并对所述人像区域进行增强处理,所述人像区域包括所述人脸区域;
将增强处理后的人像区域与所述第二图像进行拼接,得到目标图像。
2.根据权利要求1所述的方法,其特征在于,在所述对待采集图像进行人脸识别之前,所述方法还包括:
检测当前拍摄场景;
所述对待采集图像进行人脸识别,包括:
当确定所述当前拍摄场景为目标场景时,对待采集图像进行人脸识别,所述目标场景的场景亮度低于阈值。
3.根据权利要求1所述的方法,其特征在于,所述曝光参数包括曝光补偿值;
所述提取所述第一图像中包含的人像区域,包括:
从所述多帧第一图像中选取至少一帧曝光补偿值小于0的第一图像,并提取选取的第一图像中包含的人像区域。
4.根据权利要求3所述的方法,其特征在于,所述从所述多帧第一图像中选取至少一帧曝光补偿值小于0的第一图像,包括:
检测每帧曝光补偿值小于0的第一图像的图像噪声;
根据每帧所述曝光补偿值小于0的第一图像的图像噪声及包含的人像信息,确定每帧所述曝光补偿值小于0的第一图像的图像质量;
基于所述图像质量选取一帧曝光补偿值小于0的第一图像。
5.根据权利要求1所述的方法,其特征在于,在所述将增强处理后的人像区域与所述第二图像进行拼接之前,所述方法还包括:
确定所述第二图像中与所述人像区域对应的子区域;
根据所述子区域的亮度调整增强处理后的人像区域的亮度,使得所述增强处理后的人像区域的亮度向所述子区域的亮度对齐。
6.根据权利要求5所述的方法,其特征在于,所述根据所述子区域的亮度调整增强处理后的人像区域的亮度,包括:
计算所述子区域的第一平均亮度及增强处理后的人像区域的第二平均亮度;
比较所述第一平均亮度及第二平均亮度,得到比较结果,并根据所述比较结果确定调整参数;
根据所述调整参数调整所述增强处理后的人像区域的亮度,使得亮度调整后的人脸区域的第二平均亮度与所述第一平均亮度的差值满足误差范围。
7.根据权利要求1至6任一所述的方法,其特征在于,所述对所述人像区域进行增强处理,包括以下中的一种或多种:
提升所述人像区域的清晰度;
消除所述人像区域中存在的模糊区域;
根据亮度范围调整所述人像区域中人脸区域的亮度;
确定所述人像区域的皮肤区域,并提高所述皮肤区域的饱和度;
增强所述人像区域中包含的五官区域的细节信息。
8.根据权利要求1至6任一所述的方法,其特征在于,所述将增强处理后的人像区域与所述第二图像进行拼接,得到目标图像,包括:
将增强处理后的人像区域与所述第二图像进行拼接;
对所述增强处理后的人像区域与所述第二图像的拼接边缘进行平滑处理,得到目标图像。
9.一种图像处理装置,其特征在于,包括:
人脸识别模块,用于对待采集图像进行人脸识别;
采集模块,用于当所述待采集图像中包含人脸区域时,根据多组曝光参数采集多帧第一图像;
融合模块,用于对所述多帧第一图像进行融合处理,得到第二图像;
增强模块,用于提取所述第一图像中包含的人像区域,并对所述人像区域进行增强处理,所述人像区域包括所述人脸区域;
拼接模块,用于将增强处理后的人像区域与所述第二图像进行拼接,得到目标图像。
10.一种电子设备,其特征在于,包括存储器及处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器实现如权利要求1至8任一所述的方法。
11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至8任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010185311.5A CN111402135B (zh) | 2020-03-17 | 2020-03-17 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010185311.5A CN111402135B (zh) | 2020-03-17 | 2020-03-17 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111402135A true CN111402135A (zh) | 2020-07-10 |
CN111402135B CN111402135B (zh) | 2023-06-20 |
Family
ID=71430910
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010185311.5A Active CN111402135B (zh) | 2020-03-17 | 2020-03-17 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111402135B (zh) |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111901525A (zh) * | 2020-07-29 | 2020-11-06 | 西安欧亚学院 | 一种多相机人工智能图像处理方法 |
CN112053389A (zh) * | 2020-07-28 | 2020-12-08 | 北京迈格威科技有限公司 | 人像处理方法、装置、电子设备及可读存储介质 |
CN112085737A (zh) * | 2020-07-31 | 2020-12-15 | 新绎健康科技有限公司 | 一种用于获取红外血管图像增强图像的方法及系统 |
CN112419214A (zh) * | 2020-10-28 | 2021-02-26 | 深圳市优必选科技股份有限公司 | 一种标注图像生成方法、装置、可读存储介质及终端设备 |
CN112488965A (zh) * | 2020-12-23 | 2021-03-12 | 联想(北京)有限公司 | 一种图像处理方法和装置 |
CN112532893A (zh) * | 2020-11-25 | 2021-03-19 | Oppo(重庆)智能科技有限公司 | 图像处理方法、装置、终端及存储介质 |
CN112800969A (zh) * | 2021-01-29 | 2021-05-14 | 新疆爱华盈通信息技术有限公司 | 图像质量调节方法和系统、ai处理方法、门禁系统 |
CN112818732A (zh) * | 2020-08-11 | 2021-05-18 | 腾讯科技(深圳)有限公司 | 一种图像处理方法、装置、计算机设备和存储介质 |
CN112995527A (zh) * | 2021-02-27 | 2021-06-18 | 深圳市数码龙电子有限公司 | 用于摄像头的补光方法、系统、智能终端及存储介质 |
CN112971778A (zh) * | 2021-02-09 | 2021-06-18 | 北京师范大学 | 脑功能成像信号获得方法、装置及电子设备 |
CN113012160A (zh) * | 2021-02-23 | 2021-06-22 | Oppo广东移动通信有限公司 | 图像处理方法、装置、终端设备及计算机可读存储介质 |
CN113225606A (zh) * | 2021-04-30 | 2021-08-06 | 上海哔哩哔哩科技有限公司 | 视频弹幕处理方法及装置 |
CN113506225A (zh) * | 2021-06-17 | 2021-10-15 | 展讯半导体(南京)有限公司 | 图像处理方法、系统、电子设备及存储介质 |
CN113538304A (zh) * | 2020-12-14 | 2021-10-22 | 腾讯科技(深圳)有限公司 | 图像增强模型的训练方法及装置、图像增强方法及装置 |
CN113610861A (zh) * | 2021-06-21 | 2021-11-05 | 重庆海尔制冷电器有限公司 | 制冷设备内食材图像处理方法、制冷设备及可读存储介质 |
CN113627328A (zh) * | 2021-08-10 | 2021-11-09 | 安谋科技(中国)有限公司 | 电子设备及其图像识别方法、片上系统和介质 |
CN113869291A (zh) * | 2021-12-02 | 2021-12-31 | 杭州魔点科技有限公司 | 基于环境亮度调节人脸曝光度的方法、系统、装置和介质 |
CN113890961A (zh) * | 2021-10-13 | 2022-01-04 | Oppo广东移动通信有限公司 | 图像处理方法与装置、终端及可读存储介质 |
CN114187216A (zh) * | 2021-11-17 | 2022-03-15 | 海南乾唐视联信息技术有限公司 | 一种图像处理方法、装置、终端设备和存储介质 |
CN114298912A (zh) * | 2022-03-08 | 2022-04-08 | 北京万里红科技有限公司 | 图像采集方法、装置、电子设备及存储介质 |
WO2022110638A1 (zh) * | 2020-11-30 | 2022-06-02 | 深圳市慧鲤科技有限公司 | 人像修复方法、装置、电子设备、存储介质和程序产品 |
CN115082298A (zh) * | 2022-07-15 | 2022-09-20 | 北京百度网讯科技有限公司 | 图像生成方法、装置、电子设备以及存储介质 |
CN116843708A (zh) * | 2023-08-30 | 2023-10-03 | 荣耀终端有限公司 | 图像处理方法和装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103617432A (zh) * | 2013-11-12 | 2014-03-05 | 华为技术有限公司 | 一种场景识别方法及装置 |
CN104537612A (zh) * | 2014-08-05 | 2015-04-22 | 华南理工大学 | 一种自动的人脸图像皮肤美化方法 |
CN106023104A (zh) * | 2016-05-16 | 2016-10-12 | 厦门美图之家科技有限公司 | 人脸眼部区域的图像增强方法、系统及拍摄终端 |
CN107241557A (zh) * | 2017-06-16 | 2017-10-10 | 广东欧珀移动通信有限公司 | 图像曝光方法、装置、摄像设备及存储介质 |
CN109068067A (zh) * | 2018-08-22 | 2018-12-21 | Oppo广东移动通信有限公司 | 曝光控制方法、装置和电子设备 |
CN110225248A (zh) * | 2019-05-29 | 2019-09-10 | Oppo广东移动通信有限公司 | 图像采集方法和装置、电子设备、计算机可读存储介质 |
CN110807448A (zh) * | 2020-01-07 | 2020-02-18 | 南京甄视智能科技有限公司 | 人脸关键点数据增强方法、装置、系统以及模型训练方法 |
-
2020
- 2020-03-17 CN CN202010185311.5A patent/CN111402135B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103617432A (zh) * | 2013-11-12 | 2014-03-05 | 华为技术有限公司 | 一种场景识别方法及装置 |
CN104537612A (zh) * | 2014-08-05 | 2015-04-22 | 华南理工大学 | 一种自动的人脸图像皮肤美化方法 |
CN106023104A (zh) * | 2016-05-16 | 2016-10-12 | 厦门美图之家科技有限公司 | 人脸眼部区域的图像增强方法、系统及拍摄终端 |
CN107241557A (zh) * | 2017-06-16 | 2017-10-10 | 广东欧珀移动通信有限公司 | 图像曝光方法、装置、摄像设备及存储介质 |
CN109068067A (zh) * | 2018-08-22 | 2018-12-21 | Oppo广东移动通信有限公司 | 曝光控制方法、装置和电子设备 |
CN110225248A (zh) * | 2019-05-29 | 2019-09-10 | Oppo广东移动通信有限公司 | 图像采集方法和装置、电子设备、计算机可读存储介质 |
CN110807448A (zh) * | 2020-01-07 | 2020-02-18 | 南京甄视智能科技有限公司 | 人脸关键点数据增强方法、装置、系统以及模型训练方法 |
Cited By (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112053389A (zh) * | 2020-07-28 | 2020-12-08 | 北京迈格威科技有限公司 | 人像处理方法、装置、电子设备及可读存储介质 |
CN111901525A (zh) * | 2020-07-29 | 2020-11-06 | 西安欧亚学院 | 一种多相机人工智能图像处理方法 |
CN112085737A (zh) * | 2020-07-31 | 2020-12-15 | 新绎健康科技有限公司 | 一种用于获取红外血管图像增强图像的方法及系统 |
CN112818732B (zh) * | 2020-08-11 | 2023-12-12 | 腾讯科技(深圳)有限公司 | 一种图像处理方法、装置、计算机设备和存储介质 |
CN112818732A (zh) * | 2020-08-11 | 2021-05-18 | 腾讯科技(深圳)有限公司 | 一种图像处理方法、装置、计算机设备和存储介质 |
CN112419214A (zh) * | 2020-10-28 | 2021-02-26 | 深圳市优必选科技股份有限公司 | 一种标注图像生成方法、装置、可读存储介质及终端设备 |
CN112532893A (zh) * | 2020-11-25 | 2021-03-19 | Oppo(重庆)智能科技有限公司 | 图像处理方法、装置、终端及存储介质 |
CN112532893B (zh) * | 2020-11-25 | 2022-06-28 | Oppo(重庆)智能科技有限公司 | 图像处理方法、装置、终端及存储介质 |
WO2022110638A1 (zh) * | 2020-11-30 | 2022-06-02 | 深圳市慧鲤科技有限公司 | 人像修复方法、装置、电子设备、存储介质和程序产品 |
CN113538304A (zh) * | 2020-12-14 | 2021-10-22 | 腾讯科技(深圳)有限公司 | 图像增强模型的训练方法及装置、图像增强方法及装置 |
CN113538304B (zh) * | 2020-12-14 | 2023-08-18 | 腾讯科技(深圳)有限公司 | 图像增强模型的训练方法及装置、图像增强方法及装置 |
CN112488965A (zh) * | 2020-12-23 | 2021-03-12 | 联想(北京)有限公司 | 一种图像处理方法和装置 |
CN112800969A (zh) * | 2021-01-29 | 2021-05-14 | 新疆爱华盈通信息技术有限公司 | 图像质量调节方法和系统、ai处理方法、门禁系统 |
CN112971778A (zh) * | 2021-02-09 | 2021-06-18 | 北京师范大学 | 脑功能成像信号获得方法、装置及电子设备 |
CN113012160A (zh) * | 2021-02-23 | 2021-06-22 | Oppo广东移动通信有限公司 | 图像处理方法、装置、终端设备及计算机可读存储介质 |
CN112995527A (zh) * | 2021-02-27 | 2021-06-18 | 深圳市数码龙电子有限公司 | 用于摄像头的补光方法、系统、智能终端及存储介质 |
CN112995527B (zh) * | 2021-02-27 | 2021-12-21 | 深圳市数码龙电子有限公司 | 用于摄像头的补光方法、系统、智能终端及存储介质 |
CN113225606A (zh) * | 2021-04-30 | 2021-08-06 | 上海哔哩哔哩科技有限公司 | 视频弹幕处理方法及装置 |
CN113225606B (zh) * | 2021-04-30 | 2022-09-23 | 上海哔哩哔哩科技有限公司 | 视频弹幕处理方法及装置 |
CN113506225A (zh) * | 2021-06-17 | 2021-10-15 | 展讯半导体(南京)有限公司 | 图像处理方法、系统、电子设备及存储介质 |
CN113610861A (zh) * | 2021-06-21 | 2021-11-05 | 重庆海尔制冷电器有限公司 | 制冷设备内食材图像处理方法、制冷设备及可读存储介质 |
CN113610861B (zh) * | 2021-06-21 | 2023-11-14 | 重庆海尔制冷电器有限公司 | 制冷设备内食材图像处理方法、制冷设备及可读存储介质 |
CN113627328A (zh) * | 2021-08-10 | 2021-11-09 | 安谋科技(中国)有限公司 | 电子设备及其图像识别方法、片上系统和介质 |
CN113890961A (zh) * | 2021-10-13 | 2022-01-04 | Oppo广东移动通信有限公司 | 图像处理方法与装置、终端及可读存储介质 |
CN114187216A (zh) * | 2021-11-17 | 2022-03-15 | 海南乾唐视联信息技术有限公司 | 一种图像处理方法、装置、终端设备和存储介质 |
CN113869291A (zh) * | 2021-12-02 | 2021-12-31 | 杭州魔点科技有限公司 | 基于环境亮度调节人脸曝光度的方法、系统、装置和介质 |
CN114298912A (zh) * | 2022-03-08 | 2022-04-08 | 北京万里红科技有限公司 | 图像采集方法、装置、电子设备及存储介质 |
CN115082298A (zh) * | 2022-07-15 | 2022-09-20 | 北京百度网讯科技有限公司 | 图像生成方法、装置、电子设备以及存储介质 |
CN116843708A (zh) * | 2023-08-30 | 2023-10-03 | 荣耀终端有限公司 | 图像处理方法和装置 |
CN116843708B (zh) * | 2023-08-30 | 2023-12-12 | 荣耀终端有限公司 | 图像处理方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN111402135B (zh) | 2023-06-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111402135B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
CN110062160B (zh) | 图像处理方法和装置 | |
JP7371081B2 (ja) | 夜景撮影方法、装置、電子機器および記憶媒体 | |
CN110149482B (zh) | 对焦方法、装置、电子设备和计算机可读存储介质 | |
CN110072051B (zh) | 基于多帧图像的图像处理方法和装置 | |
CN109348089B (zh) | 夜景图像处理方法、装置、电子设备及存储介质 | |
CN108900782B (zh) | 曝光控制方法、装置以及电子设备 | |
CN108537155B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
CN109068058B (zh) | 超级夜景模式下的拍摄控制方法、装置和电子设备 | |
CN108322646B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN110191291B (zh) | 基于多帧图像的图像处理方法和装置 | |
CN108537749B (zh) | 图像处理方法、装置、移动终端及计算机可读存储介质 | |
CN110072052B (zh) | 基于多帧图像的图像处理方法、装置、电子设备 | |
EP3480784B1 (en) | Image processing method, and device | |
US11431915B2 (en) | Image acquisition method, electronic device, and non-transitory computer readable storage medium | |
CN108259770B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN109712177B (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
JP2009506688A (ja) | 画像分割方法および画像分割システム | |
CN109151333B (zh) | 曝光控制方法、装置以及电子设备 | |
CN113313661A (zh) | 图像融合方法、装置、电子设备及计算机可读存储介质 | |
CN110660090A (zh) | 主体检测方法和装置、电子设备、计算机可读存储介质 | |
WO2022261828A1 (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
CN113313626A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN109242794B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
CN108574803B (zh) | 图像的选取方法、装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |