CN113610723A - 图像处理方法及相关装置 - Google Patents
图像处理方法及相关装置 Download PDFInfo
- Publication number
- CN113610723A CN113610723A CN202110885563.3A CN202110885563A CN113610723A CN 113610723 A CN113610723 A CN 113610723A CN 202110885563 A CN202110885563 A CN 202110885563A CN 113610723 A CN113610723 A CN 113610723A
- Authority
- CN
- China
- Prior art keywords
- brightness
- skin color
- image
- color
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 57
- 238000000034 method Methods 0.000 claims abstract description 34
- 238000013507 mapping Methods 0.000 claims description 26
- 230000015654 memory Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 14
- 230000011218 segmentation Effects 0.000 claims description 14
- 230000001815 facial effect Effects 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 8
- 238000009499 grossing Methods 0.000 claims description 5
- 238000009877 rendering Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 9
- 235000019557 luminance Nutrition 0.000 description 54
- 230000002087 whitening effect Effects 0.000 description 19
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 6
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- HUMHYXGDUOGHTG-HEZXSMHISA-N alpha-D-GalpNAc-(1->3)-[alpha-L-Fucp-(1->2)]-D-Galp Chemical compound O[C@H]1[C@H](O)[C@H](O)[C@H](C)O[C@H]1O[C@@H]1[C@@H](O[C@@H]2[C@@H]([C@@H](O)[C@@H](O)[C@@H](CO)O2)NC(C)=O)[C@@H](O)[C@@H](CO)OC1O HUMHYXGDUOGHTG-HEZXSMHISA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G06T5/77—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本申请提供了一种图像处理方法及相关装置，首先，获取初始图像；然后，确定所述初始图像中人脸图像的面部区域的初始亮度；接着，确定所述人脸图像的生理特征；接着，确定所述面部区域中的肤色区域；然后，根据所述初始亮度和所述生理特征确定目标亮度；最后，根据所述初始亮度和所述目标亮度对所述肤色区域的亮度进行调整，以得到目标图像。可以针对面部区域，结合亮度相关信息和生理特征自动对图像进行美化处理，提升图像处理的精度和效果，大大提升了用户体验。
Description
技术领域
本申请涉及图像处理技术领域，特别是一种图像处理方法及相关装置。
背景技术
在自拍或者拍摄人物时，往往会对面部进行处理，如美白、瘦脸等，用户可以自行设定需要进行面部处理的幅度和区域，现有的面部处理包括通过内置的算法进行图像处理，但往往是通用算法，无法个性化针对不同对用户进行不同的面部处理，图像处理的效果并不理想。
发明内容
本申请提出了一种图像处理方法及相关装置，可以针对面部区域，结合亮度相关信息和生理特征自动对图像进行美化处理，提升图像处理的精度和效果，大大提升了用户体验。
第一方面，本申请实施例提供了一种图像处理方法，所述方法包括：
获取初始图像；
确定所述初始图像中人脸图像的面部区域的初始亮度；
确定所述人脸图像的生理特征；
确定所述面部区域中的肤色区域；
根据所述初始亮度和所述生理特征确定目标亮度；
根据所述初始亮度和所述目标亮度对所述肤色区域的亮度进行调整，以得到目标图像。
第二方面，本申请实施例提供了一种图像处理装置，所述图像处理装置包括：
图像获取单元，用于获取初始图像；
第一亮度单元，用于确定所述初始图像中人脸图像的面部区域的初始亮度；
面部识别单元，用于确定所述人脸图像的生理特征；
肤色分割单元，用于确定所述面部区域中的肤色区域；
第二亮度单元，用于根据所述初始亮度和所述生理特征确定目标亮度；
图像处理单元，用于根据所述初始亮度和所述目标亮度对所述肤色区域的亮度进行调整，以得到目标图像。
第三方面，本申请实施例提供了一种电子设备，包括处理器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行本申请实施例第一方面中的步骤的指令。
第四方面，本申请实施例提供了一种计算机存储介质，其中，上述计算机存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。
第五方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
可见，上述图像处理方法及相关装置，首先，获取初始图像；然后，确定所述初始图像中人脸图像的面部区域的初始亮度；接着，通过面部识别模型确定所述人脸图像的生理特征；接着，确定所述面部区域中的肤色区域；然后，根据所述初始亮度和所述生理特征确定目标亮度；最后，根据所述初始亮度和所述目标亮度对所述肤色区域的亮度进行调整，以得到目标图像。可以针对面部区域，结合亮度相关信息和生理特征自动对图像进行美化处理，提升图像处理的精度和效果，大大提升了用户体验。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种图像处理方法的系统构架图；
图2为本申请实施例提供的一种图像处理方法的流程示意图；
图3为本申请实施例提供的一种面部区域特征点的示意图；
图4为本申请实施例提供的一种电子设备的结构示意图；
图5为本申请实施例提供的一种图像处理装置的功能单元组成框图；
图6为本申请实施例提供的另一种图像处理装置的功能单元组成框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
下面结合图1对本申请实施例中的一种图像处理方法的系统架构进行说明，该系统架构100包括拍摄模块110、面部检测模块120、肤色分割模块130以及面部处理模块140，其中上述拍摄模块110连接面部检测模块120，上述面部检测模块120连接上述肤色分割模块130，上述面部处理模块140分别连接拍摄模块110、面部检测模块120、肤色分割模块130。
其中，上述拍摄模块110可以包括多个摄像头阵列，可以以录像模式或拍摄模式获取初始图像，上述面部检测模块120可以用于确定初始图像中人脸图像的面部区域的特征点坐标、面部区域的初始亮度和人脸图像反映的生理特征，上述肤色分割模块130可以内置训练好的神经网络模型，用于确定面部区域的肤色区域，一般来说，肤色区域是需要进行亮度调整的区域，上述面部处理模块140用于根据来自面部检测模块120的初始亮度、生理特征确定目标亮度，并根据该目标亮度和初始亮度对肤色区域的亮度进行调整，得到目标图像。
可见，通过上述系统架构，可以针对面部区域，结合亮度相关信息和生理特征自动对图像进行美化处理，提升图像处理的精度和效果，大大提升了用户体验。
下面结合图2对本申请实施例中的一种图像处理方法进行说明，图2为本申请实施例提供的一种图像处理方法的流程示意图，具体包括以下步骤：
步骤201，获取初始图像。
其中，上述初始图像可以为多张，上述初始图像中包括人脸图像。
在一个可能的实施例中，可以通过录像模式获取连续的多张初始图像，需要说明的是，此处的录像模式，包括摄像模块开启时的预览模式，在预览模式下用户设备显示的画面也属于本申请的录像模式下获取的连续的初始图像，上述录像模式还包括摄像模块开启后进行录像时的模式，在此不再赘述。
在一个可能的实施例中，可以通过拍摄模式拍摄至少一张初始图像，在此不再赘述。
可见，通过多种方式获取初始图像，可以提升图像获取的灵活性，为后续的图像处理提供更多应用场景，提升用户体验。
步骤202，确定所述初始图像中人脸图像的面部区域的初始亮度。
其中，可以先自动检测上述初始图像以确定面部特征点信息，上述面部特征点信息可以包括特征点坐标集合，然后根据上述特征点坐标集合定位到上述面部区域的鼻部区域，并分别计算所述鼻部区域的三个颜色通道的平均亮度，得到第一颜色通道对应的所述第一肤色亮度、第二颜色通道对应的所述第二肤色亮度和第三颜色通道对应的所述第三肤色亮度，上述初始亮度包括第一肤色亮度、第二肤色亮度和第三肤色亮度。
其中，本申请实施例中的三个颜色通道为通用的RGB颜色通道，即R(Red)通道、G(Green)通道和B(Blue)通道，可以理解的是，第一颜色通道、第二颜色通道和第三颜色通道互不相同，本申请中以第一颜色通道为R通道、第二颜色通道为G通道、第三颜色通道为B通道为例进行说明，并不表示对本申请实施例的限定，在此不再赘述。
具体的，可以自动检测所有初始图像，并对面部特征点进行对齐处理，得到所有的特征点坐标，根据上述特征点坐标选择鼻部区域，此处的鼻部区域可以表示面部区域的眼睛和嘴巴之间的一小块区域，此处以图3为例进行说明，图3为本申请实施例提供的一种面部特征点的示意图，可见，一共通过123个点标记了面部的轮廓、眼睛、鼻子、嘴巴、眉毛等，鼻部区域如矩形示意的区域，对该区域在RGB颜色空间域的分布统计得到各通道的平均亮度，即第一肤色亮度、第二肤色亮度和第三肤色亮度。
可见，对齐处理可以确定准确度较高的特征点坐标，并且获取到更加精确的初始亮度，可以提升后续的图像处理精度。
步骤203，确定所述人脸图像的生理特征。
其中，可以通过面部识别模型来确定生理特征，该面部识别模型可以为训练好的用于识别图像中人脸反映的生理特征的卷积神经网络模型，上述生理特征可以包括性别、年龄、人种等信息，在此不再赘述。
可见，通过面部识别模型确定所述人脸图像的生理特征，可以在后续图像处理时进行适应性处理，提升处理效果和用户体验。
步骤204，确定所述面部区域中的肤色区域。
其中，上述肤色区域可以为人脸图像中的皮肤区域，举例来说，即排除头发、眼睛等区域、眼镜、饰品等遮挡物后的皮肤区域。
在一个可能的实施例中，当在录像模式下获取到初始图像时，可以根据上述特征点坐标集合确定面部轮廓点集，并对所述面部轮廓点集进行三角化处理并渲染，确定预览肤色区域，最后对所述预览肤色区域进行自适应均值滤波处理确定所述肤色区域。
具体的，同样以图3为例，可以将点1至点33、点105至点123作为面部的轮廓点集，并对这些点进行三角化处理后进行渲染得到预览肤色区域masknTmp，然后通过以下公式进行自适应滤波处理得到肤色区域maskn：
maskn＝Blur(masknTmp，radio)
radio＝MAX(Dist(pt75，pt84)，Dist(pt52，pt99))/10
其中，Blur()表示半径为radio的均值滤波，pt表示点位，pt后的数字表示图3中具体的点位，在此不再赘述。
可见，当在录像模式下获取到初始图像时，由于获取到的初始图像为大量连续的图像，需要更加高效的处理方法来确定肤色区域，调用上述特征点坐标来进行计算可以大大提升处理速度。
在一个可能的实施例中，当在拍摄模式下获取到所述初始图像时，可以将所述初始图像输入肤色分割模型，并根据所述肤色分割模型的输出确定预览肤色区域和肤色区域灰度图，最后根据所述肤色区域灰度图对所述预览肤色区域进行导向滤波处理，以得到所述肤色区域。
具体的，同样以图3为例，上述肤色分割模型可以为训练好的用于进行肤色区域分割的卷积神经网络模型，可以通过上述肤色分割模型得到masknTmp，然后进行灰度化得到上述肤色区域灰度图maskgray，此时肤色区域灰度图maskgray作为导向图，通过下列公式确定肤色区域maskn：
maskn＝fast Guide Filter(masknTmp，maskgray，radio，eps，scale)
radio＝MAX(Dist(pt75，pt84)，Dist(pt52，pt99))/20
其中，radio为滤波半径，eps为界定平滑区域和边缘区域的阈值，scale为图像降采样的倍率，pt为图3中的点位，pt后的数字表示图3中具体的点位，在此不再赘述。
可见，当在拍摄模式下获取到所述初始图像时，由于拍摄到的一般为清晰的一张图像，此时可以用精度更高但速度较慢的方法来得到肤色区域，如此可以划分出的肤色区域准确度更高，提升图像处理的质量，通过自适应快速导向滤波处理可以改善masknTmp边缘锯齿、边界不平滑等问题。
步骤205，根据所述初始亮度和所述生理特征确定目标亮度。
其中，上述目标亮度可以包括第一颜色通道对应的第一目标亮度、第二颜色通道对应的第二目标亮度和第三颜色通道对应的第三目标亮度。
其中，可以根据所述生理特征确定属性权重参数，接着根据所述属性权重参数、所述第一肤色亮度、所述第二肤色亮度和所述第三肤色亮度确定第一目标亮度、第二目标亮度、第三目标亮度，所述第一目标亮度对应所述第一颜色通道，所述第二目标亮度对应所述第二颜色通道，所述第三目标亮度对应所述第三颜色通道。
在一个可能的实施例中，当在录像模式下获取到所述初始图像时，可以先获取历史图像对应的历史亮度信息，所述历史图像用于指示所述初始图像上一帧的图像，所述历史亮度信息包括所述第一颜色通道对应的第一历史肤色亮度、所述第二颜色通道对应的第二历史肤色亮度和所述第三颜色通道对应的第三历史肤色亮度，然后根据所述第一历史肤色亮度、所述第二历史肤色亮度和所述第三历史肤色亮度对所述第一肤色亮度、所述第二肤色亮度和所述第三肤色亮度进行亮度平滑处理，得到第一平滑肤色亮度、第二平滑肤色亮度和第三平滑肤色亮度，接着根据所述属性权重参数、所述第一平滑肤色亮度、所述第二平滑肤色亮度和所述第三平滑肤色亮度确定第一颜色通道亮度增益参数、第二颜色通道亮度增益参数和第三颜色通道亮度增益参数，最后，根据所述第一平滑肤色亮度、所述第二平滑肤色亮度、所述第三平滑肤色亮度、所述第一颜色通道亮度增益参数、所述第二颜色通道亮度增益参数和所述第三颜色通道亮度增益参数确定所述第一目标亮度、所述第二目标亮度和所述第三目标亮度。
具体的，在确定当前是通过录像模式获取初始图像时，可以通过下列公式进行亮度平滑处理得到第一平滑肤色亮度lightrTmp、第二平滑肤色亮度lightgTmp和第三平滑肤色亮度lightbTmp：
lightrTmp＝(lightiR+lightrefR)/2
lightgTmp＝(lightiG+lightrefG)/2
lightbTmp＝(lightiB+lightrefB)/2
其中，lightrefR表示第一历史肤色亮度，lightrefG表示第二历史肤色亮度，lightrefB表示第三历史肤色亮度。
可以理解的是，本申请的图像处理方法是对每一帧图像都进行处理，所以在录像模式下获取到连续的多张初始图像时，在处理当前的初始图像时可以基于上一帧历史图像进行亮度平滑处理防止亮度变化过大导致的显示问题，提升用户体验。
然后根据当前的到第一平滑肤色亮度lightrTmp、第二平滑肤色亮度lightgTmp、第三平滑肤色亮度lightbTmp和生理特征对应的属性权重参数确定自适应调整的目标平均亮度lightoMean：
其中lightiMean表示初始目标平均亮度，hThr表示预设的常数值，在此不做赘述，w∈(0，5]，level∈[0，100]，level为预设的美白强度等级，用户可以自行调节美白强度等级level，实现所需美白效果强度，atriw∈[0，2]表示属性权重参数，通过控制该参数可以对不同肤色人种、性别和年龄进行美白强度精确控制。
最后，通过以下公式计算第一目标亮度lightoR、第二目标亮度lightoG和第三目标亮度lightoB：
rbDiff＝MAX(ABS(lightrTmp-lightbTmp)，1)
bgDiff＝ABS(lightgTmp-lightbTmp)
gUp＝belta*(lightiMean-lightgTmp)
bw＝CLIP(20/(bgDiff+1)，0.8，1)
bUp＝MAX((belta*(1+2*bgDiff/rbDiff)*(lightiMean-lightbTmp))*bw，0)
gamma＝MAX(lightoMean*3/(1ightiMean*3+bUp+gUp)，1)
lightoR＝CLIP(lightrTmp*gamma，0，255)
lightoG＝CLIP((lightgTmp+gUp)*gamma，0，255)
lightoB＝CLIP((lightbTmp+bUp)*gamma，0，255)
其中，MAX()表示取最大值；ABS()表示取绝对值；CLIP()是将数据限定在范围内；gUp表示第一颜色通道亮度增益参数，bUp表示第二颜色通道亮度增益参数，gamma表示第三颜色通道亮度增益参数，上述三个亮度增益参数的作用主要是用来控制R、G、B三通道的亮度增益。如果结合生理特征，对目标亮度lightoR，lightoG，lightoB进行微调，还可以实现不同效果的美白处理；比如当用户为女性时，适当增大lightoR，可使女性人脸美白效果更加红润迷人。
在一个可能的实施例中，当在拍摄模式下获取到所述初始图像时，
lightrTmp＝lightiR，lightgTmp＝lightiG，lightbTmp＝lightiB
可见，在拍摄模式下获取到初始图像时一般无需进行亮度平滑处理，以初始亮度计算后续的目标平均亮度，即：
其中light_iMean表示初始目标平均亮度，hThr表示预设的常数值，在此不做赘述，w∈(0，5]，level∈[0，100]，level为预设的美白强度等级，用户可以自行调节美自强度等级level，实现所需美白效果强度，atri_w∈[0，2]表示属性权重参数，通过控制该参数可以对不同肤色人种、性别和年龄进行美白强度精确控制。
最后，通过以下公式计算第一目标亮度light_oR、第二目标亮度light_oG和第三目标亮度light_oB：
rbDiff＝MAX(ABS(lightiR-lightiB)，1)
bgDiff＝ABS(lightiG-lightiB)
gUp＝belta*(lightiMean-lightiG)
bw＝CLIP(20/(bgDiff+1)，0.8，1)
bUp＝MAX((belta*(1+2*bgDiff/rbDiff)*(lightiMean-lightiB))*bw，0)
gamma＝MAX(lightoMean*3/(1ightiMean*3+bUp+gUp)，1)
lightoR＝CLIP(lightiR*gamma，0，255)
lightoG＝CLIP((lightiG+gUp)*gamma，0，255)
lightoB＝CLIP((lightiB+bUp)*gamma，0，255)
其中，MAX()表示取最大值；ABS()表示取绝对值；CLIP()是将数据限定在范围内；gUp表示第一颜色通道亮度增益参数，bUp表示第二颜色通道亮度增益参数，gamma表示第三颜色通道亮度增益参数，上述三个亮度增益参数的作用主要是用来控制R、G、B三通道的亮度增益。如果结合生理特征，对目标亮度light_oR，light_oG，light_oB进行微调，还可以实现不同效果的美白处理；比如当用户为女性时，适当增大light_oR，可使女性人脸美白效果更加红润迷人。
可见，根据所述初始亮度和所述生理特征确定目标亮度，可以基于生理特征确定更加符合用户实际需求的目标亮度，提升图像处理的质量和用户体验。
步骤206，根据所述初始亮度和所述目标亮度对所述肤色区域的亮度进行调整，以得到目标图像。
其中，可以先根据所述第一肤色亮度、所述第二肤色亮度、所述第三肤色亮度、所述第一目标亮度、所述第二目标亮度和所述第三目标亮度确定贝塞尔曲线亮度映射表，所述贝塞尔曲线亮度映射表包括第一颜色通道映射表、第二颜色通道映射表和第三颜色通道映射表，然后根据所述第一颜色通道映射表将所述肤色区域的第一肤色亮度调整为所述第一目标亮度得到第一颜色通道图像，接着根据所述第二颜色通道映射表将所述肤色区域的第二肤色亮度调整为所述第二肤色亮度得到第二颜色通道图像，最后，根据所述第三颜色通道映射表将所述肤色区域的第三肤色亮度调整为所述第三目标亮度得到第三颜色通道图像。
具体的，可以设定生成第一颜色通道、第二颜色通道和第三颜色通道的控制点对，以生成R通道美白映射曲线为例：假设图像灰度范围为[0，255]，点对设置为{0，0}，{1，1}，{lightiR，lightoR}，{245，245}，{255，255}，其中点{1，1}，{245，245}可变，此处不对点对数量进行限制，主要是通过控制点{lightiR，lightoR}来实现平滑的非线性亮度提升，进一步，通过对上述点对进行贝赛尔曲线求解，得到贝赛尔曲线美白映射表，即第一颜色通道映射表curveR，第二颜色通道映射表curveG，第三颜色通道映射表curveB，最后结合上述第一颜色通道映射表curveR，第二颜色通道映射表curveG，第三颜色通道映射表curveB，对确定的肤色区域进行处理，得到第一颜色通道图像imgSrcR、第二颜色通道图像imgSrcG和第三颜色通道图像imgSrcB：
其中，上述imgSrcR，imgSrcG，imgSrcB分别表示原图像RGB颜色空间各通道图像，在此不再赘述。
可见，通过自适应的贝赛尔曲线映射算法，在不降低人脸对比度的同时获得自然的人脸美白效果，有效解决人脸美白效果假白问题，且该算法对泛场景人脸美白鲁棒性更高；同时，人脸智能美自在RGB颜色空间进行，且直接查找贝塞尔曲线映射查表，可大大降低算法复杂度，既可用于静态人脸用户自适应智能美白处理，也可用于动态视频。
通过上述图像处理方法，首先，获取初始图像；然后，确定所述初始图像中人脸图像的面部区域的初始亮度；接着，通过面部识别模型确定所述人脸图像的生理特征；接着，确定所述面部区域中的肤色区域；然后，根据所述初始亮度和所述生理特征确定目标亮度；最后，根据所述初始亮度和所述目标亮度对所述肤色区域的亮度进行调整，以得到目标图像。可以针对面部区域，结合亮度相关信息和生理特征自动对图像进行美化处理，提升图像处理的精度和效果，大大提升了用户体验。
下面结合图4对本申请实施例中的一种电子设备进行说明，图4为本申请实施例提供的一种电子设备的结构示意图，如图4所示，该电子设备400包括处理器401、通信接口402和存储器403，所述处理器、通信接口和存储器相互连接，其中，云服务器400还可以包括总线404，处理器401、通信接口402和存储器403之间可以通过总线404相互连接，总线404可以是外设部件互连标准(Peripheral Component Interconnect，简称PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，简称EISA)总线等。总线404可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。所述存储器403用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述图2中所描述的全部或部分方法。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所提供的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
在采用对应各个功能划分各个功能模块的情况下，下面结合图5对本申请实施例中的一种图像处理装置进行详细说明，图5为本申请实施例提供的一种图像处理装置的功能单元组成框图，该图像处理装置500包括：
图像获取单元510，用于获取初始图像；
第一亮度单元520，用于确定所述初始图像中人脸图像的面部区域的初始亮度；
面部识别单元530，用于确定所述人脸图像的生理特征；
肤色分割单元540，用于确定所述面部区域中的肤色区域；
第二亮度单元550，用于根据所述初始亮度和所述生理特征确定目标亮度；
图像处理单元560，用于根据所述初始亮度和所述目标亮度对所述肤色区域的亮度进行调整，以得到目标图像。
在采用集成的单元的情况下，下面结合图6对本申请实施例中的另一种图像处理装置600进行详细说明，所述图像处理装置600包括处理单元601和通信单元602，其中，所述处理单元601，用于执行如上述方法实施例中的任一步骤，且在执行诸如发送等数据传输时，可选择的调用所述通信单元602来完成相应操作。
其中，所述图像处理装置600还可以包括存储单元603，用于存储程序代码和数据。所述处理单元601可以是处理器，所述通信单元602可以是触控显示屏，存储单元603可以是存储器。
所述处理单元601具体用于：
获取初始图像；
确定所述初始图像中人脸图像的面部区域的初始亮度；
确定所述人脸图像的生理特征；
确定所述面部区域中的肤色区域；
根据所述初始亮度和所述生理特征确定目标亮度；
根据所述初始亮度和所述目标亮度对所述肤色区域的亮度进行调整，以得到目标图像。
可以理解的是，由于方法实施例与装置实施例为相同技术构思的不同呈现形式，因此，本申请中方法实施例部分的内容应同步适配于装置实施例部分，此处不再赘述。上述图像处理装置500和图像处理装置600均可执行上述实施例包括的全部的图像处理方法。
本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。
本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括云服务器。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种图像处理方法，其特征在于，所述方法包括：
获取初始图像；
确定所述初始图像中人脸图像的面部区域的初始亮度；
确定所述人脸图像的生理特征；
确定所述面部区域中的肤色区域；
根据所述初始亮度和所述生理特征确定目标亮度；
根据所述初始亮度和所述目标亮度对所述肤色区域的亮度进行调整，以得到目标图像。
2.根据权利要求1所述的方法，其特征在于，所述初始亮度包括第一肤色亮度、第二肤色亮度和第三肤色亮度；所述确定所述初始图像中人脸图像的面部区域的初始亮度，包括：
检测所述初始图像以确定面部特征点信息，所述面部特征点信息包括特征点坐标集合；
根据所述特征点坐标集合定位所述面部区域的鼻部区域，并分别计算所述鼻部区域的三个颜色通道的平均亮度，得到第一颜色通道对应的所述第一肤色亮度、第二颜色通道对应的所述第二肤色亮度和第三颜色通道对应的所述第三肤色亮度。
3.根据权利要求2所述的方法，其特征在于，所述确定所述面部区域中的肤色区域，包括：
当在录像模式下获取到所述初始图像时，根据所述特征点坐标集合确定面部轮廓点集；
对所述面部轮廓点集进行三角化处理并渲染，确定预览肤色区域；
对所述预览肤色区域进行自适应均值滤波处理确定所述肤色区域。
4.根据权利要求2所述的方法，其特征在于，所述确定所述面部区域中的肤色区域，包括：
当在拍摄模式下获取到所述初始图像时，将所述初始图像输入肤色分割模型，根据所述肤色分割模型的输出确定预览肤色区域和肤色区域灰度图；
根据所述肤色区域灰度图对所述预览肤色区域进行导向滤波处理，以得到所述肤色区域。
5.根据权利要求2所述的方法，其特征在于，根据所述初始亮度和所述生理特征确定目标亮度，包括：
根据所述生理特征确定属性权重参数；
根据所述属性权重参数、所述第一肤色亮度、所述第二肤色亮度和所述第三肤色亮度确定第一目标亮度、第二目标亮度、第三目标亮度，所述第一目标亮度对应所述第一颜色通道，所述第二目标亮度对应所述第二颜色通道，所述第三目标亮度对应所述第三颜色通道。
6.根据权利要求5所述的方法，其特征在于，所述根据所述属性权重参数、所述第一肤色亮度、所述第二肤色亮度和所述第三肤色亮度确定第一目标亮度、第二目标亮度、第三目标亮度，包括：
当在录像模式下获取到所述初始图像时，获取历史图像对应的历史亮度信息，所述历史图像用于指示所述初始图像上一帧的图像，所述历史亮度信息包括所述第一颜色通道对应的第一历史肤色亮度、所述第二颜色通道对应的第二历史肤色亮度和所述第三颜色通道对应的第三历史肤色亮度；
根据所述第一历史肤色亮度、所述第二历史肤色亮度和所述第三历史肤色亮度对所述第一肤色亮度、所述第二肤色亮度和所述第三肤色亮度进行亮度平滑处理，得到第一平滑肤色亮度、第二平滑肤色亮度和第三平滑肤色亮度；
根据所述属性权重参数、所述第一平滑肤色亮度、所述第二平滑肤色亮度和所述第三平滑肤色亮度确定第一颜色通道亮度增益参数、第二颜色通道亮度增益参数和第三颜色通道亮度增益参数；
根据所述第一平滑肤色亮度、所述第二平滑肤色亮度、所述第三平滑肤色亮度、所述第一颜色通道亮度增益参数、所述第二颜色通道亮度增益参数和所述第三颜色通道亮度增益参数确定所述第一目标亮度、所述第二目标亮度和所述第三目标亮度。
7.根据权利要求6所述的方法，其特征在于，根据所述初始亮度和所述目标亮度对所述肤色区域的亮度进行调整，以得到目标图像，包括：
根据所述第一肤色亮度、所述第二肤色亮度、所述第三肤色亮度、所述第一目标亮度、所述第二目标亮度和所述第三目标亮度确定贝塞尔曲线亮度映射表，所述贝塞尔曲线亮度映射表包括第一颜色通道映射表、第二颜色通道映射表和第三颜色通道映射表；
根据所述第一颜色通道映射表将所述肤色区域的第一肤色亮度调整为所述第一目标亮度得到第一颜色通道图像；
根据所述第二颜色通道映射表将所述肤色区域的第二肤色亮度调整为所述第二肤色亮度得到第二颜色通道图像；
根据所述第三颜色通道映射表将所述肤色区域的第三肤色亮度调整为所述第三目标亮度得到第三颜色通道图像。
8.一种图像处理装置，其特征在于，所述图像处理装置包括：
图像获取单元，用于获取初始图像；
第一亮度单元，用于确定所述初始图像中人脸图像的面部区域的初始亮度；
面部识别单元，用于确定所述人脸图像的生理特征；
肤色分割单元，用于确定所述面部区域中的肤色区域；
第二亮度单元，用于根据所述初始亮度和所述生理特征确定目标亮度；
图像处理单元，用于根据所述初始亮度和所述目标亮度对所述肤色区域的亮度进行调整，以得到目标图像。
9.一种电子设备，其特征在于，包括处理器、存储器，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述应用处理器执行，所述程序包括用于执行如权利要求1～7任一项所述的方法中的步骤的指令。
10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1～7任一项所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110885563.3A CN113610723B (zh) | 2021-08-03 | 2021-08-03 | 图像处理方法及相关装置 |
| PCT/CN2021/143390 WO2023010796A1 (zh) | 2021-08-03 | 2021-12-30 | 图像处理方法及相关装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110885563.3A CN113610723B (zh) | 2021-08-03 | 2021-08-03 | 图像处理方法及相关装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113610723A true CN113610723A (zh) | 2021-11-05 |
| CN113610723B CN113610723B (zh) | 2022-09-13 |
Family
ID=78339199
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110885563.3A Active CN113610723B (zh) | 2021-08-03 | 2021-08-03 | 图像处理方法及相关装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN113610723B (zh) |
| WO (1) | WO2023010796A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023010796A1 (zh) * | 2021-08-03 | 2023-02-09 | 展讯通信（上海）有限公司 | 图像处理方法及相关装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104537612A (zh) * | 2014-08-05 | 2015-04-22 | 华南理工大学 | 一种自动的人脸图像皮肤美化方法 |
| CN107862657A (zh) * | 2017-10-31 | 2018-03-30 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、计算机设备及计算机可读存储介质 |
| CN109639982A (zh) * | 2019-01-04 | 2019-04-16 | Oppo广东移动通信有限公司 | 一种图像降噪方法、装置、存储介质及终端 |
| CN111062891A (zh) * | 2019-12-16 | 2020-04-24 | Oppo广东移动通信有限公司 | 图像处理方法、装置、终端及计算机可读存储介质 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019133991A1 (en) * | 2017-12-29 | 2019-07-04 | Wu Yecheng | System and method for normalizing skin tone brightness in a portrait image |
| CN112446832A (zh) * | 2019-08-31 | 2021-03-05 | 华为技术有限公司 | 一种图像处理方法及电子设备 |
| CN112887582A (zh) * | 2019-11-29 | 2021-06-01 | 深圳市海思半导体有限公司 | 一种图像色彩处理方法、装置及相关设备 |
| CN111614908B (zh) * | 2020-05-29 | 2022-01-11 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN112784773B (zh) * | 2021-01-27 | 2022-09-27 | 展讯通信（上海）有限公司 | 图像处理方法及装置、存储介质、终端 |
| CN113610723B (zh) * | 2021-08-03 | 2022-09-13 | 展讯通信（上海）有限公司 | 图像处理方法及相关装置 |
-
2021
- 2021-08-03 CN CN202110885563.3A patent/CN113610723B/zh active Active
- 2021-12-30 WO PCT/CN2021/143390 patent/WO2023010796A1/zh unknown
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104537612A (zh) * | 2014-08-05 | 2015-04-22 | 华南理工大学 | 一种自动的人脸图像皮肤美化方法 |
| CN107862657A (zh) * | 2017-10-31 | 2018-03-30 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、计算机设备及计算机可读存储介质 |
| CN109639982A (zh) * | 2019-01-04 | 2019-04-16 | Oppo广东移动通信有限公司 | 一种图像降噪方法、装置、存储介质及终端 |
| CN111062891A (zh) * | 2019-12-16 | 2020-04-24 | Oppo广东移动通信有限公司 | 图像处理方法、装置、终端及计算机可读存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023010796A1 (zh) * | 2021-08-03 | 2023-02-09 | 展讯通信（上海）有限公司 | 图像处理方法及相关装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023010796A1 (zh) | 2023-02-09 |
| CN113610723B (zh) | 2022-09-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107730444B (zh) | 图像处理方法、装置、可读存储介质和计算机设备 | |
| EP3338217B1 (en) | Feature detection and masking in images based on color distributions | |
| CN103839250B (zh) | 用于面部图像处理的方法和设备 | |
| CN108537749B (zh) | 图像处理方法、装置、移动终端及计算机可读存储介质 | |
| CN106682632B (zh) | 用于处理人脸图像的方法和装置 | |
| CN109639982A (zh) | 一种图像降噪方法、装置、存储介质及终端 | |
| CN107730445A (zh) | 图像处理方法、装置、存储介质和电子设备 | |
| CN111814520A (zh) | 肤质检测方法、肤质等级分类方法及肤质检测装置 | |
| CN108830892B (zh) | 人脸图像处理方法、装置、电子设备及计算机可读存储介质 | |
| US11409794B2 (en) | Image deformation control method and device and hardware device | |
| CN109919866B (zh) | 图像处理方法、装置、介质及电子设备 | |
| CN108022207A (zh) | 图像处理方法、装置、存储介质和电子设备 | |
| CN107172354A (zh) | 视频处理方法、装置、电子设备及存储介质 | |
| CN111062891A (zh) | 图像处理方法、装置、终端及计算机可读存储介质 | |
| CN110827204B (zh) | 图像处理方法、装置及电子设备 | |
| CN106600556A (zh) | 图像处理方法及装置 | |
| CN110866139A (zh) | 一种化妆处理方法、装置及设备 | |
| CN111369478B (zh) | 人脸图像增强方法、装置、计算机设备和存储介质 | |
| CN112686965A (zh) | 一种肤色检测方法、装置、移动终端和存储介质 | |
| CN113610723B (zh) | 图像处理方法及相关装置 | |
| CN111275648B (zh) | 人脸图像处理方法、装置、设备及计算机可读存储介质 | |
| CN112597911A (zh) | 一种磨皮处理方法、装置、移动终端和存储介质 | |
| CN110766631A (zh) | 人脸图像的修饰方法、装置、电子设备和计算机可读介质 | |
| US20220284642A1 (en) | Method for training convolutional neural network, and method and device for stylizing video | |
| KR101507410B1 (ko) | 모바일 단말의 라이브 메이크업 촬영 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |