CN110929675A - 图像处理方法、装置、计算机设备及计算机可读存储介质 - Google Patents
图像处理方法、装置、计算机设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN110929675A CN110929675A CN201911219304.6A CN201911219304A CN110929675A CN 110929675 A CN110929675 A CN 110929675A CN 201911219304 A CN201911219304 A CN 201911219304A CN 110929675 A CN110929675 A CN 110929675A
- Authority
- CN
- China
- Prior art keywords
- image
- display effect
- processing
- effect difference
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 118
- 238000003672 processing method Methods 0.000 title claims abstract description 21
- 230000000694 effects Effects 0.000 claims abstract description 95
- 238000000034 method Methods 0.000 claims abstract description 40
- 230000008859 change Effects 0.000 claims abstract description 11
- 230000015654 memory Effects 0.000 claims description 15
- 230000001815 facial effect Effects 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 4
- 238000005282 brightening Methods 0.000 abstract description 7
- 210000001508 eye Anatomy 0.000 description 107
- 230000008569 process Effects 0.000 description 11
- 230000002093 peripheral effect Effects 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000003708 edge detection Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 210000003746 feather Anatomy 0.000 description 3
- 210000000697 sensory organ Anatomy 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 239000000919 ceramic Substances 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本公开提供了一种图像处理方法、装置、计算机设备及计算机可读存储介质，属于图像处理技术领域。所述方法包括：对在第一图像中确定的眼部区域进行高斯模糊处理，得到第二图像，根据第一图像与第二图像确定显示效果差异图像，并对显示效果差异图像中的眼部区域进行边缘渐变处理，得到第三图像，将第三图像与第一图像叠加处理得到目标图像。通过第一图像的眼部区域与高斯模糊后的眼部区域，来确定用于体现眼部特征的显示效果差异图像，在该显示效果差异图像中，眼部区域的特征更加明显，然后，再将边缘渐变处理后的显示效果差异图像与第一图像进行叠加处理，可以进一步将眼部区域的特征进行突出，从而实现眼部区域的增亮处理，提高图像效果。
Description
技术领域
本公开涉及图像处理技术领域，特别涉及一种图像处理方法、装置、计算机设备及计算机可读存储介质。
背景技术
随着科技的不断发展，我国已经进入移动互联网时代，社交网络迅速发展，直播和短视频进入蓬勃发展阶段，适应了移动社交媒体碎片化传播的特点，也有力地助推了互联网业态，越来越多的人开始用直播和录制短视频的方式，来记录自己的日常生活。
目前直播或录制短视频时，会直接通过摄像头组件来对人物图像进行采集，并根据采集到的人物图像来生成直播视频或短视频。
在环境光线较差时，获取到的人物图像的人眼部分模糊黯淡，图像效果较差。
发明内容
本公开实施例提供了一种图像处理方法、装置、计算机设备及计算机可读存储介质，可以解决相关技术中图像眼部区域模糊黯淡、图像效果差的问题。
所述技术方案如下：
一方面，提供了一种图像处理方法，该方法包括：
在第一图像中确定眼部区域；
对该第一图像的眼部区域进行高斯模糊处理，得到第二图像；
根据该第一图像与该第二图像，确定显示效果差异图像；
对该显示效果差异图像中的眼部区域进行边缘渐变处理，得到第三图像；
将该第三图像与该第一图像进行叠加处理，得到目标图像。
在一种可能的实现方式中，根据该第一图像与该第二图像，确定显示效果差异图像包括：
将该第一图像与该第二图像对应的像素点的像素值进行减法运算，得到显示效果差异图像。
在一种可能的实现方式中，根据该第一图像与该第二图像，确定显示效果差异图像包括：
将该第一图像与该第二图像对应的像素点的像素值进行减法运算，得到第一显示效果差异图像；
对多个该第一显示效果差异图像进行叠加处理，得到第二显示效果差异图像，作为该显示效果差异图像。
在一种可能的实现方式中，在第一图像中确定眼部区域包括：
根据脸部五官分布规律，在该第一图像中包括眼部区域的目标区域；
对该第一图像的目标区域部分进行图像增强处理；
在该第一图像的图像增强处理后的目标区域中，检测眼部边缘；
根据检测到的该眼部边缘，确定两个最小外接矩形框；
将该两个最小外接矩形框包括的区域确定为该眼部区域。
在一种可能的实现方式中，根据检测到的该眼部边缘，确定两个最小外接矩形框之后，该方法还包括：
确定该两个最小外接矩形框的连通域；
将该连通域确定为该眼部区域。
一方面，提供了一种图像处理装置，该装置包括：
确定模块，用于在第一图像中确定眼部区域；
高斯模糊处理模块，用于对该第一图像的眼部区域进行高斯模糊处理，得到第二图像；
该确定模块，还用于根据该第一图像与该第二图像，确定显示效果差异图像；
边缘渐变处理模块，用于对该显示效果差异图像中的眼部区域进行边缘渐变处理，得到第三图像；
叠加处理模块，用于将该第三图像与该第一图像进行叠加处理，得到目标图像。
在一种可能的处理方式中，该装置还包括：
减法运算模块，用于将该第一图像与该第二图像对应的像素点的像素值进行减法运算，得到显示效果差异图像。
在一种可能的处理方式中，该减法运算模块，用于将该第一图像与该第二图像对应的像素点的像素值进行减法运算，得到第一显示效果差异图像；
该叠加处理模块，还用于对多个该第一显示效果差异图像进行叠加处理，得到第二显示效果差异图像，作为该显示效果差异图像。
在一种可能的处理方式中，该确定模块，还用于根据脸部五官分布规律，在该第一图像中确定包括眼部区域的目标区域；
该装置还包括：
图像增强处理模块，用于对该第一图像的目标区域部分进行图像增强处理；
检测模块，用于在该第一图像的图像增强处理后的目标区域中，检测眼部边缘；
该确定模块，还用于根据检测到的该眼部边缘，确定两个最小外接矩形框；
该确定模块，还用于将该两个最小外接矩形框包括的区域确定为该眼部区域。
在一种可能的实现方式中，该确定模块，还用于确定该两个最小外接矩形框的连通域；
该确定模块，还用于将该连通域确定为该眼部区域。
一方面，提供了一种计算机设备，该计算机设备包括一个或多个处理器和一个或多个存储器，该一个或多个存储器中存储有至少一条程序代码，该程序代码由该一个或多个处理器加载并执行以实现该图像处理方法所执行的操作。
一方面，提供了一种计算机可读存储介质，该计算机可读存储介质中存储有至少一条程序代码，该程序代码由处理器加载并执行以实现该图像处理方法所执行的操作。
通过对在第一图像中确定的眼部区域进行高斯模糊处理，得到第二图像，根据第一图像与第二图像确定显示效果差异图像，并对显示效果差异图像中的眼部区域进行边缘渐变处理，得到第三图像，将第三图像与第一图像进行叠加处理得到目标图像。通过第一图像的眼部区域与高斯模糊后的眼部区域，来确定用于体现眼部特征的显示效果差异图像，在该显示效果差异图像中，眼部区域的特征更加明显，然后，再将边缘渐变处理后的显示效果差异图像与第一图像进行叠加处理，可以进一步将眼部区域的特征进行突出，从而实现眼部区域的增亮处理，提高图像效果。
附图说明
为了更清楚地说明本公开实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本公开实施例提供的一种图像处理方法的具体实施环境示意图；
图2是本公开实施例提供的一种图像处理方法的流程图；
图3是本公开实施例提供的一种图像处理方法的流程图；
图4是本公开实施例提供的一种图像处理装置的结构图；
图5是本公开实施例提供的一种计算机设备的结构示意图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚，下面将结合附图对本公开实施方式作进一步地详细描述。
图1是本公开实施例提供的一种图像处理方法的具体实施环境示意图，参见图1，该实施环境包括：计算机设备101。
计算机设备101可以是智能手机、台式计算机、平板电脑、电子书阅读器和膝上型便携计算机中的至少一种等设备中的至少一种。计算机设备101可以安装并运行有视频录制工具或直播工具，用于录制短视频或进行直播，计算机设备101可以通过对视频图像中的眼部区域进行处理，来实现眼部区域的增亮效果，使视频中人物的眼睛看起来更加亮丽。
计算机设备101可以泛指多个计算机设备中的一个，本实施例仅以计算机设备101来举例说明。本领域技术人员可以知晓，上述计算机设备的数量可以更多或更少。比如上述计算机设备可以仅为几个，或者上述计算机设备为几十个或几百个，或者更多数量，本公开实施例对计算机设备的数量和设备类型不加以限定。
图2是本公开实施例提供的一种图像处理方法的流程图，参见图2，该方法包括：
201、计算机设备在第一图像中确定眼部区域。
202、计算机设备对该第一图像的眼部区域进行高斯模糊处理，得到第二图像。
203、计算机设备根据该第一图像与该第二图像，确定显示效果差异图像。
204、计算机设备对该显示效果差异图像中的眼部区域进行边缘渐变处理，得到第三图像。
205、计算机设备对该第三图像与该第一图像进行叠加处理，得到目标图像。
本公开实施例提供的方法，通过对在第一图像中确定的眼部区域进行高斯模糊处理，得到第二图像，根据第一图像与第二图像确定显示效果差异图像，并对显示效果差异图像中的眼部区域进行边缘渐变处理，得到第三图像，将第三图像与第一图像进行叠加处理得到目标图像。通过第一图像的眼部区域与高斯模糊后的眼部区域，来确定用于体现眼部特征的显示效果差异图像，在该显示效果差异图像中，眼部区域的特征更加明显，然后，再将边缘渐变处理后的显示效果差异图像与第一图像进行叠加处理，可以进一步将眼部区域的特征进行突出，从而实现眼部区域的增亮处理，提高图像效果。
在一种可能的实现方式中，根据该第一图像与该第二图像，确定显示效果差异图像包括：
将该第一图像与该第二图像对应的像素点的像素值进行减法运算，得到显示效果差异图像。
在一种可能的实现方式中，根据该第一图像与该第二图像，确定显示效果差异图像包括：
将该第一图像与该第二图像对应的像素点的像素值进行减法运算，得到第一显示效果差异图像；
对多个该第一显示效果差异图像进行叠加处理，得到第二显示效果差异图像，作为该显示效果差异图像。
在一种可能的实现方式中，在第一图像中确定眼部区域包括：
根据脸部五官分布规律，在该第一图像中确定包括眼部区域的目标区域；
对该第一图像的目标区域部分进行图像增强处理；
在该第一图像的图像增强处理后的目标区域中，检测眼部边缘；
根据检测到的该眼部边缘，确定两个最小外接矩形框；
将该两个最小外接矩形框包括的区域确定为该眼部区域。
在一种可能的实现方式中，根据检测到的该眼部边缘，确定两个最小外接矩形框之后，该方法还包括：
确定该两个最小外接矩形框的连通域；
将该连通域确定为该眼部区域。
上述图2是本公开实施例提供的图像处理方法的基本流程，下面基于一种具体实现方法来对该图像处理方法进行介绍，图3是本公开实施例提供的一种图像处理方法的流程图，参见图3，该方法包括：
301、计算机设备根据脸部五官分布规律，在第一图像中确定包括眼部区域的目标区域。
需要说明的是，计算机设备可以维护有脸部信息数据库，该脸部信息数据库中存储着多种脸部信息数据，例如，各种脸部类型、不同脸部类型的脸部主要特征等，其中，该脸部主要特征也即为五官特征，可以包括五官的大致位置、五官的大致范围，如眼睛的大小、嘴巴的大小等。
在一种可能的实现方式中，计算机设备可以根据获取到的第一图像，在脸部信息数据库中进行查询，根据查询到的脸部主要特征分布规律，在第一图像中确定包括眼部区域的目标区域。
需要说明的是，通过上述步骤301可以实现眼部区域的确定，以便后续对眼部区域的图像进行一系列处理，避免面部其他区域的图像造成影响，保证图像处理效果。
可选地，上述步骤301仅为确定眼部区域的一种实现方式，在其他可能的实现方式中，还可以通过任一种人脸识别方法或五官检测方法来进行眼部区域的确定。
302、计算机设备对该第一图像的目标区域进行图像增强处理。
其中，图像增强处理主要内容是突出图像中感兴趣的部分，减弱或去除不需要的信息。这样使有用信息得到加强，从而得到一种更加实用的图像或者转换成一种更适合人或机器进行分析处理的图像。该图像增强处理可以包括灰度化处理、二值化处理、滤波处理和去噪处理等，通过图像增强处理，可以突出图像中目标物体的某些特点、从数字图像中提取目标物的特征参数等等，有利于对图像中目标的识别。
在一种可能的实现方式中，计算机设备可以先对该第一图像的目标区域部分进行二值化处理，在利用中值滤波法对二值化后的图像进行去噪声处理和预处理的基本操作，使图像满足后续处理要求。
303、计算机设备在图像增强处理后的第一图像的目标区域中，检测眼部边缘。
需要说明的是，计算机设备可以采用差分边缘检测法、坎尼(canny)边缘检测算子、索贝尔(sobel)边缘检测算子等边缘检测方法中的任意一种，来对眼部边缘进行检测，本公开实施例对具体采用哪种边缘检测方法不加以限定。
在一种可能的实现方式中，计算机设备可以通过高斯平滑滤波器，来对图像进行处理，去除图像中的噪声，再利用一阶差分偏导计算图像的梯度值和方向，对梯度值不是极大值的地方进行抑制，把不是极值的点，全部置0，以去掉大部分弱的边缘，设置双阈值t1、t2，来对极值点是否为边缘点进行判断，进而利用双阈值连接图上的边缘点，以得到canny边缘图。
其中，梯度值大于等于t2的点肯定是边缘点，梯度值小于t1的点肯定不是边缘点，而对于梯度值大于等于t1小于t2的点，可以通过已确定的边缘点，在图像中发起8领域方向的搜索(广搜)，可达的点是边缘点，不可达的点不是边缘点。
304、计算机设备根据检测到的该眼部边缘，确定眼部区域。
在一种可能的实现方式中，计算机设备可以根据检测到的眼部边缘，确定两个最小外接矩形框，将这两个最小外接矩形框包括的区域确定为眼部区域。
在另一种可能的实现方式中，计算机设备可以根据检测到的眼部边缘，确定两个最小外接矩形框，进而确定这两个最小外接矩形框的连通域，将两个最小外接矩形框的连通域确定为眼部区域。
需要说明的是，计算机设备可以根据用户的需求来确定选择哪种可能的实现方式，来实现眼部区域的确定。例如，用户可以根据自己的需求，在相关程序中对区域确定方式进行设置，若用户仅需对两只眼睛进行处理，则可以将程序设置为对上述由两个区域组成的眼部区域进行处理，若用户需对眼部进行处理，则可以将程序设置为对上述连通域进行处理。
305、计算机设备对该第一图像的眼部区域进行高斯模糊处理，得到第二图像。
需要说明的是，高斯模糊处理主要是将图像与正态分布函数进行卷积计算，使图像出现模糊的效果，通过高斯模糊处理可以减少图像噪声、降低图像细节层次。
在一种可能的实现方式中，计算机设备可以利用滑动窗口的方式，来对该第一图像的眼部区域进行处理。例如，计算机设备可以采用窗口大小为3*3的滑动窗口，根据任一个3*3的像素点矩阵各个像素点的像素值，结合正态分布的密度函数，也即是，高斯函数，确定权重矩阵，进而计算各个像素点的高斯模糊值，将这9个像素点的高斯模糊值相加，即可以确定该像素点矩阵中心点的高斯模糊值，对于处于边界的像素点，可以通过对称处理，将已有的像素点拷贝到另一面的对应位置，模拟出处于边界的像素点的完整的3*3的像素点矩阵，通过相同的方法实现中心像素点的像素值的确定，以此类推，计算所有像素点的高斯模糊值，进而得到高斯模糊后的图像，也即是，第二图像。
306、计算机设备将该第一图像与该第二图像对应的像素点的像素值进行减法运算，得到第一显示效果差异图像。
在一种可能的实现方式中，计算机设备将第一图像与第二图像中对应像素点的像素值进行减法运算，得到减法运算后各个点的像素值，根据减法运算后各个点的像素值生成第一显示效果差异图像。
需要说明的是，通过上述步骤306，即可以初步实现图像眼部特征突出，可选地，计算机设备还可以通过下述步骤307来进一步突出眼部特征。
307、计算机设备对多个该第一显示效果差异图像进行叠加处理，得到第二显示效果差异图像，作为该显示效果差异图像。
在一种可能的实现方式中，计算机设备可以根据目标阈值对各个像素点的像素值进行判断，当像素值小于或等于目标阈值时，利用B＝2*A*A来计算该点叠加后的像素值，当像素值大于目标阈值时，利用B＝1-2*(1-A)*(1-A)来计算该点叠加后的像素值，根据计算得到的各点的像素值，生成第二显示效果差异图像，也即是，最终的显示效果差异图像。例如，可以将目标阈值设置为0.5，当像素值小于或等于0.5时，利用B＝2*A*A来计算叠加后的像素值，当像素值大于0.5时，利用B＝1-2*(1-A)*(1-A)来计算叠加后的像素值。
其中，B可以代表第二显示效果差异图像中的像素点的像素值，A可以代表第一显示效果差异图像中的像素点的像素值。
需要说明的是，计算机设备可以对各个像素点的像素值进行归一化处理，再可以根据目标阈值对各个像素点的像素值进行判断。通过上述叠加处理，可以使图像特征更加明显、突出，使图像中眼部区域暗的更暗、亮的更亮，实现眼部增亮。
308、计算机设备对该显示效果差异图像中的眼部区域进行边缘渐变处理，得到第三图像。
在一种可能的实现方式中，计算机设备可以对根据预设的羽化值，在该显示效果差异图像中对步骤304中检测到的眼部边缘进行虚化处理，也即是，羽化处理，以实现眼部区域边缘渐变的效果，并将该羽化处理后的图像作为第三图像。需要说明的是，通过羽化处理，可以使眼部区域的边缘变成渐变融合，以便在后续与第一图像进行叠加时，可以自然融合。
需要说明的是，羽化值可以由用户在相关应用程序中，根据自己的经验和需求，预先进行设置，羽化值越小，虚化范围越窄，羽化值可以根据实际情况进行调节。把羽化值设置小一点，反复进行羽化，可以有效实现眼部区域边缘渐变的效果。
309、计算机设备将该第三图像与该第一图像进行叠加处理，得到目标图像。
在一种可能的实现方式中，计算机设备可以将第三图像与第一图像中对应的像素点的像素值相加，以实现第三图像与第一图像的叠加处理，来得到目标图像。
需要说明的是，通过将高斯模糊后的图像与原始图像叠加，可以使图像呈现一种发光的效果，好像灯光打在图像上一样，而且，由于对眼部区域的图像进行了增亮处理，所以叠加后眼部区域的图像会更加明亮，实现眼部增亮的效果。
上述方案根据脸部主要特征分布规律，在第一图像中确定出包括眼部区域的目标区域，并对该目标区域进行图像增强处理，在图像增强处理的图像中进行眼部边缘的检测，进而实现眼部区域的确定，再对眼部区域进行高斯模糊处理，并将高斯模糊处理后的图像与第一图像做差后得到的图像进行叠加处理，得到显示效果差异图像，将显示效果差异图像中的眼部区域进行边缘渐变处理后，与第一图像叠加，得到目标图像。通过将高斯模糊处理后的图像与第一图像做差，可以使眼部区域眼球更黑、眼白更白，再经过叠加处理，可以使特征更加突出，实现眼部区域的增亮处理，使图像中眼部看起来更加亮丽。
需要说明的是，本公开实施例提供的方法，可以在用户通过摄像头组件进行直播或短视频拍摄，当计算机设备接收到拍摄启动指令时，可以自动通过本公开实施例提供的方法，对脸部图像进行处理，实现眼部区域的增亮，提升图像效果。
上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。
图4是本公开实施例提供的一种图像处理装置的结构图，参见图4，该装置包括：
确定模块401，用于在第一图像中确定眼部区域；
高斯模糊处理模块402，用于对该第一图像的眼部区域进行高斯模糊处理，得到第二图像；
该确定模块401，还用于根据该第一图像与该第二图像，确定显示效果差异图像；
边缘渐变处理模块403，用于对该显示效果差异图像中的眼部区域进行边缘渐变处理，得到第三图像；
叠加处理模块404，用于将该第三图像与该第一图像进行叠加处理，得到目标图像。
在一种可能的实现方式中，该装置还包括：
减法运算模块，用于将该第一图像与该第二图像对应的像素点的像素值进行减法运算，得到显示效果差异图像。
在一种可能的实现方式中，该减法运算模块，还用于将该第一图像与该第二图像对应的像素点的像素值进行减法运算，得到第一显示效果差异图像；
该叠加处理模块404，还用于对多个该第一显示效果差异图像进行叠加处理，得到第二显示效果差异图像，作为该显示效果差异图像。
在一种可能的实现方式中，该确定模块401，还用于根据脸部五官分布规律，在该第一图像中确定包括眼部区域的目标区域；
该装置还包括：
图像增强处理模块，用于对该第一图像的目标区域部分进行图像增强处理；
检测模块，用于在该第一图像的图像增强处理后的目标区域中，检测眼部边缘；
该确定模块401，还用于根据检测到的该眼部边缘，确定两个最小外接矩形框；
该确定模块401，还用于将该两个最小外接矩形框包括的区域确定为该眼部区域。
在一种可能的实现方式中，该确定模块401，还用于确定该两个最小外接矩形框的连通域；
该确定模块401，还用于将该连通域确定为该眼部区域。
上述装置通过对在第一图像中确定的眼部区域进行高斯模糊处理，得到第二图像，根据第一图像与第二图像确定显示效果差异图像，并对显示效果差异图像中的眼部区域进行边缘渐变处理，得到第三图像，将第三图像与第一图像进行叠加处理得到目标图像。通过第一图像的眼部区域与高斯模糊后的眼部区域，来确定用于体现眼部特征的显示效果差异图像，在该显示效果差异图像中，使眼部区域的特征更加明显，然后，再将边缘渐变处理后的显示效果差异图像与第一图像进行叠加处理，可以进一步将眼部区域的特征进行突出，从而实现眼部区域的增亮处理，提高图像效果。
需要说明的是：上述实施例提供的图像处理装置在进行图像处理时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将计算机设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的图像处理装置与图像处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图5是本公开实施例提供的一种计算机设备的结构示意图。该计算机设备500可以是：智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio LayerIV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。计算机设备500还可能被称为用户设备、便携式计算机设备、膝上型计算机设备、台式计算机设备等其他名称。
通常，计算机设备500包括有：一个或多个处理器501和一个或多个存储器502。
处理器501可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器501可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器501也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器501可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器501还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器502可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器502还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器502中的非暂态的计算机可读存储介质用于存储至少一个程序代码，该至少一个程序代码用于被处理器501所执行以实现本公开中方法实施例提供的图像处理方法。
在一些实施例中，计算机设备500还可选包括有：外围设备接口503和至少一个外围设备。处理器501、存储器502和外围设备接口503之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口503相连。具体地，外围设备包括：射频电路504、显示屏505、摄像头506、音频电路507、定位组件508和电源509中的至少一种。
外围设备接口503可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器501和存储器502。在一些实施例中，处理器501、存储器502和外围设备接口503被集成在同一芯片或电路板上；在一些其他实施例中，处理器501、存储器502和外围设备接口503中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路504用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路504通过电磁信号与通信网络以及其他通信设备进行通信。射频电路504将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路504包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路504可以通过至少一种无线通信协议来与其它计算机设备进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路504还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本公开对此不加以限定。
显示屏505用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏505是触摸显示屏时，显示屏505还具有采集在显示屏505的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器501进行处理。此时，显示屏505还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏505可以为一个，设置计算机设备500的前面板；在另一些实施例中，显示屏505可以为至少两个，分别设置在计算机设备500的不同表面或呈折叠设计；在再一些实施例中，显示屏505可以是柔性显示屏，设置在计算机设备500的弯曲表面上或折叠面上。甚至，显示屏505还可以设置成非矩形的不规则图形，也即异形屏。显示屏505可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-EmittingDiode，有机发光二极管)等材质制备。
摄像头组件506用于采集图像或视频。可选地，摄像头组件506包括前置摄像头和后置摄像头。通常，前置摄像头设置在计算机设备的前面板，后置摄像头设置在计算机设备的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件506还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路507可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器501进行处理，或者输入至射频电路504以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在计算机设备500的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器501或射频电路504的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路507还可以包括耳机插孔。
定位组件508用于定位计算机设备500的当前地理位置，以实现导航或LBS(Location Based Service，基于位置的服务)。定位组件508可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源509用于为计算机设备500中的各个组件进行供电。电源509可以是交流电、直流电、一次性电池或可充电电池。当电源509包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中，计算机设备500还包括有一个或多个传感器510。该一个或多个传感器510包括但不限于：加速度传感器511、陀螺仪传感器512、压力传感器513、指纹传感器514、光学传感器515以及接近传感器516。
加速度传感器511可以检测以计算机设备500建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器511可以用于检测重力加速度在三个坐标轴上的分量。处理器501可以根据加速度传感器511采集的重力加速度信号，控制显示屏505以横向视图或纵向视图进行用户界面的显示。加速度传感器511还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器512可以检测计算机设备500的机体方向及转动角度，陀螺仪传感器512可以与加速度传感器511协同采集用户对计算机设备500的3D动作。处理器501根据陀螺仪传感器512采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器513可以设置在计算机设备500的侧边框和/或显示屏505的下层。当压力传感器513设置在计算机设备500的侧边框时，可以检测用户对计算机设备500的握持信号，由处理器501根据压力传感器513采集的握持信号进行左右手识别或快捷操作。当压力传感器513设置在显示屏505的下层时，由处理器501根据用户对显示屏505的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器514用于采集用户的指纹，由处理器501根据指纹传感器514采集到的指纹识别用户的身份，或者，由指纹传感器514根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器501授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器514可以被设置计算机设备500的正面、背面或侧面。当计算机设备500上设置有物理按键或厂商Logo时，指纹传感器514可以与物理按键或厂商Logo集成在一起。
光学传感器515用于采集环境光强度。在一个实施例中，处理器501可以根据光学传感器515采集的环境光强度，控制显示屏505的显示亮度。具体地，当环境光强度较高时，调高显示屏505的显示亮度；当环境光强度较低时，调低显示屏505的显示亮度。在另一个实施例中，处理器501还可以根据光学传感器515采集的环境光强度，动态调整摄像头组件506的拍摄参数。
接近传感器516，也称距离传感器，通常设置在计算机设备500的前面板。接近传感器516用于采集用户与计算机设备500的正面之间的距离。在一个实施例中，当接近传感器516检测到用户与计算机设备500的正面之间的距离逐渐变小时，由处理器501控制显示屏505从亮屏状态切换为息屏状态；当接近传感器516检测到用户与计算机设备500的正面之间的距离逐渐变大时，由处理器501控制显示屏505从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图5中示出的结构并不构成对计算机设备500的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括程序代码的存储器，上述程序代码可由处理器执行以完成上述实施例中的图像处理方法。例如，该计算机可读存储介质可以是只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来程序代码相关的硬件完成，该程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
上述仅为本公开的可选实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
Claims (12)
1.一种图像处理方法，其特征在于，所述方法包括：
在第一图像中确定眼部区域；
对所述第一图像的眼部区域进行高斯模糊处理，得到第二图像；
根据所述第一图像与所述第二图像，确定显示效果差异图像；
对所述显示效果差异图像中的眼部区域进行边缘渐变处理，得到第三图像；
将所述第三图像与所述第一图像进行叠加处理，得到目标图像。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一图像与所述第二图像，确定显示效果差异图像包括：
将所述第一图像与所述第二图像对应的像素点的像素值进行减法运算，得到显示效果差异图像。
3.根据权利要求1所述的方法，其特征在于，所述根据所述第一图像与所述第二图像，确定显示效果差异图像包括：
将所述第一图像与所述第二图像对应的像素点的像素值进行减法运算，得到第一显示效果差异图像；
对多个所述第一显示效果差异图像进行叠加处理，得到第二显示效果差异图像，作为所述显示效果差异图像。
4.根据权利要求1所述的方法，其特征在于，所述在第一图像中确定眼部区域包括：
根据脸部五官分布规律，在所述第一图像中确定包括眼部区域的目标区域；
对所述第一图像的目标区域进行图像增强处理；
在所述第一图像的图像增强处理后的目标区域中，检测眼部边缘；
根据检测到的所述眼部边缘，确定两个最小外接矩形框；
将所述两个最小外接矩形框包括的区域确定为所述眼部区域。
5.根据权利要求4所述的方法，其特征在于，所述根据检测到的所述眼部边缘，确定两个最小外接矩形框之后，所述方法还包括：
确定所述两个最小外接矩形框的连通域；
将所述连通域确定为所述眼部区域。
6.一种图像处理装置，其特征在于，所述装置还包括：
确定模块，用于在第一图像中确定眼部区域；
高斯模糊处理模块，用于对所述第一图像的眼部区域进行高斯模糊处理，得到第二图像；
所述确定模块，还用于根据所述第一图像与所述第二图像，确定显示效果差异图像；
边缘渐变处理模块，用于对所述显示效果差异图像中的眼部区域进行边缘渐变处理，得到第三图像；
叠加处理模块，用于将所述第三图像与所述第一图像进行叠加处理，得到目标图像。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
减法运算模块，用于将所述第一图像与所述第二图像对应的像素点的像素值进行减法运算，得到显示效果差异图像。
8.根据权利要求7所述的装置，其特征在于，所述减法运算模块，还用于将所述第一图像与所述第二图像对应的像素点的像素值进行减法运算，得到第一显示效果差异图像；
所述叠加处理模块，还用于对多个所述第一显示效果差异图像进行叠加处理，得到第二显示效果差异图像，作为所述显示效果差异图像。
9.根据权利要求6所述的装置，其特征在于，所述确定模块，还用于根据脸部五官分布规律，在所述第一图像中确定包括眼部区域的目标区域；
所述装置还包括：
图像增强处理模块，用于对所述第一图像的目标区域部分进行图像增强处理；
检测模块，用于在所述第一图像的图像增强处理后的目标区域中，检测眼部边缘；
所述确定模块，还用于根据检测到的所述眼部边缘，确定两个最小外接矩形框；
所述确定模块，还用于将所述两个最小外接矩形框包括的区域确定为所述眼部区域。
10.根据权利要求9所述的装置，其特征在于，所述确定模块，还用于确定所述两个最小外接矩形框的连通域；
所述确定模块，还用于将所述连通域确定为所述眼部区域。
11.一种计算机设备，其特征在于，所述计算机设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条程序代码，所述程序代码由所述一个或多个处理器加载并执行以实现如权利要求1至权利要求5任一项所述的图像处理方法所执行的操作。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条程序代码，所述程序代码由处理器加载并执行以实现如权利要求1至权利要求5任一项所述的图像处理方法所执行的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911219304.6A CN110929675B (zh) | 2019-12-03 | 2019-12-03 | 图像处理方法、装置、计算机设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911219304.6A CN110929675B (zh) | 2019-12-03 | 2019-12-03 | 图像处理方法、装置、计算机设备及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110929675A true CN110929675A (zh) | 2020-03-27 |
| CN110929675B CN110929675B (zh) | 2024-03-01 |
Family
ID=69848467
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911219304.6A Active CN110929675B (zh) | 2019-12-03 | 2019-12-03 | 图像处理方法、装置、计算机设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110929675B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101639936A (zh) * | 2009-04-28 | 2010-02-03 | 北京捷科惠康科技有限公司 | 一种x射线图像增强方法及系统 |
| CN101794380A (zh) * | 2010-02-11 | 2010-08-04 | 上海点佰趣信息科技有限公司 | 指纹图像增强方法 |
| CN105095872A (zh) * | 2015-07-29 | 2015-11-25 | 京东方科技集团股份有限公司 | 一种基板及其制备方法、指纹识别传感器、指纹识别装置 |
| CN106651991A (zh) * | 2016-09-12 | 2017-05-10 | 广州市久邦数码科技有限公司 | 一种智能贴图实现方法及其系统 |
| CN107369133A (zh) * | 2016-05-13 | 2017-11-21 | 炬芯（珠海）科技有限公司 | 一种人脸图像美化方法和装置 |
| CN107609542A (zh) * | 2017-10-24 | 2018-01-19 | 京东方科技集团股份有限公司 | 光感器件、显示装置及指纹识别方法 |
| CN110298858A (zh) * | 2019-07-01 | 2019-10-01 | 北京奇艺世纪科技有限公司 | 一种图像裁剪方法及装置 |
-
2019
- 2019-12-03 CN CN201911219304.6A patent/CN110929675B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101639936A (zh) * | 2009-04-28 | 2010-02-03 | 北京捷科惠康科技有限公司 | 一种x射线图像增强方法及系统 |
| CN101794380A (zh) * | 2010-02-11 | 2010-08-04 | 上海点佰趣信息科技有限公司 | 指纹图像增强方法 |
| CN105095872A (zh) * | 2015-07-29 | 2015-11-25 | 京东方科技集团股份有限公司 | 一种基板及其制备方法、指纹识别传感器、指纹识别装置 |
| CN107369133A (zh) * | 2016-05-13 | 2017-11-21 | 炬芯（珠海）科技有限公司 | 一种人脸图像美化方法和装置 |
| CN106651991A (zh) * | 2016-09-12 | 2017-05-10 | 广州市久邦数码科技有限公司 | 一种智能贴图实现方法及其系统 |
| CN107609542A (zh) * | 2017-10-24 | 2018-01-19 | 京东方科技集团股份有限公司 | 光感器件、显示装置及指纹识别方法 |
| CN110298858A (zh) * | 2019-07-01 | 2019-10-01 | 北京奇艺世纪科技有限公司 | 一种图像裁剪方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110929675B (zh) | 2024-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021008456A1 (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN107945163B (zh) | 图像增强方法及装置 | |
| CN109360222B (zh) | 图像分割方法、装置及存储介质 | |
| CN109325924B (zh) | 图像处理方法、装置、终端及存储介质 | |
| CN112581358B (zh) | 图像处理模型的训练方法、图像处理方法及装置 | |
| US11386586B2 (en) | Method and electronic device for adding virtual item | |
| CN111723803B (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN110570460A (zh) | 目标跟踪方法、装置、计算机设备及计算机可读存储介质 | |
| CN110991457A (zh) | 二维码处理方法、装置、电子设备及存储介质 | |
| CN111754386A (zh) | 图像区域屏蔽方法、装置、设备及存储介质 | |
| CN113763228A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN113627413A (zh) | 数据标注方法、图像比对方法及装置 | |
| CN111105474B (zh) | 字体绘制方法、装置、计算机设备及计算机可读存储介质 | |
| CN110619614B (zh) | 图像处理的方法、装置、计算机设备以及存储介质 | |
| CN110503159B (zh) | 文字识别方法、装置、设备及介质 | |
| CN110189348B (zh) | 头像处理方法、装置、计算机设备及存储介质 | |
| CN115497082A (zh) | 判断视频中字幕的方法、设备和存储介质 | |
| CN111857793B (zh) | 网络模型的训练方法、装置、设备及存储介质 | |
| CN111327819A (zh) | 选择图像的方法、装置、电子设备及介质 | |
| CN110675473A (zh) | 生成gif动态图的方法、装置、电子设备及介质 | |
| CN114140342A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN110853124A (zh) | 生成gif动态图的方法、装置、电子设备及介质 | |
| CN111860064A (zh) | 基于视频的目标检测方法、装置、设备及存储介质 | |
| CN111757146B (zh) | 视频拼接的方法、系统及存储介质 | |
| CN108881739B (zh) | 图像生成方法、装置、终端及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |