CN110036407B - 用于基于人类巩膜和瞳孔校正数字图像颜色的系统和方法 - Google Patents
用于基于人类巩膜和瞳孔校正数字图像颜色的系统和方法 Download PDFInfo
- Publication number
- CN110036407B CN110036407B CN201780069702.7A CN201780069702A CN110036407B CN 110036407 B CN110036407 B CN 110036407B CN 201780069702 A CN201780069702 A CN 201780069702A CN 110036407 B CN110036407 B CN 110036407B
- Authority
- CN
- China
- Prior art keywords
- image
- pupil
- sclera
- skin
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000001747 pupil Anatomy 0.000 title claims abstract description 106
- 210000003786 sclera Anatomy 0.000 title claims abstract description 105
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000012937 correction Methods 0.000 claims abstract description 95
- 210000001508 eye Anatomy 0.000 claims abstract description 76
- 210000000887 face Anatomy 0.000 claims abstract description 6
- 230000001815 facial effect Effects 0.000 claims description 30
- 238000005259 measurement Methods 0.000 claims description 21
- 238000003702 image correction Methods 0.000 claims description 16
- 238000005286 illumination Methods 0.000 claims description 15
- 239000003086 colorant Substances 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 10
- 238000000926 separation method Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 6
- 210000001061 forehead Anatomy 0.000 claims description 5
- 210000000216 zygoma Anatomy 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/643—Hue control means, e.g. flesh tone control
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Ophthalmology & Optometry (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
根据本发明的实施例的颜色校正方法可以包括以下步骤:从捕获的图像来获取图像;从捕获的图像检测脸部和眼睛;分离被检测的(一个或多个)眼睛的巩膜和瞳孔;通过将通过分离巩膜和瞳孔而提取的巩膜和瞳孔的区域与存储在数据库中的参考值进行比较来校正图像;以及从校正的图像提取脸部的皮肤颜色。
Description
技术领域
本发明涉及图像处理技术,并且更特别地,本发明涉及用于在人类巩膜和瞳孔的颜色的基础上校正皮肤颜色的方法和系统。
背景技术
最近,已经提出了与使用设备化妆相关的各种技术;然而,它们中的大多数并未将用户的面部皮肤颜色和光照环境考虑在内。常规技术公开了用于在没有照明影响的情况下测量真实皮肤颜色的方法;然而,它们具有诸如不得不利用用于基于普通用户不可获得的频谱来测量颜色信息的设备的缺点。
此外,已经提出了诸如利用标准颜色表拍摄照片以便利地测量光照环境的技术;然而,该技术要求准备颜色表并在拍摄照片的过程中使用它。
此外,Do等人(2012)提出了用于使用人眼的巩膜来校正照明的方法;然而,该方法具有提取正确的皮肤颜色的困难,这是因为被提取的皮肤颜色的范围太宽,包括阴影和高光。
这样,针对能够使用人眼的巩膜和瞳孔从图像提取正确的面部皮肤颜色以改进用户便利性并为各种化妆相关的程序提供基础的技术的需求已经浮现。
本发明的构成
[本发明的技术目的]
本发明可以提供一种用于校正颜色的方法,其中所述方法从图像检测脸部和眼睛,用于在眼睛的巩膜和瞳孔的基础上校正颜色。更特别地,本发明可以提供一种用于通过从图像检测脸部和眼睛、提取眼睛的巩膜和瞳孔以及将巩膜和瞳孔的提取的区域与存储在数据库中的参考值进行比较来校正图像并从校正的图像提取面部皮肤颜色的方法。
[用于实现技术目的的手段]
根据本发明的实施例的用于校正颜色的方法可以包括以下步骤:通过拍摄照片获取图像;从获取的图像检测脸部和眼睛;提取被检测的(一个或多个)眼睛的巩膜和瞳孔;通过将提取的巩膜和瞳孔区域与存储在数据库中的参考值进行比较来校正图像;以及从校正的图像提取面部皮肤的颜色。
提取被检测的(一个或多个)眼睛的巩膜和瞳孔的步骤可以包括以下步骤:使用Otsu算法和眼形掩模(eye-shape mask)划分巩膜和瞳孔;通过在临界光照值的基础上划分巩膜来提取具有高于预设值的亮度的巩膜区域;以及通过检测瞳孔和巩膜之间的边界来提取具有低于预设值的亮度的瞳孔区域。
校正图像的步骤可以包括以下步骤:在参考值的基础上转换图像的颜色,所述参考值与具有高于预设值的亮度的从巩膜提取的巩膜区域和具有低于预设值的亮度的从瞳孔提取的瞳孔区域进行比较。
提取面部皮肤颜色的步骤可以包括以下步骤:参考校正的图像的脸部中心提取皮肤区域,并将提取的皮肤区域与存储的皮肤颜色的测量值进行比较,以从校正的图像检测脸部的皮肤区域并通过在L*a*b值的测量范围的基础上对脸部的皮肤区域进行滤波来提取皮肤颜色。
从校正的图像提取脸部的皮肤颜色的步骤可以包括以下步骤:显示从校正的图像提取的脸部的皮肤的区域和从校正的图像提取的面部皮肤的颜色。
颜色校正方法可以进一步包括将参考值存储在数据库中用于根据不同光照环境提取面部皮肤的颜色的步骤,其中将参考值存储在数据库中用于根据不同光照环境提取面部皮肤的颜色的步骤可以是存储用于图像校正的巩膜和瞳孔的图像校正测量值以及利用脸部测量的皮肤颜色测量值的步骤。
将参考值存储在数据库中用于根据不同的光照环境提取面部皮肤的颜色的步骤可以包括参考包括皮肤颜色的标准色调来转换在不同光照环境下捕获的图像的步骤。
将参考值存储在数据库中用于根据不同的光照环境提取面部皮肤的颜色的步骤可以包括以下步骤:存储从检测自转换的图像的脸部的前额、上颌、颈部、下巴,颧骨和下颌中的至少一个或多个测量的皮肤颜色的测量值的平均值。
捕获图像的步骤可以包括以下步骤:通过在实时的基础上扫描脸部和眼睛来确定眼睛是睁开还是闭合,并且如果判断眼睛是睁开,则激活图像捕获模式。
根据本发明的实施例的用于构造用于颜色校正的计算机软件程序的颜色校正方法可以包括以下步骤:通过捕获图像来获取图像;从捕获的图像检测脸部和眼睛;提取被检测的(一个或多个)眼睛的巩膜和瞳孔;通过将通过分离巩膜和瞳孔而提取的巩膜和瞳孔的区域与存储在数据库中的参考值进行比较来校正图像;以及从校正的图像提取脸部的皮肤颜色。
根据本发明的实施例的颜色校正系统可以包括:采集单元,用于从捕获的图像获取图像;检测单元,用于从捕获的图像检测脸部和(一个或多个)眼睛;分离单元,用于提取被检测的(一个或多个)眼睛的巩膜和瞳孔;校正单元,用于通过将通过分离巩膜和瞳孔而提取的巩膜和瞳孔的区域与存储在数据库中的参考值进行比较来校正图像;以及提取单元,用于从校正的图像提取脸部的皮肤颜色。
分离单元使用Otsu算法和眼形掩模从检测的(一个或多个)眼睛划分巩膜和瞳孔,并且可以通过在临界光照值的基础上划分巩膜来提取具有高于预设值的亮度的巩膜区域;以及通过沿着瞳孔的圆形轮廓上检测瞳孔和巩膜之间的边界,来提取具有低于预设值的亮度的瞳孔区域。
校正单元可以在参考值的基础上转换图像的颜色,所述参考值与具有高于预设值的亮度的从巩膜提取的巩膜区域和具有低于预设值的亮度的从瞳孔提取的瞳孔区域进行比较。
提取单元可以通过如下来提取皮肤颜色:参考校正的图像的脸部中心提取皮肤区域,并将提取的皮肤区域与存储的皮肤颜色的测量值进行比较,以从校正的图像检测脸部的皮肤区域并通过在L*a*b值的测量范围的基础上对脸部的皮肤区域进行滤波来提取皮肤颜色。
提取单元可以示出从校正的图像提取的面部皮肤的区域和从校正的图像提取的面部皮肤的颜色。
颜色校正系统可以进一步包括用于在数据库中存储参考值的存储单元,以便根据不同光照环境提取面部皮肤的颜色,其中存储单元可以存储用于图像校正的巩膜和瞳孔的图像校正测量值以及利用脸部测量的皮肤颜色测量值。
存储单元可以参考包括皮肤颜色的标准色调来转换在不同光照环境下捕获的图像。
存储单元可以存储从检测自转换的图像的脸部的前额、上颌、颈部、下巴,颧骨和下颌中的至少一个或多个测量的皮肤颜色的测量值的平均值。
采集单元可以通过在实时的基础上扫描脸部和眼睛来确定眼睛是睁开还是闭合,并且如果判断眼睛是睁开,则激活图像捕获模式。
[本发明的效果]
根据本发明的实施例的颜色校正系统可以通过利用瞳孔和眼睛的光学特性从简单的照相过程提取正确的皮肤颜色。
根据本发明的实施例的颜色校正系统提供了一种用于通过在参考值的基础上利用人眼的巩膜和瞳孔的色调执行颜色校正来在不使用任何附加的测量仪器或设备的情况下提取正确的皮肤颜色而不管光照环境如何的实用方法。
根据本发明的实施例的颜色校正系统可以应用于所有个体而不管其种族或起源地如何,这是因为所述系统利用对于所有人类而言共有的人眼的巩膜和瞳孔。
此外,预期根据本发明的实施例的颜色校正系统成为用于根据通信技术和移动设备的发展的各种应用软件程序的核心技术,这是由于所述系统通过提供用户便利性和多种族适用性而易于扩展。
附图说明
图1是根据本发明的实施例的颜色校正系统的操作的示意流程图。
图2是描绘根据本发明的实施例的颜色校正系统的配置的框图。
图3是示出根据本发明的实施例的可以包括在颜色校正系统的处理器中的结构元件的框图。
图4是例示根据本发明的实施例的颜色校正系统的数据采集的图像。
图5是图示根据本发明的实施例的用于利用颜色校正系统的眼睛的巩膜和瞳孔校正图像的方法的流程图。
图6和图7是描述根据本发明的实施例的用于颜色校正系统的颜色校正的方法的流程图。
具体实施方式
参考附图详细描述了本发明的示例性实施例。
图1是根据本发明的实施例的颜色校正系统的操作的示意流程图,颜色校正系统100可以以应用软件的形式在PC(个人计算机)、笔记本计算机、膝上型计算机、智能电话、平板计算机、可穿戴计算机或TV上运行。下面的描述基于颜色校正系统100正在图1中运行的假设。
终端可以配备有用于捕获主体(110)(例如用户)的图像的功能。终端可以拍摄用户的照片。终端可以通过扫描用户的脸部和眼睛来确定用户的眼睛是睁开还是闭合。如果确定眼睛是睁开,则终端可以激活图像捕获模式(111)。另一方面,如果判断眼睛是闭合,则终端可以停用(deactivate)图像捕获模式(112)。
终端可以获取捕获的图像以进行图像校正过程(120),用于提取图像中的面部皮肤的颜色。终端可以通过检测眼睛来分离眼睛的巩膜和瞳孔,并且在分离巩膜和瞳孔之后,终端可以通过将巩膜和瞳孔的提取区域与预设的存储的参考值进行比较来校正图像的颜色。下面参考优选实施例详细描述了图像校正的过程。
终端可以提取并示出从校正的图像(130)提取的面部皮肤的区域和从校正的图像提取的面部皮肤的颜色(140)。
图2是描绘根据本发明的实施例的颜色校正系统的配置的框图。
颜色校正系统(100)可以包括处理器(210)、通信单元(220)和显示单元(230)。此外,颜色校正系统(100)可以进一步包括用于存储针对在不同光照环境下提取面部皮肤的颜色而使用的数据的存储单元(230)。
处理器(210)可以控制颜色校正系统(100)的元件,并且可以运行由颜色校正系统(100)使用的软件程序或应用。此外,处理器(210)可以处理对于软件程序或应用的执行以及数据处理所要求的操作。
通信单元(220)可以是向其他终端的独立服务器传输数据和/或信息并从其他终端的独立服务器接收数据和/或信息的例如播放器的网络接口卡、网络芯片或联网接口端口、网络设备驱动器之类的硬件模块或者诸如联网程序之类的软件模块。
用于存储颜色校正系统(100)的信息的数据的存储单元(230)可以是存储器或其他类型的存储设备。存储单元(230)可以存储由处理器(210)运行的软件或应用以及相关的信息。
显示单元(240)可以显示捕获的图像,并且可以示出从校正的图像提取的面部皮肤的区域和从校正的图像提取的面部皮肤的颜色。
图3是示出根据本发明的实施例的可以包括在颜色校正系统的处理器中的结构元件的框图。
包括在颜色校正系统中的处理器(210)可以包括采集单元(310)、检测单元(320)、分离单元(330)、校正单元(340)和提取单元(350)。处理器(210)和处理器(210)的元件可以被配置为执行由操作系统的代码和存储器设备中的至少一个软件程序的代码给出的指令。这里,处理器(210)的元件可以是处理器(210)按照由存储在颜色校正系统中的软件代码提供的控制指令而执行的不同功能的表达。
采集单元(310)可以当捕获图像时获取图像。采集单元(310)可以通过在实时的基础上扫描脸部和眼睛来确定眼睛是睁开还是闭合,并且如果确定眼睛是睁开,则激活图像捕获模式。
检测单元(320)可以从捕获的图像检测脸部和眼睛。
分离单元(330)可以从检测的眼睛分离巩膜和瞳孔。分离单元(330)使用Otsu算法和眼形掩模从检测的(一个或多个)眼睛划分巩膜和瞳孔,并且可以通过在临界光照值的基础上划分巩膜来提取具有高于预设值的亮度的巩膜区域,以及通过沿着瞳孔的圆形轮廓检测瞳孔和巩膜之间的边界来提取具有低于预设值的亮度的瞳孔区域。
校正单元(340)可以通过将通过分离巩膜和瞳孔而提取的巩膜和瞳孔的区域与存储在数据库中的参考值进行比较来校正图像。校正单元(340)可以在参考值的基础上转换图像的颜色,所述参考值与具有高于预设值的亮度的从巩膜提取的巩膜区域和具有低于预设值的亮度的从瞳孔提取的瞳孔区域进行比较。
提取单元(350)可以从校正的图像提取面部皮肤的颜色。提取单元(350)可以通过如下来提取皮肤颜色:参考校正的图像的脸部中心提取皮肤区域,并将提取的皮肤区域与存储的皮肤颜色的测量值进行比较,以从校正的图像检测脸部的皮肤区域并通过在L*a*b值的测量范围的基础上对脸部的皮肤区域进行滤波来提取皮肤颜色。提取单元(350)可以示出从校正的图像提取的面部皮肤的区域和从校正的图像提取的面部皮肤的颜色。
图4是例示根据本发明的实施例的颜色校正系统的数据采集的图像。
颜色校正系统可以在数据库中存储用于在不同光照环境下提取面部皮肤颜色的数据。更特别地,颜色校正系统可以在多样化的光照环境下拍摄不同用户的多个脸部的照片。在这时,可以通过捕获图像的设备以多样化的色调、照明的强度、色温等捕获图像,并且可以根据图像捕获的环境产生多样化的光照环境。例如,可以通过拍摄预定年龄范围(例如,从17到56之间)和大于预定数量(例如,300人)的数量的用户的照片来获取用于提取皮肤颜色的数据。
颜色校正系统可以参考包括皮肤颜色的标准色调来转换在不同环境下捕获的图像。例如,颜色校正系统可以参考标准颜色表转换在不同光照环境下利用标准颜色表捕获的图像。
颜色校正系统可以使用计算机图形技术或脸部检测器(例如,Viola-Jones脸部检测器)从图像检测脸部和眼睛区域。例如,颜色校正系统可以使用Otsu算法和眼形掩模从眼睛区域分离巩膜和瞳孔。反射光的巩膜在反射光照环境的特性的色调中被捕获,并且吸收光的瞳孔是黑色的但是受到图像捕获设备的校正过程的影响。因此,颜色校正系统可以从图像分离眼睛的巩膜和瞳孔。用于分离巩膜和瞳孔的技术不限于上面的算法,这是因为可以分离眼睛的瞳孔和巩膜的各种其他技术也是可获得的。
颜色校正系统可以通过参考照明的临界值将巩膜划分成更亮的区域和更暗的区域来提取巩膜区域。颜色校正系统可以提取其中亮度高于预设水平的巩膜区域用于颜色校正。颜色校正系统将比预设水平更亮的提取的巩膜的区域取作不受血管、斑点等影响的白色区域。
此外,颜色校正系统可以使用Hough变换沿着瞳孔的圆形轮廓检测瞳孔和巩膜之间的干涉。颜色校正系统可以通过检测瞳孔和巩膜之间的干涉,来从提取的瞳孔提取其中亮度低于预设水平的瞳孔区域。
如上面描述的,本发明的颜色校正系统可以在数据库中保存上面提取的其中亮度高于预设水平的巩膜区域和其中亮度低于预设水平的瞳孔区域。例如,本发明的颜色校正系统可以在数据库中保存其中亮度高于预设水平的巩膜区域和其中亮度低于预设水平的瞳孔区域的图像校正的测量值。在这时,可以在图像样本的每次添加或删除时更新被测量的图像校正的测量值。
颜色校正系统可以保存在参考标准颜色表转换的图像中包括的脸部的特定区域的皮肤颜色的信息。颜色校正系统可以测量从图像(410)检测的脸部的前额、鼻尖、下巴、颈部、脸颊、颧骨和颌(411~417)中的至少一个或多个的皮肤颜色。这里,颜色校正系统可以在L*a*b值的基础上参考测量的皮肤颜色信息来导出皮肤颜色的最终范围。
颜色校正系统可以计算被测量区域的至少一个或多个皮肤颜色的平均值。颜色校正系统可以在数据库中保存通过平均皮肤颜色的测量值而获得的平均值。类似地,可以在图像样本的每次添加或删除时更新皮肤颜色的测量值。
颜色校正系统可以在数据库中保存用于图像校正的巩膜和瞳孔的图像校正测量值以及利用脸部测量的皮肤颜色值。利用该数据,颜色校正系统可以导出针对巩膜和瞳孔的参考值以及用于提取面部皮肤颜色的参考值,用于图像校正。
根据本发明的实施例的颜色校正系统可以应用于所有个体而不管其种族或起源地如何,这是因为所述系统利用对于所有人类而言共有的人眼的巩膜和瞳孔。
根据本发明的实施例的颜色校正系统可以通过构造数据库来标准化数据、在标准化数据的基础上测量区的皮肤颜色以导出目标值和实际皮肤范围并且相应地提取皮肤颜色。
图5是图示根据本发明的实施例的利用颜色校正系统的眼睛的巩膜和瞳孔校正图像的方法的流程图。
颜色校正系统可以获取图像(510)。颜色校正系统可以扫描脸部和眼睛并从获取的图像检测眼睛(520)。颜色校正系统可以通过从图像检测眼睛来分离眼睛的巩膜和瞳孔(530,540)。例如,颜色校正系统可以使用Otsu算法和眼形掩模从眼睛区域分离巩膜和瞳孔。
步骤(530~533),颜色校正系统例如可以通过确定照明的临界值来以更亮的组和更暗的组将像素分类,用于在Otsu算法的基础上从皮肤像素划分巩膜。在划分巩膜之后,可以提取具有高于预定水平的亮度的巩膜区域用于颜色校正,以便消除由巩膜中的眼睑和暗血管投射(cast)的阴影的影响。例如,颜色校正系统可以从巩膜提取最高亮度的10%。可以导出与从巩膜提取的最亮区域的10%对应的值。
此外,颜色校正系统可以在步骤(540~543)中通过使用例如Hough变换来检测瞳孔。Hough变换可以沿着圆形轮廓标识瞳孔和巩膜之间的界面。颜色校正系统可以从提取的瞳孔提取其中亮度低于预设水平的瞳孔区域。在这时,可以提取其中亮度低于预设水平的瞳孔区域,以便移除归因于透明角膜的光反射的影响。例如,颜色校正系统可以从瞳孔提取最暗区域的10%。可以导出与从瞳孔提取的最暗区域的10%对应的值。
颜色校正系统可以在参考值的基础上转换图像的颜色,所述参考值与具有高于预设值的亮度的从巩膜提取的巩膜区域和具有低于预设值的亮度的从瞳孔提取的瞳孔区域进行比较(550)。
图6和图7是描述根据本发明的实施例的颜色校正系统的颜色校正的方法的流程图。
在步骤(610)中,颜色校正系统可以在实时的基础上检测用户的脸部和眼睛。例如,颜色校正系统可以通过相机检测用户的脸部和眼睛。
在步骤(620)中,颜色校正系统可以确定用户的眼睛是否睁开。例如,如果眼睛区域处于预设大小范围内,则颜色校正系统可以确定眼睛是睁开。在这时,如果颜色校正系统确定用户的眼睛是闭合,则所述系统可以再次检测脸部和眼睛。
在步骤(630)中,如果用户的眼睛是睁开,则颜色校正系统可以捕获图像。当利用相机捕获图像时,颜色校正系统可以在用户的眼睛睁开时捕获用户的图像。
在步骤(640)中,颜色校正系统可以从包括在图像中的眼睛分离瞳孔和巩膜。
在步骤(650)中,颜色校正系统可以在瞳孔和巩膜的基础上校正图像。颜色校正系统可以通过将通过分离巩膜和瞳孔而提取的巩膜和瞳孔的区域与存储在数据库中的参考值进行比较来校正图像。这里,数据库(670)可以在数据库中存储用于在不同光照环境下提取面部皮肤颜色的参考值。例如,数据库可以存储用于图像校正的巩膜和瞳孔的图像校正的测量值(671)以及脸部的测量的皮肤颜色值(672)。下面参考图4提供了数据库(670)的详细描述。
关于图7,颜色校正系统可以在步骤(710)中提取其中亮度高于预定值的巩膜区域并提取其中亮度低于预定值的瞳孔区域。在步骤(720)中,颜色校正系统可以将巩膜和瞳孔的提取的区域的测量值与存储在数据库中的测量的图像校正值进行比较。在步骤(730)中,颜色校正系统可以在测量的图像校正值的基础上转换图像的颜色。
在步骤(660)中,颜色校正系统可以从校正的图像提取皮肤区域。特别地,颜色校正系统可以通过如下来提取皮肤颜色:参考校正的图像的脸部中心提取皮肤区域,并将提取的皮肤区域与数据库中存储的皮肤颜色的测量值进行比较,以从校正的图像检测脸部的皮肤区域并通过在L*a*b值的测量范围的基础上对脸部的皮肤区域进行滤波来提取皮肤颜色。颜色校正系统可以提供从校正的图像提取的皮肤区域和皮肤颜色。
根据本发明的实施例的颜色校正系统可以改进皮肤颜色估计的准确性。
可以通过硬件元件或软件元件和/或硬件元件和软件元件的组合来实现上面描述的装置。例如,可以利用一个或多个通用计算机或专用计算机来实现实施例中描述的装置及其元件,所述通用计算机或专用计算机诸如处理器、控制器、算术逻辑单元(ALU)、数字信号处理器、微计算机、现场可编程门阵列(FPGA)、可编程逻辑单元(PLU)、微处理器或可以执行和响应指令的任何其他设备。处理单元可以运行操作系统(OS)和在所述操作系统上运行的一个或多个软件应用。此外,处理单元可以响应于软件的执行而访问、存储、操作、处理和生成数据。为了读者的理解的便利性,上面的描述可以包括单个处理单元;然而,对于本领域中的技术人员而言应清楚的是,处理单元可以包括多个处理元件和/或多个类型的处理元件。例如,处理单元可以包括多个处理器或一个处理器和一个控制器。此外,诸如并行处理器之类的不同处理配置也可以这样做。
软件可以包括计算机程序、代码、指令或其一个或多个组合,并且处理单元可以被配置为能够按照指示操作或者可以独立地或共同地被指示。软件和/或数据可以永久或临时地被体现在某个类型的机器、组件、物理设备、虚拟装备、计算机存储介质或设备中,以能够由处理单元解释或向处理单元提供指令或数据。可以通过被安装在由网络连接的分布式计算机系统上而以分布式方式存储或运行软件。软件和数据可以存储在利用计算机系统可读的一个或多个记录介质设备中。
可以以程序的形式实现根据本发明的实施例的方法,所述程序可以由各种计算机装置执行并被记录在计算机可读介质中。计算机可读介质可以独立地包括程序指令、数据文件和/或数据结构或通过其组合包括程序指令、数据文件和/或数据结构。可以针对本发明或计算机软件领域中的任何技术人员可获得的通用软件而专门设计和制造被记录在介质中的程序指令。计算机可读记录介质的示例包括诸如硬盘和磁带之类的磁介质、诸如CD-ROM和DVD之类的光学介质、诸如光软盘之类的磁光介质以及专门被配置为存储和执行程序指令的诸如ROM、RAM和闪速存储器设备之类的硬件设备。软件指令的示例包括由编译器生成的机器代码和可以由计算机系统使用解释器执行的高级语言代码。
根据前述内容,应当相信,相关领域中的技术人员应当认识到本发明的有价值的进步,并且应当容易地理解,虽然已经与本发明的优选实施例相关联地并且在附图中描述了本发明,但是在不脱离本发明的精神和范围的情况下,本领域中的技术人员可以在其中做出许多改变和修改。例如,可以以与描述不同的顺序执行本文中公开的技术,并且/或者描述的系统、结构、设备、电路或其他元件可以以不同的配置被组合或者由其他元件或等同物被替代或替换,从而实现适当的结果。
因此,对权利要求的其他实现、实施例和等同物应当包括在本文中下面提供的权利要求书中。
Claims (19)
1.一种校正颜色的方法,包括以下步骤:
通过捕获图像来获取图像;
从捕获的图像检测脸部和眼睛;
提取被检测的眼睛的巩膜和瞳孔;
通过将通过分离巩膜和瞳孔而提取的巩膜和瞳孔的区域与存储在数据库中的参考值进行比较来校正图像;以及
从校正的图像提取脸部的皮肤颜色。
2.根据权利要求1中所述的校正颜色的方法,其中分离被检测的眼睛的巩膜和瞳孔的步骤包括以下步骤:
使用Otsu算法和眼形掩模从检测的眼睛划分巩膜和瞳孔;通过在临界光照值的基础上划分巩膜来提取具有高于预设值的亮度的巩膜区域;以及通过沿着瞳孔的圆形轮廓检测瞳孔和巩膜之间的边界来提取具有低于预设值的亮度的瞳孔区域。
3.根据权利要求1中所述的校正颜色的方法,其中校正图像的步骤包括以下步骤:
在参考值的基础上转换图像的颜色,所述参考值与具有高于预设值的亮度的从巩膜提取的巩膜区域和具有低于预设值的亮度的从瞳孔提取的瞳孔区域进行比较。
4.根据权利要求1中所述的校正颜色的方法,其中从校正的图像提取脸部的皮肤颜色的步骤包括以下步骤:
参考校正的图像的脸部中心提取皮肤区域,并将提取的皮肤区域与存储的皮肤颜色的测量值进行比较,以从校正的图像检测脸部的皮肤区域并通过在L*a*b值的测量范围的基础上对脸部的皮肤区域进行滤波来提取皮肤颜色。
5.根据权利要求4中所述的校正颜色的方法,其中从校正的图像提取脸部的皮肤颜色的步骤包括以下步骤:显示从校正的图像提取的面部皮肤的区域和从校正的图像提取的面部皮肤的颜色。
6.根据权利要求1中所述的校正颜色的方法,进一步包括以下步骤:
在数据库中存储用于在不同光照环境下提取脸部的皮肤颜色的参考值,以及在数据库中存储用于在不同光照环境下提取脸部的皮肤颜色的参考值的步骤进一步包括以下步骤:
在数据库中存储用于图像校正的巩膜和瞳孔的图像校正测量值以及利用脸部测量的皮肤颜色值。
7.根据权利要求6中所述的校正颜色的方法,其中在数据库中存储用于在不同光照环境下提取脸部的皮肤颜色的参考值的步骤进一步包括以下步骤:
参考包括皮肤颜色的标准色调来转换在不同光照环境下捕获的图像。
8.根据权利要求7中所述的校正颜色的方法,其中在数据库中存储用于在不同光照环境下提取脸部的皮肤颜色的参考值的步骤进一步包括以下步骤:
存储从皮肤颜色的测量值导出的平均值,从检测自转换的图像的脸部的前额、鼻尖、下巴、颈部、脸颊、颧骨和颌中的至少一个或多个测量所述皮肤颜色的测量值。
9.根据权利要求1中所述的校正颜色的方法,其中通过捕获图像来获取图像的步骤进一步包括以下步骤:
通过在实时的基础上扫描脸部和眼睛来确定眼睛是睁开还是闭合,并且如果确定眼睛是睁开,则激活图像捕获模式。
10.一种计算机可读介质,包括存储在其上的计算机可读指令,所述计算机可读指令用于在由计算机系统执行时执行颜色校正方法,其中用于校正颜色的方法包括以下步骤:
通过捕获图像来获取图像;
从捕获的图像检测脸部和眼睛;
提取被检测的眼睛的巩膜和瞳孔;
通过将通过分离巩膜和瞳孔而提取的巩膜和瞳孔的区域与存储在数据库中的参考值进行比较来校正图像;以及
从校正的图像提取脸部的皮肤颜色。
11.一种用于校正颜色的系统,包括:
采集单元,用于通过捕获图像来获取图像;
检测单元,用于从捕获的图像检测脸部和眼睛;
分离单元,用于分离被检测的眼睛的巩膜和瞳孔;
校正单元,用于通过将通过分离巩膜和瞳孔而提取的巩膜和瞳孔的区域与存储在数据库中的参考值进行比较来校正图像;以及
提取单元,用于从校正的图像提取脸部的皮肤颜色。
12.根据权利要求11中所述的用于校正颜色的系统,其中分离单元的特征在于,
使用Otsu算法和眼形掩模从检测的眼睛划分巩膜和瞳孔;通过在临界光照值的基础上划分巩膜来提取具有高于预设值的亮度的巩膜区域;以及通过沿着瞳孔的圆形轮廓检测瞳孔和巩膜之间的边界来提取具有低于预设值的亮度的瞳孔区域。
13.根据权利要求11中所述的用于校正颜色的系统,其中校正单元的特征在于,在参考值的基础上转换图像的颜色,所述参考值与具有高于预设值的亮度的从巩膜提取的巩膜区域和具有低于预设值的亮度的从瞳孔提取的瞳孔区域进行比较。
14.根据权利要求11中所述的用于校正颜色的系统,其中提取单元的特征在于,
通过如下来提取皮肤颜色:参考校正的图像的脸部中心提取皮肤区域,并将提取的皮肤区域与存储的皮肤颜色的测量值进行比较,以从校正的图像检测脸部的皮肤区域并通过在L*a*b值的测量范围的基础上对脸部的皮肤区域进行滤波来提取皮肤颜色。
15.根据权利要求14中所述的用于校正颜色的系统,其中提取单元的特征在于,
显示从校正的图像提取的面部皮肤的区域和从校正的图像提取的面部皮肤的颜色。
16.根据权利要求11中所述的用于校正颜色的系统,
进一步包括存储单元,用于在数据库中存储用于在不同光照环境下提取脸部的皮肤颜色的参考值,并且
存储单元的特征在于存储用于图像校正的巩膜和瞳孔的图像校正测量值以及利用脸部测量的皮肤颜色值。
17.根据权利要求16中所述的用于校正颜色的系统,其中存储单元的特征在于,
参考包括皮肤颜色的标准色调来转换在不同光照环境下捕获的图像。
18.根据权利要求17中所述的用于校正颜色的系统,其中存储单元的特征在于,
存储从皮肤颜色的测量值导出的平均值,从检测自转换的图像的脸部的前额、鼻尖、下巴、颈部、脸颊、颧骨和颌中的至少一个或多个测量所述皮肤颜色的测量值。
19.根据权利要求11中所述的用于校正颜色的系统,其中采集单元的特征在于,
通过在实时的基础上扫描脸部和眼睛来确定眼睛是睁开还是闭合,并且如果确定眼睛是睁开,则激活图像捕获模式。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160117234A KR101854991B1 (ko) | 2016-09-12 | 2016-09-12 | 눈 흰자위와 동공의 색을 기반으로 한 디지털 이미지 색 보정 방법 및 시스템 |
KR10-2016-0117234 | 2016-09-12 | ||
PCT/US2017/016384 WO2018080575A1 (en) | 2016-09-12 | 2017-02-03 | System and method for correcting color of digital image based on the human sclera and pupil |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110036407A CN110036407A (zh) | 2019-07-19 |
CN110036407B true CN110036407B (zh) | 2023-07-11 |
Family
ID=61901251
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780069702.7A Active CN110036407B (zh) | 2016-09-12 | 2017-02-03 | 用于基于人类巩膜和瞳孔校正数字图像颜色的系统和方法 |
Country Status (8)
Country | Link |
---|---|
US (1) | US10984281B2 (zh) |
EP (1) | EP3510559A4 (zh) |
JP (1) | JP2019533269A (zh) |
KR (1) | KR101854991B1 (zh) |
CN (1) | CN110036407B (zh) |
AU (1) | AU2017350177A1 (zh) |
CA (1) | CA3041991C (zh) |
WO (1) | WO2018080575A1 (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108632535A (zh) * | 2018-07-26 | 2018-10-09 | 维沃移动通信有限公司 | 一种图像处理方法及移动终端 |
KR102075389B1 (ko) * | 2018-09-13 | 2020-02-10 | 인천대학교 산학협력단 | 애니메이션 내 등장 인물에 대한 채색을 수행하는 전자 장치 및 그의 동작 방법 |
CN109978848B (zh) * | 2019-03-19 | 2022-11-04 | 电子科技大学 | 基于多光源颜色恒常模型检测眼底图像中硬性渗出的方法 |
US20220101405A1 (en) * | 2020-09-30 | 2022-03-31 | Revieve Oy | System and method for determining a skin tone |
CN112911148B (zh) * | 2021-01-28 | 2022-10-14 | 维沃移动通信有限公司 | 图像处理方法、装置及电子设备 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005128600A (ja) * | 2003-10-21 | 2005-05-19 | Konica Minolta Photo Imaging Inc | 画像処理方法及び被写体撮影システム |
JP4849818B2 (ja) * | 2005-04-14 | 2012-01-11 | イーストマン コダック カンパニー | ホワイトバランス調整装置及び色識別装置 |
JP2007257087A (ja) * | 2006-03-20 | 2007-10-04 | Univ Of Electro-Communications | 肌色領域検出装置及び肌色領域検出方法 |
US7970179B2 (en) * | 2006-09-25 | 2011-06-28 | Identix Incorporated | Iris data extraction |
JP2008160279A (ja) * | 2006-12-21 | 2008-07-10 | Sanyo Electric Co Ltd | 撮像装置および撮像方法 |
KR100794114B1 (ko) * | 2007-04-09 | 2008-01-10 | (주)케이티에프테크놀로지스 | 휴대용 단말기 및 이에 있어서 눈동자 코드를 이용하여사진 촬영하는 방법 |
US8768014B2 (en) * | 2009-01-14 | 2014-07-01 | Indiana University Research And Technology Corp. | System and method for identifying a person with reference to a sclera image |
JP5529660B2 (ja) * | 2010-07-20 | 2014-06-25 | パナソニック株式会社 | 瞳孔検出装置及び瞳孔検出方法 |
CN101930543B (zh) * | 2010-08-27 | 2012-06-27 | 南京大学 | 一种自拍视频中眼睛图像的调正方法 |
IL215883A0 (en) * | 2011-10-24 | 2012-03-01 | Iriss Medical Technologies Ltd | System and method for indentifying eye conditions |
JP2013207721A (ja) | 2012-03-29 | 2013-10-07 | Fujifilm Corp | 撮像装置、並びにそのホワイトバランス補正方法及びホワイトバランス補正プログラム |
KR102013275B1 (ko) * | 2013-02-27 | 2019-08-23 | 동국대학교 산학협력단 | 동공 검출 장치 및 동공 검출 방법 |
CN103491312B (zh) * | 2013-09-29 | 2016-06-15 | 武汉虹识技术有限公司 | 一种用于虹膜识别的自动曝光控制方法及装置 |
US9824271B2 (en) * | 2014-06-25 | 2017-11-21 | Kodak Alaris Inc. | Adaptable eye artifact identification and correction system |
JP6327071B2 (ja) * | 2014-09-03 | 2018-05-23 | オムロン株式会社 | 画像処理装置および画像処理方法 |
-
2016
- 2016-09-12 KR KR1020160117234A patent/KR101854991B1/ko active IP Right Grant
-
2017
- 2017-02-03 CN CN201780069702.7A patent/CN110036407B/zh active Active
- 2017-02-03 JP JP2019543160A patent/JP2019533269A/ja active Pending
- 2017-02-03 WO PCT/US2017/016384 patent/WO2018080575A1/en unknown
- 2017-02-03 EP EP17864450.6A patent/EP3510559A4/en active Pending
- 2017-02-03 US US16/346,821 patent/US10984281B2/en active Active
- 2017-02-03 AU AU2017350177A patent/AU2017350177A1/en not_active Abandoned
- 2017-02-03 CA CA3041991A patent/CA3041991C/en active Active
Also Published As
Publication number | Publication date |
---|---|
KR101854991B1 (ko) | 2018-05-08 |
EP3510559A1 (en) | 2019-07-17 |
KR20180030284A (ko) | 2018-03-22 |
US10984281B2 (en) | 2021-04-20 |
US20200065609A1 (en) | 2020-02-27 |
EP3510559A4 (en) | 2019-10-30 |
CA3041991A1 (en) | 2018-05-03 |
CN110036407A (zh) | 2019-07-19 |
WO2018080575A1 (en) | 2018-05-03 |
CA3041991C (en) | 2022-07-12 |
JP2019533269A (ja) | 2019-11-14 |
AU2017350177A1 (en) | 2019-05-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110036407B (zh) | 用于基于人类巩膜和瞳孔校正数字图像颜色的系统和方法 | |
US10943138B2 (en) | Systems and methods of biometric analysis to determine lack of three-dimensionality | |
RU2691195C1 (ru) | Качество изображения и признака, улучшение изображения и выделение признаков для распознавания по сосудам глаза и лицам, и объединение информации о сосудах глаза с информацией о лицах и/или частях лиц для биометрических систем | |
CN106056064B (zh) | 一种人脸识别方法及人脸识别装置 | |
KR20200004841A (ko) | 셀피를 촬영하도록 사용자를 안내하기 위한 시스템 및 방법 | |
JP6822482B2 (ja) | 視線推定装置、視線推定方法及びプログラム記録媒体 | |
EP2945372A1 (en) | Electronic mirror device | |
KR101301821B1 (ko) | 안색 정보 생성 장치 및 그 방법, 안색 정보를 이용한 건강 상태 판단 장치 및 그 방법, 건강 분류 함수 생성 장치 및 그 방법 | |
KR100922653B1 (ko) | 눈동자색 보정 장치 및 기록 매체 | |
WO2017203913A1 (ja) | 肌診断装置および肌診断方法 | |
CN107346419B (zh) | 虹膜识别方法、电子装置和计算机可读存储介质 | |
US11315360B2 (en) | Live facial recognition system and method | |
KR102207650B1 (ko) | 열상 카메라 시스템의 온도 교정 방법 | |
CN111259757B (zh) | 一种基于图像的活体识别方法、装置及设备 | |
US10909351B2 (en) | Method of improving image analysis | |
Santos et al. | Eye gaze as a human-computer interface | |
WO2021218696A1 (zh) | 肤色检测方法、装置、终端和存储介质 | |
KR102205605B1 (ko) | 열상 이미지의 온도 표시 방법 | |
CN107527011B (zh) | 一种非接触式皮肤电阻变化趋势检测方法、装置及设备 | |
CN113298753A (zh) | 敏感肌的检测方法、图像处理方法、装置及设备 | |
CN107403133A (zh) | 确定设备和确定方法 | |
Berueco et al. | Age Estimation Using Support Vector Machine–Sequential Minimal Optimization | |
CN114565506B (zh) | 图像颜色迁移方法、装置、设备及存储介质 | |
JP7103443B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
KR102581989B1 (ko) | 열상 카메라 시스템에서 온도 교정기를 자동으로 인식하는 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40005502 Country of ref document: HK |
|
GR01 | Patent grant | ||
GR01 | Patent grant |