CN111626143B - 一种基于眼睛定位的反向人脸检测方法、系统及设备 - Google Patents

一种基于眼睛定位的反向人脸检测方法、系统及设备 Download PDF

Info

Publication number
CN111626143B
CN111626143B CN202010373286.3A CN202010373286A CN111626143B CN 111626143 B CN111626143 B CN 111626143B CN 202010373286 A CN202010373286 A CN 202010373286A CN 111626143 B CN111626143 B CN 111626143B
Authority
CN
China
Prior art keywords
detection area
eye detection
current
cent
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010373286.3A
Other languages
English (en)
Other versions
CN111626143A (zh
Inventor
舒倩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Mengwang Video Co ltd
Original Assignee
Shenzhen Mengwang Video Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Mengwang Video Co ltd filed Critical Shenzhen Mengwang Video Co ltd
Priority to CN202010373286.3A priority Critical patent/CN111626143B/zh
Publication of CN111626143A publication Critical patent/CN111626143A/zh
Application granted granted Critical
Publication of CN111626143B publication Critical patent/CN111626143B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种基于眼睛定位的反向人脸检测方法、系统及设备。本发明方法通过眼睛的对比度特点定位眼睛检测区域，然后根据眼睛与肤色区域的邻接关系进行误判删除，提升人脸检测的准确度；另一方面，利用眼睛与人脸肤色区域的几何位置，确定人脸检测判定区域。本发明方法相对于全帧搜索人脸可大幅减少搜索的数据量和运算量，提升人脸检测的时效性。

Description

一种基于眼睛定位的反向人脸检测方法、系统及设备
技术领域
本发明涉及人脸检测领域，尤其涉及一种基于眼睛定位的反向人脸检测方法、系统及设备。
背景技术
普通设计模式，没有利用人脸检索的特点，从而影响该人脸检索的效率。
发明内容
本发明实施例的目的在于提供一种基于眼睛定位的反向人脸检测方法、系统及设备，旨在解决现有技术人脸检索效率低的问题。
本发明实施例的第一目的在于提供一种基于眼睛定位的反向人脸检测方法，所述方法包括：
创建当前图像眼睛检测区域；
对当前图像眼睛检测区域中的眼睛检测区域进行删减判定，删除所有无需进行眼睛判定的眼睛检测区域；
设置当前眼睛检测区域的左、右邻接标识符；
对当前眼睛检测区域，进行眼睛定位；
当眼睛定位成功时，根据当前眼睛检测区域的左、右邻接标识符，划定当前人脸检测区域；
对当前人脸检测区域，进行其余五官定位，完成人脸检测。
进一步地，所述对当前图像眼睛检测区域中的眼睛检测区域进行删减判定包括：
利用眼睛位置关系对当前图像眼睛检测区域中的眼睛检测区域进行删减判定；
利用眼睛肤色邻接关系对当前图像眼睛检测区域中的眼睛检测区域进行删减判定；
利用眼睛对比度关系对当前图像眼睛检测区域中的眼睛检测区域进行删减判定。
本发明实施例的第二目的在于提供一种基于眼睛定位的反向人脸检测系统，所述系统包括：
眼睛检测区域创建模块，用于创建当前图像眼睛检测区域；
眼睛检测区域删减判定装置，用于对当前图像眼睛检测区域中的眼睛检测区域进行删减判定，删除所有无需进行眼睛判定的眼睛检测区域；
邻接标识符设置模块，用于设置当前眼睛检测区域的左、右邻接标识符；
眼睛定位模块，用于对当前眼睛检测区域，进行眼睛定位；
人脸检测区域划分模块，用于当眼睛定位成功时，根据当前眼睛检测区域的左、右邻接标识符，划定当前人脸检测区域；
五官定位模块，用于对当前人脸检测区域，进行其余五官定位，完成人脸检测。
进一步地，所述眼睛检测区域删减判定装置包括：
位置删减判定装置，用于利用眼睛位置关系对当前图像眼睛检测区域中的眼睛检测区域进行删减判定；
肤色删减判定装置，用于利用眼睛肤色邻接关系对当前图像眼睛检测区域中的眼睛检测区域进行删减判定；
对比度删减判定装置，用于利用眼睛对比度关系对当前图像眼睛检测区域中的眼睛检测区域进行删减判定。
本发明实施例的第三目的在于提供一种设备，包括存储器、处理器以及存储在所述存储器中并可被在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述基于眼睛定位的反向人脸检测方法的步骤。
本发明的有益效果
本发明提出一种基于眼睛定位的反向人脸检测方法、系统及设备。本发明方法通过眼睛的对比度特点定位眼睛检测区域，然后根据眼睛与肤色区域的邻接关系进行误判删除，提升人脸检测的准确度；另一方面，利用眼睛与人脸肤色区域的几何位置，确定人脸检测判定区域。本发明方法相对于全帧搜索人脸可大幅减少搜索的数据量和运算量，提升人脸检测的时效性。
附图说明
图1是本发明实施例提供的一种基于眼睛定位的反向人脸检测方法流程图；
图2是本发明实施例提供的一种对当前图像眼睛检测区域中的眼睛检测区域进行删减判定方法流程图；
图3是本发明实施例提供的一种利用眼睛位置关系对当前图像眼睛检测区域中的眼睛检测区域进行删减判定的方法；
图4是本发明实施例提供的一种利用眼睛肤色邻接关系对当前图像眼睛检测区域中的眼睛检测区域进行删减判定的方法；
图5是本发明实施例提供的一种利用眼睛对比度关系对当前图像眼睛检测区域中的眼睛检测区域进行删减判定的方法；
图6是本发明实施例提供的一种基于眼睛定位的反向人脸检测系统结构图；
图7是本发明实施例提供的眼睛检测区域删减判定装置结构图；
图8是本发明实施例提供的位置删减判定装置结构图；
图9是本发明实施例提供的肤色删减判定装置结构图；
图10是本发明实施例提供的对比度删减判定装置结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和实施例，对本发明进行进一步详细说明，为了便于说明，仅示出了与本发明实施例相关的部分。应当理解，此处所描写的具体实施例，仅仅用于解释本发明，并不用以限制本发明，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据本发明实施例获得其他的等同实施例。
本发明提出一种基于眼睛定位的反向人脸检测方法、系统及设备。本发明方法通过眼睛的对比度特点定位眼睛检测区域，然后根据眼睛与肤色区域的邻接关系进行误判删除，提升人脸检测的准确度；另一方面，利用眼睛与人脸肤色区域的几何位置，确定人脸检测判定区域。本发明方法相对于全帧搜索人脸可大幅减少搜索的数据量和运算量，提升人脸检测的时效性。
图1是本发明实施例提供的一种基于眼睛定位的反向人脸检测方法流程图；所述方法包括：
Step1：创建当前图像眼睛检测区域；
本发明实施例中，首先找到当前图像所有满足预设亮度条件的像素点；接着，按连通性将所述像素点划分为若干连通像素点子集；然后，将每一个连通像素点子集作为一个眼睛检测区域，并将其逐一划入当前图像眼睛检测区域，作为当前图像眼睛检测区域的一个元素；可以理解，具体在实际应用中，还可以采用本技术领域常规的其他的方法创建当前图像眼睛检测区域；
所述预设亮度条件可以为：y(i,j)＜Thres1；
其中，y(i,j)表示当前图像第i行第j列像素pix(i,j)的亮度值；Thres1表示第一阈值，一般可选Thres1≤50；
Step2：对当前图像眼睛检测区域中的眼睛检测区域进行删减判定，删除所有无需进行眼睛判定的眼睛检测区域；
图2是本发明实施例提供的一种对当前图像眼睛检测区域中的眼睛检测区域进行删减判定方法流程图；包括：
S21，利用眼睛位置关系对当前图像眼睛检测区域中的眼睛检测区域进行删减判定；
图3是本发明实施例提供的一种利用眼睛位置关系对当前图像眼睛检测区域中的眼睛检测区域进行删减判定的方法，包括
S211:计算当前眼睛检测区域中心cent＝(centi,centj)。
本发明实施例中，计算当前眼睛检测区域中心公式为：
cent＝(centi,centj)；
其中，cent表示当前眼睛检测区域中心；centi,centj分别表示当前眼睛检测区域中心在当前图像的行序号、列序号；
centi＝mean(i|y(i,j)∈当前眼睛检测区域)、centj＝mean(j|y(i,j)∈当前眼睛检测区域)；mean(变量|条件)表示对满足条件的变量求均值；
可选地，mean(变量|条件)中的条件还可用像素点标识，即centi＝mean(i|pix(i,j)∈当前眼睛检测区域)，centj＝mean(j|pix(i,j)∈当前眼睛检测区域)；
可选地，本发明另一实施中，计算当前眼睛检测区域中心仅用区域的边界像素，即centi＝mean(i|y(i,j)∈当前眼睛检测区域边界)，centj＝mean(j|y(i,j)∈当前眼睛检测区域边界)；
S212，根据当前眼睛检测区域中心与眼睛上、下、左、右边界门限阈值的位置关系，预设第一位置条件；
所述预设的第一位置条件为：
centi＜Thresu或height-centi＜Thresd或centj＜Threslr或width-centj＜Threslr；
其中，height、width分别表示当前图像以像素为单位的行宽、列宽；Thresu、Thresd、Threslr分别表示上、下、左右边界门限阈值，一般Thresu＞4*sizei、Thresd＞8*sizei、Threslr＞2*sizej，sizei、sizej分别表示当前眼睛检测区域以像素为单位的行宽、列宽。
S213，若满足预设的第一位置条件，则将当前眼睛检测区域从当前图像眼睛检测区域中删除；
若满足所述预设的第一位置条件，则认为当前眼睛检测区域为非眼睛区域；将当前眼睛检测区域从当前图像眼睛检测区域中删除；
S22，利用眼睛肤色邻接关系对当前图像眼睛检测区域中的眼睛检测区域进行删减判定；
图4是本发明实施例提供的一种利用眼睛肤色邻接关系对当前图像眼睛检测区域中的眼睛检测区域进行删减判定的方法，包括：
S221:划定与当前眼睛检测区域相同大小、形状的下邻接区域记为ωdown；
S222：对所述下邻接区域ωdown进行肤色判定，若为非肤色块，则将当前眼睛检测区域从当前图像眼睛检测区域中删除。
所述肤色判定方法采用常规的基于块的肤色判定方法，在此不再赘述。
S23，利用眼睛对比度关系对当前图像眼睛检测区域中的眼睛检测区域进行删减判定；
图5是本发明实施例提供的一种利用眼睛对比度关系对当前图像眼睛检测区域中的眼睛检测区域进行删减判定的方法，包括：
S231：将满足第二位置条件的非当前眼睛检测区域像素划入第一集合ωout；
所述第二位置条件为：
i∈[centi-sizei*ki,centi+sizei*ki]且j∈[centj-sizej*kj,centi+sizej*kj]；
其中，ki、kj分别表示行、列调整比例参数，一般可选0＜ki＜0.5＜kj＜1.5。
S232：首先利用聚类方法将第一集合ωout中像素按亮度值聚成两类，分别记为第一亮度类ωout1、第二亮度类ωout2；然后分别计算第一亮度类ωout1、第二亮度类ωout2的亮度均值；记大的亮度均值为第一亮度均值youtm；
所述聚类方法为本技术领域常规的聚类方法，在此不再赘述；
S233：若第一亮度均值youtm满足第二阈值条件，则将当前眼睛检测区域从当前图像眼睛检测区域中删除。
第二阈值条件为：youtm＜Thres2；
其中，Thres2表示第二阈值，一般可选2*Thres1＜Thres2＜2N-Thres1；N表示像素比特精度。
Step3：设置当前眼睛检测区域的左、右邻接标识符。
本发明实施例中，若第一亮度类ωout1均分布在当前眼睛检测区域的一侧，则对第二亮度类ωout2进行肤色判定，若判定为非肤色块，则当第一亮度类ωout1均分布在当前眼睛检测区域的左侧时设置当前眼睛检测区域的左、右邻接标识符分别为第一数值、第二数值，当第一亮度类ωout1均分布在当前眼睛检测区域的右侧时设置当前眼睛检测区域的左、右邻接标识符分别为第二数值、第一数值；否则，设置当前眼睛检测区域的左、右邻接标识符均为第一数值。
具体在实施例中，可以设置第一数值为1，设置第二数值为0；
Step4：对当前眼睛检测区域，进行眼睛定位；
所述进行眼睛定位的方法采用本领域常规的方法，在此不再赘述。
可选地，本发明实施例中，Step4之前还包括：若当前图像眼睛检测区域为空，则结束；若当前图像眼睛检测区域为非空，令当前眼睛检测区域为当前图像眼睛检测区域的一个元素。
本发明实施例中，若眼睛定位成功，则进入Step5；
可选地，本发明实施例中，若眼睛定位不成功，则进一步包括：判断是否当前图像眼睛检测区域均已进行眼睛定位，若均已进行眼睛定位，则结束；若非均已进行眼睛定位，则令当前眼睛检测区域为当前图像眼睛检测区域未进行过眼睛定位的一个元素，然后对当前眼睛检测区域重新进行眼睛定位。
Step5：当眼睛定位成功时，根据当前眼睛检测区域的左、右邻接标识符，划定当前人脸检测区域；
如果当前眼睛检测区域的左、右邻接标识符分别为第一数值、第二数值，则划定当前人脸检测区域为第一人脸区域；第一人脸区域为：
{pix(i,j)|centi-8*sizei＜i＜centi+13*sizei且centj-10*sizej＜j＜centj+4*sizej}；
如果当前眼睛检测区域的左、右邻接标识符分别为第二数值、第一数值，则划定当前人脸检测区域为第二人脸区域；第二人脸区域为：
{pix(i,j)|centi-8*sizei＜i＜centi+13*sizei且centj-4*sizej＜j＜centj+10*sizej}；
如果当前眼睛检测区域的左、右邻接标识符均为第一数值，则首先找到距离当前眼睛检测区域最近的右侧眼睛检测区域，将其标识为已定位；接着求取距离当前眼睛检测区域最近的右侧眼睛检测区域中心centr＝(centir,centjr)，及当前眼睛检测区域中心cent与距离当前眼睛检测区域最近的右侧眼睛检测区域中心centr的欧氏距离d，然后划定当前人脸检测区域为第三人脸区域；第三人脸区域为：{pix(i,j)|centi-8*sizei＜i＜centi+13*sizei且centj-d＜j＜centjr+d}。
其中，centr＝(centir,centjr)表示距离当前眼睛检测区域最近的右侧眼睛检测区域中心；centir,centjr分别表示距离当前眼睛检测区域最近的右侧眼睛检测区域中心在当前图像的行序号、列序号；
本发明实施例中，计算距离当前眼睛检测区域最近的右侧眼睛检测区域中心centr中心公式为：
centr＝(centir,centjr)；
其中，centir＝mean(i|y(i,j)∈距离当前眼睛检测区域最近的右侧眼睛检测区域)、centjr＝mean(j|y(i,j)∈距离当前眼睛检测区域最近的右侧眼睛检测区域)；mean(变量|条件)表示对满足条件的变量求均值；
可选地，mean(变量|条件)中的条件还可用像素点标识，即
centir＝mean(i|pix(i,j)∈距离当前眼睛检测区域最近的右侧眼睛检测区域)，
centjr＝mean(j|pix(i,j)∈距离当前眼睛检测区域最近的右侧眼睛检测区域)；
可选地，本发明另一实施中，计算距离当前眼睛检测区域最近的右侧眼睛检测区域中心仅用区域的边界像素，即
centir＝mean(i|y(i,j)∈距离当前眼睛检测区域最近的右侧眼睛检测区域)，
centjr＝mean(j|y(i,j)∈距离当前眼睛检测区域最近的右侧眼睛检测区域)；
Step6：对当前人脸检测区域，进行其余五官定位，完成人脸检测。
所述其余五官定位的方法采用本领域常规的方法，在此不再赘述。
本发明实施例中，当前图像眼睛检测区域均已进行眼睛定位，则结束；
可选地，本发明实施例中，若当前图像眼睛检测区域非均已进行眼睛定位，则进一步包括：令当前眼睛检测区域为当前图像眼睛检测区域未进行过眼睛定位的一个元素，然后返回Step4对当前眼睛检测区域重新进行眼睛定位。
对应于上文实施例所述的一种基于眼睛定位的反向人脸检测方法，图6是本发明实施例提供的一种基于眼睛定位的反向人脸检测系统结构图；所述系统包括：
眼睛检测区域创建模块，用于创建当前图像眼睛检测区域；
眼睛检测区域删减判定装置，用于对当前图像眼睛检测区域中的眼睛检测区域进行删减判定，删除所有无需进行眼睛判定的眼睛检测区域；
邻接标识符设置模块，用于设置当前眼睛检测区域的左、右邻接标识符。
眼睛定位模块，用于对当前眼睛检测区域，进行眼睛定位；
人脸检测区域划分模块，用于当眼睛定位成功时，根据当前眼睛检测区域的左、右邻接标识符，划定当前人脸检测区域；
五官定位模块，用于对当前人脸检测区域，进行其余五官定位，完成人脸检测。
进一步地，所述创建当前图像眼睛检测区域具体为：
首先找到当前图像所有满足预设亮度条件的像素点；接着，按连通性将所述像素点划分为若干连通像素点子集；然后，将每一个连通像素点子集作为一个眼睛检测区域，并将其逐一划入当前图像眼睛检测区域，作为当前图像眼睛检测区域的一个元素；可以理解，具体在实际应用中，还可以采用本技术领域常规的其他的方法创建当前图像眼睛检测区域；
所述预设亮度条件可以为：y(i,j)＜Thres1；
其中，y(i,j)表示当前图像第i行第j列像素pix(i,j)的亮度值；Thres1表示第一阈值，一般可选Thres1≤50；
进一步地，图7是本发明实施例提供的眼睛检测区域删减判定装置结构图；所述眼睛检测区域删减判定装置包括：
位置删减判定装置，用于利用眼睛位置关系对当前图像眼睛检测区域中的眼睛检测区域进行删减判定；
肤色删减判定装置，用于利用眼睛肤色邻接关系对当前图像眼睛检测区域中的眼睛检测区域进行删减判定；
对比度删减判定装置，用于利用眼睛对比度关系对当前图像眼睛检测区域中的眼睛检测区域进行删减判定；
进一步地，图8是本发明实施例提供的位置删减判定装置结构图；所述位置删减判定装置包括：
眼睛检测区域中心计算模块，用于计算当前眼睛检测区域中心cent＝(centi,centj)。centi,centj分别表示当前眼睛检测区域中心在当前图像的行序号、列序号；
本发明实施例中，计算当前眼睛检测区域中心公式为：
cent＝(centi,centj)；
其中，cent表示当前眼睛检测区域中心；centi＝mean(i|y(i,j)∈当前眼睛检测区域)、centj＝mean(j|y(i,j)∈当前眼睛检测区域)；mean(变量|条件)表示对满足条件的变量求均值；
可选地，mean(变量|条件)中的条件还可用像素点标识，即centi＝mean(i|pix(i,j)∈当前眼睛检测区域)，centj＝mean(j|pix(i,j)∈当前眼睛检测区域)；
可选地，本发明另一实施中，计算当前眼睛检测区域中心仅用区域的边界像素，即centi＝mean(i|y(i,j)∈当前眼睛检测区域边界)，
centj＝mean(j|y(i,j)∈当前眼睛检测区域边界)；
位置条件预设模块，用于根据当前眼睛检测区域中心与眼睛上、下、左、右边界门限阈值的位置关系，预设第一位置条件；
所述预设的第一位置条件为：
centi＜Thresu或height-centi＜Thresd或centj＜Threslr或width-centj＜Threslr；
其中，height、width分别表示当前图像以像素为单位的行宽、列宽；Thresu、Thresd、Threslr分别表示上、下、左右边界门限阈值，一般Thresu＞4*sizei、Thresd＞8*sizei、Threslr＞2*sizej，sizei、sizej分别表示当前眼睛检测区域以像素为单位的行宽、列宽。
位置条件判定及删除模块，用于判断若满足预设的第一位置条件，则将当前眼睛检测区域从当前图像眼睛检测区域中删除；
进一步地，图9是本发明实施例提供的肤色删减判定装置结构图；所述肤色删减判定装置包括：
下邻接区域选取模块，用于划定与当前眼睛检测区域相同大小、形状的下邻接区域记为ωdown；
下邻接区域肤色判定及删除模块，用于对所述下邻接区域ωdown进行肤色判定，若为非肤色块，则将当前眼睛检测区域从当前图像眼睛检测区域中删除。
进一步地，图10是本发明实施例提供的对比度删减判定装置结构图。所述对比度删减判定装置包括：
第一集合划分模块，用于将满足第二位置条件的非当前眼睛检测区域像素划入第一集合ωout；
所述第二位置条件为：
i∈[centi-sizei*ki,centi+sizei*ki]且j∈[centj-sizej*kj,centi+sizej*kj]；
其中，ki、kj分别表示行、列调整比例参数，一般可选0＜ki＜0.5＜kj＜1.5。
聚类及亮度均值计算模块，用于首先利用聚类方法将第一集合ωout中像素按亮度值聚成两类，分别记为第一亮度类ωout1、第二亮度类ωout2；然后分别计算第一亮度类ωout1、第二亮度类ωout2的亮度均值；记大的亮度均值为第一亮度均值youtm；所述聚类方法为本技术领域常规的聚类方法，在此不再赘述；
阈值条件判定及删除模块，用于判断若第一亮度均值youtm满足第二阈值条件，则将当前眼睛检测区域从当前图像眼睛检测区域中删除。
第二阈值条件为：youtm＜Thres2；
其中，Thres2表示第二阈值，一般可选2*Thres1＜Thres2＜2N-Thres1；N表示像素比特精度。
进一步地，所述邻接标识符设置模块中，设置当前眼睛检测区域的左、右邻接标识符具体为：
若第一亮度类ωout1均分布在当前眼睛检测区域的一侧，则对第二亮度类ωout2进行肤色判定，若判定为非肤色块，则当第一亮度类ωout1均分布在当前眼睛检测区域的左侧时设置当前眼睛检测区域的左、右邻接标识符分别为第一数值、第二数值，当第一亮度类ωout1均分布在当前眼睛检测区域的右侧时设置当前眼睛检测区域的左、右邻接标识符分别为第二数值、第一数值；否则，设置当前眼睛检测区域的左、右邻接标识符均为第一数值。
具体在实施例中，可以设置第一数值为1，设置第二数值为0；
可选地，所述基于眼睛定位的反向人脸检测系统还包括：第一判断处理模块，与眼睛定位模块相连，用于判断若当前图像眼睛检测区域为空，则结束；若当前图像眼睛检测区域为非空，令当前眼睛检测区域为当前图像眼睛检测区域的一个元素。
可选地，若眼睛定位不成功，则所述基于眼睛定位的反向人脸检测系统还包括第二判断处理模块，与眼睛定位模块相连，用于判断是否当前图像眼睛检测区域均已进行眼睛定位，若均已进行眼睛定位，则结束；若非均已进行眼睛定位，则令当前眼睛检测区域为当前图像眼睛检测区域未进行过眼睛定位的一个元素，然后返回眼睛定位模块；
进一步地，所述人脸检测区域划分模块中，根据当前眼睛检测区域的左、右邻接标识符，划定当前人脸检测区域具体为：
如果当前眼睛检测区域的左、右邻接标识符分别为第一数值、第二数值，则划定当前人脸检测区域为第一人脸区域；第一人脸区域为：
{pix(i,j)|centi-8*sizei＜i＜centi+13*sizei且centj-10*sizej＜j＜centj+4*sizej}；
如果当前眼睛检测区域的左、右邻接标识符分别为第二数值、第一数值，则划定当前人脸检测区域为第二人脸区域；第二人脸区域为：
{pix(i,j)|centi-8*sizei＜i＜centi+13*sizei且centj-4*sizej＜j＜centj+10*sizej}；
如果当前眼睛检测区域的左、右邻接标识符均为第一数值，则首先找到距离当前眼睛检测区域最近的右侧眼睛检测区域，将其标识为已定位；接着求取距离当前眼睛检测区域最近的右侧眼睛检测区域中心centr＝(centir,centjr)，及当前眼睛检测区域中心cent与距离当前眼睛检测区域最近的右侧眼睛检测区域中心centr的欧氏距离d，然后划定当前人脸检测区域为第三人脸区域；第三人脸区域为：{pix(i,j)|centi-8*sizei＜i＜centi+13*sizei且centj-d＜j＜centjr+d}。
其中，centr＝(centir,centjr)表示距离当前眼睛检测区域最近的右侧眼睛检测区域中心；centir,centjr分别表示距离当前眼睛检测区域最近的右侧眼睛检测区域中心在当前图像的行序号、列序号；
本发明实施例中，计算距离当前眼睛检测区域最近的右侧眼睛检测区域中心centr中心公式为：
centr＝(centir,centjr)；
其中，centir＝mean(i|y(i,j)∈距离当前眼睛检测区域最近的右侧眼睛检测区域)、centjr＝mean(j|y(i,j)∈距离当前眼睛检测区域最近的右侧眼睛检测区域)；mean(变量|条件)表示对满足条件的变量求均值；
可选地，mean(变量|条件)中的条件还可用像素点标识，即
centir＝mean(i|pix(i,j)∈距离当前眼睛检测区域最近的右侧眼睛检测区域)，
centjr＝mean(j|pix(i,j)∈距离当前眼睛检测区域最近的右侧眼睛检测区域)；
可选地，本发明另一实施中，计算距离当前眼睛检测区域最近的右侧眼睛检测区域中心仅用区域的边界像素，即
centir＝mean(i|y(i,j)∈距离当前眼睛检测区域最近的右侧眼睛检测区域)，
centjr＝mean(j|y(i,j)∈距离当前眼睛检测区域最近的右侧眼睛检测区域)；
可选地，所述基于眼睛定位的反向人脸检测系统还包括第三判断处理模块，与五官定位模块相连，用于判断若当前图像眼睛检测区域均已进行眼睛定位，则结束；
可选地，所述基于眼睛定位的反向人脸检测系统还包括第四判断处理模块，与五官定位模块相连，用于判断若当前图像眼睛检测区域非均已进行眼睛定位，则令当前眼睛检测区域为当前图像眼睛检测区域未进行过眼睛定位的一个元素，然后返回眼睛定位模块。
本发明实施例还提供的一种终端设备，该实施例的终端设备包括：处理器、存储器以及存储在所述存储器中并可被在所述处理器上运行的计算机程序。所述处理器执行所述计算机程序时实现上述基于眼睛定位的反向人脸检测方法实施例中的步骤。或者，所述处理器执行所述计算机程序时实现上述各系统实施例中各单元的功能。
本领域的普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序指令相关硬件来完成的，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质可以为ROM、RAM、磁盘、光盘等。
上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于眼睛定位的反向人脸检测方法，其特征在于，所述方法包括：
创建当前图像眼睛检测区域；
对当前图像眼睛检测区域中的眼睛检测区域进行删减判定，删除所有无需进行眼睛判定的眼睛检测区域；
设置当前眼睛检测区域的左、右邻接标识符；
对当前眼睛检测区域，进行眼睛定位；
当眼睛定位成功时，根据当前眼睛检测区域的左、右邻接标识符，划定当前人脸检测区域；
对当前人脸检测区域，进行其余五官定位，完成人脸检测；
所述对当前图像眼睛检测区域中的眼睛检测区域进行删减判定包括：
利用眼睛位置关系对当前图像眼睛检测区域中的眼睛检测区域进行删减判定，将非眼睛区域的当前眼睛检测区域从当前图像眼睛检测区域中删除；
利用眼睛肤色邻接关系对当前图像眼睛检测区域中的眼睛检测区域进行删减判定，将非肤色块的当前眼睛检测区域从当前图像眼睛检测区域中删除；
利用眼睛对比度关系对当前图像眼睛检测区域中的眼睛检测区域进行删减判定，将当前眼睛检测区域从当前图像眼睛检测区域中删除；
所述利用眼睛位置关系对当前图像眼睛检测区域中的眼睛检测区域进行删减判定包括：
计算当前眼睛检测区域中心cent＝(centi,centj)；
其中，cent表示当前眼睛检测区域中心；centi,centj分别表示当前眼睛检测区域中心在当前图像的行序号、列序号；
根据当前眼睛检测区域中心与眼睛上、下、左、右边界门限阈值的位置关系，预设第一位置条件；
所述预设的第一位置条件为：
centi＜Thresu或height-centi＜Thresd或centj＜Threslr或width-centj＜Threslr；
其中，height、width分别表示当前图像以像素为单位的行宽、列宽；Thresu、Thresd、Threslr分别表示上、下、左右边界门限阈值，Thresu＞4*sizei、Thresd＞8*sizei、Threslr＞2*sizej，sizei、sizej分别表示当前眼睛检测区域以像素为单位的行宽、列宽；
若满足预设的第一位置条件，则将当前眼睛检测区域从当前图像眼睛检测区域中删除；
所述利用眼睛肤色邻接关系对当前图像眼睛检测区域中的眼睛检测区域进行删减判定包括：
划定与当前眼睛检测区域相同大小、形状的下邻接区域；
对所述下邻接区域进行肤色判定，若为非肤色块，则将当前眼睛检测区域从当前图像眼睛检测区域中删除；
所述利用眼睛对比度关系对当前图像眼睛检测区域中的眼睛检测区域进行删减判定包括：
将满足第二位置条件的非当前眼睛检测区域像素划入第一集合；
所述第二位置条件为：
i∈[centi-sizei*ki,centi+sizei*ki]且j∈[centj-sizej*kj,centi+sizej*kj]，其中，ki、kj分别表示行、列调整比例参数，0＜ki＜0.5＜kj＜1.5；
首先利用聚类方法将第一集合中像素按亮度值聚成两类，分别记为第一亮度类、第二亮度类；然后分别计算第一亮度类第二亮度类的亮度均值；记大的亮度均值为第一亮度均值；
若第一亮度均值满足第二阈值条件，则将当前眼睛检测区域从当前图像眼睛检测区域中删除；
第二阈值条件为：第一亮度均值＜Thres2；
其中，Thres2表示第二阈值，2*Thres1＜Thres2＜2N-Thres1；N表示像素比特精度；
所述设置当前眼睛检测区域的左、右邻接标识符具体为：
若第一亮度类均分布在当前眼睛检测区域的一侧，则对第二亮度类进行肤色判定，若判定为非肤色块，则当第一亮度类均分布在当前眼睛检测区域的左侧时设置当前眼睛检测区域的左、右邻接标识符分别为第一数值、第二数值，当第一亮度类均分布在当前眼睛检测区域的右侧时设置当前眼睛检测区域的左、右邻接标识符分别为第二数值、第一数值；否则，设置当前眼睛检测区域的左、右邻接标识符均为第一数值；
所述根据当前眼睛检测区域的左、右邻接标识符，划定当前人脸检测区域具体为：
如果当前眼睛检测区域的左、右邻接标识符分别为第一数值、第二数值，则划定当前人脸检测区域为第一人脸区域；第一人脸区域为：
{pix(i,j)|centi-8*sizei＜i＜centi+13*sizei且centj-10*sizej＜j＜centj+4*sizej}；
如果当前眼睛检测区域的左、右邻接标识符分别为第二数值、第一数值，则划定当前人脸检测区域为第二人脸区域；第二人脸区域为：
{pix(i,j)|centi-8*sizei＜i＜centi+13*sizei且centj-4*sizej＜j＜centj+10*sizej}；
如果当前眼睛检测区域的左、右邻接标识符均为第一数值，则首先找到距离当前眼睛检测区域最近的右侧眼睛检测区域，将其标识为已定位；接着求取距离当前眼睛检测区域最近的右侧眼睛检测区域中心centr＝(centir,centjr)，及当前眼睛检测区域中心cent与距离当前眼睛检测区域最近的右侧眼睛检测区域中心centr的欧氏距离d，然后划定当前人脸检测区域为第三人脸区域；第三人脸区域为：{pix(i,j)|centi-8*sizei＜i＜centi+13*sizei且centj-d＜j＜centjr+d}；
其中，centr＝(centir,centjr)表示距离当前眼睛检测区域最近的右侧眼睛检测区域中心。
2.一种基于眼睛定位的反向人脸检测系统，其特征在于，所述系统包括：
眼睛检测区域创建模块，用于创建当前图像眼睛检测区域；
眼睛检测区域删减判定装置，用于对当前图像眼睛检测区域中的眼睛检测区域进行删减判定，删除所有无需进行眼睛判定的眼睛检测区域；
邻接标识符设置模块，用于设置当前眼睛检测区域的左、右邻接标识符；
眼睛定位模块，用于对当前眼睛检测区域，进行眼睛定位；
人脸检测区域划分模块，用于当眼睛定位成功时，根据当前眼睛检测区域的左、右邻接标识符，划定当前人脸检测区域；
五官定位模块，用于对当前人脸检测区域，进行其余五官定位，完成人脸检测；
所述眼睛检测区域删减判定装置包括：
位置删减判定装置，用于利用眼睛位置关系对当前图像眼睛检测区域中的眼睛检测区域进行删减判定，将非眼睛区域的当前眼睛检测区域从当前图像眼睛检测区域中删除；
肤色删减判定装置，用于利用眼睛肤色邻接关系对当前图像眼睛检测区域中的眼睛检测区域进行删减判定，将非肤色块的当前眼睛检测区域从当前图像眼睛检测区域中删除；
对比度删减判定装置，用于利用眼睛对比度关系对当前图像眼睛检测区域中的眼睛检测区域进行删减判定，将当前眼睛检测区域从当前图像眼睛检测区域中删除；
所述位置删减判定装置包括：
眼睛检测区域中心计算模块，用于计算当前眼睛检测区域中心cent＝(centi,centj)；centi,centj分别表示当前眼睛检测区域中心在当前图像的行序号、列序号；
位置条件预设模块，用于根据当前眼睛检测区域中心与眼睛上、下、左、右边界门限阈值的位置关系，预设第一位置条件；
所述预设的第一位置条件为：
centi＜Thresu或height-centi＜Thresd或centj＜Threslr或width-centj＜Threslr；
其中，height、width分别表示当前图像以像素为单位的行宽、列宽；Thresu、Thresd、Threslr分别表示上、下、左右边界门限阈值，Thresu＞4*sizei、Thresd＞8*sizei、Threslr＞2*sizej，sizei、sizej分别表示当前眼睛检测区域以像素为单位的行宽、列宽；
位置条件判定及删除模块，用于判断若满足预设的第一位置条件，则将当前眼睛检测区域从当前图像眼睛检测区域中删除；
所述肤色删减判定装置包括：
下邻接区域选取模块，用于划定与当前眼睛检测区域相同大小、形状的下邻接区域；
下邻接区域肤色判定及删除模块，用于对所述下邻接区域进行肤色判定，若为非肤色块，则将当前眼睛检测区域从当前图像眼睛检测区域中删除；
所述对比度删减判定装置包括：
第一集合划分模块，用于将满足第二位置条件的非当前眼睛检测区域像素划入第一集合；
所述第二位置条件为：
i∈[centi-sizei*ki,centi+sizei*ki]且j∈[centj-sizej*kj,centi+sizej*kj]，其中，ki、kj分别表示行、列调整比例参数，0＜ki＜0.5＜kj＜1.5；
聚类及亮度均值计算模块，用于首先利用聚类方法将第一集合中像素按亮度值聚成两类，分别记为第一亮度类、第二亮度类；然后分别计算第一亮度类、第二亮度类的亮度均值；
记大的亮度均值为第一亮度均值；
阈值条件判定及删除模块，用于判断若第一亮度均值满足第二阈值条件，则将当前眼睛检测区域从当前图像眼睛检测区域中删除；
第二阈值条件为：第一亮度均值＜Thres2；
其中，Thres2表示第二阈值，2*Thres1＜Thres2＜2N-Thres1；N表示像素比特精度；
所述邻接标识符设置模块中，设置当前眼睛检测区域的左、右邻接标识符具体为：
若第一亮度类均分布在当前眼睛检测区域的一侧，则对第二亮度类进行肤色判定，若判定为非肤色块，则当第一亮度类均分布在当前眼睛检测区域的左侧时设置当前眼睛检测区域的左、右邻接标识符分别为第一数值、第二数值，当第一亮度类均分布在当前眼睛检测区域的右侧时设置当前眼睛检测区域的左、右邻接标识符分别为第二数值、第一数值；否则，设置当前眼睛检测区域的左、右邻接标识符均为第一数值；
所述人脸检测区域划分模块中，根据当前眼睛检测区域的左、右邻接标识符，划定当前人脸检测区域具体为：
如果当前眼睛检测区域的左、右邻接标识符分别为第一数值、第二数值，则划定当前人脸检测区域为第一人脸区域；第一人脸区域为：
{pix(i,j)|centi-8*sizei＜i＜centi+13*sizei且centj-10*sizej＜j＜centj+4*sizej}；
如果当前眼睛检测区域的左、右邻接标识符分别为第二数值、第一数值，则划定当前人脸检测区域为第二人脸区域；第二人脸区域为：
{pix(i,j)|centi-8*sizei＜i＜centi+13*sizei且centj-4*sizej＜j＜centj+10*sizej}；
如果当前眼睛检测区域的左、右邻接标识符均为第一数值，则首先找到距离当前眼睛检测区域最近的右侧眼睛检测区域，将其标识为已定位；接着求取距离当前眼睛检测区域最近的右侧眼睛检测区域中心centr＝(centir,centjr)，及当前眼睛检测区域中心cent与距离当前眼睛检测区域最近的右侧眼睛检测区域中心centr的欧氏距离d，然后划定当前人脸检测区域为第三人脸区域；第三人脸区域为：{pix(i,j)|centi-8*sizei＜i＜centi+13*sizei且centj-d＜j＜centjr+d}；
其中，centr＝(centir,centjr)表示距离当前眼睛检测区域最近的右侧眼睛检测区域中心；centir,centjr分别表示距离当前眼睛检测区域最近的右侧眼睛检测区域中心在当前图像的行序号、列序号。
3.一种设备，包括存储器、处理器以及存储在所述存储器中并可被在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1所述基于眼睛定位的反向人脸检测方法的步骤。
CN202010373286.3A 2020-05-06 2020-05-06 一种基于眼睛定位的反向人脸检测方法、系统及设备 Active CN111626143B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010373286.3A CN111626143B (zh) 2020-05-06 2020-05-06 一种基于眼睛定位的反向人脸检测方法、系统及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010373286.3A CN111626143B (zh) 2020-05-06 2020-05-06 一种基于眼睛定位的反向人脸检测方法、系统及设备

Publications (2)

Publication Number Publication Date
CN111626143A CN111626143A (zh) 2020-09-04
CN111626143B true CN111626143B (zh) 2023-12-08

Family

ID=72259729

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010373286.3A Active CN111626143B (zh) 2020-05-06 2020-05-06 一种基于眼睛定位的反向人脸检测方法、系统及设备

Country Status (1)

Country Link
CN (1) CN111626143B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113780251B (zh) * 2021-11-11 2022-01-25 聊城中超智能设备有限公司 一种眼科检测设备的定位方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004005384A (ja) * 2002-04-19 2004-01-08 Sony Corp 画像処理方法、画像処理装置、プログラム及び記録媒体、自動トリミング装置、並びに肖像写真撮影装置
US8693740B1 (en) * 2012-11-07 2014-04-08 Ittiam Systems (P) Ltd. System and method for face detection in digital images
CN107516067A (zh) * 2017-07-21 2017-12-26 深圳市梦网百科信息技术有限公司 一种基于肤色检测的人眼定位方法和系统
CN107563278A (zh) * 2017-07-21 2018-01-09 深圳市梦网百科信息技术有限公司 一种基于肤色检测的快速眼唇定位方法和系统
CN109190529A (zh) * 2018-08-21 2019-01-11 深圳市梦网百科信息技术有限公司 一种基于唇部定位的人脸检测方法和系统
CN109271922A (zh) * 2018-09-13 2019-01-25 深圳市梦网百科信息技术有限公司 一种基于对比度的鼻部定位方法和系统
CN110807402A (zh) * 2019-10-29 2020-02-18 深圳市梦网百科信息技术有限公司 一种基于肤色检测的五官定位方法、系统和终端设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001216515A (ja) * 2000-02-01 2001-08-10 Matsushita Electric Ind Co Ltd 人物の顔の検出方法およびその装置
US6895103B2 (en) * 2001-06-19 2005-05-17 Eastman Kodak Company Method for automatically locating eyes in an image
KR100809431B1 (ko) * 2006-11-21 2008-03-05 한국전자통신연구원 가림 현상에 강인한 눈 검출 방법 및 장치

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004005384A (ja) * 2002-04-19 2004-01-08 Sony Corp 画像処理方法、画像処理装置、プログラム及び記録媒体、自動トリミング装置、並びに肖像写真撮影装置
US8693740B1 (en) * 2012-11-07 2014-04-08 Ittiam Systems (P) Ltd. System and method for face detection in digital images
CN107516067A (zh) * 2017-07-21 2017-12-26 深圳市梦网百科信息技术有限公司 一种基于肤色检测的人眼定位方法和系统
CN107563278A (zh) * 2017-07-21 2018-01-09 深圳市梦网百科信息技术有限公司 一种基于肤色检测的快速眼唇定位方法和系统
CN109190529A (zh) * 2018-08-21 2019-01-11 深圳市梦网百科信息技术有限公司 一种基于唇部定位的人脸检测方法和系统
CN109271922A (zh) * 2018-09-13 2019-01-25 深圳市梦网百科信息技术有限公司 一种基于对比度的鼻部定位方法和系统
CN110807402A (zh) * 2019-10-29 2020-02-18 深圳市梦网百科信息技术有限公司 一种基于肤色检测的五官定位方法、系统和终端设备

Also Published As

Publication number Publication date
CN111626143A (zh) 2020-09-04

Similar Documents

Publication Publication Date Title
JP3999964B2 (ja) 目を検出するマルチモードデジタル画像処理方法
US8498449B2 (en) Eye detecting device, eye detecting method, and program
CN105678338B (zh) 基于局部特征学习的目标跟踪方法
EP3678056B1 (en) Skin color detection method and device and storage medium
CN110807402B (zh) 一种基于肤色检测的五官定位方法、系统和终端设备
CN104899853A (zh) 图像区域的划分方法及装置
CN108171241B (zh) 基于IFCS/Otsu的IOFR火焰识别方法
CN113724243B (zh) 图像处理方法、装置、电子设备及存储介质
WO2023071024A1 (zh) 驾驶辅助模式切换方法、装置、设备及存储介质
CN111626143B (zh) 一种基于眼睛定位的反向人脸检测方法、系统及设备
KR101089847B1 (ko) 얼굴 인식을 위한 ｓｉｆｔ 알고리즘을 이용한 키포인트 매칭 시스템 및 방법
US20050220327A1 (en) Image collation device, image collation method, image collation program, and computer-readable recording medium with image collation program recorded thereon
CN109993202A (zh) 一种线稿型图形相似度判断方法、电子设备及存储介质
CN112434640A (zh) 确定文档图像的旋转角度方法、装置及存储介质
CN108596926A (zh) 基于交叉型粒子群算法的灰度阈值获取、图像边缘检测方法
CN111461073B (zh) 一种基于鼻头定位的反向人脸检测方法、系统及设备
CN111488836A (zh) 人脸轮廓修正方法、装置、设备及存储介质
CN110069647B (zh) 图像标签去噪方法、装置、设备及计算机可读存储介质
CN111815651B (zh) 一种人脸与身体肤色区域的分割方法、系统及设备
CN116071415A (zh) 一种基于改进Census算法的立体匹配方法
CN115795355A (zh) 一种分类模型训练方法、装置及设备
CN116110113A (zh) 一种基于深度学习的虹膜识别方法
CN115984178A (zh) 伪造图像检测方法、电子设备和计算机可读存储介质
CN114220045A (zh) 对象识别方法、装置及计算机可读存储介质
CN111753722B (zh) 一种基于特征点类型的指纹识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant