CN102136024B - 生物特征识别性能测评和诊断优化系统 - Google Patents
生物特征识别性能测评和诊断优化系统 Download PDFInfo
- Publication number
- CN102136024B CN102136024B CN 201010102229 CN201010102229A CN102136024B CN 102136024 B CN102136024 B CN 102136024B CN 201010102229 CN201010102229 CN 201010102229 CN 201010102229 A CN201010102229 A CN 201010102229A CN 102136024 B CN102136024 B CN 102136024B
- Authority
- CN
- China
- Prior art keywords
- test
- identification technology
- module
- performance
- living things
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003745 diagnosis Methods 0.000 title claims abstract description 55
- 238000012360 testing method Methods 0.000 claims abstract description 170
- 238000005516 engineering process Methods 0.000 claims abstract description 139
- 238000007405 data analysis Methods 0.000 claims abstract description 46
- 238000005457 optimization Methods 0.000 claims abstract description 40
- 238000011056 performance test Methods 0.000 claims abstract description 20
- 230000010354 integration Effects 0.000 claims abstract description 8
- 238000000034 method Methods 0.000 claims description 32
- 238000011156 evaluation Methods 0.000 claims description 29
- 238000004458 analytical method Methods 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 17
- 238000012827 research and development Methods 0.000 claims description 12
- 238000011161 development Methods 0.000 claims description 10
- 238000003860 storage Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 9
- 238000010835 comparative analysis Methods 0.000 claims description 8
- 238000009826 distribution Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims description 2
- 238000002372 labelling Methods 0.000 claims description 2
- 238000012956 testing procedure Methods 0.000 claims description 2
- 238000012356 Product development Methods 0.000 abstract description 2
- 239000000523 sample Substances 0.000 description 45
- 230000001815 facial effect Effects 0.000 description 19
- 238000005286 illumination Methods 0.000 description 10
- 238000013459 approach Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 7
- 239000004744 fabric Substances 0.000 description 7
- 230000008859 change Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 206010034719 Personality change Diseases 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000013441 quality evaluation Methods 0.000 description 2
- 239000000741 silica gel Substances 0.000 description 2
- 229910002027 silica gel Inorganic materials 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000000720 eyelash Anatomy 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005242 forging Methods 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000013432 robust analysis Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Landscapes
- Collating Specific Patterns (AREA)
Abstract
本发明涉及一种生物特征识别性能测评和诊断优化系统，本系统包括性能测试、数据分析、薄弱环节诊断、优化建议、信息集成五个模块，前四个模块分别有生物特征识别专业领域的测试样本数据库、数据分析模型库、薄弱环节诊断规则库、优化策略知识库辅助决策支持，最后系统的信息集成模块综合前四个模块的结果信息生成生物特征识别性能测评和优化建议报告。本系统具有自动化和智能化的特点，不仅可以提供生物特征识别技术的性能指标参数，还能分析被测对象存在的薄弱环节并给出优化建议，在生物特征识别的技术咨询、产品开发和测评认证等诸多领域具有重要的应用价值。
Description
技术领域
本发明涉及模式识别和信息安全的技术研发和测评认证领域，特别是生物特征识别性能测评和诊断优化系统。
背景技术
随着政府和民众对安全问题的日益重视，基于生物特征的身份识别技术例如指纹、人脸、虹膜识别技术得到了快速发展，在公安、边检、金融、社保、门禁等领域具有广阔的应用前景。相对于蓬勃发展的生物特征识别技术，相应的技术监督和性能测评却严重滞后，导致各种生物特征识别产品的质量得不到客观评价，一些低质量的生物特征识别产品混入公共和个人安全领域，严重阻碍了朝阳产业的健康、规范和有序发展，造成了安全防范体系的严重隐患。
从上世纪九十年代以来，随着生物特征识别技术日趋成熟，在国家安全体系开始发挥重要作用，并形成了蓬勃发展的新兴产业。政府部门、学术研究人员、工程人员、产业人员开始逐渐重视对生物特征识别实际性能的摸底和测评，在学术界和产业界组织了一些较大规模的生物特征识别技术测评。例如国际上人脸识别的专业测评有FERET(FacialRecognition Technology)、FRVT(Face Recognition Vendor Test)、FRGC(Face Recognition Grand Technology)，指纹识别方面的专业测评就有FVC(Fingerprint Verification Competition)，虹膜识别方面的专业测评有ICE(Iris Challenge Evaluation)、NICE(Noisy Iris Challenge Evaluation)测评。
生物特征识别测评的目的一方面是检验和分析生物特征识别技术、产品和系统进行身份识别的有效性，另一方面从技术发展和应用推广角度而言更重要的是通过测评来了解被测的生物特征识别技术、产品和系统现有的薄弱环节和不足之处，并提出进一步的优化建议，帮助生物特征识别研发和生产厂商提高和改进产品。现在生物特征识别测评系统局限于第一个目的，一般都是为提交测试申请的用户提供一份包含FAR(错误接收率)、FRR(错误拒绝率)、ERR(等错误率)、ROC曲线等生物特征识别测试性能指标参数的测试报告，无法为用户提供对测评结果的深入和专业分析，并给出应对薄弱环节的优化建议的高层次服务。所以用户往往对测评报告“知其然而不知其所以然”，更不知道从哪下手改进提高。目前，通过测评对生物特征识别技术、产品和系统进行自动诊断和优化指导的智能化生物特征识别测评系统还未见报道。
发明内容
本发明的目的是提出一种生物特征识别性能测评和诊断优化系统，对生物特征识别技术综合性能指标进行全面测评和诊断优化，不仅提供生物特征识别技术的性能指标参数，还深入分析被测对象存在的薄弱环节并给出优化建议，满足生物特征识别技术咨询、产品研发、测评认证等多方面的需求。
为实现上述目的，本发明提供一种生物特征识别性能测评和诊断优化系统，该系统包括性能测试模块、数据分析模块、薄弱环节诊断模块、优化建议模块和信息集成模块串联连接，其中：
性能测试模块连接生物特征测试样本数据库和生物特征识别研发机构提交测试的生物特征识别技术，性能测试模块读取生物特征测试样本数据库的生物特征测试样本数据，利用生物特征测试样本数据对生物特征识别研发机构提交测试的生物特征识别技术的性能指标参数进行测试，生成生物特征识别技术的性能指标参数和测试过程中产生的中间结果信息；
数据分析模块分别连接性能测试模块和生物特征识别测试数据分析模型库，数据分析模块提取生物特征识别测试数据分析模型库存储的生物特征识别测试数据分析模型，数据分析模块还读取并分析生物特征识别技术的技术性能指标参数和测试过程中产生的中间结果信息，利用生物特征识别测试数据分析模型对生物特征识别技术的技术性能指标参数和测试过程中产生的中间结果信息进行分析，对比分析被测生物特征识别技术性能指标参数和生物特征识别测试数据分析模型中的基准生物特征识别性能指标参数之间的性能优劣、细化统计不同属性生物特征样本错误率的分布、对比分析生物特征识别技术受到各种干扰前后性能差异变化大小、分析生物特征识别技术对各种生物特征假体的防御能力，获得被测生物特征识别技术的测试数据分析结果信息；
薄弱环节诊断模块分别连接数据分析模块和生物特征识别薄弱环节诊断规则库，薄弱环节诊断模块提取生物特征识别薄弱环节诊断规则库存储的生物特征识别薄弱环节诊断规则，薄弱环节诊断模块还读取被测生物特征识别技术的测试数据分析结果信息，利用生物特征识别薄弱环节诊断规则推导出被测生物特征识别技术的薄弱环节和不足之处，获得生物特征识别技术薄弱环节的诊断结果；
优化建议模块分别连接薄弱环节诊断模块和生物特征识别优化策略知识库，优化建议模块读取薄弱环节诊断模块输出的关于被测生物特征识别技术薄弱环节的诊断结果，优化建议模块根据诊断结果检索生物特征识别优化策略知识库，找到针对被测生物特征识别技术存在的薄弱环节的优化策略，输出生物特征识别技术的优化建议；以及
信息集成模块对前四个模块的输出结果信息进行总结归纳，生成测评报告，测评报告包括性能测试模块输出的测试结果信息、数据分析模块输出的分析结果信息、薄弱环节诊断模块输出的诊断结果信息和优化建议模块输出的优化建议信息；
生物特征识别研发机构接收信息集成模块输出的生物特征识别技术的测评报告，根据测评报告中的反馈信息对生物特征识别技术性能进行优化，提高生物特征识别技术的性能指标参数。
其中，所述生物特征识别技术的性能指标参数包括：被测生物特征识别技术的识别性能指标和安全性能指标，所述识别性能指标是被测生物特征识别技术的错误接收率、错误拒绝率、等错误率、识别速度，所述安全性能指标是被测生物特征识别技术对生物特征假体攻击的防御成功率。
其中，所述生物特征测试样本数据库存储不同年龄段、不同性别、不同职业人群的生物特征测试样本以及生物特征假体攻击数据；所述每个生物特征测试样本包括质量参数、数据类型、难度系数、测试目的作为属性标注；生物特征测试样本数据库的内容可以根据测评和优化任务的需求动态更新。
其中，所述性能测试模块的测试步骤是：
(1)调用提交测试的生物特征识别技术对生物特征测试样本数据库中的生物特征测试样本数据进行特征抽取后两两比对，生成比对分数；
(2)统计异类生物特征样本比对分数高于决策阈值的比例，定义为错误接收率(False Accept Rate)；
(3)统计同一类样本的比对分数低于决策阈值的比例，定义为错误拒绝率(False Reject Rate)；
(4)调整决策阈值，可以得到错误接收率和错误拒绝率相等时的等错误率EER(Equal Error Rate)；
(5)计算提交测试的生物特征识别技术处理生物特征测试样本数据的平均时间，作为识别速度性能指标；
(6)调用提交测试的生物特征识别技术处理生物特征测试样本数据库中的生物特征假体样本数据，如果生物特征识别技术能够正确判断输入样本是假体，则防御成功，最终统计所有假体攻击后的生物特征识别技术防御成功率。
其中，生物特征识别测试数据分析模型库的内容是根据测评和优化任务的需求动态更新。
其中，生物特征识别薄弱环节诊断规则库的内容是根据生物特征识别技术的发展动态更新。
其中，所述生物特征识别优化策略知识库存储针对生物特征识别技术不同薄弱环节进行优化的解决方案；生物特征识别优化策略知识库来源于生物特征识别领域专家的经验；生物特征识别优化策略知识库的内容可以根据生物特征识别技术的发展进程以及测评和优化任务的需求动态更新。
其中，该生物特征识别性能测评和诊断优化系统在软件架构上可以是单机的形式、或是客户机/服务器的形式、或是浏览器/服务器的形式，即该系统可被用户用于本地测评，也可以用于网络测评。
其中，在所述网络测评的环境中作为一种公共的生物特征识别测评和开发咨询服务，用户可以通过互联网向该生物特征识别性能测评和诊断优化系统提交需要进行测评和咨询的生物特征识别技术，在后端的服务器完成性能测试、数据分析、薄弱环节诊断、优化建议、信息集成的任务后直接在网络上向用户反馈测评报告。
所述的生物特征识别研发机构提交测试的生物特征识别技术是单模态的生物特征识别技术，也可以是多模态的生物特征识别技术。
本发明的有益效果：
生物特征识别性能测评和诊断优化系统的输入是用户提交申请测试和分析诊断的一个生物特征识别算法、一个产品或者一套系统，输出是被测对象的详尽的测试性能指标、优缺点分析诊断和进一步的优化建议。中间的过程对用户而言是透明的，因为整个测评、分析、诊断和优化指导过程是自动化的，不需要用户和操作人员的人工干预。
生物特征识别性能测评和诊断优化系统在软件架构上可以是单机的形式、客户机/服务器的形式、浏览器/服务器的形式，即生物特征识别性能测评和诊断优化系统可被用户用于本地测评，也可以用于网络测评。在网络测评的环境中生物特征识别性能测评和诊断优化系统可作为一种公共的生物特征识别测评和开发咨询服务，用户可以通过互联网向该系统提交需要进行测评和咨询的生物特征识别技术，在后端的服务器完成性能测评、分析诊断和优化建议的任务后直接在网络上向用户反馈测评报告。
因为生物特征识别技术在不断发展中，因此生物特征识别性能测评和诊断优化系统中的生物特征测试样本数据库、生物特征识别测试数据分析模型库、生物特征识别薄弱环节诊断规则库、生物特征识别优化策略知识库的内容可以根据生物特征识别技术的发展进程、测评和优化任务的需求动态更新。
本发明提出的生物特征识别性能测评和诊断优化系统具有智能化的优点，不仅具有传统测评系统报告测评性能指标参数的功能，还新增了对被测对象存在的薄弱环节进行诊断分析和提供优化建议的功能，提高了测评报告的广度和深度，测评结果对于用户而言信息量更丰富、更有价值，使用户不仅对测评结果知其然，还知其所以然，甚至还获得存在问题的解决之道，在生物特征识别的技术咨询、产品开发和测评认证等诸多领域具有重要的应用价值，因此本发明有利于推动生物特征识别技术的更好更快发展。
附图说明
图1为生物特征识别性能测评和诊断优化系统的工作流程框图；
具体实施方式
下面结合附图详细说明本发明技术方案中所涉及的各个细节问题。应指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。
生物特征识别性能测评和诊断优化系统(以下简称“测优系统”)是面向生物特征识别技术(以下简称“核心技术”)的研发、销售、应用、咨询、测评、质监单位或机构或者个人提供的技术咨询类服务系统。核心技术可以是人脸、指纹、虹膜、掌纹、手形、笔迹、步态、声纹、静脉识别等任意一种生物特征识别技术和系统或者多种生物特征识别技术融合的身份识别系统。在识别性能指标测试时，核心技术需要处理生物特征图像、视频或者语音信号生成特征模板并进行特征比对生成比对分数，然后根据比对分数进行识别决策；在安全性能指标测试时，核心技术需要判断输入的生物特征图像、视频或者语音信号是否来自于活体，而不是伪造的生物特征攻击。
测优系统涉及大量的计算以及数据处理和存储，一般部署在服务器上。用户可以通过本地、局域网或者互联网提交核心技术申请测试，因此测优系统在软件架构上可以是单机的形式、客户机/服务器的形式、浏览器/服务器的形式。在网络测评的环境中测优系统可作为一种公共的生物特征识别测评和开发咨询服务，用户可以通过互联网向该系统提交需要进行测评和咨询的生物特征识别技术，在后端的服务器完成性能测评、分析诊断和优化建议的任务后直接在网络上向用户反馈测评报告。核心技术和测优系统之间的接口事先约定，例如可以参考生物特征识别领域的应用程序接口标准BioAPI[1](Biometric ApplicationProgramming Interface(BioAPI)，http://www.bioapi.org/)。
生物特征识别性能测评和诊断优化系统主要包括以下五个模块：
1)性能测试模块，用于测试生物特征识别技术产品的性能指标参数，生成测试过程中间结果信息。
作为生物特征识别性能测评的数据基础，性能测试模块还包括了一个生物特征测试样本数据库，用于存储较大规模的不同人群(包括年龄、性别、职业)的生物特征测试样本和生物特征假体攻击数据。为了便于分析不同属性生物特征数据的测试结果，生物特征测试样本数据库中的每个测试样本具有质量参数、数据类型、难度系数、测试目的作为样本的属性进行标注。
生物特征测试样本数据库的生物特征样本是在建设数据库时能够采集来自不同生物特征识别应用环境和用户状态下的生物特征样本。例如人脸图像样本随着环境光照、用户姿态、用户表情的变化而对人脸识别性能产生影响，因此在采集人脸识别测试样本数据库时要有意识地调节环境光线或者变换采集场所，并要求用户摆出不同的姿态和表情，就可以比较全面测试人脸识别系统在现实世界多种干扰因素影响下的鲁棒性。参考文献[2](T.Sim，S.Baker，M.Bsat，″The CMU pose，illumination，and expression database″，IEEE Transactions on PatternAnalysis and Machine Intelligence，Volume 25，Issue 12，Dec.2003，pp.1615-1618.)给出了一种建设代表性人脸图像库的方法。
生物特征测试样本数据库中的样本可以由生物特征传感器获取。例如人脸图像可以通过USB摄像头或者监控摄像头获取；虹膜图像可以用Irisking、LG、松下等公司的虹膜仪获取；指纹图像可以用光学或者电容指纹仪获取。生物特征测试样本数据库中的样本也可以由算法自动合成。例如文献[3](3D.Maltoni，D.Maio，A.K.Jain and S.Prabhakar，Handbook of Fingerprint Recognition(Second Edition)，Springer(London)，2009)给出了一种用计算机自动合成指纹图像的方法，文献[4](ZhuoshiWei，Tieniu Tan and Zhenan Sun，Synthesis of Large Realistic Iris DatabasesUsing Patch-based Sampling，Proc.of IEEE International Conference onPattern Recognition(ICPR)，2008.)给出了一种用计算机自动合成虹膜图像的方法。在合成生物特征样本时可以更加方便地加入各种干扰因素，设计具有代表性的生物特征测试样本数据库。
生物特征样本的质量参数可以通过自动质量评价算法获得，例如参考文献[5](F.Alonso-Fernandez，J.Fierrez，J.Ortega-Garcia，J.Gonzalez-Rodriguez，et al.，″A Comparative Study of FingerprintImage-Quality Estimation Methods″，IEEE Transactions on InformationForensics and Security，Volume 2，Issue 4，Dec.2007，pp.734-743.)介绍并比较了各种自动指纹图像质量评价方法。生物特征样本的质量参数可以是一个标量，也可以是一个向量。例如虹膜图像的质量参数可以是包括图像分辨率、图像清晰度、睫毛眼皮和噪声的遮挡比例三个数值的向量，也可以是综合三个指标的单一质量指标。为了更好地细化剖析分析核心技术在处理各种质量样本时的性能，建议选择比较细化的质量参数向量。
本发明的生物特征识别性能指标体系中不仅包括被测对象的识别性能指标还包括被测对象的安全性能指标。
识别性能指标主要包括：
●识别精度指标体系(FAR(False Accept Rate，错误接收率)&FRR(False Reject Rate，错误拒绝率)、EER(Equal Error Rate，等错误率)、ROC曲线(receiver operating characteristic curve)、以及FAR、FRR的置信度区间等)。生物特征测试样本数据库中的生物特征图像一般分成两个子集Probe(P1，P2，…，PM)和Gallery(G1，G2，…，GN)，任取Pi和Gj，生物特征识别系统可以输出这两幅图像之间的相似度分数Sij，生物特征识别的基本原理就是根据Sij是否大于某个阈值来决定这两幅图像是否来自于同一个人。如果Probe的M幅图像和Gallery的N幅图像两两比对，我们就可以得到MN个比对分数。这些比对分数分为两大类：1)类内比对：参与比对的两幅人脸图像是同一个人在不同时刻不同条件下采集的；2)类间比对：参与比对的两幅人脸图像不是同一个的人脸图像。根据这两大类比对分数就可以得到在不同阈值下的错误接收率(False AcceptRate，FAR)和错误拒绝率(False Reject Rate，FRR)，然后画出ROC(Receiver Operating Characteristic)曲线，计算出等错误率EER(EqualError Rate)。生物特征识别性能指标计算FAR、FRR、EER的方法和ROC的方法可以参考文献[6](A.K.Jain，A.Ross，S.Prabhakar，An introductionto biometric recognition，IEEE Transactions on Circuits and Systems forVideo Technology，Volume 14，Issue 1，Jan.2004，pp.4-20.)。
●识别效率指标体系，包括平均每个测试样本的处理时间、需要占用的内存空间等。
安全性能指标主要包括核心技术应对各种生物特征假体(例如硅胶指纹、人脸面具、彩色隐形眼镜虹膜、打印虹膜)攻击和黑客程序攻击时的安全防护能力。在测试过程中根据生物特征识别系统对各种安全攻击的反应状况分为防御成功或者防御失败。例如制作100枚假体指纹图像，如果有60次指纹识别系统能够正确判断输入指纹图像是假体，其他40次错误接收输入假体指纹图像并进行识别，则核心技术的正确防御率为60％。在安全性能测试时测优系统会调用各种类型伪造手段制作的假体生物特征图像，例如假体虹膜包括打印虹膜、彩色隐形眼镜虹膜、高仿真义眼虹膜等。系统会分别记录核心技术受到各种类型攻击测试时的安全防护成功概率，为后续分析诊断提供基础数据。
2)数据分析模块，用于分析生物特征识别技术的技术性能指标参数和测试过程中间结果信息，剖析生物特征识别技术的性能特点，生成生物特征识别技术的测试数据分析结果信息，为下一环节薄弱环节诊断提供所需的决策支持信息。为了支撑对生物特征识别测试数据的分析诊断，数据分析模块还包括生物特征识别测试数据分析模型库。数据分析模块需要分析被测生物特征识别产品技术的测评指标参数，对比分析被测技术和基准技术之间的性能优劣，对比分析生物特征识别技术受到各种干扰前后性能差异变化，并细化统计不同质量属性生物特征样本错误率的分布，分析生物特征识别技术对各种生物特征假体的防御能力。
总之，数据分析模块处理性能测试模块生成的纷繁复杂的测试数据，总结转化成更高层的核心技术性能状况决策信息。
下面以某个人脸识别系统FaceRecognitionSystem测试结果的分析诊断为例来详细说明数据分析模块的工作原理。
测优系统的数据分析模块从四个途径来获悉FaceRecognitionSystem比性能指标参数更高层次的薄弱环节诊断决策信息：
途径一：和基准算法性能对比找差距
事先可以通过各种方法获得国际主流的人脸识别系统(例如基于Gabor特征和AdaBoost机器学习的人脸识别、基于Local Binary Pattern的人脸识别系统、基于子空间PCA和LDA的人脸识别系统)在测优系统的同一测试样本数据库上的性能指标。于是可以将FaceRecognitionSystem的测试结果和这些人脸识别系统的性能进行对比和排名，如果某项指标FaceRecognitionSystem排名靠后并和主流方法差距较大，就可以认定是核心技术的薄弱环节，需要加强和提高。基准技术的性能指标事先获得作为先验信息存储在测优系统。
途径二：统计识别错误图像的属性分布
常见的人脸识别挑战性问题主要是光照变化、低分辨率、图像模糊、姿态变化、表情变化、人群遮挡、化妆服饰、年龄差异等。不同的人脸识别系统对于这些挑战具有不同的技巧和鲁棒性。因此通过细化统计导致识别错误的人脸图像属性分布情况，就可以判断人脸识别系统存在的薄弱环节。具体操作方法是：
对人脸图像间的类内比对分数进行排序，把比对分数低于决策阈值(阈值可以根据ROC曲线上固定的FAR值获得，例如当FAR＝1/10000时的阈值)类内图像对找出来。
对于每一对低比对分数的图像对，分析它们的属性参数，例如一幅图像为正脸，另一幅图像为左侧30度的人脸，则这一次识别错误定性为姿态变化。这个分析过程可以通过对测试样本数据库中人脸图像的属性参数分析获得，也可以设计一个人脸图像质量自动评价和状态分析算法来实现。其中，人脸的光照变化可以通过图像灰度直方图的对比分析来定性，图像的分辨率可以通过估计图像中双眼之间的距离来获得，图像的表情、姿态识别都有大量的研究，图像的模糊度可以通过分析图像方差或者傅里叶频谱来获得。总之最终我们可以通过分析模型把识别出错的人脸图像分成若干类型，如光照变化、低分辨率、图像模糊、姿态变化、表情变化、人群遮挡、化妆服饰、年龄差异(比对的人脸图像在同一人在不同年龄段时采集)等。于是我们就可以统计不同类型识别错误图像的数量，某种类型图像的识别错误数量越多，代表这种类型的人脸图像对于FaceRecognitionSystem而言是更棘手的。最后我们设定规则如果某个类型的识别出错图像数量超过某个阈值，则说明处理这种类型的人脸识别问题就是FaceRecognitionSystem的薄弱环节。当然一个人脸识别系统可能存在多个薄弱环节，例如可能光照变化、姿态变化、年龄差异都是FaceRecognitionSystem的薄弱环节。
途径三：对比核心技术受到不同级别干扰时的性能差异
为了分析核心技术对不同类型干扰的敏感程度，从而获得重要的鲁棒性分析结果，我们可以将测试样本数据集按照干扰程度的高低分成若干个子集。尤其是当我们采用自动合成的生物特征测试样本库时，可以控制注入干扰的强度从而得到不同干扰级别的数据集。例如我们可以在合成甚至真实的人脸库里通过图像处理算法人为加入噪声，模糊图像或者缩小图像。如果我们的高斯噪声方差越大则干扰越强，如果我们模糊的尺度越大则模糊干扰程度越强，如果图像缩小的比例越大则低分辨率干扰的程度越强。因此我们可以对比在不同干扰程度下核心技术性能指标的差异，差异越大，则说明核心技术对这种干扰敏感，鲁棒性低，可能是薄弱环节。
途径四：根据安全攻击防御情况发现安全漏洞
对人脸识别系统FaceRecognitionSystem的安全性能测试可以输入杂志人脸图像、LCD显示人脸图像、三维人脸雕塑图像、模特人脸图像、打印人脸图像、硅胶人脸面具，测试FaceRecognitionSystem对于各种人脸假体的安全防伪能力，如果对于某种假体模型的防御失败率高，就可以认定为这种安全攻击是人脸识别的薄弱环节。此外，我们还可以测试FaceRecognitionSystem识别面貌相似例如双胞胎的识别性能，查找可能得安全漏洞。
最后我们可以综合四种途径的分析方法获得人脸识别系统FaceRecognitionSystem在识别和防伪方面的分析结果信息。
3)薄弱环节诊断模块，根据生物特征识别技术的分析结果信息诊断存在的薄弱环节，诊断的依据是事先定义好的规则。
有两大类的生物特征识别薄弱环节诊断规则：
一是简单规则，可以人为定义，例如规则为“如果核心技术识别错误图像有50％以上属于姿态变化的人脸图像，则诊断为姿态变化是薄弱环节”。
二是复杂规则，我们也可能将被测对象的分析结果信息组合成多维诊断特征向量，多维诊断特征向量由以下因素的定量数值按顺序排列组成(a，b，c，d，e，f，g，i，j，k，l，m，n，o，p，q，r，s，t，u，v)：
●核心技术和基准算法在等错误率上的差距a
●识别错误图像属于光照变化、低分辨率、图像模糊、姿态变化、表情变化、人群遮挡、化妆服饰、年龄差异的比例(b，c，d，e，f，g，i，j)
●核心技术受到不同级别光照变化、低分辨率、图像模糊、姿态变化、表情变化、人群遮挡、化妆服饰、年龄差异干扰时的性能差异(k，l，m，n，o，p，q，r)
●核心技术受到各种安全攻击时的防御成功率(s，t，u，v)
然后采用模式识别的方法例如神经网络和支持向量机诊断出被测技术的薄弱环节和不足之处。基于模式识别的方法需要案例训练，那我们就可以用神经网络或者支持向量机去学习从生物特征识别测试数据分析结果信息到薄弱环节诊断结论的线性或者非线性关系，这种关系就是薄弱环节诊断的复杂规则。复杂规则可以定义更加丰富的复合型生物特征识别薄弱环节类型。
为了支撑对生物特征识别薄弱环节的智能诊断，薄弱环节诊断模块还包括生物特征识别薄弱环节诊断规则库，存储对生物特征识别技术测试数据分析结果信息进行薄弱环节诊断的规则库。
4)优化建议模块，用于生成生物特征识别产品技术的优化建议。为了对生物特征识别优化建议生成的决策过程提供支持，优化建议模块包括了生物特征识别优化策略知识库，用于存储针对生物特征识别技术不同薄弱环节进行优化的解决方案，即该知识库定义了从生物特征识别技术不足之处到改进方案之间的映射关系。生物特征识别优化策略知识库来源于生物特征识别领域专家对提高生物特征识别性能指标的经验。
优化建议模块根据数据分析模块输出的核心技术的薄弱环节和不足之处的诊断信息，对症下药，从优化策略知识库采用信息搜索的方式找到对应的解决之道。一般生物特征识别技术有多个薄弱环节，因此优化建议模块会对应找出多个解决方案，但如果这些薄弱环节和解决方案之间有关联，优化建议模块可以自动整合。
例如FaceRecognitionSystem对于处理光照变化、姿态变化的人脸图像存在薄弱环节，由于优化策略知识库收集了一些人脸识别专家应对人脸识别各种挑战的解决思路，测优系统给出的优化建议如下：
| 问题代码 | 问题名称 | 改进方案 |
| FA001 | 光照变化 | 1.采用对光照变化具有鲁棒性的特征表达方法，例如Local Binary Pattern，SIFT等。2.采用XXX滤波器滤除图像光照影响。 |
| FA007 | 姿态变化 | 1.采用三维人脸重建的方法，虚拟出对应姿态的二维人脸图像，然后在同一姿态下匹配。2.采用local features直方图的方法，对姿态变化鲁棒的特征。 |
最后测优系统的信息集成模块综合性能测试模块输出的性能指标参数、数据分析模块输出的对生物特征识别技术性能的分析结果信息、薄弱环节诊断模块输出的对生物特征识别薄弱环节的诊断结果，以及优化建议模块给出的优化建议，构成完整的测评报告。测试报告包括以下五个部分：
1)性能指标参数
包括FAR、FRR、ERR等常见的生物特征识别性能指标。
2)对性能指标的深入剖析
对识别出错图像类型分布统计，对各种干扰鲁棒性的分析。
3)和主流方法的对比分析
指出被测技术和主流技术之间的差距。
4)薄弱环节诊断
对性能全面把脉，诊断出识别性能和安全性能方面的诸多薄弱环节。
5)优化建议
给出领域专家的切实可行的优化指导建议。
传统的生物特征识别测评系统只能输出包括第一部分内容的测试报告，因此通过本发明获得的生物特征识别性能测评报告内容丰富、分析透彻，具有重要指导意义，给使用者带来价值。
用户收到测评报告后，可以参考测评报告中的优化建议进行技术研发和产品优化，改进成功后可以重新启动新一轮的测试、分析、诊断和优化，如此循环，可以逐渐提高核心技术的性能。
实施例1：生物特征识别产品优化
生物特征识别技术咨询公司A开发了一套生物特征识别性能测评和诊断优化系统(简称“测优系统”)，向生物特征识别厂商提供产品测评和优化方面的咨询服务。B公司开发了一种生物特征识别新产品，申请使用A公司的测优系统的服务后，1个工作日内就收到了测评报告。报告中找出该产品存在5个薄弱环节并给出了优化建议，B公司研发部门很快确认了这些问题的存在，马上投入力量按照优化建议的思路进行改进。改进后的产品很快进入打入市场，取得很好的用户反馈。虽然B公司支付了一定数额的咨询费给A公司，但是节约了大量的人工实验测试寻找产品薄弱环节过程的成本，并缩短了产品上市的周期。
实施例2：生物特征识别项目评标
某银行B准备上马一套全行范围的生物特征识别应用项目，用于保障银行业务的安全，需要采购最适用于该项目的生物特征识别核心技术，因此面向全国招标。有10个生物特征识别技术提供商参加招标，都提交了各自的产品，该银行采购了一套生物特征识别性能测评和诊断优化系统对10个产品进行测评，测评报告显示C公司的产品最好，但是仍有2个安全漏洞，于是B要求C在规定期限内修复产品中的安全漏洞，改进方法可以参考测评报告的优化建议。于是C公司很快改进了产品，通过了B的新一轮测评并在银行系统应用，取得了很好的应用效果，使银行盗用他人账户的事件减少了80％。
以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。
Claims (10)
1.一种生物特征识别性能测评和诊断优化系统，其特征在于，包括：性能测试模块、数据分析模块、薄弱环节诊断模块、优化建议模块和信息集成模块串联连接，其中：
性能测试模块连接生物特征测试样本数据库和生物特征识别研发机构提交测试的生物特征识别技术，性能测试模块读取生物特征测试样本数据库的生物特征测试样本数据，利用生物特征测试样本数据对生物特征识别研发机构提交测试的生物特征识别技术的性能指标参数进行测试，生成生物特征识别技术的性能指标参数和测试过程中产生的中间结果信息；
数据分析模块分别连接性能测试模块和生物特征识别测试数据分析模型库，数据分析模块提取生物特征识别测试数据分析模型库存储的生物特征识别测试数据分析模型，数据分析模块还读取并分析生物特征识别技术的技术性能指标参数和测试过程中产生的中间结果信息，利用生物特征识别测试数据分析模型对生物特征识别技术的技术性能指标参数和测试过程中产生的中间结果信息进行分析，对比分析被测生物特征识别技术性能指标参数和生物特征识别测试数据分析模型中的基准生物特征识别性能指标参数之间的性能优劣、细化统计不同属性生物特征样本错误率的分布、对比分析生物特征识别技术受到各种干扰前后性能差异变化大小、分析生物特征识别技术对各种生物特征假体的防御能力，获得被测生物特征识别技术的测试数据分析结果信息；
薄弱环节诊断模块分别连接数据分析模块和生物特征识别薄弱环节诊断规则库，薄弱环节诊断模块提取生物特征识别薄弱环节诊断规则库存储的生物特征识别薄弱环节诊断规则，薄弱环节诊断模块还读取被测生物特征识别技术的测试数据分析结果信息，利用生物特征识别薄弱环节诊断规则推导出被测生物特征识别技术的薄弱环节和不足之处，获得生物特征识别技术薄弱环节的诊断结果；
优化建议模块分别连接薄弱环节诊断模块和生物特征识别优化策略知识库，优化建议模块读取薄弱环节诊断模块输出的关于被测生物特征识别技术薄弱环节的诊断结果，优化建议模块根据诊断结果检索生物特征识别优化策略知识库，找到针对被测生物特征识别技术存在的薄弱环节的优化策略，输出生物特征识别技术的优化建议；以及
信息集成模块对前四个模块的输出结果信息进行总结归纳，生成测评报告，测评报告包括性能测试模块输出的测试结果信息、数据分析模块输出的分析结果信息、薄弱环节诊断模块输出的诊断结果信息和优化建议模块输出的优化建议信息；
生物特征识别研发机构接收信息集成模块输出的生物特征识别技术的测评报告，根据测评报告中的反馈信息对生物特征识别技术性能进行优化，提高生物特征识别技术的性能指标参数。
2.按权利要求1所述的生物特征识别性能测评和诊断优化系统，其特征在于，所述生物特征识别技术的性能指标参数包括：被测生物特征识别技术的识别性能指标和安全性能指标，所述识别性能指标是被测生物特征识别技术的错误接收率、错误拒绝率、等错误率、识别速度，所述安全性能指标是被测生物特征识别技术对生物特征假体攻击的防御成功率。
3.按权利要求1所述的生物特征识别性能测评和诊断优化系统，其特征在于，所述生物特征测试样本数据库存储不同年龄段、不同性别、不同职业人群的生物特征测试样本以及生物特征假体攻击数据；所述每个生物特征测试样本包括质量参数、数据类型、难度系数、测试目的作为属性标注；生物特征测试样本数据库的内容可以根据测评和优化任务的需求动态更新。
4.按权利要求1所述的生物特征识别性能测评和诊断优化系统，其特征在于，所述性能测试模块的测试步骤是：
(1)调用提交测试的生物特征识别技术对生物特征测试样本数据库中的生物特征测试样本数据进行特征抽取后两两比对，生成比对分数；
(2)统计异类生物特征样本比对分数高于决策阈值的比例，定义为错误接收率；
(3)统计同一类样本的比对分数低于决策阈值的比例，定义为错误拒绝率；
(4)调整决策阈值，可以得到错误接收率和错误拒绝率相等时的等错误率EER；
(5)计算提交测试的生物特征识别技术处理生物特征测试样本数据的平均时间，作为识别速度性能指标；
(6)调用提交测试的生物特征识别技术处理生物特征测试样本数据库中的生物特征假体样本数据，如果生物特征识别技术能够正确判断输入样本是假体，则防御成功，最终统计所有假体攻击后的生物特征识别技术防御成功率。
5.按权利要求1所述的生物特征识别性能测评和诊断优化系统，其特征在于，生物特征识别测试数据分析模型库的内容是根据测评和优化任务的需求动态更新。
6.按权利要求1所述的生物特征识别性能测评和诊断优化系统，其特征在于，生物特征识别薄弱环节诊断规则库的内容是根据生物特征识别技术的发展动态更新。
7.按权利要求1所述的生物特征识别性能测评和诊断优化系统，其特征在于，所述生物特征识别优化策略知识库存储针对生物特征识别技术不同薄弱环节进行优化的解决方案；生物特征识别优化策略知识库来源于生物特征识别领域专家的经验；生物特征识别优化策略知识库的内容可以根据生物特征识别技术的发展进程以及测评和优化任务的需求动态更新。
8.按权利要求1所述的生物特征识别性能测评和诊断优化系统，其特征在于，该生物特征识别性能测评和诊断优化系统在软件架构上可以是单机的形式、或是客户机/服务器的形式、或是浏览器/服务器的形式，即该系统可被用户用于本地测评，也可以用于网络测评。
9.按权利要求1或权利要求8所述的生物特征识别性能测评和诊断优化系统，其特征在于，在所述网络测评的环境中作为一种公共的生物特征识别测评和开发咨询服务，用户可以通过互联网向该生物特征识别性能测评和诊断优化系统提交需要进行测评和咨询的生物特征识别技术，在后端的服务器完成性能测试、数据分析、薄弱环节诊断、优化建议、信息集成的任务后直接在网络上向用户反馈测评报告。
10.按权利要求1所述的生物特征识别性能测评和诊断优化系统，其特征在于，所述的生物特征识别研发机构提交测试的生物特征识别技术是单模态的生物特征识别技术，也可以是多模态的生物特征识别技术。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 201010102229 CN102136024B (zh) | 2010-01-27 | 2010-01-27 | 生物特征识别性能测评和诊断优化系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 201010102229 CN102136024B (zh) | 2010-01-27 | 2010-01-27 | 生物特征识别性能测评和诊断优化系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102136024A CN102136024A (zh) | 2011-07-27 |
| CN102136024B true CN102136024B (zh) | 2013-01-02 |
Family
ID=44295810
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN 201010102229 Active CN102136024B (zh) | 2010-01-27 | 2010-01-27 | 生物特征识别性能测评和诊断优化系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102136024B (zh) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102289601B (zh) * | 2011-08-24 | 2013-09-04 | 浙江大学 | 一种生物样本完备性的评价方法 |
| CN102831437A (zh) * | 2012-08-08 | 2012-12-19 | 中国科学院自动化研究所 | 一种基于样本质量的生物特征识别系统性能预测方法 |
| CN108388858B (zh) * | 2018-02-11 | 2020-05-01 | 京东数字科技控股有限公司 | 虹膜防伪方法与装置 |
| CN109492523A (zh) * | 2018-09-17 | 2019-03-19 | 深圳壹账通智能科技有限公司 | 人脸识别系统性能测试方法、装置、设备和存储介质 |
| CN109345942A (zh) * | 2018-10-25 | 2019-02-15 | 重庆鲁班机器人技术研究院有限公司 | 学习习惯矫正方法、装置及机器人 |
| CN111913871A (zh) * | 2019-05-10 | 2020-11-10 | 中国信息通信研究院 | 一种基于深度学习的肺结节检出软件测试方法 |
| CN110378263B (zh) * | 2019-07-08 | 2021-07-13 | Oppo广东移动通信有限公司 | 指纹识别方法及相关产品 |
| CN111353139A (zh) * | 2020-01-15 | 2020-06-30 | 国网河北省电力有限公司信息通信分公司 | 一种持续认证的方法、装置、电子设备及存储介质 |
| CN111783663A (zh) * | 2020-06-30 | 2020-10-16 | 公安部第三研究所 | 一种用于人证核验设备性能检测的算法测评系统及检测方法 |
| CN112559332B (zh) * | 2020-07-13 | 2023-04-07 | 支付宝(杭州)信息技术有限公司 | 一种生物特征识别的攻击测试方法、装置及设备 |
| US11068702B1 (en) | 2020-07-29 | 2021-07-20 | Motorola Solutions, Inc. | Device, system, and method for performance monitoring and feedback for facial recognition systems |
| CN114120382B (zh) * | 2020-08-25 | 2024-05-03 | 中车株洲电力机车研究所有限公司 | 一种人脸识别系统的测试方法、装置、电子设备及介质 |
| CN113554005A (zh) * | 2021-09-18 | 2021-10-26 | 北京的卢深视科技有限公司 | 人脸识别系统的安全性验证方法、电子设备及存储介质 |
| CN115840932B (zh) * | 2023-02-20 | 2023-06-02 | 之江实验室 | 一种漏洞修复方法、装置、存储介质及电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1422039A (zh) * | 2001-11-29 | 2003-06-04 | 上海交通大学 | 可控计算机网络的分布式黑客追踪系统 |
| CN1506903A (zh) * | 2002-12-06 | 2004-06-23 | 中国科学院自动化研究所 | 基于模板学习的自动指纹识别系统和方法 |
| CN1808465A (zh) * | 2005-01-21 | 2006-07-26 | 中国科学院计算技术研究所 | 一种人脸检测系统的评测方法及评测系统 |
| CN101154265A (zh) * | 2006-09-29 | 2008-04-02 | 中国科学院自动化研究所 | 基于局部二值模式特征和图匹配的虹膜识别方法 |
-
2010
- 2010-01-27 CN CN 201010102229 patent/CN102136024B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1422039A (zh) * | 2001-11-29 | 2003-06-04 | 上海交通大学 | 可控计算机网络的分布式黑客追踪系统 |
| CN1506903A (zh) * | 2002-12-06 | 2004-06-23 | 中国科学院自动化研究所 | 基于模板学习的自动指纹识别系统和方法 |
| CN1808465A (zh) * | 2005-01-21 | 2006-07-26 | 中国科学院计算技术研究所 | 一种人脸检测系统的评测方法及评测系统 |
| CN101154265A (zh) * | 2006-09-29 | 2008-04-02 | 中国科学院自动化研究所 | 基于局部二值模式特征和图匹配的虹膜识别方法 |
Non-Patent Citations (3)
| Title |
|---|
| 基于指纹和手背静脉的多模态生物特征识别系统研究;熊新炎;《中国优秀硕士学位论文全文数据库信息科技辑》;20071015;全文 * |
| 孙哲男,等.生物识别十大关键技术.《中国防伪报道》.2007, * |
| 熊新炎.基于指纹和手背静脉的多模态生物特征识别系统研究.《中国优秀硕士学位论文全文数据库信息科技辑》.2007, |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102136024A (zh) | 2011-07-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102136024B (zh) | 生物特征识别性能测评和诊断优化系统 | |
| Yang et al. | Deep label distribution learning for apparent age estimation | |
| CN103258204B (zh) | 一种基于Gabor和EOH特征的自动微表情识别方法 | |
| CN105426875A (zh) | 一种基于深度卷积神经网络的人脸识别方法和考勤系统 | |
| CN101499134B (zh) | 基于现场可编程门阵列的虹膜识别方法及系统 | |
| CN109086660A (zh) | 多任务学习深度网络的训练方法、设备及存储介质 | |
| CN107463951A (zh) | 一种提高深度学习模型鲁棒性的方法及装置 | |
| CN109583322A (zh) | 一种人脸识别深度网络训练方法和系统 | |
| CN106326874A (zh) | 一种人眼图像中的虹膜识别方法及其装置 | |
| CN109033953A (zh) | 多任务学习深度网络的训练方法、设备及存储介质 | |
| CN105184260B (zh) | 一种图像特征提取方法及行人检测方法及装置 | |
| CN105184325A (zh) | 一种人体动作识别方法和移动智能终端 | |
| CN109543526A (zh) | 基于深度差异性特征的真假面瘫识别系统 | |
| CN103593648B (zh) | 一个面向开放环境的人脸识别方法 | |
| CN113361636B (zh) | 一种图像分类方法、系统、介质及电子设备 | |
| CN109101869A (zh) | 多任务学习深度网络的测试方法、设备及存储介质 | |
| CN108960269A (zh) | 数据集的特征获取方法、装置及计算设备 | |
| Silva et al. | How to produce complementary explanations using an ensemble model | |
| CN112949469A (zh) | 针对人脸篡改图像特点分布的图像识别方法、系统及设备 | |
| Salazar-Jurado et al. | Towards the generation of synthetic images of palm vein patterns: A review | |
| Monigari et al. | Plant leaf disease prediction | |
| CN116881853B (zh) | 基于多模态融合的注意力评估方法、系统、设备及介质 | |
| CN110163130A (zh) | 一种用于手势识别的特征预对齐的随机森林分类器及分类方法 | |
| Stracuzzi et al. | Quantifying Uncertainty to Improve Decision Making in Machine Learning. | |
| Zhu | [Retracted] A Face Recognition System Using ACO‐BPNN Model for Optimizing the Teaching Management System |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |