CN111553880A - 模型生成方法、标签标注方法、虹膜图像质量评价方法及装置 - Google Patents
模型生成方法、标签标注方法、虹膜图像质量评价方法及装置 Download PDFInfo
- Publication number
- CN111553880A CN111553880A CN202010222328.3A CN202010222328A CN111553880A CN 111553880 A CN111553880 A CN 111553880A CN 202010222328 A CN202010222328 A CN 202010222328A CN 111553880 A CN111553880 A CN 111553880A
- Authority
- CN
- China
- Prior art keywords
- iris
- training sample
- quality
- iris image
- quality evaluation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Ophthalmology & Optometry (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Collating Specific Patterns (AREA)
Abstract
本发明提供了一种模型生成方法、标签标注方法、虹膜图像质量评价方法及装置,其中,该模型生成方法包括:获取训练样本集;每个训练样本包括虹膜图像和相应的质量标签,训练样本集中的训练样本的虹膜图像是由不同用途的虹膜采集设备拍摄且对应相同种类数目的虹膜质量参数的不同参数值,虹膜质量参数的种类数目为一个或多个;将各训练样本分别输入至初始质量评价模型,计算得到相应质量评价结果,并计算得到质量评价结果与其质量标签的差异;模型属于深度卷积神经网络;选择差异不满足要求的训练样本,以调整标签;接收更新后的质量标签,重新训练模型;若各差异均满足要求,则得到虹膜图像质量评价模型。上述方案便于准确地评价虹膜图像的质量。
Description
技术领域
本发明涉及虹膜识别技术领域,尤其涉及一种模型生成方法、标签标注方法、虹膜图像质量评价方法及装置。
背景技术
虹膜的唯一性、稳定性、非接触性、防伪性等特点使虹膜识别技术在生物特征识别方面占有突出的优势。随着虹膜识别技术的不断发展,以及虹膜识别产品在不同场景下的广泛应用,对虹膜识别的准确性和稳定性的要求也不断提高。虹膜识别的流程一般分为:虹膜图像采集、图像质量判断、虹膜分割、特征提取、样本比对五个步骤。虹膜图像质量判断是保证虹膜识别的效果的重要前提,通过虹膜图像质量的评估选择质量好的图像进行识别,可以有效减少虹膜识别错误率。因此,如何准确地评价虹膜图像的质量成为需要解决的关键问题。
发明内容
本发明提供了一种模型生成方法、标签标注方法、虹膜图像质量评价方法及装置,以准确地评价虹膜图像的质量。
为了达到上述目的,本发明采用以下方案实现:
根据本发明实施例的一个方面,提供了一种虹膜图像质量评价模型生成方法,包括:
获取训练样本集,其中,所述训练样本集中的每个训练样本包括虹膜图像和相应的质量标签,所述训练样本集中训练样本中的虹膜图像是由不同用途的虹膜采集设备拍摄且对应相同种类数目的虹膜质量参数的不同参数值,虹膜质量参数的种类数目为一个或多个;
将所述训练样本集中各训练样本分别输入至初始质量评价模型,得到每个训练样本的虹膜图像的质量评价结果,并计算得到每个训练样本的虹膜图像的质量评价结果与其质量标签之间的差异;其中,所述初始质量评价模型属于深度卷积神经网络;
从所述训练样本集中选择至少一个训练样本,其中,选择的训练样本的虹膜图像的当前质量评价结果与其质量标签之间的差异大于设定差异阈值;
接收选择的各训练样本的更新后的质量标签,以更新相应的训练样本,从而更新所述训练样本集;以及将更新的所述训练样本集中各训练样本分别输入至当前初始质量评价模型,得到更新的所述训练样本集中每个训练样本的虹膜图像的质量评价结果,并计算得到更新的所述训练样本集中每个训练样本的虹膜图像的当前质量评价结果与其当前质量标签之间的差异;
在更新的所述训练样本集中各训练样本的虹膜图像的当前质量评价结果与其当前质量标签之间的差异均小于或等于所述设定差异阈值的情况下,根据最新初始质量评价模型得到虹膜图像质量评价模型。
根据本发明实施例的另一个方面,提供了一种虹膜图像质量标签标注方法,包括:
获取训练样本集,其中,所述训练样本集中的每个训练样本包括虹膜图像和相应的质量标签,所述训练样本集中训练样本中的虹膜图像是由不同用途的虹膜采集设备拍摄且对应相同种类数目的虹膜质量参数的不同参数值,虹膜质量参数的种类数目为一个或多个;
将所述训练样本集中各训练样本分别输入至初始质量评价模型,得到每个训练样本的虹膜图像的质量评价结果,并计算得到每个训练样本的虹膜图像的质量评价结果与其质量标签之间的差异;其中,所述初始质量评价模型属于深度卷积神经网络;
从所述训练样本集中选择至少一个训练样本,其中,选择的训练样本的虹膜图像的当前质量评价结果与其质量标签之间的差异大于设定差异阈值;
接收选择的各训练样本的更新后的质量标签,以更新相应的训练样本,从而更新所述训练样本集;以及将更新的所述训练样本集中各训练样本分别输入至当前初始质量评价模型,得到更新的所述训练样本集中每个训练样本的虹膜图像的质量评价结果,并计算得到更新的所述训练样本集中每个训练样本的虹膜图像的当前质量评价结果与其当前质量标签之间的差异;
在更新的所述训练样本集中各训练样本的虹膜图像的当前质量评价结果与其当前质量标签之间的差异均小于或等于所述设定差异阈值的情况下,根据训练样本中的最新质量标签确定为相应虹膜图像标注的质量标签。
在一些实施例中,获取训练样本集,包括:
获取多幅不同虹膜图像,其中,所述多幅不同虹膜图像是由不同用途的虹膜采集设备拍摄且对应相同种类数目的虹膜质量参数的不同参数值,虹膜质量参数的种类数目为一个或多个;
根据每幅虹膜图像的各虹膜质量参数的参数值确定其质量标签,并将得到的质量标签和相应的虹膜图像关联在一起得到训练样本,则所有虹膜图像对应的训练样本形成一个训练样本集。
在一些实施例中,虹膜质量参数包括遮挡程度、清晰度、亮度、斜视或正视、及瞳孔伸缩率中的一个或多个。
在一些实施例中,虹膜质量参数包括遮挡程度、清晰度、亮度、斜视或正视、及瞳孔伸缩率;
根据每幅虹膜图像的各虹膜质量参数的参数值确定其质量标签,包括:
计算获取的各虹膜图像与相应虹膜的标准虹膜图像的匹配分数,计算获取的各虹膜图像的亮度分数,以及计算获取的各虹膜图像的清晰度分数;其中,标准虹膜图像满足设定清晰度要求、设定遮挡程度要求、设定亮度要求、及虹膜正视要求;
根据获取的各虹膜图像的匹配分数、亮度分数及清晰度分数计算得到质量标签。
在一些实施例中,获取多幅不同虹膜图像,包括:
获取多幅不同初始图像,其中,所述多幅不同初始图像是由不同用途的虹膜采集设备拍摄且对应相同种类数目的虹膜质量参数的不同参数值,虹膜质量参数的种类数目为一个或多个;
检测各所述初始图像中的虹膜位置,并以检测得到的虹膜位置为中心扣取设定大小的图像,得到虹膜图像,其中,每幅虹膜图像包含一只虹膜的数据。
在一些实施例中,根据获取的各虹膜图像的匹配分数、亮度分数及清晰度分数计算得到质量标签,包括:
将虹膜图像的匹配分数、亮度分数及清晰度分数带入公式q=min(100,max(0,q1-abs(q2-128)/255*100+q3/2)),计算得到质量标签,其中,q表示质量标签,q1表示虹膜图像与相应虹膜的标准虹膜图像的匹配分数,q2表示虹膜图像的亮度分数,q3表示虹膜图像的清晰度分数,abs(q2-128)表示对q2-128取绝对值。
在一些实施例中,计算获取的各虹膜图像与相应虹膜的标准虹膜图像的匹配分数,包括:
计算获取的每幅虹膜图像与相应虹膜的多个标准虹膜图像分别匹配得到的分数;其中,不同标准虹膜图像的瞳孔伸缩率不同;
对与相应虹膜的多个标准虹膜图像分别匹配得到的分数求平均,得到获取的每幅虹膜图像对应的匹配分数。
在一些实施例中,计算获取的各虹膜图像的亮度分数,包括:
计算获取的每幅虹膜图像的各像素的亮度均值,并根据每幅虹膜图像的各像素的亮度均值得到相应虹膜图像的亮度分数。
在一些实施例中,计算获取的各虹膜图像的清晰度分数,包括:
利用高斯拉普拉斯核分别统计各幅虹膜图像的整体清晰度,并根据幅虹膜图像的整体清晰度得到清晰度分数。
在一些实施例中,从所述训练样本集中选择至少一个训练样本,包括:
从所述训练样本集中选择当前质量评价结果与其质量标签之间的差异大于设定差异阈值的所有训练样本。
在一些实施例中,各质量评价结果和各质量标签均属于相同的分数范围。
在一些实施例中,选择的各训练样本的更新后的质量标签是根据其当前质量评价结果确定。
在一些实施例中,所述深度卷积神经网络包括输入层、至少两个卷积池化单元、及全连接卷积层;每个所述卷积池化单元包括卷积层、BatchNorm层、激活层、及池化层。
在一些实施例中,将所述训练样本集中各训练样本分别输入至初始质量评价模型,得到每个训练样本的虹膜图像的质量评价结果之前,所述方法还包括:
利用公开数据集对用于分类的深度卷积神经网络进行训练,根据所述初始质量评价模型对应的质量评价方式修改训练后的用于分类的深度卷积神经网络的输出数目,并利用包含虹膜图像和相应质量标签的训练样本微调修改输出数目后的训练后的用于分类的深度卷积神经网络,得到初始质量评价模型。
在一些实施例中,所述深度卷积神经网络为ResNet、VGG或AlexNet网络。
在一些实施例中,所述方法还包括:
在更新的所述训练样本集中至少部分训练样本的虹膜图像的当前质量评价结果与其当前质量标签之间的差异大于所述设定差异阈值的情况下,从更新的所述训练样本集中再次选择至少一个训练样本,其中,再次选择的训练样本的虹膜图像的当前质量评价结果与其当前质量标签之间的差异大于所述设定差异阈值;
接收再次选择的各训练样本的更新后的质量标签,以更新相应的训练样本,从而再次更新所述训练样本集;以及将再次更新的所述训练样本集中各训练样本分别输入至当前初始质量评价模型,得到再次更新的所述训练样本集中每个训练样本的虹膜图像的质量评价结果,并计算得到再次更新的所述训练样本集中每个训练样本的虹膜图像的质量评价结果与其当前质量标签之间的差异;
在再次更新的所述训练样本集中各训练样本的虹膜图像的质量评价结果与其当前质量标签之间的差异均小于或等于所述设定差异阈值的情况下,根据最新初始质量评价模型得到虹膜图像质量评价模型。
根据本发明实施例的另一个方面,提供了一种虹膜图像质量评价方法,包括:
获取待评价虹膜图像;
利用根据上述任一实施例所述的虹膜图像质量评价模型生成方法得到的虹膜图像质量评价模型对所述待评价虹膜图像进行质量评价。
根据本发明实施例的另一个方面,提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述任一实施例所述的虹膜图像质量评价模型生成方法或上述任一实施例所述的虹膜图像质量评价方法的步骤。
根据本发明实施例的另一个方面,提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述任一实施例所述的虹膜图像质量评价模型生成方法或上述任一实施例所述的虹膜图像质量评价方法的步骤。
本发明实施例的虹膜图像质量评价模型生成方法、虹膜图像质量标签标注方法、虹膜图像质量评价方法、电子设备及计算机可读存储介质,能够便于准确地评价多种不同设备采集的虹膜图像。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1是本发明一实施例的虹膜图像质量评价模型生成方法的流程示意图;
图2是本发明一具体实施例的虹膜图像质量评价方法的流程示意图;
图3是本发明一实施例中得到质量标签的流程示意图;
图4是本发明一具体实施例中训练模型的流程示意图;
图5是本发明一具体实施例中深度卷积神经网络的结构示意图;
图6是本发明一实施例的虹膜图像质量标签标注方法的流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白,下面结合附图对本发明实施例做进一步详细说明。在此,本发明的示意性实施例及其说明用于解释本发明,但并不作为对本发明的限定。
在对虹膜图像做质量评价时,现有方法是分别计算各项分数,最终加权给出虹膜图像质量的总分。但是,由于每个指标对虹膜识别结果的影响不同,较难给出一个合适的加权系数。另外,有一些指标是基于对虹膜分割(比如,遮挡程度)的结果,一旦分割错误,对虹膜图像质量的判断随之就会出现偏差。而且,现有方法中虹膜图像的清晰度的计算结果可能会出现与人主观判断不一致的情况,比如,眼镜的光斑、不合适的光线都可能会导致这种情况发生。
另外,不同用途的虹膜采集设备(如移动设备采集的虹膜图像与安防设备采集的虹膜图像)的质量相差较多,无法使用同样的标准来评价虹膜图像的质量,所以,需要利用不同的虹膜图像质量评价产品评价不同设备采集的虹膜图像,或者,会得到不准确的质量评价结果。
为了解决上述问题,本发明实施例提供了一种虹膜图像质量评价模型生成方法,根据该方法生成的虹膜图像质量评价模型可以用于准确地评价不同设备采集的虹膜图像。
图1是本发明一实施例的虹膜图像质量评价模型生成方法的流程示意图。如图1所示,该实施例的虹膜图像质量评价模型生成方法,可包括以下步骤S110~步骤S150。
下面将对步骤S110~步骤S150的具体实施方式进行详细说明。
步骤S110:获取训练样本集,其中,所述训练样本集中的每个训练样本包括虹膜图像和相应的质量标签,所述训练样本集中训练样本中的虹膜图像是由不同用途的虹膜采集设备拍摄且对应相同种类数目的虹膜质量参数的不同参数值,虹膜质量参数的种类数目为一个或多个。
该步骤S110中,训练样本集中可以包含大量训练样本,例如几万个。一幅虹膜图像可以只包含一个虹膜,可以从对虹膜采集设备拍摄得到的图像中扣取得到。对于一个训练样本而言,虹膜图像和质量标签相关联,该质量标签可以是基于人为感官得到的对该虹膜图像的质量评价,例如,可以以评分、等级等方式表示;另外,具体评分的分制(范围)或等级数量可以根据需要确定。
训练样本集包含大量的虹膜图像,这些虹膜图像可以是由多种不同设备采集得到的,例如,有些虹膜图像可以是通过一种设备(如移动设备)采集到的,有些虹膜图像可以是通过另外一种设备(如安防设备)采集得到的,当然有些虹膜图像还可以是通过其他设备采集得到的,以此,这些虹膜图像可以覆盖多种不同的设备。
另外,对于一种设备采集的虹膜图像,其可以由一种或多种类型的虹膜质量参数来评价,不同虹膜图像的之间可以存在一种或多种类型的虹膜质量参数的参数值不同。其中,虹膜质量参数可以包括遮挡程度、清晰度、亮度、斜视或正视、及瞳孔伸缩率等参数中的一个或多个。具体地,例如,虹膜质量参数可以包括遮挡程度、清晰度、亮度、斜视或正视、及瞳孔伸缩率这些参数。那么,对于一种设备采集的那些虹膜图像而言,任意两个虹膜图像相比,可以至少存在一种虹膜质量参数的参数值不同,例如,清晰度不同,或者,清晰度和亮度均不同,亦或者,遮挡程度、清晰度及亮度均不同。对于每一种设备采集的虹膜图像而言,可以尽可能覆盖所有虹膜质量参数的各种参数值的各种组合,以此可使训练样本集中虹膜图像的质量分布更均匀。
上述步骤S110中,获取训练样本集可以是直接读取或接收已准备好的满足要求的训练样本集;或者,可以是现场处理得到所需的训练样本集。
示例性地,该步骤S110中,获取训练样本集,具体地,可包括步骤:S111,获取多幅不同虹膜图像,其中,所述多幅不同虹膜图像是由不同用途的虹膜采集设备拍摄且对应相同种类数目的虹膜质量参数的不同参数值,虹膜质量参数的种类数目为一个或多个;S112,根据每幅虹膜图像的各虹膜质量参数的参数值确定其质量标签,并将得到的质量标签和相应的虹膜图像关联在一起得到训练样本,则所有虹膜图像对应的训练样本形成一个训练样本集。
该步骤S111中可以直接读取或接收准备好的且满足要求的虹膜图像,其中,该要求可以是指这些虹膜图像是由一种或多种设备拍摄得到,且同种设备拍摄的那些虹膜图像可以尽可能覆盖各种虹膜质量参数的各种参数值的组合,覆盖各种质量组合。该步骤S112中,可以通过人工为每个虹膜图像标定各种虹膜质量参数的参数值,然后,可以根据这些参数值按设定规则进行计算,得到的分数或数值,作为质量标签,以此,可以通过客观的方式得到质量标签。
进一步地,在一些具体的实施例中,上述步骤S111,即,获取多幅不同虹膜图像,更具体地,可包括步骤:S1111,获取多幅不同初始图像,其中,所述多幅不同初始图像是由不同用途的虹膜采集设备拍摄且对应相同种类数目的虹膜质量参数的不同参数值,虹膜质量参数的种类数目为一个或多个;S1112,检测各所述初始图像中的虹膜位置,并以检测得到的虹膜位置为中心扣取设定大小的图像,得到虹膜图像,其中,每幅虹膜图像包含一只虹膜的数据。
该步骤S1111中,初始图像可以是由虹膜采集设备直接得到的各种质量的图像,其中,不仅包括虹膜还可能包含其他部分(如虹膜外围的眼球部分),不仅可以包含一只虹膜,还可能包含多只虹膜。多幅不同初始图像覆盖各种质量组合,当然具体参数值并不要求已经得到。该步骤S1112中,可以先利用现有虹膜检测技术对初始图像中的虹膜进行定位,例如找到虹膜的中心位置,之后可以根据设定大小将虹膜扣取出来以使一个虹膜图像包含一只虹膜,其中,该设定大小可以依据实际虹膜尺寸、图像的缩放比例等确定。
一些现有虹膜图像质量判断方法,只能给出可用或不可用的结果。但是,针对不同用途的设备,可用与不可用的标准不同,比如,移动设备采集的图像与安防设备的图像质量相差较多,无法使用同样的标准,这样一来,不同的设备需要不同的判断方法。为了更好地使用同样的标准评价不同设备采集的虹膜图像的质量,质量标签可以以分数的方式表示。
在一些具体的实施例中,在虹膜质量参数包括遮挡程度、清晰度、亮度、斜视或正视、及瞳孔伸缩率的情况下,上述步骤S112,即,根据每幅虹膜图像的各虹膜质量参数的参数值确定其质量标签,更具体地,可包括步骤:S1121,计算获取的各虹膜图像与相应虹膜的标准虹膜图像的匹配分数,计算获取的各虹膜图像的亮度分数,以及计算获取的各虹膜图像的清晰度分数;其中,标准虹膜图像满足设定清晰度要求、设定遮挡程度要求、设定亮度要求、及虹膜正视要求;S1122,根据获取的各虹膜图像的匹配分数、亮度分数及清晰度分数计算得到质量标签。
例如,上述步骤S1121中,可以通过将一虹膜图像与一幅标准图像进行比较,得到匹配分数;或者,可以通过将一虹膜图像与多幅标准图像分别进行比较,得到相应的匹配分数分量,然后综合各匹配分数分量得到该虹膜图像对应的匹配分数。一虹膜图像与一幅标准图像进行比较的具体方式可包括步骤:分别检测虹膜图像与标准图像中虹膜的位置;获取虹膜图像与标准图像中虹膜的虹膜内圆和虹膜外圆;分别针对虹膜图像与标准图像,对虹膜内圆和虹膜外圆之间的区域进行特征提取;对虹膜图像的特征提取结果与标准图像的特征提取结果进行特征比较,得到一个分数,将该分数直接作为匹配分数,或者经过处理(如归一化)得到匹配分数。
再例如,上述步骤S1121中,计算获取的各虹膜图像与相应虹膜的标准虹膜图像的匹配分数,具体可包括步骤:计算获取的每幅虹膜图像与相应虹膜的多个标准虹膜图像分别匹配得到的分数;其中,不同标准虹膜图像的瞳孔伸缩率不同;对与相应虹膜的多个标准虹膜图像分别匹配得到的分数求平均,得到获取的每幅虹膜图像对应的匹配分数。以此,可以使得虹膜图像与标准图像的比较结果考虑到瞳孔伸缩率的影响。
在其他实施例中,不同的标准虹膜图像不排除可以在其他虹膜质量参数方面具有不同的参数值。另外,各标准虹膜图像分别匹配得到的分数可以按其他方式进行处理以反映这些标准虹膜图像的综合情况。
例如,上述步骤S1121中,计算获取的各虹膜图像的亮度分数,具体可包括步骤:计算获取的每幅虹膜图像的各像素的亮度均值,并根据每幅虹膜图像的各像素的亮度均值得到相应虹膜图像的亮度分数。
例如,上述步骤S1121中,计算获取的各虹膜图像的清晰度分数,具体可包括步骤:利用高斯拉普拉斯核分别统计各幅虹膜图像的整体清晰度,并根据幅虹膜图像的整体清晰度得到清晰度分数。其中,可以参考国标29794-6统计获取的每幅虹膜图像的清晰度,采用高斯拉普拉斯核统计各幅虹膜图像的整体清晰度。整体清晰度可以直接作为清晰度分数,或者可以经过处理再得到清晰度分数。
另外,上述步骤S1121中,设定清晰度要求可以是设定清晰度(分数)以上,设定遮挡程度要求可以是设定遮挡比例以下,设定亮度要求可以是设定亮度(分数)范围内,虹膜正视要求是指标准虹膜图像中,虹膜为正视而非斜视。或者,上述各种要求(设定清晰度要求、设定遮挡程度要求、设定亮度要求、及虹膜正视要求)可以是通过人眼感官评价的结果或统计结果。
上述步骤S1122中,直接得到的匹配分数、亮度分数及清晰度分数可以符合相同分制;或者,在需要计算得到质量标签时,再统一成相同分制。计算得到的质量标签和匹配分数、亮度分数及清晰度分数的分制或统一得到的分制可以具有相同分制,例如,都在0~100范围内,或者可以通过对计算得到的质量标签进行转换得到相同分制。得到各虹膜图像的匹配分数、亮度分数及清晰度分数后,可以按设定规则或设定计算公式计算得到质量标签。
例如,上述步骤S1122,即,根据获取的各虹膜图像的匹配分数、亮度分数及清晰度分数计算得到质量标签,具体可包括步骤:将虹膜图像的匹配分数、亮度分数及清晰度分数带入公式q=min(100,max(0,q1-abs(q2-128)/255*100+q3/2)),计算得到质量标签,其中,q表示质量标签,q1表示虹膜图像与相应虹膜的标准虹膜图像的匹配分数,q2表示虹膜图像的亮度分数,q3表示虹膜图像的清晰度分数,abs(q2-128)表示对q2-128取绝对值。
其中,该公式q=min(100,max(0,q1-abs(q2-128)/255*100+q3/2))可以将计算得到的质量标签限定在0~100范围内。该公式中,128表示灰度图像灰度值,255表示白色的灰度值。另外,虹膜图像的匹配分数、亮度分数及清晰度分数可以符合统一分制。
步骤S120:将所述训练样本集中各训练样本分别输入至初始质量评价模型,得到每个训练样本的虹膜图像的质量评价结果,并计算得到每个训练样本的虹膜图像的质量评价结果与其质量标签之间的差异;其中,所述初始质量评价模型属于深度卷积神经网络。
步骤S120中,所述深度卷积神经网络可包括输入层、至少两个卷积池化单元、及全连接卷积层;每个所述卷积池化单元包括卷积层、BatchNorm层、激活层、及池化层。或者,所述深度卷积神经网络可为现有的网络,例如,为ResNet、VGG或AlexNet网络。各质量评价结果和各质量标签均可以属于相同的分数范围,例如,0~100范围。将训练样本输入至初始质量评价模型后,模型经过计算,可以输出经过本次训练的结果。
将训练样本(虹膜图像和质量标签)输入至初始质量评价模型后,属于深度卷积神经网络初始质量评价模型可以通过训练,得到尽可能与大部分质量标签一致的质量评价结果。如果某个或某些训练样本对应的质量评价结果与标签的差异比其他训练样本对应的质量评价结果与标签的差异相差较大,则有可能是质量标签设置不合理,若不合理,则可通过如后续步骤S140接收调整后的质量标签。
通过深度卷积网络作为虹膜图像质量评价结果的基础,能够取得较优秀的评价效果。而且,通过深度卷积网络可以方便地达到不需要分别计算图像质量的各项分数的目的,可给出图像质量的总分,因此可以避免权重难以选择的问题。
为了减少所需准备的训练样本的数量,或者为了在训练样本数量较少的情况下取得更好的训练效果,可以利用已有的数据集预先进行训练。
示例性地,在该步骤S120之前,即,将所述训练样本集中各训练样本分别输入至初始质量评价模型,得到每个训练样本的虹膜图像的质量评价结果之前,图1所示方法,还可包括步骤:S160,利用公开数据集对用于分类的深度卷积神经网络进行训练,根据所述初始质量评价模型对应的质量评价方式修改训练后的用于分类的深度卷积神经网络的输出数目,并利用包含虹膜图像和相应质量标签的训练样本微调修改输出数目后的训练后的用于分类的深度卷积神经网络,得到初始质量评价模型。
其中,公开数据集可以是指目前公知的数据集,例如,ImageNet数据集。初始质量评价模型对应的质量评价方式(如评分)与用于分类的深度卷积神经网络的方式不同时,通过适当修改改评分的方式,就可以得到适用于本方案的初始质量评价模型。例如,在初始质量评价模型对应的质量评价方式为评分方式时,可以将训练后的用于分类的深度卷积神经网络的输出数目修改为1,同时,可以将训练后的用于分类的深度卷积神经网络的loss层修改为计算距离的算法;若质量评价方式为多个等级时,可以将训练后的用于分类的深度卷积神经网络的输出数目修改为等级数目,loss层可相应修改为其他算法;进而,可以通过步骤S120等利用准备好的训练样本进行修正或训练。利用与本发明实施例类似的训练样本对修改后的网络做少量训练(如一次),以进行微调得到本发明实施例可用的初始质量评价模型。
步骤S130:从所述训练样本集中选择至少一个训练样本,其中,选择的训练样本的虹膜图像的当前质量评价结果与其质量标签之间的差异大于设定差异阈值。
该步骤S130中,从训练样本集中选择至少一个符合要求的训练样本,可以选择出当前得到的质量评价结果与其目前的质量标签之间的差异较大的训练样本。选择出训练样本后,可以通过人工确定是否需要调整目前的质量标签,如果需要,则可以人工调整质量标签,进而调整后的质量标签和原来相应的虹膜图像形成更新后的训练样本。质量标签可以是根据其当前质量评价结果调整,例如,若需调整质量标签,可以将当前质量评价结果或据其计算或确定的结果替换原有的质量标签。
示例性地,该步骤S130中,从所述训练样本集中选择至少一个训练样本,具体地,可包括:从所述训练样本集中选择当前质量评价结果与其质量标签之间的差异大于设定差异阈值的所有训练样本。以此可以加快模型训练速度。
步骤S140:接收选择的各训练样本的更新后的质量标签,以更新相应的训练样本,从而更新所述训练样本集;以及将更新的所述训练样本集中各训练样本分别输入至当前初始质量评价模型,得到更新的所述训练样本集中每个训练样本的虹膜图像的质量评价结果,并计算得到更新的所述训练样本集中每个训练样本的虹膜图像的当前质量评价结果与其当前质量标签之间的差异。
该步骤S140,可以通过人工调整或更新质量标签,调整或更新后的质量标签可以通过人机交互设备输入进来。更新质量标签后,相应的训练样本被更新,训练样本集被更新,更新后的训练样本集可包含本次更新了的训练样本和本次未更新的训练样本。可以将更新后的训练样本集中所有训练样本分别输入至当前的初始质量评价模型进行训练,得到各训练样本对应的质量评价结果。
本次更新的训练样本集中的所有训练样本可以分别输入至经过前次训练的初始质量评价模型进行再次训练,可以得到新的差异。
步骤S150:在更新的所述训练样本集中各训练样本的虹膜图像的当前质量评价结果与其当前质量标签之间的差异均小于或等于所述设定差异阈值的情况下,根据最新初始质量评价模型得到虹膜图像质量评价模型。
该步骤S150中,在初始质量结果和质量标签所属范围相同(如分制相同)的情况下,可以直接比较其二者的大小,例如,初始质量结果和质量标签的差值在设定范围(设定差异阈值)内,则可认为模型训练好了。每一次将训练样本集中的所有样本送入初始质量评价模型,经过深度卷积神经网络多次迭代学习,训练loss不再有明显的下降,就完成了训练。在一次训练中质量评价结果中的参数可以自适应调整。所以,本文所述的“当前初始质量评价模型”可以是指最近一次训练后的初始质量评价模型,所述的“当前质量评价结果”可以是指最近一次训练后得到的质量评价结果,所述的“当前质量标签”在完成第一次训练前可以是指原来的质量标签,之后可以是指最近一次更新的质量标签,其中,所述的“最近”可以是以某模型或标签执行其某一步骤作为其时间点,或者以某质量评价结果执行其某一步骤作为其时间点。
另一些实施例中,在不满足设定差异阈值条件的情况下,可以利用类似于上述步骤S130~步骤S140的方法,迭代进行训练,直到质量评价结果和质量标签的差异满足要求。上述步骤S130~步骤S140之前或之后可以进行一次或多次训练,即,可以包括多组类似于上述步骤S130~步骤S140的步骤。示例性地,图1所示的方法,还可包括步骤:
S170,在更新的所述训练样本集中至少部分训练样本的虹膜图像的当前质量评价结果与其当前质量标签之间的差异大于所述设定差异阈值的情况下,从更新的所述训练样本集中再次选择至少一个训练样本,其中,再次选择的训练样本的虹膜图像的当前质量评价结果与其当前质量标签之间的差异大于所述设定差异阈值;
S180,接收再次选择的各训练样本的更新后的质量标签,以更新相应的训练样本,从而再次更新所述训练样本集;以及将再次更新的所述训练样本集中各训练样本分别输入至当前初始质量评价模型,得到再次更新的所述训练样本集中每个训练样本的虹膜图像的质量评价结果,并计算得到再次更新的所述训练样本集中每个训练样本的虹膜图像的质量评价结果与其当前质量标签之间的差异;
S190,在再次更新的所述训练样本集中各训练样本的虹膜图像的质量评价结果与其当前质量标签之间的差异均小于或等于所述设定差异阈值的情况下,根据最新初始质量评价模型得到虹膜图像质量评价模型。
上述步骤S170中,选出不满足要求且较大的差异对应的训练样本,可以调整这些训练样本的质量标签。另外,若再次更新的所述训练样本集中各训练样本的虹膜图像的当前质量评价结果与其当前质量标签之间的差异均大于所述设定差异阈值则可继续进行训练。
另外,本发明实施例还提供了一种虹膜图像质量评价方法。该些实施例的虹膜图像质量评价方法,可包括步骤:
S210,获取待评价虹膜图像;
S220,利用根据上述任一实施例所述的虹膜图像质量评价模型生成方法得到的虹膜图像质量评价模型对所述待评价虹膜图像进行质量评价。
其中,该步骤S210中,该待评价虹膜图像可以是各种不同设备采集的虹膜图像。该步骤S220中,虹膜图像质量评价模型生成方法可以参照上述各实施例的虹膜图像质量评价模型生成方法实施,顾不赘述。
另外,基于与图1所示的虹膜图像质量评价模型生成方法相同的发明构思,本发明实施例还提供了一种虹膜图像质量标签标注方法。图6是本发明一实施例的虹膜图像质量标签标注方法的流程示意图,如图6所示,该些实施例的虹膜图像质量标签标注方法,可包括:
步骤S310:获取训练样本集,其中,所述训练样本集中的每个训练样本包括虹膜图像和相应的质量标签,所述训练样本集中训练样本中的虹膜图像是由不同用途的虹膜采集设备拍摄且对应相同种类数目的虹膜质量参数的不同参数值,虹膜质量参数的种类数目为一个或多个;
步骤S320:将所述训练样本集中各训练样本分别输入至初始质量评价模型,得到每个训练样本的虹膜图像的质量评价结果,并计算得到每个训练样本的虹膜图像的质量评价结果与其质量标签之间的差异;其中,所述初始质量评价模型属于深度卷积神经网络;
步骤S330:从所述训练样本集中选择至少一个训练样本,其中,选择的训练样本的虹膜图像的当前质量评价结果与其质量标签之间的差异大于设定差异阈值;
步骤S340:接收选择的各训练样本的更新后的质量标签,以更新相应的训练样本,从而更新所述训练样本集;以及将更新的所述训练样本集中各训练样本分别输入至当前初始质量评价模型,得到更新的所述训练样本集中每个训练样本的虹膜图像的质量评价结果,并计算得到更新的所述训练样本集中每个训练样本的虹膜图像的当前质量评价结果与其当前质量标签之间的差异;
步骤S350:在更新的所述训练样本集中各训练样本的虹膜图像的当前质量评价结果与其当前质量标签之间的差异均小于或等于所述设定差异阈值的情况下,根据训练样本中的最新质量标签确定为相应虹膜图像标注的质量标签。
上述步骤S310~步骤S340的具体实施方式可以分别相应参照上述步骤S110~步骤S140的具体实施方式执行,顾不再赘述。上述步骤S350中,差异满足要求后,可以将训练样本中的最终质量标签确定为相应虹膜图像标注的质量标签,或者,可以对训练样本中的最终质量标签做所需的处理后再确定为相应虹膜图像标注的质量标签。最终标注的质量标签和相应虹膜图像可以关联存储,可以用于其他用途,例如,训练其他模型,如其他虹膜图像质量评价模型。由于质量标签是经过更新的,准确度较好,所以可使其他模型得到较好的训练效果,对于其他虹膜图像质量评价模型,可以得到较好的质量评价结果。
此外,基于与上述实施例的方法相同的发明构思,本发明实施例还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述任一实施例所述的虹膜图像质量评价模型生成方法或上述任一实施例所述的虹膜图像质量评价方法的步骤。对于用于实现虹膜图像质量评价模型生成方法电子设备可以是计算机、服务器等。对于用于实现虹膜图像质量评价方法的电子设备可以是计算机、服务器、虹膜采集设备、虹膜识别设备等。
另外,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述任一实施例所述的虹膜图像质量评价模型生成方法或上述任一实施例所述的虹膜图像质量评价方法的步骤。
为使本领域技术人员更好地了解本发明,下面将以具体实施例说明本发明的实施方式。
在一具体实施例中,虹膜图像质量评价方法是基于深度卷积网络实现。深度卷积网络能够在图像识别中取得优秀的效果。通过使用深度卷积网络能够避免分别计算图像质量的各项分数,并直接得到图像质量的总分。
图2是本发明一具体实施例的虹膜图像质量评价方法的流程示意图。参见图2,该实施例的虹膜图像质量评价方法包括对模型的训练过程和模型的应用过程。模型的训练过程可包括:数据获取、数据标注(标注质量标签)、以及模型训练和标签更新。
数据获取:
为了让训练的模型具有较高的鲁棒性及普适性,可以从多种不同用途的设备中获取不同质量的虹膜的图像,包括质量较差的移动设备,质量好的安防设备。虹膜的图像质量分布范围可以非常广,例如,包括不同遮挡、不同清晰度、不同亮度、不同瞳孔伸缩率、斜视与正视情况中的一种或多种的组合。
得到虹膜的图像(如人眼图像)后,可以先通过虹膜检测技术检测虹膜位置,然后,以虹膜位置为中心扣取例如224*224大小的图像,便得到的只包含一只虹膜的数据的虹膜图像。
综合虹膜图像的质量,给每幅虹膜图像标注一个质量标签。质量标签可包括比对分数(匹配分数)、亮度分数、及清晰度分数三个部分,如图3所示。
1.比对分数
如果将一幅虹膜图像与相应虹膜的标准虹膜图像(如无遮挡、清晰、正视、打光适宜)进行比对,得到的比对分数可以基本代表该虹膜图像的质量,以此,就可以将比对分数与虹膜图像的质量联系起来。
具体地,每只虹膜选取3至5幅质量好的虹膜图像作为标准虹膜图像。标准虹膜图像例如满足清晰、10%以下遮挡、正视、打光适宜的要求,同时,不同标准虹膜图像之间区别瞳孔伸缩率。该虹膜的其他虹膜图像(各种质量)与标准虹膜图像进行比对,取每幅虹膜图像其与多个标准虹膜图像分别对比得到的比对分数的均值,作为该虹膜图像的最终比对分数,可表示为q1。
2.亮度分数
由于不同虹膜的纹理存在多样性,不同纹理丰富程度的虹膜在同样光照条件下体现在图像上的可用信息的数量也不同,尤其是过亮或过暗光照时。为了防止光线不合适时,比对分数不能完整的表示图像质量的情况,增加统计图像的整体亮度项,可表示为q2,计算方法可以是计算整幅图像亮度的均值。
3.清晰度分数
同样由于虹膜纹理的丰富程度不同,与标准图像的比对分数可能不足以表达出图像的清晰程度,此处可以参考国标29794-6对清晰度的统计,采用高斯拉普拉斯核统计图像的整体清晰度,清晰度可表示为q3。
在得到比对分数q1、亮度分数q2、清晰度分数q3后,虹膜图像的质量标签q可以根据公式q=min(100,max(0,q1-abs(q2-128)/255*100+q3/2))计算得到。然后,可以将质量标签与虹膜图像进行关联存储,对应存储了一个训练样本。
接下来,可以利用训练样本训练初始质量评价模型,并更新质量标签。
其中,虹膜图像质量评价模型可以基于初始质量评价模型开始训练。该初始质量评价模型可以属于深度卷积神经网络。其中,如图5所示,模型的网络结构可包括:相连的输入层、多个卷积池化单元及残差计算、全连接层。其中,卷积池化单元可包括:相连的卷积层、BatchNorm层、激活层(Relu)、池化层。通常可以使用5至10个卷积池化单元训练,可以根据用来训练的虹膜图像的数量(训练样本数量)、虹膜图像的大小选择卷积池化单元的数量,如果虹膜图像的数量较少、虹膜图像的尺寸稍大,可适当调整使用较少单元进行训练,例如,可以使用8个池化单元。另外,如果可用训练样本较少,可以先使用公开数据集(比如ImageNet数据集)训练一个分类网络,然后。再在这个分类网络的基础上进行质量判断网络的微调。其中,所用网络可以是resnet、VGG、AlexNet等网络,以此可以得到效果较好的质量评价模型。
采取迭代方法更新质量标签,即,先使用上述虹膜图像和质量标签训练初始质量评价模型,然后,用模型的训练效果(预测结果或质量评价结果),筛选出模型质量评价结果与质量标签相差较大的虹膜图像。人工确定手工修改质量标签,再重新进行模型训练,直至所有虹膜图像的模型预测结果与质量标签接近。
由于是根据既定规则生成的质量标签,在逐渐人工校准的过程,模型的收敛可能由开始大幅震荡转为逐渐平滑的过程。模型的震荡可能由于图像标签不合适引起的,随着质量标签逐渐矫正,模型的收敛也越来越好。例如,经过5次可完成质量标签的矫正。
虹膜图像的质量分数的范围可以是0~100之间。若每幅图像的模型输出分数与标签之差超过5分,则人工判定是否需要调整标签,调整完成后,将所有图像送入模型训练,重复以上步骤,直至模型分数与标签分数的差距都在5分范围内,则停止训练,得到可用模型,流程如图4所示。
通过迭代方法训练及更新标签,可以无需人工标记所有虹膜图像的质量标签,减少工作量。同时在矫正质量标签时,可以只需人工确认模型的输出结果与标签结果差异较大的图像。
本实施例中,训练数据包含多种设备采集的图像,图像质量范围分布较广,使用时,可根据设备的实际情况选择不同的阈值。具体地,可根据不同设备对识别性能的要求,分别选择不同图像质量阈值筛选图像,从而可以平衡被质量阈值筛掉的图像比例与通过评价的图像识别性能,选择该设备合适的图像质量阈值。个模型可以供多种设备使用。标签生成过程可保证较少的人工工作量的同时保证准确性,可实现高效的虹膜图像质量模型学习。
综上所述,本发明实施例的虹膜图像质量评价模型生成方法、虹膜图像质量标签标注方法、虹膜图像质量评价方法、电子设备及计算机可读存储介质,通过利用包含不同用途设备采集的虹膜图像的训练样本集训练样本,能够使得模型可以供多种虹膜采集设备使用。而且,通过在迭代训练模型并根据模型输出结果更新质量标签能够避免矫正所有质量标签,从而减少工作量。另外,通过采用深度卷积网络能够得到较准确的虹膜图像质量评价结果。因此,本发明实施例的模型训练更方便,本发明实施例的评价方法能够准确地评价多种不同设备采集的虹膜图像。
在本说明书的描述中,参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。各实施例中涉及的步骤顺序用于示意性说明本发明的实施,其中的步骤顺序不作限定,可根据需要作适当调整。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (20)
1.一种虹膜图像质量评价模型生成方法,其特征在于,包括:
获取训练样本集,其中,所述训练样本集中的每个训练样本包括虹膜图像和相应的质量标签,所述训练样本集中训练样本中的虹膜图像是由不同用途的虹膜采集设备拍摄且对应相同种类数目的虹膜质量参数的不同参数值,虹膜质量参数的种类数目为一个或多个;
将所述训练样本集中各训练样本分别输入至初始质量评价模型,得到每个训练样本的虹膜图像的质量评价结果,并计算得到每个训练样本的虹膜图像的质量评价结果与其质量标签之间的差异;其中,所述初始质量评价模型属于深度卷积神经网络;
从所述训练样本集中选择至少一个训练样本,其中,选择的训练样本的虹膜图像的当前质量评价结果与其质量标签之间的差异大于设定差异阈值;
接收选择的各训练样本的更新后的质量标签,以更新相应的训练样本,从而更新所述训练样本集;以及将更新的所述训练样本集中各训练样本分别输入至当前初始质量评价模型,得到更新的所述训练样本集中每个训练样本的虹膜图像的质量评价结果,并计算得到更新的所述训练样本集中每个训练样本的虹膜图像的当前质量评价结果与其当前质量标签之间的差异;
在更新的所述训练样本集中各训练样本的虹膜图像的当前质量评价结果与其当前质量标签之间的差异均小于或等于所述设定差异阈值的情况下,根据最新初始质量评价模型得到虹膜图像质量评价模型。
2.一种虹膜图像质量标签标注方法,其特征在于,包括:
获取训练样本集,其中,所述训练样本集中的每个训练样本包括虹膜图像和相应的质量标签,所述训练样本集中训练样本中的虹膜图像是由不同用途的虹膜采集设备拍摄且对应相同种类数目的虹膜质量参数的不同参数值,虹膜质量参数的种类数目为一个或多个;
将所述训练样本集中各训练样本分别输入至初始质量评价模型,得到每个训练样本的虹膜图像的质量评价结果,并计算得到每个训练样本的虹膜图像的质量评价结果与其质量标签之间的差异;其中,所述初始质量评价模型属于深度卷积神经网络;
从所述训练样本集中选择至少一个训练样本,其中,选择的训练样本的虹膜图像的当前质量评价结果与其质量标签之间的差异大于设定差异阈值;
接收选择的各训练样本的更新后的质量标签,以更新相应的训练样本,从而更新所述训练样本集;以及将更新的所述训练样本集中各训练样本分别输入至当前初始质量评价模型,得到更新的所述训练样本集中每个训练样本的虹膜图像的质量评价结果,并计算得到更新的所述训练样本集中每个训练样本的虹膜图像的当前质量评价结果与其当前质量标签之间的差异;
在更新的所述训练样本集中各训练样本的虹膜图像的当前质量评价结果与其当前质量标签之间的差异均小于或等于所述设定差异阈值的情况下,根据训练样本中的最新质量标签确定为相应虹膜图像标注的质量标签。
3.如权利要求1或2所述的方法,其特征在于,获取训练样本集,包括:
获取多幅不同虹膜图像,其中,所述多幅不同虹膜图像是由不同用途的虹膜采集设备拍摄且对应相同种类数目的虹膜质量参数的不同参数值,虹膜质量参数的种类数目为一个或多个;
根据每幅虹膜图像的各虹膜质量参数的参数值确定其质量标签,并将得到的质量标签和相应的虹膜图像关联在一起得到训练样本,则所有虹膜图像对应的训练样本形成一个训练样本集。
4.如权利要求3所述的方法,其特征在于,虹膜质量参数包括遮挡程度、清晰度、亮度、斜视或正视、及瞳孔伸缩率中的一个或多个。
5.如权利要求4所述的方法,其特征在于,虹膜质量参数包括遮挡程度、清晰度、亮度、斜视或正视、及瞳孔伸缩率;
根据每幅虹膜图像的各虹膜质量参数的参数值确定其质量标签,包括:
计算获取的各虹膜图像与相应虹膜的标准虹膜图像的匹配分数,计算获取的各虹膜图像的亮度分数,以及计算获取的各虹膜图像的清晰度分数;其中,标准虹膜图像满足设定清晰度要求、设定遮挡程度要求、设定亮度要求、及虹膜正视要求;
根据获取的各虹膜图像的匹配分数、亮度分数及清晰度分数计算得到质量标签。
6.如权利要求3所述的方法,其特征在于,获取多幅不同虹膜图像,包括:
获取多幅不同初始图像,其中,所述多幅不同初始图像是由不同用途的虹膜采集设备拍摄且对应相同种类数目的虹膜质量参数的不同参数值,虹膜质量参数的种类数目为一个或多个;
检测各所述初始图像中的虹膜位置,并以检测得到的虹膜位置为中心扣取设定大小的图像,得到虹膜图像,其中,每幅虹膜图像包含一只虹膜的数据。
7.如权利要求5所述的方法,其特征在于,根据获取的各虹膜图像的匹配分数、亮度分数及清晰度分数计算得到质量标签,包括:
将虹膜图像的匹配分数、亮度分数及清晰度分数带入公式q=min(100,max(0,q1-abs(q2-128)/255*100+q3/2)),计算得到质量标签,其中,q表示质量标签,q1表示虹膜图像与相应虹膜的标准虹膜图像的匹配分数,q2表示虹膜图像的亮度分数,q3表示虹膜图像的清晰度分数,abs(q2-128)表示对q2-128取绝对值。
8.如权利要求5所述的方法,其特征在于,计算获取的各虹膜图像与相应虹膜的标准虹膜图像的匹配分数,包括:
计算获取的每幅虹膜图像与相应虹膜的多个标准虹膜图像分别匹配得到的分数;其中,不同标准虹膜图像的瞳孔伸缩率不同;
对与相应虹膜的多个标准虹膜图像分别匹配得到的分数求平均,得到获取的每幅虹膜图像对应的匹配分数。
9.如权利要求5所述的方法,其特征在于,计算获取的各虹膜图像的亮度分数,包括:
计算获取的每幅虹膜图像的各像素的亮度均值,并根据每幅虹膜图像的各像素的亮度均值得到相应虹膜图像的亮度分数。
10.如权利要求5所述的方法,其特征在于,计算获取的各虹膜图像的清晰度分数,包括:
利用高斯拉普拉斯核分别统计各幅虹膜图像的整体清晰度,并根据幅虹膜图像的整体清晰度得到清晰度分数。
11.如权利要求1或2所述的方法,其特征在于,从所述训练样本集中选择至少一个训练样本,包括:
从所述训练样本集中选择当前质量评价结果与其质量标签之间的差异大于设定差异阈值的所有训练样本。
12.如权利要求1或2所述的方法,其特征在于,各质量评价结果和各质量标签均属于相同的分数范围。
13.如权利要求12所述的方法,其特征在于,选择的各训练样本的更新后的质量标签是根据其当前质量评价结果确定。
14.如权利要求1或2所述的方法,其特征在于,所述深度卷积神经网络包括输入层、至少两个卷积池化单元、及全连接卷积层;每个所述卷积池化单元包括卷积层、BatchNorm层、激活层、及池化层。
15.如权利要求14所述的方法,其特征在于,将所述训练样本集中各训练样本分别输入至初始质量评价模型,得到每个训练样本的虹膜图像的质量评价结果之前,还包括:
利用公开数据集对用于分类的深度卷积神经网络进行训练,根据所述初始质量评价模型对应的质量评价方式修改训练后的用于分类的深度卷积神经网络的输出数目,并利用包含虹膜图像和相应质量标签的训练样本微调修改输出数目后的训练后的用于分类的深度卷积神经网络,得到初始质量评价模型。
16.如权利要求1或2所述的方法,其特征在于,所述深度卷积神经网络为ResNet、VGG或AlexNet网络。
17.如权利要求1或2所述的方法,其特征在于,还包括:
在更新的所述训练样本集中至少部分训练样本的虹膜图像的当前质量评价结果与其当前质量标签之间的差异大于所述设定差异阈值的情况下,从更新的所述训练样本集中再次选择至少一个训练样本,其中,再次选择的训练样本的虹膜图像的当前质量评价结果与其当前质量标签之间的差异大于所述设定差异阈值;
接收再次选择的各训练样本的更新后的质量标签,以更新相应的训练样本,从而再次更新所述训练样本集;以及将再次更新的所述训练样本集中各训练样本分别输入至当前初始质量评价模型,得到再次更新的所述训练样本集中每个训练样本的虹膜图像的质量评价结果,并计算得到再次更新的所述训练样本集中每个训练样本的虹膜图像的质量评价结果与其当前质量标签之间的差异;
在再次更新的所述训练样本集中各训练样本的虹膜图像的质量评价结果与其当前质量标签之间的差异均小于或等于所述设定差异阈值的情况下,根据最新初始质量评价模型得到虹膜图像质量评价模型。
18.一种虹膜图像质量评价方法,其特征在于,包括:
获取待评价虹膜图像;
利用根据如权利要求1、3至17任一项所述的虹膜图像质量评价模型生成方法得到的虹膜图像质量评价模型对所述待评价虹膜图像进行质量评价。
19.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至18任一项所述方法的步骤。
20.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1至18任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010222328.3A CN111553880A (zh) | 2020-03-26 | 2020-03-26 | 模型生成方法、标签标注方法、虹膜图像质量评价方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010222328.3A CN111553880A (zh) | 2020-03-26 | 2020-03-26 | 模型生成方法、标签标注方法、虹膜图像质量评价方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111553880A true CN111553880A (zh) | 2020-08-18 |
Family
ID=72003769
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010222328.3A Pending CN111553880A (zh) | 2020-03-26 | 2020-03-26 | 模型生成方法、标签标注方法、虹膜图像质量评价方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111553880A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112102309A (zh) * | 2020-09-27 | 2020-12-18 | 中国建设银行股份有限公司 | 一种确定图像质量评估结果的方法、装置及设备 |
CN112651389A (zh) * | 2021-01-20 | 2021-04-13 | 北京中科虹霸科技有限公司 | 非正视虹膜图像的矫正模型训练、矫正、识别方法及装置 |
CN112767392A (zh) * | 2021-03-02 | 2021-05-07 | 百果园技术(新加坡)有限公司 | 图像清晰度确定方法、装置、设备及存储介质 |
CN113885772A (zh) * | 2021-10-08 | 2022-01-04 | 北京京航计算通讯研究所 | 一种输入交互设备的等效替代度量方法和系统 |
CN113902740A (zh) * | 2021-12-06 | 2022-01-07 | 深圳佑驾创新科技有限公司 | 图像模糊程度评价模型的构建方法 |
CN115100731A (zh) * | 2022-08-10 | 2022-09-23 | 北京万里红科技有限公司 | 一种质量评价模型训练方法、装置、电子设备及存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101241550A (zh) * | 2008-01-19 | 2008-08-13 | 电子科技大学中山学院 | 一种虹膜图像质量判断方法 |
CN105320957A (zh) * | 2014-07-10 | 2016-02-10 | 腾讯科技(深圳)有限公司 | 分类器训练方法和装置 |
CN107451597A (zh) * | 2016-06-01 | 2017-12-08 | 腾讯科技(深圳)有限公司 | 一种样本类别标签纠正方法及装置 |
US20180089834A1 (en) * | 2016-09-29 | 2018-03-29 | Magic Leap, Inc. | Neural network for eye image segmentation and image quality estimation |
CN109003259A (zh) * | 2018-06-25 | 2018-12-14 | 张威 | 基于纹线质量专家视觉认知机器学习的指纹质量评价方法 |
CN109712134A (zh) * | 2018-12-28 | 2019-05-03 | 武汉虹识技术有限公司 | 虹膜图像质量评价方法、装置及电子设备 |
CN110321844A (zh) * | 2019-07-04 | 2019-10-11 | 北京万里红科技股份有限公司 | 一种基于卷积神经网络的快速虹膜检测方法 |
CN110826494A (zh) * | 2019-11-07 | 2020-02-21 | 达而观信息科技(上海)有限公司 | 标注数据质量评价方法、装置、计算机设备及存储介质 |
-
2020
- 2020-03-26 CN CN202010222328.3A patent/CN111553880A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101241550A (zh) * | 2008-01-19 | 2008-08-13 | 电子科技大学中山学院 | 一种虹膜图像质量判断方法 |
CN105320957A (zh) * | 2014-07-10 | 2016-02-10 | 腾讯科技(深圳)有限公司 | 分类器训练方法和装置 |
CN107451597A (zh) * | 2016-06-01 | 2017-12-08 | 腾讯科技(深圳)有限公司 | 一种样本类别标签纠正方法及装置 |
US20180089834A1 (en) * | 2016-09-29 | 2018-03-29 | Magic Leap, Inc. | Neural network for eye image segmentation and image quality estimation |
CN109003259A (zh) * | 2018-06-25 | 2018-12-14 | 张威 | 基于纹线质量专家视觉认知机器学习的指纹质量评价方法 |
CN109712134A (zh) * | 2018-12-28 | 2019-05-03 | 武汉虹识技术有限公司 | 虹膜图像质量评价方法、装置及电子设备 |
CN110321844A (zh) * | 2019-07-04 | 2019-10-11 | 北京万里红科技股份有限公司 | 一种基于卷积神经网络的快速虹膜检测方法 |
CN110826494A (zh) * | 2019-11-07 | 2020-02-21 | 达而观信息科技(上海)有限公司 | 标注数据质量评价方法、装置、计算机设备及存储介质 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112102309A (zh) * | 2020-09-27 | 2020-12-18 | 中国建设银行股份有限公司 | 一种确定图像质量评估结果的方法、装置及设备 |
CN112651389A (zh) * | 2021-01-20 | 2021-04-13 | 北京中科虹霸科技有限公司 | 非正视虹膜图像的矫正模型训练、矫正、识别方法及装置 |
CN112651389B (zh) * | 2021-01-20 | 2023-11-14 | 北京中科虹霸科技有限公司 | 非正视虹膜图像的矫正模型训练、矫正、识别方法及装置 |
CN112767392A (zh) * | 2021-03-02 | 2021-05-07 | 百果园技术(新加坡)有限公司 | 图像清晰度确定方法、装置、设备及存储介质 |
CN112767392B (zh) * | 2021-03-02 | 2024-04-09 | 百果园技术(新加坡)有限公司 | 图像清晰度确定方法、装置、设备及存储介质 |
CN113885772A (zh) * | 2021-10-08 | 2022-01-04 | 北京京航计算通讯研究所 | 一种输入交互设备的等效替代度量方法和系统 |
CN113902740A (zh) * | 2021-12-06 | 2022-01-07 | 深圳佑驾创新科技有限公司 | 图像模糊程度评价模型的构建方法 |
CN115100731A (zh) * | 2022-08-10 | 2022-09-23 | 北京万里红科技有限公司 | 一种质量评价模型训练方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111553880A (zh) | 模型生成方法、标签标注方法、虹膜图像质量评价方法及装置 | |
CN108805860B (zh) | 图像解析方法、装置、程序及深度学习算法的生成方法 | |
CN108090902B (zh) | 一种基于多尺度生成对抗网络的无参考图像质量客观评价方法 | |
CN111582150B (zh) | 一种人脸质量评估的方法、装置和计算机存储介质 | |
CN112102309A (zh) | 一种确定图像质量评估结果的方法、装置及设备 | |
CN110070531B (zh) | 用于检测眼底图片的模型训练方法、眼底图片的检测方法及装置 | |
CN107423306B (zh) | 一种图像检索方法及装置 | |
WO2013043680A1 (en) | A classifier for use in generating a diffuse image | |
CN113780251B (zh) | 一种眼科检测设备的定位方法及系统 | |
CN111062961A (zh) | 一种基于深度学习的隐形眼镜边缘缺陷检测方法 | |
CN110232326A (zh) | 一种三维物体识别方法、装置及存储介质 | |
CN105608687A (zh) | 医用图像处理方法和医用图像处理装置 | |
CN112528939A (zh) | 一种人脸图像的质量评价方法及装置 | |
CN111833322B (zh) | 一种基于改进YOLOv3的垃圾多目标检测方法 | |
CN111563910B (zh) | 眼底图像分割方法及设备 | |
CN110135508B (zh) | 模型训练方法、装置、电子设备及计算机可读存储介质 | |
CN117152092A (zh) | 全参考图像评价方法、装置、电子设备和计算机存储介质 | |
CN109993090B (zh) | 基于级联回归森林和图像灰度特征的虹膜中心定位方法 | |
WO2020016836A1 (en) | System and method for managing the quality of an image | |
CN115984178A (zh) | 伪造图像检测方法、电子设备和计算机可读存储介质 | |
CN111798404A (zh) | 基于深度神经网络的虹膜图像质量评估方法及评估系统 | |
CN112188075B (zh) | 抓拍机、图像处理设备及图像处理方法 | |
EP4040347A1 (en) | Device and method for learning data augmentation-based space analysis model | |
JP2016062249A (ja) | 識別辞書学習システム、認識辞書学習方法および認識辞書学習プログラム | |
JP2023078857A (ja) | アイウェア仮想試着システム、アイウェア選定システム、アイウェア試着システムおよびアイウェア分類システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |