CN114926892A - 一种基于深度学习的眼底图像匹配方法、系统和可读介质 - Google Patents

一种基于深度学习的眼底图像匹配方法、系统和可读介质 Download PDF

Info

Publication number
CN114926892A
CN114926892A CN202210667546.7A CN202210667546A CN114926892A CN 114926892 A CN114926892 A CN 114926892A CN 202210667546 A CN202210667546 A CN 202210667546A CN 114926892 A CN114926892 A CN 114926892A
Authority
CN
China
Prior art keywords
key point
fundus image
matching
feature
decoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210667546.7A
Other languages
English (en)
Inventor
李锡荣
刘家真
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renmin University of China
Original Assignee
Renmin University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renmin University of China filed Critical Renmin University of China
Priority to CN202210667546.7A priority Critical patent/CN114926892A/zh
Publication of CN114926892A publication Critical patent/CN114926892A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Abstract

本发明属于图像匹配技术领域，涉及一种基于深度学习的眼底图像匹配方法、系统和可读介质，包括：将眼底图像输入深度神经网络模型进行训练获得同时实现关键点检测和特征提取的深度神经网络模型，该模型包括一个编码器网络和两个解码器网络；将待测眼底图像输入训练好的模型，生成关键点概率图和描述特征图；获得关键点坐标集合和关键点特征集合；将两张待匹配眼底图像对应的将关键点坐标集合和关键点特征集合进行匹配，获得匹配集；根据匹配集计算仿射变换的参数，实现图像配准，确定匹配的外点和内点，并根据内点的数量进行身份验证。其简单有效，只需要训练部分特征，大幅度减少了计算量，允许输入更大尺寸的图像，更适用于医疗眼底图像场景。

Description

一种基于深度学习的眼底图像匹配方法、系统和可读介质
技术领域
本发明涉及一种眼底图像匹配方法、系统和可读介质，属于图像匹配技术领域。
背景技术
眼底图像匹配(retinal image matching)技术旨在根据图像内容自动判断两张给定的眼底图像的匹配程度。其匹配程度的定义取决于具体任务。在眼底图像配准(retinaimage registration)任务中，两张图像的匹配依赖计算二者之间对应像素点的仿射变换。而在基于眼底图像的身份验证(retinal image based identity verification)任务中，当且仅当两张图来自同一只眼时二者应被认为是匹配的。
以往的眼底图像匹配技术受限于有限的标注数据，通常采用传统数字图像处理技术实现，且依赖复杂的人工设计特征。人工特征在设计时往往需要很强的先验知识，而图像配准和身份验证这两个不同任务要求的匹配特征并不一致，所以现有的技术通常只能应用于一个特定任务。比如一个现有用于身份验证的技术采取了利用血管叉点空间特征构造匹配模板的策略。为了加速身份验证，每个图只生成一个提取主成分后的特征向量，因此该技术无法用于图像配准。而另一个现有技术中利用相机内参和球状模型在3D空间中对眼底图的特征点进行配准，但速度和效率远远无法满足身份验证的要求。因此，传统技术很难同时在图像配准和身份验证等多个任务中取得高性能。
发明内容
针对上述问题，本发明的目的是提供了一种基于深度学习的眼底图像匹配方法、系统和可读介质，其简单有效，并且只需要训练部分特征而非全部的特征图，大幅度减少了计算量，允许输入更大尺寸的图像，适用于处理分辨率较高的眼底图像。
为实现上述目的，本发明提出了以下技术方案：一种基于深度学习的眼底图像匹配方法，包括：将眼底图像输入深度神经网络模型进行训练获得同时实现关键点检测和特征提取的深度神经网络模型，深度神经网络模型包括一个编码器网络和两个解码器网络；将待测眼底图像输入训练好的深度神经网络模型的编码器网络提取特征，再将该特征分别输入到两个编码器网络，生成一个关键点概率图和一个描述特征图；根据关键点概率图和描述特征图获得关键点坐标集合和关键点特征集合；将两张待匹配眼底图像对应的关键点坐标集合和关键点特征集合进行匹配，获得匹配集；根据匹配集计算仿射变换的参数，实现图像配准；根据匹配集确定匹配的外点和内点，并根据内点的数量进行身份验证，若该数量超过特定阈值，则通过验证。
进一步，编码器网络负责提取眼底图像特征，两个解码器网络包括关键点检测解码器和特征描述解码器，关键点检测解码器负责完成图像关键点检测；特征描述解码器负责完成关键点特征描述。
进一步，眼底图像只需要部分带有关键点标注信息，将眼底图像输入深度眼底图像模型，如果眼底图像带有关键点标注信息，则将关键点标注信息作为Y0输入到关键点检测解码器中。
进一步，关键点概率图的生成方法为：通过对关键点检测解码器中的高层特征进行上采样，获得与关键点检测解码器中的低层特征相同的高宽尺寸后，将高层特征与低层特征沿通道维度进行拼接，再将拼接后的特征经卷积和上采样获得与输入图像尺寸相同且通道数为1的输出图，并经sigmoid激活后生成关键点概率图。
进一步，描述特征图直接采用二次插值的方法获得，且其尺寸与原图像一致。
进一步，关键点检测解码器采用渐进式关键点扩增技术进行关键点的提取，其提取的关键点不包括关键点标注信息。
进一步，关键点的提取采用两阶段过滤方法进行筛选：第一阶段是基于几何的筛选，要求在眼底图像中出现的关键点也应在变换图中出现；第二阶段是基于内容的筛选，要求在眼底图像中检测到的关键点特征与变换图中的关键点特征之间满足最优的KNN匹配。
进一步，特征描述解码器根据关键点检测解码器得到的关键点集
Figure BDA0003693414160000021
在描述特征图上进行采样，得到特征集，然后依据随机仿射变换矩阵
Figure BDA0003693414160000022
构造三元组损失函数进行训练。
进一步，匹配集使用RANSAC算法或中值方法计算匹配的外点和内点，以剩余内点的数量作为身份验证的指标，若指标小于预设阈值，则拒绝身份验证，否则接收身份验证；或RANSAC算法或中值方法直接求解得到描述眼底图像变化的仿射矩阵，通过仿射矩阵获得图像配准。
本发明还公开了一种基于深度学习的眼底图像匹配系统，包括下列4个模块：
模型训练模块，用于将眼底图像输入深度神经网络模型进行训练获得同时实现关键点检测和特征提取的深度神经网络模型，深度眼底图像模型包括一个编码器网络和两个解码器网络；
模型输出模块，用于将待测眼底图像输入同时实现关键点检测和特征提取的深度神经网络模型，生成关键点概率图和描述特征图；
特征集合提取模块，用于根据关键点概率图和描述特征获得关键点坐标集合和关键点特征集合；
匹配集生成模块，用于将两张待匹配眼底图像对应的将关键点坐标集合和关键点特征集合进行匹配，获得匹配集；身份验证模块，用于根据匹配集计算仿射变换的参数，实现图像配准，根据匹配集确定匹配的外点和内点，并根据内点的数量进行身份验证。
本发明还公开了一种存储一个或多个程序的计算机可读存储介质，一个或多个程序包括指令，指令当由计算设备执行时，使得计算设备执行根据上述任一项深度学习的眼底图像匹配方法。
本发明由于采取以上技术方案，其具有以下优点：
1、本发明中方案简单有效地同时实现了图像配准和身份验证。
2、本发明只需要训练部分特征而非全部的特征图，大幅度减少了计算量，允许输入更大尺寸的图像，更适用于医疗眼底图像场景。
3、本发明提出了用于训练关键点检测模型的PKE技术，以半监督方式渐进扩增高可重复性和高可靠性的关键点，解决人工标注数据不足的问题，有效增强图像匹配的性能。
4、本发明设计了深度眼底图像模型，更适合于眼底图像匹配，具有比以往特征描述器更好的性能。
附图说明
图1是本发明一实施例中基于深度学习的眼底图像匹配方法的流程图；
图2是本发明一实施例中神经网络模型的结构图，每个特征图下的数字代表了这个特征图的输出尺寸，其中，h,w分别是输入图像的高宽尺寸，d值通常取256；
图3是本发明一实施例中关键点检测解码器的训练流程图；
图4是本发明一实施例中渐进式关键点扩增技术关键点筛选示意图，空心点表示未匹配上的点，需要过滤。
具体实施方式
为了使本领域技术人员更好的理解本发明的技术方案，通过具体实施例对本发明进行详细的描绘。然而应当理解，具体实施方式的提供仅为了更好地理解本发明，它们不应该理解成对本发明的限制。在本发明的描述中，需要理解的是，所用到的术语仅仅是用于描述的目的，而不能理解为指示或暗示相对重要性。
为了解决现有技术中很难同时在图像配准和身份验证等多个任务中取得高性能的问题，本发明提出了一种眼底图像匹配方法、系统和可读介质，其采用深度学习的技术路线实现眼底图像匹配。但是深度学习技术依赖大量的标签数据进行训练，而眼底医疗匹配数据稀少，而且手工标注费时且很难标注完全，故其通过一种更适合医疗眼底图像的编码-双解码神经网络结构，同时结合半监督训练方案，只需要少量的不完整的标签即可实现该模型的高效训练，解决了标注数据短缺的问题。在真实的临床数据测试中，本发明在身份识别和配准任务上同时取得了目前的最佳性能。下面结合附图，通过实施例对本发明中方案进行详细说明。
实施例一
本实施例公开了一种基于深度学习的眼底图像匹配方法，如图1所示，包括：
S1将眼底图像输入深度眼底图像模型进行训练获得训练好的深度眼底图像模型，深度眼底图像模型包括一个编码器网络和两个解码器网络；
为了避免人工设计特征所引入的过多先验知识，本实施例中提出了一个专门用于眼底图像匹配的深度学习模型，即深度眼底图像模型，其通过反向传播的梯度优化提取匹配特征。该深度眼底图像模型的结构图和卷积设置如图2所示。该深度眼底图像模型包括一个共用的编码器网络和两个同级的解码器网络。编码器网络负责提取眼底图像特征，两个解码器网络包括关键点检测解码器和特征描述解码器，关键点检测解码器负责完成图像关键点检测；特征描述解码器负责完成关键点特征描述。
准备眼底图像数据，眼底图像只需要一部分带有关键点标注信息即可，将眼底图像输入深度眼底图像模型，如果眼底图像带有关键点标注信息，则将关键点标注信息作为Y0输入到关键点检测解码器中，否则无需执行额外的输入。设置好迭代次数、优化器参数后，深度眼底图像模型通过迭代反向传播进行自动优化，无需人工干预。
S2将待测眼底图像输入训练好的深度眼底图像模型，生成关键点概率图和描述特征图；
在关键点检测解码器网络中，由于眼底图像中很多关键的特征模式是比较低层的，比如血管特征模式，而过深的网络层数会导致提取的高层特征丧失眼底图像的低层特征细节，不利于寻找血管叉点，因此，本实施例中关键点概率图采用低层特征与高层特征短接的方法获得，以保留低层特征参数与提取关键点特征；描述特征图直接采用二次插值的方法获得，且其尺寸与原图像一致。
可定义如下符号用以描述实施例中方案进行说明：
Figure BDA0003693414160000041
其中，I表示模型的输入图像，F表示编码器得到的抽象特征，P为检测解码器得到的关键点概率映射图，D表示描述解码器得到的描述特征图，
Figure BDA0003693414160000042
表示对P执行非极大值抑制(NMS)得到的关键点集合。
S3根据关键点概率图和描述特征获得关键点集合和子特征集合；
如上式所示，在关键点概率图上执行非极大值抑制，可得关键点集合。然后依据关键点集合在描述特征图对应像素位置上采样即得对应的描述子特征集合。
本实施例中通过半监督训练方式解决了眼底医疗图像标注少无法进行深度模型训练的问题，其具体内容如下：
关键点检测解码器采用渐进式关键点扩增技术(Progressive KeypointExpansion，简称PKE)进行关键点的提取，其提取的关键点不包括关键点标注信息。
如图3所示，随机生成仿射变换矩阵
Figure BDA0003693414160000051
对图像I应用该矩阵
Figure BDA0003693414160000052
得到变换图I′，可表示为
Figure BDA0003693414160000053
令I′与I经过相同的编码-关键点检测解码器得到与其对应的概率映射图P′与P，则损失函数Lgeo为
Figure BDA0003693414160000054
与P之间的DICE损失。
Figure BDA0003693414160000055
其中i,j表示特征图的第(i,j)个像素，
Figure BDA0003693414160000058
表示矩阵点乘，该损失项目标是提高不同视角下的关键点检测的稳定性。此外，损失函数Lclf是P与基于初始输入标签Y0迭代扩增后的标签Yt之间的DICE损失，用于引入监督信息。其中获取标签Yt的过程如图3所示，输入I′与I，关键点检测解码器检测出相应的关键点集，而这些关键点中存在一些关键点未包含于Y0但仍有利于匹配的关键点，PKE的目标就是保留这些关键点并且使这些关键点进一步指导检测器的训练。
本实施例中，关键点的提取采用两阶段过滤方法进行筛选：
第一阶段是基于几何的筛选，如图4中最下方的叉号所示，要求在眼底图像中出现的关键点也应在变换图中出现；第二阶段是基于内容的筛选，如图4中倒数第二个叉号所示，要求在眼底图像中检测到的关键点特征与变换图中的关键点特征之间满足最优的KNN匹配，即最小距离小于次小距离乘小数参数。第一阶段可看作对关键点的可重复性的筛选，第二阶段则是对关键点的可靠性的筛选，通过两次筛选的关键点即可加入Yt的候选关键点集。最终，对该候选关键点集执行高斯滤波得到软标签用于监督训练检测描述器。
特征描述解码器利用三元组损失进行无监督训练。根据关键点检测解码器得到的关键点集
Figure BDA0003693414160000056
在描述特征图上进行采样，得到特征集，然后依据随机仿射变换矩阵
Figure BDA0003693414160000057
构造三元组损失函数进行训练。该方案简单有效，并且只需要训练部分特征而非全部的特征图，大幅度减少了计算量，允许输入更大尺寸的图像，更适用于医疗眼底图像场景。
S4将关键点集合和子特征集合进行匹配，获得匹配集；
对关键点集合和子特征集合之间采用KNN匹配策略进行匹配，执行平方复杂度的向量距离计算，保留最小匹配距离小于次小匹配距离0.9倍的匹配对，由此可得的匹配集。
S5根据匹配集计算匹配的外点和内点，根据内点的数量进行身份验证，从而实现眼底图像匹配。
根据匹配集使用RANSAC算法或中值方法计算匹配的外点和内点，以剩余内点的数量作为身份验证的指标，若指标小于预设阈值，则拒绝身份验证，否则接收身份验证；或RANSAC算法或中值方法直接求解得到描述眼底图像变化的仿射矩阵，通过仿射矩阵获得图像配准。仿射矩阵与坐标点之间的矩阵乘法可以将坐标点变换到新的视角下的坐标系。对图像每个像素点都执行这个仿射矩阵表示的仿射变换，即可得到配准图。
本实施例中提出了用于训练关键点检测模型的PKE技术，以半监督方式渐进扩增高可重复性和高可靠性的关键点，解决人工标注数据不足的问题，有效增强图像匹配的性能；设计了深度眼底图像模型，更适合于眼底图像匹配，具有比以往特征描述器更好的性能。
实施例二
为了验证实施例一中方案的有效性，本实施例在配准和身份识别两个子问题上进行了大量实验。配准任务在一个公开数据集FIRE(FIRE是一个视网膜眼底图像数据集，包含129张眼底视网膜图像，由不同特征组合成134对图像组合。这些图像组合根据特质被划分为3类。眼底图像由Nidek AFC-210眼底照相机采集，分辨率为2912x2912，视觉仰角为40度。图像由Papageorgiou Hospital医院和Aristotle University of Thessaloniki大学共同构建)上进行测试，测试方案遵循GLAMpoints(Greedily Learned Accurate Matchpoints)的测试方案以及FIRE的测试方案。前者是基于查询关键点和关联关键点之间的距离误差的中值和最大值计算配准的失败率、失准率和接受率，后者是基于距离误差的平均值作出接受率随阈值变化图，计算该接受率随阈值变化图与X轴的归一化面积(AUC)，该值越大越好。X轴是人工设置的错误阈值(像素)，比如X＝5，Y＝0.8时表示当设置平均距离的错误阈值是5个像素时，配准成功率是80％，即有80％的待测图像对的关键点距离均值小于5个像素。
身份识别任务采用了最常用的等错误率(EER)指标，即错误接受率和错误拒绝率相等的点。在VARIA，CLINICAL和BES三个数据集上进行了测试。其中VARIA是只包含视盘区域的眼底图，眼底图像清晰。CLINICAL是一个内部数据集，主要由出现眼底疾病的眼底图组成。BES跨多个年份进行采集，最接近真实场景。
表1是消融实验数据。表中的第1行采用了PKE技术，第2行不使用PKE技术；第3行是在第一行的基础上，将第1行模型的描述解码器换成RootSIFT，第4行则是换成了SOSNet。第1行与第2行的性能对比说明采用PKE技术可以大幅度提高本发明在配准任务和识别任务上的性能，验证了PKE技术的有效性；第1行与第3，4行主要对比了本发明的描述解码器和其他主流描述解码器之间的性能，可以验证本发明设计的网络结构以及描述解码器的训练策略的有效性，既减少了训练计算量，又不失匹配的精度。
表1 PKE技术与特征描述解码器的消融实验表
Figure BDA0003693414160000071
与其他图像匹配方法的性能对比如表2所示，实验结果表明实施例一中方法的各项指标均优于其他匹配方案，并且在各个数据集上都展现出明显优势，同时实现了配准任务和身份识别任务两个任务上的高性能。
表2实施例一中方法与其他匹配方法的对比表
Figure BDA0003693414160000072
实施例三
基于相同的发明构思，本实施例公开了一种基于深度学习的眼底图像匹配系统，包括：
模型训练模块，用于将眼底图像输入深度眼底图像模型进行训练获得训练好的深度眼底图像模型，深度眼底图像模型包括一个编码器网络和两个解码器网络；
模型输出模块，用于将待测眼底图像输入训练好的深度眼底图像模型，生成关键点概率图和描述特征图；
特征集合提取模块，用于根据关键点概率图和描述特征获得关键点集合和子特征集合；
匹配集生成模块，用于将关键点集合和子特征集合进行匹配，获得匹配集；
身份验证模块，用于根据匹配集计算匹配的外点和内点，根据内点的数量进行身份验证，从而实现眼底图像匹配。
实施例四
基于相同的发明构思，本实施例公开了一种存储一个或多个程序的计算机可读存储介质，一个或多个程序包括指令，指令当由计算设备执行时，使得计算设备执行根据上述任一项深度学习的眼底图像匹配方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。上述内容仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于深度学习的眼底图像匹配方法，其特征在于，包括：
将眼底图像输入深度神经网络模型进行训练获得同时实现关键点检测和特征提取的深度神经网络模型，所述深度眼底图像模型包括一个编码器网络和两个解码器网络；
将待测眼底图像输入同时实现关键点检测和特征提取的深度神经网络模型，生成关键点概率图和描述特征图；
根据所述关键点概率图和描述特征图获得关键点坐标集合和关键点特征集合；
将两张待匹配眼底图像对应的所述关键点坐标集合和关键点特征集合进行匹配，获得匹配集；
根据所述匹配集计算仿射变换的参数，实现图像配准，根据所述匹配集确定匹配的外点和内点，并根据所述内点的数量进行身份验证。
2.如权利要求1所述的眼底图像匹配方法，其特征在于，所述编码器网络负责提取眼底图像特征，所述两个解码器网络包括关键点检测解码器和特征描述解码器，所述关键点检测解码器负责完成图像关键点检测；所述特征描述解码器负责完成关键点特征描述。
3.如权利要求2所述的眼底图像匹配方法，其特征在于，所述眼底图像只需要部分带有关键点标注信息，将眼底图像输入深度眼底图像模型，如果所述眼底图像带有关键点标注信息，则将所述关键点标注信息作为Y0输入到关键点检测解码器中。
4.如权利要求3所述的眼底图像匹配方法，其特征在于，所述关键点概率图的生成方法为：通过对所述关键点检测解码器中的高层特征进行上采样，获得与所述关键点检测解码器中的低层特征相同的高宽尺寸后，将高层特征与低层特征沿通道维度进行拼接，再将拼接后的特征经卷积和上采样获得与输入图像尺寸相同的输出图，并经sigmoid激活后生成关键点概率图；所述描述特征图直接采用二次插值的方法获得，且其尺寸与原图像一致。
5.如权利要求4所述的眼底图像匹配方法，其特征在于，所述关键点检测解码器采用渐进式关键点扩增技术进行关键点的提取，其提取的所述关键点不包括关键点标注信息。
6.如权利要求5所述的眼底图像匹配方法，其特征在于，所述关键点的提取采用两阶段过滤方法进行筛选：第一阶段是基于几何的筛选，要求在眼底图像中出现的关键点也应在变换图中出现；第二阶段是基于内容的筛选，要求在眼底图像中检测到的关键点特征与变换图中的关键点特征之间满足最优的KNN匹配。
7.如权利要求2-6任一项所述的眼底图像匹配方法，其特征在于，所述特征描述解码器根据关键点检测解码器得到的关键点集
Figure FDA0003693414150000011
在描述特征图上进行采样，得到特征集，然后依据随机仿射变换矩阵
Figure FDA0003693414150000021
构造三元组损失函数进行训练。
8.如权利要求2-6任一项所述的眼底图像匹配方法，其特征在于，所述匹配集使用RANSAC算法或中值方法计算匹配的外点和内点，以剩余内点的数量作为身份验证的指标，若所述指标小于预设阈值，则拒绝身份验证，否则接收身份验证；或RANSAC算法或中值方法直接求解得到描述眼底图像变化的仿射矩阵，通过所述仿射矩阵矩阵获得图像配准。
9.一种基于深度学习的眼底图像匹配系统，其特征在于，包括：
模型训练模块，用于将眼底图像输入深度神经网络模型进行训练获得同时实现关键点检测和特征提取的深度神经网络模型，所述深度眼底图像模型包括一个编码器网络和两个解码器网络；
模型输出模块，用于将待测眼底图像输入同时实现关键点检测和特征提取的深度神经网络模型，生成关键点概率图和描述特征图；
特征集合提取模块，用于根据关键点概率图和描述特征获得关键点坐标集合和关键点特征集合；
匹配集生成模块，用于将两张待匹配眼底图像对应的将所述关键点坐标集合和关键点特征集合进行匹配，获得匹配集；
身份验证模块，用于根据所述匹配集计算仿射变换的参数，实现图像配准，根据所述匹配集确定匹配的外点和内点，并根据所述内点的数量进行身份验证。
10.一种存储一个或多个程序的计算机可读存储介质，其特征在于，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据权利要求1至8任一项所述的深度学习的眼底图像匹配方法。
CN202210667546.7A 2022-06-14 2022-06-14 一种基于深度学习的眼底图像匹配方法、系统和可读介质 Pending CN114926892A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210667546.7A CN114926892A (zh) 2022-06-14 2022-06-14 一种基于深度学习的眼底图像匹配方法、系统和可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210667546.7A CN114926892A (zh) 2022-06-14 2022-06-14 一种基于深度学习的眼底图像匹配方法、系统和可读介质

Publications (1)

Publication Number Publication Date
CN114926892A true CN114926892A (zh) 2022-08-19

Family

ID=82813951

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210667546.7A Pending CN114926892A (zh) 2022-06-14 2022-06-14 一种基于深度学习的眼底图像匹配方法、系统和可读介质

Country Status (1)

Country Link
CN (1) CN114926892A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115546521A (zh) * 2022-11-07 2022-12-30 佳木斯大学 基于关键点响应约束的点匹配方法
CN115601576A (zh) * 2022-12-12 2023-01-13 云南览易网络科技有限责任公司（Cn） 图像特征匹配方法、装置、设备及存储介质
CN115760807A (zh) * 2022-11-24 2023-03-07 湖南至真明扬技术服务有限公司 一种视网膜眼底图像配准方法及系统
CN117474906A (zh) * 2023-12-26 2024-01-30 合肥吉麦智能装备有限公司 脊柱x光图像匹配方法及术中x光机复位方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115546521A (zh) * 2022-11-07 2022-12-30 佳木斯大学 基于关键点响应约束的点匹配方法
CN115760807A (zh) * 2022-11-24 2023-03-07 湖南至真明扬技术服务有限公司 一种视网膜眼底图像配准方法及系统
CN115760807B (zh) * 2022-11-24 2024-01-19 北京至真健康科技有限公司 一种视网膜眼底图像配准方法及系统
CN115601576A (zh) * 2022-12-12 2023-01-13 云南览易网络科技有限责任公司（Cn） 图像特征匹配方法、装置、设备及存储介质
CN117474906A (zh) * 2023-12-26 2024-01-30 合肥吉麦智能装备有限公司 脊柱x光图像匹配方法及术中x光机复位方法
CN117474906B (zh) * 2023-12-26 2024-03-26 合肥吉麦智能装备有限公司 基于脊柱x光图像匹配的术中x光机复位方法

Similar Documents

Publication Publication Date Title
CN111709409B (zh) 人脸活体检测方法、装置、设备及介质
US11830230B2 (en) Living body detection method based on facial recognition, and electronic device and storage medium
CN114926892A (zh) 一种基于深度学习的眼底图像匹配方法、系统和可读介质
CN105917353B (zh) 用于生物认证的特征提取及匹配以及模板更新
CN111444881A (zh) 伪造人脸视频检测方法和装置
CN110569756B (zh) 人脸识别模型构建方法、识别方法、设备和存储介质
CN110728209A (zh) 一种姿态识别方法、装置、电子设备及存储介质
CN110490158B (zh) 一种基于多级模型的鲁棒人脸对齐方法
CN111754396B (zh) 脸部图像处理方法、装置、计算机设备和存储介质
CN111783748B (zh) 人脸识别方法、装置、电子设备及存储介质
CN109214298B (zh) 一种基于深度卷积网络的亚洲女性颜值评分模型方法
CN113011253B (zh) 基于ResNeXt网络的人脸表情识别方法、装置、设备及存储介质
CN106529395A (zh) 基于深度置信网络和k均值聚类的签名图像鉴定方法
CN115984930A (zh) 微表情识别方法、装置、微表情识别模型的训练方法
CN111541911A (zh) 视频检测方法和装置、存储介质及电子装置
CN110969101A (zh) 一种基于hog和特征描述子的人脸检测与跟踪方法
CN114596608A (zh) 一种基于多线索的双流视频人脸伪造检测方法及系统
CN104915641A (zh) 基于android平台获取人脸图像光源方位的方法
CN112434576A (zh) 一种基于深度相机的人脸识别方法及系统
CN111881803A (zh) 一种基于改进YOLOv3的畜脸识别方法
CN116229528A (zh) 一种活体掌静脉检测方法、装置、设备及存储介质
CN110991223B (zh) 一种基于迁移学习的美瞳识别方法及系统
CN111428670B (zh) 人脸检测方法、装置、存储介质及设备
CN110472495B (zh) 一种基于图形推理全局特征的深度学习人脸识别方法
Emeršič et al. The unconstrained ear recognition challenge 2019-arxiv version with appendix

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination