CN115131503A - 一种虹膜三维识别的健康监测方法及其系统 - Google Patents

一种虹膜三维识别的健康监测方法及其系统 Download PDF

Info

Publication number
CN115131503A
CN115131503A CN202210765573.8A CN202210765573A CN115131503A CN 115131503 A CN115131503 A CN 115131503A CN 202210765573 A CN202210765573 A CN 202210765573A CN 115131503 A CN115131503 A CN 115131503A
Authority
CN
China
Prior art keywords
iris
layer
convolution
data
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210765573.8A
Other languages
English (en)
Inventor
麦汇佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chu Chu Shengji Dongguan Medical Co ltd
Original Assignee
Chu Chu Shengji Dongguan Medical Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chu Chu Shengji Dongguan Medical Co ltd filed Critical Chu Chu Shengji Dongguan Medical Co ltd
Priority to CN202210765573.8A priority Critical patent/CN115131503A/zh
Publication of CN115131503A publication Critical patent/CN115131503A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及健康监测技术领域，尤其是一种虹膜三维识别的健康监测方法及其系统。本发明的方法主要包括采集虹膜数据并对数据进行标注、对采集和标注后的数据进行虹膜分割，对分割后的虹膜图像进行三维重构，对三维虹膜数据进行分析预测四个步骤。本发明的系统包括虹膜图像采集模块、虹膜分割模块、虹膜图像三维重构模块、和三维虹膜数据的分析预测模块；实现各步骤的功能。本发明的系统和方法可以基于虹膜识别，实现高度自动化、精确的健康监测；可以用于基于虹膜识别的健康监测。

Description

一种虹膜三维识别的健康监测方法及其系统
技术领域
本发明涉及健康监测技术领域，尤其是一种虹膜三维识别的健康监测方法及其系统。
背景技术
虹膜是眼睛内部比较重要的一个组成部分，人体的某些病变化会在虹膜的性状上体现出来；因此，通过监测虹膜性状的变化可以监测到人体身体健康状态的变化。
目前的虹膜健康检测大多是人工检测诊断，即通过人工的方式来判断是否存在某些健康风险。而人工检测有诸多的问题；如时间长，效率低；而且虹膜检测师需要一段时间的培训学习才可以给人做虹膜诊断，存在一定的学习时间成本；人工检测也存在主观影响，导致每一个虹膜检测师做出的判断有可能存在差异。
近年也有一些计算机智能的虹膜健康检测的方案，但它们也都是基于虹膜人工诊断上运用计算机视觉的技术模拟人工提取虹膜上的特征点，如运用灰度化处理、二值化、轮廓提取、高斯滤波等等技术；但这些技术所提取的都是小部分人工已知发现的变态特征，而且这些特征非常有限，仍有许多虹膜上已知的异常特征无法提取；如虹膜纤维是否松散、虹膜自主神经环的分割比例等；最后还是需要人工辅助诊断，不能实现虹膜健康检测的高智能或完全智能化。
此外，二维基础上的图像特征提取，也容易存在精确度不高的问题。
发明内容
本发明解决的技术问题在于提供一种虹膜三维识别的健康监测方法及其系统；可以基于虹膜图像三维构建基础上的高度自动化的、精确监测。
本发明解决上述技术问题的技术方案是：
所述的方法主要包括采集虹膜数据并对数据进行标注、对采集和标注后的数据进行虹膜分割，对分割后的虹膜图像进行三维重构，对三维虹膜数据进行分析预测四个步骤。
所述的采集虹膜数据并对数据进行标注是利用摄像机、手机摄像头类的虹膜数据采集设备给活体的左右眼的虹膜分别拍照，对拍摄获得的虹膜图片进行虹膜与巩膜的分界及位置标注；并对应标注记录活体的性别、年龄，以及不良症状、所患疾病等健康状况信息。
所述的采集虹膜数据时对每个虹膜从不同的角度拍摄多张图片。
所述的方法是对采集的虹膜图像利用卷积神经网络算法的Unet网络模型做语义分割；即将采集的大量的虹膜图片数据及相应的虹膜标注信息输入到Unet网络模型中进行训练；进行下采样和上采样，使Unet网络模型训练、学习找到要分割数据的特征，对虹膜图片边界进行精确分割；在完成训练后，可对输入的待分割虹膜图片进行虹膜分割。
所述的虹膜分割包括以下步骤：
A、将采集的虹膜图像数据分为训练集，验证集，测试集，分别用于训练、验证和测试；并分别归类到训练集、验证集和测试集；对分类、归类的所有图像统一尺寸，并进行线性归一化处理；
B、将归一化之后的图像输入Unet网络模型中，采用sigmoid或softmax层将该图像数据输出为通道数为1的概率矩阵，矩阵尺寸与输入图像尺寸相同，矩阵中的每个数值即为该点被分类为目标组织的概率；
C、采用Cross-entropy loss交叉熵损失函数或Focal loss最为损失函数计算概率矩阵中每个数值与金标准的误差，通过梯度下降法和反向传播方法将误差用于Unet网络模型的权重、偏差等参数调整，优化Unet网络模型的分类能力；
D、将验证集数据输入到经过B，C步骤优化后的Unet网络模型中，将输出结果和金标准进行比较，比较的结果使用accuracy和戴斯分数进行评估；
E、步骤B至D为一个训练周期，重复步骤B至D的周期若干次，直至验证集的accuracy数值在20次周期内无改善，即优化值小于＜10-8，结束训练；
F、将测试集图像输入训练结束后的Unet网络模型中，图像经过sigmoid或softmax层后，取θ＝0.5为阈值输出分类结果；得到分割结果的图像。
所述的下采样中，首先是输入通道数为1、长宽为h x l的矩阵，接着是4次重复过程；每次过程分为卷积和池化两个过程；
卷积过程：输入图像经过连续的2个卷积层，分别为第一，第二卷积层；其中，卷积核大小为3x3，2个卷积层卷积核数量均为u，该卷积核的数量为初始卷积核数量；该过程中，步长为1，为保证输出后图像尺寸不发生改变，在输入图像时周围做补“0”处理，该过程后，输出图像为u个尺寸为h x l，通道数为u的矩阵；紧接着利用激活函数ReLU，PReLU或Leakys进行特征提取；
池化过程：输入图像经过第一，第二卷积层后，经过第一个最大池化层，其中，池化矩阵尺寸为2x2；该过程中，步长为2，输出图像尺寸发生改变；该过程后，输出图像为u个尺寸为h/2 x l/2，通道数为u的矩阵；该过程中，图像的特征位置信息被保存，每个位置最大数值被保存，图像数据被降维；
以上卷积和池化过程被重复执行4次，其中，在第n+1次执行的过程中，卷积层中卷积核的数量是第n次执行过程中卷积层卷积核的2倍；但在每次执行的卷积过程中，2个卷积层中卷积核的数量相等，因此，在第2，3，4次执行卷积过程时，经过的卷积层及其卷积核数量分别为第三，第四卷积层：2u，第五，第六卷积层：4u，第七，第八卷积层：8u，每经过两个卷积层后，都经过一个最大池化层，其分别为：第二、第三和第四最大池化层。每次池化过程中，池化层参数不发生改变；
在最后一次池化过程后，矩阵再次经过两个卷积核数量为16u的卷积层，即第九和第十卷积层，下采样过程结束；输出数据为尺寸h/32 x l/32，通道数为16u的矩阵；
前述的下采样包括：输入层，第一，第二卷积层，第一最大池化层，第三，第四卷积层，第二最大池化层，第五，第六卷积层，第三最大池化层，第七，第八卷积层，第四最大池化层，第九，第十卷积层；
上采样过程从第一个反卷积层开始，输入矩阵通过一个反卷积核尺寸为2x2后，被扩大为h/16 x h/16的矩阵，通道数是原来的一半，即8u；经过该层后，和位于第八卷积层的输出特征图相拼接，该拼接中，仅通道数扩大为原来的两倍，特征图本身尺寸不变；拼接后图像经过连续两个卷积层，即第十一，第十二卷积层，其中，卷积核数量为8u，尺寸为2x2；
上述过程被重复四次，经过第二反卷积层后，与第六卷积层相拼接；再经过第十三，第十四卷积层，其中卷积核数量为4u；经过第三反卷积层后，与第四卷积层拼接；再经过第十五，第十六卷积层，卷积核数量为2u；经过第四反卷积层后，与第二卷积层拼接；再经过第十七，第十八卷积层，卷积核数量为u；反卷积层核尺寸和卷积核尺寸发生改变。经过上述过程后，最后再经过一个卷积核尺寸为1x1，数量为u的卷积层，最终输出结果为尺寸为h xl，通道数为1的矩阵；上采样过程结束；
前述的上采样过程包括：第一反卷积层，第十一、第十二卷积层；第二反卷积层，第十三、第十四反卷积层；第三反卷积层，第十五、第十六卷积层；第四反卷积层，第十七，第十八卷积层；第十九卷积层，输出层。
所述的对分割后的虹膜图像进行三维重构是利用SFM算法生成稀疏的mesh网格，然后再利用MVS算法细化SFM算法获得的网络，从而获得虹膜的密集3D点云数据。
所述的SFM算法是先从检测图像中提取2D特征表征；这些图像特征的表示为图像中的一个小区域；通过这些唯一的特征得到一个比较粗糙的3D稀疏点云数据和每一张图片对应的相机参数。
MVS算法是几乎对照片中的每个像素点都进行匹配，重建每一个像素点的三维坐标，细化通过SFM算法获得的网格，产生密集重构的密集3D点云数据。
所述的对三维虹膜数据进行分析预测是将虹膜图像经过三维重构后得到的点云数据和对应的健康标注信息，输入到PointNet网络模型上进行多分类任务的AI训练，让PointNet网络模型自主学习，找到各个不良症状和患有不同疾病的虹膜数据特征，训练好的和测试好的PointNet虹膜健康检测模型对新的受检者的虹膜做AI的健康监测和预判。
所述的Pointnet网络模型包括如下主要流程为：
A、输入为一帧的全部点云数据的集合，表示为一个nx3的2d tensor(张量)，其中n代表点云数量，3对应xyz坐标；
B、输入数据先通过和一个T-Net学习到的转换矩阵相乘来对齐，保证模型对特定空间转换的不变性；
C、通过多次mlp对各点云数据进行特征提取后，再用一个T-Net对特征进行对齐；
D、在特征的各个维度上执行maxpooling操作得到最终的全局特征；
E、将全局特征通过mlp来预测最后的分类分数；
所述的mlp是多层感知机，用于提取点云的特征，采用共享权重的卷积；
所述的max pooling是汇总所有点云的信息，进行最大池化，得到点云的全局信息；
T-Net将输入的点云数据作为nx3x1单通道图像，接三次卷积和一次池化后，再重塑为1024个节点，然后接两层全连接，网络除最后一层外都使用了ReLU激活函数和批标准化；所述的T-Net 3x3，对输入点云进行对齐：位姿改变，使改变后的位姿更适合分类/分割；T-Net 64x64对64维特征进行对齐。
所述的方法还包括前后虹膜数据对比是同一活体在不同时间段检测后获得相应的虹膜点云三维数据，将这两次三维数据与一个健康、标注为无任何症状与疾病的虹膜三维点云数据进行重叠对比。
所述的对比流程是：
A、首先获得两个不同时间检测的同一个活体虹膜的点云数据，分别是上一次记录的虹膜点云数据和此次检测得到的的虹膜点数据；此外，还有一个无任何症状与疾病的健康虹膜标本的三维点云数据；
B、分别将前后检测的虹膜点云数据与健康标本点云数据进行差异值计算，采用开源的PCL(Point Cloud Library)库中的pcl：：SegmentDifferences<PointT>类实现获取两个空间对齐点云之间的均值标准差，并在给定的最大距离阈值下返回它们之间的差值；
C、通过步骤B得到两个差值，分别是上一次虹膜的检测与健康标本的差值，与此次虹膜检测与健康标本的差值；如此次的差值比上一次的差值大，则判断健康程度下降有恶化，反之则健康程度好转。
所述的系统包括虹膜图像采集模块、虹膜分割模块、虹膜图像三维重构模块、和三维虹膜数据的分析预测模块；
所述的虹膜图像采集模块实现虹膜图像的采集，并对虹膜图像进行虹膜与巩膜的分界及位置标注，并对应标注记录活体的性别、年龄，以及不良症状、所患疾病等健康状况信息；
所述的虹膜分割模块实现对采集和标注后的虹膜图像进行语义分割；将采集的大量的虹膜图像数据及相应的虹膜标注信息输入到Unet网络模型中进行训练；进行下采样和上采样，使Unet网络模型训练、学习找到要分割数据的特征，对虹膜图片边界进行精确分割；在完成训练后，可对输入的待分割虹膜图片进行虹膜分割；
所述的虹膜图像三维重构模块对分割后的二维虹膜图像，利用SFM算法、MVS算法进行三维重构，获得虹膜的点云三维数据；即通过SFM算法先从检测图像中提取2D特征表征；这些图像特征的表示为图像中的一个小区域，通过这些唯一的特征生成稀疏的mesh网格；再运用MVS算法重建每一个像素点的三维坐标，细化通过SFM算法获得的网格，产生密集重构的密集3D点云数据。
所述的系统还包括前后虹膜数据对比模块，所述模块是获取同一活体在不同时间段检测后获得相应的虹膜点云三维数据，将这两次三维数据与一个健康、标注为无任何症状与疾病的虹膜三维点云数据进行重叠对比；获取两个空间对齐点云之间的均值标准差，分别是上一次虹膜的检测与健康标本的差值，与此次虹膜检测与健康标本的差值；如此次的差值比上一次的差值大，则判断健康程度下降有恶化，反之则健康程度好转。
本发明对获取的二维虹膜图像进行虹膜分割，然后进行三维重构，可以对新输入的虹膜图像高智能化、精确的检测；节省虹膜健康检测的人力成本和时间成本，使大众更容易接触和便于获取检测结果。此外，通过本发明的方法和系统可以实现更多特征提取与发现，增强系统对虹膜特征尽可能多的特征提取，甚至要发觉未被发现的特征；从而提高检测的准确性和多样性。虹膜三维点云数据的前后对比、数据重叠；也可以监测个体的健康变化状态。
附图说明
下面结合附图对本发明进一步说明：
图1是本发明系统结构图；
图2是本发明Unet网络模型结构图；
图3是本发明虹膜分割效果图；
图4是本发明虹膜图像三维重构后的效果图；
图5是本发明PointNet网络模型结构图；
图6是本发明T-Net网络结构图。
具体实施方式
如图1所示，本发明基于虹膜识别的健康监测系统所述的系统包括虹膜图像采集模块、虹膜分割模块、虹膜图像三维重构模块、和三维虹膜数据的分析预测模块。虹膜图像采集模块实现虹膜图像的采集，并对虹膜图像进行虹膜与巩膜的分界及位置标注，并对应标注记录活体的性别、年龄，以及不良症状、所患疾病等健康状况信息。虹膜分割模块实现对采集和标注后的虹膜图像进行语义分割；将采集的大量的虹膜图像数据及相应的虹膜标注信息输入到Unet网络模型中进行训练；进行下采样和上采样，使Unet网络模型训练、学习找到要分割数据的特征，对虹膜图片边界进行精确分割；在完成训练后，可对输入的待分割虹膜图片进行虹膜分割。虹膜图像三维重构模块对分割后的二维虹膜图像，利用SFM算法、MVS算法进行三维重构，获得虹膜的点云三维数据；即通过SFM算法先从检测图像中提取2D特征表征；这些图像特征的表示为图像中的一个小区域，通过这些唯一的特征生成稀疏的mesh网格；再运用MVS算法重建每一个像素点的三维坐标，细化通过SFM算法获得的网格，产生密集重构的密集3D点云数据。本发明的系统还包括前后虹膜数据对比模块；该模块是获取同一活体在不同时间段检测后获得相应的虹膜点云三维数据，将这两次三维数据与一个健康、标注为无任何症状与疾病的虹膜三维点云数据进行重叠对比；获取两个空间对齐点云之间的均值标准差，分别是上一次虹膜的检测与健康标本的差值，与此次虹膜检测与健康标本的差值；如此次的差值比上一次的差值大，则判断健康程度下降有恶化，反之则健康程度好转。
本发明的方法主要包括采集虹膜数据并对数据进行标注、虹膜分割、虹膜图像三维重构、三维虹膜数据分析预测、前后虹膜数据对比五个步骤。各步骤详述如下：
步骤一、采集虹膜数据并对数据进行标注
用虹膜数据采集设备(比如摄像机、手机摄像头等)给活体的左右眼的虹膜分别拍照，每个虹膜从不同的角度拍摄多张图片。对拍摄获得的虹膜图片标注好位置和分割(即虹膜和巩膜的分界)信息；同时，对应标注记录活体的性别、年龄以及健康状况等信息，健康状况信息包括不良症状以及所患疾病等。为了便于后续的分割训练和分类训练，以获得精确的判决结果；此步骤中，可以根据需要采集较大数量活体的虹膜数据。
步骤二、虹膜分割
对步骤一中采取的虹膜图像进行智能虹膜分割，本发明中采用的是卷积神经网络算法的Unet网络模型做语义分割。将采集的大量的虹膜图片数据及相应的虹膜标注分割信息一起输入到Unet网络模型中进行训练；即利用Unet网络模型进行下采样(卷积操作)和上采样(反卷积操作)，并对应到标注好的分割信息；使Unet网络模型训练、学习找到要分割数据特征；实现对虹膜图片边界的精确分割。当Unet网络模型完成训练后，即可对输入的待分割虹膜图片进行虹膜分割。
使用基于Unet网络模型获取目标图像的主要包括以下步骤：
1、将采集的虹膜图像数据分为训练集，验证集，测试集；即将采集的虹膜图像一分部用于训练，一部分用于验证，一部分用于测试；并分别归类到训练集、验证集和测试集；为保障分割的精确度；一般可以将百分之八十的虹膜图像用于训练；剩余的部分平分分别用于验证和测试。对分类、归类的所有图像尺寸统一，并进行归一化处理。在本申请中，采用的是线性归一化方法，其线性归一化采用公式如下：
Figure BDA0003725393700000101
其中，xi为归一化之前某图像的像素值，xmax和xmin分别为归一化之前集合中图像的最大和最小像素值，x′i为归一化之后某图像的像这值。
2、将归一化之后的图像输入优化后的Unet网络模型中，图像经过Unet网络模型后，采用sigmoid或softmaxs层【它们都可以将一个实数映射到一个(0到1)区间的概率数值】，将该图像数据输出为通道数为1的概率矩阵，该矩阵尺寸与输入图像尺寸相同，该矩阵中的每个数值即为该点被分类为目标组织的概率。sigmoid或softmaxs的计算公式如下：
Figure BDA0003725393700000111
3、采用Cross-entropy loss交叉熵损失函数或Focal loss最为损失函数计算概率矩阵中每个数值与金标准的误差，通过梯度下降法和反向传播方法将误差用于Unet网络模型的权重、偏差等参数调整，优化Unet网络模型的分类能力。
Cross entropy loss和Focal loss损失函数表达式如下：
Figure BDA0003725393700000112
Figure BDA0003725393700000113
其中，gi为各像素点金标准；pi为经过神经网络后的输出值，即预测值；n为数值总量，k为常数，为优化数据中各类别数量分布不均衡的系数；γ为大于0的指定常数，以减少容易样本对损失函数的权重，并增加困难样本对损失函数的权重。
4、将验证集数据输入到经过2，3步骤优化后的Unet网络模型中，将输出结果和金标准进行比较，比较的结果使用accuracy(准确率计算：被分割对的样本数除以所有的样本数)和戴斯分数(Dice coefficient)进行评估。
5、步骤2至4为一个训练周期，重复步骤2至4的周期若干次，直至验证集的accuracy数值在20次周期内无改善，即优化值小于＜10-8，结束训练。
6、将测试集图像输入训练结束后的Unet网络模型中，图像经过sigmoid层后，取θ＝0.5为阈值输出分类结果，该输出过程可表示为以下公式：
Figure BDA0003725393700000121
其中，p′i为矩阵输出过程后的数值，pi为矩阵输出过程前概率矩阵中的数值。
7、经过步骤6的过程后，得到分割结果的图像。
见图2所示，前述步骤的Unet网络模型包括下采样和上采样两个部分，在下采样中，首先是输入通道数为1、长宽为h x l的矩阵，接着是4次重复过程；每次过程分为卷积和池化两个过程。
卷积过程：输入图像经过连续的2个卷积层，分别为第一，第二卷积层。其中，卷积核大小为3x3，2个卷积层卷积核数量均为u，该卷积核的数量为初始卷积核数量。该过程中，步长为1，为保证输出后图像尺寸不发生改变，在输入图像时周围做补“0”处理，该过程后，输出图像为u个尺寸为h x l，通道数为u的矩阵。紧接着利用激活函数ReLU，PReLU或Leakys进行特征提取，激活函数ReLU，PReLU或Leakys的表达式分别如下：
ReLU：f(xi)＝max(0，wxi+b)；
Figure BDA0003725393700000122
Figure BDA0003725393700000123
其中，xi为输入值，w为权重，b为偏差，ai为可变系数，c为取值范围[0，1]的固定系数。卷积过程结束后，图像的不同特征被提取出来。
池化过程：输入图像经过第一，第二卷积层后，经过第一个最大池化层，其中，池化矩阵尺寸为2x2。该过程中，步长为2，输出图像尺寸发生改变；该过程后，输出图像为u个尺寸为h/2 x l/2，通道数为u的矩阵。该过程中，图像的特征位置信息被保存，每个位置最大数值被保存，图像数据被降维。
以上两个过程被重复执行4次，其中，在第n+1次执行的过程中，卷积层中卷积核的数量是第n次执行过程中卷积层卷积核的2倍；但在每次执行的卷积过程中，2个卷积层中卷积核的数量相等，因此，在第2，3，4次执行卷积过程时，经过的卷积层及其卷积核数量分别为第三，第四卷积层：2u，第五，第六卷积层：4u，第七，第八卷积层：8u，每经过两个卷积层后，都经过一个最大池化层，其分别为：第二、第三和第四最大池化层。每次池化过程中，池化层参数不发生改变。
在最后一次池化过程以后，该矩阵再次经过两个卷积核数量为16u的卷积层，即第九和第十卷积层，下采样过程结束；输出数据为尺寸h/32 x l/32，通道数为16u的矩阵。
因此，下采样过程包括：输入层，第一，第二卷积层，第一最大池化层，第三，第四卷积层，第二最大池化层，第五，第六卷积层，第三最大池化层，第七，第八卷积层，第四最大池化层，第九，第十卷积层。
上采样过程从第一个反卷积层开始，输入矩阵通过一个反卷积核尺寸为2x2后，被扩大为h/16 x h/16的矩阵，通道数是原来的一半，即8u。经过该层后，和位于第八卷积层的输出特征图相拼接，该拼接中，仅通道数扩大为原来的两倍，特征图本身尺寸不变。拼接后图像经过连续两个卷积层，即第十一，第十二卷积层，其中，卷积核数量为8u，尺寸为2x2。
上述过程被重复四次，经过第二反卷积层后，与第六卷积层相拼接；再经过第十三，第十四卷积层，其中卷积核数量为4u；经过第三反卷积层后，与第四卷积层拼接；再经过第十五，第十六卷积层，卷积核数量为2u；经过第四反卷积层后，与第二卷积层拼接；再经过第十七，第十八卷积层，卷积核数量为u。反卷积层核尺寸和卷积核尺寸发生改变。经过上述过程后，最后再经过一个卷积核尺寸为1x1，数量为u的卷积层，最终输出结果为尺寸为h xl，通道数为1的矩阵。上采样过程结束。因此，上采样过程包括：第一反卷积层，第十一、第十二卷积层；第二反卷积层，第十三、第十四反卷积层；第三反卷积层，第十五、第十六卷积层；第四反卷积层，第十七，第十八卷积层；第十九卷积层，输出层。
以上步骤二完成后，即可得到如图3所示的分割效果。
步骤三、虹膜图像三维重构。
对分割后的二维虹膜图像，利用SFM(Structure from motion)算法、MVS(MultiView Stereo)算法对虹膜的二维数据进行三维重构，从而获得虹膜的点云三维数据。在三维重构过程中，使用开源的算法库VisualSFM：http://ccwu.me/vsfm/或openMVG：https://github.com/openMVG/openMVG实现SFM。
SFM是最经典的三维重建方案，SFM先从检测图像中提取2D特征(SIFT or ORB)表征。这些图像特征的表示为图像中的一个小区域(既一堆相邻像素)。2D特征可以可靠的表示高度纹理区域或者粗糙的几何形状；但是这些场景特征需要在整个场景中唯一(比如重复的墙纹理，难以匹配)。故而通过这些唯一的特征只能生成稀疏的mesh网格。当图像之间找到很多匹配项时，可以计算出图像之间的3D变换矩阵从而有效地给出两个相机之间地相对3D位置。
首先，获取一个虹膜的三个不同视角的二维图像，经虹膜分割方法，得到了同一个虹膜的三个不同视角分割好的图像数据。将这组图像数据输入到SFM算法中，对这个虹膜进行三维云稀疏重构，得到一个比较粗糙的3D稀疏点云数据和每一张图片对应的相机参数。
MVS算法是生成密集点云的方法，实现此方法我们使用了开源算法库OpenMVS：https://github.com/cdcseacave/openMVS/releases，MVS算法几乎对照片中的每个像素点都进行匹配，几乎重建每一个像素点的三维坐标，这样得到的点的密集程度可以较接近图像为我们展示出的清晰度。将MVS算法用于细化通过SFM算法获得的网格，从而产生密集重构得到了最终的密集3D点云数据。经过三维重建后的虹膜图像数据和虹膜3D点云数据效果图如图4所示。
步骤四、三维虹膜数据的分析预测
将虹膜图像经过步骤三的三维重构后得到的点云数据和对应的健康标注信息(症状或疾病的标签)，输入到PointNet网络模型上做多分类任务的AI训练，让PointNet网络模型自主学习，找到各个不良症状和患有不同疾病的虹膜数据特征，训练好的和测试好的PointNet虹膜健康检测模型就可以用来给新的受检者的虹膜做AI的健康监测和预判。
PointNet网络模型结构如图5所示。该网络模型中，输入的是虹膜3D点云数据(point clouds)，输出的是每一种的症状或疾病的标签。
Pointnet网络模型的关键流程为：
1、输入为一帧的全部点云数据的集合，表示为一个nx3的2d tensor(张量)，其中n代表点云数量，3对应xyz坐标。
2、输入数据先通过和一个T-Net学习到的转换矩阵相乘来对齐，保证了模型对特定空间转换的不变性。
3、通过多次mlp对各点云数据进行特征提取后，再用一个T-Net对特征进行对齐。
4、在特征的各个维度上执行maxpooling操作来得到最终的全局特征。
5、对分类任务，将全局特征通过mlp来预测最后的分类分数。
网络模型中各个部件的作用如下：
1)transform：
第一次，T-Net 3x3，对输入点云进行对齐：位姿改变，使改变后的位姿更适合分类/分割。
第二次，T-Net64x64，对64维特征进行对齐。
2)mlp：多层感知机，用于提取点云的特征，这里使用共享权重的卷积。
3)max pooling：汇总所有点云的信息，进行最大池化，得到点云的全局信息。
4)分类损失函数(Loss)：交叉熵损失。
5)T-Net网络结构如图6所示。
将输入的点云数据作为nx3x1单通道图像，接三次卷积(conv)和一次池化(MaxPlooling)后，再reshape(重塑)为1024个节点，然后接两层全连接，网络除最后一层外都使用了ReLU激活函数和批标准化。
根据上述的方法，网络输出的标签和该虹膜的健康标注信息(既正确的标签))做对比看是否吻合，然后根据对比的结果对网络的权重参数做自调整。不断输入不断调整网络，使网络的准确率达到一定的标准。就能用该网络模型对新的虹膜点云数据进行症状和疾病进行多分类的判断。
步骤五、前后虹膜数据对比。
同一活体在不同时间段检测后获得相应的虹膜点云三维数据，我们将这两次三维数据与一个健康、标注为无任何症状与疾病的虹膜三维点云数据进行重叠对比。对比流程如下：
1、首先我拿到两个不同时间检测的同一个活体虹膜的点云数据，分别是上一次记录的虹膜点云数据和此次检测得到的的虹膜点数据。此外，还有一个无任何症状与疾病的健康虹膜标本的三维点云数据。
2、我们分别将前后检测的虹膜点云数据与健康标本点云数据进行差异值计算，本申请使用开源的PCL(Point Cloud Library)库中的pcl：：SegmentDifferences<PointT>类实现获取两个空间对齐点云之间的均值标准差，并在给定的最大距离阈值下返回它们之间的差值。
3、通过步骤2得到两个差值，分别是上一次虹膜的检测与健康标本的差值，与此次虹膜检测与健康标本的差值；如此次的差值比上一次的差值大，则判断健康程度下降有恶化，反之则健康程度好转。
以上实施例是对本发明具体实施方式的描述，并非对本发明的限制；凡依上述描述可得之等效变换皆应在本发明的保护范围之内。

Claims (15)

1.一种虹膜三维识别的健康监测方法，其特征在于：所述的方法主要包括采集虹膜数据并对数据进行标注、对采集和标注后的数据进行虹膜分割，对分割后的虹膜图像进行三维重构，对三维虹膜数据进行分析预测四个步骤。
2.根据权利要求1所述的方法，其特征在于：所述的采集虹膜数据并对数据进行标注是利用摄像机、手机摄像头类的虹膜数据采集设备给活体的左右眼的虹膜分别拍照，对拍摄获得的虹膜图片进行虹膜与巩膜的分界及位置标注；并对应标注记录活体的性别、年龄，以及不良症状、所患疾病等健康状况信息。
3.根据权利要求2所述的方法，其特征在于：所述的采集虹膜数据时对每个虹膜从不同的角度拍摄多张图片。
4.根据权利要求1、2或3所述的方法，其特征在于：所述的方法是对采集的虹膜图像利用卷积神经网络算法的Unet网络模型做语义分割；即将采集的大量的虹膜图片数据及相应的虹膜标注信息输入到Unet网络模型中进行训练；进行下采样和上采样，使Unet网络模型训练、学习找到要分割数据的特征，对虹膜图片边界进行精确分割；在完成训练后，可对输入的待分割虹膜图片进行虹膜分割。
5.根据权利要求4所述的方法，其特征在于：所述的虹膜分割包括以下步骤：
A、将采集的虹膜图像数据分为训练集，验证集，测试集，分别用于训练、验证和测试；并分别归类到训练集、验证集和测试集；对分类、归类的所有图像统一尺寸，并进行线性归一化处理；
B、将归一化之后的图像输入Unet网络模型中，采用sigmoid或softmax层将该图像数据输出为通道数为1的概率矩阵，矩阵尺寸与输入图像尺寸相同，矩阵中的每个数值即为该点被分类为目标组织的概率；
C、采用Cross-entropy loss交叉熵损失函数或Focal loss最为损失函数计算概率矩阵中每个数值与金标准的误差，通过梯度下降法和反向传播方法将误差用于Unet网络模型的权重、偏差等参数调整，优化Unet网络模型的分类能力；
D、将验证集数据输入到经过B，C步骤优化后的Unet网络模型中，将输出结果和金标准进行比较，比较的结果使用accuracy和戴斯分数进行评估；
E、步骤B至D为一个训练周期，重复步骤B至D的周期若干次，直至验证集的accuracy数值在20次周期内无改善，即优化值小于＜10-8，结束训练；
F、将测试集图像输入训练结束后的Unet网络模型中，图像经过sigmoid或softmax层后，取θ＝0.5为阈值输出分类结果；得到分割结果的图像。
6.根据权利要求4所述的方法，其特征在于：所述的下采样中，首先是输入通道数为1、长宽为h x l的矩阵，接着是4次重复过程；每次过程分为卷积和池化两个过程；
卷积过程：输入图像经过连续的2个卷积层，分别为第一，第二卷积层；其中，卷积核大小为3x3，2个卷积层卷积核数量均为u，该卷积核的数量为初始卷积核数量；该过程中，步长为1，为保证输出后图像尺寸不发生改变，在输入图像时周围做补“0”处理，该过程后，输出图像为u个尺寸为h x l，通道数为u的矩阵；紧接着利用激活函数ReLU，PReLU或Leakys进行特征提取；
池化过程：输入图像经过第一，第二卷积层后，经过第一个最大池化层，其中，池化矩阵尺寸为2x2；该过程中，步长为2，输出图像尺寸发生改变；该过程后，输出图像为u个尺寸为h/2 x l/2，通道数为u的矩阵；该过程中，图像的特征位置信息被保存，每个位置最大数值被保存，图像数据被降维；
以上卷积和池化过程被重复执行4次，其中，在第n+1次执行的过程中，卷积层中卷积核的数量是第n次执行过程中卷积层卷积核的2倍；但在每次执行的卷积过程中，2个卷积层中卷积核的数量相等，因此，在第2，3，4次执行卷积过程时，经过的卷积层及其卷积核数量分别为第三，第四卷积层：2u，第五，第六卷积层：4u，第七，第八卷积层：8u，每经过两个卷积层后，都经过一个最大池化层，其分别为：第二、第三和第四最大池化层。每次池化过程中，池化层参数不发生改变；
在最后一次池化过程后，矩阵再次经过两个卷积核数量为16u的卷积层，即第九和第十卷积层，下采样过程结束；输出数据为尺寸h/32 x l/32，通道数为16u的矩阵；
前述的下采样包括：输入层，第一，第二卷积层，第一最大池化层，第三，第四卷积层，第二最大池化层，第五，第六卷积层，第三最大池化层，第七，第八卷积层，第四最大池化层，第九，第十卷积层；
上采样过程从第一个反卷积层开始，输入矩阵通过一个反卷积核尺寸为2x2后，被扩大为h/16 x h/16的矩阵，通道数是原来的一半，即8u；经过该层后，和位于第八卷积层的输出特征图相拼接，该拼接中，仅通道数扩大为原来的两倍，特征图本身尺寸不变；拼接后图像经过连续两个卷积层，即第十一，第十二卷积层，其中，卷积核数量为8u，尺寸为2x2；
上述过程被重复四次，经过第二反卷积层后，与第六卷积层相拼接；再经过第十三，第十四卷积层，其中卷积核数量为4u；经过第三反卷积层后，与第四卷积层拼接；再经过第十五，第十六卷积层，卷积核数量为2u；经过第四反卷积层后，与第二卷积层拼接；再经过第十七，第十八卷积层，卷积核数量为u；反卷积层核尺寸和卷积核尺寸发生改变。经过上述过程后，最后再经过一个卷积核尺寸为1x1，数量为u的卷积层，最终输出结果为尺寸为h x l，通道数为1的矩阵；上采样过程结束；
前述的上采样过程包括：第一反卷积层，第十一、第十二卷积层；第二反卷积层，第十三、第十四反卷积层；第三反卷积层，第十五、第十六卷积层；第四反卷积层，第十七，第十八卷积层；第十九卷积层，输出层。
7.根据权利要求4所述的方法，其特征在于：所述的对分割后的虹膜图像进行三维重构是利用SFM算法生成稀疏的mesh网格，然后再利用MVS算法细化SFM算法获得的网络，从而获得虹膜的密集3D点云数据。
8.根据权利要求7所述的方法，其特征在于：所述的SFM算法是先从检测图像中提取2D特征表征；这些图像特征的表示为图像中的一个小区域；通过这些唯一的特征得到一个比较粗糙的3D稀疏点云数据和每一张图片对应的相机参数。
9.根据权利要求7所述的方法，其特征在于：
MVS算法是几乎对照片中的每个像素点都进行匹配，重建每一个像素点的三维坐标，细化通过SFM算法获得的网格，产生密集重构的密集3D点云数据。
10.根据权利要求7所述的方法，其特征在于：所述的对三维虹膜数据进行分析预测是将虹膜图像经过三维重构后得到的点云数据和对应的健康标注信息，输入到PointNet网络模型上进行多分类任务的AI训练，让PointNet网络模型自主学习，找到各个不良症状和患有不同疾病的虹膜数据特征，训练好的和测试好的PointNet虹膜健康检测模型对新的受检者的虹膜做AT的健康监测和预判。
11.根据权利要求7所述的方法，其特征在于：所述的Pointnet网络模型包括如下主要流程为：
A、输入为一帧的全部点云数据的集合，表示为一个nx3的2d张量，其中n代表点云数量，3对应xyz坐标；
B、输入数据先通过和一个T-Net学习到的转换矩阵相乘来对齐，保证模型对特定空间转换的不变性；
C、通过多次mlp对各点云数据进行特征提取后，再用一个T-Net对特征进行对齐；
D、在特征的各个维度上执行maxpooling操作得到最终的全局特征；
E、将全局特征通过mlp来预测最后的分类分数；
所述的mlp是多层感知机，用于提取点云的特征，采用共享权重的卷积；
所述的max pooling是汇总所有点云的信息，进行最大池化，得到点云的全局信息；
T-Net将输入的点云数据作为nx3x1单通道图像，接三次卷积和一次池化后，再重塑为1024个节点，然后接两层全连接，网络除最后一层外都使用了ReLU激活函数和批标准化；所述的T-Net 3x3，对输入点云进行对齐：位姿改变，使改变后的位姿更适合分类/分割；T-Net64x64对64维特征进行对齐。
12.根据权利要求7所述的方法，其特征在于：所述的方法还包括前后虹膜数据对比是同一活体在不同时间段检测后获得相应的虹膜点云三维数据，将这两次三维数据与一个健康、标注为无任何症状与疾病的虹膜三维点云数据进行重叠对比。
13.根据权利要求12所述的方法，其特征在于：所述的对比流程是：
A、首先获得两个不同时间检测的同一个活体虹膜的点云数据，分别是上一次记录的虹膜点云数据和此次检测得到的的虹膜点数据；此外，还有一个无任何症状与疾病的健康虹膜标本的三维点云数据；
B、分别将前后检测的虹膜点云数据与健康标本点云数据进行差异值计算，采用开源的PCL(Point Cloud Library)库中的pcl：：SegmentDifferences<PointT>类实现获取两个空间对齐点云之间的均值标准差，并在给定的最大距离阈值下返回它们之间的差值；
C、通过步骤B得到两个差值，分别是上一次虹膜的检测与健康标本的差值，与此次虹膜检测与健康标本的差值；如此次的差值比上一次的差值大，则判断健康程度下降有恶化，反之则健康程度好转。
14.一种实现权利要求1所述的虹膜三维识别的健康监测方法的系统，其特征在于：所述的系统包括虹膜图像采集模块、虹膜分割模块、虹膜图像三维重构模块、和三维虹膜数据的分析预测模块；
所述的虹膜图像采集模块实现虹膜图像的采集，并对虹膜图像进行虹膜与巩膜的分界及位置标注，并对应标注记录活体的性别、年龄，以及不良症状、所患疾病等健康状况信息；
所述的虹膜分割模块实现对采集和标注后的虹膜图像进行语义分割；将采集的大量的虹膜图像数据及相应的虹膜标注信息输入到Unet网络模型中进行训练；进行下采样和上采样，使Unet网络模型训练、学习找到要分割数据的特征，对虹膜图片边界进行精确分割；在完成训练后，可对输入的待分割虹膜图片进行虹膜分割；
所述的虹膜图像三维重构模块对分割后的二维虹膜图像，利用SFM算法、MVS算法进行三维重构，获得虹膜的点云三维数据；即通过SFM算法先从检测图像中提取2D特征表征；这些图像特征的表示为图像中的一个小区域，通过这些唯一的特征生成稀疏的mesh网格；再运用MVS算法重建每一个像素点的三维坐标，细化通过SFM算法获得的网格，产生密集重构的密集3D点云数据。
15.根据权利要求14所述的系统，其特征在于：所述的系统还包括前后虹膜数据对比模块，所述模块是获取同一活体在不同时间段检测后获得相应的虹膜点云三维数据，将这两次三维数据与一个健康、标注为无任何症状与疾病的虹膜三维点云数据进行重叠对比；获取两个空间对齐点云之间的均值标准差，分别是上一次虹膜的检测与健康标本的差值，与此次虹膜检测与健康标本的差值；如此次的差值比上一次的差值大，则判断健康程度下降有恶化，反之则健康程度好转。
CN202210765573.8A 2022-07-01 2022-07-01 一种虹膜三维识别的健康监测方法及其系统 Pending CN115131503A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210765573.8A CN115131503A (zh) 2022-07-01 2022-07-01 一种虹膜三维识别的健康监测方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210765573.8A CN115131503A (zh) 2022-07-01 2022-07-01 一种虹膜三维识别的健康监测方法及其系统

Publications (1)

Publication Number Publication Date
CN115131503A true CN115131503A (zh) 2022-09-30

Family

ID=83382590

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210765573.8A Pending CN115131503A (zh) 2022-07-01 2022-07-01 一种虹膜三维识别的健康监测方法及其系统

Country Status (1)

Country Link
CN (1) CN115131503A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117523208A (zh) * 2024-01-08 2024-02-06 暨南大学 基于图像语义分割与分类的身份识别方法与系统
CN117634365A (zh) * 2024-01-25 2024-03-01 中国航空工业集团公司沈阳空气动力研究所 一种飞机气动力预测方法、电子设备及存储介质
CN118429962A (zh) * 2024-07-04 2024-08-02 无锡图创智能科技有限公司 一种用于三维点云物体分类识别的深度学习方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117523208A (zh) * 2024-01-08 2024-02-06 暨南大学 基于图像语义分割与分类的身份识别方法与系统
CN117523208B (zh) * 2024-01-08 2024-04-16 暨南大学 基于图像语义分割与分类的身份识别方法与系统
CN117634365A (zh) * 2024-01-25 2024-03-01 中国航空工业集团公司沈阳空气动力研究所 一种飞机气动力预测方法、电子设备及存储介质
CN117634365B (zh) * 2024-01-25 2024-04-26 中国航空工业集团公司沈阳空气动力研究所 一种飞机气动力预测方法、电子设备及存储介质
CN118429962A (zh) * 2024-07-04 2024-08-02 无锡图创智能科技有限公司 一种用于三维点云物体分类识别的深度学习方法

Similar Documents

Publication Publication Date Title
CN110378381B (zh) 物体检测方法、装置和计算机存储介质
CN112446270B (zh) 行人再识别网络的训练方法、行人再识别方法和装置
CN108182441B (zh) 平行多通道卷积神经网络、构建方法及图像特征提取方法
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
Al-Hiary et al. Fast and accurate detection and classification of plant diseases
CN115131503A (zh) 一种虹膜三维识别的健康监测方法及其系统
CN111797683A (zh) 一种基于深度残差注意力网络的视频表情识别方法
CN106897738A (zh) 一种基于半监督学习的行人检测方法
JP2019087181A (ja) 画像検査装置および方法
CN105139004A (zh) 基于视频序列的人脸表情识别方法
CN110879982A (zh) 一种人群计数系统及方法
CN111539320B (zh) 基于互相学习网络策略的多视角步态识别方法及系统
CN111611851B (zh) 模型生成方法、虹膜检测方法及装置
CN111009324A (zh) 脑网络多特征分析的轻度认知障碍辅助诊断系统及方法
CN111476806A (zh) 图像处理方法、装置、计算机设备和存储介质
CN113191489B (zh) 二值神经网络模型的训练方法、图像处理方法和装置
CN116580394A (zh) 一种基于多尺度融合和可变形自注意力的白细胞检测方法
CN113807356B (zh) 一种端到端的低能见度图像语义分割方法
CN112464983A (zh) 一种用于苹果树叶病害图像分类的小样本学习方法
CN104751186A (zh) 一种基于bp网络和小波变换的虹膜图像质量分类方法
CN116342894B (zh) 基于改进YOLOv5的GIS红外特征识别系统及方法
CN116704273A (zh) 一种自适应红外可见光双模融合检测方法
JP7225731B2 (ja) 多変数データシーケンスの画像化
CN111145145A (zh) 一种基于MobileNets的图像表面缺陷检测方法
CN106682604B (zh) 一种基于深度学习的模糊图像检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination