CN116823746B - 一种基于深度学习的瞳孔尺寸预测方法及装置 - Google Patents
一种基于深度学习的瞳孔尺寸预测方法及装置 Download PDFInfo
- Publication number
- CN116823746B CN116823746B CN202310695742.XA CN202310695742A CN116823746B CN 116823746 B CN116823746 B CN 116823746B CN 202310695742 A CN202310695742 A CN 202310695742A CN 116823746 B CN116823746 B CN 116823746B
- Authority
- CN
- China
- Prior art keywords
- pupil
- image data
- feature extraction
- preset
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000001747 pupil Anatomy 0.000 title claims abstract description 381
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000013135 deep learning Methods 0.000 title claims abstract description 26
- 238000000605 extraction Methods 0.000 claims abstract description 157
- 238000007781 pre-processing Methods 0.000 claims abstract description 21
- 230000004927 fusion Effects 0.000 claims abstract description 14
- 230000006870 function Effects 0.000 claims description 69
- 238000012545 processing Methods 0.000 claims description 40
- 238000003066 decision tree Methods 0.000 claims description 23
- 238000004364 calculation method Methods 0.000 claims description 21
- 238000010606 normalization Methods 0.000 claims description 20
- 238000013528 artificial neural network Methods 0.000 claims description 19
- 230000000877 morphologic effect Effects 0.000 claims description 18
- 230000007797 corrosion Effects 0.000 claims description 16
- 238000005260 corrosion Methods 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 238000005516 engineering process Methods 0.000 claims description 11
- 238000013519 translation Methods 0.000 claims description 7
- 238000012935 Averaging Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 239000010410 layer Substances 0.000 description 35
- 230000007246 mechanism Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 239000013598 vector Substances 0.000 description 7
- 238000012549 training Methods 0.000 description 6
- 238000007637 random forest analysis Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 239000002355 dual-layer Substances 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于深度学习的瞳孔尺寸预测方法及装置，所述方法包括，对获取的原始人眼图像进行数据预处理，获得所述原始人眼图像数据对应的瞳孔图像数据，根据预设的瞳孔特征提取模型中的第一特征提取网络、第二特征提取网络及第三特征提取网络分别对所述瞳孔图像数据进行特征提取，获得所述瞳孔图像数据对应的图像特征、卷积特征及深度特征，并对所述图像特征、卷积特征及深度特征进行特征融合，获得所述瞳孔图像数据对应的瞳孔特征，根据所述瞳孔特征，通过预设的瞳孔尺寸预测模型进行瞳孔尺寸预测，获得所述原始人眼图像数据对应的瞳孔尺寸预测值，提高了瞳孔尺寸预测的精准度。
Description
技术领域
本发明涉及图像处理的测量技术领域，尤其涉及一种基于深度学习的瞳孔尺寸预测方法及装置。
背景技术
在现有技术中，因瞳孔尺寸可以提供有关眼睛和身体健康的重要信息，瞳孔尺寸测量可以为眼睛功能研究提供重要的判断依据。瞳孔尺寸的变化可以衡量注意力水平、情感状态和认知负荷等心理和行为研究领域。传统的瞳孔尺寸测量方法主要依靠医疗设备，例如瞳孔测量仪或斑点测量仪。这些设备可以通过照射光线并观察反射光的大小来测量瞳孔的大小。但是，这些设备需要专业的技术人员进行操作，并且不便携和昂贵。
同时现有技术的特征提取能力较弱、特征融合方式简单，不能充分地提取出与瞳孔尺寸相关的特征，且无法将不同特征的信息进行有效的融合，造成瞳孔测量精度不高且不可靠。
发明内容
为了解决上述问题，本发明公开了一种基于深度学习的瞳孔尺寸预测方法及装置，提高瞳孔尺寸预测的精准度。
为了实现上述目的，本发明公开了一种基于深度学习的瞳孔尺寸预测方法，包括：
对获取的原始人眼图像进行数据预处理，获得所述原始人眼图像数据对应的瞳孔图像数据；
根据预设的瞳孔特征提取模型中的第一特征提取网络、第二特征提取网络及第三特征提取网络分别对所述瞳孔图像数据进行特征提取，获得所述瞳孔图像数据对应的图像特征、卷积特征及深度特征，并对所述图像特征、卷积特征及深度特征进行特征融合，获得所述瞳孔图像数据对应的瞳孔特征；
根据所述瞳孔特征，通过预设的瞳孔尺寸预测模型进行瞳孔尺寸预测，获得所述原始人眼图像数据对应的瞳孔尺寸预测值。
本发明公开了一种基于深度学习的瞳孔尺寸预测方法，包括对获取的原始人眼图像数据进行数据预处理，获得所述人眼图像数据对应的瞳孔图像数据，以使去除与瞳孔无关的数据，降低无关部分对瞳孔尺寸预测的影响，提高预测的效率及精准度，接着在获得所述瞳孔图像数据后，利用预设的瞳孔特征提取模型中的第一特征提取网络、第二特征提取网络及第三特征提取网络分别对所述瞳孔图像数据进行多维度的特征提取，获得所述瞳孔图像数据的多个瞳孔特征包括图像特征、卷积特征及深度特征，多方面的展示所述瞳孔图像数据对应的瞳孔特征，接着将所述多个特征进行融合，以使根据融合的特征进行尺寸预测，提高了瞳孔尺寸预测的准确性和鲁棒性，接着利用预设的瞳孔尺寸预测模型根据所述瞳孔特征进行尺寸预测，获得所述原始人眼图像数据对应的瞳孔尺寸预测值。
作为优选例子，在所述对获取的原始人眼图像进行数据预处理，包括：
对获取的原始人眼图像进行裁剪、缩放及归一化处理，获得所述原始人眼图像对应的初始瞳孔图像数据；
根据预设的数据增强技术对所述初始瞳孔图像数据进行数据扩充，获得所述初始瞳孔图像数据对应的瞳孔图像数据；所述数据增强技术包括旋转、翻转及平移。
本发明对原始人眼图像进行裁剪缩放及归一化处理，所述裁剪是为了去除无关部分，进行缩放是为了保持数据尺寸的一致性，进行归一化是为了将数据限定在相同的范围内，以便更好的进行瞳孔尺寸预测，此外，使用数据增强技术来扩充初始瞳孔图像数据对应的数据，以便于提高特征提取的准确率。
作为优选例子，在所述根据预设的瞳孔特征提取模型中的第一特征提取网络、第二特征提取网络及第三特征提取网络分别对所述瞳孔图像数据进行特征提取，包括：
根据预设在所述第一特征提取网络中的通道灰度函数及结构灰度函数分别对所述瞳孔图像数据进行通道灰度计算及结构灰度计算，获得所述瞳孔图像数据的通道灰度及结构灰度；
根据所述通道灰度及所述结构灰度，通过预设在所述第一特征提取网络中的腐蚀函数及膨胀函数，获得所述通道灰度对所述结构灰度的腐蚀值及膨胀值；
根据所述腐蚀值及所述膨胀值，通过预设在所述第一特征提取网络中的开运算函数及闭运算函数进行多次开闭运算，获得所述瞳孔图像数据对应的形态学特征图。
本发明设置所述第一特征提取网络以使提取所述瞳孔图像数据的基础图像特征，为此，本发明在第一特征提取网络中设置通道灰度函数及结构灰度函数以便于提取图像的通道灰度及结构灰度，接着对所述通道灰度及结构灰度进行腐蚀、膨胀后，在进行对此开闭运算，由此，获得瞳孔图像的形态学特征图。
作为优选例子，在所述根据预设的瞳孔特征提取模型中的第一特征提取网络、第二特征提取网络及第三特征提取网络分别对所述瞳孔图像数据进行特征提取，还包括：
通过所述第一特征提取网络提取所述瞳孔图像数据中各通道的像素值，并对所述各通道的像素值进行相加及取平均，获得所述瞳孔图像数据对应的通道像素值；
根据预设的二值图转换公式对所述通道像素值进行处理，获得所述瞳孔图像数据对应的二值图；
通过将所述二值图及所述形态学特征图进行融合，获得所述瞳孔图像数据对应的图像特征。
本发明根据所述瞳孔图像数据中各通道的像素值及预设的二值图转换公式提取图像数据对应的二值图，并将所述二值图与所述形态学特征图进行融合，进而获得所述瞳孔图像数据对应的图像特征，从图像特征角度提供瞳孔的信息，为后续进行瞳孔尺寸预测提供详细的特征信息，进而提高尺寸预测的精准度。
作为优选例子，在所述根据预设的瞳孔特征提取模型中的第一特征提取网络、第二特征提取网络及第三特征提取网络分别对所述瞳孔图像数据进行特征提取，获得所述瞳孔图像数据对应的图像特征、卷积特征及深度特征，包括：
根据预设在所述第二特征提取网络的卷积神经网络中的多层卷积层对所述瞳孔图像数据进行特征提取，获得所述瞳孔图像数据的第一卷积特征；
通过预设在所述的卷积神经网络中的注意力模块对所述第一卷积特征继续加权及选择，获得所述瞳孔图像数据的卷积特征。
本发明为了提高瞳孔尺寸预测的精准度，在第二特征提取网络中设置卷积神经网络以使提取瞳孔图像数据对应的卷积特征，以使为瞳孔尺寸提供更多的瞳孔信息，接着在所述卷积神经网络中还设置了注意力模块以使对所述卷积特征进行加权及选择，以便于增强卷积特征的注意力，进而提高所述特征的精准度。
作为优选例子，在所述根据预设的瞳孔特征提取模型中的第一特征提取网络、第二特征提取网络及第三特征提取网络分别对所述瞳孔图像数据进行特征提取，获得所述瞳孔图像数据对应的图像特征、卷积特征及深度特征，包括：
通过预设在所述第三特征提取网络中的位置编码器为所述瞳孔图像数据的特征矩阵中的每一个位置赋予位置编码；
根据所述位置编码，通过预设在所述第三特征提取网络中的Transformer模型捕捉所述特征矩阵中不同位置的依赖关系，获得所述瞳孔图像数据的初始深度特征；
通过预设在所述第三特征提取网络的演化算法对所述初始深度特征进行筛选，获得所述瞳孔图像数据对应的深度特征。
本发明利用位置编码器为所述瞳孔图像数据对应的特征矩阵中的每一个位值赋予位置编码，以便于预设的Transformer模型学习特征矩阵中的局部和全局上下文信息，进而提取所述瞳孔图像数据对应的初始深度特征，在获得所述初始深度特征后，利用预设的演化算法来进一步优化提取到的特征，对所述初始深度特征进行筛选，获得选择适应度最高的个体，将其对应的特征用于后期瞳孔预测，既减少了特征融合的计算量，同时为瞳孔尺寸预测提供了更丰富的特征信息，进一步的提高了瞳孔尺寸预测的精准度。
作为优选例子，在所述通过预设的瞳孔尺寸预测模型进行瞳孔尺寸预测，获得所述原始人眼图像数据对应的瞳孔尺寸预测值，包括：
将所述瞳孔特征输入预设的瞳孔尺寸预测模型，通过预设在所述瞳孔尺寸预测模型中的若干个不同的决策树分别对所述瞳孔特征进行预测，获得若干个不同的第一瞳孔尺寸预测值；
通过预设的回归计算函数或分类函数对所述若干个不同的第一瞳孔尺寸预测值进行处理，获得所述原始人眼图像对应的瞳孔尺寸预测值。
本发明利用预设在所述瞳孔尺寸预测模型中的不同决策树对所述瞳孔特征进行尺寸预测，获得若干个不同的第一瞳孔尺寸预测值，接着根据所述第一瞳孔尺寸预测值做回归处理或分类处理，获得所述人眼图像数据对应的瞳孔尺寸预测值，提高瞳孔尺寸预测的准确性。
另一方面，本发明还公开了一种基于深度学习的瞳孔尺寸预测装置，包括图像处理模块、特征提取模块及尺寸预测模块；
所述图像处理模块用于对获取的原始人眼图像进行数据预处理，获得所述原始人眼图像数据对应的瞳孔图像数据；
所述特征提取模块用于根据预设的瞳孔特征提取模型中的第一特征提取网络、第二特征提取网络及第三特征提取网络分别对所述瞳孔图像数据进行特征提取，获得所述瞳孔图像数据对应的图像特征、卷积特征及深度特征，并对所述图像特征、卷积特征及深度特征进行特征融合，获得所述瞳孔图像数据对应的瞳孔特征；
所述尺寸预测模块用于根据所述瞳孔特征，通过预设的瞳孔尺寸预测模型进行瞳孔尺寸预测，获得所述原始人眼图像数据对应的瞳孔尺寸预测值。
本发明公开了一种基于深度学习的瞳孔尺寸预测装置，包括对获取的原始人眼图像数据进行数据预处理，获得所述人眼图像数据对应的瞳孔图像数据，以使去除与瞳孔无关的数据，降低无关部分对瞳孔尺寸预测的影响，提高预测的效率及精准度，接着在获得所述瞳孔图像数据后，利用预设的瞳孔特征提取模型中的第一特征提取网络、第二特征提取网络及第三特征提取网络分别对所述瞳孔图像数据进行多维度的特征提取，获得所述瞳孔图像数据的多个瞳孔特征包括图像特征、卷积特征及深度特征，多方面的展示所述瞳孔图像数据对应的瞳孔特征，接着将所述多个特征进行融合，以使根据融合的特征进行尺寸预测，提高了瞳孔尺寸预测的准确性和鲁棒性，接着利用预设的瞳孔尺寸预测模型根据所述瞳孔特征进行尺寸预测，获得所述原始人眼图像数据对应的瞳孔尺寸预测值。
作为优选例子，所述图像处理模块包括预处理单元及数据增强单元；
所述预处理单元用于对获取的原始人眼图像进行裁剪、缩放及归一化处理，获得所述原始人眼图像对应的初始瞳孔图像数据；
所述数据增强单元用于根据预设的数据增强技术对所述初始瞳孔图像数据进行数据扩充，获得所述初始瞳孔图像数据对应的瞳孔图像数据；所述数据增强技术包括旋转、翻转及平移。
本发明对原始人眼图像进行裁剪缩放及归一化处理，所述裁剪是为了去除无关部分，进行缩放是为了保持数据尺寸的一致性，进行归一化是为了将数据限定在相同的范围内，以便更好的进行瞳孔尺寸预测，此外，使用数据增强技术来扩充初始瞳孔图像数据对应的数据，以便于提高特征提取的准确率。
作为优选例子，所述尺寸预测模块包括决策单元及处理单元；
所述决策单元用于将所述瞳孔特征输入预设的瞳孔尺寸预测模型，通过预设在所述瞳孔尺寸预测模型中的若干个不同的决策树分别对所述瞳孔特征进行预测，获得若干个不同的第一瞳孔尺寸预测值；
所述处理单元用于通过预设的回归计算函数或分类函数对所述若干个不同的第一瞳孔尺寸预测值进行处理，获得所述原始人眼图像对应的瞳孔尺寸预测值。
本发明利用预设在所述瞳孔尺寸预测模型中的不同决策树对所述瞳孔特征进行尺寸预测，获得若干个不同的第一瞳孔尺寸预测值，接着根据所述第一瞳孔尺寸预测值做回归处理或分类处理，获得所述人眼图像数据对应的瞳孔尺寸预测值，提高瞳孔尺寸预测的准确性。
附图说明
图1：为本发明实施例提供的一种基于深度学习的瞳孔尺寸预测方法的流程示意图；
图2：为本发明实施例提供的一种基于深度学习的瞳孔尺寸预测装置的结构示意图；
图3：为本发明另一实施例提供的一种基于深度学习的瞳孔尺寸预测方法的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
本发明实施例提供了一种基于深度学习的瞳孔尺寸预测方法，所述方法的具体实施流程请参照图1，主要包括步骤101至步骤103，所述步骤主要包括：
步骤101：对获取的原始人眼图像进行数据预处理，获得所述原始人眼图像数据对应的瞳孔图像数据。
在本实施例中，本步骤主要包括：对获取的原始人眼图像进行裁剪、缩放及归一化处理，获得所述原始人眼图像对应的初始瞳孔图像数据；根据预设的数据增强技术对所述初始瞳孔图像数据进行数据扩充，获得所述初始瞳孔图像数据对应的瞳孔图像数据；所述数据增强技术包括旋转、翻转及平移。
本实施例对获取的原始人眼图像进行裁剪缩放及归一化处理，所述裁剪是为了去除无关部分，进行缩放是为了保持数据尺寸的一致性，进行归一化是为了将数据限定在相同的范围内，以便更好的进行瞳孔尺寸预测，此外，使用数据增强技术来扩充初始瞳孔图像数据对应的数据，以便于提高特征提取的准确率。
步骤102：根据预设的瞳孔特征提取模型中的第一特征提取网络、第二特征提取网络及第三特征提取网络分别对所述瞳孔图像数据进行特征提取，获得所述瞳孔图像数据对应的图像特征、卷积特征及深度特征，并对所述图像特征、卷积特征及深度特征进行特征融合，获得所述瞳孔图像数据对应的瞳孔特征；
在本实施例中，本步骤主要包括：根据预设在所述第一特征提取网络中的通道灰度函数及结构灰度函数分别对所述瞳孔图像数据进行通道灰度计算及结构灰度计算，获得所述瞳孔图像数据的通道灰度及结构灰度；根据所述通道灰度及所述结构灰度，通过预设在所述第一特征提取网络中的腐蚀函数及膨胀函数，获得所述通道灰度对所述结构灰度的腐蚀值及膨胀值；根据所述腐蚀值及所述膨胀值，通过预设在所述第一特征提取网络中的开运算函数及闭运算函数进行多次开闭运算，获得所述瞳孔图像数据对应的形态学特征图。通过所述第一特征提取网络提取所述瞳孔图像数据中各通道的像素值，并对所述各通道的像素值进行相加及取平均，获得所述瞳孔图像数据对应的通道像素值；根据预设的二值图转换公式对所述通道像素值进行处理，获得所述瞳孔图像数据对应的二值图；通过将所述二值图及所述形态学特征图进行融合，获得所述瞳孔图像数据对应的图像特征。
进一步的，根据预设在所述第二特征提取网络的卷积神经网络中的多层卷积层对所述瞳孔图像数据进行特征提取，获得所述瞳孔图像数据的第一卷积特征；通过预设在所述的卷积神经网络中的注意力模块对所述第一卷积特征继续加权及选择，获得所述瞳孔图像数据的卷积特征。
最后，通过预设在所述第三特征提取网络中的位置编码器为所述瞳孔图像数据的特征矩阵中的每一个位置赋予位置编码；根据所述位置编码，通过预设在所述第三特征提取网络中的Transformer模型捕捉所述特征矩阵中不同位置的依赖关系，获得所述瞳孔图像数据据的初始深度特征；通过预设在所述第三特征提取网络的演化算法对所述初始深度特征进行筛选，获得所述瞳孔图像数据对应的深度特征。
本实施例在预设的瞳孔特征提取模型中设置不同的特征分支网络以此获取瞳孔图像不同的特征，包括图像特征及卷积特征和深度特征，以使多种能够从多个角度获取相关信息，提高了瞳孔尺寸预测的准确性和鲁棒性。
步骤103：根据所述瞳孔特征，通过预设的瞳孔尺寸预测模型进行瞳孔尺寸预测，获得所述原始人眼图像数据对应的瞳孔尺寸预测值。
在本实施例中，本步骤主要包括：将所述瞳孔特征输入预设的瞳孔尺寸预测模型，通过预设在所述瞳孔尺寸预测模型中的若干个不同的决策树分别对所述瞳孔特征进行预测，获得若干个不同的第一瞳孔尺寸预测值；
通过预设的回归计算函数或分类函数对所述若干个不同的第一瞳孔尺寸预测值进行处理，获得所述原始人眼图像对应的瞳孔尺寸预测值。
本实施例利用预设在所述瞳孔尺寸预测模型中的不同决策树对所述瞳孔特征进行尺寸预测，获得若干个不同的第一瞳孔尺寸预测值，接着根据所述第一瞳孔尺寸预测值做回归处理或分类处理，获得所述人眼图像数据对应的瞳孔尺寸预测值，提高瞳孔尺寸预测的准确性。
除上述方法外，本发明实施例还提供了一种基于深度学习的瞳孔尺寸预测装置，所述装置的具体结构组成请参照图2，包括图像处理模块201、特征提取模块202及尺寸预测模块203。
所述图像处理模块201用于对获取的原始人眼图像进行数据预处理，获得所述原始人眼图像数据对应的瞳孔图像数据；
所述特征提取模块202用于根据预设的瞳孔特征提取模型中的第一特征提取网络、第二特征提取网络及第三特征提取网络分别对所述瞳孔图像数据进行特征提取，获得所述瞳孔图像数据对应的图像特征、卷积特征及深度特征，并对所述图像特征、卷积特征及深度特征进行特征融合，获得所述瞳孔图像数据对应的瞳孔特征；
所述尺寸预测模块203用于根据所述瞳孔特征，通过预设的瞳孔尺寸预测模型进行瞳孔尺寸预测，获得所述原始人眼图像数据对应的瞳孔尺寸预测值。
在本实施例中，所述图像处理模块201包括预处理单元及数据增强单元；
所述预处理单元用于对获取的原始人眼图像进行裁剪、缩放及归一化处理，获得所述原始人眼图像对应的初始瞳孔图像数据；
所述数据增强单元用于根据预设的数据增强技术对所述初始瞳孔图像数据进行数据扩充，获得所述初始瞳孔图像数据对应的瞳孔图像数据；所述数据增强技术包括旋转、翻转及平移。
在本实施例中，所述特征提取模块202包括图像特征单元、卷积特征单元及深度特征单元；
所述图像特征单元用于根据预设在所述第一特征提取网络中的通道灰度函数及结构灰度函数分别对所述瞳孔图像数据进行通道灰度计算及结构灰度计算，获得所述瞳孔图像数据的通道灰度及结构灰度；根据所述通道灰度及所述结构灰度，通过预设在所述第一特征提取网络中的腐蚀函数及膨胀函数，获得所述通道灰度对所述结构灰度的腐蚀值及膨胀值；根据所述腐蚀值及所述膨胀值，通过预设在所述第一特征提取网络中的开运算函数及闭运算函数进行多次开闭运算，获得所述瞳孔图像数据对应的形态学特征图；通过所述第一特征提取网络提取所述瞳孔图像数据中各通道的像素值，并对所述各通道的像素值进行相加及取平均，获得所述瞳孔图像数据对应的通道像素值；根据预设的二值图转换公式对所述通道像素值进行处理，获得所述瞳孔图像数据对应的二值图；通过将所述二值图及所述形态学特征图进行融合，获得所述瞳孔图像数据对应的图像特征。
所述卷积特征单元用于根据预设在所述第二特征提取网络的卷积神经网络中的多层卷积层对所述瞳孔图像数据进行特征提取，获得所述瞳孔图像数据的第一卷积特征；通过预设在所述的卷积神经网络中的注意力模块对所述第一卷积特征继续加权及选择，获得所述瞳孔图像数据的卷积特征。
所述深度特征单元用于通过预设在所述第三特征提取网络中的位置编码器为所述瞳孔图像数据的特征矩阵中的每一个位置赋予位置编码；根据所述位置编码，通过预设在所述第三特征提取网络中的Transformer模型捕捉所述特征矩阵中不同位置的依赖关系，获得所述瞳孔图像数据据的初始深度特征；通过预设在所述第三特征提取网络的演化算法对所述初始深度特征进行筛选，获得所述瞳孔图像数据对应的深度特征。
在本实施例中，所述尺寸预测模块203包括决策单元及处理单元；
所述决策单元用于将所述瞳孔特征输入预设的瞳孔尺寸预测模型，通过预设在所述瞳孔尺寸预测模型中的若干个不同的决策树分别对所述瞳孔特征进行预测，获得若干个不同的第一瞳孔尺寸预测值；
所述处理单元用于通过预设的回归计算函数或分类函数对所述若干个不同的第一瞳孔尺寸预测值进行处理，获得所述原始人眼图像对应的瞳孔尺寸预测值。
本实施例公开的一种基于深度学习的瞳孔尺寸预测方法及装置，包括对获取的原始人眼图像数据进行数据预处理，获得所述人眼图像数据对应的瞳孔图像数据，以使去除与瞳孔无关的数据，降低无关部分对瞳孔尺寸预测的影响，提高预测的效率及精准度，接着在获得所述瞳孔图像数据后，利用预设的瞳孔特征提取模型中的第一特征提取网络、第二特征提取网络及第三特征提取网络分别对所述瞳孔图像数据进行多维度的特征提取，获得所述瞳孔图像数据的多个瞳孔特征包括图像特征、卷积特征及深度特征，多方面的展示所述瞳孔图像数据对应的瞳孔特征，接着将所述多个特征进行融合，以使根据融合的特征进行尺寸预测，提高了瞳孔尺寸预测的准确性和鲁棒性，接着利用预设的瞳孔尺寸预测模型根据所述瞳孔特征进行尺寸预测，获得所述原始人眼图像数据对应的瞳孔尺寸预测值。
实施例二
本实施例公开了另一种基于深度学习的瞳孔尺寸预测方法，所述方法的具体实施过程请参照图3，主要包括步骤301至步骤303，所述步骤主要包括：
步骤301：对获取的原始人眼图像数据进行预处理，获得所述原始人眼图像数据对应的瞳孔图像数据。
在本实施例中，本步骤具体为：对获取的原始人眼图像数据进行数据预处理，例如裁剪、缩放、归一化等，裁剪是为了去除无关部分，缩放是为了保持数据尺寸的一致性，归一化是为了将数据限定在相同的范围内，以便更好地进行训练和优化，在进行所述数据预处理时，还可以使用数据增强技术进行数据扩充，所述数据增强技术包括旋转、翻转、平移等。
步骤302：利用预训练的瞳孔特征提取模型对所述瞳孔图像数据进行特征提取，获得所述瞳孔图像数据的图像特征、卷积特征及深度特征，并对所述图像特征、卷积特征及深度特征进行特征融合，获得所述瞳孔图像数据对应的瞳孔特征。
在本实施例中，本步骤具体为：根据预训练好的瞳孔特征提取模型中的第一特征提取网络提取所述瞳孔图像数据的图像特征，利用所述瞳孔特征提取模型中的第二特征提取网络提取所述瞳孔图像数据的卷积特征及用所述瞳孔特征提取模型中的第三特征提取网络提取所述瞳孔图像数据的卷积特征。
示例性的，首先需要从大量的眼睛图像数据集中收集并标注瞳孔尺寸数据，这些数据可以来自于眼科医院或其他公共数据集，例如M IO-TCD数据集。在数据标注过程中，需要将瞳孔的大小标注在图像上，并将其转化为数字格式的标签，标注过程需要精确和一致，以确保根据所述进行标注后的眼睛图象数据集对所述瞳孔特征提取模型进行训练，以使训练出的模型具有高的准确性和可靠性。同时在收集所述眼睛图像数据集后，可对所述眼睛图像数据集进行裁剪、缩放、归一化及数据增强。
在本实施例中，在所述瞳孔特征提取模型中设置第一特征提取网络对经过预处理后的瞳孔图像进行形态特征提取操作和二值化操作，提取形态学特征与二值特征，并进行特征融合，在所述第一特征提取网络中设f(x,y)和g(x,y)为定义在二维离散空间F和G上的两个离散函数，其中f(x,y)为瞳孔图像每一通道在点(x,y)处的灰度函数，g(x,y)为结构元素在点(x,y)处的灰度函数，Df为f(x,y)的域，Dg为g(x,y)的域，则f(x,y)对g(x,y)的扩展腐蚀和扩展膨胀被分别定义为:
其中，dist算子为距离算子，u和v代表扩展膨胀学的参数，表示x轴方向的u个像素邻域，和y轴方向的v个像素邻域。
在经典形态学中，开、闭运算是去除比结构元素小的目标的一部分，现在希望寻求一种能把比结构元素小的目标作为一个整体直接去除的方法，同时把多尺度分析的概念运用到扩展形态学方法中。因此dist算子的选择是一个关键点，本实施例中选择定义如下：
定义扩展开、闭运算为：
根据上述开、闭运算的定义进行多次开闭运算，得到所述瞳孔图像数据对应的多幅形态学特征图像，获得瞳孔图像的形态学特征。
接着在提取图像的二值特征时，将采集到的物料图像各通道像素值相加后取平均，并采用如下公式转换为二值图：
其中，XT为图像各通道像素值相加后取平均。
将提取到的形态学特征与二值特征进行融合，融合方法为对应像素点位的像素值相加，获得所述瞳孔图像对应的图像特征。
在获得所述图像特征的同时，利用预设在所述瞳孔特征提取模型中的第二特征提取网络提取图像的卷积特征，在本实施例中，所述第二特征提取网络设置为基于注意力机制的深度卷积神经网络，在所述深度卷积神经网络中，使用多层卷积层对所述瞳孔图像数据进行特征提取，在本实施例中，假设输入的眼睛图像为x∈RH×W×C，其中H，W和C分别表示图像的高度、宽度和通道数。假设第i层卷积层的输出为 其中Hi，Wi和Ci分别表示该层卷积层的输出的高度、宽度和通道数。卷积层的输出可以通过以下公式计算：
Fi＝relu(Conv(Fi-1,Wi)+bi)
其中Conv(·)表示卷积操作，Wi表示第i层卷积层的权重参数，bi表示偏置参数，relu(·)表示激活函数，通常采用ReLU函数。卷积层的输出作为注意力模块的输入，进行注意力增强操作。
在注意力模块中，使用注意力机制对卷积层的特征进行加权和选择。假设输入的卷积特征为Fi-1，需要计算注意力权重然后将Fi-1和Ai作为输入传递给下一层卷积层。注意力权重的计算可以通过以下公式进行：
其中fij(·)表示注意力机制中的特征转换函数，wj表示权重参数，Z表示归一化系数，用于确保权重之和为1。特征转换函数和权重参数可以使用不同的方法进行学习和优化，例如全连接层或卷积层。
通过所述深度卷积神经网络中的多层卷积层及所述注意力模块获得所述瞳孔图像数据的卷积特征，进一步的，在所述基于注意力机制的深度卷积神经网络模型中，提供了一种基于反向传播的注意力损失函数，用于优化注意力权重的学习和调整。该损失函数可以通过以下公式进行计算：
其中N表示样本数量，Ci表示第i层卷积层的通道数。该损失函数的优化目标是最小化注意力权重的方差，以提高注意力的稳定性和准确性。具体来说，使用反向传播算法，将该损失函数与卷积层的反向传播结合起来，以实现联合优化。
在获得所述图像特征及所述卷积特征的同时，利用预设在所述深度卷积神经网络模型中的第三特征提取网络提取所述瞳孔图像数据的深度特征，在本实施例中，所述第三特征提取网络为一种基于Transformer和演化算法的特征提取网络，该网络通过引入Transformer来学习局部和全局上下文信息，并结合演化算法进行优化，使得提取到的特征更加准确和鲁棒。
首先，使用一个位置编码器来给瞳孔图像的特征矩阵中的每个位置赋予唯一的位置编码。具体而言，在位置编码器中，使用正弦和余弦函数来生成位置编码向量Pi,pos和Pi,dim，其中i是位置的索引，pos和dim分别是位置和维度。公式如下:
Pi,pos＝sin(i/100002d/D)
Pi,dim＝cos(i/100002d/D)
其中，D是位置编码向量的维度，d是该位置编码向量中的位置索引。
然后，使用Transformer模型来学习特征矩阵中的局部和全局上下文信息。具体而言，使用多头自注意力机制来捕捉不同位置之间的依赖关系，并使用残差连接和层归一化来稳定训练。公式如下:
其中，Q、K和V分别是查询、键和值，和/>是用于线性变换的权重矩阵，h是头数，WO是用于将多头拼接在一起的权重矩阵，dk是键的维度。
所述的层归一化是一种神经网络正则化技术，旨在减少神经网络训练中的内部协变量偏移问题。内部协变量偏移是指神经网络在训练过程中，由于每一层的参数发生变化，导致输入分布发生改变，从而使得每一层需要重新适应于新的输入分布，这种现象导致网络训练效率较低，收敛速度变慢。
层归一化是在单个样本上进行归一化，而不是在每个样本批次上进行归一化。具体来说，对于一个输入数据其归一化形式为：
其中，μ是输入数据的均值，σ是输入数据的标准差，⊙是按元素相乘，γ和β是可学习的参数向量，用于缩放和平移输入数据。与传统的批归一化不同，层归一化不需要计算样本批次的均值和标准差，而是计算单个样本的均值和标准差，从而避免了样本批次大小的限制。此外，层归一化可以在每层的输入上执行，而传统的批归一化只能在特定层的输出上执行。
最后，使用演化算法来进一步优化提取到的特征，具体而言，使用遗传算法来搜索特征空间，并选择最优的特征进行分类。每个个体都表示为一个二进制向量，其中每个元素表示相应的特征是否被选择。通过交叉、变异和选择等操作，可以不断迭代并逐渐优化个体的适应度。最终，选择适应度最高的个体，将其对应的特征用于分类任务。
在获得所述图像特征、卷积特征及所述深度特征后，对这3种特征进行特征融合，在本实施例中采用双层神经网络进行特征融合，所述双层神经网络中第1层为输入层，即将所述3种特征输入至神经网络，第二层为输出层，即将融合后的特征输出，获得所述瞳孔图像对应的瞳孔特征。
在本实施例中，基于上述的双层神经网络，提出一种创新性的损失函数，称为多角度交叉熵损失函数，根据所述多角度交叉熵损失函数对所述双层神经网络进行训练。
所述多角度交叉熵损失函数考虑到了样本之间的相似性。具体来说，该损失函数将分类问题看作是一个以样本为节点、以相似性为边的图模型。每个节点代表一个样本，每条边代表两个样本之间的相似性。本发明中使用相似性度量方法(如余弦相似度)来计算样本之间的相似性。根据这个图模型，将多角度交叉熵损失函数定义为：
其中，n表示样本数量，m表示类别数量，fi,j表示第i个样本属于第j个类别的得分，wi,j表示第i个样本和第j个样本之间的相似性权重，α是一个调节因子。
步骤303：根据所述瞳孔特征，基于预训练的瞳孔尺寸预测模型进行瞳孔尺寸预测，获得所述原始人眼图像对应的瞳孔尺寸预测值。
在本实施例中，本步骤主要包括：通过预设在所述瞳孔尺寸预测模型中的若干个不同的决策树分别对所述瞳孔特征进行预测，获得若干个不同的第一瞳孔尺寸预测值，再通过预设的回归计算函数或分类函数对所述若干个不同的第一瞳孔尺寸预测值进行处理，获得所述原始人眼图像对应的瞳孔尺寸预测值。
在本实施例中，该步骤具体为：在本实施例中，提供了一种创新性的随机森林预测算法，该算法的创新点在于结合了深度学习中的注意力机制，提出了一种基于注意力的随机森林模型，进而构建所述瞳孔尺寸预测模型，基于所述基于注意力的随机森林模型能够自适应地调整每个决策树的贡献，使得在预测过程中更关注对于目标预测有重要贡献的特征，在本实施例中，所述瞳孔尺寸预测模型的训练过程为：
对步骤301中获得的原始眼睛数据集进行随机采样，生成n个不同的采样数据集，对于每个采样数据集，使用随机森林算法生成k棵决策树，对于每个决策树，采用注意力机制调整每个特征在该决策树中的权重。
假设第i个特征在第j棵决策树中的权重为wij，则该特征的注意力得分为：
为了实现自适应调整每个特征的重要性，引入了一个注意力机制，通过学习每个特征在每个决策树中的注意力得分，来调整每个特征在预测中的重要性。
对于第j棵决策树，设注意力得分向量为aj＝[a1,a2,...,am]，则第i个特征在该决策树中的注意力权重wij为：
其中，m为该决策树中特征的总数。
注意力得分aj的计算方式为：
aj＝σ(Uvj+ba)
其中，U为权重矩阵，vj为第j棵决策树中所有特征的嵌入向量的加权平均值，ba为偏置项，σ为激活函数(如sigmoid函数)。
在所述瞳孔尺寸预测模型中生成若干个不同的决策树后，将所述提取的瞳孔特征分别输入到每个决策树中进行瞳孔尺寸预测，得到M个预测结果然后通过投票或者求平均值的方式得到最终的预测结果，在本实施例中，可采用回归的方式进行预测一个具体的值，则最终预测结果/>为：
也可采用分类的方式对瞳孔尺寸进行分类，进而得到一个区间值，举例：(0，0.5mm],(0.5mm,1mm],(1mm,1.5mm],(1.5mm,2mm],分别对应4个类别，则最终预测结果为：
其中I(·)表示指示函数，当括号中的条件成立时为1，否则为0。
本发明实施例提出的一种基于深度学习的瞳孔尺寸预测方法，综合利用多种信息提取方式包括图像处理、特征提取、特征融合等，能够从多个角度获取相关信息，提高了瞳孔尺寸预测的准确性和鲁棒性，接着提出了创新性的多角度交叉熵损失函数，考虑到了样本之间的相似性，能够更加准确地反映样本之间的关系，提高了预测的精度，接着提出了一种新型的随机森林模型，结合了深度学习中的注意力机制，能够自适应地调整每个决策树的贡献，使得在预测过程中更关注对于目标预测有重要贡献的特征，提高了预测的准确性，基于上述的多种技术特征，本发明的模型具有较高的预测效率和精度，适用于实时的瞳孔尺寸预测应用场景，能够快速地进行预测。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。特别指出，对于本领域技术人员来说，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于深度学习的瞳孔尺寸预测方法，其特征在于，包括：
对获取的原始人眼图像进行数据预处理，获得所述原始人眼图像数据对应的瞳孔图像数据；
根据预设的瞳孔特征提取模型中的第一特征提取网络、第二特征提取网络及第三特征提取网络分别对所述瞳孔图像数据进行特征提取，获得所述瞳孔图像数据对应的图像特征、卷积特征及深度特征，并对所述图像特征、卷积特征及深度特征进行特征融合，获得所述瞳孔图像数据对应的瞳孔特征；其中，根据预设在所述第一特征提取网络中的通道灰度函数及结构灰度函数分别对所述瞳孔图像数据进行通道灰度计算及结构灰度计算，获得所述瞳孔图像数据的通道灰度及结构灰度；根据所述通道灰度及所述结构灰度，通过预设在所述第一特征提取网络中的腐蚀函数及膨胀函数，获得所述通道灰度对所述结构灰度的腐蚀值及膨胀值；根据所述腐蚀值及所述膨胀值，通过预设在所述第一特征提取网络中的开运算函数及闭运算函数进行多次开闭运算，获得所述瞳孔图像数据对应的形态学特征图；通过所述第一特征提取网络提取所述瞳孔图像数据中各通道的像素值，并对所述各通道的像素值进行相加及取平均，获得所述瞳孔图像数据对应的通道像素值；根据预设的二值图转换公式对所述通道像素值进行处理，获得所述瞳孔图像数据对应的二值图；通过将所述二值图及所述形态学特征图进行融合，获得所述瞳孔图像数据对应的图像特征；
根据所述瞳孔特征，通过预设的瞳孔尺寸预测模型进行瞳孔尺寸预测，获得所述原始人眼图像数据对应的瞳孔尺寸预测值。
2.如权利要求1所述的一种基于深度学习的瞳孔尺寸预测方法，其特征在于，所述对获取的原始人眼图像进行数据预处理，包括：
对获取的原始人眼图像进行裁剪、缩放及归一化处理，获得所述原始人眼图像对应的初始瞳孔图像数据；
根据预设的数据增强技术对所述初始瞳孔图像数据进行数据扩充，获得所述初始瞳孔图像数据对应的瞳孔图像数据；所述数据增强技术包括旋转、翻转及平移。
3.如权利要求1所述的一种基于深度学习的瞳孔尺寸预测方法，其特征在于，所述根据预设的瞳孔特征提取模型中的第一特征提取网络、第二特征提取网络及第三特征提取网络分别对所述瞳孔图像数据进行特征提取，获得所述瞳孔图像数据对应的图像特征、卷积特征及深度特征，包括：
根据预设在所述第二特征提取网络的卷积神经网络中的多层卷积层对所述瞳孔图像数据进行特征提取，获得所述瞳孔图像数据的第一卷积特征；
通过预设在所述的卷积神经网络中的注意力模块对所述第一卷积特征继续加权及选择，获得所述瞳孔图像数据的卷积特征。
4.如权利要求1所述的一种基于深度学习的瞳孔尺寸预测方法，其特征在于，所述根据预设的瞳孔特征提取模型中的第一特征提取网络、第二特征提取网络及第三特征提取网络分别对所述瞳孔图像数据进行特征提取，获得所述瞳孔图像数据对应的图像特征、卷积特征及深度特征，包括：
通过预设在所述第三特征提取网络中的位置编码器为所述瞳孔图像数据的特征矩阵中的每一个位置赋予位置编码；
根据所述位置编码，通过预设在所述第三特征提取网络中的Transformer模型捕捉所述特征矩阵中不同位置的依赖关系，获得所述瞳孔图像数据的初始深度特征；
通过预设在所述第三特征提取网络的演化算法对所述初始深度特征进行筛选，获得所述瞳孔图像数据对应的深度特征。
5.如权利要求1所述的一种基于深度学习的瞳孔尺寸预测方法，其特征在于，所述通过预设的瞳孔尺寸预测模型进行瞳孔尺寸预测，获得所述原始人眼图像数据对应的瞳孔尺寸预测值，包括：
将所述瞳孔特征输入预设的瞳孔尺寸预测模型，通过预设在所述瞳孔尺寸预测模型中的若干个不同的决策树分别对所述瞳孔特征进行预测，获得若干个不同的第一瞳孔尺寸预测值；
通过预设的回归计算函数或分类函数对所述若干个不同的第一瞳孔尺寸预测值进行处理，获得所述原始人眼图像对应的瞳孔尺寸预测值。
6.一种基于深度学习的瞳孔尺寸预测装置，其特征在于，包括图像处理模块、特征提取模块及尺寸预测模块；
所述图像处理模块用于对获取的原始人眼图像进行数据预处理，获得所述原始人眼图像数据对应的瞳孔图像数据；
所述特征提取模块用于根据预设的瞳孔特征提取模型中的第一特征提取网络、第二特征提取网络及第三特征提取网络分别对所述瞳孔图像数据进行特征提取，获得所述瞳孔图像数据对应的图像特征、卷积特征及深度特征，并对所述图像特征、卷积特征及深度特征进行特征融合，获得所述瞳孔图像数据对应的瞳孔特征；其中，根据预设在所述第一特征提取网络中的通道灰度函数及结构灰度函数分别对所述瞳孔图像数据进行通道灰度计算及结构灰度计算，获得所述瞳孔图像数据的通道灰度及结构灰度；根据所述通道灰度及所述结构灰度，通过预设在所述第一特征提取网络中的腐蚀函数及膨胀函数，获得所述通道灰度对所述结构灰度的腐蚀值及膨胀值；根据所述腐蚀值及所述膨胀值，通过预设在所述第一特征提取网络中的开运算函数及闭运算函数进行多次开闭运算，获得所述瞳孔图像数据对应的形态学特征图；通过所述第一特征提取网络提取所述瞳孔图像数据中各通道的像素值，并对所述各通道的像素值进行相加及取平均，获得所述瞳孔图像数据对应的通道像素值；根据预设的二值图转换公式对所述通道像素值进行处理，获得所述瞳孔图像数据对应的二值图；通过将所述二值图及所述形态学特征图进行融合，获得所述瞳孔图像数据对应的图像特征；
所述尺寸预测模块用于根据所述瞳孔特征，通过预设的瞳孔尺寸预测模型进行瞳孔尺寸预测，获得所述原始人眼图像数据对应的瞳孔尺寸预测值。
7.如权利要求6所述的一种基于深度学习的瞳孔尺寸预测装置，其特征在于，所述图像处理模块包括预处理单元及数据增强单元；
所述预处理单元用于对获取的原始人眼图像进行裁剪、缩放及归一化处理，获得所述原始人眼图像对应的初始瞳孔图像数据；
所述数据增强单元用于根据预设的数据增强技术对所述初始瞳孔图像数据进行数据扩充，获得所述初始瞳孔图像数据对应的瞳孔图像数据；所述数据增强技术包括旋转、翻转及平移。
8.如权利要求6所述一种基于深度学习的瞳孔尺寸预测装置，其特征在于，所述尺寸预测模块包括决策单元及处理单元；
所述决策单元用于将所述瞳孔特征输入预设的瞳孔尺寸预测模型，通过预设在所述瞳孔尺寸预测模型中的若干个不同的决策树分别对所述瞳孔特征进行预测，获得若干个不同的第一瞳孔尺寸预测值；
所述处理单元用于通过预设的回归计算函数或分类函数对所述若干个不同的第一瞳孔尺寸预测值进行处理，获得所述原始人眼图像对应的瞳孔尺寸预测值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310695742.XA CN116823746B (zh) | 2023-06-12 | 2023-06-12 | 一种基于深度学习的瞳孔尺寸预测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310695742.XA CN116823746B (zh) | 2023-06-12 | 2023-06-12 | 一种基于深度学习的瞳孔尺寸预测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116823746A CN116823746A (zh) | 2023-09-29 |
| CN116823746B true CN116823746B (zh) | 2024-02-23 |
Family
ID=88125083
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310695742.XA Active CN116823746B (zh) | 2023-06-12 | 2023-06-12 | 一种基于深度学习的瞳孔尺寸预测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116823746B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1900951A (zh) * | 2006-06-02 | 2007-01-24 | 哈尔滨工业大学 | 基于数学形态学的虹膜图像柔性分区方法 |
| CN109558825A (zh) * | 2018-11-23 | 2019-04-02 | 哈尔滨理工大学 | 一种基于数字视频图像处理的瞳孔中心定位方法 |
| CN110490083A (zh) * | 2019-07-23 | 2019-11-22 | 苏州国科视清医疗科技有限公司 | 一种基于快速人眼语义分割网络的瞳孔精确检测方法 |
| CN111012301A (zh) * | 2019-12-19 | 2020-04-17 | 北京理工大学 | 一种头戴式目视精确瞄准系统 |
| CN115019380A (zh) * | 2022-06-07 | 2022-09-06 | 广州医科大学 | 基于眼部图像的斜视智能识别方法、装置、终端及介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR3098960B1 (fr) * | 2019-07-16 | 2021-07-16 | Idemia Identity & Security France | Procédé d’extraction d’un vecteur caractéristique à partir d’une image d’entrée représentative d’un iris au moyen d’un réseau de neurones entrainable de bout-en-bout |
-
2023
- 2023-06-12 CN CN202310695742.XA patent/CN116823746B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1900951A (zh) * | 2006-06-02 | 2007-01-24 | 哈尔滨工业大学 | 基于数学形态学的虹膜图像柔性分区方法 |
| CN109558825A (zh) * | 2018-11-23 | 2019-04-02 | 哈尔滨理工大学 | 一种基于数字视频图像处理的瞳孔中心定位方法 |
| CN110490083A (zh) * | 2019-07-23 | 2019-11-22 | 苏州国科视清医疗科技有限公司 | 一种基于快速人眼语义分割网络的瞳孔精确检测方法 |
| CN111012301A (zh) * | 2019-12-19 | 2020-04-17 | 北京理工大学 | 一种头戴式目视精确瞄准系统 |
| CN115019380A (zh) * | 2022-06-07 | 2022-09-06 | 广州医科大学 | 基于眼部图像的斜视智能识别方法、装置、终端及介质 |
Non-Patent Citations (3)
| Title |
|---|
| Person identification using fusion of iris and periocular deep features;Saiyed Umer等;《Neural Networks》;第 122卷;407-419 * |
| 基于深度学习的自助式屈光检测系统设计及研究;丁上上;《中国优秀硕士学位论文全文数据库基础科学辑》(第03期);A006-229 * |
| 移动端可见光虹膜图像质量评价方法研究;尹思璐;《中国优秀硕士学位论文全文数据库信息科技辑》(第01期);I138-2435 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116823746A (zh) | 2023-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111368896B (zh) | 基于密集残差三维卷积神经网络的高光谱遥感图像分类方法 | |
| CN109800648B (zh) | 基于人脸关键点校正的人脸检测识别方法及装置 | |
| CN111127385B (zh) | 基于生成式对抗网络的医学信息跨模态哈希编码学习方法 | |
| CN111091175A (zh) | 神经网络模型训练方法、分类方法、装置和电子设备 | |
| CN113705238A (zh) | 基于bert和方面特征定位模型的方面级情感分析方法及模型 | |
| AlKhuraym et al. | Arabic sign language recognition using lightweight cnn-based architecture | |
| CN116469561A (zh) | 一种基于深度学习的乳腺癌生存预测方法 | |
| Nguyen Thanh et al. | Depth learning with convolutional neural network for leaves classifier based on shape of leaf vein | |
| Reddy et al. | Deep neural network (dnn) mechanism for identification of diseased and healthy plant leaf images using computer vision | |
| Lemikhova et al. | Transfer learning for few-shot plants recognition: Antarctic station greenhouse use-case | |
| CN116823746B (zh) | 一种基于深度学习的瞳孔尺寸预测方法及装置 | |
| CN110543566B (zh) | 一种基于自注意力近邻关系编码的意图分类方法 | |
| CN110414562B (zh) | X光片的分类方法、装置、终端及存储介质 | |
| CN109934248B (zh) | 一种针对迁移学习的多模型随机生成与动态自适应组合方法 | |
| CN112200224B (zh) | 医学图像特征处理方法和装置 | |
| CN114495265B (zh) | 多跨域场景下基于活动图加权的人体行为识别方法 | |
| CN114998731A (zh) | 智能终端导航场景感知识别的方法 | |
| Termritthikun et al. | Neural architecture search and multi-objective evolutionary algorithms for anomaly detection | |
| CN113535928A (zh) | 基于注意力机制下长短期记忆网络的服务发现方法及系统 | |
| Adaïmé et al. | Deep learning approaches to the phylogenetic placement of extinct pollen morphotypes | |
| Vishwakarma et al. | Optimized vision transformer encoder with cnn for automatic psoriasis disease detection | |
| Kuseh et al. | A Survey of Deep learning techniques for maize leaf disease detection: Trends from 2016 to 2021 and Future Perspectives | |
| Genders et al. | Plant diseases detection and classification using transfer learning | |
| Yu et al. | LIME-Explained Small-Scale Tabular Transformer Used for Improving the Classification Performance of Multi-Category Causes of Death in Colorectal Cancer | |
| CN117523278A (zh) | 基于贝叶斯估计语义注意力元学习方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |