CN111598866A - 一种基于眼部b超图像的晶状体关键特征定位方法 - Google Patents

一种基于眼部b超图像的晶状体关键特征定位方法 Download PDF

Info

Publication number
CN111598866A
CN111598866A CN202010408004.9A CN202010408004A CN111598866A CN 111598866 A CN111598866 A CN 111598866A CN 202010408004 A CN202010408004 A CN 202010408004A CN 111598866 A CN111598866 A CN 111598866A
Authority
CN
China
Prior art keywords
image
lens
network
eyeball
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010408004.9A
Other languages
English (en)
Other versions
CN111598866B (zh
Inventor
吕建成
王勇
桑永胜
彭德中
彭玺
孙亚楠
贺喆南
叶庆
李茂�
刘权辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202010408004.9A priority Critical patent/CN111598866B/zh
Publication of CN111598866A publication Critical patent/CN111598866A/zh
Priority to US17/301,615 priority patent/US11723630B2/en
Application granted granted Critical
Publication of CN111598866B publication Critical patent/CN111598866B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/10—Eye inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • A61B8/14—Echo-tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Databases & Information Systems (AREA)
  • Physiology (AREA)
  • Vascular Medicine (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于眼部B超图像的晶状体关键特征定位方法，其包括获取眼部B超图像，并进行预处理，得到预处理后的B超图像及眼球坐标、晶状体坐标；再送入训练完毕的目标检测网络YOLOv3，得到眼球位置图像和晶状体位置图像；将眼球位置图像和晶状体位置图像分别代入训练完毕的特征提取网络组，得到分别与眼球位置图像和晶状体位置图像对应的图像特征和特征坐标；将图像特征代入训练完毕的协同学习网络，筛选得到关键图像特征；将关键图像特征对应的特征坐标标注在眼部B超图像上，完成晶状体关键特征定位。本发明能够解决现有技术中晶状体特征区域定位困难，难以判断的问题，结果准确、可靠性强、方便快捷。

Description

一种基于眼部B超图像的晶状体关键特征定位方法
技术领域
本发明涉及医学图像识别技术领域，具体涉及一种基于眼部B超图像的晶状体关键特征定位方法。
背景技术
晶状体是眼球中的主要屈光结构，也是唯一具有调节能力的屈光间质。其主要作用是对不同距离进行对焦，通过改变屈光度使观看远近物体时的眼球聚光的焦点都能准确的落在视网膜上。定期对晶状体的状态进行检查，有助于预防晶状体出现异常，避免出现对视神经造成永久损害的问题。
晶状体的健康状态通常依靠眼部B超图像来识别，医生根据眼部B超图像中晶状体部分的图像，并依据经验判断病人晶状体的健康状态，但由于眼部B超图像复杂，这种判断只能笼统地判断整体状态，对于晶状体的具体状态和特征状况，医生无法具体得知，因此，医生很难及时给出最佳的医疗方案，以对出现异常征兆的眼部进行处理；对此部分医学研究者以尝试通过对晶状体的特征进行区分定位，以研究晶状体浑浊的具体出现征兆和变化规律。
由于眼部组织较为复杂，加之每位患者患病后，其眼部区域变化并非完全相同，有的只是在晶状体的其中某一部位发生颜色会变化，有的是两个部位，有的则可能不存在明显颜色变化，使得医学研究者在进行研究时难以准确从每张眼部B超图像中准确定位眼部B超图像中的相应特征，并准确地将其从眼部组织中提取出来，使得医学研究者在寻找病因时出现多种干扰因素，影响研究和试验的顺利进行。
发明内容
本发明针对现有技术中的上述不足，提供了一种能够解决现有技术中晶状体特征定位困难，影响判断的基于眼部B超图像的晶状体关键特征定位方法。
为解决上述技术问题，本发明采用了下列技术方案：
提供了一种基于眼部B超图像的晶状体关键特征定位方法，其包括如下步骤：
S1、获取眼部B超图像，并进行预处理，得到预处理后的B超图像及眼球坐标、晶状体坐标；
S2、将预处理后的B超图像与眼球坐标结合后，送入训练完毕的目标检测网络YOLOv3，得到眼球位置图像；将预处理后的B超图像与晶状体坐标，送入训练完毕的目标检测网络YOLOv3，得到晶状体位置图像；
S3、将眼球位置图像和晶状体位置图像代入训练完毕的特征提取网络组，得到分别与眼球位置图像和晶状体位置图像对应的图像特征和特征坐标；
S4、将图像特征代入训练完毕的协同学习网络，筛选得到关键图像特征；
S5、将关键图像特征对应的特征坐标标注在眼部B超图像上，完成晶状体关键特征定位。
本发明提供的上述基于眼部B超图像的晶状体关键特征定位方法的主要有益效果在于：
本发明通过设置目标检测网络对原始眼部B超图像进行处理，以解决眼球只占原始图像的一小部分以及无关背景中强回声干扰的问题，提取眼球和晶状体对应的位置图像。由于通过眼球区域整体进行评估和针对晶状体区域进行监测，有可能提取到不同的特征区域，增加判断难度，通过不同特征提取网络分别提取眼球区域和晶状体区域对应的特征，再与协同学习网络结合，有效保证特征区域定位的准确性。
本方案提供的晶状体关键特征定位方法，通过深度学习技术识别晶状体中的不同特征，能够快速准确地对晶状体的存在异常的特征进行定位，方便进一步评估晶状体的状态，有利于相关研究和教学参考。
附图说明
图1是本发明的方法流程图。
图2是本发明的原理图。
图3是目标检测网络YOLOv3的检测原理示意图。
图4是COI+BPNN模块的逻辑结构示意图。
图5是卷积神经网络DenseNet161的逻辑结构示意图。
图6是反向传播网络BPNN的逻辑结构示意图。
图7是协同学习网络的逻辑结构示意图。
具体实施方式
下面结合附图对本发明作进一步说明：
如图1所示，其为基于眼部B超图像的晶状体关键特征定位方法的流程图。
本发明的基于眼部B超图像的晶状体关键特征定位方法，下面结合实施例对其方法步骤进行描述，如图2和图3所示。其包括如下步骤：
S1、获取眼部B超图像，并进行预处理，得到预处理后的B超图像及眼球坐标、晶状体坐标。
进一步地，对眼部B超图像预处理的方法包括：
S1-1、将所有获取的眼部B超图像全部转换为设定尺寸及设定格式的图像文件，得到图像文件集。
一般的，原始眼部B超图像DICOM图像，将其转换为720x576的PNG格式，以方便处理。
S1-2、将图像文件集分为用于训练目标检测网络YOLOv3的目标检测组和用于训练特征提取网络的特征提取组。
S1-3、在目标检测组的图像文件集中标注出眼球所在坐标和晶状体坐标，以便目标检测网络YOLOv3生成对应的眼球位置图像和晶状体位置图像。
一般的，使用眼球和晶状体的左上角与右下角的坐标标注眼球和晶状体位置。
S2、将预处理后的B超图像与眼球坐标结合后，送入训练完毕的目标检测网络YOLOv3，得到眼球位置图像；将预处理后的B超图像与晶状体坐标，送入训练完毕的目标检测网络YOLOv3，得到晶状体位置图像。
进一步地，其包括如下步骤：
S2-1、对眼球坐标进行归一化处理，并调整预处理后的B超图像至目标尺寸。
具体的，在本实施例中，B超图像的目标尺寸为416x416。
S2-2、将调整至目标尺寸的B超图像送入主干网络DarkNet53，得到包含若干模块的特征数据组。
在本实施例中，特征数据组包括五个模块，其组成如下：
第一模块：包括2层3x3卷积，1个残差块；
第二模块：包括1层3x3卷积，2个残差块；
第三模块：包括1层3x3卷积，8个残差块；
第四模块：包括1层3x3卷积，8个残差块；
第五模块：包括1层3x3卷积，4个残差块；
其中，每个残差块包括1层1x1卷积和1层3x3卷积，并在输入和输出之间设置有快捷连接。
S2-3、将特征数据组中各模块相互拼接，得到对应的拼接结果。
S2-4、将拼接结果通过卷积处理后作为眼球可能位置。
在本实施例中，具体拼接和处理方式包括：
S2-4.1、将第五模块的输出尺寸调整为13x13，并将第五模块的输出结果依次通过1个卷积块、1层3x3卷积和1层1x1卷积，得到第一个眼球位置预测；其中，1个卷积块包括1层1x1卷积、1层3x3卷积、1层1x1卷积、1层3x3卷积和1层1x1卷积。
S2-4.2、将第四模块的输出尺寸调整为26x26，并将第五模块的输出结果通过1个卷积块，1层1x1卷积和1层上采样后，与第四模块的输出结果进行第一次拼接操作。
S2-4.3、将第一次拼接操作的输出结果通过1个卷积块，1层3x3卷积和1层1x1卷积，得到第二个眼球位置预测。
S2-4.4、将第三模块的输出尺寸调整为26x26，并将第一次拼接操作的输出结果通过1个卷积块，1层1x1卷积和1层上采样后，与第三模块的输出结果进行第二次拼接操作。
S2-4.5、将第二次拼接操作的输出结果通过1个卷积块，1层3x3卷积和1层1x1卷积，得到第三个眼球位置预测。
S2-5、将所有眼球可能位置代入目标检测网络YOLOv3中，使YOLOv3使用三个眼球位置预测的特征图得到眼球位置图像。
具体的，将三个眼球位置预测代入目标检测网络YOLOv3中，使YOLOv3使用三个眼球位置预测的特征图进行预测，并生成对应的眼球位置图像，且其输出尺寸分别为13x13x(4+1+1)、26x26x(4+1+1)和52x52x(4+1+1)，其中，(4+1+1)分别为边框位置，边框置信度和类别概率。
在实际操作中，边框位置可用边框中心点的坐标以及边框的宽度和高度表示。置信度分数用于反映是否包含物体以及包含物体情况下边框位置的准确性。
目标检测网络YOLOv3的损失函数是边框位置、边框置信度和类别概率三个部分的加权和，其中，边框位置使用均方误差，置信度和类别概率使用交叉熵。
S2-6、对晶状体坐标重复步骤S2-1到S2-5，得到晶状体位置图像。
S3、将眼球位置图像和晶状体位置图像分别代入训练完毕的特征提取网络组，得到分别与眼球位置图像和晶状体位置图像对应的图像特征和特征坐标。
进一步地，得到训练完毕的特征提取网络组的具体步骤包括：
S3-1、将眼球位置图像和晶状体位置图像分别划分为训练集、验证集和测试集；
S3-2、将眼球位置图像和晶状体位置图像对应的训练集分别送入对应特征提取网络中进行训练，分别得到训练完毕的特征提取网络。
具体的，特征提取网络包括与眼球位置图像对应的Eyeball COI+BPNN模块和与晶状体位置图像对应的Lens COI+BPNN模块，如图4所示，COI+BPNN模块包括反向传播网络BPNN，如图6所示，所述反向传播网络通过卷积神经网络DenseNet161、傅里叶描述子、灰度共生矩阵GLCM训练得到。
对特征提取网络进行训练的具体步骤包括：
S3-2-1、将眼球位置图像和晶状体位置图像调整至要求尺寸，并进行变形处理，得到变形处理后的位置图像。
要求尺寸为128*128，变形处理包括随机水平翻转、随机旋转0-10度、亮度调节、色彩抖动和归一化。
S3-2-2、将变形处理后的位置图像代入傅里叶描述子中，得到与位置图像对应的36维形状特征。
傅里叶描述子的计算步骤包括：
A1、确定二值化图像上的重心。
A2、沿边界移动一个点，绘制该点与重心之间的距离与该点移动的测地线距离。
A3、对该图像进行傅里叶变换。
S3-2-3、将变形处理后的位置图像代入灰度共生矩阵中，计算四个方向的灰度共生矩阵GLCM的能量、对比度、熵、反差分，得到与位置图像对应的16维纹理特征。
一般的，首先将多通道的图像转换为灰度图像，以便于对其晶状体以及周边强回声的异质性进行识别。
一般使用0、45、90和135处的4个方向，得到每个图像的16维GLCM纹理描述符，由于纹理特征一般具有旋转不变性，并且对于噪声有较强的抵抗能力，因此计算四个方向的特征，能充分保证有效描述图像或图像区域所对应物体的表面性质。
S3-2-4、使用imagenet数据集对卷积神经网络DenseNet161进行预训练，如图5所示，将变形处理后的位置图像代入训练后的卷积神经网络DenseNet161，将得到的与位置图像对应的卷积神经网络DenseNet161的倒数第二层得到的2208维特征作为深度特征。
S3-2-5、将形状特征、纹理特征和深度特征结合后代入反向传播网络BPNN进行训练，得到训练完毕的反向传播网络BPNN及训练后的特征提取网络。
将将收敛误差设置为0.0004，学习率设置为0.001进行训练，当验证集上的错误小于0.0004，则停止训练。以实现时间成本和性能之间的平衡。
S3-3、将眼球位置图像和晶状体位置图像对应的验证集分别送入训练后的对应的特征提取网络中，得到相对应的晶状体特征。
S3-4、根据晶状体特征评估晶状体状态，将评估结果与验证集中的真实标签进行对比，记录验证准确率。
将预测结果与验证集中的真实标签进行比较，即图像特征的相似度比较，可得到其验证准确率。
S3-5、按设定次数重复步骤S3-2至S3-4，并保存所有重复过程中验证准确率最高的一组中两个特征提取网络的权重，作为目标特征提取网络组，并代入测试集中，得到其测试准确率。
在本实施例中，设定次数为200个epoch，以保证足够的选择量，从而保证预测准确率。
S3-6、将测试准确率与目标值进行对比，当测试准确率小于目标值时，重复步骤S3-5，直至目标特征提取网络组的验证准确率大于或等于目标值，则该测试准确率对应的目标特征提取网络组为训练完毕的特征提取网络组。
在本实施例中，测试准确率的目标值为90％，大于90％即能说明预测结果可信度较高，浑浊度分级较为准确，可以采用；实际结果为95％，即结果可信度较高，分级结果较为准确。
通过特征提取网络组分别提取晶状体位置图像和眼球位置图像中的特征，从整体和局部两个方向分别入手提取晶状体的特征，以保证定位的准确性。
S4、将图像特征代入训练完毕的协同学习网络，筛选得到关键图像特征。
具体的，如图7所示，得到训练完毕的协同学习网络的步骤包括：
S4-1、将COI+BPNN模块中的反向传播网络BPNN的学习层，作为协同网络中的输入层。
S4-2、在协同网络的输入层后添加两层全连接层，作为学习层和输出层，输出层得到的结果即为预测结果。
S4-3、将Eyeball COI+BPNN模块和Lens COI+BPNN模块得到的对应特征相链接后代入协同网络中的输入层，得到训练完毕的协同学习网络。
S5、将关键图像特征对应的特征坐标标注在眼部B超图像上，完成晶状体关键特征定位。
通过本方案提供的晶状体关键特征定位方法，利用深度学习技术识别晶状体中的不同特征，能够快速准确地对晶状体的存在异常的特征进行定位，方便进一步评估晶状体的状态，有利于相关研究和教学参考。
上面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (10)

1.一种基于眼部B超图像的晶状体关键特征定位方法，其特征在于，包括如下步骤：
S1、获取眼部B超图像，并进行预处理，得到预处理后的B超图像及眼球坐标、晶状体坐标；
S2、将预处理后的B超图像与眼球坐标结合后，送入训练完毕的目标检测网络YOLOv3，得到眼球位置图像；将预处理后的B超图像与晶状体坐标，送入训练完毕的目标检测网络YOLOv3，得到晶状体位置图像；
S3、将眼球位置图像和晶状体位置图像代入训练完毕的特征提取网络组，得到分别与眼球位置图像和晶状体位置图像对应的图像特征和特征坐标；
S4、将图像特征代入训练完毕的协同学习网络，筛选得到关键图像特征；
S5、将关键图像特征对应的特征坐标标注在眼部B超图像上，完成晶状体关键特征定位。
2.根据权利要求1所述的基于眼部B超图像的晶状体关键特征定位方法，其特征在于，所述对眼部B超图像预处理的方法包括：
S1-1、将所有获取的眼部B超图像全部转换为设定尺寸及设定格式的图像文件，得到图像文件集；
S1-2、将图像文件集分为用于训练目标检测网络YOLOv3的目标检测组和用于训练特征提取网络的特征提取组；
S1-3、在目标检测组的图像文件集中标注出眼球坐标和晶状体坐标。
3.根据权利要求2所述的基于眼部B超图像的晶状体关键特征定位方法，其特征在于，所述眼球坐标和晶状体坐标为眼球和晶状体的左上角与右下角的坐标。
4.根据权利要求3所述的基于眼部B超图像的晶状体关键特征定位方法，其特征在于，所述训练目标检测网络YOLOv3的具体步骤包括：
S2-1、对眼球坐标分别进行归一化处理，并调整预处理后的B超图像至目标尺寸；
S2-2、将调整至目标尺寸的B超图像送入主干网络DarkNet53，得到包含若干模块的特征数据组；
S2-3、将特征数据组中各模块相互拼接，得到对应的拼接结果；
S2-4、将拼接结果通过卷积处理后作为眼球可能位置；
S2-5、将所有眼球可能位置代入目标检测网络YOLOv3中，使YOLOv3使用三个眼球位置预测的特征图得到眼球位置图像；
S2-6、对晶状体坐标重复步骤S2-1到S2-5，得到晶状体位置图像。
5.根据权利要求1所述的基于眼部B超图像的晶状体关键特征定位方法，其特征在于，所述得到训练完毕的特征提取网络组的具体步骤包括：
S3-1、将眼球位置图像和晶状体位置图像分别划分为训练集、验证集和测试集；
S3-2、将眼球位置图像和晶状体位置图像对应的训练集分别送入对应特征提取网络中进行训练，分别得到训练完毕的特征提取网络；
S3-3、将眼球位置图像和晶状体位置图像对应的验证集分别送入训练后的对应的特征提取网络中，得到相对应的晶状体特征；
S3-4、根据晶状体特征评估晶状体状态，将评估结果与验证集中的真实标签进行对比，记录验证准确率；
S3-5、按设定次数重复步骤S3-2至S3-4，并保存所有重复过程中验证准确率最高的一组中两个特征提取网络的权重，作为目标特征提取网络组，并代入测试集中，得到其测试准确率；
S3-6、将测试准确率与目标值进行对比，当测试准确率小于目标值时，重复步骤S3-5，直至目标特征提取网络组的验证准确率大于或等于目标值，则该测试准确率对应的目标特征提取网络组为训练完毕的特征提取网络组。
6.根据权利要求5所述的基于眼部B超图像的晶状体关键特征定位方法，其特征在于，所述特征提取网络包括与眼球位置图像对应的Eyeball COI+BPNN模块和与晶状体位置图像对应的Lens COI+BPNN模块。
7.根据权利要求6所述的基于眼部B超图像的晶状体关键特征定位方法，其特征在于，所述COI+BPNN模块包括反向传播网络BPNN，所述反向传播网络通过卷积神经网络DenseNet161、傅里叶描述子、灰度共生矩阵GLCM训练得到。
8.根据权利要求7所述的基于眼部B超图像的晶状体关键特征定位方法，其特征在于，所述训练特征提取网络的具体步骤包括：
S4-2-1、将眼球位置图像和晶状体位置图像调整至要求尺寸，并进行变形处理，得到变形处理后的位置图像；
S3-2-2、将变形处理后的位置图像代入傅里叶描述子中，得到与位置图像对应的36维形状特征；
S3-2-3、将变形处理后的位置图像代入灰度共生矩阵中，计算四个方向的灰度共生矩阵GLCM的能量、对比度、熵、反差分，得到与位置图像对应的16维纹理特征；
S3-2-4、使用imagenet数据集对卷积神经网络DenseNet161进行预训练，将变形处理后的位置图像代入训练后的卷积神经网络DenseNet161，将得到的与位置图像对应的卷积神经网络DenseNet161的倒数第二层得到的2208维特征作为深度特征；
S3-2-5、将形状特征、纹理特征和深度特征结合后代入反向传播网络BPNN进行训练，得到训练完毕的反向传播网络BPNN，即训练完毕的特征提取网络。
9.根据权利要求8所述的基于眼部B超图像的晶状体关键特征定位方法，其特征在于，所述变形处理包括随机水平翻转、随机旋转0-10度、亮度调节、色彩抖动和归一化。
10.根据权利要求7所述的基于眼部B超图像的晶状体关键特征定位方法，其特征在于，所述得到训练完毕的协同学习网络的步骤包括：
S5-1、将COI+BPNN模块中的反向传播网络BPNN的学习层，作为协同网络中的输入层；
S5-2、在协同网络的输入层后添加两层全连接层，作为学习层和输出层，输出层得到的结果即为预测结果；
S5-3、将Eyeball COI+BPNN模块和Lens COI+BPNN模块得到的对应特征相链接后代入协同网络中的输入层，得到训练完毕的协同学习网络。
CN202010408004.9A 2020-05-14 2020-05-14 一种基于眼部b超图像的晶状体关键特征定位方法 Active CN111598866B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010408004.9A CN111598866B (zh) 2020-05-14 2020-05-14 一种基于眼部b超图像的晶状体关键特征定位方法
US17/301,615 US11723630B2 (en) 2020-05-14 2021-04-09 Method for positioning key features of a lens based on ocular B-mode ultrasound images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010408004.9A CN111598866B (zh) 2020-05-14 2020-05-14 一种基于眼部b超图像的晶状体关键特征定位方法

Publications (2)

Publication Number Publication Date
CN111598866A true CN111598866A (zh) 2020-08-28
CN111598866B CN111598866B (zh) 2023-04-11

Family

ID=72183728

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010408004.9A Active CN111598866B (zh) 2020-05-14 2020-05-14 一种基于眼部b超图像的晶状体关键特征定位方法

Country Status (2)

Country Link
US (1) US11723630B2 (zh)
CN (1) CN111598866B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117668669B (zh) * 2024-02-01 2024-04-19 齐鲁工业大学(山东省科学院) 基于改进YOLOv7的管道安全监测方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130127980A1 (en) * 2010-02-28 2013-05-23 Osterhout Group, Inc. Video display modification based on sensor input for a see-through near-to-eye display
CN109102494A (zh) * 2018-07-04 2018-12-28 中山大学中山眼科中心 一种后发性白内障图像分析方法及装置
CN109948575A (zh) * 2019-03-27 2019-06-28 中国科学技术大学 超声图像中眼球区域分割方法
CN110348431A (zh) * 2019-08-26 2019-10-18 闫戎 一种疾病预警方法、装置、设备及系统
WO2020015145A1 (zh) * 2018-07-16 2020-01-23 华为技术有限公司 一种检测眼睛睁闭状态的方法及电子设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200194108A1 (en) * 2018-12-13 2020-06-18 Rutgers, The State University Of New Jersey Object detection in medical image
EP3953904A4 (en) * 2019-04-08 2023-01-04 The Johns Hopkins University NEURAL NETWORK DRIVEN TOPOLOGY FOR SEGMENTATION BY OPTICAL COHERENCE TOMOGRAPHY
WO2021040078A1 (ko) * 2019-08-27 2021-03-04 (주)비쥬웍스 렌즈 결정 방법 및 이를 이용하는 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130127980A1 (en) * 2010-02-28 2013-05-23 Osterhout Group, Inc. Video display modification based on sensor input for a see-through near-to-eye display
CN109102494A (zh) * 2018-07-04 2018-12-28 中山大学中山眼科中心 一种后发性白内障图像分析方法及装置
WO2020015145A1 (zh) * 2018-07-16 2020-01-23 华为技术有限公司 一种检测眼睛睁闭状态的方法及电子设备
CN109948575A (zh) * 2019-03-27 2019-06-28 中国科学技术大学 超声图像中眼球区域分割方法
CN110348431A (zh) * 2019-08-26 2019-10-18 闫戎 一种疾病预警方法、装置、设备及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
XINTING GAO 等: "Automatic Feature Learning to Grade Nuclear Cataracts Based on Deep Learning", 《IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING》 *
XU Y 等: "Automatic grading of nuclear cataracts from slit­lamp lens images using group sparsity regression", 《INTERNATIONAL CONFERENCE ON MEDICAL IMAGE COMPUTING AND COMPUTER­ ASSISTED INTERVENTION》 *
YONG WANG等: "Cataract detection based on ocular B-ultrasound images by collaborative monitoring deep learning", 《KNOWLEDGE-BASED SYSTEMS》 *
王勇: "程超声白内障诊断的神经网络方法研究", 《中国优秀硕士学位论文全文数据库医药卫生科技辑》 *

Also Published As

Publication number Publication date
CN111598866B (zh) 2023-04-11
US20210353262A1 (en) 2021-11-18
US11723630B2 (en) 2023-08-15

Similar Documents

Publication Publication Date Title
CN111259982B (zh) 一种基于注意力机制的早产儿视网膜图像分类方法和装置
CN111145170B (zh) 一种基于深度学习的医学影像分割方法
CN111223553B (zh) 一种两阶段深度迁移学习中医舌诊模型
CN110930397B (zh) 一种磁共振图像分割方法、装置、终端设备及存储介质
CN109191476A (zh) 基于U-net网络结构的生物医学图像自动分割新方法
CN108985172A (zh) 一种基于结构光的视线追踪方法、装置、设备及存储介质
CN108764286A (zh) 一种基于迁移学习的血管图像中特征点的分类识别方法
CN104977313A (zh) 一种焊缝x射线图像缺陷检测与识别方法和装置
KR20190105180A (ko) 합성곱 신경망 기반의 병변 진단 장치 및 방법
CN113610118B (zh) 一种基于多任务课程式学习的青光眼诊断方法、装置、设备及方法
Zhang et al. Attention-based multi-model ensemble for automatic cataract detection in B-scan eye ultrasound images
CN113782184A (zh) 一种基于面部关键点与特征预学习的脑卒中辅助评估系统
Wang et al. Cataract detection based on ocular B-ultrasound images by collaborative monitoring deep learning
CN115761297A (zh) 一种基于边缘引导的注意神经网络自动识别滑坡的方法
CN111598866B (zh) 一种基于眼部b超图像的晶状体关键特征定位方法
CN111160431A (zh) 一种基于多维特征融合的圆锥角膜识别方法及装置
CN111369506B (zh) 一种基于眼部b超图像的晶状体浑浊度分级方法
CN110263867A (zh) 一种钢轨伤损分类方法
CN111798404B (zh) 基于深度神经网络的虹膜图像质量评估方法及评估系统
CN110008902A (zh) 一种融合基本特征和形变特征的手指静脉识别方法及系统
CN115424319A (zh) 一种基于深度学习的斜视识别系统
CN114519865A (zh) 一种融合集成注意力的2d人体姿态估计方法
Ahmed et al. An effective deep learning network for detecting and classifying glaucomatous eye.
Sun et al. Full convolutional neural network with multi-scale residual model for optic cup and disc segmentation
Lisha et al. Highly accurate blood vessel segmentation using texture‐based modified K‐means clustering with deep learning model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant