CN111652871B - 基于ivcm图像的角膜神经弯曲度测量系统及方法 - Google Patents

基于ivcm图像的角膜神经弯曲度测量系统及方法 Download PDF

Info

Publication number
CN111652871B
CN111652871B CN202010493501.3A CN202010493501A CN111652871B CN 111652871 B CN111652871 B CN 111652871B CN 202010493501 A CN202010493501 A CN 202010493501A CN 111652871 B CN111652871 B CN 111652871B
Authority
CN
China
Prior art keywords
nerve
curvature
aggregation
module
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010493501.3A
Other languages
English (en)
Other versions
CN111652871A (zh
Inventor
苏攀
赵一天
谢建洋
蒋珊珊
岳星宇
刘江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Institute of Material Technology and Engineering of CAS
Cixi Institute of Biomedical Engineering CNITECH of CAS
Original Assignee
Ningbo Institute of Material Technology and Engineering of CAS
Cixi Institute of Biomedical Engineering CNITECH of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Institute of Material Technology and Engineering of CAS, Cixi Institute of Biomedical Engineering CNITECH of CAS filed Critical Ningbo Institute of Material Technology and Engineering of CAS
Priority to CN202010493501.3A priority Critical patent/CN111652871B/zh
Publication of CN111652871A publication Critical patent/CN111652871A/zh
Application granted granted Critical
Publication of CN111652871B publication Critical patent/CN111652871B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/107—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining the shape or measuring the curvature of the cornea
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本申请公开了一种基于活体共聚焦显微镜(IVCM)图像的角膜神经弯曲度测量系统及方法。所述测量系统包括图像采集和预处理模块、角膜神经分割模块、神经分段弯曲度计算模块、聚合参数选择模块、神经分段弯曲度聚合模块、分析结果显示模块等。本申请区别于现有的基于深度学习端到端模型，模拟医生根据活体共聚焦显微镜图像中某些具有代表性的神经分段估计整幅图像弯曲度分级的过程，采用多种参数可调节的函数聚合活体共聚焦显微镜中各个神经分段的弯曲度，可解性强，与医生评估结果相关性高，并且可以让医生结合专业知识直接进行聚合参数调节，调节过程直观透明，有助于在辅助临床诊断中应用，实用性强。

Description

基于IVCM图像的角膜神经弯曲度测量系统及方法
技术领域
本申请涉及一种角膜神经弯曲度测量方法，具体涉及一种基于活体共聚焦显微镜(in vivo confocal microscopy，IVCM)图像的角膜神经弯曲度测量系统及方法，属于计算机技术领域。
背景技术
活体共聚焦显微镜可以快速、无创地观察活体角膜神经纤维。由于对角膜神经弯曲度的定义不明确，医生对角膜神经弯曲度进行评估时需要依靠个人的诊治经验，只能粗略的对弯曲度进行分级，无法得出准确数值，还会出现不同医生分级结果不一致的情况。
近年来，本领域的研究者们提出了多种基于计算机辅助图像处理技术的自动化角膜神经图像弯曲度计算方法，例如多尺度图像计算角膜神经弯曲度的方法、采用多种几何弯曲度计算角膜弯曲度的方法等。然而，一幅活体共聚焦显微镜图像中包含了多个角膜神经分段，上述方法都无法模拟医生根据一幅图像中多个神经分段的弯曲度估计该图像中角膜神经整体弯曲度的过程。以基于几何学的弯曲度计算为例，其主要是通过对各个神经分段弯曲度进行算术平均或按照其长度加权平均来获取代表整幅图像中神经的弯曲度，但是由于医生通常会根据图像中某些具有代表性的神经分段估计整幅图像的弯曲度分级，通过简单的平均或加权平均所计算的弯曲度与医生的评估结果相关性低，无法辅助医生进行临床诊断。
另一方面，现有的各种自动化角膜神经图像弯曲度计算方法一般仅通过对一幅图像中各个神经分段弯曲度平均或按照各段角膜神经长度加权平均来获取代表整幅图像中神经的弯曲度，这也与医生的评估过程差距较大。
发明内容
本申请的主要目的在于提供一种基于活体共聚焦显微镜(IVCM)图像的角膜神经弯曲度测量系统及方法，其可以是非医疗目的，从而克服现有技术的不足。
为了达到前述发明目的，本申请采用了以下方案：
本申请实施例的一个方面提供了一种基于IVCM的角膜神经弯曲度测量方法，其包括：
以图像采集和预处理模块对活体共焦显微镜图像进行采集和预处理；
以角膜神经分割模块对所述图像采集和预处理模块输出的图像进行角膜神经的分割，
以神经分段弯曲度计算模块计算出经所述角膜神经分割模块分割出的各角膜神经的分段的弯曲度值；
以聚合参数选择模块选出所需的聚合函数；
以神经分段弯曲度聚合模块将所述神经分段弯曲度计算模块计算出的各角膜神经分段的弯曲度值用所述聚合参数选择模块选出的所需聚合函数进行聚合，计算出所述图像整体的弯曲度值。
在一些实施方式中，所述以图像采集和预处理模块对活体共焦显微镜图像进行预处理的方法包括：按照下式对活体共焦显微镜图像进行增强处理，
Figure BDA0002521951310000021
其中n为所述活体共焦显微镜图像中所包含的像素数量，g1，g2，…gn为所述活体共焦显微镜图像中n个像素的灰度值，Gi为经预处理后的所获图像的新灰度值。
在一些实施方式中，所述的测量方法包括：使所述角膜神经分割模块采用CS-Net深度神经网络模型对所述图像采集和预处理模块输出的图像进行角膜神经的分割。
在一些实施方式中，所述神经分段弯曲度计算模块以内置的基于几何定义的弯曲度计算方法对经所述角膜神经分割模块分割出的各角膜神经的分段的弯曲度值进行计算，所述弯曲度计算方法包括曲线长度和弦长比计算法、神经分段各点曲率的绝对值之和计算法、神经分段各点曲率中的最大绝对值计算法中的一种或多种的组合。
在一些实施方式中，所述聚合参数选择模块内置一种或多种带有参数的聚合函数，并且所述聚合参数选择模块至少以下列方式(i)、(ii)中的一种或多种的组合选出所需的聚合函数：
(i)设置所述一种或多种聚合函数的参数为固定数值；
(ii)提供数据集，通过特征选择算法设置聚合函数的参数，所述数据集包括一组已经具有弯曲度分级或排序的活体共聚焦显微镜角膜神经图像，图像数量为30幅以上。
在一些实施方式中，所述聚合参数选择模块为活体共聚焦显微镜图像中的各个神经分段赋予聚合时的权重，定义为聚合权重。
在一些实施方式中，所述聚合参数选择模块采用函数f：
Figure BDA0002521951310000022
计算权重w1，w2，…，wm，计算方法包括：
Figure BDA0002521951310000023
函数f的可选择形式包括：
Figure BDA0002521951310000031
Figure BDA0002521951310000032
其中，a和b为可调参数且满足a，b∈[0，1]，m为所述图像中角膜神经分段的数量，wi为角膜神经分段i的权重，e为自然常数，t为定义在[0，1]上的自变量。
在一些实施方式中，所述方式(ii)包括：
提供训练数据，包括由用户提供的一组已经具有弯曲度分级或排序的活体共聚焦显微镜角膜神经图像；
提供候选参数，并由用户指定其中一组参数的候选取值；
评估候选参数，对所有候选参数依次使用神经分段弯曲度聚合模块计算训练数据中图像整体的弯曲度值，将每个参数候选值得出的结果与训练数据中的已有结果计算spearman相关系数；
确定候选参数，选取spearman相关系数最大的候选参数做为聚合函数中参数的取值，或根据用户需求选取spearman相关系数前k大的候选参数做为聚合函数中参数的取值。
在一些实施方式中，所述神经分段弯曲度聚合模块将所述聚合权重与所述神经分段弯曲度计算模块的计算结果按照加权平均的方式聚合。
在一些实施方式中，所述神经分段弯曲度聚合模块输出的聚合结果为：
Figure BDA0002521951310000033
其中，w1，w2，…，wm是聚合参数选择模块得出的所述图像中m段角膜神经的权重，x1，x2，…，xm是神经分段弯曲度计算模块计算出的所述m段角膜神经弯曲度按照神经分段的特征重新排序后的结果，其中采用的排序方式包括：
至少选取角膜神经分段的长度、平均灰度值、弯曲度中的一者做为排序依据，设m段角膜神经的排序特征值为z1，z2，…，zm；
依据所述排序特征值由小到大将m段角膜神经弯曲度重新排列为x1，x2，…，xm，当满足i＜j时，xi，xj对应的排序特征值zi＜zj。
在一些实施方式中，所述的测量方法还包括：以分析结果显示模块将所述图像整体的弯曲度值输出，同时在所述图像上输出神经分段弯曲度聚合模块对其中每段神经赋予的聚合权重。
本申请实施例的另一个方面提供了一种基于活体共聚焦显微镜图像的角膜神经弯曲度测量系统，其包括：
图像采集和预处理模块，至少用于采集和预处理活体共焦显微镜图像；
角膜神经分割模块，至少用于对所述图像采集和预处理模块输出的图像进行角膜神经的分割；
神经分段弯曲度计算模块，至少用于计算经所述角膜神经分割模块分割出的各角膜神经的分段的弯曲度值；
聚合参数选择模块，至少选出所需的聚合函数；
神经分段弯曲度聚合模块，至少用于将所述神经分段弯曲度计算模块计算出的各角膜神经分段的弯曲度值用所述聚合参数选择模块选出的所需聚合函数进行聚合，从而计算出所述图像整体的弯曲度值。
在一些实施方式中，所述图像采集和预处理模块能够按照下式对活体共焦显微镜图像进行增强处理，
Figure BDA0002521951310000041
其中，n为所述活体共焦显微镜图像中所包含的像素数量，g1，g2，…gn为所述活体共焦显微镜图像中n个像素的灰度值，Gi为经预处理后的所获图像的新灰度值；
在一些实施方式中，所述角膜神经分割模块能够采用CS-Net深度神经网络模型对所述图像采集和预处理模块输出的图像进行角膜神经的分割。
在一些实施方式中，所述神经分段弯曲度计算模块以内置的基于几何定义的弯曲度计算方法对经所述角膜神经分割模块分割出的各角膜神经的分段的弯曲度值进行计算，所述弯曲度计算方法包括曲线长度和弦长比计算法、神经分段各点曲率的绝对值之和计算法、神经分段各点曲率中的最大绝对值计算法中的一种或多种的组合。
在一些实施方式中，所述聚合参数选择模块内置一种或多种带有参数的聚合函数，并且所述聚合参数选择模块至少以下列方式(i)、(ii)中的一种或多种的组合选出所需的聚合函数：
(i)设置所述一种或多种聚合函数的参数为固定数值；
(ii)提供数据集，通过特征选择算法设置聚合函数的参数，所述数据集包括一组已经具有弯曲度分级或排序的活体共聚焦显微镜角膜神经图像，图像数量为不少于30幅。
在一些实施方式中，所述聚合参数选择模块能够为活体共聚焦显微镜图像中的各个神经分段赋予聚合时的权重，定义为聚合权重。
在一些实施方式中，所述聚合参数选择模块采用函数f：
Figure BDA0002521951310000051
计算权重w1，w2，…，wm，计算方法包括：
Figure BDA0002521951310000052
函数f的可选择形式包括：
Figure BDA0002521951310000053
Figure BDA0002521951310000054
其中，a和b为可调参数且满足a，b∈[0，1]，m为所述图像中角膜神经分段的数量，wi为角膜神经分段i的权重，e为自然常数，t为定义在[0，1]上的自变量。
在一些实施方式中，所述聚合参数选择模块选择所需聚合函数的方法(ii)包括：
提供训练数据，包括由用户提供的一组已经具有弯曲度分级或排序的活体共聚焦显微镜角膜神经图像，
提供候选参数，并由用户指定其中一组参数的候选取值，
评估候选参数，对所有候选参数依次使用神经分段弯曲度聚合模块计算训练数据中图像整体的弯曲度值，将每个参数候选值得出的结果与训练数据中的已有结果计算spearman相关系数，
确定候选参数，选取spearman相关系数最大的候选参数做为聚合函数中参数的取值，或根据用户需求选取spearman相关系数前k大的候选参数做为聚合函数中参数的取值。
在一些实施方式中，所述神经分段弯曲度聚合模块能够将所述聚合权重与所述神经分段弯曲度计算模块的计算结果按照加权平均的方式聚合。
在一些实施方式中，所述神经分段弯曲度聚合模块输出的聚合结果为：
Figure BDA0002521951310000055
其中，w1，w2，…，wm是聚合参数选择模块得出的所述图像中m段角膜神经的权重，x1，x2，…，xm是神经分段弯曲度计算模块计算出的所述m段角膜神经弯曲度按照神经分段的特征重新排序后的结果，其中采用的排序方式包括：
至少选取角膜神经分段的长度、平均灰度值、弯曲度中的一者做为排序依据，设m段角膜神经的排序特征值为z1，z2，…，zm，
依据所述排序特征值由小到大将m段角膜神经弯曲度重新排列为x1，x2，…，xm，当满足i＜j时，xi，xj对应的排序特征值zi＜zj。
在一些实施方式中，所述测量系统还包括分析结果显示模块，所述分析结果显示模块至少用于将所述图像整体的弯曲度值输出，同时在所述图像上输出神经分段弯曲度聚合模块对其中每段神经赋予的聚合权重。
较之现有技术，本申请的优点至少在于：可以很好地模拟医生根据图像中某些具有代表性的神经分段估计整幅图像弯曲度分级的过程，采用多种参数可调节的函数聚合活体共聚焦显微镜中各个神经分段的弯曲度，可解性强，与医生评估结果相关性高，并可以让医生结合专业知识直接进行聚合参数调节，调节过程直观透明，克服“黑盒”效应，有助于在辅助临床诊断中应用。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一典型实施例中一种基于IVCM的角膜神经弯曲度测量系统的结构示意图；
图2是本申请一典型实施例中一种聚合参数选择模块的示意图；
图3是本申请一典型实施例中一种神经分段弯曲度聚合模块的示意图。
具体实施方式
鉴于现有技术的不足，本申请的发明人经长期研究和大量实践，得以提出一种基于IVCM的角膜神经弯曲度测量方法及系统，其可以嵌入现有自动化角膜神经弯曲度评估系，并很好的克服现有技术的诸多缺陷。
为了使本申请的目的、技术方案及优点更加清楚明白，以下通过实施例，并结合附图，对本申请的技术方案进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
概括的讲，本申请一典型实施例提供的一种基于活体共聚焦显微镜图像的角膜神经弯曲度测量系统，其主要是在角膜神经分割和各个神经分段弯曲度计算的基础上，采用两种或更多种参数可调节的函数聚合活体共聚焦显微镜中各个神经分段的弯曲度，从而实现对整幅图像神经弯曲度的估计。
请参阅图1所示，本申请一典型实施例提供的一种基于活体共聚焦显微镜图像的角膜神经弯曲度测量系统包括：图像采集和预处理模块、角膜神经分割模块、角膜神经分段模块、神经分段弯曲度计算模块、聚合参数选择模块、神经分段弯曲度聚合模块。
在一些实施方式中，所述图像采集和预处理模块主要用于输入活体共焦显微镜图像，并将对比度较差的图片进行增强处理，例如，假设一幅图像共包含n个像素，它们的灰度值为g1，g2，…gn，则增强处理后图像的新灰度值为：
Figure BDA0002521951310000071
在一些实施方式中，所述角膜神经分割模块主要采用CS-Net深度神经网络模型对上一模块输出的图像进行角膜神经的分割。该CS-Net深度神经网络模型在编码器-解码器框架中引入注意力机制，使网络有效的关注角膜神经的全局分布；在注意力模块中融合可分离卷积，优化网络对角膜神经结构性，边缘性特征提取性能。该CS-Net深度神经网络模型的实现方式可以参考如下文献：Lei Mou，Yitian Zhao，Li Chen，Jun Cheng，Zaiwang Gu，Huaying Hao，Hong Qi，Yalin Zheng，Alejandro Frangi and Jiang Liu.CS-Net：Channeland Spatial Attention Network for Curvilinear Structure Segmentation，inInternational Conference on Medical Image Computing and Computer-AssistedIntervention，2019。
在一些实施方式中，所述神经分段弯曲度计算模块内置多种基于几何定义的弯曲度计算方法可供选择，其既支持单独使用，也支持多种计算方法组合使用，这些弯曲度计算方法包含但不限于：曲线长度和弦长比(W.Lotmar，A.Freiburghaus，andD.Bracher.Measurement of vessel tortuosity on fundus photographs.Albrecht VonGraefes Archiv Fr Klinische Und Experimentelle Ophthalmologie，211(1)：49-57，1979.)，神经分段各点曲率的绝对值之和(W.E.Hart，M.H.Goldbaum，P.Kube，andM.Nelson.Measurement and classification of retinal vasculartortuosity.Internationaljournal ofmedical informatics，532-3：239-52，1999.)，神经分段各点曲率中的最大绝对值(Roberto Annunziata，Ahmad Kheirkhah，ShrutiAggarwal，Bernardo M Cavalcanti，Pe-dram Hamrah，and Emanuele Trucco.Two-dimensional plane formulti-scale quantifica-tion of corneal subbasal nervetortuosity.Investigative ophthalmology&visual science，57(3)：1132-1139，2016.)等。
在一些实施方式中，所述聚合参数选择模块内置多种带有参数的聚合函数，用户可以设置参数到固定的数值(例如，取值范围在0到1之间)，也可以提供数据集，通过特征选择算法(例如利用监督学习的聚合函数选择的方法)自动设置聚合函数的参数。既支持某个参数的聚合函数单独使用，也支持多个参数不同的聚合函数组合使用。
其中，所述数据集可以包括一组活体共聚焦显微镜角膜神经图像，其中包含不少于30幅已经具有弯曲度分级或排序的活体共聚焦显微镜角膜神经图像。
适用于该典型实施例的一种聚合参数选择模块的示意图可以参考图2。
进一步的，该聚合参数选择模块可以利用监督学习方法选择聚合函数，其实施方式包括如下步骤：
1.提供训练数据，由用户提供一组数量不少于30幅的已经具有弯曲度分级或排序的活体共聚焦显微镜角膜神经图像；
2.提供候选参数，由用户指定一组参数a和b的候选取值；
3.评估候选参数，对所有候选参数依次使用神经分段弯曲度聚合模块计算训练数据中图像整体的弯曲度值，将每个参数候选值得出的结果同训练数据中的已有结果计算spearman相关系数；
4.确定候选参数，选取spearman相关系数最大的候选参数做为聚合函数中参数的取值，或根据用户需求选取spearman相关系数前k大的候选参数做为聚合函数中参数的取值。
进一步的，该聚合参数选择模块为一幅活体共聚焦显微镜图像中的各个神经分段赋予聚合时的权重(可以定义为“聚合权重”)。特别的，该聚合参数选择模块采用函数f：
Figure BDA0002521951310000081
计算权重w1，w2，…，wm，计算方法为：
Figure BDA0002521951310000082
函数f有两种形式可供选择：
Figure BDA0002521951310000083
Figure BDA0002521951310000084
其中，a和b为可调参数，满足a，b∈[0，1]；m为图像中角膜神经分段的数量，wi是分段i的权重，e是自然常数，t为定义在[0，1]上的自变量。
该实施例的聚合参数选择模块可以嵌入现有的自动化角膜神经弯曲度评估系统使用。
在一些实施方式中，所述神经分段弯曲度聚合模块用于将神经分段弯曲度计算模块的得出的各角膜神经分段的弯曲度值用聚合参数选择模块选出的聚合函数进行聚合，计算出图像整体的弯曲度值。
适用于该典型实施例的一种神经分段弯曲度聚合模块的示意图可以参阅图3。
进一步的，该神经分段弯曲度聚合模块将聚合权重同神经分段弯曲度计算模块的结果按照加权平均的方式聚合。特别的，该神经分段弯曲度聚合模块输出的聚合结果为：
Figure BDA0002521951310000091
其中，w1，w2，…，wm是聚合参数选择模块得出的m段角膜神经的权重，x1，x2，…，xm是神经分段弯曲度计算模块得出的m段角膜神经弯曲度按照神经分段的特征重新排序后的结果，其中采用的排序方法包括如下步骤：
1.选取角膜神经分段的长度、平均灰度值、弯曲度其中之一做为排序依据，设m段角膜神经的排序特征值为z1，z2，…，zm；
2.依据排序特征值由小到大将m段角膜神经弯曲度重新排列为x1，x2，…，xm，满足当i＜j时，xi，xj对应的排序特征值zi＜zj。
在一些实施方式中，所述角膜神经弯曲度测量系统还包括分析结果显示模块。所述分析结果显示模块将图像整体的弯曲度值输出，同时在活体共聚焦显微镜图像上输出神经分段弯曲度聚合模块对每段神经赋予的聚合权重。
本申请以上实施例提供的技术方案具有聚合参数可调，可解性强，与医生评估结果相关性高等特点，同时也可以与已有数据和特征选择方法相结合，实现基于监督学习的聚合函数选择。具体来说，本申请以上实施例模拟医生根据图像中某些具有代表性的神经分段估计整幅图像弯曲度分级的过程，采用多种参数可调节的函数聚合活体共聚焦显微镜中各个神经分段的弯曲度，可解性强，与医生评估结果相关性高，参数调节兼容直接指定和有监督学习两种方法，可将聚合参数选择模块嵌入现有自动化角膜神经弯曲度评估系统。
进一步的讲，本申请以上实施例所提供技术方案的优点包括：
1)采用两种显式的权重函数计算聚合时的权重，提升了自动化角膜神经弯曲度评估的可解释性。
2)将聚合过程中每个神经分段的权重通过分析结果显示模块反馈给医生，提升了操作的直观性。
3)采用参数可调节方式取代对各个神经分段弯曲度进行算术平均或按照其长度加权平均，提升了自动化评估结果与医生经验评估结果的相关性。
4)采用直接指定(参阅图2中的I部分所示，指定过程为先选择f(t)形式，再指定a和b的值)和有监督学习(参阅图2中的II部分所示)两种方式确定聚合参数并按照角膜神经分段的长度、平均灰度值、弯曲度对角膜神经分段的弯曲度进行排序，提升了聚合参数选择模块的灵活性。
总之，本申请以上实施例区别于现有的基于深度学习端到端模型，可以让医生结合专业知识直接进行聚合参数调节，调节过程直观透明，克服“黑盒”效应，有助于在辅助临床诊断中应用，实用性强。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (16)

1.一种基于IVCM的角膜神经弯曲度测量方法，其特征在于包括：
以图像采集和预处理模块对活体共焦显微镜图像进行采集和预处理；
以角膜神经分割模块对所述图像采集和预处理模块输出的图像进行角膜神经的分割；
以神经分段弯曲度计算模块计算出经所述角膜神经分割模块分割出的各角膜神经的分段的弯曲度值；
以聚合参数选择模块选出所需的聚合函数；
以神经分段弯曲度聚合模块将所述神经分段弯曲度计算模块计算出的各角膜神经分段的弯曲度值用所述聚合参数选择模块选出的所需聚合函数进行聚合，计算出所述图像整体的弯曲度值；
其中，所述聚合参数选择模块内置一种或多种带有参数的聚合函数，并且所述聚合参数选择模块至少以下列方式(i)、(ii)中的一种或多种的组合选出所需的聚合函数：
(i)设置所述一种或多种聚合函数的参数为固定数值；
(ii)提供数据集，通过特征选择算法设置聚合函数的参数，所述数据集包括一组已经具有弯曲度分级或排序的活体共聚焦显微镜角膜神经图像，图像数量为30幅以上；
以及，所述聚合参数选择模块为活体共聚焦显微镜图像中的各个神经分段赋予聚合时的权重，定义为聚合权重，并且所述聚合参数选择模块是采用函数f:
Figure FDA0004226338380000011
计算权重w1,w2,…,wm，计算方法包括：
Figure FDA0004226338380000012
函数f的可选择形式包括：
Figure FDA0004226338380000013
Figure FDA0004226338380000014
其中，a和b为可调参数且满足a,b∈[0,1]，m为所述图像中角膜神经分段的数量，wi为角膜神经分段i的权重，e为自然常数，t为定义在[0,1]上的自变量。
2.根据权利要求1所述的测量方法，其特征在于，以图像采集和预处理模块对活体共焦显微镜图像进行预处理的方法包括：按照下式对活体共焦显微镜图像进行增强处理，
Figure FDA0004226338380000021
其中，n为所述活体共焦显微镜图像中所包含的像素数量，g1,g2,…gn为所述活体共焦显微镜图像中n个像素的灰度值，Gi为经预处理后的所获图像的新灰度值。
3.根据权利要求1所述的测量方法，其特征在于包括：使所述角膜神经分割模块采用CS-Net深度神经网络模型对所述图像采集和预处理模块输出的图像进行角膜神经的分割。
4.根据权利要求1所述的测量方法，其特征在于，所述神经分段弯曲度计算模块以内置的基于几何定义的弯曲度计算方法对经所述角膜神经分割模块分割出的各角膜神经的分段的弯曲度值进行计算，所述弯曲度计算方法包括曲线长度和弦长比计算法、神经分段各点曲率的绝对值之和计算法、神经分段各点曲率中的最大绝对值计算法中的一种或多种的组合。
5.根据权利要求1所述的测量方法，其特征在于，所述方式(ii)包括：
提供训练数据，包括由用户提供的一组已经具有弯曲度分级或排序的活体共聚焦显微镜角膜神经图像；
提供候选参数，并由用户指定其中一组参数的候选取值；
评估候选参数，对所有候选参数依次使用神经分段弯曲度聚合模块计算训练数据中图像整体的弯曲度值，将每个参数候选值得出的结果与训练数据中的已有结果计算spearman相关系数；
确定候选参数，选取spearman相关系数最大的候选参数做为聚合函数中参数的取值，或根据用户需求选取spearman相关系数前k大的候选参数做为聚合函数中参数的取值。
6.根据权利要求1所述的测量方法，其特征在于，所述神经分段弯曲度聚合模块将所述聚合权重与所述神经分段弯曲度计算模块的计算结果按照加权平均的方式聚合。
7.根据权利要求6所述的测量方法，其特征在于，所述神经分段弯曲度聚合模块输出的聚合结果为：
Figure FDA0004226338380000022
其中，w1,w2,…,wm是聚合参数选择模块得出的所述图像中m段角膜神经的权重，x1,x2,…,xm是神经分段弯曲度计算模块计算出的所述m段角膜神经弯曲度按照神经分段的特征重新排序后的结果，其中采用的排序方式包括：
至少选取角膜神经分段的长度、平均灰度值、弯曲度中的一者做为排序依据，设m段角膜神经的排序特征值为z1,z2,…,zm；
依据所述排序特征值由小到大将m段角膜神经弯曲度重新排列为x1,x2,…,xm，当满足i＜j时，xi,xj对应的排序特征值zi＜zj。
8.根据权利要求1所述的测量方法，其特征在于还包括：以分析结果显示模块将所述图像整体的弯曲度值输出，同时在所述图像上输出神经分段弯曲度聚合模块对其中每段神经赋予的聚合权重。
9.一种基于IVCM的角膜神经弯曲度测量系统，其特征在于包括：
图像采集和预处理模块，至少用于采集和预处理活体共焦显微镜图像；
角膜神经分割模块，至少用于对所述图像采集和预处理模块输出的图像进行角膜神经的分割；
神经分段弯曲度计算模块，至少用于计算经所述角膜神经分割模块分割出的各角膜神经的分段的弯曲度值；
聚合参数选择模块，至少选出所需的聚合函数；
神经分段弯曲度聚合模块，至少用于将所述神经分段弯曲度计算模块计算出的各角膜神经分段的弯曲度值用所述聚合参数选择模块选出的所需聚合函数进行聚合，从而计算出所述图像整体的弯曲度值；
其中，所述聚合参数选择模块内置一种或多种带有参数的聚合函数，并且所述聚合参数选择模块至少以下列方式(i)、(ii)中的一种或多种的组合选出所需的聚合函数：
(i)设置所述一种或多种聚合函数的参数为固定数值；
(ii)提供数据集，通过特征选择算法设置聚合函数的参数，所述数据集包括一组已经具有弯曲度分级或排序的活体共聚焦显微镜角膜神经图像，图像数量为30幅以上；
以及，所述聚合参数选择模块为活体共聚焦显微镜图像中的各个神经分段赋予聚合时的权重，定义为聚合权重，并且所述聚合参数选择模块是采用函数f:
Figure FDA0004226338380000031
计算权重w1,w2,…,wm，计算方法包括：
Figure FDA0004226338380000032
函数f的可选择形式包括：
Figure FDA0004226338380000033
Figure FDA0004226338380000034
其中，a和b为可调参数且满足a,b∈[0,1]，m为所述图像中角膜神经分段的数量，wi为角膜神经分段i的权重，e为自然常数，t为定义在[0,1]上的自变量。
10.根据权利要求9所述的测量系统，其特征在于，所述图像采集和预处理模块能够按照下式对活体共焦显微镜图像进行增强处理，
Figure FDA0004226338380000041
其中，n为所述活体共焦显微镜图像中所包含的像素数量，g1,g2,…gn为所述活体共焦显微镜图像中n个像素的灰度值，Gi为经预处理后的所获图像的新灰度值。
11.根据权利要求9所述的测量系统，其特征在于，所述角膜神经分割模块能够采用CS-Net深度神经网络模型对所述图像采集和预处理模块输出的图像进行角膜神经的分割。
12.根据权利要求9所述的测量系统，其特征在于，所述神经分段弯曲度计算模块以内置的基于几何定义的弯曲度计算方法对经所述角膜神经分割模块分割出的各角膜神经的分段的弯曲度值进行计算，所述弯曲度计算方法包括曲线长度和弦长比计算法、神经分段各点曲率的绝对值之和计算法、神经分段各点曲率中的最大绝对值计算法中的一种或多种的组合。
13.根据权利要求9所述的测量系统，其特征在于，所述方式(ii)包括：
提供训练数据，包括由用户提供的一组已经具有弯曲度分级或排序的活体共聚焦显微镜角膜神经图像，
提供候选参数，并由用户指定其中一组参数的候选取值，
评估候选参数，对所有候选参数依次使用神经分段弯曲度聚合模块计算训练数据中图像整体的弯曲度值，将每个参数候选值得出的结果与训练数据中的已有结果计算spearman相关系数，
确定候选参数，选取spearman相关系数最大的候选参数做为聚合函数中参数的取值，或根据用户需求选取spearman相关系数前k大的候选参数做为聚合函数中参数的取值。
14.根据权利要求9所述的测量系统，其特征在于，所述神经分段弯曲度聚合模块能够将所述聚合权重与所述神经分段弯曲度计算模块的计算结果按照加权平均的方式聚合。
15.根据权利要求14所述的测量系统，其特征在于，所述神经分段弯曲度聚合模块输出的聚合结果为：
Figure FDA0004226338380000042
其中，w1,w2,…,wm是聚合参数选择模块得出的所述图像中m段角膜神经的权重，x1,x2,…,xm是神经分段弯曲度计算模块计算出的所述m段角膜神经弯曲度按照神经分段的特征重新排序后的结果，其中采用的排序方式包括：
至少选取角膜神经分段的长度、平均灰度值、弯曲度中的一者做为排序依据，设m段角膜神经的排序特征值为z1,z2,…,zm，
依据所述排序特征值由小到大将m段角膜神经弯曲度重新排列为x1,x2,…,xm，当满足i＜j时，xi,xj对应的排序特征值zi＜zj。
16.根据权利要求9所述的测量系统，其特征在于，所述测量系统还包括分析结果显示模块，所述分析结果显示模块至少用于将所述图像整体的弯曲度值输出，同时在所述图像上输出神经分段弯曲度聚合模块对其中每段神经赋予的聚合权重。
CN202010493501.3A 2020-06-03 2020-06-03 基于ivcm图像的角膜神经弯曲度测量系统及方法 Active CN111652871B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010493501.3A CN111652871B (zh) 2020-06-03 2020-06-03 基于ivcm图像的角膜神经弯曲度测量系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010493501.3A CN111652871B (zh) 2020-06-03 2020-06-03 基于ivcm图像的角膜神经弯曲度测量系统及方法

Publications (2)

Publication Number Publication Date
CN111652871A CN111652871A (zh) 2020-09-11
CN111652871B true CN111652871B (zh) 2023-07-04

Family

ID=72348767

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010493501.3A Active CN111652871B (zh) 2020-06-03 2020-06-03 基于ivcm图像的角膜神经弯曲度测量系统及方法

Country Status (1)

Country Link
CN (1) CN111652871B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112767406B (zh) * 2021-02-02 2023-12-12 苏州大学 角膜溃疡分割的深度卷积神经网络训练方法及分割方法
CN113256638A (zh) * 2021-05-11 2021-08-13 北京航空航天大学 基于卷积神经网络模型的眼球角膜神经分割方法及装置
CN116612192A (zh) * 2023-07-19 2023-08-18 山东艺术学院 一种基于数字视频的病虫害区目标定位方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011139827A1 (en) * 2010-05-06 2011-11-10 Alcon Research, Ltd. Devices and methods for assessing changes in corneal health
CN108537282A (zh) * 2018-04-13 2018-09-14 东北大学 一种使用超轻量级SqueezeNet网络的糖尿病视网膜病变分级方法
CN111191514A (zh) * 2019-12-04 2020-05-22 中国地质大学（武汉） 一种基于深度学习的高光谱图像波段选择方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6535623B1 (en) * 1999-04-15 2003-03-18 Allen Robert Tannenbaum Curvature based system for the segmentation and analysis of cardiac magnetic resonance images
FR2953050A1 (fr) * 2009-11-23 2011-05-27 Canon Kk Procede et dispositif de detection des points de courbure dans une image d'entree
US9971952B2 (en) * 2015-02-10 2018-05-15 3D Imaging Partners System and method for three-dimensional nerve segmentation using curved multiplanar reformatting magnetic resonance imaging
CN104766322B (zh) * 2015-04-03 2018-02-02 北京师范大学 基于测地线的脑血管长度及弯曲度度量方法
US9757022B2 (en) * 2015-05-12 2017-09-12 The Johns Hopkins University Automated methods to count corneal subbasal nerves
WO2018109537A1 (en) * 2016-12-17 2018-06-21 Novartis Ag Determining eye surface contour using multifocal keratometry
US20190014982A1 (en) * 2017-07-12 2019-01-17 iHealthScreen Inc. Automated blood vessel feature detection and quantification for retinal image grading and disease screening
CN208740937U (zh) * 2017-12-11 2019-04-16 中国科学院宁波工业技术研究院慈溪生物医学工程研究所 一种用于非接触式测量角膜直径的标尺
CN109685770B (zh) * 2018-12-05 2020-10-09 合肥奥比斯科技有限公司 视网膜血管弯曲度确定方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011139827A1 (en) * 2010-05-06 2011-11-10 Alcon Research, Ltd. Devices and methods for assessing changes in corneal health
CN108537282A (zh) * 2018-04-13 2018-09-14 东北大学 一种使用超轻量级SqueezeNet网络的糖尿病视网膜病变分级方法
CN111191514A (zh) * 2019-12-04 2020-05-22 中国地质大学（武汉） 一种基于深度学习的高光谱图像波段选择方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于SOPC的数字预失真器设计与实现;苏攀;计算机工程;第40卷(第10期);118-121 *
基于深度学习算法在角膜共聚焦显微镜图像中炎症细胞智能识别的研究;吕健;陈琦;张凯;蒋莉;唐芬;陈青;蓝倩倩;李兰建;曾思明;徐帆;;中国临床新医学(第02期);全文 *

Also Published As

Publication number Publication date
CN111652871A (zh) 2020-09-11

Similar Documents

Publication Publication Date Title
CN111652871B (zh) 基于ivcm图像的角膜神经弯曲度测量系统及方法
CN110010219B (zh) 光学相干层析图像视网膜病变智能检测系统及检测方法
CN108920893B (zh) 一种基于人工智能的颅颌面骨骼和软组织形态预测方法
CN107730497B (zh) 一种基于深度迁移学习的血管内斑块属性分析方法
Xie et al. Dynamic adaptive residual network for liver CT image segmentation
CN101763644B (zh) 肺结节三维分割与特征提取方法及系统
CN108492300B (zh) 管状结构增强与能量函数结合的肺部血管树分割方法
Tian et al. Multi-path convolutional neural network in fundus segmentation of blood vessels
US20220245814A1 (en) Systems and methods for medical image style transfer using deep neural networks
Tu et al. Automatic measurement algorithm of scoliosis Cobb angle based on deep learning
Uahabi et al. Applications of fractals in medicine
CN109528196B (zh) 一种肝静脉压力梯度无创性评估方法
WO2006000953A1 (en) Displaying a tracheobronchial tree
CN109919254B (zh) 乳腺密度分类方法、系统、可读存储介质和计算机设备
Sanfilippo et al. Optic disc morphology-Rethinking shape
CN106803251B (zh) 由ct影像确定主动脉缩窄处压力差的装置与方法
CN111784704B (zh) Mri髋关节炎症分割与分类自动定量分级序贯方法
CN109035283A (zh) 一种基于随机选取分区的肺气肿精准检测与量化分析方法
CN109685814A (zh) 基于mspcnn的胆囊结石超声图像全自动分割方法
CN115830016B (zh) 医学图像配准模型训练方法及设备
CN113782184A (zh) 一种基于面部关键点与特征预学习的脑卒中辅助评估系统
CN112950631A (zh) 基于显著图约束和x光头颅定位侧位图像的年龄估计方法
CN104318565A (zh) 基于等梯度距离的双向区域增长的视网膜血管分割交互式方法
CN113487568B (zh) 一种基于差分曲率的肝脏表面平滑度的测量方法
JP6827707B2 (ja) 情報処理装置および情報処理システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 315000 No. 99, Xuelin Road, Cixi City, Ningbo City, Zhejiang Province

Applicant after: Ningbo Cixi Institute of Biomedical Engineering

Applicant after: NINGBO INSTITUTE OF MATERIALS TECHNOLOGY & ENGINEERING, CHINESE ACADEMY OF SCIENCES

Address before: 315000 No. 99, Xuelin Road, Cixi City, Ningbo City, Zhejiang Province

Applicant before: Cixi Biomedical engineering Research Institute of Industrial Technology Research Institute

Applicant before: NINGBO INSTITUTE OF MATERIALS TECHNOLOGY & ENGINEERING, CHINESE ACADEMY OF SCIENCES

Address after: 315000 No. 99, Xuelin Road, Cixi City, Ningbo City, Zhejiang Province

Applicant after: Cixi Institute of Biomedical Engineering, Ningbo Institute of materials technology and engineering, Chinese Academy of Sciences

Applicant after: NINGBO INSTITUTE OF MATERIALS TECHNOLOGY & ENGINEERING, CHINESE ACADEMY OF SCIENCES

Address before: No.145, Danshan North Road, Cixi City, Ningbo City, Zhejiang Province 315000

Applicant before: CIXI INSTITUTE OF BIOMEDICAL ENGINEERING, NINGBO INSTITUTE OF INDUSTRIAL TECHNOLOGY, CHINESE ACADEMY OF SCIENCES

Applicant before: NINGBO INSTITUTE OF MATERIALS TECHNOLOGY & ENGINEERING, CHINESE ACADEMY OF SCIENCES

Address after: 315000 No. 99, Xuelin Road, Cixi City, Ningbo City, Zhejiang Province

Applicant after: Cixi Biomedical engineering Research Institute of Industrial Technology Research Institute

Applicant after: NINGBO INSTITUTE OF MATERIALS TECHNOLOGY & ENGINEERING, CHINESE ACADEMY OF SCIENCES

Address before: 315000 No. 99, Xuelin Road, Cixi City, Ningbo City, Zhejiang Province

Applicant before: Cixi Institute of Biomedical Engineering, Ningbo Institute of materials technology and engineering, Chinese Academy of Sciences

Applicant before: NINGBO INSTITUTE OF MATERIALS TECHNOLOGY & ENGINEERING, CHINESE ACADEMY OF SCIENCES

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant