CN115393351A - 一种基于朗格汉斯细胞判断角膜免疫状态的方法及装置 - Google Patents

一种基于朗格汉斯细胞判断角膜免疫状态的方法及装置 Download PDF

Info

Publication number
CN115393351A
CN115393351A CN202211322197.1A CN202211322197A CN115393351A CN 115393351 A CN115393351 A CN 115393351A CN 202211322197 A CN202211322197 A CN 202211322197A CN 115393351 A CN115393351 A CN 115393351A
Authority
CN
China
Prior art keywords
langerhans
cell
image
langerhans cells
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211322197.1A
Other languages
English (en)
Other versions
CN115393351B (zh
Inventor
彭荣梅
秦晓冉
洪晶
程健
曲景灏
徐波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Peking University Third Hospital Peking University Third Clinical Medical College
Original Assignee
Institute of Automation of Chinese Academy of Science
Peking University Third Hospital Peking University Third Clinical Medical College
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science, Peking University Third Hospital Peking University Third Clinical Medical College filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202211322197.1A priority Critical patent/CN115393351B/zh
Publication of CN115393351A publication Critical patent/CN115393351A/zh
Application granted granted Critical
Publication of CN115393351B publication Critical patent/CN115393351B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Abstract

本发明提供了一种基于朗格汉斯细胞判断角膜免疫状态的方法及装置，其方法，包括：收集不同程度免疫性角膜疾病患者的共聚焦图像并挑选，获取目标共聚焦图像并构建专家数据库，基于专家数据库，确定机器学习模型；对朗格汉斯细胞实例分割模型进行设计与训练；将待识别图像输入至朗格汉斯细胞实例分割模型中进行推理，确定不同类型的朗格汉斯细胞的细胞密度及细胞个数占比；将不同类型朗格汉斯细胞的细胞密度及细胞个数占比输入至机器学习模型中，预测角膜免疫状态的级别。本方案的朗格汉斯细胞实例分割模型可以自动识别细胞的位置和类型，结合专家库建模结果，可以帮助医生更快、更准确判断患者的角膜免疫状态。

Description

一种基于朗格汉斯细胞判断角膜免疫状态的方法及装置
技术领域
本发明涉及数据处理方法和系统技术领域，特别涉及一种基于朗格汉斯细胞判断角膜免疫状态的方法及装置。
背景技术
活体角膜激光共聚焦显微镜下观察到的朗格汉斯细胞（langerhans cells,下面简称LCs）根据细胞状态可分为未成熟和成熟两种状态，其中未成熟状态可以大致分为类圆形状和长棒状，成熟状态可以大致分为短树枝状和长树枝状，计算每种类型朗格汉斯细胞的密度及个数占比可以大致判断角膜免疫状态，从而判断免疫性角膜疾病的严重程度及治疗后的愈后评估。目前实际场景下，对朗格汉斯细胞进行类型识别并计数需要经验丰富的医生，而且手工计数费时费力，导致相关临床工作效率低下。另一方面，虽然业界有研究表示，不同类型朗格汉斯细胞个数占比与免疫性疾病有关，但是缺乏客观的量化标准。
因此，本发明提出一种基于朗格汉斯细胞判断角膜免疫状态的方法及装置。
发明内容
为解决现有技术中的问题，本发明提供一种基于朗格汉斯细胞判断角膜免疫状态的方法及装置。
本发明提供一种基于朗格汉斯细胞判断角膜免疫状态的方法，包括：
收集不同程度免疫性角膜疾病患者的共聚焦图像，其中，所述共聚焦图像中包含朗格汉斯细胞；
对所述共聚焦图像根据预设标准进行挑选，获取目标共聚焦图像，基于所述目标共聚焦图像构建专家数据库，同时，基于所述专家数据库，确定机器学习模型；
对朗格汉斯细胞实例分割模型进行设计与训练；
将待识别图像输入至训练好的所述朗格汉斯细胞实例分割模型中进行推理，并确定所述待识别图像中不同类型的朗格汉斯细胞的细胞密度及细胞个数占比；
将所述待识别图像中不同类型朗格汉斯细胞的细胞密度及细胞个数占比；输入至所述机器学习模型中，预测角膜免疫状态的级别。
根据本发明提供一种基于朗格汉斯细胞判断角膜免疫状态的方法，所述朗格汉斯细胞实例分割模型，包括：特征提取模块、类别和位置预测头、掩码预测头。
根据本发明提供一种基于朗格汉斯细胞判断角膜免疫状态的方法，所述特征提取模块，包括：
根据朗格汉斯细胞的棒状、树枝状结构，将特征提取模块的卷积层调整为两部分；
其中，所述特征提取模块中的部分卷积层调整为卷积核大小为1*n和n*1的卷积层交替堆叠；
所述特征提取模块中的部分卷积层调整为可变形卷积。
根据本发明提供一种基于朗格汉斯细胞判断角膜免疫状态的方法，对朗格汉斯细胞实例分割模型进行训练，包括：
在所述专家数据库中随机提取目标共聚焦图像；
通过目标人员对预设个目标共聚焦图像中每个朗格汉斯细胞的类别、包围框、掩码进行标注，生成第一数据集；
基于所述第一数据集完成对所述朗格汉斯细胞实例分析模型的训练。
根据本发明提供一种基于朗格汉斯细胞判断角膜免疫状态的方法，完成对所述朗格汉斯细胞实例分析模型的训练后，还包括：
获取所述专家数据库中未标注的目标共聚焦图像，并将所述未标注的目标共聚焦图像输入至所述朗格汉斯细胞实例分析模型中进行推理；
根据推理结果确定所述未标注的目标共聚焦图像中朗格汉斯细胞的位置和类型，同时，基于所述目标人员对所述推理结果进行修正，生成第二数据集；
基于所述第一数据集以及所述第二数据集确定所述专家数据库中所有目标共聚焦图像中的不同类型朗格汉斯细胞的密度及个数占比。
根据本发明提供一种基于朗格汉斯细胞判断角膜免疫状态的方法，还包括：
基于所述第一数据集和所述第二数据集完成对机器学习模型的训练，从而完成不同类型细胞的个数占比与不同角膜免疫状态之间关系的建模。
根据本发明提供一种基于朗格汉斯细胞判断角膜免疫状态的方法，将待识别图像输入至训练好的所述朗格汉斯细胞实例分割模型中进行推理，并确定所述待识别图像中不同类型的朗格汉斯细胞的细胞密度及细胞个数占比，具体包括：
将所述待识别图像输入至所述朗格汉斯细胞实例分割模型中进行推理，确定所述待识别图像中朗格汉斯细胞的总个数，以及所述待识别图像中每个朗格汉斯细胞位置和细胞类型；
基于所述细胞类型对所述每个朗格汉斯细胞进行归类，并计数，并根据所述朗格汉斯细胞的总个数确定所述待识别图像中不同类型的朗格汉斯细胞的细胞个数占比；
基于所述待识别图像中每个朗格汉斯细胞的像素所对应的实际物理尺寸，确定不同类型的朗格汉斯细胞的细胞密度。
本发明还提供一种基于朗格汉斯细胞判断角膜免疫状态的装置，包括：
图像收集模块，用于收集不同程度免疫性角膜疾病患者的共聚焦图像，其中，所述共聚焦图像中包含朗格汉斯细胞；
专家模型构建模块，用于对所述共聚焦图像根据预设标准进行挑选，获取目标共聚焦图像，基于所述目标共聚焦图像构建专家数据库，同时，基于所述专家数据库，确定机器学习模型；
朗格汉斯细胞实例分割模型构建模块，用于对朗格汉斯细胞实例分割模型进行设计与训练；
朗格汉斯细胞识别模块，用于将待识别图像输入至训练好的所述朗格汉斯细胞实例分割模型中进行推理，并确定所述待识别图像中不同类型的朗格汉斯细胞的细胞密度及细胞个数占比；
角膜免疫状态预测模块，用于将所述待识别图像中不同类型细胞密度及个数占比输入至所述机器学习模型中，预测角膜免疫状态的级别。
本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现任一项所述的朗格汉斯细胞判断角膜免疫状态的方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现任一项所述的朗格汉斯细胞判断角膜免疫状态的方法的步骤。
本发明提供的基于朗格汉斯细胞判断角膜免疫状态的方法及装置，通过构建针对角膜免疫状态的、由包含朗格汉斯细胞的共聚焦图像组成的专家数据库，建模分析出不同类型朗格汉斯细胞个数占比与角膜免疫状态的量化关系；同时设计一种朗格汉斯细胞类型识别与计数的模型，能自动区分图像中的所有朗格汉斯细胞个体及其类型，计算不同类型细胞的密度及个数占比，结合专家库建模结果，判断患者的角膜免疫状态。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明提供的基于朗格汉斯细胞判断角膜免疫状态的方法流程图之一；
图2是本发明提供的基于朗格汉斯细胞判断角膜免疫状态的方法流程图之二；
图3是本发明提供的基于朗格汉斯细胞判断角膜免疫状态的装置的结构示意图；
图4实例了一种电子设备的实体结构示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
下面结合图1-图4描述本发明的基于朗格汉斯细胞判断角膜免疫状态的方法及装置。
图1是本发明提供的基于朗格汉斯细胞判断角膜免疫状态的方法流程图之一。如图1所示，所述方法包括：
步骤101、收集不同程度免疫性角膜疾病患者的共聚焦图像，其中，所述共聚焦图像中包含朗格汉斯细胞；
步骤102、对所述共聚焦图像根据预设标准进行挑选，获取目标共聚焦图像，基于所述目标共聚焦图像构建专家数据库，同时，基于所述专家数据库，确定机器学习模型；
步骤103、对朗格汉斯细胞实例分割模型进行设计与训练；
步骤104、将待识别图像输入至训练好的所述朗格汉斯细胞实例分割模型中进行推理，并确定所述待识别图像中不同类型的朗格汉斯细胞的细胞密度及细胞个数占比；
步骤105、将所述待识别图像中不同类型朗格汉斯细胞的细胞密度及细胞个数占比输入至所述机器学习模型中，预测角膜免疫状态的级别。
首先，收集大量患有不同程度免疫性角膜疾病患者的聚焦图像（聚焦图像中包含朗格汉斯细胞），其次，根据预设标准对共聚焦图像进行筛选，并符合预设标准的共聚焦图像作为目标共聚焦图像，从而通过目标共聚焦图像组成专家数据库，根据专家数据库中朗格汉斯细胞的类型、细胞个数以及细胞密度等确定机器学习模型，然后，对朗格汉斯细胞实例分割模型进行设计与训练，最后通过将待识别图像输入朗格汉斯细胞实例分割模型中进行推理确定待识别图像中不同类型的朗格汉斯细胞的细胞密度及细胞个数占比，从而根据不同类型朗格汉斯细胞的细胞密度及细胞个数占比输入至机器学习模型中，预测出角膜免疫状态的级别。
在收集大量患有不同程度免疫性角膜疾病患者的共聚焦图像时，需要存储患有不同程度免疫性角膜疾病患者所对应的个人脱敏信息，如年龄、性别、地区、人种、角膜免疫状态级别，便于清楚的对共聚焦图像进行整理归纳，有利于构建专家数据库以及确定机器学习模型。
在对共聚焦图像根据预设标准进行挑选时，首先确定预设标准，其中，预设标准为共聚焦图像的清晰度是正常的且医生可以辨别共聚焦图像中的朗格汉斯细胞；其次，根据预设标准，大量患有不同程度免疫性角膜疾病患者的聚焦图像中进行挑选，从而确定目标共聚焦图像（即：清晰度正常且可以辨别朗格汉斯细胞的图像）。
在构建专家数据库时，汇总了患有不同程度免疫性角膜疾病患者的共聚焦图像，并且根据第一数据集以及第二数据集，实现对专家数据库中所有目标共聚焦图像中不同类型朗格汉斯细胞的密度及个数占比的获取。
在构建机器学习模型时，基于专家数据库中所有图像及其图像中的不同类型朗格汉斯细胞的密度及个数占比来训练机器学习模型，训练好的机器学习模型建模分析了不同类型细胞的个数占比与不同角膜免疫状态的关系，在进行分析时，可以是通过针对总体数据、特定地域的数据或者特定人群的数据等进行分析。其中，专家数据库可动态更新，进而不断优化用于分析的机器学习模型。
本方案提出的朗格汉斯细胞实例分割模型可以自动识别共聚焦图像中细胞的位置和类型，得到不同类型细胞的密度及个数占比，同时结合专家库建模结果，可以帮助医生更快、更准确判断患者的角膜免疫状态，从而反应免疫性角膜疾病的发病情况或愈后情况。
根据本发明提供的一种基于朗格汉斯细胞判断角膜免疫状态的方法，所述朗格汉斯细胞实例分割模型，包括：特征提取模块、类别和位置预测头、掩码预测头。
在设计朗格汉斯细胞实例分割模型时，包括，特征提取模块、类别和位置预测头、掩码预测头；且基于朗格汉斯细胞实例分割模型中，通过输入共聚焦图像，根据特征提取模块提取共聚焦图像中每个朗格汉斯细胞的特征，根据类别和位置预测头确定共聚焦图像中每个朗格汉斯细胞的类别以及每个朗格汉斯细胞在共聚焦图像中的位置；根据掩码预测头确定共聚焦图像中每个朗格汉斯细胞的掩码，从而实现自动识别共聚焦图像中细胞的位置和类型，得到不同类型细胞的密度及个数占比。
根据本发明提供的一种基于朗格汉斯细胞判断角膜免疫状态的方法，所述特征提取模块，包括：
根据朗格汉斯细胞的棒状、树枝状结构，将特征提取模块的卷积层调整为两部分；
其中，所述特征提取模块中的第一部分卷积层调整为卷积核大小为1*n和n*1的卷积层交替堆叠；
所述特征提取模块中的第二部分卷积层调整为可变形卷积。
由于在朗格汉斯细胞中存在棒状、树枝状结构，因此根据结构特征在卷积提取模块的卷积层调整为两部分，其中，第一部分调整为卷积核大小为1*n和n*1的卷积层交替堆叠来提取细长区域特征，第二部分调整为可变形卷积层，从而避免使用固定范围的卷积核，获得可学习的、更关注有用区域的卷积核。
根据本发明提供的一种基于朗格汉斯细胞判断角膜免疫状态的方法，将待识别图像输入至训练好的所述朗格汉斯细胞实例分割模型中，且在进行推理前，包括：
将所述待识别图像输入至所述朗格汉斯细胞实例分析模型后，输出为所述待识别图像中每个朗格汉斯细胞实例的包围框位置、类型、掩码；
其中，所述掩码有精细边缘信息。
通过将待识别图像输入至朗格汉斯细胞实例分析模型中，其输出的结果为待识别图像中每个朗格汉斯细胞实例的包围框位置、类型、掩码。
在确定朗格汉斯细胞的掩码时，通过掩码中的精细边缘信息有助于网络学习更有区分力的特征，对于细胞类型的识别有帮助。
图2是本发明提供的基于朗格汉斯细胞判断角膜免疫状态的方法流程图之二，如图2所示，对朗格汉斯细胞实例分割模型进行训练，包括：
S1，在所述专家数据库中随机提取目标共聚焦图像；
S2，通过目标人员对预设个目标共聚焦图像中每个朗格汉斯细胞的类别、包围框、掩码进行标注，生成第一数据集；
S3，基于所述第一数据集完成对所述朗格汉斯细胞实例分析模型的训练。
通过随机挑选专家数据库中目标共聚焦图像，并通过目标人员（可以是专业医生）标注目标共聚焦图像中每个朗格汉斯细胞的类别、包围框、掩码，并将标注的图像生成第一数据集（是通过目标人员将随机提取的目标共聚焦图像中每个朗格汉斯细胞进行标注后生成的数据集，构成第一数据集），通过对第一数据集的学习，完成对朗格汉斯细胞实例分割模型的训练
根据本发明提供的一种基于朗格汉斯细胞判断角膜免疫状态的方法，完成对所述朗格汉斯细胞实例分析模型的训练后，还包括：
获取所述专家数据库中未标注的目标共聚焦图像，并将所述未标注的目标共聚焦图像输入至所述朗格汉斯细胞实例分析模型中进行推理；
根据推理结果确定所述未标注的目标共聚焦图像中朗格汉斯细胞的位置和类型，同时，基于所述目标人员对所述推理结果进行修正，生成第二数据集；
基于所述第一数据集以及所述第二数据集确定所述专家数据库中所有目标共聚焦图像中不同类型朗格汉斯细胞的密度及个数占比。
基于目标人员（即专业医生）进行修正时，是当朗格汉斯细胞的细胞个数和细胞类型不准确时，进行修正，该修正只修正朗格汉斯细胞的细胞个数和细胞类型，且当朗格汉斯细胞的细胞个数和细胞类型准确时，不进行修正。
在确定第二数据集时，是通过朗格汉斯细胞实例分析模型对未标注的目标共聚焦图像进行推理得来的，根据第一数据集以及第二数据集，从而实现对专家数据库中所有目标共聚焦图像中不同类型朗格汉斯细胞的密度及个数占比的获取，从而有利于通过专家数据库来构建机器学习模型，帮助医生更快、更准确判断患者的角膜免疫状态。
根据本发明提供的一种基于朗格汉斯细胞判断角膜免疫状态的方法，将待识别图像输入至训练好的所述朗格汉斯细胞实例分割模型中进行推理，并确定所述待识别图像中不同类型的朗格汉斯细胞的细胞密度及细胞个数占比，具体包括：
将所述待识别图像输入至所述朗格汉斯细胞实例分割模型中进行推理，确定所述待识别图像中朗格汉斯细胞的总个数，以及所述待识别图像中每个朗格汉斯细胞位置和细胞类型；
基于所述细胞类型对所述每个朗格汉斯细胞进行归类，并计数，并根据所述朗格汉斯细胞的总个数确定所述待识别图像中不同类型的朗格汉斯细胞的细胞个数占比；
基于所述待识别图像中每个朗格汉斯细胞的像素所对应的实际物理尺寸，确定不同类型的朗格汉斯细胞的细胞密度。
通过上述技术方案有利于为后面的根据机器学习模型精准预测出角膜免疫状态的级别，判断患者的角膜免疫状态。
根据本发明提供的一种基于朗格汉斯细胞判断角膜免疫状态的方法，步骤S104中，将待识别图像输入至训练好的所述朗格汉斯细胞实例分割模型中推理，还包括：
对所述待识别图像进行读取，确定所述待识别图像的像素值，同时，获取基准像素值；
将所述待识别图像的像素值赋值为所述基准像素值，并获得基准图像；
对所述目标共聚焦图像进行读取，确定所述目标共聚焦图像所对应的背景图像，同时，将所述目标共聚焦图像的背景图像进行归一化处理，获取第一目标背景图像；
提取所述基准图像所对应的第二目标背景图像，并基于所述第一目标背景图像确定所述第二目标背景图像的错位像素点，同时，根据所述错位像素点确定所述第二目标背景图像的错位指数；
将所述错位指数与预设错位指数进行比较，判断所述基准图像是否需要进行图像矫正；
当所述错位指数小于或等于所述预设错位指数时，则判定所述基准图像不需要进行图像矫正；
否则，基于所述错位指数，对所述基准图像进行矫正，确定目标识别图像；
获取所述目标识别图像的像素点特征，并根据所述像素点特征确定所述目标识别图像中的朗格汉斯细胞，并对所述朗格汉斯细胞进行标记；
利用预设方法对标记后的所述朗格汉斯细胞的边缘轮廓进行平滑处理，并构建平滑处理后的朗格汉斯细胞的像素空间坐标系；
在所述朗格汉斯细胞的像素空间坐标系中，确定所述朗格汉斯细胞的边界像素点的像素坐标值，并基于所述朗格汉斯细胞的边界像素坐标值构成所述朗格汉斯细胞的第一结构特征；
确定所述朗格汉斯细胞中的不均匀分布像素点，并确定在所述像素空间坐标系中不均匀分布像素点的像素坐标值，同时，基于所述不均匀分布像素点的像素坐标值构成所述朗格汉斯细胞的第二结构特征；
确定所述朗格汉斯细胞中的均匀分布像素点，并确定在所述像素空间坐标系中均匀分布像素点的像素坐标值，同时，基于所述均匀分布像素点的像素坐标值构成所述朗格汉斯细胞的第三结构特征；
其中，所述朗格汉斯细胞的边缘像素点、不均匀分布像素点以及所述均匀分布像素点构成所述朗格汉斯细胞在所述目标识别图像中的总像素点；
将所述第一结构特征、第二结构特征以及所述第三结构特征进行结合生成在所述待识别图像中所述朗格汉斯细胞的总结构特征。
首先，对待识别图像进行读取，从而确定待识别图像的像素值，通过提前设定好的基准像素值可以实现对待识别图像的校准，从而便于实现对基准图像的精准识别，提高了图像读取的清晰度，其次，通过对挑选好的目标共聚焦图像进行读取，确定目标共聚焦图像所对应的背景图像，由于目标共聚焦图像是挑选了很多个，因此将目标共聚焦图像的背景图像进行归一化处理，从而确定第一目标背景图像；然后提取目标共聚焦图像的第二目标背景图像，从而通过将第一目标背景图像与第二目标背景图像确定错位像素点（第一目标背景图像的像素点与第二目背景图像的像素点之间差异的点，即为错位像素点），进而通过错位像素点确定第二目标背景图像的错位指数（错位指数是通过错位像素点的像素位置之间相差的数值确定的错位指数）；并将错位指数大于预设错位指数时，实现对基准图像的矫正，有利于实现对基准图像中朗格汉斯细胞的精准分析；最后，将矫正后的基准图像定义为目标识别图像，并对目标识别图像中的朗格汉斯细胞进行识别确定最终的朗格汉斯细胞的总结构特征（总结构特征包括：圆形状和长棒状、短树枝状和长树枝状）
在确定朗格汉斯细胞的总结构特征时，先根据预设方法（如形态学处理方法）对朗格汉斯细胞的边界图像进行边缘轮廓处理，从而构建平滑处理后的朗格汉斯细胞的像素空间坐标（是通过确定朗格汉斯细胞的中心像素点作为原点，建立的二维直角坐标，称为朗格汉斯细胞的像素空间坐标）；通过提取边界像素坐标，从而确定朗格汉斯细胞的第一结构特征、通过确定朗格汉斯细胞的不均匀分布像素点，确定第二结构特征，通过确定朗格汉斯细胞的均匀分布像素点，确定第三结构特征，进而根据第一结构特征、第二结构特征、第三结构特征确定朗格汉斯细胞的总结构特征，其中，根据像素点的颜色大小以及朗格汉斯细胞的边界，可以清晰识别到朗格汉斯细胞中的边界像素点、不均匀分布像素点以及均匀分布像素点。
在确定目标识别图像的像素点特征确定朗格汉斯细胞时，可以通过确定像素点的颜色深度（如透明、半透明、全透明）、像素点在不同颜色深度下的分布特征等确定的朗格汉斯细胞。
通过对待识别图像的像素值的处理以及对背景图像的矫正，从而确定目标识别图像，进而有利于对朗格汉斯细胞的准确分析，通过建立朗格汉斯细胞的像素空间坐标系，从而确定朗格汉斯细胞的总结构特征，有利于确定朗格汉斯细胞的个体及其类型，从而实现了朗格汉斯实例分割模型对朗格汉斯细胞的精准推理。
根据本发明提供的一种基于朗格汉斯细胞判断角膜免疫状态的方法，步骤104中，将待识别图像输入至训练好的所述朗格汉斯细胞实例分割模型中进行推理后，还包括：
获取待识别图像中不同类型的朗格汉斯细胞，获取不同类型中每个朗格汉斯细胞的单细胞边缘值，同时，还获取所有朗格汉斯细胞所构成的当下模型的模型边缘值；
Figure 914044DEST_PATH_IMAGE001
Figure 156806DEST_PATH_IMAGE002
；
其中，
Figure 553153DEST_PATH_IMAGE003
表示每个朗格汉斯细胞的单细胞边缘值；
Figure 472436DEST_PATH_IMAGE004
表示不同类型朗格汉斯细胞对应的细胞边缘权重；
Figure 852602DEST_PATH_IMAGE005
表示每个朗格汉斯细胞对应的细胞中心点，且
Figure 633476DEST_PATH_IMAGE006
；
Figure 149908DEST_PATH_IMAGE007
表示
Figure 194087DEST_PATH_IMAGE008
对应的点坐标；其中，
Figure 546702DEST_PATH_IMAGE009
都为变量；
Figure 131267DEST_PATH_IMAGE010
表示所有朗格汉斯细胞所构成的当下模型的模型边缘值；
Figure 767785DEST_PATH_IMAGE011
表示所述当下模型的模型表面积；
Figure 779603DEST_PATH_IMAGE012
表示所述当下模型表面上不同类型细胞对应的表面集合，且
Figure 806465DEST_PATH_IMAGE013
，s表示细胞类型数量；
Figure 443989DEST_PATH_IMAGE014
表示第s类型细胞基于当下模型表面的表面面积；
Figure 669434DEST_PATH_IMAGE015
表示第j类型细胞基于当下模型表面的表面面积，且
Figure 852153DEST_PATH_IMAGE016
表示所述当下模型表面的细胞总个数；
Figure 694207DEST_PATH_IMAGE017
表示第s个细胞基于当下模型表面的面积；
Figure 371308DEST_PATH_IMAGE018
为所述当下模型表面的对应的第s个细胞的筛选点，且数量为3；其中，用三维坐标表示为：
Figure 654521DEST_PATH_IMAGE019
；
其中，
Figure 273722DEST_PATH_IMAGE020
表示
Figure 71913DEST_PATH_IMAGE021
对应的点坐标；
Figure 67551DEST_PATH_IMAGE022
表示
Figure 251277DEST_PATH_IMAGE023
对应的点坐标；
Figure 41378DEST_PATH_IMAGE024
表示
Figure 530128DEST_PATH_IMAGE025
对应的点坐标；
基于所述单细胞边缘值以及模型边缘值，从边缘值-识别数据库中，匹配与所述待识别图像相关的直观显示比例；
按照所述直观显示比例，将所述待识别图像进行输出显示。
该实施例中，筛选点可以为该细胞表面上包括中心点以及穿过中心点与该细胞的边缘线任意连接的两个点。
该实施例中，边缘值-识别数据库是包括：各种类型的单细胞边缘值、不同模型的模型边缘值以及对应的观看显示比例在内的，且是预先设置好的一个数据库，便于在确定出边缘值后，可以直接匹配，提高后续的观看效果。
通过确定待识别图像中单个细胞的边缘值以及由细胞构成的模型的边缘值，来匹配对应的直观显示比例，有利于实现对待识别图像中朗格汉斯细胞的直观化显示，从而进一步有利于帮助医生更快、更准确判断患者的角膜免疫状态。
图3是本发明提供的基于朗格汉斯细胞判断角膜免疫状态的装置，如图3所示，包括：
图像收集模块，用于收集不同程度免疫性角膜疾病患者的共聚焦图像，其中，所述共聚焦图像中包含朗格汉斯细胞；
专家模型构建模块，用于对所述共聚焦图像根据预设标准进行挑选，获取目标共聚焦图像，基于所述目标共聚焦图像构建专家数据库，同时，基于所述专家数据库，确定机器学习模型；
朗格汉斯细胞实例分割模型构建模块，用于对朗格汉斯细胞实例分割模型进行设计与训练；
朗格汉斯细胞识别模块，用于将待识别图像输入至训练好的所述朗格汉斯细胞实例分割模型中进行推理，并确定所述待识别图像中不同类型的朗格汉斯细胞的细胞密度及细胞个数占比；
角膜免疫状态预测模块，用于将所述待识别图像中不同类型细胞密度及个数占比输入至所述机器学习模型中，预测角膜免疫状态的级别。
通过构建专家数据库，汇总了患有不同程度免疫性角膜疾病患者的共聚焦图像，并建模分析了不同类型朗格汉斯细胞的个数占比与不同角膜免疫状态的关系，给出了量化标准；本方案提出的朗格汉斯细胞实例分割模型可以自动识别共聚焦图像中细胞的位置和类型，得到不同类型细胞的密度及个数占比，同时结合专家库建模结果，可以帮助医生更快、更准确判断患者的角膜免疫状态，从而反应免疫性角膜疾病的发病情况或愈后情况。
图4实例了一种电子设备的实体结构示意图，如图4所示，该电子设备包括存储器410、处理器420、通信接口430以及通信总线440，其中，处理器420，通信接口430，存储器410通过通信总线440完成相互间的通信。处理器420可以调用存储器410中的逻辑指令，以执行基于朗格汉斯细胞判断角膜免疫状态的方法，该方法包括：收集不同程度免疫性角膜疾病患者的共聚焦图像，其中，所述共聚焦图像中包含朗格汉斯细胞；对所述共聚焦图像根据预设标准进行挑选，获取目标共聚焦图像，基于所述目标共聚焦图像构建专家数据库，同时，对所述专家数据库进行分析，确定机器学习模型；对朗格汉斯细胞实例分割模型进行设计与训练；将待识别图像输入至训练好的所述朗格汉斯细胞实例分割模型中进行推理，并确定所述待识别图像中不同类型的朗格汉斯细胞的细胞密度及细胞个数占比；将所述待识别图像中不同类型朗格汉斯细胞的细胞密度及细胞个数占比输入至所述机器学习模型中，预测角膜免疫状态的级别。
此外，上述的存储器410中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的基于朗格汉斯细胞判断角膜免疫状态的方法，该方法包括：收集不同程度免疫性角膜疾病患者的共聚焦图像，其中，所述共聚焦图像中包含朗格汉斯细胞；对所述共聚焦图像根据预设标准进行挑选，获取目标共聚焦图像，基于所述目标共聚焦图像构建专家数据库，同时，对所述专家数据库进行分析，确定机器学习模型；对朗格汉斯细胞实例分割模型进行设计与训练；将待识别图像输入至训练好的所述朗格汉斯细胞实例分割模型中进行推理，并确定所述待识别图像中不同类型的朗格汉斯细胞的细胞密度及细胞个数占比；将所述待识别图像中不同类型朗格汉斯细胞的细胞密度及细胞个数占比输入至所述机器学习模型中，预测角膜免疫状态的级别。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于朗格汉斯细胞判断角膜免疫状态的方法，其特征在于，包括：
收集不同程度免疫性角膜疾病患者的共聚焦图像，其中，所述共聚焦图像中包含朗格汉斯细胞；
对所述共聚焦图像根据预设标准进行挑选，获取目标共聚焦图像，基于所述目标共聚焦图像构建专家数据库，同时，基于所述专家数据库，确定机器学习模型；
对朗格汉斯细胞实例分割模型进行设计与训练；
将待识别图像输入至训练好的所述朗格汉斯细胞实例分割模型中进行推理，并确定所述待识别图像中不同类型的朗格汉斯细胞的细胞密度及细胞个数占比；
将所述待识别图像中不同类型朗格汉斯细胞的细胞密度及细胞个数占比，输入至所述机器学习模型中，预测角膜免疫状态的级别。
2.根据权利要求1所述的一种基于朗格汉斯细胞判断角膜免疫状态的方法，其特征在于，所述朗格汉斯细胞实例分割模型，包括：特征提取模块、类别和位置预测头、掩码预测头。
3.根据权利要求2所述的一种基于朗格汉斯细胞判断角膜免疫状态的方法，其特征在于，所述特征提取模块，包括：
根据朗格汉斯细胞的棒状、树枝状结构，将特征提取模块的卷积层调整为两部分；
其中，所述特征提取模块中的部分卷积层调整为卷积核大小为1*n和n*1的卷积层交替堆叠；
所述特征提取模块中的部分卷积层调整为可变形卷积。
4.根据权利要求1所述的一种基于朗格汉斯细胞判断角膜免疫状态的方法，其特征在于，对朗格汉斯细胞实例分割模型进行训练，包括：
在所述专家数据库中随机提取目标共聚焦图像；
通过目标人员对预设个目标共聚焦图像中每个朗格汉斯细胞的类别、包围框、掩码进行标注，生成第一数据集；
基于所述第一数据集完成对所述朗格汉斯细胞实例分析模型的训练。
5.根据权利要求4所述的一种基于朗格汉斯细胞判断角膜免疫状态的方法，其特征在于，完成对所述朗格汉斯细胞实例分析模型的训练后，还包括：
获取所述专家数据库中未标注的目标共聚焦图像，并将所述未标注的目标共聚焦图像输入至所述朗格汉斯细胞实例分析模型中进行推理；
根据推理结果确定所述未标注的目标共聚焦图像中朗格汉斯细胞的位置和类型，同时，基于所述目标人员对所述推理结果进行修正，生成第二数据集；
基于所述第一数据集以及所述第二数据集确定所述专家数据库中所有目标共聚焦图像中的不同类型朗格汉斯细胞的密度及个数占比。
6.根据权利要求5所述的一种基于朗格汉斯细胞判断角膜免疫状态的方法，其特征在于，还包括：
基于所述第一数据集和所述第二数据集完成对机器学习模型的训练，从而完成不同类型细胞的个数占比与不同角膜免疫状态之间关系的建模。
7.根据权利要求1所述的一种基于朗格汉斯细胞判断角膜免疫状态的方法，其特征在于，将待识别图像输入至训练好的所述朗格汉斯细胞实例分割模型中进行推理，并确定所述待识别图像中不同类型的朗格汉斯细胞的细胞密度及细胞个数占比，具体包括：
将所述待识别图像输入至所述朗格汉斯细胞实例分割模型中进行推理，确定所述待识别图像中朗格汉斯细胞的总个数，以及所述待识别图像中每个朗格汉斯细胞位置和细胞类型；
基于所述细胞类型对所述每个朗格汉斯细胞进行归类，并计数，并根据所述朗格汉斯细胞的总个数确定所述待识别图像中不同类型的朗格汉斯细胞的细胞个数占比；
基于所述待识别图像中每个朗格汉斯细胞的像素所对应的实际物理尺寸，确定不同类型的朗格汉斯细胞的细胞密度。
8.一种基于朗格汉斯细胞判断角膜免疫状态的装置，其特征在于，包括：
图像收集模块，用于收集不同程度免疫性角膜疾病患者的共聚焦图像，其中，所述共聚焦图像中包含朗格汉斯细胞；
专家模型构建模块，用于对所述共聚焦图像根据预设标准进行挑选，获取目标共聚焦图像，基于所述目标共聚焦图像构建专家数据库，同时，基于所述专家数据库，确定机器学习模型；
朗格汉斯细胞实例分割模型构建模块，用于对朗格汉斯细胞实例分割模型进行设计与训练；
朗格汉斯细胞识别模块，用于将待识别图像输入至训练好的所述朗格汉斯细胞实例分割模型中进行推理，并确定所述待识别图像中不同类型的朗格汉斯细胞的细胞密度及细胞个数占比；
角膜免疫状态预测模块，用于将所述待识别图像中不同类型细胞密度及个数占比输入至所述机器学习模型中，预测角膜免疫状态的级别。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述的朗格汉斯细胞判断角膜免疫状态的方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的朗格汉斯细胞判断角膜免疫状态的方法的步骤。
CN202211322197.1A 2022-10-27 2022-10-27 一种基于朗格汉斯细胞判断角膜免疫状态的方法及装置 Active CN115393351B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211322197.1A CN115393351B (zh) 2022-10-27 2022-10-27 一种基于朗格汉斯细胞判断角膜免疫状态的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211322197.1A CN115393351B (zh) 2022-10-27 2022-10-27 一种基于朗格汉斯细胞判断角膜免疫状态的方法及装置

Publications (2)

Publication Number Publication Date
CN115393351A true CN115393351A (zh) 2022-11-25
CN115393351B CN115393351B (zh) 2023-01-24

Family

ID=84129335

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211322197.1A Active CN115393351B (zh) 2022-10-27 2022-10-27 一种基于朗格汉斯细胞判断角膜免疫状态的方法及装置

Country Status (1)

Country Link
CN (1) CN115393351B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115690092A (zh) * 2022-12-08 2023-02-03 中国科学院自动化研究所 角膜共聚焦图像中阿米巴包囊的识别与计数方法及装置
CN117765532A (zh) * 2024-02-22 2024-03-26 中国科学院宁波材料技术与工程研究所 基于共聚焦显微图像的角膜朗格汉斯细胞分割方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002045718A1 (en) * 2000-12-08 2002-06-13 Institut Pasteur De Lille Use of active compounds capable of modulating the intracellular pathway triggered by the dp receptor in langerhans cells
CN101032625A (zh) * 2007-04-06 2007-09-12 中国人民解放军第二军医大学 一种小鼠皮肤朗格汉斯细胞缺失模型的构建方法
CN111696094A (zh) * 2020-06-12 2020-09-22 杭州迪英加科技有限公司 免疫组化pd-l1膜染色病理切片图像处理方法、装置和设备
CN112561863A (zh) * 2020-12-03 2021-03-26 吉林大学 一种基于改进ResNet的医学图像多分类识别系统
CN113592783A (zh) * 2021-07-08 2021-11-02 北京大学第三医院（北京大学第三临床医学院） 角膜共聚焦图像中细胞基础指标的精准量化方法及装置
CN113677354A (zh) * 2019-01-23 2021-11-19 综合医院公司 B细胞免疫疗法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002045718A1 (en) * 2000-12-08 2002-06-13 Institut Pasteur De Lille Use of active compounds capable of modulating the intracellular pathway triggered by the dp receptor in langerhans cells
CN101032625A (zh) * 2007-04-06 2007-09-12 中国人民解放军第二军医大学 一种小鼠皮肤朗格汉斯细胞缺失模型的构建方法
CN113677354A (zh) * 2019-01-23 2021-11-19 综合医院公司 B细胞免疫疗法
CN111696094A (zh) * 2020-06-12 2020-09-22 杭州迪英加科技有限公司 免疫组化pd-l1膜染色病理切片图像处理方法、装置和设备
CN112561863A (zh) * 2020-12-03 2021-03-26 吉林大学 一种基于改进ResNet的医学图像多分类识别系统
CN113592783A (zh) * 2021-07-08 2021-11-02 北京大学第三医院（北京大学第三临床医学院） 角膜共聚焦图像中细胞基础指标的精准量化方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘庆言等: "共聚焦显微镜下干眼症患者角膜形态变化的诊断价值初探", 《安徽医科大学学报》 *
彭荣梅 等: "角膜内皮移植术后早期玻璃酸钠对泪膜及角膜上皮细胞再生的作用", 《眼科新进展》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115690092A (zh) * 2022-12-08 2023-02-03 中国科学院自动化研究所 角膜共聚焦图像中阿米巴包囊的识别与计数方法及装置
CN117765532A (zh) * 2024-02-22 2024-03-26 中国科学院宁波材料技术与工程研究所 基于共聚焦显微图像的角膜朗格汉斯细胞分割方法和装置

Also Published As

Publication number Publication date
CN115393351B (zh) 2023-01-24

Similar Documents

Publication Publication Date Title
CN115393351B (zh) 一种基于朗格汉斯细胞判断角膜免疫状态的方法及装置
Sharma et al. Crowdsourcing for chromosome segmentation and deep classification
CN109410204B (zh) 一种基于cam的皮质白内障图像处理及增强方法
CN110766051A (zh) 一种基于神经网络的肺结节形态学分类方法
CN110059656B (zh) 基于卷积对抗生成神经网络的白细胞分类方法及系统
CN111079620B (zh) 基于迁移学习的白细胞图像检测识别模型构建方法及应用
CN112819821B (zh) 一种细胞核图像检测方法
CN110705403A (zh) 细胞分类方法、装置、介质及电子设备
CN112365973B (zh) 基于对抗网络和Faster R-CNN的肺结节辅助诊断系统
CN110264444A (zh) 基于弱分割的损伤检测方法及装置
CN112215217B (zh) 模拟医师阅片的数字图像识别方法及装置
CN106372624A (zh) 人脸识别方法及系统
Krawczyk et al. Bones detection in the pelvic area on the basis of YOLO neural network
Junayed et al. ScarNet: development and validation of a novel deep CNN model for acne scar classification with a new dataset
CN105354405A (zh) 基于机器学习的免疫组化图像自动化判读系统
CN112651955A (zh) 一种肠道图像的识别方法及终端设备
Davis et al. Automated bone age assessment using feature extraction
CN114863125A (zh) 一种书法/美术作品智能评分方法及系统
CN117274278B (zh) 基于模拟感受野的视网膜图像病灶部位分割方法及系统
CN112215285B (zh) 一种基于跨媒体特征的眼底图像自动标注方法
CN114219936A (zh) 目标检测方法、电子设备、存储介质和计算机程序产品
CN111414930B (zh) 深度学习模型训练方法及装置、电子设备及存储介质
CN112861881A (zh) 一种基于改进MobileNet模型的蜂窝肺识别方法
CN112861743A (zh) 一种掌静脉图像防伪方法、装置和设备
CN111612749A (zh) 基于肺部影像的病灶检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant