CN113284140A - 一种基于多模态数据的双眼圆锥角膜诊断方法 - Google Patents

一种基于多模态数据的双眼圆锥角膜诊断方法 Download PDF

Info

Publication number
CN113284140A
CN113284140A CN202110717940.2A CN202110717940A CN113284140A CN 113284140 A CN113284140 A CN 113284140A CN 202110717940 A CN202110717940 A CN 202110717940A CN 113284140 A CN113284140 A CN 113284140A
Authority
CN
China
Prior art keywords
data
cornea
value
height
corneal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110717940.2A
Other languages
English (en)
Other versions
CN113284140B (zh
Inventor
沈阳
周行涛
李慧杰
王崇阳
陈文光
赵婧
李美燕
冼艺勇
徐海鹏
牛凌凌
赵武校
韩田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Mediworks Precision Instrument Co ltd
Eye and ENT Hospital of Fudan University
Original Assignee
Shanghai Mediworks Precision Instrument Co ltd
Eye and ENT Hospital of Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Mediworks Precision Instrument Co ltd, Eye and ENT Hospital of Fudan University filed Critical Shanghai Mediworks Precision Instrument Co ltd
Priority to CN202110717940.2A priority Critical patent/CN113284140B/zh
Priority to US17/797,114 priority patent/US11717151B2/en
Priority to EP21925096.6A priority patent/EP4365829A1/en
Priority to KR1020227022946A priority patent/KR20230005108A/ko
Priority to JP2022541624A priority patent/JP7454679B2/ja
Priority to PCT/CN2021/110812 priority patent/WO2023272876A1/zh
Publication of CN113284140A publication Critical patent/CN113284140A/zh
Application granted granted Critical
Publication of CN113284140B publication Critical patent/CN113284140B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/107—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining the shape or measuring the curvature of the cornea
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Ophthalmology & Optometry (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Geometry (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于多模态数据的双眼圆锥角膜诊断方法，利用双眼角膜屈光四图和角膜绝对高度数据，考虑双眼之间的相互关系，结合了基于深度卷积网络方法、传统机器学习svm方法以及可调整的BSF高度图增强方法来识别病灶的敏感性及特异性，并平衡其敏感性和特异性，多维度综合判断以病人为单位的圆锥角膜发病率，结合双眼数据既包含人工选择特征又包含深度网络自己从大数据中学习，诊断方法有更强的鲁棒性和准确性。

Description

一种基于多模态数据的双眼圆锥角膜诊断方法
技术领域
本发明涉及一种眼科数据诊断技术，特别涉及一种基于多模态数据的双眼圆锥角膜诊断方法。
背景技术
人眼圆锥角膜是以角膜扩张、中央变薄向前突出，呈圆锥形为特征的一种临床眼科疾病。该类疾病是屈光手术的禁忌症，发生于单眼或者双眼，且通常会导致视力显著下降。圆锥角膜多由角膜后表面最先发病，进而逐步向角膜前表面缓慢发展。
当前圆锥角膜的诊断和治疗已经发展成为角膜病学、屈光手术学、视光学等密切合作的一种临床疾病学。通常基于角膜地形图用于圆锥角膜诊断的方法为临床统计学方法，大多利用角膜地形图的形态特征配合临床参数和病史对圆锥角膜进行确诊和临床分期。统计学的模型得出的结果是一个汇总参数，并根据已获知的诊断结果数据集得出参数分界线，如广泛应用的KISA指数，IS指数，SRI\SAI指数等。这类方法多受限于平台数据，过分依赖有限个人为认定的单眼特征，忽略双眼之间的相互关系，且不同指数敏感性特异性不同对早期圆锥角膜和顿挫性圆锥角膜未能给出很好的判断。
发明内容
针对双眼圆锥角膜早期诊断的问题，提出了一种基于多模态数据的双眼圆锥角膜诊断方法，基于多模态屈光地形图矩阵数据，结合神经网络卷积方法，特征值SVM方法，双眼对比法和可调节BFS的增强地形图法，给出双眼综合圆锥角膜诊断结果，尤其对早期后圆锥和顿挫圆锥的筛查和诊断具有更好的鲁棒性和准确性。
本发明的技术方案为：一种基于多模态数据的双眼圆锥角膜诊断方法，具体包括如下步骤：
1)收集双眼多模态数据，数据包括双眼角膜屈光四图和角膜绝对高度数据，角膜屈光四图包括角膜前表面轴向曲率、角膜前表面相对高度地形图、角膜后表面相对高度地形图以及角膜厚度地形图；角膜绝对高度数据包括角膜前后表面绝对高度数据；
2)根据已经分类的病例，将其双眼多模态数据与分类类别进行关联，根据具有要求进行数据分类；
3)将步骤2)屈光四图中的每幅地形图数据及角膜前后表面高度数据统一为相同大小数据矩阵；
4)基于以上数据分四个分支方法分别对双眼早期圆锥进行判断，分别记为A分支方法、B分支方法、C分支方法和D分支方法；
其中：A分支方法：所有屈光四图数据矩阵经过数据处理后送入深度卷积网络的分类网络进行识别圆锥角膜的敏感性及特异性，并得到对于某一病例输出分类结果P(A)；
B分支方法：所有屈光四图数据矩阵中每个图形数据矩阵进行特征值计算，将特征值数据送入SVM支持向量机二分类方法，识别圆锥角膜的敏感性及特异性，并得到，某一病例输出分类结果P(B)；
C分支方法：运用角膜前后表面绝对高度数据与最佳拟合球面数据比较，获取圆锥角膜病例与正常病例的临界阈值，以此评判出某一病例输出分类结果P(C)；
D分支方法：将左右眼屈光四图数据矩阵的平均值，最大值，标准差作为特征量，利用临界阈值，或采用SVM分类方法，获取最优敏感性和特异性，以及某一病例双眼发生圆锥的概率P(D)；
5)将A、B、C、D分支方法中最后的结果通过加权累和，得到最终某一病例双眼发生圆锥角膜的概率。
优选的，所述A分支方法实现具体步骤：
A-1数据缩放，将步骤3)处理后的所有屈光四图数据矩阵通过线性插值的方法缩放到224x224大小；
A-2数据归一化，将步骤A-1的数据按7：3的比例分成训练集和验证集，然后在训练集上分别计算屈光四图数据矩阵的均值和标准差，对应得到4个均值和4个标准差，然后对所有病例的屈光四图数据矩阵用均值和标准差进行归一化；
A-3基于深度卷积网络的分类网络设计，采用Resnet50分类网络对屈光四图数据矩阵进行二分类，以识别单眼的正常和圆锥角膜；
A-4分类模型的训练，将屈光四图数据矩阵按照通道连接起来，则得到4通道的输入；数据扩增采用了旋转、平移、随机模糊预处理；损失函数采用二分类的交叉熵函数，用MobileNetV3在IMAGENET数据集上的训练权值作为初始权值，然后做微调训练；最终选取训练集和验证集loss值相差最小的训练权值作为训练结果；
A-5模型指标评测,在验证集上进行预测，然后和真值进行对比评估，最后得到该A分支方法识别圆锥角膜的敏感性及特异性；
A-6结果输出，若A-5步骤对训练集的测试敏感性和特异性达到要求，则记录本A分支方法对于某一病例双眼发生圆锥的概率分别为p(Al)和p(Ar)；输出分类结果P(A)＝p(Al),(p(Al)>p(Ar))；p(Ar),(p(Al)<p(Ar))。
优选的，所述B分支方法实现具体步骤：
B-1角膜前表面轴向曲率特征值的计算，在角膜前表面轴向曲率数据矩阵中计算曲率最值点及位置坐标，计算直径6mm位置上下屈光力差IS值，计算直径范围4.5mm范围内的表面不规则性SRI值，表面非对称性SAI值；
B-2角膜前表面相对高度特征值计算，在角膜前表面相对高度数据矩阵中计算高度最大值及位置坐标；
B-3角膜后表面相对高度特征值计算，在角膜后表面相对高度数据矩阵中计算高度最大值及位置坐标；
B-4角膜厚度特征值计算，角膜厚度数据矩阵中计算厚度最小值及位置坐标，计算角膜顶点处的厚度；
B-5距离特征值计算，计算步骤B-2中角膜前表面高度最大值位置到B-3中角膜后表面高度最大值位置之间距离，计算步骤B-2中角膜前表面高度最大值位置到B-4中角膜厚度最小值位置之间距离，计算步骤B-3中角膜后表面高度最大值位置到B-4中角膜厚度最小值位置之间距离；
B-6角体积特征值计算，将角膜厚度数据矩阵在半径4.5范围内做体积积分以得到角膜体积；
B-7将步骤B-1～B-6所有特征值做归一化处理，并将所有归一化后的病例数据特征值按7：3的比例分成训练集和验证集；
B-8应用SVM支持向量机二分类方法对对B-7归一化后的训练集特征数据进行特征训练，过程中选用RBF kernel，用cross-validation和grid-search以得到最优的c和g来训练数据；
B-9模型指标评测,在验证集上进行预测，然后和真值进行对比评估，最后该分支方法识别圆锥角膜的敏感性及特异性；
B-10结果输出，若B-9步骤对训练集的测试敏感性和特异性达到要求，则记录本B分支方法对于某一病例双眼发生圆锥的概率分别为p(Bl)和p(Br)；输出分类结果P(B)＝p(Bl),(p(Bl)>p(Br))；p(Br),(p(Bl)<p(Br))。
优选的，所述C分支方法实现具体步骤：
C-1角膜前表面标准相对高度数据：针对角膜前后表面绝对高度数据，以角膜前表面直径8mm范围内绝对高度数据做球拟合，得到BFS值，将角膜前表面数据与得到的最佳拟合球面之间的高度差作为角膜后表面标准相对高度数据；
C-2角膜前表面特征高度数据：针对角膜前后表面绝对高度数据，以角膜前表面直径8mm范围内绝对高度数据为基准，去除最薄点位置半径2mm范围内的数据做球拟合，得到BFS值；以当前BFS为基准，以0.2mm为步长，上下分别偏移5组数据以得到11组不同BFS值，将角膜前表面数据与得到的不同BFS最佳拟合球面之间的高度差作为角膜后表面特征相对高度数据；
C-3角膜前表面增强高度数据：将步骤C-2得到的标准相对高度数据与C-3得到的11组特征相对高度数据做差值，以得到11组角膜前表面增强数据；
C-4角膜后表面标准相对高度数据：针对角膜前后表面绝对高度数据，以角膜后表面直径8mm范围内绝对高度数据做球拟合，得到BFS值，将角膜后表面数据与得到的最佳拟合球面之间的高度差作为角膜后表面标准相对高度数据；
C-5角膜后表面特征高度数据：针对角膜前后表面绝对高度数据，以角膜后表面直径8mm范围内绝对高度数据为基准，去除最薄点位置半径2mm范围内的数据做球拟合，得到BFS值。以当前BFS为基准，以0.2mm为步长，上下分别偏移5组数据以得到11组不同BFS值；将角膜后表面数据与得到的不同BFS最佳拟合球面之间的高度差作为角膜后表面特征相对高度数据；
C-6角膜后表面增强高度数据，将步骤C-4得到角膜后表面标准相对高度数据与C-5得到的11组特征相对高度数据做差值，以得到11组角膜后表面增强数据；
C-7以步骤C-3及C-6共计得到的22组角膜前后表面增强数据矩阵为特征，结合所有样本数据统计每一组数据圆锥角膜病例与正常病例的临界阈值；
C-8记录本C分支方法对于某一病例双眼发生圆锥的概率分别为p(Cl)和p(Cr)；其中p(Cl)和p(Cr)均根据当前病例计算出的每组增强数据同步骤C-7得到的临界阈值之间的差值作为权重比例累和得到；且输出分类结果P(C)＝p(Cl),(p(Cl)>p(Cr))；p(Cr),(p(Cl)<p(Cr))。
优选的，所述D分支方法实现具体步骤：
D-1统一数据方位，将右眼屈光四图数据矩阵沿纵列方向做镜像，左右眼屈光四图数据矩阵鼻侧颞侧方位统一；
D-2屈光四图diff图矩阵，分别将左右眼屈光四图数据矩阵做点对点差值后取绝对值，得到屈光四图diff图数据矩阵；
D-3 diff数据特征计算，分别计算直径6mm数据范围内屈光四图diff图数据矩阵中所有数据的平均值，最大值，标准差作为特征量；
D-4以步骤D-3得到的12组左右眼角膜屈光四图diff图平均值，最大值，标准差为特征，结合所有样本数据统计每一组数据圆锥角膜病例与正常病例的临界阈值，或采用SVM分类方法，将所有类型diff数据的特征归一化训练和测试，给出最优敏感性和特异性；
D-5记录本分支方法对于某一病例双眼发生圆锥的概率分别为P(D)，其根据当前病例计算出的每组diff数据特征值同步骤D-4得到的临界阈值之间的差值作为权重比例累和得到。
本发明的有益效果在于：本发明基于多模态数据的双眼圆锥角膜诊断方法，考虑双眼之间的相互关系，结合了基于深度卷积网络方法、传统机器学习svm方法以及可调整的BSF高度图增强方法来识别病灶的敏感性及特异性，并平衡其敏感性和特异性，多维度综合判断以病人为单位的圆锥角膜发病率，结合双眼数据既包含人工选择特征又包含深度网络自己从大数据中学习，诊断方法有更强的鲁棒性和准确性。
附图说明
图1为本发明基于多模态数据的双眼圆锥角膜诊断方法流程图；
图2为角膜屈光四图；
图3为角膜前后表面绝对高度图；
图4为本发明方法中分类网络结构图；
图5为左右眼角膜屈光四图Diff图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
如图1所示基于多模态数据的双眼圆锥角膜诊断方法流程图，具体包括如下步骤：
1.收集双眼多模态数据，数据包括双眼角膜屈光四图和角膜绝对高度数据，通过三维眼前节分析仪，或前节OCT测量装置获取屈光四图，如图2所示，角膜屈光四图包括角膜前表面轴向曲率、角膜前表面相对高度地形图、角膜后表面相对高度地形图以及角膜厚度地形图；以及角膜前后表面绝对高度数据，如图3所示。
2.根据已经分类的病例，将其双眼多模态数据与分类类别进行关联。分类数目取决于具体需求，例如二分类为圆锥和正常。
3.根据角膜屈光四图及颜色对应码，以0.02mm为数据步长获取地形图(屈光四图中的四幅图都叫做地形图)直径范围9mm内二维全采样数据矩阵，这样每幅地形图数据及角膜前后表面高度数据矩阵大小为451*451。
4.基于以上数据分四个分支方法分别对双眼早期圆锥进行判断。分别记为A分支方法、B分支方法、C分支方法和D分支方法。
A分支方法：该分支方法以单个病例为参考，所有屈光四图矩阵中的每一个数据均参与计算，尽最大量地保留了所有可能影响圆锥判断的因素，通过机器的自我学习来达到在海量数据中判断病变的目的，这样可以不依赖于人为主观特征的选取，以增强识别病灶的特异性。
A-1数据缩放，将步骤3处理后的所有屈光四图数据矩阵通过线性插值的方法缩放到224x224大小。
A-2数据归一化，将步骤A-1的数据按7：3的比例分成训练集和验证集，然后在训练集上分别计算屈光四图数据矩阵的均值和标准差，对应得到4个均值和4个标准差，然后对所有病例的屈光四图数据矩阵用均值和标准差进行归一化。
A-3基于深度卷积网络的分类网络设计，采用Resnet50分类网络对屈光四图数据矩阵进行二分类，以识别单眼的正常和圆锥角膜。搭建的Resnet50分类网络模型，其骨干网络保持不变，只修改第一个卷积层的通道输入为4，和最后输出全连接层的输出个数成2,网络结构如图4。
A-4分类模型的训练，将屈光四图数据矩阵按照通道连接起来，则得到4通道的输入。数据扩增采用了旋转、平移、随机模糊等预处理。损失函数采用二分类的交叉熵函数。用MobileNetV3在IMAGENET数据集上的训练权值作为初始权值，然后做微调训练。迭代训练60轮，初始学习率0.01，在20轮，40轮分别降低学习率10倍。最终选取训练集和验证集loss值相差最小的训练权值作为训练结果。
A-5模型指标评测,在验证集上进行预测，然后和真值进行对比评估，最后得到该A分支方法识别圆锥角膜的敏感性及特异性。
A-6结果输出，若A-5步骤对训练集的测试敏感性和特异性达到要求，则记录本A分支方法对于某一病例双眼发生圆锥的概率分别为p(Al)和p(Ar)。输出分类结果P(A)＝p(Al),(p(Al)>p(Ar))；p(Ar),(p(Al)<p(Ar))。
B分支方法：该分支方法以单个病例为参考，通过人工定义能够直接反映病变的特征，然后应用监督学习方法SVM来实现是否病变的分类。保证了即使在小样本数据下的高效性和敏感性。
B-1角膜前表面轴向曲率特征值的计算，在角膜前表面轴向曲率数据矩阵中计算曲率最值点及位置坐标，计算直径6mm位置上下屈光力差IS值，计算直径范围4.5mm范围内的表面不规则性SRI值，表面非对称性SAI值；
B-2角膜前表面相对高度特征值计算，在角膜前表面相对高度数据矩阵中计算高度最大值及位置坐标；
B-3角膜后表面相对高度特征值计算，在角膜后表面相对高度数据矩阵中计算高度最大值及位置坐标；
B-4角膜厚度特征值计算，角膜厚度数据矩阵中计算厚度最小值及位置坐标，计算角膜顶点处的厚度；
B-5距离特征值计算，计算步骤B-2中角膜前表面高度最大值位置到B-3中角膜后表面高度最大值位置之间距离，计算步骤B-2中角膜前表面高度最大值位置到B-4中角膜厚度最小值位置之间距离，计算步骤B-3中角膜后表面高度最大值位置到B-4中角膜厚度最小值位置之间距离；
B-6角体积特征值计算，将角膜厚度数据矩阵在半径4.5范围内做体积积分以得到角膜体积；
B-7将步骤B-1～B-6所有特征值做归一化处理，并将所有归一化后的病例数据特征值按7：3的比例分成训练集和验证集；
B-8SVM支持向量模型训练，应用SVM支持向量机二分类方法对B-7归一化后的训练集特征数据进行特征训练，过程中选用RBF kernel(径向基函数核)，用cross-validation(交叉验证)和grid-search(网络搜索)以得到最优的c和g来训练数据。
B-9模型指标评测,在验证集上进行预测，然后和真值进行对比评估，最后该分支方法识别圆锥角膜的敏感性及特异性。
B-10结果输出，若B-9步骤对训练集的测试敏感性和特异性达到要求，则记录本B分支方法对于某一病例双眼发生圆锥的概率分别为p(Bl)和p(Br)。输出分类结果P(B)＝p(Bl),(p(Bl)>p(Br))；p(Br),(p(Bl)<p(Br))。
C分支方法：该分支方法以单个病例为参考，升级了传统Belin方法，不仅通过高度增强数据来充分反映角膜前后表面的病变特征，也通过改变不同的BSF值来提升特征维度，以提升统计方法时的特异性，减少假阳性的误报率。
C-1角膜前表面标准相对高度数据：针对角膜前后表面绝对高度数据，以角膜前表面直径8mm范围内绝对高度数据做球拟合，得到BFS(最佳拟合球面)值，将角膜前表面数据与得到的最佳拟合球面之间的高度差作为角膜后表面标准相对高度数据。
C-2角膜前表面特征高度数据：针对角膜前后表面绝对高度数据，以角膜前表面直径8mm范围内绝对高度数据为基准，去除最薄点位置半径2mm范围内的数据做球拟合，得到BFS值。以当前BFS为基准，以0.2mm为步长，上下分别偏移5组数据以得到11组不同BFS值。将角膜前表面数据与得到的不同BFS最佳拟合球面之间的高度差作为角膜后表面特征相对高度数据。
C-3角膜前表面增强高度数据：将步骤C-2得到的标准相对高度数据与C-3得到的11组特征相对高度数据做差值，以得到11组角膜前表面增强数据。
C-4角膜后表面标准相对高度数据：针对角膜前后表面绝对高度数据，以角膜后表面直径8mm范围内绝对高度数据做球拟合，得到BFS值，将角膜后表面数据与得到的最佳拟合球面之间的高度差作为角膜后表面标准相对高度数据。
C-5角膜后表面特征高度数据：针对角膜前后表面绝对高度数据，以角膜后表面直径8mm范围内绝对高度数据为基准，去除最薄点位置半径2mm范围内的数据做球拟合，得到BFS值。以当前BFS为基准，以0.2mm为步长，上下分别偏移5组数据以得到11组不同BFS值。将角膜后表面数据与得到的不同BFS最佳拟合球面之间的高度差作为角膜后表面特征相对高度数据。
C-6角膜后表面增强高度数据，将步骤C-4得到角膜后表面标准相对高度数据与C-5得到的11组特征相对高度数据做差值，以得到11组角膜后表面增强数据。
C-7以步骤C-3及C-6共计得到的22组角膜前后表面增强数据矩阵为特征，结合所有样本数据统计每一组数据圆锥角膜病例与正常病例的临界阈值。
C-8记录本C分支方法对于某一病例双眼发生圆锥的概率分别为p(Cl)和p(Cr)。其中p(Cl)和p(Cr)均根据当前病例计算出的每组增强数据同步骤C-7得到的临界阈值之间的差值作为权重比例累和得到。且输出分类结果P(C)＝p(Cl),(p(Cl)>p(Cr))；p(Cr),(p(Cl)<p(Cr))。
D分支方法：该分支方法以双眼病例为参考，采用左右眼屈光四图数据相结合的方法，通过提取双眼地形图差异数据来反应病灶本身特征，从而提高以圆锥病人为个体的识别精度。
D-1统一数据方位，将右眼屈光四图数据矩阵沿纵列方向做镜像，这样左右眼屈光四图数据矩阵鼻侧颞侧方位统一；
D-2屈光四图diff图矩阵，分别将左右眼屈光四图数据矩阵做点对点差值后取绝对值，得到屈光四图diff图数据矩阵，如图5所示；
D-3 diff数据特征计算，分别计算直径6mm数据范围内屈光四图diff图数据矩阵中所有数据的平均值，最大值，标准差作为特征量。
D-4以步骤D-3得到的12组左右眼角膜屈光四图diff图平均值，最大值，标准差为特征，结合所有样本数据统计每一组数据圆锥角膜病例与正常病例的临界阈值，或采用SVM分类方法，将所有类型diff数据的特征归一化训练和测试，给出最优敏感性和特异性。
D-5记录本分支方法对于某一病例双眼发生圆锥的概率分别为P(D)，其根据当前病例计算出的每组diff数据特征值同步骤D-4得到的临界阈值之间的差值作为权重比例累和得到。
5.将A、B、C、D分支方法中最后的结果通过加权累和，得到最终某一病例双眼发生圆锥角膜的概率P＝w1*P(A)+w2*P(B)+w3*P(C)+w4*P(D)/(w1+w2+w3+w4),其中w1、w2、w3、w4分别是A、B、C、D分支方法的权值,该权值的获取应该根据目标需求，保证充分利用各分支方法的优点，以达到敏感性和特异性的一个最优平衡，保证鲁棒性的同时也争取最小的假阴性率和假阳性率。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (5)

1.一种基于多模态数据的双眼圆锥角膜诊断方法，其特征在于，具体包括如下步骤：
1)收集双眼多模态数据，数据包括双眼角膜屈光四图和角膜绝对高度数据，角膜屈光四图包括角膜前表面轴向曲率、角膜前表面相对高度地形图、角膜后表面相对高度地形图以及角膜厚度地形图；角膜绝对高度数据包括角膜前后表面绝对高度数据；
2)根据已经分类的病例，将其双眼多模态数据与分类类别进行关联，根据具有要求进行数据分类；
3)将步骤2)屈光四图中的每幅地形图数据及角膜前后表面高度数据统一为相同大小数据矩阵；
4)基于以上数据分四个分支方法分别对双眼早期圆锥进行判断，分别记为A分支方法、B分支方法、C分支方法和D分支方法；
其中：A分支方法：所有屈光四图数据矩阵经过数据处理后送入深度卷积网络的分类网络进行识别圆锥角膜的敏感性及特异性，并得到对于某一病例输出分类结果P(A)；
B分支方法：所有屈光四图数据矩阵中每个图形数据矩阵进行特征值计算，将特征值数据送入SVM支持向量机二分类方法，识别圆锥角膜的敏感性及特异性，并得到，某一病例输出分类结果P(B)；
C分支方法：运用角膜前后表面绝对高度数据与最佳拟合球面数据比较，获取圆锥角膜病例与正常病例的临界阈值，以此评判出某一病例输出分类结果P(C)；D分支方法：将左右眼屈光四图数据矩阵的平均值，最大值，标准差作为特征量，利用临界阈值，或采用SVM分类方法，获取最优敏感性和特异性，以及某一病例双眼发生圆锥的概率P(D)；
5)将A、B、C、D分支方法中最后的结果通过加权累和，得到最终某一病例双眼发生圆锥角膜的概率。
2.根据权利要求1所述基于多模态数据的双眼圆锥角膜诊断方法，其特征在于，所述A分支方法实现具体步骤：
A-1数据缩放，将步骤3)处理后的所有屈光四图数据矩阵通过线性插值的方法缩放到224x224大小；
A-2数据归一化，将步骤A-1的数据按7：3的比例分成训练集和验证集，然后在训练集上分别计算屈光四图数据矩阵的均值和标准差，对应得到4个均值和4个标准差，然后对所有病例的屈光四图数据矩阵用均值和标准差进行归一化；A-3基于深度卷积网络的分类网络设计，采用Resnet50分类网络对屈光四图数据矩阵进行二分类，以识别单眼的正常和圆锥角膜；
A-4分类模型的训练，将屈光四图数据矩阵按照通道连接起来，则得到4通道的输入；数据扩增采用了旋转、平移、随机模糊预处理；损失函数采用二分类的交叉熵函数，用MobileNetV3在IMAGENET数据集上的训练权值作为初始权值，然后做微调训练；最终选取训练集和验证集loss值相差最小的训练权值作为训练结果；
A-5模型指标评测,在验证集上进行预测，然后和真值进行对比评估，最后得到该A分支方法识别圆锥角膜的敏感性及特异性；
A-6结果输出，若A-5步骤对训练集的测试敏感性和特异性达到要求，则记录本A分支方法对于某一病例双眼发生圆锥的概率分别为p(Al)和p(Ar)；输出分类结果P(A)＝p(Al),(p(Al)>p(Ar))；p(Ar),(p(Al)<p(Ar))。
3.根据权利要求1所述基于多模态数据的双眼圆锥角膜诊断方法，其特征在于，所述B分支方法实现具体步骤：
B-1角膜前表面轴向曲率特征值的计算，在角膜前表面轴向曲率数据矩阵中计算曲率最值点及位置坐标，计算直径6mm位置上下屈光力差IS值，计算直径范围4.5mm范围内的表面不规则性SRI值，表面非对称性SAI值；
B-2角膜前表面相对高度特征值计算，在角膜前表面相对高度数据矩阵中计算高度最大值及位置坐标；
B-3角膜后表面相对高度特征值计算，在角膜后表面相对高度数据矩阵中计算高度最大值及位置坐标；
B-4角膜厚度特征值计算，角膜厚度数据矩阵中计算厚度最小值及位置坐标，计算角膜顶点处的厚度；
B-5距离特征值计算，计算步骤B-2中角膜前表面高度最大值位置到B-3中角膜后表面高度最大值位置之间距离，计算步骤B-2中角膜前表面高度最大值位置到B-4中角膜厚度最小值位置之间距离，计算步骤B-3中角膜后表面高度最大值位置到B-4中角膜厚度最小值位置之间距离；
B-6角体积特征值计算，将角膜厚度数据矩阵在半径4.5范围内做体积积分以得到角膜体积；
B-7将步骤B-1～B-6所有特征值做归一化处理，并将所有归一化后的病例数据特征值按7：3的比例分成训练集和验证集；
B-8应用SVM支持向量机二分类方法对对B-7归一化后的训练集特征数据进行特征训练，过程中选用RBF kernel，用cross-validation和grid-search以得到最优的c和g来训练数据；
B-9模型指标评测,在验证集上进行预测，然后和真值进行对比评估，最后该分支方法识别圆锥角膜的敏感性及特异性；
B-10结果输出，若B-9步骤对训练集的测试敏感性和特异性达到要求，则记录本B分支方法对于某一病例双眼发生圆锥的概率分别为p(Bl)和p(Br)；输出分类结果P(B)＝p(Bl),(p(Bl)>p(Br))；p(Br),(p(Bl)<p(Br))。
4.根据权利要求1所述基于多模态数据的双眼圆锥角膜诊断方法，其特征在于，所述C分支方法实现具体步骤：
C-1角膜前表面标准相对高度数据：针对角膜前后表面绝对高度数据，以角膜前表面直径8mm范围内绝对高度数据做球拟合，得到BFS值，将角膜前表面数据与得到的最佳拟合球面之间的高度差作为角膜后表面标准相对高度数据；
C-2角膜前表面特征高度数据：针对角膜前后表面绝对高度数据，以角膜前表面直径8mm范围内绝对高度数据为基准，去除最薄点位置半径2mm范围内的数据做球拟合，得到BFS值；以当前BFS为基准，以0.2mm为步长，上下分别偏移5组数据以得到11组不同BFS值，将角膜前表面数据与得到的不同BFS最佳拟合球面之间的高度差作为角膜后表面特征相对高度数据；
C-3角膜前表面增强高度数据：将步骤C-2得到的标准相对高度数据与C-3得到的11组特征相对高度数据做差值，以得到11组角膜前表面增强数据；
C-4角膜后表面标准相对高度数据：针对角膜前后表面绝对高度数据，以角膜后表面直径8mm范围内绝对高度数据做球拟合，得到BFS值，将角膜后表面数据与得到的最佳拟合球面之间的高度差作为角膜后表面标准相对高度数据；
C-5角膜后表面特征高度数据：针对角膜前后表面绝对高度数据，以角膜后表面直径8mm范围内绝对高度数据为基准，去除最薄点位置半径2mm范围内的数据做球拟合，得到BFS值。以当前BFS为基准，以0.2mm为步长，上下分别偏移5组数据以得到11组不同BFS值；将角膜后表面数据与得到的不同BFS最佳拟合球面之间的高度差作为角膜后表面特征相对高度数据；
C-6角膜后表面增强高度数据，将步骤C-4得到角膜后表面标准相对高度数据与C-5得到的11组特征相对高度数据做差值，以得到11组角膜后表面增强数据；
C-7以步骤C-3及C-6共计得到的22组角膜前后表面增强数据矩阵为特征，结合所有样本数据统计每一组数据圆锥角膜病例与正常病例的临界阈值；
C-8记录本C分支方法对于某一病例双眼发生圆锥的概率分别为p(Cl)和p(Cr)；其中p(Cl)和p(Cr)均根据当前病例计算出的每组增强数据同步骤C-7得到的临界阈值之间的差值作为权重比例累和得到；且输出分类结果P(C)＝p(Cl),(p(Cl)>p(Cr))；p(Cr),(p(Cl)<p(Cr))。
5.根据权利要求1所述基于多模态数据的双眼圆锥角膜诊断方法，其特征在于，所述D分支方法实现具体步骤：
D-1统一数据方位，将右眼屈光四图数据矩阵沿纵列方向做镜像，左右眼屈光四图数据矩阵鼻侧颞侧方位统一；
D-2屈光四图diff图矩阵，分别将左右眼屈光四图数据矩阵做点对点差值后取绝对值，得到屈光四图diff图数据矩阵；
D-3diff数据特征计算，分别计算直径6mm数据范围内屈光四图diff图数据矩阵中所有数据的平均值，最大值，标准差作为特征量；
D-4以步骤D-3得到的12组左右眼角膜屈光四图diff图平均值，最大值，标准差为特征，结合所有样本数据统计每一组数据圆锥角膜病例与正常病例的临界阈值，或采用SVM分类方法，将所有类型diff数据的特征归一化训练和测试，给出最优敏感性和特异性；
D-5记录本分支方法对于某一病例双眼发生圆锥的概率分别为P(D)，其根据当前病例计算出的每组diff数据特征值同步骤D-4得到的临界阈值之间的差值作为权重比例累和得到。
CN202110717940.2A 2021-06-28 2021-06-28 一种基于多模态数据的双眼圆锥角膜诊断方法 Active CN113284140B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN202110717940.2A CN113284140B (zh) 2021-06-28 2021-06-28 一种基于多模态数据的双眼圆锥角膜诊断方法
US17/797,114 US11717151B2 (en) 2021-06-28 2021-08-05 Method for early diagnosis of keratoconus based on multi-modal data
EP21925096.6A EP4365829A1 (en) 2021-06-28 2021-08-05 Binocular keratoconus diagnosis method based on multi-modal data
KR1020227022946A KR20230005108A (ko) 2021-06-28 2021-08-05 다중 모드 데이터에 기반한 양안 원추각막 진단방법
JP2022541624A JP7454679B2 (ja) 2021-06-28 2021-08-05 マルチモーダルデータに基づく両眼円錐角膜の評価システム
PCT/CN2021/110812 WO2023272876A1 (zh) 2021-06-28 2021-08-05 一种基于多模态数据的双眼圆锥角膜诊断方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110717940.2A CN113284140B (zh) 2021-06-28 2021-06-28 一种基于多模态数据的双眼圆锥角膜诊断方法

Publications (2)

Publication Number Publication Date
CN113284140A true CN113284140A (zh) 2021-08-20
CN113284140B CN113284140B (zh) 2022-10-14

Family

ID=77285790

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110717940.2A Active CN113284140B (zh) 2021-06-28 2021-06-28 一种基于多模态数据的双眼圆锥角膜诊断方法

Country Status (6)

Country Link
US (1) US11717151B2 (zh)
EP (1) EP4365829A1 (zh)
JP (1) JP7454679B2 (zh)
KR (1) KR20230005108A (zh)
CN (1) CN113284140B (zh)
WO (1) WO2023272876A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115880283A (zh) * 2023-01-19 2023-03-31 北京鹰瞳科技发展股份有限公司 用于检测角膜类型的装置、方法和计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10468142B1 (en) * 2018-07-27 2019-11-05 University Of Miami Artificial intelligence-based system and methods for corneal diagnosis
CN111160431A (zh) * 2019-12-19 2020-05-15 浙江大学 一种基于多维特征融合的圆锥角膜识别方法及装置
CN111340776A (zh) * 2020-02-25 2020-06-26 浙江大学 一种基于多维特征自适应融合的圆锥角膜识别方法和系统
CN112036448A (zh) * 2020-08-11 2020-12-04 上海鹰瞳医疗科技有限公司 圆锥角膜识别方法及设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10963737B2 (en) 2017-08-01 2021-03-30 Retina-Al Health, Inc. Systems and methods using weighted-ensemble supervised-learning for automatic detection of ophthalmic disease from images
US20200146812A1 (en) * 2018-07-02 2020-05-14 Gebauer-Klopotek Patent Verwaltungs-Ug Stabilization of collagen scaffolds
CN109256207A (zh) 2018-08-29 2019-01-22 王雁 一种基于XGBoost+SVM混合机器学习诊断圆锥角膜病例的方法
US10945598B2 (en) 2019-02-06 2021-03-16 Jichi Medical University Method for assisting corneal severity identification using unsupervised machine learning
CN110517219B (zh) 2019-04-01 2023-04-07 中山大学中山眼科中心 一种基于深度学习的角膜地形图判别方法及系统
CN110717884B (zh) 2019-08-30 2022-02-22 温州医科大学 一种基于眼表结构变化一致性表达角膜不规则改变的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10468142B1 (en) * 2018-07-27 2019-11-05 University Of Miami Artificial intelligence-based system and methods for corneal diagnosis
CN111160431A (zh) * 2019-12-19 2020-05-15 浙江大学 一种基于多维特征融合的圆锥角膜识别方法及装置
CN111340776A (zh) * 2020-02-25 2020-06-26 浙江大学 一种基于多维特征自适应融合的圆锥角膜识别方法和系统
CN112036448A (zh) * 2020-08-11 2020-12-04 上海鹰瞳医疗科技有限公司 圆锥角膜识别方法及设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FARSHAD GHAYDI ET AL.: "Detecting Keratoconus Using Convolutional Neural Network on Smartphone", 《WWW.PREPRINTS.ORG》 *
谭安祖 等: "深度学习在圆锥角膜早期诊断辅助系统中的应用实践", 《研究与论著》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115880283A (zh) * 2023-01-19 2023-03-31 北京鹰瞳科技发展股份有限公司 用于检测角膜类型的装置、方法和计算机可读存储介质

Also Published As

Publication number Publication date
US20230190089A1 (en) 2023-06-22
CN113284140B (zh) 2022-10-14
JP2023540651A (ja) 2023-09-26
JP7454679B2 (ja) 2024-03-22
KR20230005108A (ko) 2023-01-09
WO2023272876A1 (zh) 2023-01-05
US11717151B2 (en) 2023-08-08
EP4365829A1 (en) 2024-05-08

Similar Documents

Publication Publication Date Title
Hossain et al. Automatic detection of eye cataract using deep convolution neural networks (DCNNs)
CN109635862B (zh) 早产儿视网膜病plus病变分类方法
CN112733961A (zh) 基于注意力机制的糖尿病视网膜病变的分类方法及系统
CN112101424B (zh) 一种视网膜病变识别模型的生成方法、识别装置及设备
CN114821189B (zh) 一种基于眼底图像的病灶图像分类与识别方法
CN114693961A (zh) 眼底照片分类方法、眼底图像处理方法和系统
CN111340776A (zh) 一种基于多维特征自适应融合的圆锥角膜识别方法和系统
CN111369506B (zh) 一种基于眼部b超图像的晶状体浑浊度分级方法
CN113284140B (zh) 一种基于多模态数据的双眼圆锥角膜诊断方法
CN116563932A (zh) 基于多任务学习的眼部图像识别方法及相关设备
CN113989833B (zh) 一种基于EfficientNet网络的口腔粘膜性疾病识别方法
Aranha et al. Deep transfer learning strategy to diagnose eye-related conditions and diseases: An approach based on low-quality fundus images
Triyadi et al. Deep learning in image classification using vgg-19 and residual networks for cataract detection
CN111160431A (zh) 一种基于多维特征融合的圆锥角膜识别方法及装置
CN114334124A (zh) 一种基于深度神经网络的病理性近视检测系统
CN110598724A (zh) 一种基于卷积神经网络的细胞低分辨率图像融合方法
CN113012148A (zh) 一种基于眼底影像的糖尿病肾病-非糖尿病肾病鉴别诊断装置
CN116763250A (zh) 眼前节图像的眼压信息提取方法、终端和存储介质
Thanh et al. A real-time classification of glaucoma from retinal fundus images using AI technology
Prabha et al. Diabetic Retinopathy Detection Using Automated Segmentation Techniques
CN114998300A (zh) 一种基于多尺度信息融合网络的角膜溃疡分类方法
CN111640498A (zh) 基于眼象数据的信息处理方法及装置
CN115880283B (zh) 用于检测角膜类型的装置、方法和计算机可读存储介质
Qiu et al. Semi-supervised framework for dual encoder attention network: classification of retinopathy in optical coherence tomography images
Keshavarz et al. AI-Driven Keratoconus Detection: Integrating Medical Insights for Enhanced Diagnosis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant