CN111340087A - 图像识别方法、装置、计算机可读存储介质和计算机设备 - Google Patents

图像识别方法、装置、计算机可读存储介质和计算机设备 Download PDF

Info

Publication number
CN111340087A
CN111340087A CN202010107316.6A CN202010107316A CN111340087A CN 111340087 A CN111340087 A CN 111340087A CN 202010107316 A CN202010107316 A CN 202010107316A CN 111340087 A CN111340087 A CN 111340087A
Authority
CN
China
Prior art keywords
optical coherence
coherence tomography
anterior segment
tomography image
segment optical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010107316.6A
Other languages
English (en)
Inventor
边成
余双
马锴
郑冶枫
初春燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Healthcare Shenzhen Co Ltd
Original Assignee
Tencent Healthcare Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Healthcare Shenzhen Co Ltd filed Critical Tencent Healthcare Shenzhen Co Ltd
Priority to CN202010107316.6A priority Critical patent/CN111340087A/zh
Publication of CN111340087A publication Critical patent/CN111340087A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10101Optical tomography; Optical coherence tomography [OCT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • G06V2201/032Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本申请涉及一种图像识别方法、装置、计算机可读存储介质和计算机设备,方法包括:获取眼前节光学相干断层扫描图像,将眼前节光学相干断层扫描图像输入定位模型;通过定位模型的第一检测层对眼前节光学相干断层扫描图像进行特征提取,得到眼前节光学相干断层扫描图像中的巩膜突刺的初步定位结果;将初步定位结果输入定位模型的第二检测层,得到眼前节光学相干断层扫描图像中的巩膜突刺的目标定位结果。本申请提供的方案可以实现巩膜突刺的精确定位。

Description

图像识别方法、装置、计算机可读存储介质和计算机设备
技术领域
本申请涉及计算机技术领域,特别是涉及一种图像识别方法、装置、计算机可读存储介质和计算机设备。
背景技术
原发性闭角型疾病(Primary Angle-Closure Disease,简称PACD)主要由房角的解剖结构异常所引起,是青光眼的主要类型。PACD是患者失明的主要原因,未经诊断和适当治疗的PACD会逐渐导致不可逆的视力丧失。因此,PACD的早期诊断和干预对疾病的治疗至关重要。眼前节光学相干断层扫描(Anterior Segment Optical Coherence Tomography,简称AS-OCT)是前沿的光学成像技术,通过AS-OCT图像识别巩膜突刺(Sclera Spur,简称SS)的位置可帮助眼科医生识别PACD。
传统方式往往是通过人工判断巩膜突刺的位置,但由于操作者经验的差异,对巩膜突刺位置的判断并不准确。
发明内容
基于此,有必要针对人工判断巩膜突刺的位置不准确的技术问题,提供一种图像识别方法、装置、计算机可读存储介质和计算机设备。
一种图像识别方法,包括:
获取眼前节光学相干断层扫描图像,将所述眼前节光学相干断层扫描图像输入定位模型;
通过所述定位模型的第一检测层对所述眼前节光学相干断层扫描图像进行特征提取,得到所述眼前节光学相干断层扫描图像中的巩膜突刺的初步定位结果;
将所述初步定位结果输入所述定位模型的第二检测层,得到所述眼前节光学相干断层扫描图像中的巩膜突刺的目标定位结果。
一种图像识别方法,包括:
获取眼前节光学相干断层扫描图像,将所述眼前节光学相干断层扫描图像输入定位模型;
通过所述定位模型输出已标记巩膜突刺的眼前节光学相干断层扫描图像;
其中,所述定位模型的第一检测层对所述眼前节光学相干断层扫描图像进行特征提取,得到所述眼前节光学相干断层扫描图像中的巩膜突刺的初步定位结果;所述定位模型的第二检测层对所述初步定位结果进行检测,得到所述巩膜突刺的目标定位结果;根据所述目标定位结果在所述眼前节光学相干断层扫描图像中标记所述巩膜突刺。
一种图像识别装置,所述装置包括:
获取模块,用于获取眼前节光学相干断层扫描图像,将所述眼前节光学相干断层扫描图像输入定位模型;
特征提取模块,用于通过所述定位模型的第一检测层对所述眼前节光学相干断层扫描图像进行特征提取,得到所述眼前节光学相干断层扫描图像中的巩膜突刺的初步定位结果;
定位模块,用于将所述初步定位结果输入所述定位模型的第二检测层,得到所述眼前节光学相干断层扫描图像中的巩膜突刺的目标定位结果。
一种图像识别装置,所述装置包括:
获取模块,用于获取眼前节光学相干断层扫描图像,将所述眼前节光学相干断层扫描图像输入定位模型;
输出模块,用于通过所述定位模型输出已标记巩膜突刺的眼前节光学相干断层扫描图像;
其中,所述定位模型的第一检测层对所述眼前节光学相干断层扫描图像进行特征提取,得到所述眼前节光学相干断层扫描图像中的巩膜突刺的初步定位结果;所述定位模型的第二检测层对所述初步定位结果进行检测,得到所述巩膜突刺的目标定位结果;根据所述目标定位结果在所述眼前节光学相干断层扫描图像中标记所述巩膜突刺。
上述图像识别方法、装置、计算机可读存储介质和计算机设备,获取眼前节光学相干断层扫描图像,将眼前节光学相干断层扫描图像输入定位模型,通过定位模型的第一检测层对眼前节光学相干断层扫描图像进行特征提取,得到眼前节光学相干断层扫描图像中的巩膜突刺的初步定位结果,将初步定位结果输入定位模型的第二检测层,得到眼前节光学相干断层扫描图像中的巩膜突刺的目标定位结果,实现对巩膜突刺的检测和精准定位。
附图说明
图1为一个实施例中图像识别方法的应用环境图;
图2为一个实施例中图像识别方法的流程示意图;
图3为一个实施例中巩膜突刺的初步定位的步骤的流程示意图;
图4为一个实施例中提取多层次特征的步骤的流程示意图;
图5为一个实施例中训练定位模型的步骤的流程示意图;
图6为一个实施例中定位模型的整体架构图;
图7为一个实施例中预测前房角类别的步骤的流程示意图;
图8为一个实施例中分类模型的架构图;
图9为一个实施例中分类模型中的残差块的架构图;
图10为一个实施例中训练分类模型的步骤的流程示意图;
图11为另一个实施例中图像识别方法的流程示意图;
图12为一个实施例中巩膜突刺的预测位置和金标准之间对比图;
图13为一个实施例中图像识别装置的结构框图;
图14为另一个实施例中图像识别装置的结构框图;
图15为一个实施例中计算机设备的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
图1为一个实施例中图像识别方法的应用环境图。参照图1,该图像识别方法可应用于终端110,也可以应用于服务器120,还可以应用于终端110和服务器120的系统,并通过终端110和服务器120的交互实现。
在本实施例中,该图像识别系统包括终端110和服务器120。终端110和服务器120通过网络连接。终端110具体可以是台式终端或移动终端,移动终端具体可以手机、平板电脑、笔记本电脑等中的至少一种。服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在本实施例中,终端110可获取眼前节光学相干断层扫描图像,将该眼前节光学相干断层扫描图像发送给服务器120。该服务器120上存储了定位模型,服务器120接收到该眼前节光学相干断层扫描图像后,将该眼前节光学相干断层扫描图像输入定位模型。该定位模型的第一检测层对该眼前节光学相干断层扫描图像进行特征提取,得到该眼前节光学相干断层扫描图像中的巩膜突刺的初步定位结果。接着,第一检测层将输出的初步定位结果输入该定位模型的第二检测层,得到该眼前节光学相干断层扫描图像中的巩膜突刺的目标定位结果。接着,服务器120根据该目标定位结果在眼前节光学相干断层扫描图像中标记该巩膜突刺,并已标记巩膜突刺的眼前节光学相干断层扫描图像返回给终端110。通过定位模型对眼前节光学相干断层扫描图像的巩膜突刺进行粗略定位和精准定位,从而准确实现巩膜突刺的精准确定,为原发性闭角型疾病的判断提供了重要依据。
如图2所示,在一个实施例中,提供了一种图像识别方法。本实施例主要以该方法应用于上述图1中的终端110来举例说明。参照图2,该图像识别方法具体包括如下步骤:
步骤202,获取眼前节光学相干断层扫描图像,将该眼前节光学相干断层扫描图像输入定位模型。
其中,眼前节光学相干断层扫描(AS-OCT)是一种非损伤、非接触性、在活体上对视网膜的细微结构进行横截面扫描的检查方法,可用于对眼前节各层次组织结构超高分辨成像,并成功应用于眼前节及眼表疾病的诊治。例如,定量测量干眼症患者泪膜厚度值,鉴别诊断眼表鳞状上皮瘤样增生性病变,监测各类角膜炎、圆锥角膜、角膜外伤等角膜疾病的病理生理变化趋势。
定位模型用于检测眼前节光学相干断层扫描图像中的巩膜突刺,并对检测到的巩膜突刺进行定位。该定位模型可输出巩膜突刺的定位结果,进一步地,该定位模型还可根据定位结果对眼前节光学相干断层扫描图像中的巩膜突刺进行标记,并输出已标记巩膜突刺后的眼前节光学相干断层扫描图像。
具体地,该定位模型安装于终端上。终端可获取用户的眼前节光学相干断层扫描图像,将该眼前节光学相干断层扫描图像输入该定位模型。
步骤204,通过定位模型的第一检测层对眼前节光学相干断层扫描图像进行特征提取,得到眼前节光学相干断层扫描图像中的巩膜突刺的初步定位结果。
其中,初步定位结果是指巩膜突刺在眼前节光学相干断层扫描图像中的粗定位结果。
具体地,定位模型的第一检测层对该眼前节光学相干断层扫描图像进行特征提取,得到多层次特征。接着,可对多层次特征按照指定步长进行连接,以将多层次特征中的高维特征和低维特征融合。接着,对融合后的特征进一步进行特征提取,得到多尺度的特征。再对多尺度特征进行融合以检测出巩膜突刺,并输出该巩膜突刺在该眼前节光学相干断层扫描图像中的粗定位结果。
步骤206,将初步定位结果输入定位模型的第二检测层,得到该眼前节光学相干断层扫描图像中的巩膜突刺的目标定位结果。
其中,目标定位结果是指巩膜突刺在眼前节光学相干断层扫描图像中的细定位结果,即精准定位结果。
具体地,第一检测层的输出作为第二检测层的输入。第一检测层输出初步定为结果后,可根据初步定位结果确定该巩膜突刺在眼前节光学相干断层扫描图像中的目标区域。接着,将该目标区域输入该定位模型的第二检测层。第二检测层对该目标区域进行不同层次、不同尺度的特征提取,从而检测出该目标区域中的巩膜突刺,并输出该巩膜突刺在该目标区域中的目标定位结果。
可以理解的是,该第二检测层的架构与该第一检测层的架构相同,第二检测层对该目标区域的处理过程与第一检测层对该巩膜突刺在该眼前节光学相干断层扫描图像的处理过程原理相同,在此不再赘述。
在本实施例中,获取眼前节光学相干断层扫描图像,将眼前节光学相干断层扫描图像输入定位模型;通过定位模型的第一检测层对眼前节光学相干断层扫描图像进行特征提取,得到眼前节光学相干断层扫描图像中的巩膜突刺的初步定位结果,从而能够通过模型检测出眼前节光学相干断层扫描图像中的巩膜突刺,并初步确定该巩膜突刺在眼前节光学相干断层扫描图像中的位置。将初步定位结果输入定位模型的第二检测层,得到眼前节光学相干断层扫描图像中的巩膜突刺的目标定位结果,从而精准确定该巩膜突刺在该眼前节光学相干断层扫描图像中的位置。
在一个实施例中,如图3所示,该通过该定位模型的第一检测层对该眼前节光学相干断层扫描图像进行特征提取,得到该眼前节光学相干断层扫描图像中的巩膜突刺的初步定位结果,包括:
步骤302,通过定位模型的第一检测层对眼前节光学相干断层扫描图像进行特征提取,得到多层次特征。
具体地,一张完整的眼前节光学相干断层扫描图像中存在两个巩膜突刺。终端可将眼前节光学相干断层扫描图像划分为左右两部分,每个部分各包含一个巩膜突刺。然后将拆分后的图像缩放为499×499像素大小,将划分后的左半张或右半张眼前节光学相干断层扫描图像输入该定位模型。该定位模型的第一检测层对该对眼前节光学相干断层扫描图像进行卷积处理,得到多层次的特征。
步骤304,将多层次特征进行短跳跃连接处理。
其中,短跳跃连接是指将不同层输出的特征进行间隔连接。
具体地,该多层次特征中包括高维特征和低维特征,第一检测层可将该多层次特征中的高维特征和对应的低维特征进行短跳跃连接处理。进一步地,可使用步长为2的多个转置卷积层实现高维特征和低维特征的特征相连接。
步骤306,将经过短跳跃连接处理后得到的特征进行金字塔池化处理,得到不同尺度的特征。
具体地,巩膜突刺是一个微小的结构,其前面附着在小梁网上,后面附着在巩膜和睫状肌的纵向部分。因此,需要更多的上下文信息(包括巩膜和巩膜周围的其他组织)来定位眼前节光学相干断层扫描图像中的巩膜突刺。
将多层次的特征经过短跳跃连接处理后,可通过池化层对得到的特征进行池化处理。进一步地,可通过不同预设尺寸的池化层对短跳跃连接处理后的特征进行池化。每个预设尺寸的池化层可得到对应的特征,不同预设尺寸的池化层输出的特征的尺寸也不相同,从而可得到不同尺度的特征。
步骤308,将不同尺度的特征进行融合处理,得到眼前节光学相干断层扫描图像中的巩膜突刺的初步定位结果。
具体地,将不同尺度的特征输入第一检测层的卷积层,通过卷积层将不同尺度的特征进行融合处理,得到眼前节光学相干断层扫描图像中的巩膜突刺,并得到该巩膜突刺在该眼前节光学相干断层扫描图像中的粗略位置。
本实施例中,通过定位模型的第一检测层对眼前节光学相干断层扫描图像进行特征提取,得到多层次特征,将多层次特征进行短跳跃连接处理,能够将高维特征和相应的低维特征相连,从而将不同维度的特征进行融合,得到更多的特征信息。将经过短跳跃连接处理后得到的特征进行金字塔池化处理,得到不同尺度的特征,从而将特征的上下文进行关联。将不同尺度的特征进行融合处理得到眼前节光学相干断层扫描图像中的巩膜突刺的初步定位结果,从而检测出该眼前节光学相干断层扫描图像中的巩膜突刺,并实现该巩膜突刺的定位。
在一个实施例中,如图4所示,该通过该定位模型的第一检测层对该眼前节光学相干断层扫描图像进行特征提取,得到多层次特征,包括:
步骤402,通过定位模型的第一检测层对该眼前节光学相干断层扫描图像进行特征编码,得到第一多层次特征。
其中,第一多层次特征包括进行特征编码的每层输出的特征。
具体地,终端将眼前节光学相干断层扫描图像输入定位模型的第一检测层,通过第一检测层的编码器对该眼前节光学相干断层扫描图像进行特征编码。该编码器可为EfficientNnet,EfficientNnet能够统一调控好网络深度、宽度和分辨率之间的特征联系,具有捕获高维语义信息的性能,并且能够实现更高的准确率和效率。通过编码器对眼前节光学相干断层扫描图像进行多层的卷积编码以提取特征,可得到多层次的特征。
步骤404,对该第一多层次特征进行特征解码,得到第二多层次特征。
其中,第二多层次特征包括进行特征解码的每层输出的特征。
具体地,编码器输出的第一多层次特征输出对应的解码器中,通过解码器对该第一多层次特征进行特征解码。进一步地,可通过多层卷积层对该上一层输出的特征进行解码,得到第二多层次特征。
可以理解的是,编码器中的上一层输出的特征作为下一层的输入,编码器中的各层输出的特征构成第一多层次特征。
编码器中的上一层输出的特征作为下一层的输入,解码器中的各层输出的特征构成第二多层次特征。
该将该多层次特征进行短跳跃连接处理,包括:
步骤406,将该第一多层次特征和该第二多层次特征进行短跳跃连接处理。
具体地,可将第一多层次特征中的最低维特征和第二多层次特征中的最高维特征进行连接,将第一多层次特征中的第二低维特征和第二多层次特征中的第二高维特征进行连接,直到将第一多层次特征中的最高维特征和第二多层次特征中的最低维特征进行连接后,完成短跳跃连接处理。
进一步地,可采用步长为2的四个转置卷积层来构造高维特征和相应的低维特征相连的短连接。
本实施例中,通过定位模型的第一检测层对眼前节光学相干断层扫描图像进行特征编码,得到第一多层次特征,对第一多层次特征进行特征解码,得到第二多层次特征,将第一多层次特征和第二多层次特征进行短跳跃连接处理,从而能够将高维度的特征和低维度的特征进行关联,得到更多的特征信息。
在一个实施例中,该将经过短跳跃连接处理后得到的特征进行金字塔池化处理,得到不同尺度的特征,包括:通过各个预设尺寸的池化层对该经过短跳跃连接处理后得到的特征进行池化处理,得到不同尺度的特征。
具体地,短跳跃连接处理后得到的特征输入不同预设尺寸的池化层进行池化处理,该预设尺寸的池化层可分别为1×1、2×2、3×3和6×6的池化层。
进一步地,将短跳跃连接处理后得到的特征可输入到预设尺寸为1×1的池化层中进行池化处理,得到输出的特征。将短跳跃连接处理后得到的特征可输入到预设尺寸为2×2的池化层中进行池化处理,得到输出的特征。将短跳跃连接处理后得到的特征可输入到预设尺寸为3×3的池化层中进行池化处理,得到输出的特征。将短跳跃连接处理后得到的特征可输入到预设尺寸为3×3的池化层中进行池化处理,得到输出的特征。将短跳跃连接处理后得到的特征可输入到预设尺寸为6×6的池化层中进行池化处理,得到输出的特征。获取1×1、2×2、3×3和6×6的池化层输出的特征,得到不同尺度的特征。
在本实施例中,可将第一个预设尺寸的池化层输出的特征作为第二个预设尺寸的池化层的输入特征,以此类推。得到最后一个预设尺寸的池化层输出的特征后,获取每个预设尺寸的池化层输出的特征,得到不同尺度的特征。
在本实施例中,每个预设尺寸的池化层的数量不限定,可根据需求设置。
本实施例中,通过各个预设尺寸的池化层对该经过短跳跃连接处理后得到的特征进行池化处理,得到多尺度的特征,从而能够将特征的上下文语义关联起来,得到的特征涵盖更多的信息。
在一个实施例中,该将该不同尺度的特征进行融合处理,得到该眼前节光学相干断层扫描图像中的巩膜突刺的初步定位结果,包括:将该不同尺度的特征上采样得到固定尺寸的特征;将该固定尺寸的特征进行融合处理得到该眼前节光学相干断层扫描图像中的巩膜突刺的初步定位结果。
其中,上采样是指将图像放大。
具体地,不同预设尺寸的池化层输出的特征的尺寸也不相同,得到不同尺度的特征后,可将该不同尺度的特征上采样到固定尺寸。该固定尺寸可以是与属于定位模型的眼前节光学相干断层扫描图像相同的尺寸。接着,将每个特征都上采样得到固定尺寸的特征后,将该固定尺寸的特征输入卷积层。通过卷积层对该固定尺寸的特征进行融合,输出巩膜突刺在该眼前节光学相干断层扫描图像中的位置,该位置即为巩膜突刺的初步定位结果。
本实施例中,将该不同尺度的特征上采样得到固定尺寸的特征,能够将不同尺度的各个特征处理为相同尺寸的特征,以便于对该固定尺寸的特征进行融合处理。通过不同尺度的特征的融合,能够准确检测出该眼前节光学相干断层扫描图像中的巩膜突刺,并实现巩膜突刺的初步定位结果。
在一个实施例中,该将该初步定位结果输入该定位模型的第二检测层,得到该眼前节光学相干断层扫描图像中的巩膜突刺的目标定位结果,包括:
根据初步定位结果从眼前节光学相干断层扫描图像中获取图像预设尺寸的目标区域,该目标区域包含该巩膜突刺;将该目标区域输入定位模型的第二检测层,通过第二检测层对该目标区域进行特征提取,得到眼前节光学相干断层扫描图像中的巩膜突刺的目标定位结果。
具体地,当第一检测层输出巩膜突刺在眼前节光学相干断层扫描图像中的初步定位结果后,终端可根据该初步定位结果确定该巩膜突刺在该眼前节光学相干断层扫描图像中的目标区域。接着,终端可从该眼前节光学相干断层扫描图像中裁剪图像预设尺寸的目标区域,该目标区域为包含巩膜突刺的区域。
接着,终端可将该包含巩膜区域的目标区域输入定位模型的第二检测层,通过第二检测层对该目标区域进行特征提取,得到多层次特征。并将多层次特征进行短跳跃连接处理,再通过各个预设尺寸的池化层对经过短跳跃连接处理后得到的特征进行池化处理,得到不同尺度的特征。接着,将所述不同尺度的特征上采样得到固定尺寸的特征,并输入卷积层进行融合处理,得到该巩膜突刺在在目标区域中的准确位置,从而得到巩膜突刺在该眼前节光学相干断层扫描图像中的准确位置,即目标定位结果。该图像预设尺寸可以是输入定位模型的眼前节光学相干断层扫描图像的尺寸的一半。
在本实施例中,终端可以在该眼前节光学相干断层扫描图像中以巩膜突刺为中心,裁剪图像预设尺寸的目标区域作为第二检测层的输入。
本实施例中,根据初步定位结果从眼前节光学相干断层扫描图像中获取图像预设尺寸的目标区域,该目标区域包含该巩膜突刺,从而确定出存在巩膜突刺的区域。将该目标区域输入定位模型的第二检测层,通过第二检测层对该目标区域进行特征提取,得到眼前节光学相干断层扫描图像中的巩膜突刺的目标定位结果,以粗定位结果作为第二阶段检测的输入,实现巩膜突刺的精确定位。
在一个实施例中,如图5所示,该图像识别方法还包括:
步骤502,获取训练样本和该训练样本中的巩膜突刺的位置,该训练样本为眼前节光学相干断层扫描图像样本。
具体地,终端可获取眼前节光学相干断层扫描图像的训练样本,通过人工标注巩膜突刺在训练样本中的位置,并以该巩膜突刺的位置为中心的二维高斯分布响应区域作为定位的金标准。该金标准即为训练样本中的巩膜突刺的准确位置。
进一步地,终端可获取1600张998×2130像素的AS-OCT图像作为训练样本,并将80%的训练样本用于定位模型的训练,将20%的训练样本用于定位模型的测试。
步骤504,通过待训练的定位模型对该训练样本进行检测,得到该训练样本中的巩膜突刺的预测定位结果。
具体地,终端构建定位模型后,通过待训练的定位模型对该训练样本进行检测,得到该训练样本中的巩膜突刺的预测定位结果。进一步地,终端将各个训练样本输入待训练的定位模型,得到各个训练样本中的巩膜突刺的预测定位结果。
步骤506,根据该训练样本中的巩膜突刺的预测定位结果和对应的位置,以及该训练样本中的像素点的数量构建定位损失函数。
其中,定位损失函数是一种关键点配准的损失函数,能够减少预测定位结果和金标准之间的误差。
具体地,终端可确定各训练样本中像素点的数量,根据各训练样本中像素点的数量、各个训练样本中的巩膜突刺的预测定位结果和对应的位置,构建定位损失函数。
步骤508,根据该定位损失函数训练该待训练的定位模型,直至满足训练停止条件时结束训练。
其中,训练停止条件可以是定位模型的损失值小于损失阈值。
具体地,终端可根据该定位损失函数对待训练的定位模型进行训练,当该定位模型的损失值小于损失阈值时,停止训练,得到训练好的定位模型。当该定位模型的损失值大于或等于阈值时,调整该定位模型的参数,并继续进行训练,直到损失值小于损失阈值。
例如,终端构建的定位损失函数如公式(1)所示,
Figure BDA0002388814570000121
其中,LKR为定位损失函数,y,y′∈[0,1]代表金标准的概率和定位模型的输出概率;N代表训练样本中的像素数量;ρ3,ρ4代表权重。由于巩膜突刺的位置热图隐含了强度和形状信息,公式(1)能够使得定位模型的网络把注意力聚焦于响应区域,从而有助于定位到最精确的位置。
如图6所示,为一个实施例中定位模型的整体架构。终端将待处理的眼前节光学相干断层扫描图像划分为左右两张图像,每张图像中都包含一个巩膜突刺,如图6中的(a)。接着,终端可将左半张图像输入定位模型,通过定位模型的第一检测层对左半张图像中存在的巩膜突刺进行粗定位。通过第一检测层中的编码器对左半张图像进行编码,得到多层次的特征。第一检测层的结构如图6中的(b)所示。接着,通过解码器对多层次的特征进行解码,得到多层次的特征,并将编码器中的各层输出的特征和对应的解码器中的各层输出的特征进行步长为2的短跳跃连接处理。并将解码器的最后一层解码得到的特征与输入的左半张图像进行连接处理。
接着,将短跳跃连接处理后得到的特征分别经过1×1、2×2、3×3和6×6的池化层,得到各层输出的特征,各层输出的特征构成不同尺度的特征。并且,各池化层输出的特征的尺寸也不相同。可将各池化层输出的特征上采样为相同尺寸的特征,并将该相同尺寸的特征输入全连接层。通过全连接层对输入的相同尺寸的特征进行融合,得到该第一检测层输出的初步定位结果,如图6中的(c)。
接着,终端根据该初步定位结果标注出该左半张图像中的巩膜突刺的位置,并以该位置为中心,从该左半张图像裁剪出包含该巩膜突刺的预设尺寸的目标区域,如图6中的(d)。
接着,终端将该目标区域,即如图6中的(d)图像输入定位模型的第二检测层,通过第二检测层对该目标区域进行精确定位,如图6中的(e)。该第二检测层对该目标区域的处理过程与第一检测层对该左半张图像的处理过程相同。通过第二检测层可输出该巩膜突刺在该目标区域中的目标定位结果,如图6中的(f)。
接着,将右半张图像经过上述相同的处理,得到右半张图像中的巩膜突刺的目标定位结果。根据左右半张图像中的巩膜突刺的目标定位结果可将完整的眼前节光学相干断层扫描图像中的两个巩膜突刺进行标记。
在一个实施例中,该方法还包括:将眼前节光学相干断层扫描图像输入分类模型,得到该眼前节光学相干断层扫描图像中的前房角的类别,该类别为开角或闭角;根据该前房角的类别和该巩膜突刺的目标定位结果确定该眼前节光学相干断层扫描图像所属的类别。
其中,分类模型用于识别前房角的类别,该类别包括开角和闭角。该分类模型可以通过残差网络对眼前节光学相干断层扫描图像的前房角进行识别。该眼前节光学相干断层扫描图像的类别包括原发性闭角型疾病和非原发性闭角型疾病。
具体地,终端获取用户的眼前节光学相干断层扫描图像,将该眼前节光学相干断层扫描图像输入该分类模型。该分类模型通过对该眼前节光学相干断层扫描图像进行特征提取,检测出该眼前节光学相干断层扫描图像中的前房角,并识别出该前房角为开角或者闭角。
接着,终端根据该分类模型输出的该眼前节光学相干断层扫描图像中的前房角的类别,以及定位模型输出的该眼前节光学相干断层扫描图像中的巩膜突刺的目标定位结果,确定该眼前节光学相干断层扫描图像属于原发性闭角型疾病类型,还是非原发性闭角型疾病类型。
在本实施例中,终端可根据该巩膜突刺的目标定位结果,经过该巩膜突刺的位置做角膜的切线,并经过巩膜突刺的位置坐虹膜的切线。接着,终端可计算两个切线的夹角。当夹角大于夹角阈值,且该前房角为闭角时,可判定该眼前节光学相干断层扫描图像属于原发性闭角型疾病类型。
本实施例中,根据将眼前节光学相干断层扫描图像输入分类模型,得到该眼前节光学相干断层扫描图像中的前房角的类别,该类别为开角或闭角;根据该前房角的类别和该巩膜突刺的目标定位结果确定该眼前节光学相干断层扫描图像所属的类别,可根据眼前节光学相干断层扫描图像中两个部位的状态识别图像对应的类别,从而将前房角的类别和巩膜突刺的位置作为判断原发性闭角型疾病的两个依据,使得判断更准确。
在一个实施例中,如图7所示,该将眼前节光学相干断层扫描图像输入分类模型,得到该眼前节光学相干断层扫描图像中的前房角的类别,包括:
步骤702,将眼前节光学相干断层扫描图像输入分类模型,通过分类模型的特征提取层对眼前节光学相干断层扫描图像进行特征提取。
具体地,该分类模型可安装在终端上。终端获取眼前节光学相干断层扫描图像,可将该眼前节光学相干断层扫描图像划分为左右两部分,得到左半张图像和右半张图像。接着,终端可将左半张图像输入该分类模型,同样也可以输入右半张图像,还可以将完整的眼前节光学相干断层扫描图像直接输入该分类模型中。接着,分类模型的特征提取层可对该输入的图像进行特征提取,得到输出的特征。
步骤704,通过预设步长的卷积层对提取的特征进行下采样处理,得到第一特征图。
其中,下采样是指对图像进行缩放。
具体地,分类模型的残差连接的一个分支通过预设步长的卷积层对提取的特征进行下采样处理。分类模型的特征提取层将提取的特征输入预设步长的卷积层,通过卷积层对输入的特征进行预设步长的卷积处理,实现输入特征的下采样。进一步地,可存在多层不同预设步长的卷积层,不同预设步长的卷积层中的第一层卷积层按照对应的步长对输入特征进行进行卷积处理。将该第一层卷积层输出的特征图作为第二层卷积层的输入,并经过第二层卷积层按照对应的步长对输入的特征图进行进行卷积处理,直到不同预设步长的卷积层中的最后一层卷积层按照对应的步长对输入的特征图进行进行卷积处理,并得到输出的特征图后,完成对提取的特征进行下采样处理。该不同预设步长的卷积层中的最后一层卷积层输出的特征图即为第一特征图。
步骤706,通过平均池化层对该提取的特征进行平均池化处理,得到第二特征图。
具体地,分类模型的残差连接的另外一个分支通过平均池化层对该提取的特征进行平均池化处理。即分类模型的特征提取层将提取的特征输入平均池化层,通过平均池化层对输入的特征进行平均池化处理。进一步地,该平均池化层可按照对应的步长对该输入的特征进行平均池化处理,输出第二特征图。
步骤708,根据第一特征图和第二特征图得到该眼前节光学相干断层扫描图像中的前房角的类别。
具体地,将该分类模型的残差连接的一个分支输出的第一特征图和另一分支输出的第二特征图输入全连接层。通过全连接层将该第一特征图和第二特征图进行拼接,并将拼接后的特征尺寸降维至分类类别数,从而输出分类模型预测的概率。接着,将该预测概率和概率阈值进行比较,当该预测概率大于概率阈值时,判定该眼前节光学相干断层扫描图像中的前房角属于闭角类型。当该预测概率小于或等于概率阈值时,判定该眼前节光学相干断层扫描图像中的前房角属于开角类型。
在本实施例中,将眼前节光学相干断层扫描图像输入分类模型,通过分类模型的特征提取层对眼前节光学相干断层扫描图像进行特征提取,通过预设步长的卷积层对提取的特征进行下采样处理,得到第一特征图,通过平均池化层对该提取的特征进行平均池化处理,得到第二特征图,根据第一特征图和第二特征图得到该眼前节光学相干断层扫描图像中的前房角的类别,从而能够准确识别前房角的类别。
在一个实施例中,该通过预设步长的卷积层对提取的特征进行下采样处理,得到第一特征图,包括:对提取的特征进行第一预设步长的卷积处理;对经过卷积处理后得到的特征图进行第二预设步长的卷积处理,得到第一特征图,该第一预设步长小于该第二预设步长。
具体地,分类模型的残差连接包括不同预设步长的卷积层。特征提取层将提取的特征输入残差连接的第一预设步长的卷积层中,该卷积层按照第一预设步长对输入的特征进行卷积处理。接着,第一预设步长输出的特征输入第二预设步长的卷积层,该卷积层按照第二预设步长对输入的特征进行卷积处理,得到该卷积层输出的第一特征图。并且,该第一预设步长小于第二预设步长。例如,第一预设步长为1,第二预设步长为2。
本实施例中,对提取的特征进行第一预设步长的卷积处理,即先按照小步长卷积,能够减少卷积层的上下文特征信息的损失。对经过卷积处理后得到的特征图进行第二预设步长的卷积处理,即按照大步长卷积对特征进行处理,使得在减少上下文特征信息的损失的同时,能够降低特征的维度,以提取信息度更高的特征。
在一个实施例中,该通过平均池化层对该提取的特征进行平均池化处理,得到第二特征图,包括:对该提取的特征进行第二预设步长的平均池化处理,并对该平均池化处理后的特征图进行第一预设步长的卷积处理,得到第二特征图。
具体地,分类模型的残差连接的另外一个分支通过平均池化层对该提取的特征进行平均池化处理。即分类模型的特征提取层将提取的特征输入第二预设步长的平均池化层,该平均池化层按照第二预设步长对输入的特征进行平均池化处理。
接着,平均池化层输出的特征输入第一预设步长的卷积层进行卷积处理,该第一预设步长小于该第二预设步长,例如,第一预设步长为1,第二预设步长为2。该卷积层按照第一预设步长对输出的特征进行卷积处理,从而输出第二特征图。
本实施例中,对该提取的特征进行第二预设步长的平均池化处理,再对该平均池化处理后的特征图进行第一预设步长的卷积处理,可避免传统方式中直接对提取的特征进行步长为1的卷积处理导致的特征损失,提高了分类模型的识别性能和计算效率。
如图8所示,为一个实施例中分类模型的框架。终端将待处理的眼前节光学相干断层扫描图像划分为左右两张图像,如图8中的(a)。接着,终端可将左半张图像输入分类模型,如图8中的(b),该分类模型中包含多个残差块。每个残差块的结构如图9中的(a)所示。并且,每个残差块中包含至少一个下采样层,该下采样层的结构如图9中的(b)所示。左半张图像经过特征提取层输出的特征输入到残差块中的下采样层中。下采样层中通过步长为1的卷积层对输入的特征进行卷积处理,再通过步长为2的卷积层对步长为1的卷积层输出的特征进行卷积处理。接着,通过步长为1的卷积层对步长为2的卷积层输出的特征进行卷积处理,得到第一特征图。下采样层中的另一个分支中,通过步长为2的3x3的平均池化层对特征提取层输出的特征进行池化处理,再通过步长为1的卷积层对平均池化层输出的特征进行卷积处理,得到第二特征图。接着,将第一特征图和第二特征图输入全连接层进行拼接,得到拼接后的特征图。将拼接后的特征图输入下一个残差层进行处理,直到最后一层全连接层输出该眼前节光学相干断层扫描图像中的前房角的类别。
如图9中的(c)所示,为传统的RseNet网络中下采样层的结构。一个分支首先通过步长为2的卷积层对输入的特征进行卷积处理,再通过步长为1的卷积层进行处理。该处理方式执行步长为2的卷积之后,得到特征图为卷积前特征图的1/4,也就是说该方式丢失了特征提取层的3/4的特征信息。同样地,另一个分支中,直接进行步长为2的卷积,也会丢失3/4的特征信息。通过本申请中图9中的(b)的处理方式,能够减少特征的损失,从而能够提高分类模型的识别性能和计算效率。
在一个实施例中,如图10所示,该方法还包括:
步骤1002,获取训练样本和该训练样本对应的标签,该训练样本为眼前节光学相干断层扫描图像样本。
其中,训练样本对应的标签为该训练样本所属的类别,即该训练样本中的前房角属于开角或闭角。该标签可通过数值表示,例如,用0表示开角,用1表示闭角。
具体地,终端可获取眼前节光学相干断层扫描图像的训练样本,并获取每个训练样本对应的标签。该训练样本对应的标签可以通过人工标注得到。
在本实施例中,该分类模型的训练样本和定位模型的训练样本可以是相同的眼前节光学相干断层扫描图像样本,也可以分别使用不同的训练样本。
步骤1004,通过待训练的分类模型对训练样本进行预测,得到该训练样本的预测类别。
步骤1006,根据训练样本的预测类别和对应的标签构建第一损失函数。
其中,预测类别为2分类,例如,开角用0表示,闭角用1表示。
具体地,终端构建分类模型后,通过待训练的分类模型对该训练样本进行检测,得到该训练样本中的前房角的预测类别。进一步地,终端将各个训练样本输入待训练的分类模型,得到各个训练样本中的前房角的预测类别。接着,终端可获取每个训练样本的预测类别和对应的标签,根据各个预测类别和对应的标签构建第一损失函数。
步骤1008,根据训练样本中的真阳性样本的数量、假阳性样本的数量和假阴性样本的数量构建第二损失函数。
其中,真阳性是指训练样本的预测类别为1且该训练样本的标签类别为1,即预测正确;假阳性是指训练样本的预测类别为1且该训练样本的标签类别为0,即预测错误;假阴性是指训练样本的预测类别为0且该训练样本的标签类别为1即预测错误。
具体地,终端得到各个训练样本的预测类别之后,获取各个训练样本对应的标签,将各个预测类别和对应的标签进行比较,以计算真阳性样本的数量、假阳性样本的数量和假阴性样本的数量。终端可根据真阳性样本的数量、假阳性样本的数量和假阴性样本的数量构建第二损失函数。
步骤1010,根据第一损失函数和第二损失函数构建目标损失函数。
步骤1012,根据目标损失函数训练该待训练的分类模型,直至满足训练停止条件时结束训练。
其中,训练停止条件可以是分类模型的损失值小于损失阈值。
具体地,终端获取第一损失函数对应的权重系数和第二损失函数对应的权重系数,根据第一损失函数、第一损失函数对应的权重系数、第二损失函数和第二损失函数对应的权重系数构建目标损失函数。
进一步地,终端可将第一损失函数和对应的权重系数相乘,将第二损失函数和对应的权重系数相乘,并将两个相乘之后的结果相加,得到目标损失函数。
接着,终端可根据该目标损失函数对待训练的分类模型进行训练,当该分类模型的损失值小于损失阈值时,停止训练,得到训练好的分类模型。当该分类模型的损失值大于或等于阈值时,调整该分类模型的参数,并继续进行训练,直到损失值小于损失阈值后,得到训练好的分类模型。
本实施例中,获取训练样本和训练样本对应的标签,训练样本为眼前节光学相干断层扫描图像样本,通过待训练的分类模型对训练样本进行预测,得到训练样本的预测类别,根据训练样本的预测类别和对应的标签构建第一损失函数,从而可克服正负样本的不平衡问题。根据训练样本中的真阳性样本的数量、假阳性样本的数量和假阴性样本的数量构建第二损失函数,根据第一损失函数和第二损失函数构建目标损失函数,根据目标损失函数训练待训练的分类模型,直至满足训练停止条件时结束训练,使得训练得到的分类模型更准确,识别性能更高。
在一个实施例中,对于前房角状态分类任务,为了克服正负样本之间的不平衡,采用了一种结合第一损失函数和第二损失函数的混合损失函数来优化分类模型的训练。其中,第一损失函数如公式(2):
Lfocal=-α(1-y′t)γlog(y′t) (2)
y′t=y′y+(1-y)(1-y′) (3)
其中,y∈{0,1}代表分类类别;y′∈[0,1]代表分类模型的预测概率。α是调控类别重要性权重的超参数;调节因子γ用于难样本挖掘。
第二损失函数如公式(4):
Figure BDA0002388814570000191
其中,β是平衡权重的因子;TP,FN,FP分别表示真阳性样本的数量,假阴性样本的数量和假阳性样本的数量。
根据第一损失函数和第二损失函数可得到目标损失函数,如公式(5)所示:
Lhybrid=ρ1Lfocal2LBeta (5)
其中,ρ1表示第一损失函数的权重系数,ρ2第二损失函数的权重系数。
在一个实施例中,如图11所示,提供了一种图像识别方法,包括:
步骤1102,获取眼前节光学相干断层扫描图像,将该眼前节光学相干断层扫描图像输入定位模型。
步骤1104,通过该定位模型输出已标记巩膜突刺的眼前节光学相干断层扫描图像。
其中,该定位模型的第一检测层对该眼前节光学相干断层扫描图像进行特征提取,得到该眼前节光学相干断层扫描图像中的巩膜突刺的初步定位结果;该定位模型的第二检测层对该初步定位结果进行检测,得到该巩膜突刺的目标定位结果;根据该目标定位结果在该眼前节光学相干断层扫描图像中标记该巩膜突刺。
具体地,终端可获取用户的眼前节光学相干断层扫描图像,将该眼前节光学相干断层扫描图像输入该定位模型。定位模型的第一检测层对该眼前节光学相干断层扫描图像进行特征提取,得到该眼前节光学相干断层扫描图像中的巩膜突刺的初步定位结果。接着,终端根据该初步定位结果获取包含巩膜突刺的目标区域,将该目标区域输入该定位模型的第二检测层。通过该第二检测层对该目标区域进行检测,得到该巩膜突刺在该目标区域中的目标定位结果。接着,根据该目标定位结果在该眼前节光学相干断层扫描图像中标记该巩膜突刺。进一步地,定位模型输出该已标记巩膜突刺的眼前节光学相干断层扫描图像给终端。终端将该已标记巩膜突刺的眼前节光学相干断层扫描图像进行显示。
本实施例中,获取眼前节光学相干断层扫描图像,将该眼前节光学相干断层扫描图像输入定位模型;通过该定位模型输出已标记巩膜突刺的眼前节光学相干断层扫描图像。其中,该定位模型的第一检测层对该眼前节光学相干断层扫描图像进行特征提取,得到该眼前节光学相干断层扫描图像中的巩膜突刺的初步定位结果;该定位模型的第二检测层对该初步定位结果进行检测,得到该巩膜突刺的目标定位结果;根据该目标定位结果在该眼前节光学相干断层扫描图像中标记该巩膜突刺。通过定位模型准确识别眼前节光学相干断层扫描图像中的巩膜突刺,并对巩膜突刺的位置进行标记,从而输出并显示已标记巩膜突刺的眼前节光学相干断层扫描图像。医生根据眼前节光学相干断层扫描图像中的标记直观地看出巩膜突刺的位置,并将该巩膜突刺的位置作为原发性闭角型疾病的判断依据。
在一个实施例中,本方案能够准确识别前房角的开闭状态和精确定位巩膜突刺的位置,进而有助于眼科医生对PACD的诊疗。表一、表二为本方案对比其他方法的验证结果。
表一.在前房角分类任务上,本方案与ResNet152的对比结果.
方法 AUC 敏感度 特异度 准确率
Resnet152 0.9999 1.0000 0.9874 0.9901
本方案 1.0000 1.0000 1.0000 1.0000
AUC(Area Under Curve)被定义为接收者操作特征曲线下与坐标轴围成的面积。敏感度、特异度和准确率为分类常用指标,数值在[0,1],一般值越大,模型性能越高。从表一中可知,本方案比Resnet152有更好的特异度和准确率,则本方案提供的分类模型的识别性能更高更准确。
表二.在巩膜突刺定位上,本方案与其他网络的对比结果
Figure BDA0002388814570000211
从表二中可知,本方案中对眼前节光学相干断层扫描图像中的左侧巩膜突刺的预测误差和右侧巩膜突刺的预测误差均小于其它方法的预测误差。因此,双侧平均误差也小于其它方法的平均误差。则可表明本方案提供的定位模型的识别性能更高更准确。
如图12所示,提供了一些在定位模型的训练过程中巩膜突刺的预测定位结果和金标准之间对比的示意图。白色的四角形为金标准,黑色的五角星为定位模型预测的位置。从图12中的左上部分可知,巩膜突刺的预测定位概率的平均误差为14.01,左下部分定位模型的平均误差为12.18,右上部分定位模型的平均误差为10.34,右下部分定位模型的平均误差为10.34。每个部分中都标注了金标准的位置和定位模型预测出的巩膜突刺的概率,金标准作为巩膜突刺的参照位置。从图中的四个部分可知,经过训练后的定位模型的平均误差越来越小,与金标准之间的位置差异也越来越小。
在一个实施例中,提供了一种图像识别方法,包括:
终端获取眼前节光学相干断层扫描图像,将眼前节光学相干断层扫描图像输入定位模型。
接着,终端通过定位模型的第一检测层对眼前节光学相干断层扫描图像进行特征编码,得到第一多层次特征。
接着,终端对第一多层次特征进行特征解码,得到第二多层次特征。
进一步地,终端将第一多层次特征和第二多层次特征进行短跳跃连接处理。
接着,终端通过各个预设尺寸的池化层对经过短跳跃连接处理后得到的特征进行池化处理,得到不同尺度的特征。
接着,终端将不同尺度的特征上采样得到固定尺寸的特征。
进一步地,终端将固定尺寸的特征进行融合处理,得到眼前节光学相干断层扫描图像中的巩膜突刺的初步定位结果。
接着,终端根据初步定位结果从眼前节光学相干断层扫描图像中获取图像预设尺寸的目标区域,该目标区域包含巩膜突刺。
进一步地,终端将目标区域输入定位模型的第二检测层,通过第二检测层对目标区域进行特征提取,得到眼前节光学相干断层扫描图像中的巩膜突刺的目标定位结果。
进一步地,终端通过定位模型输出已标记巩膜突刺的眼前节光学相干断层扫描图像,在终端界面上显示已标记巩膜突刺的眼前节光学相干断层扫描图像。
接着,终端将眼前节光学相干断层扫描图像输入分类模型,通过分类模型的特征提取层对眼前节光学相干断层扫描图像进行特征提取。
接着,终端对提取的特征进行第一预设步长的卷积处理;对经过卷积处理后得到的特征图进行第二预设步长的卷积处理,得到第一特征图,第一预设步长小于第二预设步长。
进一步地,终端对提取的特征进行第二预设步长的平均池化处理,并对平均池化处理后的特征图进行第一预设步长的卷积处理,得到第二特征图。
接着,终端根据第一特征图和第二特征图得到眼前节光学相干断层扫描图像中的前房角的类别。
进一步地,终端根据前房角的类别和巩膜突刺的目标定位结果确定眼前节光学相干断层扫描图像所属的类别。
本实施例中,通过对分类模型中提取的特征进行短跳跃连接和多尺度特征提取的处理,得到更高语义、更丰富上下文的特征信息。对眼前节光学相干断层扫描图像中的巩膜突刺初步定位和精确定位,能够精准识别出巩膜突刺的位置。通过标注巩膜突刺的位置,使得医生和用户可直观看到眼前节光学相干断层扫描图像中的巩膜突刺。通过分类模型对眼前节光学相干断层扫描图像中的前房角进行预测,得到前房角的类别,根据前房角的类别和巩膜突刺的位置确定眼前节光学相干断层扫描图像是否属于原发性闭角型疾病类别。从而将前房角的类别和巩膜突刺的位置提供给医生,作为判断原发性闭角型疾病的依据。
图2-图11为一个实施例中图像识别方法的流程示意图。应该理解的是,虽然图2-图11的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-图11中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图13所示,提供了一种图像识别装置,该装置包括:获取模块1302、特征提取模块1304和定位模块1306。其中:
获取模块1302,用于获取眼前节光学相干断层扫描图像,将该眼前节光学相干断层扫描图像输入定位模型。
特征提取模块1304,用于通过该定位模型的第一检测层对该眼前节光学相干断层扫描图像进行特征提取,得到该眼前节光学相干断层扫描图像中的巩膜突刺的初步定位结果。
定位模块1306,用于将该初步定位结果输入该定位模型的第二检测层,得到该眼前节光学相干断层扫描图像中的巩膜突刺的目标定位结果。
在本实施例中,获取眼前节光学相干断层扫描图像,将眼前节光学相干断层扫描图像输入定位模型;通过定位模型的第一检测层对眼前节光学相干断层扫描图像进行特征提取,得到眼前节光学相干断层扫描图像中的巩膜突刺的初步定位结果,从而能够通过模型检测出眼前节光学相干断层扫描图像中的巩膜突刺,并初步确定该巩膜突刺在眼前节光学相干断层扫描图像中的位置。将初步定位结果输入定位模型的第二检测层,得到眼前节光学相干断层扫描图像中的巩膜突刺的目标定位结果,从而精准确定该巩膜突刺在该眼前节光学相干断层扫描图像中的位置。
在一个实施例中,该特征提取模块1304还用于:通过该定位模型的第一检测层对该眼前节光学相干断层扫描图像进行特征提取,得到多层次特征;将该多层次特征进行短跳跃连接处理;将经过短跳跃连接处理后得到的特征进行金字塔池化处理,得到不同尺度的特征;将该不同尺度的特征进行融合处理得到该眼前节光学相干断层扫描图像中的巩膜突刺的初步定位结果。
本实施例中,通过定位模型的第一检测层对眼前节光学相干断层扫描图像进行特征提取,得到多层次特征,将多层次特征进行短跳跃连接处理,能够将高维特征和相应的低维特征相连,从而将不同维度的特征进行融合,得到更多的特征信息。将经过短跳跃连接处理后得到的特征进行金字塔池化处理,得到不同尺度的特征,从而将特征的上下文进行关联。将不同尺度的特征进行融合处理得到眼前节光学相干断层扫描图像中的巩膜突刺的初步定位结果,从而检测出该眼前节光学相干断层扫描图像中的巩膜突刺,并实现该巩膜突刺的定位。
在一个实施例中,该特征提取模块1304还用于:通过该定位模型的第一检测层对该眼前节光学相干断层扫描图像进行特征编码,得到第一多层次特征对该第一多层次特征进行特征解码,得到第二多层次特征;将该第一多层次特征和该第二多层次特征进行短跳跃连接处理。
本实施例中,通过定位模型的第一检测层对眼前节光学相干断层扫描图像进行特征编码,得到第一多层次特征,对第一多层次特征进行特征解码,得到第二多层次特征,将第一多层次特征和第二多层次特征进行短跳跃连接处理,从而能够将高维度的特征和低维度的特征进行关联,得到更多的特征信息。
在一个实施例中,该特征提取模块1304还用于:通过各个预设尺寸的池化层对该经过短跳跃连接处理后得到的特征进行池化处理,得到不同尺度的特征。
本实施例中,通过各个预设尺寸的池化层对该经过短跳跃连接处理后得到的特征进行池化处理,得到多尺度的特征,从而能够将特征的上下文语义关联起来,得到的特征涵盖更多的信息。
在一个实施例中,该特征提取模块1304还用于:将该不同尺度的特征上采样得到固定尺寸的特征;将该固定尺寸的特征进行融合处理得到该眼前节光学相干断层扫描图像中的巩膜突刺的初步定位结果。
本实施例中,将该不同尺度的特征上采样得到固定尺寸的特征,能够将不同尺度的各个特征处理为相同尺寸的特征,以便于对该固定尺寸的特征进行融合处理。通过不同尺度的特征的融合,能够准确检测出该眼前节光学相干断层扫描图像中的巩膜突刺,并实现巩膜突刺的初步定位结果。
在一个实施例中,该定位模块1306还用于:根据该初步定位结果从该眼前节光学相干断层扫描图像中获取图像预设尺寸的目标区域,该目标区域包含该巩膜突刺;将该目标区域输入该定位模型的第二检测层,通过该第二检测层对该目标区域进行特征提取,得到该眼前节光学相干断层扫描图像中的巩膜突刺的目标定位结果。
本实施例中,根据初步定位结果从眼前节光学相干断层扫描图像中获取图像预设尺寸的目标区域,该目标区域包含该巩膜突刺,从而确定出存在巩膜突刺的区域。将该目标区域输入定位模型的第二检测层,通过第二检测层对该目标区域进行特征提取,得到眼前节光学相干断层扫描图像中的巩膜突刺的目标定位结果,以粗定位结果作为第二阶段检测的输入,实现巩膜突刺的精确定位。
在一个实施例中,该装置还包括:分类模块。该分类模块用于:将眼前节光学相干断层扫描图像输入分类模型,得到该眼前节光学相干断层扫描图像中的前房角的类别,该类别为开角或闭角;根据该前房角的类别和该巩膜突刺的目标定位结果确定该眼前节光学相干断层扫描图像所属的类别。
本实施例中,根据将眼前节光学相干断层扫描图像输入分类模型,得到该眼前节光学相干断层扫描图像中的前房角的类别,该类别为开角或闭角;根据该前房角的类别和该巩膜突刺的目标定位结果确定该眼前节光学相干断层扫描图像所属的类别,可根据眼前节光学相干断层扫描图像中两个部位的状态识别图像对应的类别,从而将前房角的类别和巩膜突刺的位置作为判断原发性闭角型疾病的两个依据,使得判断更准确。
在一个实施例中,该分类模块还用于:将眼前节光学相干断层扫描图像输入分类模型,通过该分类模型的特征提取层对该眼前节光学相干断层扫描图像进行特征提取;通过预设步长的卷积层对提取的特征进行下采样处理,得到第一特征图;通过平均池化层对该提取的特征进行平均池化处理,得到第二特征图;根据该第一特征图和该第二特征图得到该眼前节光学相干断层扫描图像中的前房角的类别。
在本实施例中,将眼前节光学相干断层扫描图像输入分类模型,通过分类模型的特征提取层对眼前节光学相干断层扫描图像进行特征提取,通过预设步长的卷积层对提取的特征进行下采样处理,得到第一特征图,通过平均池化层对该提取的特征进行平均池化处理,得到第二特征图,根据第一特征图和第二特征图得到该眼前节光学相干断层扫描图像中的前房角的类别,从而能够准确识别前房角的类别。
在一个实施例中,该分类模块还用于:对提取的特征进行第一预设步长的卷积处理;对经过卷积处理后得到的特征图进行第二预设步长的卷积处理,得到第一特征图,该第一预设步长小于该第二预设步长。
本实施例中,对提取的特征进行第一预设步长的卷积处理,即先按照小步长卷积,能够减少卷积层的上下文特征信息的损失。对经过卷积处理后得到的特征图进行第二预设步长的卷积处理,即按照大步长卷积对特征进行处理,使得在减少上下文特征信息的损失的同时,能够降低特征的维度,以提取信息度更高的特征。
在一个实施例中,该分类模块还用于:对该提取的特征进行第二预设步长的平均池化处理,并对该平均池化处理后的特征图进行第一预设步长的卷积处理,得到第二特征图。
本实施例中,对该提取的特征进行第二预设步长的平均池化处理,再对该平均池化处理后的特征图进行第一预设步长的卷积处理,可避免传统方式中直接对提取的特征进行步长为1的卷积处理导致的特征损失,提高了分类模型的识别性能和计算效率。
在一个实施例中,该装置还包括:训练模块。该训练模块用于:获取训练样本和该训练样本对应的标签,该训练样本为眼前节光学相干断层扫描图像样本;通过待训练的分类模型对该训练样本进行预测,得到该训练样本的预测类别;根据该训练样本的预测类别和对应的标签构建第一损失函数;根据该训练样本中的真阳性样本的数量、假阳性样本的数量和假阴性样本的数量构建第二损失函数;根据该第一损失函数和该第二损失函数构建目标损失函数;根据该目标损失函数训练该待训练的分类模型,直至满足训练停止条件时结束训练。
本实施例中,获取训练样本和训练样本对应的标签,训练样本为眼前节光学相干断层扫描图像样本,通过待训练的分类模型对训练样本进行预测,得到训练样本的预测类别,根据训练样本的预测类别和对应的标签构建第一损失函数,从而可克服正负样本的不平衡问题。根据训练样本中的真阳性样本的数量、假阳性样本的数量和假阴性样本的数量构建第二损失函数,根据第一损失函数和第二损失函数构建目标损失函数,根据目标损失函数训练待训练的分类模型,直至满足训练停止条件时结束训练,使得训练得到的分类模型更准确,识别性能更高。
在一个实施例中,如图14所示,提供了一种图像识别装置,该装置包括:
获取模块1402,用于获取眼前节光学相干断层扫描图像,将该眼前节光学相干断层扫描图像输入定位模型。
输出模块1404,用于通过该定位模型输出已标记巩膜突刺的眼前节光学相干断层扫描图像;
其中,该定位模型的第一检测层对该眼前节光学相干断层扫描图像进行特征提取,得到该眼前节光学相干断层扫描图像中的巩膜突刺的初步定位结果;该定位模型的第二检测层对该初步定位结果进行检测,得到该巩膜突刺的目标定位结果;根据该目标定位结果在该眼前节光学相干断层扫描图像中标记该巩膜突刺。
本实施例中,获取眼前节光学相干断层扫描图像,将该眼前节光学相干断层扫描图像输入定位模型;通过该定位模型输出已标记巩膜突刺的眼前节光学相干断层扫描图像。其中,该定位模型的第一检测层对该眼前节光学相干断层扫描图像进行特征提取,得到该眼前节光学相干断层扫描图像中的巩膜突刺的初步定位结果;该定位模型的第二检测层对该初步定位结果进行检测,得到该巩膜突刺的目标定位结果;根据该目标定位结果在该眼前节光学相干断层扫描图像中标记该巩膜突刺。通过定位模型准确识别眼前节光学相干断层扫描图像中的巩膜突刺,并对巩膜突刺的位置进行标记,从而输出并显示已标记巩膜突刺的眼前节光学相干断层扫描图像。医生根据眼前节光学相干断层扫描图像中的标记直观地看出巩膜突刺的位置,并将该巩膜突刺的位置作为原发性闭角型疾病的判断依据。
图15示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的终端110。如图15所示,该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中,存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统,还可存储有计算机程序,该计算机程序被处理器执行时,可使得处理器实现图像识别方法。该内存储器中也可储存有计算机程序,该计算机程序被处理器执行时,可使得处理器执行图像识别方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图15中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,本申请提供的图像识别装置可以实现为一种计算机程序的形式,计算机程序可在如图15所示的计算机设备上运行。计算机设备的存储器中可存储组成该图像识别装置的各个程序模块,比如,图13所示的获取模块1302、特征提取模块1304和定位模块1306。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的图像识别方法中的步骤。
例如,图15所示的计算机设备可以通过如图13所示的图像识别装置中的计算机设备可通过获取模块1302执行获取眼前节光学相干断层扫描图像,将该眼前节光学相干断层扫描图像输入定位模型的步骤。计算机设备可通过特征提取模块1304执行通过该定位模型的第一检测层对该眼前节光学相干断层扫描图像进行特征提取,得到该眼前节光学相干断层扫描图像中的巩膜突刺的初步定位结果的步骤。计算机设备可通过定位模块1306执行将该初步定位结果输入该定位模型的第二检测层,得到该眼前节光学相干断层扫描图像中的巩膜突刺的目标定位结果的步骤。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,计算机程序被处理器执行时,使得处理器执行上述图像识别方法的步骤。此处图像识别方法的步骤可以是上述各个实施例的图像识别方法中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,存储有计算机程序,计算机程序被处理器执行时,使得处理器执行上述图像识别方法的步骤。此处图像识别方法的步骤可以是上述各个实施例的图像识别方法中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种图像识别方法,包括:
获取眼前节光学相干断层扫描图像,将所述眼前节光学相干断层扫描图像输入定位模型;
通过所述定位模型的第一检测层对所述眼前节光学相干断层扫描图像进行特征提取,得到所述眼前节光学相干断层扫描图像中的巩膜突刺的初步定位结果;
将所述初步定位结果输入所述定位模型的第二检测层,得到所述眼前节光学相干断层扫描图像中的巩膜突刺的目标定位结果。
2.根据权利要求1所述的方法,其特征在于,所述通过所述定位模型的第一检测层对所述眼前节光学相干断层扫描图像进行特征提取,得到所述眼前节光学相干断层扫描图像中的巩膜突刺的初步定位结果,包括:
通过所述定位模型的第一检测层对所述眼前节光学相干断层扫描图像进行特征提取,得到多层次特征;
将所述多层次特征进行短跳跃连接处理;
将经过短跳跃连接处理后得到的特征进行金字塔池化处理,得到不同尺度的特征;
将所述不同尺度的特征进行融合处理,得到所述眼前节光学相干断层扫描图像中的巩膜突刺的初步定位结果。
3.根据权利要求2所述的方法,其特征在于,所述通过所述定位模型的第一检测层对所述眼前节光学相干断层扫描图像进行特征提取,得到多层次特征,包括:
通过所述定位模型的第一检测层对所述眼前节光学相干断层扫描图像进行特征编码,得到第一多层次特征;
对所述第一多层次特征进行特征解码,得到第二多层次特征;
所述将所述多层次特征进行短跳跃连接处理,包括:
将所述第一多层次特征和所述第二多层次特征进行短跳跃连接处理。
4.根据权利要求2所述的方法,其特征在于,所述将经过短跳跃连接处理后得到的特征进行金字塔池化处理,得到不同尺度的特征,包括:
通过各个预设尺寸的池化层对所述经过短跳跃连接处理后得到的特征进行池化处理,得到不同尺度的特征。
5.根据权利要求4所述的方法,其特征在于,所述将所述不同尺度的特征进行融合处理,得到所述眼前节光学相干断层扫描图像中的巩膜突刺的初步定位结果,包括:
将所述不同尺度的特征上采样得到固定尺寸的特征;
将所述固定尺寸的特征进行融合处理,得到所述眼前节光学相干断层扫描图像中的巩膜突刺的初步定位结果。
6.根据权利要求1至5中任一项所述的方法,其特征在于,所述将所述初步定位结果输入所述定位模型的第二检测层,得到所述眼前节光学相干断层扫描图像中的巩膜突刺的目标定位结果,包括:
根据所述初步定位结果从所述眼前节光学相干断层扫描图像中获取图像预设尺寸的目标区域,所述目标区域包含所述巩膜突刺;
将所述目标区域输入所述定位模型的第二检测层,通过所述第二检测层对所述目标区域进行特征提取,得到所述眼前节光学相干断层扫描图像中的巩膜突刺的目标定位结果。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
将眼前节光学相干断层扫描图像输入分类模型,得到所述眼前节光学相干断层扫描图像中的前房角的类别,所述类别为开角或闭角;
根据所述前房角的类别和所述巩膜突刺的目标定位结果确定所述眼前节光学相干断层扫描图像所属的类别。
8.根据权利要求7所述的方法,其特征在于,所述将眼前节光学相干断层扫描图像输入分类模型,得到所述眼前节光学相干断层扫描图像中的前房角的类别,包括:
将眼前节光学相干断层扫描图像输入分类模型,通过所述分类模型的特征提取层对所述眼前节光学相干断层扫描图像进行特征提取;
通过预设步长的卷积层对提取的特征进行下采样处理,得到第一特征图;
通过平均池化层对所述提取的特征进行平均池化处理,得到第二特征图;
根据所述第一特征图和所述第二特征图得到所述眼前节光学相干断层扫描图像中的前房角的类别。
9.根据权利要求8所述的方法,其特征在于,所述通过预设步长的卷积层对提取的特征进行下采样处理,得到第一特征图,包括:
对提取的特征进行第一预设步长的卷积处理;
对经过卷积处理后得到的特征图进行第二预设步长的卷积处理,得到第一特征图,所述第一预设步长小于所述第二预设步长。
10.根据权利要求9所述的方法,其特征在于,所述通过平均池化层对所述提取的特征进行平均池化处理,得到第二特征图,包括:
对所述提取的特征进行第二预设步长的平均池化处理,并对所述平均池化处理后的特征图进行第一预设步长的卷积处理,得到第二特征图。
11.根据权利要求7所述的方法,其特征在于,所述方法还包括:
获取训练样本和所述训练样本对应的标签,所述训练样本为眼前节光学相干断层扫描图像样本;
通过待训练的分类模型对所述训练样本进行预测,得到所述训练样本的预测类别;
根据所述训练样本的预测类别和对应的标签构建第一损失函数;
根据所述训练样本中的真阳性样本的数量、假阳性样本的数量和假阴性样本的数量构建第二损失函数;
根据所述第一损失函数和所述第二损失函数构建目标损失函数;
根据所述目标损失函数训练所述待训练的分类模型,直至满足训练停止条件时结束训练。
12.一种图像识别方法,包括:
获取眼前节光学相干断层扫描图像,将所述眼前节光学相干断层扫描图像输入定位模型;
通过所述定位模型输出已标记巩膜突刺的眼前节光学相干断层扫描图像;
其中,所述定位模型的第一检测层对所述眼前节光学相干断层扫描图像进行特征提取,得到所述眼前节光学相干断层扫描图像中的巩膜突刺的初步定位结果;所述定位模型的第二检测层对所述初步定位结果进行检测,得到所述巩膜突刺的目标定位结果;根据所述目标定位结果在所述眼前节光学相干断层扫描图像中标记所述巩膜突刺。
13.一种图像识别装置,其特征在于,所述装置包括:
获取模块,用于获取眼前节光学相干断层扫描图像,将所述眼前节光学相干断层扫描图像输入定位模型;
特征提取模块,用于通过所述定位模型的第一检测层对所述眼前节光学相干断层扫描图像进行特征提取,得到所述眼前节光学相干断层扫描图像中的巩膜突刺的初步定位结果;
定位模块,用于将所述初步定位结果输入所述定位模型的第二检测层,得到所述眼前节光学相干断层扫描图像中的巩膜突刺的目标定位结果。
14.一种图像识别装置,其特征在于,所述装置包括:
获取模块,用于获取眼前节光学相干断层扫描图像,将所述眼前节光学相干断层扫描图像输入定位模型;
输出模块,用于通过所述定位模型输出已标记巩膜突刺的眼前节光学相干断层扫描图像;
其中,所述定位模型的第一检测层对所述眼前节光学相干断层扫描图像进行特征提取,得到所述眼前节光学相干断层扫描图像中的巩膜突刺的初步定位结果;所述定位模型的第二检测层对所述初步定位结果进行检测,得到所述巩膜突刺的目标定位结果;根据所述目标定位结果在所述眼前节光学相干断层扫描图像中标记所述巩膜突刺。
15.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至12中任一项所述方法的步骤。
CN202010107316.6A 2020-02-21 2020-02-21 图像识别方法、装置、计算机可读存储介质和计算机设备 Pending CN111340087A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010107316.6A CN111340087A (zh) 2020-02-21 2020-02-21 图像识别方法、装置、计算机可读存储介质和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010107316.6A CN111340087A (zh) 2020-02-21 2020-02-21 图像识别方法、装置、计算机可读存储介质和计算机设备

Publications (1)

Publication Number Publication Date
CN111340087A true CN111340087A (zh) 2020-06-26

Family

ID=71181650

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010107316.6A Pending CN111340087A (zh) 2020-02-21 2020-02-21 图像识别方法、装置、计算机可读存储介质和计算机设备

Country Status (1)

Country Link
CN (1) CN111340087A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111862020A (zh) * 2020-07-13 2020-10-30 南方科技大学 一种眼前节生理年龄预测方法、装置、服务器及存储介质
CN112101438A (zh) * 2020-09-08 2020-12-18 南方科技大学 一种左右眼分类方法、装置、服务器和存储介质
CN112712531A (zh) * 2020-12-29 2021-04-27 中国科学院宁波材料技术与工程研究所慈溪生物医学工程研究所 一种基于卷积循环神经网络的as-oct图像的房角分类方法
CN114038051A (zh) * 2021-11-17 2022-02-11 首都医科大学附属北京同仁医院 一种原发性闭角型青光眼的房角关闭机制分型方法
TWI817116B (zh) * 2021-05-12 2023-10-01 和碩聯合科技股份有限公司 物件定位方法及物件定位系統
CN117079339A (zh) * 2023-08-17 2023-11-17 北京万里红科技有限公司 动物虹膜识别方法、预测模型训练方法、电子设备及介质
CN117079339B (zh) * 2023-08-17 2024-07-05 北京万里红科技有限公司 动物虹膜识别方法、预测模型训练方法、电子设备及介质

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111862020A (zh) * 2020-07-13 2020-10-30 南方科技大学 一种眼前节生理年龄预测方法、装置、服务器及存储介质
CN111862020B (zh) * 2020-07-13 2024-04-05 南方科技大学 一种眼前节生理年龄预测方法、装置、服务器及存储介质
CN112101438A (zh) * 2020-09-08 2020-12-18 南方科技大学 一种左右眼分类方法、装置、服务器和存储介质
CN112101438B (zh) * 2020-09-08 2024-04-16 南方科技大学 一种左右眼分类方法、装置、服务器和存储介质
CN112712531A (zh) * 2020-12-29 2021-04-27 中国科学院宁波材料技术与工程研究所慈溪生物医学工程研究所 一种基于卷积循环神经网络的as-oct图像的房角分类方法
CN112712531B (zh) * 2020-12-29 2022-05-31 中国科学院宁波材料技术与工程研究所慈溪生物医学工程研究所 一种基于卷积循环神经网络的as-oct图像的房角分类方法
TWI817116B (zh) * 2021-05-12 2023-10-01 和碩聯合科技股份有限公司 物件定位方法及物件定位系統
CN114038051A (zh) * 2021-11-17 2022-02-11 首都医科大学附属北京同仁医院 一种原发性闭角型青光眼的房角关闭机制分型方法
CN114038051B (zh) * 2021-11-17 2023-09-08 首都医科大学附属北京同仁医院 一种原发性闭角型青光眼的房角关闭机制分型方法
CN117079339A (zh) * 2023-08-17 2023-11-17 北京万里红科技有限公司 动物虹膜识别方法、预测模型训练方法、电子设备及介质
CN117079339B (zh) * 2023-08-17 2024-07-05 北京万里红科技有限公司 动物虹膜识别方法、预测模型训练方法、电子设备及介质

Similar Documents

Publication Publication Date Title
CN111340087A (zh) 图像识别方法、装置、计算机可读存储介质和计算机设备
US11989877B2 (en) Method and system for analysing images of a retina
US20200356805A1 (en) Image recognition method, storage medium and computer device
EP3373798B1 (en) Method and system for classifying optic nerve head
JP2021531098A (ja) Aiを利用した眼の状態判定のためのシステムおよび方法
CN117058676B (zh) 一种基于眼底检查影像的血管分割方法、装置和系统
CN111028218A (zh) 眼底图像质量判定模型训练方法、装置和计算机设备
Sakthivel et al. An automated detection of glaucoma using histogram features
CN116563647B (zh) 年龄相关性黄斑病变图像分类方法及装置
CN117788407A (zh) 基于人工神经网络的青光眼图像特征提取的训练方法
WO2019073962A1 (ja) 画像処理装置及びプログラム
CN115578783A (zh) 基于眼部图像进行眼部疾病识别的装置、方法及相关产品
Agustin et al. Implementation of data augmentation to improve performance CNN method for detecting diabetic retinopathy
Sengupta et al. Ophthalmic diagnosis and deep learning–a survey
CN113243914A (zh) 基于脑影像的评估方法及神经精神疾病评估系统
Ferreira et al. Multilevel cnn for angle closure glaucoma detection using as-oct images
CN110992364A (zh) 视网膜图像识别方法、装置、计算机设备和存储介质
CN112991289B (zh) 图像标准切面的处理方法及装置
US20240087133A1 (en) Method of refining tissue specimen image, and computing system performing same
Li et al. A deep-learning-enabled monitoring system for ocular redness assessment
CN115170492A (zh) 一种基于ai技术的白内障患者术后视力智能预测评估系统
Sabina et al. Convolutional Neural Network Analysis of Fundus for Glaucoma Diagnosis
Azeroual et al. Convolutional Neural Network for Segmentation and Classification of Glaucoma.
CN118052819B (zh) 一种预测甲状腺相关眼病的方法、装置及系统
US20240020830A1 (en) System and methods of predicting parkinson's disease based on retinal images using machine learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40024365

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination