CN110310254B - 一种基于深度学习的房角图像自动分级方法 - Google Patents

一种基于深度学习的房角图像自动分级方法 Download PDF

Info

Publication number
CN110310254B
CN110310254B CN201910414819.5A CN201910414819A CN110310254B CN 110310254 B CN110310254 B CN 110310254B CN 201910414819 A CN201910414819 A CN 201910414819A CN 110310254 B CN110310254 B CN 110310254B
Authority
CN
China
Prior art keywords
corner image
corner
deep learning
room
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910414819.5A
Other languages
English (en)
Other versions
CN110310254A (zh
Inventor
贾西平
陈昌海
陈森鹏
关立南
高维奇
刘少鹏
林智勇
马震远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Polytechnic Normal University
Original Assignee
Guangdong Polytechnic Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Polytechnic Normal University filed Critical Guangdong Polytechnic Normal University
Priority to CN201910414819.5A priority Critical patent/CN110310254B/zh
Publication of CN110310254A publication Critical patent/CN110310254A/zh
Application granted granted Critical
Publication of CN110310254B publication Critical patent/CN110310254B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度学习的房角图像自动分级方法，步骤包括：对原始房角图像数据集进行标记预处理；利用预处理后的房角图像数据集对目标检测模型进行训练；检测得到包含房角图像关键区域子图；将关键区域子图及对应的预设的房角级别信息输入至深度学习分类网络进行监督训练，所述深度学习神经网络根据训练结果与预设房角级别信息之间的误差进行修正，最终得到满足分级准确率的深度学习神经网络模型并输出房角图像所属级别。本发明通过对房角图像关键区域检测并截取，减少了检测时干扰因素，同时克服了因原始房角图像大关键区域占比小导致的分类效果不佳的缺陷，同时利用深度学习网络对关键区域的特征进行监督训练提高房角图像分级的准确率。

Description

一种基于深度学习的房角图像自动分级方法
技术领域
本发明涉及医学影像图像处理领域，更具体地，涉及一种基于深度学习的房角图像自动分级方法。
背景技术
前房角镜检查是青光眼临床工作中的一项重要检查，临床上主要根据前房角的状态来区分不同类型的青光眼，进而选择不同的治疗方案。前房角检查是通过房角镜检查观察房角的状态，主要是观察房角的：Schwalbe线，小梁，巩膜突，睫状体带四个部位，依据能够观察到的部位数确定房角开闭程度的等级。房角一般分宽角与窄角，窄角进一步分为窄1，窄2，窄3和窄4四种类型如表1所示。
表1
分级 房角结构
宽(w) 全部结构可见
窄1(n1) 可见部分睫状体带，未见虹膜根部
窄2(n2) 未见睫状体带，仅见巩膜突
窄3(n3) 未见后部小梁网
目前青光眼研究与人工智能结合的应用较多的是在自动测算杯盘比进而预测青光眼方面。利用深度学习技术分析和处理数字图像，以检测与分割出眼底影像的视盘和视杯并计算杯盘比，其结果作为辅助意见供诊断医师参考。可取的有利用CNN、U-Net等深度学习网络模型，通过在大量数据集上进行人工标记特征，然后将数据集和标记输入网络，网络根据数据集进行预测再根据人工标记对结果的误差进行反馈，不断训练致学习到了数据集的特征，以此可以用于检测与分割视杯视盘并测算杯盘比。
而在房角的分级领域，暂无结合人工智能的相关研究及相关的自动化系统先例。
发明内容
本发明为克服现有技术中因原始房角图像大关键区域占比小、干扰因素多导致分级效果不理想的缺陷，提供一种基于深度学习的房角图像自动分级方法。
本发明的首要目的是为解决上述技术问题，本发明的技术方案如下：
一种基于深度学习的房角图像自动分级方法，所述方法包括以下步骤：
S1：对原始的房角图像数据集中的房角图像进行标记预处理得到含有标签信息的房角图像数据集；
S2:调整目标检测模型的检测类别数量，将预处理后的房角图像数据集输入调整后的目标检测模型中进行模型训练；
S3:利用训练完毕的目标检测模型对预处理后的房角图像数据集进行检测得到包含房角图像关键区域子图；
S4:将房角图像的关键区域子图及对应的预设的房角级别信息输入至深度学习神经网络进行监督训练，所述深度学习神经网络根据训练结果与预设房角级别信息之间的误差进行修正，最终得到满足分级准确率的深度学习神经网络模型并输出房角图像所属级别。
本发明通过对原始的房角图像数据集进行预处理得到含有标签信息的房角图像数据集，进而对调整后的目标检测模型进行训练，利用训练完毕的目标检测模型得到包含房角图像关键区域子图，最后将房角图像的关键区域子图及对应的预设的房角级别信息输入至深度学习神经网络进行监督训练不断的修正最终得到满足分级准确率的深度学习神经网络模型并输出房角图像所属级别。
进一步地，所述房角图像预处理具体过程如下：
S1.1:以房角图像左上顶点为坐标原点，设水平向右为X轴正方向，竖直向下为Y轴正方向；
S1.2:通过标记工具分别得到包含关键区域的矩形框的中心点的横坐标centerX，中心点的纵坐标centerY，所述矩形框的宽度width，所述矩形框的高度height；
S1.3:分别计算矩形框的中心的横坐标centerX、矩形框的宽度width与房角图像宽度的比值，记为：Rx，Rw；分别计算矩形框的中心的纵坐标centerY、矩形框的高度height与房角图像高度的比值，记为：Ry，Rh；
S1.4:将步骤S1.3得到的Rx、Rw、Ry、Rh及预设的房角级别信息c共同构成一个房角图像的标签信息。
通过预处理之后得到包含有相对位置信息和预设的房角级别信息c的标签信息，所述的相对位置信息有利于关键区域的定位。
进一步地，步骤S2所述目标检测模型为YOLO-v3目标检测模型。
进一步地，步骤S2调整目标检测模型的检测类别数量为1。将检测类别数量调整为1，即仅保留了所述目标检测模型的识别和检测目标的功能，一方面克服了YOLO-v3目标检测模型房角图像分类效果不理想的缺陷，同时节省了参数存储空间。
进一步地，步骤S3得到房角图像关键区域子图的具体过程为：利用训练完毕的目标检测模型对预处理后的房角图像数据集进行检测首先得到包含房角图像关键区的矩形框的位置信息，根据所述的位置信息在房角图像中截取出关键区域子图。
进一步地，步骤S4所述的深度学习神经网络为ResNet34网络。
与现有技术相比，本发明技术方案的有益效果是：
本发明通过对房角图像进行关键区域检测并截取，减少了检测时的非房角区域干扰因素，同时克服了因原始房角图像大关键区域占比小导致的分类效果不佳的缺陷，同时利用深度学习网络对关键区域的特征进行监督训练从而提高房角图像分级的准确率。
附图说明
图1为本发明方法流程图。
图2为本发明预处理流程图。
图3为本发明技术路线图。
图4为关键区域检测过程示意图。
图5为YOLO-v3模型参数表为。
图6为调整后的YOLO-v3模型。
图7为ResNet34分类网络参数表。
图8为ResNet34分类原理示意图。
具体实施方式
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
如图1示出了本发明的发明流程图，图3为本发明技术路线图，一种基于深度学习的房角图像自动分级方法，所述方法包括以下步骤：
S1：对原始的房角图像数据集中的房角图像进行标记预处理得到含有标签信息的房角图像数据集；需要说明的是本实施例使用LabelMe标记工具进行标记预处理。
如图2所示，所述房角图像预处理具体过程如下：
S1.1:以房角图像左上顶点为坐标原点，设水平向右为X轴正方向，竖直向下为Y轴正方向；
S1.2:通过标记工具分别得到包含关键区域的矩形框的中心点的横坐标centerX，中心点纵坐标centerY，所述矩形框的宽度width，所述矩形框的高度height；
S1.3:分别计算矩形框的中心的横坐标centerX、矩形框的宽度width与房角图像宽度的比值，记为：Rx，Rw；分别计算矩形框的中心的纵坐标centerY、矩形框的高度height与房角图像高度的比值，记为：Ry，Rh；
S1.4:将步骤S1.3得到的Rx、Rw、Ry、Rh及预设的房角级别信息c共同构成一个房角图像的标签信息。
需要说明的是，通过预处理之后得到包含有相对位置信息和预设的房角级别信息c的标签信息，所述的相对位置信息有利于关键区域的定位。如图4是关键区域检测过程示意图。
S2:预调整YOLO-v3目标检测模型检测类别数量为1，将预处理后的房角图像数据集输入调整后的目标检测模型中进行模型训练；如图5所示为YOLO-v3模型参数表。图6所示为调整后的的YOLO-v3模型。
需要说明的是，将检测类别数量为1，即仅保留了所述目标检测模型的识别和检测目标的功能，一方面克服了YOLO-v3目标检测模型房角图像分类效果不理想的缺陷，同时节省了参数存储空间。
S3:利用训练完毕的目标检测模型对预处理后的房角图像数据集进行检测得到首先得到包含房角图像关键区的矩形框的位置信息，根据所述的位置信息在房角图像中截取出关键区域子图。
S4:将房角图像的关键区域子图及对应的预设的房角级别信息输入至ResNet34深度学习神经网络进行监督训练，所述深度学习神经网络根据训练结果与预设房角级别信息之间的误差进行修正，最终得到满足分级准确率的ResNet34学习分类网络模型并输出房角图像所属级别。如图7所示为ResNet34分类网络参数表，如图8所示为ResNet34分类原理示意图。
需要说明的是，由于房角图像整体较大(3264*2448，单位：像素)，而关键区域是一条狭长且在原图占比较小的区域，同时原图上还有其他眼科部位的干扰，使得直接将原图放至普通分类器诸如VGG16上时不能很好的提取关键区域的特征，对其进行5分类时在测试集上的分类准确率在20％上下，接近于随机选择。
通过本发明方法对房角图像关键区域进行分类，进行5分类时在测试集上可以达到40％左右的分类准确率，提升接近20％。最终用ResNet34网络进行分类，5分类测试集上的分类准确率可达到47％。
本发明通过对原始的房角图像数据集进行预处理得到含有标签信息的房角图像数据集，进而对调整后的目标检测模型进行训练，利用训练完毕的目标检测模型得到包含房角图像关键区域子图，最后将房角图像的关键区域子图及对应的预设的房角级别信息输入至深度学习神经网络进行监督训练不断的修正最终得到满足分级准确率的深度学习神经网络模型并输出房角图像所属级别。
相同或相似的标号对应相同或相似的部件；
附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (3)

1.一种基于深度学习的房角图像自动分级方法，其特征在于，所述方法包括以下步骤：
S1：对原始的房角图像数据集中的房角图像进行标记预处理得到含有标签信息的房角图像数据集；
房角图像预处理具体过程如下：
S1.1:以房角图像左上顶点为坐标原点，设水平向右为X轴正方向，竖直向下为Y轴正方向；
S1.2:通过标记工具分别得到包含关键区域的矩形框的中心点的横坐标centerX，中心点纵的坐标centerY，所述矩形框的宽度width，所述矩形框的高度height；
S1.3:分别计算矩形框的中心的横坐标centerX、矩形框的宽度width与房角图像宽度的比值，记为：Rx，Rw；分别计算矩形框的中心的纵坐标centerY、矩形框的高度height与房角图像高度的比值，记为：Ry，Rh；
S1.4:将步骤S1.3得到的Rx、Rw、Ry、Rh及预设的房角级别信息c共同构成一个房角图像的标签信息；
S2:调整目标检测模型的检测类别数量，将预处理后的房角图像数据集输入调整后的目标检测模型中进行模型训练；
S3:利用训练完毕的目标检测模型对预处理后的房角图像数据集进行检测得到包含房角图像关键区域子图；具体过程为：利用训练完毕的目标检测模型对预处理后的房角图像数据集进行检测首先得到包含房角图像关键区的矩形框的位置信息，根据所述的位置信息在房角图像中截取出关键区域子图；
S4:将房角图像的关键区域子图及对应的预设的房角级别信息输入至深度学习神经网络进行监督训练，所述深度学习神经网络根据训练结果与预设房角级别信息之间的误差进行修正，最终得到满足分级准确率的深度学习神经网络模型并输出房角图像所属级别；深度学习神经网络为ResNet34网络。
2.根据权利要求1所述的一种基于深度学习的房角图像自动分级方法，其特征在于，步骤S2所述目标检测模型为YOLO-v3目标检测模型。
3.根据权利要求1所述的一种基于深度学习的房角图像自动分级方法，其特征在于，步骤S2调整目标检测模型的检测类别数量为1。
CN201910414819.5A 2019-05-17 2019-05-17 一种基于深度学习的房角图像自动分级方法 Active CN110310254B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910414819.5A CN110310254B (zh) 2019-05-17 2019-05-17 一种基于深度学习的房角图像自动分级方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910414819.5A CN110310254B (zh) 2019-05-17 2019-05-17 一种基于深度学习的房角图像自动分级方法

Publications (2)

Publication Number Publication Date
CN110310254A CN110310254A (zh) 2019-10-08
CN110310254B true CN110310254B (zh) 2022-11-29

Family

ID=68074767

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910414819.5A Active CN110310254B (zh) 2019-05-17 2019-05-17 一种基于深度学习的房角图像自动分级方法

Country Status (1)

Country Link
CN (1) CN110310254B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114038051B (zh) * 2021-11-17 2023-09-08 首都医科大学附属北京同仁医院 一种原发性闭角型青光眼的房角关闭机制分型方法
WO2023087183A1 (zh) * 2021-11-17 2023-05-25 首都医科大学附属北京同仁医院 一种原发性闭角型青光眼的房角关闭机制分型方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5989189A (en) * 1997-10-24 1999-11-23 Mentor Corporation Ophthalmic ultrasound imaging

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60236137D1 (de) * 2002-02-22 2010-06-10 Agfa Healthcare Nv Gradationsverarbeitungsmethode
WO2011108995A1 (en) * 2010-03-04 2011-09-09 Agency For Science, Technology And Research Automatic analysis of images of the anterior chamber of an eye
US8687866B2 (en) * 2011-03-04 2014-04-01 Nanyang Technological University Methods and systems for processing images of the anterior chamber angle of an eye
CN103971348A (zh) * 2014-04-08 2014-08-06 杭州电子科技大学 基于Schwalbe线的眼前房角参数自动测量方法
WO2015166550A1 (ja) * 2014-04-30 2015-11-05 株式会社クリュートメディカルシステムズ 眼科用観察システム
CN104050664A (zh) * 2014-06-09 2014-09-17 杭州电子科技大学 基于oct影像的眼前房角开放程度多特征分类方法
JP6758826B2 (ja) * 2015-12-03 2020-09-23 キヤノン株式会社 画像処理装置及び画像処理方法
CN106530200B (zh) * 2016-10-23 2020-01-07 深圳大学 一种基于深度学习模型的隐写图像检测方法及系统
US10963737B2 (en) * 2017-08-01 2021-03-30 Retina-Al Health, Inc. Systems and methods using weighted-ensemble supervised-learning for automatic detection of ophthalmic disease from images
US10803546B2 (en) * 2017-11-03 2020-10-13 Baidu Usa Llc Systems and methods for unsupervised learning of geometry from images using depth-normal consistency
CN108846828A (zh) * 2018-05-04 2018-11-20 上海交通大学 一种基于深度学习的病理图像目标区域定位方法及系统
CN109118473B (zh) * 2018-07-03 2022-04-12 深圳大学 基于神经网络的角点检测方法、存储介质与图像处理系统
CN109086708A (zh) * 2018-07-25 2018-12-25 深圳大学 一种基于深度学习的停车位检测方法及系统
CN109741351A (zh) * 2018-12-12 2019-05-10 中国科学院深圳先进技术研究院 一种基于深度学习的类别敏感型边缘检测方法
CN109635875A (zh) * 2018-12-19 2019-04-16 浙江大学滨海产业技术研究院 一种基于深度学习的端到端网口检测方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5989189A (en) * 1997-10-24 1999-11-23 Mentor Corporation Ophthalmic ultrasound imaging

Also Published As

Publication number Publication date
CN110310254A (zh) 2019-10-08

Similar Documents

Publication Publication Date Title
US11961227B2 (en) Method and device for detecting and locating lesion in medical image, equipment and storage medium
US10692216B2 (en) Colony contrast gathering
AU2020103938A4 (en) A classification method of diabetic retinopathy grade based on deep learning
WO2022012110A1 (zh) 胚胎光镜图像中细胞的识别方法及系统、设备及存储介质
CN110310254B (zh) 一种基于深度学习的房角图像自动分级方法
CN106875373A (zh) 基于卷积神经网络剪枝算法的手机屏幕mura缺陷检测方法
CN113221889B (zh) 一种芯片字符抗干扰识别方法及装置
CN106919933A (zh) 瞳孔定位的方法及装置
CN105224285A (zh) 眼睛开闭状态检测装置和方法
CN109697719A (zh) 一种图像质量评估方法、装置及计算机可读存储介质
CN111325738B (zh) 一种用于横穿孔周边裂纹的智能检测方法及系统
CN110009617A (zh) 一种轴类件在线质量检测方法
CN110766656B (zh) 筛查眼底黄斑区异常的方法、装置、设备和存储介质
CN116993744B (zh) 一种基于阈值分割的焊缝缺陷检测方法
CN109146866A (zh) 机器人对焊缝处理的方法及装置
CN109685030A (zh) 一种基于卷积神经网络的马克杯杯口缺陷检测分类方法
JP2016049055A (ja) 微生物検査装置の検証方法、微生物検査装置における検証装置及びプログラム
CN111507932A (zh) 高特异性的糖尿病性视网膜病变特征检测方法及存储设备
CN108416304B (zh) 一种利用上下文信息的三分类人脸检测方法
CN113205511B (zh) 基于深层神经网络的电子元器件批量信息检测方法及系统
CN112461846B (zh) 工件缺陷检测方法及装置
CN106446805A (zh) 一种眼底照中视杯的分割方法及系统
CN108705689B (zh) 大口径精密光学晶体表面微缺陷修复用自动对刀工艺方法
JP2022514427A (ja) バクテリアコロニーのバクテリア増殖を監視しコロニーバイオマスを予測するシステム及び方法
CN112581472B (zh) 一种面向人机交互的目标表面缺陷检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant