CN112890764B - 无人化低成本便携式眼底疾病检测系统 - Google Patents
无人化低成本便携式眼底疾病检测系统 Download PDFInfo
- Publication number
- CN112890764B CN112890764B CN202110061402.2A CN202110061402A CN112890764B CN 112890764 B CN112890764 B CN 112890764B CN 202110061402 A CN202110061402 A CN 202110061402A CN 112890764 B CN112890764 B CN 112890764B
- Authority
- CN
- China
- Prior art keywords
- cup
- image
- optic disc
- fundus
- clear
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 39
- 201000010099 disease Diseases 0.000 title claims abstract description 28
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims abstract description 28
- 238000000034 method Methods 0.000 claims abstract description 22
- 238000012216 screening Methods 0.000 claims abstract description 16
- 238000010191 image analysis Methods 0.000 claims abstract description 11
- 230000006837 decompression Effects 0.000 claims abstract description 4
- 230000011218 segmentation Effects 0.000 claims description 25
- 238000004458 analytical method Methods 0.000 claims description 18
- 230000005540 biological transmission Effects 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 14
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 230000003203 everyday effect Effects 0.000 claims description 5
- QVFWZNCVPCJQOP-UHFFFAOYSA-N chloralodol Chemical compound CC(O)(C)CC(C)OC(O)C(Cl)(Cl)Cl QVFWZNCVPCJQOP-UHFFFAOYSA-N 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 abstract description 10
- 238000003745 diagnosis Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 6
- 210000003733 optic disk Anatomy 0.000 description 6
- 208000010412 Glaucoma Diseases 0.000 description 4
- 235000002911 Salvia sclarea Nutrition 0.000 description 3
- 244000182022 Salvia sclarea Species 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 210000004204 blood vessel Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 210000003161 choroid Anatomy 0.000 description 2
- 238000004195 computer-aided diagnosis Methods 0.000 description 2
- 208000030533 eye disease Diseases 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 206010025421 Macule Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000009885 systemic effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioethics (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Artificial Intelligence (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Ophthalmology & Optometry (AREA)
- Computer Hardware Design (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Computer Security & Cryptography (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本发明公开了一种无人化低成本便携式眼底疾病检测方法，包括：利用检测镜对眼底进行成像和解析，得到清晰眼底图像，并将其传输至移动设备；当移动设备接收到清晰眼底图像，则新建一个病例，并对清晰眼底图像压缩加密上传至服务器；当服务器接收到后进行反操作解压解密，再输入至图像处理模块中进行图像分析，得到筛查报告，并将筛查报告反馈给移动设备。该方法可以完全摆脱医院及医生的环境，无需医院设备以及医生的参与，检测者独立使用，使用便捷，节约了人力成本。
Description
技术领域
本发明涉及物联网人工智能、医学图像处理技术领域，特别涉及一种无人化低成本便携式眼底疾病检测方法。
背景技术
眼底指的是视网膜、视神经乳头及脉络膜。眼底检查可以看到视网膜的血管、黄斑部的颜色、以及视神经乳头的边界、颜色、乳头凹陷的情形，有时可以看到脉络膜的大小血管。眼底检查不仅能够发现眼科疾病，而且有助于医生了解全身疾病。在进行眼底疾病的诊断时，医生首利用眼底成像机器对检查者的眼底进行拍照，然后结合临床信息及眼底图像信息进行眼底疾病的诊断，整个诊断过程存在较大的主观性，并且眼底成像机器成本昂贵。为了解决医生诊断过程的主观性，并且帮助医生提高工作效率和工作准确率，相关技术一利用计算机辅助诊断技术帮助医生进行眼底疾病的诊断，将类别标签预测和属性预测整合进增量学习网络，提高眼底图像诊断的性能。相关技术二首先基于CNN定位眼底图像的视杯视盘区域，切图减小图片分辨率，然后在少量有标记的眼底图像以及大量未标记眼底图像上通过GAN进行半监督学习，在生成器中利用空间维度转换合成眼底图像，在辨别器中区分图像是正常图像，青光眼图像还是合成图像，实现对青光眼的图像的合成及诊断。相关技术三首先对眼底图像进行归一化和白噪化预处理，然后按窗口扫描图像，提取特征，经过弱分类器区分是否为视盘区域，并将多个弱分类器集成形成级联分类器，最终得到视盘区域的候选区，在视盘候选区域中利用CNN分类得到视盘区域，再利用CNN进行青光眼的诊断。上述方法利用计算机辅助诊断技术减少了医生诊断的主观性，但是仍然需要医生利用眼底成像机进行眼底图像的获取，所需的人力物力成本较大，相关技术四提出了一种想法，利用一个低成本便捷的头戴式设备获取超声图像，利用mini照相机，成像镜，水平轴(固定成像镜)，组成眼底成像设备，通过WIFI信号将眼底图像发送到手机中，利用软件对图像进行分析，从而实现眼底疾病的诊断。但是成像镜进行眼底成像时焦距的调节是眼底检测者通过设备语音帮助或者医生远程指导实现的，并且将所有的图像都传递到手机端以及服务器端进行分析，这无疑也加大了医生和检测者的负担，增加了人力成本。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种无人化低成本便携式眼底疾病检测方法，该方法无人化、低成本、便捷性且隐私性高。
为达到上述目的，本发明实施例提出了无人化低成本便携式眼底疾病检测方法，包括以下步骤：步骤S1，利用检测镜对眼底进行成像和解析，得到清晰眼底图像，并将其传输至移动设备；步骤S2，当所述移动设备接收到所述清晰眼底图像后，每天新建一个病例，并对所述清晰眼底图像压缩加密上传至服务器；步骤S3，当所述服务器接收到后进行反操作解压解密，再输入至图像处理模块中进行图像分析，得到筛查报告，并将所述筛查报告反馈给所述移动设备。
本发明实施例的无人化低成本便携式眼底疾病检测方法，可以完全摆脱医院及医生的环境，不需要医院设备以及医生的参与，检测者独立使用，使用便捷，节约了人力成本。同时，在检测过程中利用检测镜中的解析芯片选择关键帧，并利用判断模块排除质量不清晰的图像，节约了传输成本，在图像分析阶段，利用远程服务器进行图像分析，而无需在资源有限的手机上实现复杂计算，从手机上传图像到服务器的过程中对图像进行了加密和压缩操作，加密过程保证了检测者的隐私，压缩后的图像大小为原来的20％，节约了传输成本，并且压缩加密前后的图像对于眼底疾病检测的影响不到1％，因此在降低图像传输成本以及保护检测者隐私的同时，也保证了图像检测的准确率。
另外，根据本发明上述实施例的无人化低成本便携式眼底疾病检测方法还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述检测镜包括眼底镜、解析芯片和无线传输设备，其中，所述眼底镜用于从远到近拍摄眼底视频；所述解析芯片用于对所述眼底视频进行解析，得到清晰眼底图像；所述无线传输设备用于将所述清晰眼底图像输入至所述移动设备。
进一步地，在本发明的一个实施例中，所述解析芯片具体解析过程为：利用卷积神经网络提取所述眼底视频中每帧的特征，并将所述特征差值输入到多层感知机中得到帧间差异值；若所述帧间差异值大于0.3，则作为关键帧；利用神经网络ResNet50判断所述关键帧是否清晰，若清晰，则所述关键帧为清晰眼底图像，将其传输至所述移动设备，若所述关键帧不清晰，则忽略。
进一步地，在本发明的一个实施例中，所述无线传输设备为蓝牙、WiFi、NFC、Lora或Zigbee。
进一步地，在本发明的一个实施例中，所述步骤S2中利用稀疏转换方法压缩所述清晰眼底图像，通过行列加密算法对压缩后的清晰眼底图像行列像素点置乱加密。
进一步地，在本发明的一个实施例中，所述步骤S3中所述图像处理模块的图像分析过程为：步骤S301，利用100*100窗口扫描解压解密后的清晰眼底图像，获得最亮区域；步骤S302，将所述最亮区域中心作为中心，截取512*512大小的感兴趣区域；通道尺度注意力将所述感兴趣区域输入到通道尺度注意力和边界约束的解剖学双分支网络中提取视杯视盘区域；步骤S304，将所述视杯视盘区域输入到Inception V3网络中进行分类，得到所述筛查报告。
进一步地，在本发明的一个实施例中，所述步骤S303进一步包括：利用所述通道尺度注意力提取视盘区域的重要尺度下的重要特征，得到视盘的分割结果，其中，所述视盘的分割结果为视盘和背景的区分结果；利用边界约束提取视杯区域的边缘细节特征，得到视杯的分割结果，其中，所述视杯的分割结果为视杯和背景的区分结果；利用解剖学信息融合单分支杯视盘的分割结果，得到视杯视盘的整体分割结果，其中，所述视杯视盘的整体分割结果为视杯、视盘和背景的区分结果；将所述视杯视盘的整体分割结果进行反向传播，指导视杯分割和视盘分割，得到所述视杯视盘区域。
进一步地，在本发明的一个实施例中，所述移动设备为移动手机、笔记本或平板电脑。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明一个实施例的无人化低成本便携式眼底疾病检测方法流程图；
图2是本发明一个实施例的无人化低成本便携式眼底疾病检测方法的具体流程图；
图3是本发明一个实施例的视盘视杯分割网络示意图。
具体实施方式
下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的无人化低成本便携式眼底疾病检测方法。
图1是本发明一个实施例的无人化低成本便携式眼底疾病检测方法流程图。
如图1所示，该无人化低成本便携式眼底疾病检测方法包括以下步骤：
在步骤S1中，利用检测镜对眼底进行成像和解析，得到清晰眼底图像，并将其传输至移动设备。
进一步地，检测镜包括眼底镜、解析芯片和无线传输设备，其中，眼底镜用于从远到近拍摄眼底视频；解析芯片用于对眼底视频进行解析，得到清晰眼底图像；无线传输设备用于将清晰眼底图像输入至移动设备，可以为蓝牙、WiFi、NFC、Lora或Zigbee等任一种。
具体地，如图2所示，检测者佩戴上检测镜，由眼底镜从远到近拍摄一段眼底视频，并输入到解析芯片中进行解析，解析芯片首先分析眼底视频的帧间差异，具体方法为利用卷积神经网络提取每帧的特征，并将特征差值输入到多层感知机中得到帧间差异值；如果帧间差异值大于0.3，则被选择为关键帧。再利用神经网络ResNet50判别选出的关键帧是否清晰，即得到图像质量的检测结果，分为清晰和不清晰两个等级，如果图像质量为不清晰，则忽略该图像，不做任何处理，不储存也不传输，如果清晰，则关键帧为清晰眼底图像，将其传输至移动设备。需要说明的是，提取视频中的关键帧部分，相比较每隔固定的时间捕获眼底图像的方式，视频的方式更加全面的捕获眼底信息。
其中，神经网络ResNet50包括卷积层，ReLU激活函数，BN操作，以及maxpooling，通过全连接层进行二分类，判别出关键帧是否清晰。
在步骤S2中，当移动设备接收到清晰眼底图像后，每天新建一个病例，并对清晰眼底图像压缩加密上传至服务器。
具体地，当移动设备接收到清晰眼底图像后，每天新建一个病例，并将清晰眼底图像通过稀疏转换的方法压缩图像，减少图像尺寸，通过行列加密算法对清晰眼底图像的行列像素点置乱加密上传至服务器，降低传输成本，提高图像的保密性。
在步骤S3中，当服务器接收到后进行反操作解压解密，再输入至图像处理模块中进行图像分析，得到筛查报告，并将筛查报告反馈给移动设备。
具体地，服务接收到数据后，利用反操作对数据进行解压解密，并将解压解密后的图像输入到图像处理模块中分析图像，具体地，首先利用100*100窗口扫描解压解密后的清晰眼底图像，获得最亮区域；将最亮区域中心作为中心，截取512*512大小的感兴趣区域；如图3所示，将感兴趣区域输入到通道尺度注意力和边界约束的解剖学双分支网络中提取视杯视盘区域；将视杯视盘区域输入到Inception V3网络中进行分类，得到筛查报告。最终将筛查报告返回移动设备，检测者可以下载报告查看分析结果。
其中，本发明实施例中全局上下文约束可以将提取视盘区域的重要通道尺度特征，即提取视盘区域权重最大的特征向量，从而消除视盘内部特征辨识度低的问题。由于视杯的边缘的定位有很大的主观性，而边界约束的提取可以精细视杯视盘区域的边缘，此外，利用解剖学结构信息来指导视杯视盘双分支网络的分割使得视杯视盘的定位更具鲁棒性，具体地过程可以为：利用通道尺度注意力提取视盘区域的重要尺度下的重要特征，得到视盘和背景的区分结果；利用边界约束提取视杯区域的边缘细节特征，得到视杯和背景的区分结果；利用解剖学信息融合单分支杯视盘的分割结果，得到视杯视盘的整体分割结果，其中，视杯视盘的整体分割结果为视杯、视盘和背景的区分结果；将视杯视盘的整体分割结果进行反向传播，指导视杯分割和视盘分割，得到视杯视盘区域，因此通过通道尺度注意力和边界约束的解剖学双分支网络可以更好的分割视杯视盘区域。
进一步地，该步骤的图像分析阶段除在利用外部服务器外，也可以将检测模型轻量化，部署在移动设备上，减少远程传输带来的时间和宽带成本。
因此，本发明提出的无人化低成本便携式眼底疾病检测方法的工作流程具体为：
检测者佩戴检测镜，眼底镜从远到近拍摄一段眼底视频，并传输至解析芯片，解析芯片利用卷积神经网络提取每帧的特征，选择关键帧，并通过神经网络ResNet50判断关键帧是否清晰，若不清晰，则忽略，若清晰，则利用蓝牙传输至手机或平板电脑或笔记本电脑等移动设备，移动设备接收到清晰眼底图像后，每天新建一个病例，利用稀疏转换方法对清晰眼底图像进行压缩，利用行列加密算法对压缩后的图像进行行列像素点置乱加密，然后将压缩和加密后的图像上传至服务器，服务器利用反操作解压解密该图像，输入到图像处理模块中，进入图像处理模块后，利用100*100窗口扫描解压解密后的清晰眼底图像，获得最亮区域；将最亮区域作为中心，截取512*512大小的感兴趣区域；将感兴趣区域输入到通道尺度注意力和边界约束的解剖学双分支网络中提取视杯视盘区域；将视杯视盘区域输入到Inception V3网络中进行分类，得出是否为青光眼的结果即筛查报告，并将该筛查结果反馈给手机或平板电脑等，检测者可以自行下载该筛查报告查看分析结果。
综上，本发明实施例提出的无人化低成本便携式眼底疾病检测方法，可以完全摆脱医院及医生的环境，无需医院设备以及医生的参与，检测者可独立使用，使用便捷，节约了人力成本。同时，在检测过程中利用检测镜中的解析芯片选择关键帧，并利用判断模块排除质量不清晰的图像，节约了传输成本，在图像分析阶段，利用远程服务器进行图像分析，而无需在资源有限的手机上实现复杂计算，从手机上传图像到服务器的过程中对图像进行了加密和压缩操作，加密过程保证了检测者的隐私，压缩后的图像大小为原来的20％，节约了传输成本，并且压缩加密前后的图像对于眼底疾病检测的影响不到1％，因此在降低图像传输成本以及保护检测者隐私的同时，也保证了图像检测的准确率，可用于老年人在家进行眼部疾病自查与病情追踪分析，也可用于无人体检中的眼部疾病筛查。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (4)
1.一种无人化低成本便携式眼底疾病检测系统，其特征在于，包括：检测镜、移动设备和服务器，其中，
所述检测镜包括眼底镜、解析芯片和无线传输设备，其中，
所述眼底镜用于从远到近拍摄眼底视频；
所述解析芯片用于对所述眼底视频进行解析，得到清晰眼底图像，具体解析过程为：利用卷积神经网络提取所述眼底视频中每帧的特征，并将所述特征差值输入到多层感知机中得到帧间差异值；若所述帧间差异值大于0.3，则作为关键帧；利用神经网络ResNet50判断所述关键帧是否清晰，若清晰，则所述关键帧为清晰眼底图像，将其传输至所述移动设备，若所述关键帧不清晰，则忽略；
所述无线传输设备用于将所述清晰眼底图像输入至所述移动设备；
所述移动设备用于接收所述清晰眼底图像，每天新建一个病例，并对所述清晰眼底图像压缩加密上传至服务器，其中，利用稀疏转换方法压缩所述清晰眼底图像，通过行列加密算法对压缩后的清晰眼底图像行列像素点置乱加密；
所述服务器用于接收压缩加密后的清晰眼底图像，并进行反操作解压解密，再输入至图像处理模块中进行图像分析，得到筛查报告，并将所述筛查报告反馈给所述移动设备，其中，所述图像处理模块的图像分析过程为：
利用100*100窗口扫描解压解密后的清晰眼底图像，获得最亮区域；将所述最亮区域中心作为中心，截取512*512大小的感兴趣区域；将所述感兴趣区域输入到通道尺度注意力和边界约束的解剖学双分支网络中提取视杯视盘区域；将所述视杯视盘区域输入到Inception V3网络中进行分类，得到所述筛查报告。
2.根据权利要求1所述的无人化低成本便携式眼底疾病检测系统，其特征在于，所述无线传输设备为蓝牙、WiFi、NFC、Lora或Zigbee。
3.根据权利要求1所述的无人化低成本便携式眼底疾病检测系统，其特征在于，将所述感兴趣区域输入到通道尺度注意力和边界约束的解剖学双分支网络中提取视杯视盘区域进一步包括：
利用所述通道尺度注意力提取视盘区域的重要尺度下的重要特征，得到视盘的分割结果，其中，所述视盘的分割结果为视盘和背景的区分结果；
利用边界约束提取视杯区域的边缘细节特征，得到视杯的分割结果，其中，所述视杯的分割结果为视杯和背景的区分结果；
利用解剖学信息融合单分支杯视盘的分割结果，得到视杯视盘的整体分割结果，其中，所述视杯视盘的整体分割结果为视杯、视盘和背景的区分结果；
将所述视杯视盘的整体分割结果进行反向传播，指导视杯分割和视盘分割，得到所述视杯视盘区域。
4.根据权利要求1所述的无人化低成本便携式眼底疾病检测系统，其特征在于，所述移动设备为移动手机、笔记本或平板电脑。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110061402.2A CN112890764B (zh) | 2021-01-18 | 2021-01-18 | 无人化低成本便携式眼底疾病检测系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110061402.2A CN112890764B (zh) | 2021-01-18 | 2021-01-18 | 无人化低成本便携式眼底疾病检测系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112890764A CN112890764A (zh) | 2021-06-04 |
| CN112890764B true CN112890764B (zh) | 2022-12-13 |
Family
ID=76114607
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110061402.2A Active CN112890764B (zh) | 2021-01-18 | 2021-01-18 | 无人化低成本便携式眼底疾病检测系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112890764B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113273960B (zh) * | 2021-07-19 | 2021-11-02 | 中山大学中山眼科中心 | 一种穿戴式眼病自诊断设备 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009124679A1 (de) * | 2008-04-09 | 2009-10-15 | Carl Zeiss Meditec Ag | Verfahren zur automatisierten detektion und segmentierung der papille in fundusaufnahmen |
| CN101586951A (zh) * | 2009-05-31 | 2009-11-25 | 哈尔滨工业大学 | 一种纤维缠绕复合材料压力容器封头厚度预测方法 |
| CN105513077A (zh) * | 2015-12-11 | 2016-04-20 | 北京大恒图像视觉有限公司 | 一种用于糖尿病性视网膜病变筛查的系统 |
| CN107292868A (zh) * | 2017-05-31 | 2017-10-24 | 瑞达昇科技(大连)有限公司 | 一种视盘定位方法及装置 |
| CN108492285A (zh) * | 2018-03-13 | 2018-09-04 | 北京理工大学 | 一种基于灰度变化的径向线视盘萎缩弧分割方法 |
| CN109325942A (zh) * | 2018-09-07 | 2019-02-12 | 电子科技大学 | 基于全卷积神经网络的眼底图像结构分割方法 |
| CN109464120A (zh) * | 2018-10-31 | 2019-03-15 | 深圳市第二人民医院 | 一种糖尿病视网膜病变筛查方法、装置及存储介质 |
| CN109685770A (zh) * | 2018-12-05 | 2019-04-26 | 合肥奥比斯科技有限公司 | 视网膜血管弯曲度确定方法 |
| CN109948727A (zh) * | 2019-03-28 | 2019-06-28 | 北京周同科技有限公司 | 图像分类模型的训练及分类方法、计算机设备和存储介质 |
| CN110110646A (zh) * | 2019-04-30 | 2019-08-09 | 浙江理工大学 | 一种基于深度学习的手势图像关键帧提取方法 |
| CN110443813A (zh) * | 2019-07-29 | 2019-11-12 | 腾讯医疗健康(深圳)有限公司 | 血管、眼底图像的分割方法、装置、设备及可读存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8705826B2 (en) * | 2008-05-14 | 2014-04-22 | Agency For Science, Technology And Research | Automatic cup-to-disc ratio measurement system |
| US11361470B2 (en) * | 2019-05-09 | 2022-06-14 | Sri International | Semantically-aware image-based visual localization |
-
2021
- 2021-01-18 CN CN202110061402.2A patent/CN112890764B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009124679A1 (de) * | 2008-04-09 | 2009-10-15 | Carl Zeiss Meditec Ag | Verfahren zur automatisierten detektion und segmentierung der papille in fundusaufnahmen |
| CN101586951A (zh) * | 2009-05-31 | 2009-11-25 | 哈尔滨工业大学 | 一种纤维缠绕复合材料压力容器封头厚度预测方法 |
| CN105513077A (zh) * | 2015-12-11 | 2016-04-20 | 北京大恒图像视觉有限公司 | 一种用于糖尿病性视网膜病变筛查的系统 |
| CN107292868A (zh) * | 2017-05-31 | 2017-10-24 | 瑞达昇科技(大连)有限公司 | 一种视盘定位方法及装置 |
| CN108492285A (zh) * | 2018-03-13 | 2018-09-04 | 北京理工大学 | 一种基于灰度变化的径向线视盘萎缩弧分割方法 |
| CN109325942A (zh) * | 2018-09-07 | 2019-02-12 | 电子科技大学 | 基于全卷积神经网络的眼底图像结构分割方法 |
| CN109464120A (zh) * | 2018-10-31 | 2019-03-15 | 深圳市第二人民医院 | 一种糖尿病视网膜病变筛查方法、装置及存储介质 |
| CN109685770A (zh) * | 2018-12-05 | 2019-04-26 | 合肥奥比斯科技有限公司 | 视网膜血管弯曲度确定方法 |
| CN109948727A (zh) * | 2019-03-28 | 2019-06-28 | 北京周同科技有限公司 | 图像分类模型的训练及分类方法、计算机设备和存储介质 |
| CN110110646A (zh) * | 2019-04-30 | 2019-08-09 | 浙江理工大学 | 一种基于深度学习的手势图像关键帧提取方法 |
| CN110443813A (zh) * | 2019-07-29 | 2019-11-12 | 腾讯医疗健康(深圳)有限公司 | 血管、眼底图像的分割方法、装置、设备及可读存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 基于Deep Feature Flow的ABUS视频快速分割算法设计与实现;陈晓丹;《中国优秀硕士学位论文全文数据库 医药卫生科技辑》;20210115;第1卷;E072-1243 * |
| 基于深度学习的视网膜视盘与血管分割;滕梓晴;《中国优秀硕士学位论文全文数据库 基础科学辑》;20210115;第1卷;A006-724 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112890764A (zh) | 2021-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Phillips et al. | Overview of the multiple biometrics grand challenge | |
| US20190282208A1 (en) | Methods and apparatuses for generating and displaying ultrasound images using an explaining model | |
| US20220180521A1 (en) | Image processing method and apparatus, and electronic device, storage medium and computer program | |
| US9525886B2 (en) | Method for image compression and pre-diagnosis in three-dimensional remote ultrasound diagnostic apparatus | |
| KR101809819B1 (ko) | 혀 이미지를 기반으로 한 설진 방법 및 시스템 | |
| KR102058883B1 (ko) | 당뇨병 및 전조 증상을 진단하기 위해 홍채 영상 및 망막 영상을 인공지능으로 분석하는 방법 | |
| US20150244903A1 (en) | Head-mounted systems and methods for providing inspection, evaluation or assessment of an event or location | |
| JP2008538992A (ja) | 舌画像からの疾病診断のための方法 | |
| EP3478164B1 (en) | Classifying hormone receptor status of malignant tumorous tissue from breast thermographic images | |
| US11710347B2 (en) | Information processing apparatus, information processing method, and program | |
| CN112890764B (zh) | 无人化低成本便携式眼底疾病检测系统 | |
| CN113706441A (zh) | 一种基于人工智能的图像预测方法、相关装置及存储介质 | |
| US20230359701A1 (en) | Information processing apparatus, information processing method, and non-transitory computer-readable storage medium | |
| JP7253152B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| CN108968892B (zh) | 一种肠镜下盲区监测的系统及方法 | |
| KR102344084B1 (ko) | 귀의 병변에 대한 정보 제공 방법 및 이를 이용한 귀의 병변에 대한 정보 제공용 디바이스 | |
| Nguyen et al. | Gaze tracking for region of interest coding in JPEG 2000 | |
| Setiawan et al. | A study on JPEG compression in color retinal image using BT. 601 and BT. 709 standards: image quality assessment vs. file size | |
| CN116884078B (zh) | 摄像装置控制方法、监控设备和计算机可读介质 | |
| KR101281802B1 (ko) | 감량 영상 구성장치 | |
| KR20220079076A (ko) | 인공지능 기반 치매 조기 진단 플랫폼 | |
| KR20230044341A (ko) | 인공지능을 통해 인체 피부의 의료 진단 방법 및 시스템 | |
| WO2019116630A1 (ja) | 内視鏡画像観察支援システム | |
| CN116012324A (zh) | 一种医学影像质量控制方法、装置和电子装置 | |
| KR20160144129A (ko) | 피하모세혈관영상정보를 이용하는 의료기기 및 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |