CN109003252A - 图像处理方法及系统 - Google Patents

Abstract

本发明涉及图像处理方法及系统。所述方法包括从用户端接收初始用户文件，所述初始用户文件包括用户数据及用户图像；加载所述初始用户文件到服务器中，所述服务器存储有参考图像及计算模型，所述参考图像包括多个分类代码为1的参考图像及多个分类代码为2的参考图像；使用所述计算模型，将所述用户图像与所述参考图像进行比对，以将所述用户图像的分类代码确定为1及2之一；将用户图像的分类代码存入初始用户文件以生成更新用户文件；以及发送更新用户文件至用户端。

Description

图像处理方法及系统

技术领域

本发明涉及一种图像处理方法及系统。特别地，本发明涉及一种视网膜眼底图像分类方法和系统。

背景技术

眼睛疾病、失明和视力损害的主要原因包括诸如白内障(47.9％)、青光眼(12.3％)、与年龄相关的黄斑退化(AMD)(8.7％)、角膜混浊度(5.1％)、糖尿病性视网膜病变(4.8％)。这些疾病的流行正在上升，部分由于久坐的生活方式，以及人口老龄化，其带来了许多和上述眼病有关的代谢性疾病(例如糖尿病、高血压、高胆固醇(高血脂症)以及与年龄有关的疾病。如果及时检测并治疗，则由以上眼睛疾病发展为失明是大部分可预防的。

白内障是一种眼睛疾病，其由于患者眼内晶状体的混浊化引起模糊视力或雾像视力。白内障主要发生在老年人的眼睛内，因为有人认为白内障的形成是由于晶状体中的蛋白质纤维的恶化。这导致块的形成，其产生晶状体中的云区。如果没有得到早期治疗，白内障可导致永久性视力丧失。

根据2010年的调查，全世界4,590万人由于白内障影响了他们的视力。在4,590万人中，1,080万人是由于白内障失明。单单在亚洲，3,150万人患有白内障以及727万人由于白内障失去视力。在2010年，在中国有250万人患有白内障，并预计每年增加40万人。这主要是由于65岁及以上的大量的老年人人口。

青光眼指的是一组眼病，其指的是位于眼睛后部视神经的缓慢恶化。这常常是由于眼内液体压力的积聚。这导致被称为房水的液体(通常会从眼睛自然流出)的循环的阻塞。这种堵塞可能是由于遗传因素或对眼睛的化学伤害而发生。

青光眼有几种类型：开角型青光眼、闭角型青光眼和先天性青光眼。

开角型青光眼(OAG)是青光眼的常见类型，发生在当眼睛的角度(虹膜与角膜会合的位置)是正常时，然而，对眼睛引流能力的损害导致液体积聚，其引起内部压力的增加，同时导致视神经损害。

在另一方面，闭角型青光眼(ACG)是不常见的。这发生在当由于虹膜和角膜之间的角度过于狭窄而眼睛内部压力的突然增加时，因此中断液体的引流。

先天性青光眼是青光眼的罕见形式，其由于患者胎儿期眼睛引流管的不良或不完全发育而导致。

从其名称可以明显看出，糖尿病性视网膜病变(DR)是唯一只发生在糖尿病患者中的情况。这种疾病随着时间的推移引起对视网膜中的血管的渐进损伤。这主要由于高量的糖(其存在于糖尿病患者的血液中)，其引起视网膜中的微小血管泄漏液体或流血，以及导致对眼睛血管的渐进损伤。这导致视觉损害诸如浑浊的或模糊的视力。在疾病的晚期阶段，新生血管形成发生，其进一步损伤视网膜细胞。如果不及时治疗可能导致失明。

糖尿病性视网膜病变的疾病进展被分类为4个不同的阶段：轻度、中等、重度和增殖。在第一阶段(轻度)，有视网膜中的微小血管的肿胀。在第二阶段(中等)，视网膜中的血管继续肿胀，破坏它的结构，导致血管失去它们运输血液的能力。在该阶段期间，它引起视网膜的形状的变化，其可能导致糖尿病性黄斑水肿(DME)。在第三阶段(重度)，大部分血管被阻塞，导致供应到视网膜的血液减少。当视网膜被剥夺血液供应，生长因子释放到新生血管形成。在最后阶段(增殖)，生长因子的持续释放，使得新的脆弱的血管生长，造成容易出血和泄漏，这将最终导致视网膜脱落。

根据2010年的一项临床研究，在全世界估计有超过3亿7,100万成年人受糖尿病的影响[9,14]。仅在亚洲，估计有2亿2,260万成年人受糖尿病的影响[8,9,14]。诸如印度和中国等国家的患者数量最多，分别有6,510万和1亿1390万人受糖尿病的影响。此外，3亿7,100万成年人中有1亿2,660万患有DR[9,14]。仅在中国，5,615万人患有DR[9,14]。这是全球性的流行病，并且患者数量逐年增加。

在2010年，全世界估计共有6,040万人患有青光眼，其中4,470万患有OAG以及1,570万患有ACG[5]。在亚洲国家，包括中国、印度、日本和东南亚，有3,440万人患有青光眼，其中的2,090万人患有OAG，1,350万人患有ACG。

在现有技术下，很多眼睛疾病的及时或早期发现已被证明是难实现的，尤其是在具有大量的农村人口、分散在诸如中国、俄罗斯和印度等地域广大的发展中国家。

在2010年，国际眼科理事会(International Council of Ophthalmology)指出，全世界共有仅3,200万名眼科医生。这相当于每6,400名眼科医生对1百万人的比例。然而，基于对2020年的预测研究，东南亚到时将共有16.3亿人口，但只有1万3,300名眼科医生，或1名眼科医生对12万2000人的比例。这些数据表明，需要更多的眼科医生，特别是在发展中国家。

以下是根据国际眼科理事会的一份2012年的具体数据：

国家	人口(千)	眼科医生人数
			中国	1,376,049	28,338
印度	1,311,051	15,000
			印度尼西亚	257,562	1,240
泰国	67,959	1,021

(资料来源：http://www.icoph.org/ophthalmologists-worldwide.html)

从以上数据可以看出，印度尼西亚和泰国的眼科医生人数大约在1000至1300之间，相对于超过6千万的人口，其眼科医生是非常缺乏的，因此，需要治疗眼睛疾病的人群面临较高的无条件就医的风险。

在眼科医生的缺乏的同时，在农村和偏远地区的人口也面临难以获得眼科医护服务的困难，因为眼科医生多集中在大城市。这使得去大城市医院以及排队求诊于大城市医院的眼科医生成为必需。

根据来自新加坡全国眼科中心(SNEC)的统计，即使是在糖尿病患者中，去做眼睛检查的人中只有三分之一实际需要眼科医生的及时医治。这意味着眼科医生花费大量时间和资源检查实际上不需要紧急医疗处理的患者，而时间和资源本可以更好地被用在检查真正需要治疗的患者。

因此，需要经济和更方便的解决方案，特别是对于在农村或偏远地区的用户，使得具有健康眼睛的用户可以省去不必要的向眼科医生求诊的出行。同时，有潜眼睛疾病的用户可以及时得知其眼睛健康状况，从而对眼睛作进一步筛查或治疗。

发明内容

本发明的一个实施例提供一种图像处理方法，所述方法包括：从用户端接收初始用户文件，所述初始用户文件包括用户数据及用户图像；加载所述初始用户文件到服务器中，所述服务器存储有参考图像及计算模型，所述参考图像包括多个分类代码为1的参考图像及多个分类代码为2的参考图像；使用所述计算模型，将所述用户图像与所述参考图像进行比对，以将所述用户图像的分类代码确定为1及2之一；将用户图像的分类代码存入初始用户文件以生成更新用户文件；以及发送更新用户文件至用户端。

优选地，所述更新用户文件包括颜色标记，所述颜色标记包括与分类代码1对应的绿色标记及与分类代码2对应的红色标记。

优选地，如果用户图像的分类代码被确定为1，所述方法还包括，将第一跟进代码存入初始用户文件以生成所述更新用户文件。

优选地，如果用户图像的分类代码被确定为2，所述方法还包括，将第二跟进代码存入初始用户文件以生成所述更新用户文件。

优选地，所述方法还包括，将已确定分类代码的用户图像作为参考图像存储到服务器中。

优选地，所述方法还包括，在从用户端接收初始用户文件之前，加载所述参考图像于所述服务器中，基于所述参考图像训练人工智能引擎，及使用所述人工智能引擎构建所述计算模型。

优选地，所述人工智能引擎包括机器学习算法和深度学习算法中的至少一个算法或算法的组合。

优选地，所述人工智能引擎包括支持向量机(SVM)、梯度提升机(GBM)、随机森林和卷积神经网络中的至少一个。

优选地，所述方法还包括，基于所述用户图像及确定的分类代码训练所述人工智能引擎。

优选地，所述用户图像为用户的视网膜眼底图像，包括至少3000*2000个像素，具有至少45度的眼底区域，以及至少150dpi的像素分辨率。

优选地，所述用户图像为用户的视网膜眼底图像，其中将所述用户图像与所述参考图像进行比对进一步包括使用以下眼睛状态判断要素的至少一个进行比对：

(a)图像中呈现的多个视网膜血管；

(b)杯盘比小于0.3；以及

(c)缺少以下要素中的至少一个：

(i)可见介质混浊度；

(ⅱ)糖尿病性视网膜病变指示器，其包括印迹样出血、微动脉瘤和硬渗出物中的至少一个；

(ⅲ)糖尿病性黄斑病变；

(ⅳ)黄斑水肿；

(v)在黄斑附近的渗出物；

(ⅵ)在黄斑上的渗出物；

(vii)激光疤痕；

(ⅷ)白内障；

(ⅸ)青光眼；

(x)糖尿病性视网膜病变；和

(xi)与年龄相关的黄斑退化，其包括多个大玻璃疣、具有色素减退的显著区域的地图状萎缩和脉络膜新生血管膜中的至少一个，其中与年龄相关的黄斑退化是指示萎缩性的、新生血管的和渗出性的至少一个。

其中眼睛状态判断要素的至少一个可以不作为分类的判断要素。

本发明的另一实施例为一种图像处理系统，所述系统包括：服务器及与所述服务器通讯连接的用户端，服务器存储有参考图像及计算模型，所述参考图像包括多个分类代码为1的参考图像及多个分类代码为2的参考图像；用户端用于生成初始用户文件，所述初始用户文件包括用户数据及用户图像。当接收用户文件后，服务器启动所述计算模型，将所述用户图像与所述参考图像进行比对，以将所述用户图像的分类代码确定为1及2之一，将用户图像的分类代码存入初始用户文件以生成更新用户文件，及将更新用户文件发送至用户端。

优选地，所述更新用户文件包括颜色标记，所述颜色标记包括与分类代码1对应的绿色标记及与分类代码2对应的红色标记。

优选地，所述系统还包括基于所述参考图像训练的人工智能引擎，所述人工智能引擎用于构建所述计算模型。

优选地，所述人工智能引擎包括机器学习算法和深度学习算法中的至少一个算法或算法的组合。

优选地，所述人工智能引擎包括支持向量机(SVM)、梯度提升机(GBM)、随机森林和卷积神经网络中的至少一个。

通过提供经济和方便的解决方案对用户视网膜眼底图像进行分类，本发明具有潜力来显著减少全世界在发展中和发达国家的可预防的失明和视觉损害。根据本发明实施例，具有健康眼睛的用户可以省去不必要的向眼科医生求诊的时间及资源，具有潜在眼睛疾病的用户可以及时得知其眼睛状况，以便安排及时咨询眼科医生。眼科医生也可以将其有限的时间和资源安排在检查真正需要就医的用户。

附图说明

以下通过示例的方式对本发明的实施例做详细描述，并参考附图，其中：

图1是根据本发明实施例图像处理方法及系统的计算模型构建示意图。

图2是根据本发明实施例图像处理方法及系统的视网膜眼底图像加载示意图。

图3是根据本发明实施例图像处理方法及系统的视网膜眼底图像分类示意图。

图4是根据本发明实施例图像处理方法及系统的计算模型构建步骤流程图。

图5是根据本发明实施例图像处理方法及系统的视网膜眼底图像加载的步骤流程图。

图6是根据本发明实施例图像处理方法及系统的视网膜眼底图像分类的步骤流程图。

图7是根据本发明实施例图像处理方法及系统的通过通信路径门户的的示意图。

图8A是健康眼睛的视网膜眼底图像。

图8B至8E是患有几种眼睛疾病的视网膜眼底图像。

图9及图10是根据本发明实施例图像处理方法及系统的示意图。

具体实施方式

在本公开中，给定元件及技术特征的描述，或在特定附图中特定元件编号的考虑或使用，或在对应的描述材料中对其上的参考，可以涵盖与在另一附图或与其相关联的描述材料中识别的相同的、等同的或类似的元件及技术特征或参考数字标记。尽管本公开的方面将结合本文中所提供的实施例进行描述，但是应当理解，实施例的具体描述不旨在限制本公开于这些实施例。相反地，本公开旨在覆盖在本文中描述的实施例及其替代解决方案、修改和等同方法及系统，其在由所附权利要求定义的本公开的范围内。此外，在下面的详细描述中，具体细节被阐述以便提供对本公开的透彻理解。然而，将被本领域的具有普通技术的人员，即本领域技术人员识别，本公开可以在赘述本领域技术人员可以理解的特定细节，和/或具有来自从特定的实施例的方面的组合的多个细节的情况下实行。在一些情况下，公知的系统、方法、步骤和组件没有被详细描述。除非另有说明，本文中所使用的术语“包括(comprising)”、“包括(comprise)”、“包括(including)”、“包括(include)”，以及它们的语法变体，旨在代表“开放式”或“包括性”的语言，使得其定义的方法及系统包括权利要求中限定的元件，而且还允许包括额外的、未限定的元件。在本文中所使用的术语“传输”、“接收”或“加载”以及它们的语法变体，旨在代表两个物体、元件或装置的连接(或者直接连接在一起，或将它们间接地连接在一起，电连接或无线地，通过其它组件(例如路由器，互联网，网络和服务器)的连接。

如图1所示，根据本发明实施例的图像处理方法及系统的计算模型构建1-100，包括将专家级的视网膜眼底图像1-01加载到保存专家级视网膜眼底图像的数据库1-02中，使用专家级的视网膜眼底图像1-01对AI引擎1-03的训练，使用AI引擎1-03构建模型1-04。

图2是根据本发明实施例的图像处理方法及系统的视网膜眼底图像加载2-00的示意图。视网膜眼底图像加载2-00的示意图示出：便携式眼底相机拍摄用户视网膜眼底图像2-01，并将用户视网膜眼底图像与用户数据组合,以创建具有用户视网膜眼底图像和用户数据2-02的初始用户文件，用手机传输初始用户文件2-03到连接到网络2-04的手机发射塔，在网络服务器2-05接收初始用户文件，以及加载初始用户文件到用于存储用户文件的服务器数据库2-06。

图3是根据本发明实施例的图像处理方法及系统的视网膜眼底图像分类3-00的示意图。视网膜眼底图像分类3-00的示意图示出：保存初始用户文件的数据库2-06，初始用户文件是使用计算模型1-04与存储于数据库2-06的、具有分类代码为1或2的多个参考图像进行比对分析，以将所述用户图像的分类代码确定为1及2之一，其中3-01表示包括分类代码确定为1的用户图像的用户文件，3-02表示包括分类代码确定为2的用户图像的用户文件。用户图像的分类代码确定后，用户图像的分类代码被存入初始用户文件，以生成更新用户文件。更新用户文件则被发送至用户端，将用户图像的分类代码及相关信息传送给用户。

图4是根据本发明实施例的图像处理方法及系统的计算模型构建4-00的步骤流程图。计算模型构建4-00的步骤的流程图示出如下步骤：

4-01加载多个专家分类的视网膜眼底图像到数据库中。

4-02训练AI引擎以对专家分类的视网膜眼底图像进行操作。

4-03使用AI引擎，基于专家分类的视网膜眼底图像构建计算模型。

4-04基于具有眼科医生分类的分类代码为1及2的视网膜眼底图像对AI引擎做进一步训练。

图5是根据本发明实施例的图像处理方法及系统的视网膜眼底图像加载5-00的步骤流程图。视网膜眼底图像加载5-00的步骤流程示出步骤：

5-01表示用在区域中的便携式眼底照相机拍摄用户视网膜的视网膜眼底图像。

5-02表示创建具有用户数据和用户视视网膜眼底图像的初始用户文件。

5-03表示经由国家级门户或世界级门户、通过无线数据传输器传输初始用户文件到服务器。

5-04表示由服务器接收初始用户文件。

5-05表示加载初始用户文件到数据库中。

图6是根据本发明实施例的图像处理方法及系统的视网膜眼底图像分类6-00的步骤流程图。分类6-00的步骤流程图示出步骤：

6-01表示使用由AI引擎创建的计算模型将用户视网膜眼底图像与参考图像进行比对，以将用户图像的分类代码确定为1及2之一。

6-02表示将用户图像的分类代码存入初始用户文件以生成更新用户文件。

6-03表示对于分类代码确定为1的用户文件，本方法及系统生成第一跟进代码，并加入更新用户文件，用于提醒用户定期将其视网膜眼底图像发送至系统，进行后续分类。对于分类代码确定为2的用户文件，本方法及系统生成第二跟进代码，并加入更新用户文件，用于建议该用户咨询眼科医生，以作进一步筛查及必要的治疗。

图7是根据本发明实施例的图像处理方法及系统的通过门户的通信路径7-00的示意图。如图7所示，通过门户的通信路径7-00包括通过笔记本电脑、智能电话、平板电脑、计算机和光学中心的到门户的通信和从门户的通信。光学中心接收来自在国家和村庄中的用户的通信。

本发明的一个实施例提供一种视网膜眼底图像的分类方法，用于将用户视网膜眼底图像进行分类处理，以确定该用户是否有眼睛疾病风险。所述包括以下步骤：(a)加载多个专家确定分类的参考视网膜眼底图像到服务器数据库中；(b)训练AI引擎以对专家确定分类的参考视网膜眼底图像进行操作；(c)使用AI引擎，基于专家确定分类的参考视网膜眼底图像构建计算模型，以赋予每个参考视网膜眼底图像一个分类代码，其中分类代码1表示对应的视网膜眼底图像被分类为“正常”或“低眼疾风险”；例如如图8A所示的“正常”类视网膜眼底图像。分类代码2表示对应的视网膜眼底图像被分类为“异常”或“高眼疾风险”，包括例如如图8B所示的具有“糖尿病性视网膜病变”图像特征的视网膜眼底图像，如图8C所示的具有“青光眼”图像特征的视网膜眼底图像，如图8D所示的具有“白内障”图像特征的视网膜眼底图像，以及如图8E所示的具有“与年龄相关的黄斑退化(AMD)”图像特征的视网膜眼底图像；(d)从网络服务器接收初始用户文件，所述初始用户文件包括用户数据及用户图像；(e)加载初始用户文件到服务器数据库中；(f)使用所述计算模型，将初始用户文件中的视网膜眼底图像与服务器中的参考视网膜眼底图像进行比对分析，以将所述用户图像的分类代码确定为1及2之一；及(g)用户图像的分类代码存入初始用户文件以生成更新用户文件，以记录用户视网膜眼底图像的分类，及发送更新用户文件至用户端。

AI引擎的算法包括从机器学习算法和深度学习算法中选择的至少一个算法或算法的组合。AI引擎的算法包括支持向量机(SVM)、梯度提升机(GBM)、随机森林和卷积神经网络中的至少一个。用户文件包括用户数据和未分级的用户视网膜眼底图像。

在比对分析及分类代码确定步骤中，存储于初始用户文件的视网膜眼底图像的数目可以是2个至4个。

根据第一实施例的替代方案，将所述用户图像与所述参考图像进行比对分析，包括基于以下眼睛状态判断要素的至少一个进行比对分析：(a)图像中呈现的多个视网膜血管；(b)杯盘比小于0.3；以及(c)缺少以下中的至少一个：(i)可见介质混浊度；(ⅱ)糖尿病性视网膜病变指示器包括印迹样出血、微动脉瘤和硬渗出物中的至少一个；(ⅲ)糖尿病性黄斑病变；(ⅳ)黄斑水肿；(v)在黄斑附近的渗出物；(ⅵ)在黄斑上的渗出物；(vii)激光疤痕；(ⅷ)白内障；(ⅸ)青光眼；(x)糖尿病性视网膜病变；和(xi)与年龄相关的黄斑退化，包括多个大玻璃疣，具有色素减退的显著区域的地图状萎缩和脉络膜新生血管膜中的至少一个，其中与年龄相关的黄斑退化是指示萎缩性的、新生血管的和渗出性的至少一个。眼睛状态判断要素的至少一个可以被排除在外。

排除一个或多个眼睛状态判断要素可以使视网膜眼底图像的分类过程适合给定国家的需求及其可用资源。

根据第一实施例的另一替代方案，(i)专家确定分类的视网膜眼底图像可以是眼科医生确定分类视网膜眼底图像；(ii)方法可以进一步包括，在更新文件中加入第一或第二跟进代码。第一跟进代码对应于分类为1的用户视网膜眼底图像，可以表示建议用户在指定的时间内，例如6至12个月内，将其用户视网膜眼底图像传至系统进行比对分类。第二跟进代码对应于分类为2的用户视网膜眼底图像，可以表示安排该用户提交更新的用户视网膜眼底图像，以进行核实，以及建议用户咨询眼科医生；(iii)方法可以进一步包括，将加入第一或第二跟进代码的更新用户文件发至用户端；(iv)方法可以进一步包括，基于分类代码为1的至少一个用户文件的视网膜眼底图像的眼科医生的分类，训练AI引擎；(v)方法可以进一步包括，基于分类代码为2的至少一个用户文件的视网膜眼底图像的眼科医生的分类，训练AI引擎；(vi)每个视网膜眼底图像可以包括至少3000*2000个像素，具有至少45度的眼底区域，以及具有至少150dpi的像素分辨率；(vii)至少一个用户文件的视网膜眼底图像可以用便携式眼底照相机拍摄，从服务器接收的步骤可以包括经由可连接到便携式眼底照相机的无线数据传输器的至少一个用户文件的传输；(viii)至少一个用户文件的视网膜眼底图像可以用便携式眼底照相机拍摄，并且从网络服务器接收的步骤包括经由便携式眼底照相机的至少一个用户文件的传输，其中眼底照相机可以包括无线数据传输器；(ix)网络服务器可以托管至少一个国家门户和至少一个全世界门户；或(x)至少一个用户文件可以是通过至少一个便携式应用被上传到网络服务器。通信也可以是通过诸如电话、电缆、DSL和光纤的有线连接实现的。

对于包括分类代码为1的视网膜眼底图像的用户文件，所述第一跟进代码可以表示提醒该用户在预定的时间内，例如6到12个月之内，再次拍摄用户视网膜眼底图像并传输至服务器进行比对分析，以确定该再次拍摄的用户视网膜眼底图像的分类代码。

对于包含分类代码为2的用户视网膜眼底图像的用户文件，所述第二跟进代码可以表示建议该用户约见眼科医生，可以进一步包括通过网络服务器接口预约医疗设施，以安排和确认预约日期。

本发明实施例图像处理方法还包括，基于分类代码为2的至少一个用户文件的视网膜眼底图像，训练AI引擎。通过系统被分级为非正常的视网膜眼底图像可以被送去专家用于分类。一旦被分类，专家分类的视网膜眼底图像可以被用来进一步训练AI引擎；(vi)每个视网膜眼底图像可以包括至少3000*2000的像素，具有至少45度的眼底区域，以及具有至少150dpi的像素分辨率；(vii)至少一个用户文件的视网膜眼底图像可以用便携式眼底照相机拍摄，以及从网络服务器接收的步骤可以包括经由可连接到便携式眼底照相机的无线数据传输器的至少一个用户文件的传输；(viii)至少一个用户文件的视网膜眼底图像可以用便携式眼底照相机拍摄，以及从网络服务器接收的步骤可以包括经由便携式眼底照相机的至少一个用户文件的传输，其中眼底照相机可以包括无线数据传输器；(ix)网络服务器可以托管至少一个国家门户和至少一个全世界门户；或者(x)至少一个用户文件可以经由至少一个便携式应用被上传到网络服务器。

通过连接便携式眼底照相机的无线数据传输器(诸如手机)，用户视网膜眼底图像和用户数据可以被传送到数据中心或托管AI引擎1-03和模型1-04的实验室，并且快速进行分类。诸如安排例行重新分类或诊所眼科医生预约的随后的治疗可以从用户的视网膜眼底图像的分类而被推荐。这样，在农村或偏远地区可以使用便携式眼底照相机拍摄用户视网膜眼底图像。用户数据可以由便携式应用输入，然后在本地手机数据网络上被传输。具有无线数据传输器及/或用户数据的便携式眼底照相机也可以用于用户数据输入和无线数据传输。通过便携式应用，用户可以获得视网膜眼底图像的分类代码及第一或第二跟进代码，以采取相应行动，例如获得转介公立医院和访问卫生信息服务，其内容可以是根据他/她的用户文件中包含的他的病例记录进行定制。

服务器2-05可以托管多个门户用于上传用户文件。门户可以通过国家、地区、语言来组织或者是全世界的。至少一个或多个门户经由便携式应用可以是可访问的。

本发明的第二实施例涉及在高速计算系统(其可以在公共或私有云端中或在专用的企业计算资源上实现)上运行的图像处理方法及系统，用于将用户的视网膜眼底图像进行分类。

如图9及10所示，居住在用户端，例如乡村910或小城市920的用户，由设置在附近的照相机912，922拍摄用户视网膜眼底图像(图10，步骤1012)，生成初始用户文件，并将初始用户文件通过通讯网络930传送至设有本发明图像处理系统的服务器，例如设置于大城市940的系统服务器942，进行比对分析，以获得用户视网膜眼底图像的分类代码1016、1018(图10，步骤1014)。分类代码1016为代码“1”的分类，表示该用户视网膜眼底图像属于“正常”或“低眼疾风险”；分类代码1018为代码“2”的分类，表示该用户视网膜眼底图像属于“异常”或“高眼疾风险”。本方法及系统可以进一步包括生成第一跟进代码1026及第二跟进代码1028，分别对应于分类代码1及分类代码2。分类代码1016、1018、第一及第二跟进代码1026、1028分别存储于更新的用户文件1036、1038，并发送至用户端910、920。

本实施例提供的图像处理方法及系统基于加有经专家或眼科医生鉴定的分类代码的参考图像，开发和训练人工智能(Artificial Intelligence,“AI”)引擎，使用该AI引擎构建计算模型，及使用该计算模型将用户的视网膜眼底图像与加有分类代码的参考图像进行比对及预测，从而得出用户视网膜眼底图像的分类，并将分类结果反馈给用户。视网膜眼底图像的分类为第一类，即对应于分类代码1的用户，被确定为属于低风险眼睛疾病人群，目前可以不必就医，可以在一定时期之后，例如6个月至12个月之后，再作例行检查。视网膜眼底图像的分类为第二类，即对应于分类代码2的用户，被确定为属于高风险眼睛疾病及/或相关疾病的人群。本发明实施例的图像处理方法及系统将进一步包括生成第一或第二跟进代码，并将第一或第二跟进代码存入更新用户文件及发送更新用户文件至用户端。

根据本实施例，加有分类代码的参考图像，AI引擎及计算模型能够对与眼睛相关的主要疾病对应的视网膜眼底图像进行有效识别及分类。这类疾病包括糖尿病性视网膜病变(DR)、年龄相关性黄斑变性(AMD)、青光眼和白内障等。

根据使用本发明实施例的计算模型，将用户视网膜眼底图像与参考图像的比对分析，如果户视网膜眼底图像与参考图像中被分类为第一类的参考图像的类似度高于计算模型中的判定阈值，此用户视网膜眼底图像则被分为同一类，即第一类。如果户视网膜眼底图像与参考图像中被分类为第二类的参考图像的类似度高于计算模型中的判定阈值，此用户视网膜眼底图像则被分为同一类，即第二类。

根据本发明的实施例，参考图像由合格的眼科医生进行人工甄别，根据甄别结果，每个参考图像被分类为第一类及第二类之一，并逐一赋予对应的分类代码。

基于具有分类代码的多个参考图像，训练AI引擎，从而构建计算模型，以对用户视网膜眼底图像进行比对分析，得出用户视网膜眼底图像的分类代码。

存储有所述具有分类代码的多个参考图像及计算模型的服务器，可以以深度学习(Deep Learning，“DL”)或深度神经网络(Deep Neural Network,“DNN”)的形式实现用于监督学习的机器学习(Machine Learning,“ML”)或人工智能(AI)框架的过程。得到的DNN算法及计算模型，可以用于将用户视网膜眼底图像与服务器中的参考图像进行比对分析，以获得用户视网膜眼底图像的分类代码。

计算模型可以实现于，但不限于，桌面级工作站(有或没有GPU)。使用的操作系统(OS)，包括但不限于，Android和基于Linux的系统等。计算模型也可以被托管于第三方供应商的平台所提供的基于云端的服务。图像处理系统及/或平台可以包括但不限于，Nvidia或像OpenGL，OpenCV和OpenCL等开放源代码的平台。计算模型可以选择一种高级编程语言和平台(包括但不限于Python、C++和R等，以及这些平台的包装)实施。

根据本发明实施例的一种图像处理方法，包括访问包含数字化的视网膜眼底图像的数据库，并存储信息用于处理。原始图像被映射到由3个独立矩阵组成的3元组，其中每个矩阵代表RGB(红绿蓝)中的一个颜色。如果需要，基于RGB的图像可以被转换或缩小为灰度图像。

根据本发明实施例的图像处理方法还包括重塑数据集中具有相同空间维度的所有图像，尽管这不是绝对需要的。图像的宽度和高度中的像素的数量可以被优化为训练分类模型所需的时间量。根据图像的质量，可以应用图像增强，图像降噪，图像恢复和去模糊，缩放，平移，旋转和边缘检测等图像处理方法。映射的图像将形成数据集，其将作为输入来训练分类及计算模型。

这些图像还可以经由包括但不限于主成分分析(也称为KarhuenLoeve变换)和动态模式解压缩等的其他变换方法进一步处理，其中矩阵的奇异值分解被执行。通过使用变换技术，可以开发替代的和补充的DNN以在这些变换的图像上进行训练，以与主要的DNN模型相关联，以对视网膜眼底图像进行比、分析及准确分类。

分类模型的架构被采用，但不限于使用卷积神经网络(CNN)。将标称数据集输入到CNN架构中，使用推断的函数训练分类模型，以预测新的未见过图像。CNN架构的准确性取决于一系列参数，诸如每一层上的节点数量、激活函数的选择、损失函数、丢失百分比、时期(epoch)的数目等。

可以用k折交叉验证技术进一步增强分类及计算模型。其他可能的统计技术可以被实施以提高分类模型的准确性，而不仅限于上述技术。k折交叉验证技术是评估训练过的分类模型的统计性能的模型验证。标称数据集被划分为具有不同的百分比权重的训练数据集和测试数据集。

下面描述分类模型的可能的例子来说明这个过程：

(1)数字化后的图像与其标签被映射到数据集。图像的缩放可以通过首先计算每个红色，绿色和蓝色通道的各自像素密度的平均值和标准偏差来执行。结果被存储在3元组，分别对应于红，绿和蓝通道的平均值。数据集中的图像通过减去与红色，绿色和蓝色通道的每一个相应的平均值和除以红色，绿色和蓝色通道的每一个相应的标准偏差来缩放。

(2)CNN架构可以使用如R等高级语言编写，并且有诸如Keras的封装的帮助。CNN可以被设计为具有由相互连接的节点组成的特定数量的层。不同函数中每个节点之间的链接由一个由权重和偏差组成的函数来定义。诸如RELU的激活函数通常被用于更新函数的权重和偏差。添加池化函数来提取CNN层上的子集，这可能不是必需的。在每个CNN层之后还添加例如20％的丢失百分比。在最后一层，使用激活函数SOFTMAX。

(3)分类模型经历多个时期(epoch)以更新其准确性。在模型中的优化器不仅限于ADAM，还有其他的优化器，诸如RMSPROP等。在每个时期(epoch)，标称数据集可以分割为训练数据集和测试数据集，不限于4：1的分割。可以进一步将该比率细分为其他被认为最适合训练分类模型的比率。

以下描述训练过的分类模型的可能的验证步骤以说明该过程。

(1)在完成对分类模型的训练之后，将训练或测试中未使用的一组新的未见过的视网膜眼底图像呈现给训练过的模型。新的未见过的视网膜眼底图像由合格的眼科医生人工鉴定，确定分类代码并作标记。

(2)用户的眼睛健康状况的概率是基于视网膜眼底图像得出的。下一步是由合格的眼科医生通过筛查未见过的图像及其各自标记的类别(第一类或第二类)来验证生成的概率。

(3)可以应用进一步的验证步骤，以识别包括但不限于诸如DR、AMD、青光眼和白内障等的主要潜在眼睛疾病。合格的眼科医生可能难以获得视力损害的所有细微差异，并对用户的眼睛健康状况得出结论。训练过的计算模型可以将合格的眼科医生得出的结论与训练过的分类计算模型产生的概率相关联。

人工智能门户的自动化过程可以生成简明易读的视网膜眼底图像分类及分析报告，其将被发送给来自周边社区的用户，以告知用户其视网膜眼底图像的分类代码及跟进代码，以及根据分类代码及跟进代码所记载的信息，该用户是否需要咨询眼科医生做进一步检查。分类报告经计算模型比对分析得出的视网膜眼底图像分类代码以及对应的、方便识别的颜色标记。例如，可以使用绿色标记及/或(-)代表分类代码1，表示该用户的视网膜眼底图像分类为第一类；使用红色标记及/或(+)代表分类代码2，表示该用户的视网膜眼底图像分类为第二类。

根据以上描述的一个实例报告如下：

在前面的详细描述中，本发明的实施例参照提供的附图被描述。在本文中的各种实施例的描述并不旨在唤起或仅限于本公开的具体或特定的表示，而仅仅是为了说明本公开的非限制性示例。

本公开用于解决至少一些上述问题和与现有技术相关联的问题。尽管仅有本公开的一些实施例是在此公开的，但是鉴于本公开，可以对公开的实施例进行各种变化和/或修改，而不脱离本公开的范围，对本领域的普通技术人员将是显而易见的。本公开的范围以及所附权利要求书的范围不限于本文中所描述的实施例。

Claims (20)

1.一种图像处理方法，其特征在于，所述方法包括：

从用户端接收初始用户文件，所述初始用户文件包括用户数据及用户图像；

加载所述初始用户文件到服务器中，所述服务器存储有参考图像及计算模型，所述参考图像包括多个分类代码为1的参考图像及多个分类代码为2的参考图像；

使用所述计算模型，将所述用户图像与所述参考图像进行比对，以将所述用户图像的分类代码确定为1及2之一；

将用户图像的分类代码存入初始用户文件以生成更新用户文件；

发送更新用户文件至用户端。

2.根据权利要求1所述的方法，其特征在于，所述更新用户文件包括颜色标记，所述颜色标记包括与分类代码1对应的绿色标记及与分类代码2对应的红色标记。

3.根据权利要求1所述的方法，其特征在于，如果用户图像的分类代码被确定为1，所述方法还包括，将第一跟进代码存入初始用户文件以生成所述更新用户文件。

4.根据权利要求1所述的方法，其特征在于，如果用户图像的分类代码被确定为2，所述方法还包括，将第二跟进代码存入初始用户文件以生成所述更新用户文件。

5.根据权利要求1所述的方法，其特征在于，还包括，将已确定分类代码的用户图像作为参考图像存储到服务器中。

6.根据权利要求1所述的方法，其特征在于，还包括，在从用户端接收初始用户文件之前，加载所述参考图像于所述服务器中，基于所述参考图像训练人工智能引擎，及使用所述人工智能引擎构建所述计算模型。

7.根据权利要求6所述的方法，其特征在于，所述人工智能引擎包括机器学习算法和深度学习算法中的至少一个算法或算法的组合。

8.据权利要求7所述的方法，其特征在于，所述人工智能引擎包括支持向量机(SVM)、梯度提升机(GBM)、随机森林和卷积神经网络中的至少一个。

9.根据权利要求6所述的方法，其特征在于，还包括，基于所述用户图像及确定的分类代码训练所述人工智能引擎。

10.根据权利要求1所述的方法，其特征在于，其中所述用户图像为用户的视网膜眼底图像，包括至少3000*2000个像素，具有至少45度的眼底区域，以及至少150dpi的像素分辨率。

11.根据权利要求1所述的方法，其特征在于，其中所述用户图像为用户的视网膜眼底图像，其中将所述用户图像与所述参考图像进行比对进一步包括使用以下眼睛状态判断要素的至少一个进行比对：

(a)图像中呈现的多个视网膜血管；

(b)杯盘比小于0.3；以及

(c)缺少以下要素中的至少一个：

(i)可见介质混浊度；

(ⅱ)糖尿病性视网膜病变指示器，其包括印迹样出血、微动脉瘤和硬渗出物中的至少一个；

(ⅲ)糖尿病性黄斑病变；

(ⅳ)黄斑水肿；

(v)在黄斑附近的渗出物；

(ⅵ)在黄斑上的渗出物；

(vii)激光疤痕；

(ⅷ)白内障；

(ⅸ)青光眼；

(x)糖尿病性视网膜病变；和

(xi)与年龄相关的黄斑退化，其包括多个大玻璃疣、具有色素减退的显著区域的地图状萎缩和脉络膜新生血管膜中的至少一个，其中与年龄相关的黄斑退化是指示萎缩性的、新生血管的和渗出性的至少一个；

其中眼睛状态判断要素的至少一个可以不作为分类的判断要素。

12.根据权利要求1所述的方法，其中所述用户文件由无线数据传输器上传到所述服务器。

13.根据权利要求1所述的方法，其中所述服务器托管至少一个国家数据传输门户和至少一个世界数据传输门户。

14.根据权利要求1所述的方法，其中用户文件是经由至少一个便携式应用上传到所述服务器。

15.一种图像处理系统，其特征在于，所述系统包括：

服务器，其中存储有参考图像及计算模型，所述参考图像包括多个分类代码为1的参考图像及多个分类代码为2的参考图像；

用户端，用于生成初始用户文件，所述初始用户文件包括用户数据及用户图像；所述用户端与所述服务器通讯连接，

当接收用户文件后，服务器启动所述计算模型，将所述用户图像与所述参考图像进行比对，以将所述用户图像的分类代码确定为1及2之一，将用户图像的分类代码存入初始用户文件以生成更新用户文件，及将更新用户文件发送至用户端。

16.根据权利要求15所述的系统，其特征在于，所述更新用户文件包括颜色标记，所述颜色标记包括与分类代码1对应的绿色标记及与分类代码2对应的红色标记。

17.根据权利要求15所述的系统，其特征在于，所述系统还包括基于所述参考图像训练的人工智能引擎，所述人工智能引擎用于构建所述计算模型。

18.根据权利要求16所述的系统，其特征在于，所述人工智能引擎包括机器学习算法和深度学习算法中的至少一个算法或算法的组合。

19.根据权利要求17所述的系统，其特征在于，所述人工智能引擎包括支持向量机(SVM)、梯度提升机(GBM)、随机森林和卷积神经网络中的至少一个。

20.根据权利要求15所述的系统，其特征在于，其中用户图像为用户的视网膜眼底图像，所述服务器存储有眼睛状态判断要素信息，所述眼睛状态判断要素信息包括：

(a)图像中呈现的多个视网膜血管；

(b)杯盘比小于0.3；以及

(c)以下要素中的至少一个：

(i)可见媒体不透明度；

(ⅱ)糖尿病性视网膜病变指示器包括印迹样出血、微动脉瘤和硬渗出物中的至少一个；

(ⅲ)糖尿病性黄斑病变；

(ⅳ)黄斑水肿；

(v)在黄斑附近的渗出物；

(ⅵ)在黄斑上的渗出物；

(vii)激光疤痕；

(ⅷ)白内障；

(ⅸ)青光眼；

(x)糖尿病性视网膜病变；和

(xi)与年龄相关的黄斑变性，包括多个大玻璃疣中的至少一个，具有色素减退和脉络膜新生血管膜的显著区域的地图状萎缩，其中与年龄相关的黄斑变性是指示萎缩性的、新生血管的和渗出性的至少一个。