CN114847871A - 用于分析被检者的眼底变化趋势的方法、系统和相关产品 - Google Patents

Abstract

本公开涉及一种用于分析被检者的眼底变化趋势的方法、系统和相关产品。所述方法包括：获取被检者的多组眼底图像；从所述多组眼底图像中选择所述被检者的至少两组目标眼底图像；对所述至少两组目标眼底图像执行特征匹配操作，以获取差异特征；根据所述至少两组目标眼底图像计算目标特征参数；以及基于所述差异特征和所述目标特征参数分析所述被检者的眼底变化趋势。利用本公开的方案，可以通过差异特征和目标特征参数全面地分析眼底变化趋势，获得准确的分析结果。

Description

用于分析被检者的眼底变化趋势的方法、系统和相关产品

技术领域

本公开一般地涉及眼底检测技术领域。更具体地，本公开涉及一种用于分析被检者的眼底变化趋势的方法、系统、设备以及计算机可读存储介质。

背景技术

眼底检测通常是通过眼底相机拍摄被检者的眼底彩照，并通过将眼底彩照中呈现的眼底形态与正常的眼底形态进行比对，以基于比对结果来评估被检者的眼底是否是异常以及是否患有疾病。对于不同的疾病，其观测时的关注点也会有所不同。例如青光眼，其关注点在于杯盘比大小是否存在扩大、视神经是否发生萎缩、周边有无神经纤维缺损，缺损的部位以及面积变化趋势等；黄斑的关注点在于黄斑区是否存在出血、渗出及瘢痕形成；糖尿病的关注点在于患者的眼底彩照上是否有出血、渗出，甚至新生血管的生成；而玻璃体积血的关注点在于积血面积和积血倍增、或者吸收情况、倍增速度等。

在检测不同疾病对应的关注点时，通常是根据现有的征象和正常人的眼底图进行比对或者将同一人的多次眼底图片相互进行比对来观测是否存在差异和异常点，由此确定不同疾病的关注点。然而，比对并非一次性的工作，往往需要一组组数据反复、多次对比，并且观测者往往是通过自己肉眼、测量工具或借助参照物体等的方式进行测量。因此，当数据量足够多时，就会使得比对过程异常复杂和繁琐、耗时较长。此外，在对眼底疾病进行分析时，通常只根据单一结果来进行分析和评估，使得分析和评估结果不准确。

发明内容

为了至少部分地解决背景技术中提到的技术问题，本公开的方案提供了一种用于分析被检者的眼底变化趋势的方案。利用本公开的方案，可以通过差异特征和目标特征参数全面地量化指标变化，获得准确的分析结果。为此，本公开在如下的多个方面提供解决方案。

在第一方面，本公开提供一种用于分析被检者的眼底变化趋势的方法，包括：获取被检者的多组眼底图像；从所述多组眼底图像中选择所述被检者的至少两组目标眼底图像；对所述至少两组目标眼底图像执行特征匹配操作，以获取差异特征；根据所述至少两组目标眼底图像计算目标特征参数；以及基于所述差异特征和所述目标特征参数分析所述被检者的眼底变化趋势。

在一个实施例中，其中所述多组眼底图像包括所述被检者处于多个时期对应的眼底图像，并且每组眼底图像包括所述被检者的左眼眼底图像和右眼眼底图像。

在另一个实施例中，所述方法还包括：对所述被检者的多组眼底图像执行序列化对齐操作，以获得执行序列化对齐操作后的多组眼底图像。

在又一个实施例中，其中对所述至少两组目标眼底图像执行特征匹配操作，以获取差异特征包括：从所述至少两组目标眼底图像中选择一组眼底图像作为参考眼底图像；基于所述参考眼底图像和除所述参考眼底图像以外的各组目标眼底图像确定与特征匹配相关的映射函数；以及根据所述映射函数将除所述参考眼底图像以外的各组目标眼底图像映射至所述参考眼底图像上执行特征匹配操作，以获取差异特征。

在又一个实施例中，其中基于所述参考眼底图像和除所述参考眼底图像以外的各组目标眼底图像确定与特征匹配相关的映射函数包括：利用第一网络模型检测所述参考眼底图像和除所述参考眼底图像以外的各组目标眼底图像，以获得对应的第一特征和第二特征；计算所述第一特征和第二特征的相关性；以及基于所述相关性确定与特征匹配相关的映射函数。

在又一个实施例中，其中根据所述至少两组目标眼底图像计算目标特征参数包括：利用第二网络模型对所述至少两组目标眼底图像进行图像分割，以获得目标分割区域；以及基于所述目标分割区域计算目标特征参数。

在又一个实施例中，其中所述目标分割区域包括视杯区域、视盘区域和病灶区域中一种或者几种；所述目标特征参数包括杯盘比、视杯视盘面积比和病灶面积值中的一种或者几种。

在又一个实施例中，所述方法还包括：基于所述差异特征和所述目标特征参数构建图表，以基于图表形式展示所述被检者的眼底变化趋势。

在第二方面，本公开还提供一种用于分析被检者的眼底变化趋势的系统，包括：数据获取模块，其用于获取被检者的多组眼底图像；数据处理模块，其用于：从所述多组眼底图像中选择所述被检者的至少两组目标眼底图像；对所述至少两组目标眼底图像执行特征匹配操作，以获取差异特征；根据所述至少两组目标眼底图像计算目标特征参数；以及数据分析模块，其用于基于所述差异特征和所述目标特征参数分析所述被检者的眼底变化趋势。

在一个实施例中，所述系统还包括序列化对齐模块，所述序列化对齐模块用于对所述被检者的多组眼底图像执行序列化对齐操作，以获得执行序列化对齐操作后的多组眼底图像。

在另一个实施例中，所述系统还包括结果展示模块，所述结果展示模块用于基于图表形式展示所述被检者的眼底变化趋势。

在第三方面，本公开还提供用于分析被检者的眼底变化趋势的设备，包括：处理器；以及存储器，其存储有用于分析被检者的眼底变化趋势的程序指令，当所述程序指令由所述处理器执行时，使得所述设备实现前述第一方面中的多个实施例。

在第四方面，本公开还提供一种计算机可读存储介质，其上存储有用于分析被检者的眼底变化趋势的计算机可读指令，该计算机可读指令被一个或多个处理器执行时，实现前述第一方面中的多个实施例。

通过本公开的方案，通过对目标眼底图像执行特征匹配操作以及计算其目标特征参数，从而通过差异特征和目标特征参数全面地量化指标变化，以便准确地分析被检者的眼底变化趋势。进一步地，本公开实施例通过对多组眼底图像执行序列化对齐操作，能够更好地追踪指标变化，从而分析眼底变化。此外，本公开实施例还可以通过图像形式直观的展示眼底变化趋势，便于对眼底变化进行分析。基于被检者的眼底变化趋势，后续可以对例如眼底疾病的转归或者治疗效果进行评估，并且能够提高评估结果的准确性。

附图说明

通过参考附图阅读下文的详细描述，本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本公开的若干实施方式，并且相同或对应的标号表示相同或对应的部分其中：

图1是示出根据本公开实施例的用于分析被检者的眼底变化趋势的方法的示例性流程框图；

图2是示出根据本公开实施例的特征匹配的示例性示意图；

图3是示出根据本公开实施例的差异特征图像的示例性示意图；

图4a是示出根据本公开实施例的计算水平杯盘比的示例性示意图；

图4b是示出根据本公开实施例的计算垂直杯盘比的示例性示意图；

图5是示出根据本公开实施例的用于分析被检者的眼底变化趋势的系统的示例性结构框图；

图6是示出根据本公开实施例的用于分析被检者的眼底变化趋势的系统的又一示例性结构框图；

图7是示出根据本公开实施例的被检者的眼底变化趋势图的示例性示意图；以及

图8是示出根据本公开实施例的用于分析被检者的眼底变化趋势的设备的框图。

具体实施方式

下面将结合附图对本公开实施例中的技术方案进行清楚和完整地描述。应当理解的是本说明书所描述的实施例仅是本公开为了便于对方案的清晰理解和符合法律的要求而提供的部分实施例，而并非可以实现本公开的所有实施例。基于本说明书公开的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

图1是示出根据本公开实施例的用于分析被检者的眼底变化趋势的方法100的示例性流程框图。如图1中所示，在步骤S102处，获取被检者的多组眼底图像。在一个应用场景中，可以通过例如医院影像科室使用的影像归档和通信系统（picture archiving andcommunication system，“PACS”）来获取被检者的多组眼底图像。在另一个应用场景中，也可以通过眼底相机采集被检者的多组眼底图像。在一些实施例中，也可以通过上传界面，由检测者直接上传被检者的多组眼底图像，或者通过PACS、眼底相机以及上传界面三种方式中的至少两种方式组合获取被检者的多组眼底图像，本公开对此不作限制。

在实现场景中，上述被检者可以是人类，也可以是动物。其中，对被检者是人类而言，其可以包含例如患有眼底疾病（例如高血压眼底病变，糖尿病眼底病变）的患者、患有眼底疾病相关疾病（例如高血压，糖尿病）的患者、或者因从事特殊工作而对视觉健康有较高要求的非患者（例如飞行员等）。在一个实施例中，上述被检者的多组眼底图像可以包括被检者处于多个时期对应的眼底图像，并且每组眼底图像包括被检者的左眼眼底图像和右眼眼底图像。即，被检者的眼底图像可以包括多组（或者称为多单），每组（或者每单）眼底图像中至少包括一张左眼眼底图像和一张右眼眼底图像。

基于上述获取的多组眼底图像，在步骤S104处，从多组眼底图像中选择被检者的至少两组目标眼底图像。在一个实施例中，首先可以对被检者的多组眼底图像执行序列化对齐操作，以获得执行序列化对齐操作后的多组眼底图像，进而再从执行序列化对齐操作后的多组眼底图像中选择至少两组目标眼底图像。例如，可以通过被检者的唯一识别信息或者眼底重识别等多种方式来对被检者的多组眼底图像执行序列化对齐操作。例如对于被检者的唯一识别信息而言，可以通过同一被检者的姓名加出生年月日，来对同一被检者的眼底图像的执行序列化对齐操作。另外，还可以采用同一被检者的唯一身份证ID来对同一被检者的眼底图像的执行序列化对齐操作。对于眼底图像重识别（Re-identification，“ReID”）而言，其是利用计算机视觉技术判断眼底图像库中是否存在被检者的眼底图像的技术。或者说，眼底ReID是通过在已有的可能来源与非重叠的图像库中识别出目标对象。具体地，其是利用卷积神经网络分别提取每一组眼底图像的特征，根据特征来判断具有相同的特征的一组或者多组眼底图像，并且认为是同一被检者的眼底图像，从而实现了执行序列化对齐操作。也就是说，通过序列化对齐操作可以确定每个被检者对应的多组眼底图像，并且每组眼底图像可以按时间顺序依次排列，以便更好地追踪被检者的眼底变化。

在选择了目标眼底图像后，在步骤S106处，对所述至少两组目标眼底图像执行特征匹配操作，以获取差异特征。在一个实施例中，首先可以从至少两组目标眼底图像中选择一组眼底图像作为参考眼底图像。接着，基于参考眼底图像和除参考眼底图像以外的各组目标眼底图像确定与特征匹配相关的映射函数，进而根据映射函数将除参考眼底图像以外的各组目标眼底图像映射至参考眼底图像上执行特征匹配操作，以获取差异特征。作为示例，可以从被检者的目标眼底图像选择时间靠前的一组眼底图像作为参考眼底图像，并将其他各组目标眼底图像均与参考眼底图像进行匹配，以保持参考眼底图像的不变性和一致性。此外，在匹配中，将左眼眼底图像与左眼眼底图像进行匹配，将右眼眼底图像与右眼眼底图像进行匹配。

其中，在基于参考眼底图像和除参考眼底图像以外的各组目标眼底图像确定与特征匹配相关的映射函数中，首先可以利用第一网络模型检测参考眼底图像和除参考眼底图像以外的各组目标眼底图像，以获得对应的第一特征和第二特征。接着，计算第一特征和第二特征的相关性，并且基于相关性确定与特征匹配相关的映射函数。在一个实现场景中，前述第一网络模型可以例如是区域卷积神经网络模型，经由该第一网络模型可以自动检测出参考眼底图像对应的第一特征和其他各组目标眼底图像对应的第二特征。在一些实施例中，该第一特征和第二特征可以例如是闭合边界区域、边缘、轮廓、交线、血管分叉中的一种或者多种，并且前述第一特征和第二特征可以通过一些控制点（例如重心、线尾、特征点等）来表示。可以理解，前述控制点可以是感兴趣点，其可以表示眼底图像中重要或独特的内容（例如边角，边缘等）。在实现场景中，可以通过例如加速稳健特征（Speeded Up RobustFeatures，“SURF”）算法来检测前述控制点，可以快速检测出眼底图像中的第一特征和第二特征。

基于获得的第一特征和第二特征，可以利用相关性算法或者相似性度量来计算第一特征和第二特征的相关性，并且该相关性可以包括第一特征和第二特征的空间相关性。进一步地，可以通过将其他各组目标眼底图像与参考眼底图像对齐操作，并且利用前述相关性计算对齐后的参数，从而确定与特征匹配相关的映射函数。如前所述，根据前述映射函数可以将其他各组目标眼底图像映射至参考眼底图像上执行特征匹配操作，以获取差异特征。具体地，可以基于映射函数将目标眼底图像中的特征一一映射至参考图像上，以将两张图像中对应于空间同一位置的点一一对应（例如图2中所示），以实现信息融合，而未对应的特征即为差异特征。其中，在对目标眼底图像和参考眼底图像执行特征匹配操作后，可以通过例如图像重采样和转换，并且使用例如插值技术来调整非整数坐标的图像值，以获得差异特征图像。

在一些实施例中，还可以将差异特征图像以静态图或者动态图的方式进行展示，以便于分析。其中，前述静态图展示是指将包含差异特征的多张眼底图像经例如计算机处理，完成相互配准。也即，将包含差异特征的多张眼底图像缩放到同样尺寸的大小，并且实现差异特征在不同图像上的联动（例如图3所示）。前述动态图展示是是指按照时间序列顺序，在一个动图中依次展示包含差异特征的眼底图像，该展示方式可以堆叠展示不同时期的图像，可以适用于病变部位比较聚焦的场景。

进一步地，在步骤S108处，根据至少两组目标眼底图像计算目标特征参数。具体来说，可以通过利用第二网络模型对至少两组目标眼底图像进行图像分割，以获得目标分割区域，以基于目标分割区域计算目标特征参数。其中，前述第二网络模型可以例如是全卷积网络（Fully Convolutional Networks，“FCN”）模型，并且该FCN模型可以是经预先训练的。在训练时，可以通过向FCN模型输入大量经预先处理（例如图像翻转、旋转，亮度、尺寸调整、高斯滤波等）后的眼底图像，并以标注的病灶区域为标签，并且基于损失函数进行正向、反向训练，实现对FCN模型的训练。可以理解，该FCN模型可以对图像进行像素级的分类，解决了语义级别的图像分割问题。另外，该FCN模型还可以接受任意尺寸的输入图像，并且采用反卷积层对最后一个卷积层的特征图进行上采样, 使得最终恢复到与输入图像相同的尺寸。基于此，可以对图像中的每个像素都产生了对应的预测,保留了原始输入图像中的空间信息, 并且通过最后在上采样的特征图上进行逐像素分类完成最终的图像分割，从而获得目标分割区域。

在一些实施例中，上述目标分割区域可以包括但不仅限于是视杯区域、视盘区域和病灶区域（例如眼底血管出血）中一种或者几种。进一步地，基于前述目标分割区域计算目标特征参数。在实现场景中，可以通过对目标分割区域进行测量，基于测量的相关数据可以计算目标特征参数。其中，该目标特征参数可以包括不仅限于是杯盘比、视杯视盘面积比和病灶面积值（例如眼底血管出血面积值）中的一种或者几种，其中前述杯盘比还可以包括例如垂直杯盘比、水平杯盘比（例如图4a、4b所示）以及平均杯盘比等。

根据上述获得的差异特征和目标特征参数，在步骤S110处，基于差异特征和目标特征参数分析被检者的眼底变化趋势。例如，可以通过差异特征（或差异特征图像）和目标特征参数分析出被检者眼底的变化倾向于的疾病种类以及相应变化的量化。

结合上述描述可知，本公开实施例通过从被检者的多组眼底图像中选择至少两组目标眼底图像，并基于目标眼底图像进行特征匹配和特征参数计算，以根据对应获得的差异特征和目标特征参数分析被检者的眼底变化趋势全面地量化指标变化，能够更准确地分析被检者的眼底变化趋势，以确保后续基于眼底变化趋势评估被检者眼底疾病的转归或者治疗效果的准确性。

图2是示出根据本公开实施例的特征匹配的示例性示意图。如图2中左图所示为一张参考眼底图像，右图所示为一张目标眼底图像。根据前文知，首先可以利用第一网络模型检测参考眼底图像和该组眼底图像的第一特征和第二特征。其中，第一特征和第二特征可以例如是闭合边界区域、边缘、轮廓、交线、血管分叉中的一种或者多种。接着，可以通过例如相关性算法或者相似性度量来计算第一特征和第二特征的相关性，进而根据相关性确定映射函数，以基于该映射函数将该眼底图像映射至参考眼底图像上。也即，通过一种空间变换把一幅图像（目标眼底图像，moving image）映射到另一幅图像（参考眼底图像，fixedimage）上，使得两张图像中对应于空间同一位置的点一一对应，从而达到信息融合的目的。例如图中所示出的每一条连线的两端即为两张图像中对应于空间同一位置的点（共同点），而未存在对应的一个点或者多个点即为差异点或差异特征。

在实现场景中，通过对图2所示的特征匹配的结果进行图像重采样和转换，并且使用例如插值技术计算非整数坐标的图像值，可以获得差异特征图像，例如图3所示。

图3是示出根据本公开实施例的差异特征图像的示例性示意图。如图3中示例性示出被检者在不同时期下的三张差异特征图像。由图3中可知，利用本公开实施例的方案，通过将被检者的目标眼底图像与参考眼底图像进行特征匹配，并对其进行转换获得差异特征图像，可以明显地观察到病灶区域以及病灶区域的变化情况。例如图3中是示出病灶区域位于眼底血管（如箭头所指部分），并且示出不同时期下的眼底血管出血变化情况，其中图3中左图所示为眼底血管未出血（或出血症状较轻），中间图所示为眼底血管出血症状严重，图3中右图所示为眼底血管出血症状有所缓解。基于上述描述可知，可以通过特征计算模块分割出病灶区域（例如眼底血管出血区域），并且对眼底血管出血区域进行测量和计算，可以获得目标特征参数（例如眼底血管出血面积），进一步结合差异特征图像可以分析眼底变化趋势。例如在该场景下，通过不同时期的差异特征图像以及眼底血管出血面积，可以分析出被检者存在糖尿病视网膜病变，并且中期较为严重，后期经过治疗有所缓解。

根据前文知，本公开实施例的目标分割区域除上述病灶区域外，还可以包括例如视杯区域、视盘区域，而上述目标特征参数除病灶面积值（例如眼底血管出血面积）外，还可以包括例如杯盘比、视杯视盘面积比以及视网膜动静脉比值。其中，前述杯盘比还可以包括例如垂直杯盘比、水平杯盘比以及平均杯盘比等，其中垂直杯盘的意义较为重要。下面将结合图4a-图4b来详细描述前述垂直杯盘比、水平杯盘比的计算。

图4a是示出根据本公开实施例的计算水平杯盘比的示例性示意图。如图4a中示出分割出的视杯区域401和视盘区域402。在计算水平杯盘比时，首先可以经视杯区域401和视盘区域402整体的中心点画一条水平线，接着分别计算该水平线与视杯区域401的边缘交点的水平距离/与视盘区域402的边缘交点的水平距离。在一个示例性场景中，假设L1（例如图中实线所示）是视盘区域402的水平距离，L2（例如图中虚线所示）是视杯区域401的水平距离。在该场景下，水平杯盘比= L2 / L1。

图4b是示出根据本公开实施例的计算垂直杯盘比的示例性示意图。如图4b中示出分割出的视杯区域401和视盘区域402。在计算垂直杯盘比时，首先可以经视杯区域401和视盘区域402整体的中心点画一条垂直线，并将该垂直线往左右偏转例如45°，接着分别计算偏转后的垂直线与视杯区域401的边缘交点的距离/与视盘区域402的边缘交点的距离，并且取计算得到的一组杯盘比中的最大值为垂直杯盘比。例如在一个示例性场景中，假设L3a是偏转后的垂直线与视盘区域402的交点的距离，L4a是偏转后的垂直线与视杯区域401的交点的距离。在该场景下，则垂直杯盘比 = max（L4a/ L3a），其中a表示偏转角度，并且该偏转角度可以例如是±45°。

在一个实施例中，还可以通过基于差异特征和目标特征参数构建图表，以基于图表形式展示被检者的眼底变化趋势。在应用场景中，前述图表形式可以包括例如端到端的变化比对图或者变化趋势图（例如图7所示），前述端到端的变化比对图是指从序列化数据的始和末，进行端到端的趋势比对，并且按照以下比对计算方式，即(最晚时间的值-最早时间的值)/最早时间的值*100%。前述变化趋势图是指按照从早至晚的时间顺序进行目标特征参数的趋势变化分析，其目标特征参数可以成组出现，并且包含不限于以下两种组合方式：垂直杯盘比、水平杯盘比、平均杯盘比、视杯视盘面积比或者上方盘沿宽度、下方盘沿宽度、鼻侧盘沿宽度、颞侧盘沿宽度。通过将图表形式展示被检者的眼底变化趋势，可以更直观地观察被检者的眼底变化趋势。

图5是示出根据本公开实施例的用于分析被检者的眼底变化趋势的系统500的示例性结构框图。如图5中所示，该系统500可以包括数据获取模块501、数据处理模块502以及数据分析模块503。下面将分别对前述数据获取模块501、数据处理模块502以及数据分析模块503进行详细描述。

在一个实施例中，上述数据获取模块501可以用于获取被检者的多组眼底图像。在一个应用场景中，该数据获取模块501可以通过对接例如PACS、眼底相机或者上传界面，通过PACS、眼底相机以及上传界面三种方式中的一种方式或者多种方式组合获取被检者的多组眼底图像。其中，被检者的多组眼底图像可以包括被检者处于多个时期对应的眼底图像，并且每组眼底图像包括被检者的左眼眼底图像和右眼眼底图像。即，被检者的眼底图像可以包括多组（或者称为多单），每组（或者每单）眼底图像中至少包括一张左眼眼底图像和一张右眼眼底图像。

在一个实施例中，上述数据处理模块502首先可以用于从数据获取模块501获取的多组眼底图像中选择被检者的至少两组目标眼底图像，接着对至少两组目标眼底图像执行特征匹配操作，以获取差异特征以及根据至少两组目标眼底图像计算目标特征参数。在一个实现场景中，前述数据处理模块502可以包括特征匹配模块，该特征匹配模块可以用于对至少两组目标眼底图像执行特征匹配操作，以获取差异特征。具体地，该特征匹配模块可以用于从至少两组目标眼底图像中选择一组眼底图像作为参考眼底图像。例如可以从被检者的目标眼底图像选择时间靠前的一组眼底图像作为参考眼底图像。接着，该特征匹配模块可以基于参考眼底图像和除参考眼底图像以外的各组目标眼底图像确定与特征匹配相关的映射函数，进而根据映射函数将除参考眼底图像以外的各组目标眼底图像映射至参考眼底图像上执行特征匹配操作，以获取差异特征。

其中，在基于参考眼底图像和除参考眼底图像以外的各组目标眼底图像确定与特征匹配相关的映射函数中，上述特征匹配模块可以进一步用于利用第一网络模型检测参考眼底图像和除参考眼底图像以外的各组目标眼底图像，以获得对应的第一特征和第二特征。进一步地，用于计算第一特征和第二特征的相关性。在一个实现场景中，可以利用例如相关性算法或者相似性度量来计算第一特征和第二特征的相关性。由此，可以经由特征匹配模块基于相关性确定与特征匹配相关的映射函数。例如可以基于映射函数将目标眼底图像中的特征一一映射至参考图像上，以将两张图像中对应于空间同一位置的点一一对应（例如上述图2中所示），以实现信息融合，而未对应的特征即为差异特征。在一些实施例中，上述特征匹配模块还可以用于将差异特征图像以静态图或者动态图的方式进行展示。关于确定差异特征的更多细节，可参考上述图1-图3所描述的内容，本公开在此不再赘述。

在一个实现场景中，上述数据处理模块502还可以包括特征计算模块，该特征计算模块可以用于利用第二网络模型对至少两组目标眼底图像进行图像分割，以获得目标分割区域，并且基于目标分割区域计算目标特征参数。其中，前述第二网络模型可以例如是全卷积网络（Fully Convolutional Networks，“FCN”）模型。前述目标分割区域可以例如是视杯区域、视盘区域、病灶区域（例如眼底血管出血）中的一种或者几种；前述目标特征参数可以例如是杯盘比、视杯视盘面积比和病灶面积值（例如眼底血管出血面积值）中的一种或者几种，其中前述杯盘比还可以包括例如垂直杯盘比、水平杯盘比以及平均杯盘比等。

基于上述获得的差异特征和目标特征参数，可以经由上述数据分析模块503基于上述差异特征和目标特征参数分析被检者的眼底变化趋势。例如，可以通过差异特征（或差异特征图像）和目标特征参数分析出被检者眼底的变化倾向于的疾病种类以及相应变化的量化。相比于传统的肉眼观察、借助测量工具的方式，本公开实施例的通过上述系统中的相应模块来对眼底图像进行特征匹配和计算目标特征参数，可以高效地处理眼底图像，从而能够快速地分析被检者的眼底变化趋势。

在一个实施场景中，本公开实施例的系统还可以包括序列化对齐模块，并且该序列化对齐模块可以用于对被检者的多组眼底图像执行序列化对齐操作，以获得执行序列化对齐操作后的多组眼底图像。由此，可以经由上述数据处理模块对至少两组目标眼底图像进行特征匹配和特征参数计算，进而经由数据分析模块基于对应的差异特征和目标特征参数分析被检者的眼底变化趋势。在一些实施例中，本公开实施例的系统还可以包括结果展示模块，并且该结果展示模块用于基于图表形式展示被检者的眼底变化趋势，以便更直观地观察被检者的眼底变化趋势。下面将结合图6详细描述前述序列化对齐模块和结果展示模块。

图6是示出根据本公开实施例的用于分析被检者的眼底变化趋势的系统的又一示例性结构框图。如图6中所示，该系统500可以包括数据获取模块501、数据处理模块502、数据分析模块503、序列化对齐模块601以及结果展示模块602。

在实现场景中，上述数据获取模块501可以用于获取被检者的多组眼底图像，其中前述被检者可以是人类，也可以是动物，而前述多组眼底图像是被检者处于多个时期对应的眼底图像，并且每组眼底图像至少包括一张左眼眼底图像和一张右眼眼底图像。在一个实施例中，可以通过PACS、眼底相机以及上传界面三种方式中的一种或者几种方式组合获取被检者的多组眼底图像。

在一个实施例中，上述获取的被检者的多组眼底图像可以首先经由序列化对齐模块601对其执行序列化对齐操作。例如可以通过被检者的唯一识别信息或者眼底重识别等多种方式来对被检者的多组眼底图像执行序列化对齐操作。基于此，能够识别出是同一被检者的眼底图像，并且每组眼底图像可以按时间顺序依次排列，以便更好地追踪被检者的眼底变化。

在获得上述被检者的多组眼底图像后，首先可以经由上述数据处理模块502从被检者的多组眼底图像或者从执行序列化对齐操作后的多组眼底图像中选择被检者的至少两组目标眼底图像。接着，对至少两组目标眼底图像执行特征匹配操作和计算特征参数，以获得差异特征和目标特征参数。如前所述，该数据处理模块502可以包括特征匹配模块和特征计算模块。在一个实现场景中，前述特征匹配模块可以用于从至少两组目标眼底图像选择时间靠前的一组眼底图像为参考眼底图像，并利用第一网络模型（例如区域卷积神经网络模型）以及SURF算法来检测参考眼底图像和其他各组眼底图像的第一特征和第二特征。接着，可以利用相关性算法来计算第一特征和第二特征的相关性，进而计算映射函数，通过映射函数将各组眼底图像与参考眼底图像进行匹配并且变换，从而获得差异特征。其中，前述差异特征还可以通过静态图或者动态图进行展示。在另一个实现场景中，前述特征计算模块可以用于通过第二网络模型（例如FCN模型）对至少两组目标眼底图像进行图像分割并且获得目标分割区域（例如视杯区域、视盘区域、病灶区域），通过对目标分割区域进行测量和计算可以获得目标特征参数（例如杯盘比、视杯视盘面积比、病灶面积值）。

进一步地，可以经由上述数据分析模块503基于差异特征和目标特征参数分析被检者的眼底变化趋势，例如分析被检者眼底的变化倾向于的疾病种类以及相应变化的量化。在一些实施例中，还可以基于差异特征和目标特征参数构建图表，并经由结果展示模块602将前述被检者的眼底变化趋势用图表的形式展示。其中，前述图表形式可以包括例如端到端的变化比对图或者变化趋势图，例如图7所示。

图7是示出根据本公开实施例的被检者的眼底变化趋势图的示例性示意图。如图7中所示是被检者在不同时期（t1,…,t6）对应的目标特征参数，并且该目标特征参数包括垂直杯盘比（如图中线段D所示）、水平杯盘比（如图中线段A所示）、平均杯盘比（如图中线段B所示）以及视杯视盘面积比（如图中线段C所示）。基于该变化趋势图，可以直观地观察出被检者在不同时期对应的目标特征参数的数值，通过将其与相应特征参数的正常范围值进行比对并且结合差异特征，可以分析出被检者的眼底变化。

例如，对于杯盘比而言，其通常是指视杯的直径与视盘直径的比值，该比值可以表示视神经损伤的严重程度。在应用场景中，垂直杯盘比意义更为重要，其正常比值范围大约在0.3-0.4之间。例如当垂直杯盘比超过0.4以上，可以认为被检者可能存在视神经受损的情况。另外，当两只眼睛的垂直杯盘比之间的差异超过0.2时，也可以作为分析是否存在视神经受损的依据。当杯盘比一直保持在0.5-0.6，且持续不变化，或很少变化时，可以考虑是生理现象，而非青光眼。对于视网膜动静脉而言，其正常的动静脉比值为2:3，当动静脉比值变为1:2或者1:3时，则可以分析出被检者可能存在动脉硬化或者相关疾病。以图7中所示被检者处于t3时期为例，其垂直杯盘比的比值为0.37，处于正常比值范围内，可以认为该时期内被检者未存在视神经受损的情况。

图8是示出根据本公开实施例的用于分析被检者的眼底变化趋势的设备800的框图。可以理解的是，实现本公开方案的设备可以是单一的设备（例如计算设备）或包括各种外围设备的多功能设备。

如图8中所示，本公开的设备可以包括中央处理器或中央处理单元（“CPU”）811，其可以是通用CPU、专用CPU或者其他信息处理以及程序运行的执行单元。进一步，设备800还可以包括大容量存储器812和只读存储器（“ROM”）813，其中大容量存储器812可以配置用于存储各类数据，包括各种与被检者的多组眼底图像、算法数据、中间结果和运行设备800所需要的各种程序。ROM 813可以配置成存储对于设备800的加电自检、系统中各功能模块的初始化、系统的基本输入/输出的驱动程序及引导操作系统所需的数据和指令。

可选地，设备800还可以包括其他的硬件平台或组件，例如示出的张量处理单元（“TPU”）814、图形处理单元（“GPU”）815、现场可编程门阵列（“FPGA”）816和机器学习单元（“MLU”）817。可以理解的是，尽管在设备800中示出了多种硬件平台或组件，但这里仅仅是示例性的而非限制性的，本领域技术人员可以根据实际需要增加或移除相应的硬件。例如，设备800可以仅包括CPU、相关存储设备和接口设备来实现本公开的用于分析被检者的眼底变化趋势的方法。

在一些实施例中，为了便于数据与外部网络的传递和交互，本公开的设备800还包括通信接口818，从而可以通过该通信接口818连接到局域网/无线局域网（“LAN/WLAN”）805，进而可以通过该LAN/WLAN连接到本地服务器806或连接到因特网（“Internet”）807。替代地或附加地，本公开的设备800还可以通过通信接口818基于无线通信技术直接连接到因特网或蜂窝网络，例如基于第3代（“3G”）、第4代（“4G”）或第5代（“5G”）的无线通信技术。在一些应用场景中，本公开的设备800还可以根据需要访问外部网络的服务器808和数据库809，以便获得各种已知的图像模型、数据和模块，并且可以远程地存储各种数据，例如用于呈现例如多组眼底图像、特征匹配结果、差异特征、眼底变化趋势图等的各类数据或指令。

设备800的外围设备可以包括显示装置802、输入装置803和数据传输接口804。在一个实施例中，显示装置802可以例如包括一个或多个扬声器和/或一个或多个视觉显示器，其配置用于对本公开的分析被检者的眼底变化趋势的过程或者最终结果进行语音提示和/或图像视频显示。输入装置803可以包括例如键盘、鼠标、麦克风、姿势捕捉相机等其他输入按钮或控件，其配置用于接收眼底图像的输入和/或用户指令。数据传输接口804可以包括例如串行接口、并行接口或通用串行总线接口（“USB”）、小型计算机系统接口（“SCSI”）、串行ATA、火线（“FireWire”）、PCI Express和高清多媒体接口（“HDMI”）等，其配置用于与其他设备或系统的数据传输和交互。根据本公开的方案，该数据传输接口804可以接收来自于例如眼底照相机采集的眼底图像、PACS中的眼底图像，并且向设备800传送包括眼底图像或各种其他类型的数据或结果。

本公开的设备800的上述CPU 811、大容量存储器812、ROM 813、TPU 814、GPU 815、FPGA 816、MLU 817和通信接口818可以通过总线819相互连接，并且通过该总线与外围设备实现数据交互。在一个实施例中，通过该总线819，CPU 811可以控制设备800中的其他硬件组件及其外围设备。

以上结合图8描述了可以用于执行本公开的分析被检者的眼底变化趋势的设备。需要理解的是这里的设备结构或架构仅仅是示例性的，本公开的实现方式和实现实体并不受其限制，而是可以在不偏离本公开的精神下做出改变。

根据上述结合附图的描述，本领域技术人员也可以理解本公开的实施例还可以通过软件程序来实现。由此本公开还提供了一种计算机程序产品。该计算机程序产品可以用于实现本公开结合附图1所描述的分析被检者的眼底变化趋势的方法。

应当注意，尽管在附图中以特定顺序描述了本公开方法的操作，但是这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

应当理解，当本公开的权利要求、当说明书及附图中使用到术语“第一”、“第二”、“第三”和“第四”等时，其仅用于区别不同对象，而不是用于描述特定顺序。本公开的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本公开说明书中所使用的术语仅仅是出于描述特定实施例的目的，而并不意在限定本公开。如在本公开说明书和权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本公开说明书和权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

虽然本公开的实施方式如上，但所述内容只是为便于理解本公开而采用的实施例，并非用以限定本公开的范围和应用场景。任何本公开所述技术领域内的技术人员，在不脱离本公开所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本公开的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (13)

1.一种用于分析被检者的眼底变化趋势的方法，包括：

获取被检者的多组眼底图像；

从所述多组眼底图像中选择所述被检者的至少两组目标眼底图像；

对所述至少两组目标眼底图像执行特征匹配操作，以获取差异特征；

根据所述至少两组目标眼底图像计算目标特征参数；以及

基于所述差异特征和所述目标特征参数分析所述被检者的眼底变化趋势。

2.根据权利要求1所述的方法，其中所述多组眼底图像包括所述被检者处于多个时期对应的眼底图像，并且每组眼底图像包括所述被检者的左眼眼底图像和右眼眼底图像。

3.根据权利要求2所述的方法，还包括：

对所述被检者的多组眼底图像执行序列化对齐操作，以获得执行序列化对齐操作后的多组眼底图像。

4.根据权利要求2所述的方法，其中对所述至少两组目标眼底图像执行特征匹配操作，以获取差异特征包括：

从所述至少两组目标眼底图像中选择一组眼底图像作为参考眼底图像；

基于所述参考眼底图像和除所述参考眼底图像以外的各组目标眼底图像确定与特征匹配相关的映射函数；以及

根据所述映射函数将除所述参考眼底图像以外的各组目标眼底图像映射至所述参考眼底图像上执行特征匹配操作，以获取差异特征。

5.根据权利要求4所述的方法，其中基于所述参考眼底图像和除所述参考眼底图像以外的各组目标眼底图像确定与特征匹配相关的映射函数包括：

利用第一网络模型检测所述参考眼底图像和除所述参考眼底图像以外的各组目标眼底图像，以获得对应的第一特征和第二特征；

计算所述第一特征和第二特征的相关性；以及

基于所述相关性确定与特征匹配相关的映射函数。

6.根据权利要求2所述的方法，其中根据所述至少两组目标眼底图像计算目标特征参数包括：

利用第二网络模型对所述至少两组目标眼底图像进行图像分割，以获得目标分割区域；以及

基于所述目标分割区域计算目标特征参数。

7.根据权利要求6所述的方法，其中所述目标分割区域包括视杯区域、视盘区域和病灶区域中一种或者几种；所述目标特征参数包括杯盘比、视杯视盘面积比和病灶面积值中的一种或者几种。

8.根据权利要求1所述的方法，还包括：

基于所述差异特征和所述目标特征参数构建图表，以基于图表形式展示所述被检者的眼底变化趋势。

9.一种用于分析被检者的眼底变化趋势的系统，包括：

数据获取模块，其用于获取被检者的多组眼底图像；

数据处理模块，其用于：

从所述多组眼底图像中选择所述被检者的至少两组目标眼底图像；

对所述至少两组目标眼底图像执行特征匹配操作，以获取差异特征；

根据所述至少两组目标眼底图像计算目标特征参数；以及

数据分析模块，其用于基于所述差异特征和所述目标特征参数分析所述被检者的眼底变化趋势。

10.根据权利要求9所述的系统，还包括序列化对齐模块，所述序列化对齐模块用于对所述被检者的多组眼底图像执行序列化对齐操作，以获得执行序列化对齐操作后的多组眼底图像。

11.根据权利要求9所述的系统，还包括：结果展示模块，所述结果展示模块用于基于图表形式展示所述被检者的眼底变化趋势。

12.一种用于分析被检者的眼底变化趋势的设备，包括：

处理器；以及

存储器，其存储有用于分析被检者的眼底变化趋势的程序指令，当所述程序指令由所述处理器执行时，使得所述设备实现根据权利要求1-8任意一项所述的方法。

13.一种计算机可读存储介质，其上存储有用于分析被检者的眼底变化趋势的计算机可读指令，该计算机可读指令被一个或多个处理器执行时，实现如权利要求1-8任意一项所述的方法。

Images