CN115778314A - 眼睛状态评估方法及电子装置 - Google Patents

Abstract

本发明提供一种眼睛状态评估方法及电子装置。所述方法包括：从第一眼底图中取得视神经盘图像区域，并由多个第一模型基于视神经盘图像区域产生多个视神经杯盘比值评估结果；基于上述视神经杯盘比值评估结果取得眼睛的第一评估结果；对第一眼底图进行多种数据扩增操作，以产生多个第二眼底图；由多个第二模型基于上述第二眼底图产生多个视神经纤维层缺损评估结果；基于上述视神经纤维层缺损评估结果取得眼睛的第二评估结果；以及基于第一评估结果及第二评估结果取得眼睛的视神经评估结果。藉此，本发明可提供医师在评估患者眼睛状态时的参考，进而有助于医师对患者眼睛给出适当的评估结果。

Description

眼睛状态评估方法及电子装置

技术领域

本发明涉及一种人体状态评估方法及电子装置，且尤其涉及一种眼睛状态评估方法及电子装置。

背景技术

经统计，青光眼为造成美国民众失明的第二大主因。一般而言，青光眼的诊断方式为使用眼科光学同调断层扫描(Optical Coherence Tomography，OCT)计算视网膜神经纤维层厚度(retinal nerve fiber layer，RNFL)，然而一般人不会刻意去拍摄OCT图像。

相较于OCT的高成本与不易取得，彩色眼底图图像(Color Fundus Photography)相对容易获取。从眼底图图像中可以观察到许多眼睛疾病的病征，其中视神经盘(Opticdisc)与视神经杯(Optic cup)的杯盘比值(Cup-to-disc Ratio，CDR)与视网膜神经纤维层缺损(RNFL defect)均可从眼底图图像取得，从而判断青光眼程度。

然而，由于不同医师基于眼底图图像所判断的青光眼程度可能有所差异，因此，对于本领域技术人员而言，如何设计一种能够辅助医师进行判断的机制实为一项重要议题。

发明内容

有鉴于此，本发明提供一种眼睛状态评估方法及电子装置，其可用于解决上述技术问题。

本发明提供一种眼睛状态评估方法，适于一电子装置，包括：取得一眼睛的一第一眼底图，其中第一眼底图包括一视神经盘图像区域；从第一眼底图中取得视神经盘图像区域，并由多个第一模型基于视神经盘图像区域产生多个视神经杯盘比值评估结果；基于所述多个视神经杯盘比值评估结果取得眼睛的一第一评估结果；对第一眼底图进行多种数据扩增操作，以产生分别对应于所述多个数据扩增操作的多个第二眼底图；由多个第二模型基于所述多个第二眼底图产生多个视神经纤维层缺损评估结果；基于所述多个视神经纤维层缺损评估结果取得眼睛的一第二评估结果；以及基于第一评估结果及第二评估结果取得眼睛的一视神经评估结果。

本发明提供一种电子装置，包括存储电路及处理器。存储电路存储一程序代码。处理器耦接存储电路，并访问程序代码以执行：取得一眼睛的一第一眼底图，其中第一眼底图包括一视神经盘图像区域；从第一眼底图中取得视神经盘图像区域，并由多个第一模型基于视神经盘图像区域产生多个视神经杯盘比值评估结果；基于所述多个视神经杯盘比值评估结果取得眼睛的一第一评估结果；对第一眼底图进行多种数据扩增操作，以产生分别对应于所述多个数据扩增操作的多个第二眼底图；由多个第二模型基于所述多个第二眼底图产生多个视神经纤维层缺损评估结果；基于所述多个视神经纤维层缺损评估结果取得眼睛的一第二评估结果；以及基于第一评估结果及第二评估结果取得眼睛的一视神经评估结果。

附图说明

包含附图以便进一步理解本发明，且附图并入本说明书中并构成本说明书的一部分。附图说明本发明的实施例，并与描述一起用于解释本发明的原理。

图1是依据本发明的实施例示出的电子装置示意图；

图2是依据本发明的实施例示出的眼睛状态评估方法流程图；

图3是依据本发明的实施例示出的取得眼睛的第一评估结果的示意图；

图4是依据图3示出的取得眼睛的第二评估结果的示意图。

具体实施方式

现将详细地参考本发明的示范性实施例，示范性实施例的实例说明于附图中。只要有可能，相同组件符号在附图和描述中用来表示相同或相似部分。

请参照图1，其是依据本发明的实施例示出的电子装置示意图。在不同的实施例中，电子装置100例如是各式计算机装置及/或智能型装置，但可不限于此。

如图1所示，电子装置100可包括存储电路102及处理器104。存储电路102例如是任意型式的固定式或可移动式随机访问内存(Random Access Memory，RAM)、只读存储器(Read-Only Memory，ROM)、闪存(Flash memory)、硬盘或其他类似装置或这些装置的组合，而可用以记录多个程序代码或模块。

处理器104耦接于存储电路102，并可为一般用途处理器、特殊用途处理器、传统的处理器、数字信号处理器、多个微处理器(microprocessor)、一个或多个结合数字信号处理器核心的微处理器、控制器、微控制器、特殊应用集成电路(Application SpecificIntegrated Circuit，ASIC)、现场可程序门阵列电路(Field Programmable Gate Array，FPGA)、任何其他种类的集成电路、状态机、基于进阶精简指令集机器(Advanced RISCMachine，ARM)的处理器以及类似品。

在本发明的实施例中，处理器104可访问存储电路102中记录的模块、程序代码来实现本发明提出的眼睛状态评估方法，其细节详述如下。

请参照图2，其是依据本发明的实施例示出的眼睛状态评估方法流程图。本实施例的方法可由图1的电子装置100执行，以下即搭配图1所示的组件说明图2各步骤的细节。

首先，在步骤S210中，处理器104可取得眼睛A的第一眼底图。在一实施例中，所述眼睛A例如是某患者的其中一眼，而所述第一眼底图例如是经医疗人员通过操作用于拍摄眼底图的仪器对上述眼睛A拍摄而得的彩色眼底图，但可不限于此。

在一实施例中，由于一般所拍摄的眼底图可能包括黑边，因此处理器104可在取得眼底图之后，先对此眼底图进行黑边的裁切，以产生未具有黑边的眼底图作为上述第一眼底图，但可不限于此。为使本发明的概念更易于理解，以下将辅以图3作进一步说明。

请参照图3，其是依据本发明的实施例示出的取得眼睛的第一评估结果的示意图。在图3中，假设处理器104在步骤S210取得如图3所示的第一眼底图310，其中第一眼底图310可包括视神经盘图像区域311及视神经杯图像区域312，而其分别对应于上述眼睛A中的视神经盘及视神经杯。

在取得第一眼底图310之后，在步骤S220中，处理器104可从第一眼底图310中取得视神经盘图像区域311，并由多个第一模型基于视神经盘图像区域311产生多个CDR评估结果。

在一实施例中，处理器104可将第一眼底图310输入经预训练的参考神经网络320，其中参考神经网络320可因应于第一眼底图310而辨识并输出视神经盘图像区域311。

在一实施例中，在将参考神经网络320用于找出第一眼底图310中的视神经盘图像区域311之前，参考神经网络320可先基于标注有特定感兴趣区域(region of interest，ROI)的训练图像进行训练，藉以通过训练图像学习这些ROI所具有的特征。因此，在本实施例中，为了令参考神经网络320具有辨识任一眼底图图像中视神经盘图像区域的能力，参考神经网络320可先基于以标注有视神经盘图像区域的多个训练图像(即，眼底图图像)进行学习，以学习眼底图图像中视神经盘图像区域的特征，但可不限于此。

之后，处理器104可将参考神经网络320输出的视神经盘图像区域311提供予所述多个第一模型，以产生对应的CDR评估结果。在本发明的实施例中，各第一模型的CDR评估结果可上述眼睛A中的视神经杯的轴长与视神经盘的轴长之间的比值(即，CDR)是正常或异常，但可不限于此。

在图3情境中，假设所考虑的所述多个第一模型(其数量例如为N，且N为单数)包括所示的第一神经网络331、第二神经网络332及第三神经网络333，但可不限于此。

在一实施例中，第一神经网络331可因应于视神经盘图像区域311而输出CDR评估结果R11(例如正常或异常)。

在一实施例中，为了令第一神经网络331具有因应于任一视神经盘图像区域而辨识其对应的CDR是否正常的能力，第一神经网络331可先基于CDR为正常的多个视神经盘图像区域进行学习，以学习具正常CDR的视神经盘图像区域的特征。此外，第一神经网络331也可基于CDR为异常的多个视神经盘图像区域进行学习，以学习具异常CDR的视神经盘图像区域的特征，但可不限于此。

在一实施例中，处理器104可将视神经盘图像区域311输入第二神经网络332，而第二神经网络332可因应于视神经盘图像区域311而输出上述眼睛A的第一CDR。

在一实施例中。为了令第二神经网络332具有因应于任一视神经盘图像区域而辨识其对应的CDR的能力，第二神经网络332可先基于标注有对应CDR的多个视神经盘图像区域进行学习，以学习各种CDR对应的视神经盘图像区域的特征，但可不限于此。

在取得第一CDR之后，处理器104可判断第一CDR是否高于一预设门限值(例如0.7)。在一实施例中，反应于判定第一CDR高于此预设门限值，处理器104可判定第二神经网络332的CDR评估结果R12为异常。另一方面，反应于判定第一CDR未高于此预设门限值，处理器104可判定第二神经网络332的CDR评估结果R12为正常，但可不限于此。

在一实施例中，处理器104可将视神经盘图像区域311输入第三神经网络333，而第三神经网络333可因应于视神经盘图像区域311而输出上述眼睛A的视神经杯轴长及视神经盘轴长。

在一实施例中，为了令第三神经网络333具有因应于任一视神经盘图像区域而辨识其对应的视神经杯轴长及视神经盘轴长的能力，第三神经网络333可先基于标注有对应视神经杯轴长及视神经盘轴长的多个视神经盘图像区域进行学习，以学习各种视神经杯轴长及视神经盘轴长对应的视神经盘图像区域的特征，但可不限于此。

在取得视神经盘图像区域311对应的视神经杯轴长及视神经盘轴长之后，处理器104可据以取得上述眼睛A的第二CDR。举例而言，处理器104可将上述视神经杯轴长除以视神经盘轴长以取得第二CDR，但可不限于此。

接着，处理器104可判断第二CDR是否高于上述预设门限值(例如0.7)。在一实施例中，反应于判定第二CDR高于此预设门限值，处理器104可判定第三神经网络333的CDR评估结果R13为异常。另一方面，反应于判定第二CDR未高于此预设门限值，处理器104可判定第三神经网络333的CDR评估结果R13为正常，但可不限于此。

在取得CDR评估结果R11～R13之后，在步骤S230中，处理器104可基于所述多个CDR评估结果R11～R13取得眼睛A的第一评估结果RR1。

在一实施例中，处理器104在CDR评估结果R11～R13出指示正常的多个第一结果，并在CDR评估结果R11～R13找出指示异常的多个第二结果。之后，反应于判定上述第一结果多于上述第二结果，处理器104可判定第一评估结果RR1指示正常(即，眼睛A的CDR为正常)。另一方面，反应于判定上述第一结果少于上述第二结果，处理器104可判定第一评估结果RR1指示异常(即，眼睛A的CDR为异常)。

简言之，处理器104可以CDR评估结果R11～R13进行多数决。若CDR评估结果R11～R13中指示正常的第一结果较多，则处理器104可判定第一评估结果RR1指示正常；若CDR评估结果R11～R13中指示异常的第二结果较多，则处理器104可判定第一评估结果RR1指示异常，但可不限于此。

此外，在步骤S240中，处理器104可对第一眼底图310进行多种数据扩增操作，以产生分别对应于所述多个数据扩增操作的多个第二眼底图。为使本发明的概念更易于理解，以下将辅以图4作进一步说明。

请参照图4，其是依据图3示出的取得眼睛的第二评估结果的示意图。在图4中，处理器104可对第一眼底图310进行M种(M为正整数)数据扩增操作，以产生M个第二眼底图411～41M，其中所述M种数据扩增操作可包括对第一眼底图310进行旋转、平移、翻转、缩放、伸展等，但可不限于此。

之后，在步骤S250中，处理器104可将第二眼底图411～41M分别输入至第二模型421～42M，以由各第二模型421～42M输出对应的预测信心值作为RNFL缺损评估结果R21～R2M。在一实施例中，各第二模型421～42M对应的预测信心值(即，RNFL缺损评估结果R21～R2M)可指示上述眼睛A的RNFL的异常程度。

在一实施例中，为了令各第二模型421～42M具有因应于经数据扩增的眼底图而辨识其对应的RNFL的异常程度的能力，各第二模型421～42M可先基于标注有对应的RNFL的异常程度的多个(经数据扩增的)眼底图进行学习，以学习各种RNFL的异常程度对应的眼底图的特征，但可不限于此。

在取得各第二模型421～42M的预测信心值(即，RNFL缺损评估结果R21～R2M)之后，在步骤S260中，处理器104可基于所述多个RNFL缺损评估结果R21～R2M取得眼睛A的第二评估结果RR2。

在一实施例中，处理器104可取得各第二模型421～42M对应的预测信心值与参考基准值(例如0.5)之间的一平方差，并据以在第二模型421～42M中找出一候选模型。在一实施例中，此候选模型对应的平方差在第二模型421～42M中可为最大。

之后，处理器104可判断此候选模型对应的预测信心值是否高于上述参考基准值。若是，则处理器104可判定上述眼睛A的第二评估结果RR2指示异常，反之则可判定上述眼睛A的第二评估结果RR2指示正常。

在取得上述眼睛A的第一评估结果RR1(其可指示正常或异常)及第二评估结果RR2(其可指示正常或异常)之后，在步骤S270中，处理器104可基于第一评估结果RR1及第二评估结果RR1取得眼睛A的视神经评估结果。

在一实施例中，反应于判定第一评估结果RR1指示正常且第二评估结果RR2指示正常，判定眼睛A的视神经评估结果属于一第一风险程度；反应于判定第一评估结果RR1指示异常且第二评估结果RR2指示正常，判定眼睛A的视神经评估结果属于一第二风险程度，其中第二风险程度大于第一风险程度；反应于判定第一评估结果RR1指示正常且第二评估结果RR2指示异常，判定眼睛A的视神经评估结果属于一第三风险程度其中第三风险程度大于第二风险程度；反应于判定第一评估结果RR1指示异常且第二评估结果RR2指示异常，判定眼睛A的视神经评估结果属于一第四风险程度，其中第四风险程度大于第三风险程度。

在一实施例中，第一、第二、第三及第四风险程度可理解为眼睛A罹患青光眼的概率。例如，当眼睛A的视神经评估结果属于第一风险程度时，此即代表眼睛A罹患青光眼的概率较低。另一方面，当眼睛A的视神经评估结果属于第四风险程度时，此即代表眼睛A罹患青光眼的概率较高，但可不限于此。藉此，本发明即可将所取得的视神经评估结果呈现予医师或其他相关人员，以作为对眼睛A进行诊断的辅助信息，但可不限于此。

在一实施例中，第一、第二、第三及第四风险程度可概略地理解为正常、低风险、中风险及高风险，而其可经整理为下表1所示内容，但可不限于此。

第一评估结果RR1	第二评估结果RR2	视神经评估结果
			正常	正常	正常
异常	正常	低风险
			正常	异常	中风险
异常	异常	高风险

表1

综上所述，本发明在取得视神经盘图像区域之后，可由具不同辨识机制的多个第一模型个别基于视神经盘图像区域产生对应的CDR评估结果，再据以进行多数决以决定第一评估结果系指示正常或异常。另外，本发明还可在对第一眼底图执行多种不同数据扩增以得到多个第二眼底图之后，由各第二模型基于这些第二眼底图之一而产生对应的RNFL缺损结果，并据以得到指示眼睛的RNFL属于正常或异常的第二评估结果。之后，本发明可再综合考虑第一、第二评估结果，以得到眼睛的视神经评估结果。藉此，本发明可提供医师在评估患者眼睛状态时的参考，进而有助于医师对患者眼睛给出适当的评估结果。举例而言，医师可基于本发明实施例所提供的视神经评估结果而对患者是否罹患青光眼而作出适当的评估，进而改善诊断的质量。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (12)

1.一种眼睛状态评估方法，适于电子装置，其特征在于，包括：

取得眼睛的第一眼底图，其中所述第一眼底图包括视神经盘图像区域；

从所述第一眼底图中取得所述视神经盘图像区域，并由多个第一模型基于所述视神经盘图像区域产生多个视神经杯盘比值评估结果；

基于所述多个视神经杯盘比值评估结果取得所述眼睛的第一评估结果；

对所述第一眼底图进行多种数据扩增操作，以产生分别对应于所述多个数据扩增操作的多个第二眼底图；

由多个第二模型基于所述多个第二眼底图产生多个视神经纤维层缺损评估结果；

基于所述多个视神经纤维层缺损评估结果取得所述眼睛的第二评估结果；以及

基于所述第一评估结果及所述第二评估结果取得所述眼睛的视神经评估结果。

2.根据权利要求1所述的方法，其中所述第一眼底图包括所述眼睛的彩色眼底图，且所述彩色眼底图未具有黑边。

3.根据权利要求1所述的方法，其中从所述第一眼底图中取得所述视神经盘图像区域的步骤包括：

将所述第一眼底图输入参考神经网络，其中所述参考神经网络因应于所述第一眼底图而在所述第一眼底图中辨识所述视神经盘图像区域，并输出所述视神经盘图像区域。

4.根据权利要求1所述的方法，其中所述多个第一模型包括N个神经网络，且各所述视神经杯盘比值评估结果指示所述眼睛的视神经杯盘比为正常或异常，其中N为单数。

5.根据权利要求4所述的方法，其中基于所述多个视神经杯盘比值评估结果取得所述眼睛的所述第一评估结果的步骤包括：

在所述多个视神经杯盘比值评估结果找出指示正常的多个第一结果，并在所述多个视神经杯盘比值评估结果找出指示异常的多个第二结果；

反应于判定所述多个第一结果多于所述多个第二结果，判定所述第一评估结果指示正常；以及

反应于判定所述多个第一结果少于所述多个第二结果，判定所述第一评估结果指示异常。

6.根据权利要求1所述的方法，其中所述多个第一模型包括第一神经网络，且所述方法包括：

将所述视神经盘图像区域输入所述第一神经网络，其中所述第一神经网络因应于所述视神经盘图像区域而输出所述多个视神经杯盘比值评估结果之一。

7.根据权利要求1所述的方法，其中所述多个第一模型包括第二神经网络，且所述方法包括：

将所述视神经盘图像区域输入所述第二神经网络，其中所述第二神经网络因应于所述视神经盘图像区域而输出所述眼睛的第一视神经杯盘比值；

反应于判定所述第一视神经杯盘比值高于预设门限值，判定所述第二神经网络对应的所述多个视神经杯盘比值评估结果之一指示异常；以及

反应于判定所述第一视神经杯盘比值未高于所述预设门限值，判定所述第二神经网络对应的所述多个视神经杯盘比值评估结果之一指示正常。

8.根据权利要求1所述的方法，其中所述视神经盘图像区域包括视神经杯图像区域，所述多个第一模型包括第三神经网络，且所述方法包括：

将所述视神经盘图像区域输入所述第三神经网络，其中所述第三神经网络因应于所述视神经杯图像区域而输出所述眼睛的视神经杯轴长，并因应于所述视神经盘图像区域而输出所述眼睛的视神经盘轴长；

基于所述视神经杯轴长及所述视神经盘轴长取得所述眼睛的第二视神经杯盘比值；

反应于判定所述第二视神经杯盘比值高于预设门限值，判定所述第三神经网络对应的所述多个视神经杯盘比值评估结果之一指示异常；以及

反应于判定所述第二视神经杯盘比值未高于所述预设门限值，判定所述第三神经网络对应的所述多个视神经杯盘比值评估结果之一指示正常。

9.根据权利要求1所述的方法，其中由所述多个第二模型基于所述多个第二眼底图产生所述多个视神经纤维层缺损评估结果的步骤包括：

将所述多个第二眼底图之一者输入所述多个第二模型之一者，其中所述多个第二模型之所述一者因应于所述多个第二眼底图之所述一者而输出预测信心值作为所述多个视神经纤维层缺损评估结果之一，其中所述预测信心值指示所述眼睛的异常程度。

10.根据权利要求9所述的方法，其中基于所述多个视神经纤维层缺损评估结果取得所述眼睛的所述第二评估结果的步骤包括：

取得各所述第二模型对应的所述预测信心值与参考基准值之间的平方差，并据以在所述多个第二模型中找出候选模型，其中所述候选模型对应的所述平方差在所述多个第二模型中为最大；

反应于判定所述候选模型对应的所述预测信心值高于所述参考基准值，判定所述眼睛的所述第二评估结果指示异常；以及

反应于判定所述候选模型对应的所述预测信心值不高于所述参考基准值，判定所述眼睛的所述第二评估结果指示正常。

11.根据权利要求1所述的方法，其中所述第一评估结果指示正常或异常，所述第二评估结果指示正常或异常，且基于所述第一评估结果及所述第二评估结果取得所述眼睛的视神经评估结果的步骤包括：

反应于判定所述第一评估结果指示正常且所述第二评估结果指示正常，判定所述眼睛的所述视神经评估结果属于第一风险程度；

反应于判定所述第一评估结果指示异常且所述第二评估结果指示正常，判定所述眼睛的所述视神经评估结果属于第二风险程度，其中所述第二风险程度大于所述第一风险程度；

反应于判定所述第一评估结果指示正常且所述第二评估结果指示异常，判定所述眼睛的所述视神经评估结果属于第三风险程度，其中所述第三风险程度大于所述第二风险程度；

反应于判定所述第一评估结果指示异常且所述第二评估结果指示异常，判定所述眼睛的所述视神经评估结果属于第四风险程度，其中所述第四风险程度大于所述第三风险程度。

12.一种电子装置，其特征在于，包括：

存储电路，其存储程序代码；

处理器，其耦接所述存储电路，并访问所述程序代码以执行：

取得眼睛的第一眼底图，其中所述第一眼底图包括视神经盘图像区域；

从所述第一眼底图中取得所述视神经盘图像区域，并由多个第一模型基于所述视神经盘图像区域产生多个视神经杯盘比值评估结果；

基于所述多个视神经杯盘比值评估结果取得所述眼睛的第一评估结果；

对所述第一眼底图进行多种数据扩增操作，以产生分别对应于所述多个数据扩增操作的多个第二眼底图；

由多个第二模型基于所述多个第二眼底图产生多个视神经纤维层缺损评估结果；

基于所述多个视神经纤维层缺损评估结果取得所述眼睛的第二评估结果；以及

基于所述第一评估结果及所述第二评估结果取得所述眼睛的视神经评估结果。

Images