CN100530204C - 评估图像中的损伤 - Google Patents

评估图像中的损伤 Download PDF

Info

Publication number
CN100530204C
CN100530204C CNB028228758A CN02822875A CN100530204C CN 100530204 C CN100530204 C CN 100530204C CN B028228758 A CNB028228758 A CN B028228758A CN 02822875 A CN02822875 A CN 02822875A CN 100530204 C CN100530204 C CN 100530204C
Authority
CN
China
Prior art keywords
image
damage
zone
candidate
observability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB028228758A
Other languages
English (en)
Other versions
CN1589449A (zh
Inventor
约翰·D·汉森
迈克尔·格伦金
尼尔斯·V·哈特维格
詹尼克·戈特
珀·R·安德烈森
埃比·索伦森
索菲亚·B·史密斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ray Warner Co.
Original Assignee
RetinaLyze Danmark AS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by RetinaLyze Danmark AS filed Critical RetinaLyze Danmark AS
Publication of CN1589449A publication Critical patent/CN1589449A/zh
Application granted granted Critical
Publication of CN100530204C publication Critical patent/CN100530204C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Abstract

本发明涉及一种评估图像中损伤的存在或不存在的方法及其系统,其中所述图像可以是任何潜在地包括损伤的图像,尤其是来自医疗图像诊断的图像,并且更特别地是眼底图像。从候选损伤区的起始点来识别损伤,并且关于它们的可见性与局部环境比较来验证损伤。

Description

评估图像中的损伤
技术领域
本发明涉及一种评估图像中损伤存在或不存在的方法及其系统,其中所述图像可以是任何潜在地包括损伤的图像,尤其是来自医疗图像诊断方法的图像,并且更特别地是眼底(ocular fundus)图像。
背景技术
眼底图像分析(fundus image analysis)呈现出几种挑战,例如高图像易变性(variability)、需要面对不理想的成像条件和短暂的计算期限而进行可靠的处理。当病变存在时,随着状况恶化,可以在不同的患者之间可以观察到高大的易变性-即使是健康的,同样如此。对于同一个患者来说,在不同的成像条件下,在治疗期间或仅仅在较长时间期间,可以观察到易变性。此外,由于经受到不适当的光照、闪耀、渐隐、聚焦不准以及由反射、折射和散射引起的非自然信号,眼底图像的特征常常在于具有有限的质量。
眼底图像的血管树(vascular tree)的自动提取和分析是眼底图像分析中非常重要的任务,有几种原因。首先,血管树是最明显的视网膜特征,而且它与健康状况无关。这使血管树成为自动登记和蒙太奇合成算法(montagesynthesis algorithms)的明显的基础。此外,眼底图像中视神经乳突和中央凹(fovea)的自动且强健的定位的任务,以及静脉和动脉的自动分类的任务,非常依赖于血管树的正确提取。另一个示例是自动检测损伤的任务,在很多情况下损伤类似血管。准确提取的血管树是消除由这种算法产生的伪阳性反应(false positive response)的有价值的工具,从而增加了其确切性。最后,血管自身常常显示出各种病变表现,例如增加的弯曲度、反常的内径改变以及去增生(deproliferation)。自动血管跟踪算法也是分析这些现象的明显基础。
糖尿病是导致就业年龄的成人失明的主要原因。它是这样一种疾病,即在它的很多症状中,包含周围血管系统的渐进性的损伤。视网膜的脉管系统中的这些改变会引起渐进性的视觉损伤,并且最终导致完全失明。糖尿病性视网膜病的不幸在于,虽然在大量的病例中,能够通过早期诊断和治疗来预防失明,但是能够提供早期检测的筛查程序(screening program)还不普及。
当前存在早期检测糖尿病性视网膜病的有前途的技术。研究人员发现,在视网膜病出现之前,在通过视网膜的血流中会出现可发觉的视觉改变。目前存在着对糖尿病性视网膜病进行分级和分类的诊断技术,以及一系列在不同时间拍摄的视网膜图像,这些为退化的早期检测提供了一套方法。然后,各种内科、外科以及饮食规定等干涉,都可以防止疾病逐渐发展到失明。
尽管目前存在预防糖尿病性失明的技术,但是只有少数经历痛苦的人们接受到及时正确的治疗,并且显著的障碍使大多数患者远离糖尿病眼睛治疗的现有技术。数量有限的眼科专家受过评价视网膜病的训练,而且大多数位于人口中心。很多患者支付不起旅行到专家那里的费用或时间。此外,文化和语言的障碍常常使老人、农村和少数民族的患者不能够受到正确的治疗。而且,因为糖尿病是一种持续的疾病,而糖尿病性视网膜病是一种退化的疾病,所以痛苦的患者需要终生的疾病照理,包含周期检查以便监测和记录视网膜的状况,以及对患者而言,需要对医疗和行为指导方针持续不变的关注。这种持续不变的个人责任需要高度的动机,而且终生的疾病照理会成为沉重的生活方式负担。这些因素至少在某些方面增加了患者不能够接受正确的疾病照理的可能性,而这常常带来悲惨的结果。
因此,需要实现更广泛的用于视网膜退化或病变的筛查技术(screening),以及需要确实地消除财政、社会和文化障碍以便实现这种筛查技术。还需要提高视网膜评估的效率和质量。
因此,对眼底结构的定位和定向的准确了解是很重要的,包含血管的定位。当前,主要通过临床医生“人工”检查每个图像,来执行眼底图像的检查。这不仅非常费时,而且由于不同的临床医生评估给定图像的方式之间可能存在矛盾,即使是有经验的临床医生能够花几分钟来评估单个图像,也容易出错。因此,需要提供使用计算机化的图像分析,来自动进行眼底图像分析的方式,以便至少提供初步的筛查信息,并且还可以作为诊断的辅助手段,来帮助临床医生进行疑难病例的分析。
其次,普遍地需要提供这样一种方法,即它使用计算机化的图像分析技术,来精确确定乳突(视神经的出口点)和中央凹(视网膜中心的区域,该区域的视网膜对光最敏感)的位置以及眼底血管。
发明内容
本发明涉及一种检测图像中损伤的方法,其中所述图像包括多个血管。图像可以是包括血管的任何物体的图像。尤其是,该方法涉及医学中的图像诊断技术,例如X-射线、扫描图像、照片、核磁放射(magnetic nuclear radiation)扫描、CT扫描以及潜在地包括损伤的其他图像。
为了能够对眼底图像中的各种结构进行自动检测,提供一种可靠方法,该方法检测实际上包含损伤的眼底图像中的损伤,并且可靠地不检测不包括损伤的其他图像中的损伤。当前的方法能够检测很多图像中的损伤,但是当被应用于不包含损伤的图像时,这些方法就不可靠。
而且,从它应该独立于光照、疾病症状的存在和/或图像的非自然信号而适用于各种图像的意义上来说,该方法应该是强健的。损伤可以是任何疾病症状或病变状况,它们可检测为图像中的局部事件。
本发明一个非常重要的方面是任何眼底损伤的检测。视网膜的损伤通常包括微观动脉瘤和分泌物,它们在眼底图像上通常显示为“圆点形”(即实质上是圆形的)区域。区分微观动脉瘤和分泌物,以及进一步将它们与图像中的其他损伤或病变区分开来,例如“棉花斑”和出血,都是有意义的。
因此,本发明涉及一种评估图像中损伤的存在或不存在的方法,包括:a)估计该图像的至少一个子集,其中每个子集都是具有可见性的候选损伤区,并且在围绕候选损伤区的区域中估计图像的背景变化量;b)利用背景变化量来校正候选损伤区的可见性,比较校正的可见性与该区域中损伤的预定可见性阈值,或者利用背景变化量来校正预定可见性阈值,比较候选损伤区的可见性与校正的预定可见性阈值;c)关于在步骤b)中获得的阈值,将在步骤a)中检测到的候选损伤区分类为损伤或非损伤;以及d)可选地重复步骤a)到c),直到所有候选损伤区已经被分类为止。
利用该方法,可以关于背景,尤其是损伤附近的局部背景,来校正检测到的损伤,以便能够独立于特定图像中的背景,包含例如由于图像各部分的光照改变而引起的图像中的背景变化量,来检测损伤。
本发明的另一个方面涉及利用评估图像中损伤的存在或不存在的方法来建立候选损伤区,包括:a)建立至少一个起始点,该起始点代表图像中的损伤;b)选择至少一个起始点,通过在起始点周围生长q个等曲线(isocurve)来估计与候选损伤相对应的图像子集,q为至少是1的整数,直到候选损伤的边界(periphery)被建立为止,等曲线是根据一个或多个可见性特征的矢量被生长的;c)确定候选损伤区的可见性,该可见性是根据与步骤b)中用于生长的可见性特征不同的可见性特征来确定的,并且比较候选损伤的可见性与预定阈值;以及d)关于在步骤b)中获得的阈值,将在步骤a)中检测到的候选损伤区分类为损伤或非损伤,可选地重复步骤b)到d),直到所有候选损伤区已经被分类为止。
利用这个方面,候选损伤区从起始点被生长为等曲线,并且可以使起始点适应于图像中自然存在的结构,例如血管和视神经乳突。
而且,本发明涉及一种执行根据本发明的方法的系统,例如
一种用于估计图像中损伤的存在或不存在的系统,包括:a)一种算法,用于估计该图像的至少一个子集,其中每个子集都是具有可见性的候选损伤区,并且在围绕候选损伤区的区域中估计图像的背景变化量;b)一种算法,用于利用背景变化量来校正候选损伤区的可见性,比较校正的可见性与该区域中损伤的预定可见性阈值,或者利用背景变化量来校正预定可见性阈值,比较候选损伤区的可见性与校正的预定可见性阈值;c)一种算法,用于关于在步骤b)中获得的阈值,将在步骤a)中检测到的候选损伤区分类为损伤或非损伤;以及d)一种算法,用于可选地重复步骤a)到c),直到所有的候选损伤区已经被分类为止。
以及,一种用于估计图像中损伤的存在或不存在的系统,包括:a)一种算法,用于建立至少一个起始点,该起始点代表图像中的损伤;b)一种算法,用于选择至少一个起始点,通过在起始点周围生长q个等曲线(isocurve)来估计与候选损伤相对应的图像子集,q为至少是1的整数,直到候选损伤的边界被建立为止,等曲线是根据一个或多个可见性特征的矢量被生长的;c)一种算法,用于确定候选损伤区的可见性,该可见性是根据与步骤b)中用于生长的可见性特征不同的可见性特征被确定的,并且比较候选损伤的可见性与预定阈值;d)一种算法,用于关于在步骤b)中获得的阈值,将在步骤a)中检测到的候选损伤区分类损伤为或非损伤;以及e)一种算法,用于可选地重复步骤b)到d),直到所有的候选损伤区已经被分类为止。
所述系统能够包含本文所描述的方法的任何变化。
同样,本发明涉及一种方法,该方法根据个人的至少一个眼睛的眼底图像,来诊断所述个人疾病的存在或不存在,包括:利用如上所述的方法来评估至少一个损伤的存在或不存在;关于损伤的数量和/或大小和/或布局,来对眼底图像分级;以及诊断疾病的存在或不存在。
然后,可以根据图像中损伤的大小和/或数量和/或布局对图像分类,并且相应地,本发明涉及一种用于对眼底图像分类的方法,包括:利用如上所述的方法来评估至少一个损伤的存在或不存在;关于损伤的数量和/或大小和/或布局,来对眼底图像分级;以及将眼底图像分类成至少两类。
本文所述的所有方法最好用于自动方法,例如被包含在计算机可读的程序中。
附图说明
图1是眼底图像;
图2示出分水岭(Watershed)过程的流程图;
图3是使用容差(tolerance)为1的分水岭(Watershed)算法处理的1-D像素示例;
图4示出部分眼底图像,其中布置了示出损伤的75个像素半径背景区域的圆圈;
图5示出梯度(gradient)图像中的背景区域;
图6是归一化过程的流程图;
图7是生长过程的流程图;
图8示出可见性特征的计算的示意图;
图9是生长损伤的示例,以及它周围表示背景的区域;
图10是重叠区域的示例,左边的画面显示从种子点(seed points)生长出来的三个区域,种子点位于右边画面中显示的增殖(proliferation)中。最大的生长区周围的区域用作所有三个区域的背景。
定义
中央凹(fovea):该术语用于其通常的解剖学上的意义,即视网膜中引起视觉的杆状体非常集中的斑点。中央凹和术语“黄斑(macula lutea)”用作同义词。
图像:术语图像用于描述要检查的区域的表示,即术语图像包含1维表示、2维表示、3维表示以及n维表示。于是,术语图像包含区域的体积、区域的矩阵以及区域信息的数组。
眼底图像中的损伤(lesion in fundus images):眼底中表现出的任何病变,例如微观动脉瘤、分泌物、出血、棉花斑。最好是,损伤指圆点形损伤:微观动脉瘤和分泌物。
视神经乳突:该术语用于其通常的解剖学上的意义,即眼底中视神经进入视网膜的区域。该区域的同义词有,例如,“盲”点、乳突或视神经盘。
红绿兰图像:该术语涉及具有红色通道、绿色通道和蓝色通道的图像,也被称为RBG图像。
ROI:兴趣区域(region of interest)。
起始点:该术语描述开始搜索子集的点或区域。因此,术语起始点不限于数学上的点,例如不限于像素,而仅仅指开始搜索的定位。
可见性(visibility):术语可见性用于该词的通常意义,即眼底区域的损伤或结构与背景和其他结构/损伤比较可见程度如何。
具体实施方式
图像
本发明的图像可以是任何种类的图像和兴趣区域的表现。眼底图像是用于检查视网膜的传统工具,并且可以被记录在任何适当的工具上。在一个实施例中,图像被呈现在从透明玻片、纸介质照片或数字照片中选择的介质上。然而,图像可以是任何其他种类的表示,例如在元件阵列上的表现,如CCD。
图像可以是灰色调(grey-toned)图像或彩色图像;在优选实施例中,图像是彩色图像。
子集
在图像中建立至少一个子集,其中该子集是候选损伤区。术语子集用于其通常的意义,即一个或多个像素。
可以检测到通过任何适当的方法建立的子集,例如通过滤波、通过模板匹配、通过建立起始点,以及根据所述起始点生长区域,和/或通过搜索候选区域的其他方法,和/或其组合。在一个实施例中,通过建立起始点来检测候选损伤区,并且根据起始点估计子集。可以检测两个或更多子集,例如重叠子集或相邻子集,每个子集表示相同的损伤。
在优选实施例中,子集是连接子集,即该子集的所有像素连接其他像素中的至少一个,并且通过跟踪子集中的像素,有可能从任何一个像素到达任何一个像素。还是在优选实施例中,图像子集的估计包括建立子集的边界。例如,通过积极轮廓模型(active contour model)(蛇)(参考M.Kass、A.Witkin和D.Terzopoulos所著的“Snakes:Active contour models”)、通过放样或者通过生长,可以建立边界。
建立起始点
可以利用各种适当的方法和这些方法的组合来建立起始点。眼底图像的可变性尤其是与图像动态特性相关;对比可以从图像到图像、甚至在同一个眼底图像中从区域到区域变化。正确的起始点算法应该识别这种环境,并且设法使其敏感性适应于附近的图像。在建立起始点之前或者作为建立起始点的一部分,图像可以被滤波和/或被模糊。例如,在建立起始点之前,图像的低频可以被清除。同样,例如通过中值(median)或均值(mean)对图像进行滤波,并且从图像中减去滤波结果,可以钝化(unsharp)滤波图像。
与图像是否被滤波无关,起始点可以被建立为图像的极值,例如局部极值。然而,图像最好是滤波图像,其中滤波可以是线性的和/或非线性的。依赖于被评估的损伤的类型,极值可以是最小值或最大值或两者。
在一个实施例中,滤波方法是模板匹配方法,其中模板可以呈现用于识别损伤的任何适当的几何图形。模板的示例是圆,其中圆具有半径,该半径被设置为视神经乳突的期望直径的比率。
在建立起始点之前,或者作为建立起始点的步骤的一部分,图形可以被一个或更多滤波器滤波,这落在本发明的范围内。于是,在本发明的一个实施例中,通过组合两个或更多滤波器来建立起始点。
于是,可以单独地采用一种或更多种方法来识别极值,例如如下:
损伤通常是图像中的暗区或亮区,或者是至少局部的最暗区或最亮区。于是,一种方法可以在图像中建立至少一个强度(intensity)极值,最好是至少一个强度最小值或至少一个强度最大值。因此,在优选实施例中,至少一个局部强度最大值被建立。该极值可以被建立在任何图像函数(function)上,例如其中图像函数是钝化图像、红色通道图像、绿色通道图像或者它们的任何组合。在优选实施例中,图像函数是绿色通道。
代替使用强度或者除了使用强度之外,该方法还可以包含在图像中建立至少一个方差极值,最好是在图像中建立至少一个方差最大值。出于与关于强度所述相同的原因,至少一个局部方差最大值被建立。该极值可以被建立在任何图像函数上,例如其中图像函数是钝化图像、红色通道图像、绿色通道图像或者它们的任何组合。在优选实施例中,图像函数是绿色通道。
建立起始点的另一种方法可以是随机建立起始点,其中基本的(ultimative)随机建立是实质上在图像的每个像素中建立起始点。当然,随机建立可以与上述任何方法组合。
还是在另一个实施例中,起始点可以被建立为网格点(grid point),例如平均分布或非平均分布的网格点。此外,该方法可以与在图像中建立极值和/或随机建立的任何方法组合。
在优选实施例中,采用超过一种所述方法来建立起始点,以便增加评估损伤的正确定位的可能性,如果存在,同样关于具有次佳光照或呈现出其他形式的次佳图像质量的图像。当眼底图像被分散地(decentrally)并且由经验不足的人员来记录时,比起在专业医院部门的情况,问题就会增加。
在优选实施例中,通过对绿色通道图像函数的局部最小值和/或最大值定位来建立起始点,并且使它们充当起始点。
生长
在优选实施例中,通过从起始点生长子集来建立子集。目标的生长用于把目标从背景中分割出来。该方法可以用于生长暗的和亮的目标,用于其中一个的算法仅仅是用于另一个的算法的倒置。生长方法的最基本的部分是关于背景来限制目标。这种限制可以以任何方式来进行,例如通过对于宽范围的等曲线或目标深度,如下所述地检查可见性特征,然后简单地选择深度,这会导致最高可能性的可见性特征。
于是,在本实施例中,子集的建立可以被说明为基于起始点周围的区域的至少一个生长特征来生长q个等曲线,q为至少是1的整数,直到候选损伤区的边界被建立。对于每个起始点进行上述过程,从起始点生长多个等曲线,其中每个等曲线都可以表示候选损伤区。换句话说,生长过程可以引起morn,即一个子集的提取,子集的数量例如与等距离的等曲线相对应。最好是,最小的子集超过起始点本身,并且最大子集的区域不超过(subceed)预定值。然而,通常只有一个等曲线建立损伤的边界,所述等曲线是具有成为候选损伤区的最高可能性的等曲线。例如,所述可能性可能是如下所述的最高可见性。然后,图像的子集表示由从生长过程得到的等曲线包含的区域,并且等曲线自身表示子集的边界。
生长算法在子集的起始点被初始化。在等距离中增加高度导致多个生长等曲线。步骤深度可以被任意设置,但是因为像素级起源于字节图像,而它具有离散的整数值,所以出于实际的原因步骤深度通常被选择为1。原则上,该算法可以从每个起始点开始,对于整个图像连续进行。然而,再次由于实际的原因,并且因为已知图像中所评估的损伤具有特定通常范围的大小,对生长施加至少一种限制是适当的,即不允许候选损伤区超出预定区域。而且,也可以附加地或单独地施加其他限制,即利用最小数量和最大数量的等曲线来限制候选损伤。
上述预定值最好是在0.1到1.0的范围内,例如在0.2到0.8的范围内,例如在0.3到0.6的范围内。
利用图7中的流程图来示出生长过程。
特别地,在本发明中可以应用利用分水岭方法的生长。分水岭算法是由Lantuejoul和Beucher为分割目的而引入的。分水岭的思想是通过将图像看作是地形表面而引出的。以此观点来看,图像强度(灰度级)被看作是高度。区域的最小值是连接的高原,通过总是下降的路径,不可能从这里到达更低的灰度级。由于图像表面被淹没,一些水域(汇水盆地)将趋向于合并。当两个或更多不同的水域相触及时,在它们之间会构造出无限高的水坝(分水岭线)。换句话说,分水岭线将图像划分成不相交的块(patch),称作汇水盆地。由于每个块只包含一个区域最小值,块的数量等于图像中区域最小值的数量。
在优选实施例中,具有最小值的像素成为生长算法的起点,并且该像素距离该片区域的质量中心最近。
图2的流程图示出生长过程的示例。关于图3、利用前面示出的流程图,来描述所示处理步骤。
步骤1、3、5和8:寻找最小的未被处理的像素,并且包含具有相同值的相邻像素。边界不触及其他区域。
步骤2和6:包含不偏离起始像素超过容差的相邻区域。边界不触及其他区域则分配新区域。
步骤4和9:包含不偏离起始像素超过容差的相邻区域。边界触及其他区域则扩大这些区域。
步骤7、10、11、12和13:寻找最小的未被处理的像素,并且包含具有相同值的相邻像素。边界触及其他区域则扩大这些区域。
通过修改容差水平可以调整分水岭算法的灵敏度,这使得有可能除去具有无关紧要的深度的基础。
在已经建立候选损伤区的边界之后,例如通过从起始点到边界简单地执行注水(flood fill),可以填充该区域。
可见性
术语可见性用于该词的通常意义,即眼底区域的损伤或结构与背景和其他结构/损伤相比可见程度如何。区域的可见性可以被确定为特征的矢量,包含强度、与血管的可见性相比的候选损伤的可见性、候选损伤的边缘可见性、候选损伤的颜色信息、部分图像的方差值和/或图像的方差值。在优选实施例中,候选损伤的边缘可见性被计算为定向候选损伤区域边缘梯度,尤其是加权的边缘梯度。
于是,可见性特征可以基于定向加权区域边界梯度像素之和。尤其是,梯度像素应该根据它们的朝着生长区域的定向α被加权,例如通过对候选损伤区应用如下公式:
Figure C0282287500161
Figure C0282287500162
Figure C0282287500163
其中N是损伤的轮廓中的像素的数量。使ri是一片损伤的中心与图像点Vi之间的矢量,并且αi是ri与该点的定向之间的角度。
图8示出这些矢量的示例。
可见性特征还可以根据其中血管已经被“清除”的图像来计算。通过从原始图像I(r,c)中减去血管图像V(r,c),并且利用如下公式,产生血管“恢复”图像,即其中已经代替血管产生内插背景值的图像,来进行上述处理:
I VRes ( r , c ) = B ( r , c , w ( r , c ) ) hvisV ( r , c ) = 1 I ( r , c ) hvisV ( r , c ) = 0
可以通过如下公式来产生内插值:
B ( r , c , w ) = Σ ( r ′ , c ′ ) I ( r ′ , c ′ ) ( 1 - V ( r ′ , c ′ ) ) h ( | | ( r , c ) - ( r ′ , c ′ ) | | / w ) Σ ( r ′ , c ′ ) ( 1 - V ( r ′ , c ′ ) ) h ( | | ( r , c ) - ( r ′ , c ′ ) | | / w )
其中h(x)=exp(-x2/2)。核心宽度w(r,c)被设置为从像素(r,c)到最近的背景像素的距离。利用相同的原理,图像中的其他特征可以被“清除”。进行该“清除”是为了避免与例如血管等特征接近的伪阳性损伤。
验证子集
子集可以在关于背景被校正之前被验证。通过验证意味着在利用背景变化量进行校正之前,每个子集都经过验证步骤,以便确定候选区域是否应该分类为候选损伤区。验证最好是由与生长特征不同的特征来执行。
在实施例中,验证步骤包含计算候选损伤区的可见性。
背景变化量
眼底图像的损伤检测中的主要问题之一是要在其中寻找损伤的剧烈变化的背景。一些眼底区域具有几乎不变的背景,而一些区域则显著变化,例如具有可见的神经纤维层或脉络膜结构的区域。根据本发明的一个方面,已经找到了如下优点,即根据强健估计的背景变化量来校正,例如归一化(normalize),对于每个候选损伤区而获得的可见性特征值。归一化过程可以在至少两个步骤中执行,通过:
估计图像的至少一个子集,其中每个子集是具有可见性的候选损伤区,并且在已经给该候选损伤区分配可见性特征之后,
估计背景变化量,并且校正候选损伤区的可见性。
然而,在很多实施例中,对于每个子集来说,子集的估计和背景变化量的估计在一个步骤中执行。
背景变化量可以利用任何适当的测量来估计,因此,背景变化量可以根据原始图像的空间和/或分布属性或者其任何变换来选择,例如梯度图像、曲率图像或拉普拉斯(Laplace)图像。
空间属性可以基于例如傅立叶(Fourier)变换、(cooccurrence matrix)联合发生矩阵和分形维(fractale dimension),而分布属性可以是矩(moment),例如平均值、方差skeewness或峰态(kurtosis)。
如上所述,例如,可以利用可见性特征来描述损伤,该可见性特征基于定向加权的损伤边界梯度观测值(observation),并且在本实施例中,已经示出如下处理的优点,即利用背景梯度的平均值和标准偏差(standard deviation)估计,来对损伤可见性特征进行归一化。
于是,在优选实施例中,通过非正常值(out-lier)的连续识别来估计背景变化量,例如通过:
c1)估计围绕候选损伤区定义的区域的梯度数值(gradient magnitude)像素的平均值和标准偏差,确定梯度数值像素的较低阈值或者较高阈值;
c2)迭代地清除低于较低阈值或高于较高阈值的边远梯度数值像素,并且重新估计剩余梯度数值像素的平均值和标准偏差,确定梯度数值像素的第二较低阈值或者第二较高阈值,直到找不到边远梯度数值像素为止;以及
c3)根据c2)中估计的平均值和标准偏差来估计背景变化量。
在本实施例中,较低阈值或者较高阈值被确定为常数乘标准偏差,例如被确定为标准偏差乘至少2,例如至少3,例如至少4,例如至少5或例如至少6。最好是在每个迭代步骤c2)中清除至多一个像素。
围绕候选损伤区定义的区域可以包含或不包含候选损伤区自身。在优选实施例中,步骤c1)中的梯度数值像素包含来自候选损伤区的像素。
围绕候选区的区域通常被选择处于期望的视神经乳突区域的0.25到1.0的范围内,例如期望的视神经乳突区域的0.5到1.0,例如期望的视神经乳突区域的0.6到1.0。通常这种区域与100到100,000个像素范围内的像素数量相对应,例如在400到64,000个像素的范围内,例如在1000到50,000个像素的范围内,例如在5,000到25,000个像素的范围内。
以下参照图6的流程图,来描述估计背景变化量的优选方法。
归一化的第一个步骤是估计损伤的背景梯度以便校正。通过初始收集在距损伤中心的给定半径之内的像素来进行上述估计。根据所评估的图像的分辨率来设置像素的数量。在大多数情况下,像素的数量被设置在50到100个像素的半径之内,参见例如图4。
交叉血管和/或其他损伤会影响背景的梯度估计,这需要梯度背景的强健估计。图5示出梯度图像中的背景区域,其中交叉血管和/或其他损伤的影响很清楚。
强健估计的示例是通过连续清除非正常值。因此,在所定义的背景区域中的梯度像素被收集在数组中,该数组根据它们的值来排序。然后,计算该数组的平均值和标准偏差。现在,数组的每一端的值被与计算出的平均值和标准偏差进行比较,并且在两个值中最偏离者是非正常值的情况下,将其从数组中清除。
在已经清除该观测值之后,重新计算平均值和标准偏差,并且再次检查两端。这种整理持续进行,直到不再有非正常值出现为止。在本实施方式中,我们定义了非正常值,作为偏离平均值超过两个标准偏差的值。
在已经估计出损伤背景的强健平均值和标准偏差之后,可以使用标准公式对损伤可见性进行归一化:
v = v - μ Gradient σ Gradient + 1
其他强健方法可以通过在收集强度之前对图像滤波或通过使用强健估计量,例如代替平均值的中值和代替标准偏差的平均绝对偏差。
当已经估计出背景变化量时,就有可能利用背景变化量来校正候选损伤区的可见性,并且比较校正的可见性与该区域中损伤的预定可见性阈值,或者利用背景变化量来校正预定可见性阈值,并且比较候选损伤区的可见性与校正的预定可见性阈值。通过这些步骤中的任何步骤,都有可能分配损伤的局部阈值,从而增加用于评估损伤的存在和/或不存在的方法的确切性和灵敏度。
在与步骤b)中获得的阈值比较之后,候选损伤区被分类为损伤或非损伤。
该方法的步骤可以关于所有子集被顺序或并行执行。
图像的一些自然存在的结构,可能以不利的方式影响损伤的评估。由于这些结构在图像中呈现暗区/亮区,这种结构是例如眼底图像的血管和视神经乳突。因此,最好是对这些结构作一些调整。
关于血管的调整
已知可以将血管系统从其他图像内容中隔离开来的各种方法。
用于跟踪血管的另一种方法是这样一种方法,该方法利用了局部邻近区域中血管是线性的事实,其中不同的滤波矩阵具有不同的定向。这种线条要素的定位和定向,可以使用模板匹配手段(有时被称为匹配滤波器)来确定。
可以在以下资料中找到本领域技术人员已知的用于跟踪血管的其他方法:
“Detection of Blood Vessels in Retinal Images Using Two-DimensionalMatched Filters”,Subhasis Chaudhuri等人,IEEE Transactions on MedicalImaging,卷8,第3期,1989年9月。
“A fuzzy vessel tracking algorithm for retinal images based on fuzzyclustering”,Tolias y a等人,IEEE Transactions on Medical Imaging,1998年4月,IEEE;USA卷17,第2期,263-273页,ISSN:0278-0062。
“A computer method of understanding ocular fundus images”, Akita等人,Pattern Recognition,1982,UK,卷15,第6期,431-443页,ISSN:0031-3203第4章。
跟踪血管的优选方法是从代表血管的起始点跟踪单个血管,并且反复地生长视网膜的血管网络。在RETINALYZE A/S的名称为“Vessel tracking”的未决的(co-pending)PCT专利申请中,描述了该方法的优选实施例。
在本发明的一些实施例中,最好是关于图像中出现的血管来调整起始点的估计和/或子集的估计。对于这些实施例,还最好是在进行候选损伤区的估计之前先检测图像中的血管。
在一个实施例中,起始点的调整意味着从代表损伤的多个起始点中清除位于血管中的起始点。在另一个实施例中,至少部分子集位于血管中的图像的所述子集,被拒绝作为候选损伤区。
关于血管进行调整的另一种方法是已经检测到图像中的血管,出现在图像中的血管在建立起始点之前被隐藏起来。可以采用任何适当的方法来隐藏血管,例如通过沿血管隐藏多个像素,例如在1到10个像素的范围内的数量。
已经识别出图像中的血管后,就需要能够区分血管中的静脉和动脉。这在例如静脉串珠(venous beading)和焦点小动脉狭窄(focal arteriolar narrowing)的诊断中是很重要的。
眼底图像中观测到的血管系统本来是3维结构的2维投影。原则上,仅仅考虑隔离的血管段来区分动脉与静脉是相当困难的。然而,已经发现利用如下事实能够实现有效的分离,动脉结构和静脉血管结构各自都是一个完整的树(即沿血管从心脏到每个毛细管以及反方向,存在一个惟一的路径)。
在视网膜上,动脉和静脉结构每个都是表面填充的(surface filling),以便分别通过动脉或静脉,使所有的组织或者被供给或者被排出。
在Torsana Diabetes Diagnostic A/S的WO 00/65982中描述了区分动脉与静脉的方法,该方法基于如下的认识,即实际上,血管段的交叉总是存在于静脉和动脉之间(也就是说,实际上,动脉与动脉之间或静脉与静脉之间的交叉是不存在的)。
隐藏视神经乳突
能够影响损伤评估的另一种结构是视神经乳突。与血管相反,不是所有的图像中都必需出现视神经乳突,这依赖于由照相机或CCD所获取的区域。
于是,在优选方法中,视神经乳突区域的存在或不存在是在评估损伤之前,利用强健方法来评估的。例如,在RETINALYZE A/S的名称为“Detectionof optic nerve head in fundus image”的未决的PCT专利申请中描述了这种方法。
在本发明的一些实施例中,最好是关于出现在图像中的视神经乳突来调整起始点的估计和/或子集的估计。对于这些实施例,还最好是在进行候选损伤区的估计之前先检测图像中的视神经乳突。
在一个实施例中,起始点的调整意味着从代表损伤的多个起始点中清除位于视神经乳突中的起始点。在另一个实施例中,至少部分子集位于视神经乳突中的图像的所述子集,被拒绝作为候选损伤区。
关于视神经乳突进行调整的另一种方法是,当已经检测到图像中的视神经乳突时,出现在图像中的视神经乳突在建立起始点之前被隐藏起来。可以采用任何适当的方法来隐藏视神经乳突,例如通过在视神经乳突周围隐藏多个像素,例如与常数乘视神经乳突的直径相对应的数量,可选地为视神经乳突的期望直径,所述常数在1.1到2.0的范围内,最好是大约1.5。
在另一个实施例中,本发明的方法包含关于损伤周围的局部强度变化量,来对可见性加权,以便减少由于例如神经纤维层、未被跟踪的血管和玻璃体中的反射而引起的伪阳性损伤。这些伪阳性的共同特征是损伤周围的局部强度变化量较大,这与大多数位于同质区域中的真正损伤相反。
由于定义损伤边缘的等强度曲线不能够交叉,当两个生长的损伤重叠时,一个必须被嵌入到在另一个中。在这种情况下,可以稍微不同地定义背景,以便避免在评估较小的内部损伤时,将大损伤解释成背景。
当考虑重叠损伤时,“前景”可以是组成阳性可见性像素的les-图像(les-image)中的全部连接部分。除相当于该前景区域以外,将如上所述定义背景。于是,所有重叠的损伤将具有相同的背景区域。图10中示出了这一原理。
如果不以这种方式定义背景,由于在中央凹周围生长的以及大损伤中的区域通常与生长区域重叠,这些区域可能被错误地分类。
因此,最好是利用局部背景的同质性来对可见性进行加权。局部的或最接近的背景可以被定义为这样的像素区,即距离损伤超过Bin并且最多为Bin+Bout的像素。点与损伤之间的距离被定义为该点与损伤内的像素之间的最小距离。于是,Bout是损伤周围的背景区的宽度,而Bin是分离损伤和背景的区域的宽度。该原理由重要的图并且在图9中示出。参数Bin和Bout应该以图像的比例进行标度。
如果像素位于任一如下位置,就可以从背景中排除这些像素:
1.在被跟踪的血管上,
2.在ROI之外,
3.比Bin到另一个损伤更近,该损伤具有超过Tv的可见性,其中v是当前损伤的可见性,而T是容差参数。
支持应用第一个和第二个标准来排除像素的基本原理应该是清楚的。采用第三个标准来避免彼此靠近的真正损伤相互影响背景,而参数T可以用于控制该限制的容差。已经发现设置T=0比根本不使用该标准时(与T=∞相对应)好得多;通过将T的值选择为大约1.0,可以避免具有小可见性的损伤被从背景区中清除,这似乎是实际中最敏感的。
在一个实施例中,背景中与损伤中的平均绿色通道强度的比率可以用于区分真伪损伤。例如,固定的阈值似乎是最合适的。
μ green , out μ green , in > IR thresh
其中,IRthresh最好少于1.1,例如在1.01和1.09之间,最好在1.04和1.08之间,以便区分真损伤与伪损伤,伪损伤具有低于IRthresh的平均强度比率。这里,μgreen,out和μgreen,in分别是最接近背景中与损伤中的绿色通道的平均值。
在另一个实施例中,如下估计部分图像的方差值:
c4)定义预定宽度并且与候选损伤区相距预定距离的像素区,
c5)估计该区的强度的平均值和标准偏差,并且
c6)根据在c5中估计的平均值和标准偏差,来估计部分图像的方差值。
这可以由背景中和损伤中的标准偏差的比率来举例说明,它用于检测典型的伪阳性损伤,即位于血管和附近反射中的那些损伤。已经发现方差加权的可见性值确实是一种有用的手段,
v ~ = v ( σ 2 poly , out σ 2 poly , in ) - 1 / 2
这里,v是通常的归一化的可见性值,而σ2 poly,in和σ2 poly,out分别是损伤内部被多步平滑的(poly-smoothed)图像中和背景中的强度方差。
接着,将方差加权的可见性值与如上所述的预定可见性阈值进行比较。在优选实施例中,是将如上所述被加权的校正可见性或加权的可见性与校正的阈值进行比较。
应用
以下将讨论根据本发明的方法的各种应用示例。
当已经评估了损伤的存在或不存在时,关于损伤的信息就可以用于各种目的。
因此,本发明还涉及这样一种方法,即根据个人的至少一只眼睛的眼底图像,来诊断所述个人中疾病的存在或不存在,包括:
利用如上所述的方法来评估至少一个损伤的存在或不存在,
关于损伤的数量和/或大小和/或布局来给眼底图像分级,
诊断疾病的存在或不存在。
具体地说,该方法涉及糖尿病性视网膜病的诊断和预后。
另一方面,本发明涉及对眼底图像进行分类的方法,包括:
利用如上所述的方法来评估至少一个损伤的存在或不存在,
关于损伤的数量和/或大小和/或布局来给眼底图像分级,
将眼底图像分类成至少两类。
通常使用几种类别,其中关于损伤的数量和损伤到中央凹的距离对图像分级。
系统
另一方面,本发明还涉及评估眼底图像中损伤的存在或不存在的系统。于是,本发明的系统可以是能够执行如上所述的方法以及这些方法在本发明范围内的任何组合的任何系统。因此,该系统可以包含执行任何上述方法的算法。
图形用户接口模块可以与显示器的显示屏协同操作。图形用户接口可以被实现为处理系统的一部分,以便通过接口从传统键盘和鼠标接收输入数据和命令,并且在显示器上显示结果。为简化说明起见,就不对很多传统计算机系统的组件进行说明了,例如地址缓冲器、内存缓冲器和其他标准控制电路,因为这些部件是本领域熟知的,并且对它们的详细说明不是理解本发明所必需的。
预先获得的图像数据能够通过网络接口被直接输入到处理系统中,并且被存储在大容量存储器设备和/或存储器中。而且,还可以通过便携式大容量存储介质,例如可移动硬盘、光盘、磁带机或本领域已知的任何其他类型的数据传输和/或存储设备,来经由网络提供图像数据。
本领域技术人员将意识到具有多处理器的并行计算机平台也是合适于使用本发明的系统的硬件平台。这种配置可以包含,但不限于,具有多处理器的并行机和工作站。处理系统能够是单台计算机,或者几台计算机能够通过通信网络被连接起来以便创建逻辑处理系统。
上述系统的任何算法都可以适应于上述方法的各种变化。
本系统允许由分级者来更快速和可靠地识别损伤,分级者是对图像进行一般分级的人员。同样,本系统还作为传统分级者的辅助工具,允许不受血管干扰地、对损伤和其他视网膜病变进行自动检测。
使用本系统,有可能安排在一个地点进行图像记录,而在另一个地点对图像进行检查。例如,图像可以在别处由眼科技师或医师来记录作为照片等或在数字介质上,并且被传送到检查专家。因此,使用本系统,就能够实现对于记录图像的分散中心的需求,而同时保留少数几个专业的分级者。
而且,除了在过程涉及的个人之间进行图像和医疗信息的通信之外,网络可以携带包含控制的数据信号或图像调整信号,在检查单元处检查图像的专家可以利用这些信号控制在记录位置即获取单元进行的图像获取。具体地说,这种命令信号,例如变焦放大、操纵调整和现场照明的波长等,可以被远程地、选择性地改变,以便获得所需的成像效果。于是,有问题的组织结构需要进一步放大或者需要不同的透视以便对其进行说明,可以通过改变这种控制参数而被毫不含糊地迅速解决。而且,通过转换照明波长,可以选择性地利用视图来表示组织的不同层,或者强调脉管系统或血流特性的成像。此外,在采取专业技术例如荧光成像的情况下,控制信号可以包含时变信号,以便初始化光的特定波长的激励,在激励或者传送染料或药品之后、在特定时间初始化成像,或者其他这种精确控制的成像协议。这些操作的数字数据信号可以通过相对直接的方式、被连接到眼科设备,只要这种设备已经初始化用于控制所涉及的具体参数的交换机或内部数字电路,或者能够容易地适应于对这种控制参数例如系统焦点、照明等进行电子控制。
同样,检查专家能够以相同的远程方式实施一些治疗。应该理解,这种情况下的成像和眼科治疗仪器通常包含操纵(steering)和稳定(stabilization)系统,该系统使仪器在出现在视野中的结构上维持对准和稳定。然而,考虑到在图像获取和初始化检查地点处的诊断或治疗活动之间仍然包含的很短但不可忽视的时间延迟,在本发明的这一方面,本发明试图使该系统还包含图像识别和相关软件,该软件允许现场的眼科医师识别视野的视网膜域中的具体位置,例如对特定的血管或组织结构精确定位,并且图像获取计算包含图像识别软件,该软件能够在视频帧中识别模式,并且使识别位置与在获取地点获取时的每个图像帧相关。例如,图像识别软件可以锁定视网膜血管的模式。于是,不管是否存在眼睛飞快扫视和很小的视网膜域的其他突然的眼球运动,眼科仪器都能够瞄准视野中的识别位置,并且实现远程治疗。
除了上述操作,本发明还试图对由获取单元提供的图像进行处理,以便对组织特征和可选的血流特性进行摄影测量分析。可以如下实现该操作。在记录单元获得的图像被传送到检查单元,在那里图像被显示在屏幕上。,正如在附图中所示意地指出的那样,这种图像可以包含具有各种直径和长度的血管的网络。这些血管包含构成血液供给和返回网络的动脉和静脉毛细管。在检查单元处,工作站可以配备有摄影测量程序,例如,该程序使技术人员能够将光标放置在成像的血管上,并且在点击的同时沿血管移动光标,使该软件自动地确定血管和它所连接的副血管(subvessel)的宽度及其坐标。
利用摄影测量程序技术,可以直接地并且容易地建立根据像素位置记录坐标并且在记录中链接显示特征的软件以及确定血管容量的子模块等。还可以实施工作站协议,以便自动地绘制上述脉管系统的形态图,或者比较在历史上不同时间拍摄的两幅图像,并且识别出或注释出所存在的变化,以便为操作员突出例如血管腐蚀、已经改变颜色的组织等特征或其他不同之处。此外,用户图像接口允许专家输入与图像或呈现在图像中某位置处的具体特征相联系的诊断指示,以便该图像或其处理版本变得更加有用。
于是,非常精确并且很好注释的医疗记录就可以被汇集,并且可以与先前拍摄的视图进行比较,以便获得经历某时间期间的变化的详细证据,或者例如,可以与紧前的血管造影图进行比较,以便评估其中出现的血流的实际等级。与在检查单元处使用眼科医师的笔记本项目相同,检查单元处的测量项目成为注释的图像记录,并且作为患者记录的一部分被存储在中心库中。
与简单的医疗记录系统不同,本发明以解决当前存在的极大健康难题的方式,即准确、普遍地筛查糖尿病性视网膜病的障碍,改变了患者进入治疗的动力以及传送眼科技术的效率。至此,公开并且说明了本发明的基本实施方式,本领域技术人员应该想到其他改变和修改,并且所有这些改变和修改都被包含在所附权利要求所限定的本发明的范围内。

Claims (59)

1.一种评估图像中损伤的存在或不存在的方法,其中区域的可见性被确定为特征的矢量,包含强度、与血管的可见性相比的候选损伤的可见性、候选损伤的边缘可见性、候选损伤的颜色信息、部分图像的方差值和/或图像的方差值,所述方法包括:
a)估计所述图像的至少一个子集,其中每个子集都是具有可见性的候选损伤区,并且在围绕所述候选损伤区的区域中估计所述图像的背景变化量;
b)利用所述背景变化量来校正所述候选损伤区的可见性,比较校正的可见性与该区域中损伤的预定可见性阈值,或者利用所述背景变化量来校正预定可见性阈值,比较所述候选损伤区的可见性与校正的预定可见性阈值;
c)关于在步骤b)中获得的阈值,将在步骤a)中检测到的所述候选损伤区分类为损伤或非损伤;以及
d)可选地重复步骤a)到c),直到所有的候选损伤区已经被分类为止。
2.如权利要求1所述的方法,其中所述图像表示在从透明玻片、纸介质照片或数字照片中选择的介质上。
3.如权利要求1所述的方法,其中所述图像是彩色图像。
4.如权利要求3所述的方法,其中绿色通道用于评估所述损伤的存在或不存在。
5.如权利要求1所述的方法,其中通过建立多个起始点并且围绕起始点估计每个子集,来估计所述子集,所述起始点代表损伤。
6.如权利要求5所述的方法,其中所述起始点被建立在所述图像的极值中。
7.如权利要求1所述的方法,其中所述图像的子集是连接子集。
8.如权利要求1所述的方法,其中通过对所述图像滤波来估计所述图像的子集。
9.如权利要求1所述的方法,其中估计所述图像的子集包括建立所述子集的边界。
10.如权利要求1所述的方法,其中在关于所述背景变化量进行校正之前,验证所述子集。
11.如权利要求1所述的方法,其中通过生长所述起始点周围的区域来估计所述图像的子集。
12.如权利要求11所述的方法,其中基于所述区域的至少一个生长特征的q个等曲线围绕起始点生长,直到所述候选损伤区的边界被建立为止,q是至少为1的整数。
13.如权利要求12所述的方法,其中估计所述等曲线内的区域的可见性,并且具有最高可见性的等曲线建立所述候选损伤区的边界。
14.如权利要求11所述的方法,其中所述子集的验证通过与所述生长特征不同的特征来执行。
15.如权利要求1所述的方法,其中利用积极轮廓模型来估计所述图像的子集。
16.如权利要求5所述的方法,其中关于出现在所述图像中的血管来调整所述起始点的识别。
17.如权利要求1所述的方法,其中关于出现在所述图像中的血管来调整所述子集的估计。
18.如权利要求1所述的方法,其中在进行所述子集的估计之前检测所述图像中的血管。
19.如权利要求5所述的方法,其中从代表损伤的所述多个起始点中清除位于血管中的起始点。
20.如权利要求1所述的方法,其中至少部分子集位于血管中的图像的所述子集,被拒绝作为候选损伤区。
21.如权利要求1所述的方法,其中在建立起始点之前,隐藏出现在所述图像中的血管。
22.如权利要求5所述的方法,其中关于出现在所述图像中的视神经乳突来调整所述起始点的识别。
23.如权利要求1所述的方法,其中关于出现在所述图像中的视神经乳突来调整所述子集的估计。
24.如权利要求1所述的方法,其中在所述子集的估计之前,检测包括所述视神经乳突的区域。
25.如权利要求5所述的方法,其中在起始点的识别之前,检测包括所述视神经乳突的区域。
26.如权利要求24所述的方法,其中从代表损伤的所述多个起始点中清除位于视神经乳突中的起始点。
27.如权利要求25所述的方法,其中至少部分子集位于所述视神经乳突中的图像的所述子集,被拒绝作为候选损伤区。
28.如权利要求25所述的方法,其中在估计所述子集和/或建立所述起始点之前,隐藏所述视神经乳突的区域。
29.如权利要求1所述的方法,其中围绕所述候选损伤区的区域包括所述候选损伤区。
30.如权利要求1所述的方法,其中围绕所述候选损伤区的区域不包括所述候选损伤区。
31.如权利要求25所述的方法,其中围绕所述候选区的区域被选择处于期望的视神经乳突区域的0.25到1.0的范围内,包括期望的视神经乳突区域的0.5到1.0,或期望的视神经乳突区域的0.6到1.0。
32.如权利要求25所述的方法,其中所述背景变化量是根据原始图像的空间和/或分布属性或者其任何变换来选择的,包括梯度图像、曲率图像或拉普拉斯图像。
33.如权利要求1所述的方法,其中所述背景变化量是如下估计的:
c1)估计围绕所述候选损伤区定义的区域的梯度数值像素的平均值和标准偏差,确定所述梯度数值像素的较低阈值或者较高阈值;
c2)迭代地清除低于较低阈值或高于较高阈值的边远梯度数值像素,并且重新估计剩余梯度数值像素的平均值和标准偏差,确定所述梯度数值像素的第二较低阈值或者第二较高阈值,直到找不到边远梯度数值像素为止;以及
c3)根据c2)中估计的平均值和标准偏差来估计所述背景变化量。
34.如权利要求1所述的方法,其中部分图像的方差值是如下步骤估计的:
c4)定义预定宽度并且与所述候选损伤区相距预定距离的像素区;
c5)估计该区的强度的平均值和标准偏差;以及
c6)根据在c5中估计的平均值和标准偏差,来估计部分图像的所述方差值。
35.如权利要求33所述的方法,其中所述较低阈值或者较高阈值被确定为常数乘上所述标准偏差。
36.如权利要求33所述的方法,其中步骤c1)中的所述梯度数值像素包含来自所述候选损伤区的像素。
37.如权利要求33所述的方法,其中在步骤c2)中最多清除一个像素。
38.一种评估图像中损伤的存在或不存在的方法,其中区域的可见性被确定为特征的矢量,包含强度、与血管的可见性相比的候选损伤的可见性、候选损伤的边缘可见性、候选损伤的颜色信息、部分图像的方差值和/或图像的方差值,所述方法包括:
a)建立至少一个起始点,所述起始点代表所述图像中的损伤;
b)选择至少一个起始点,通过在所述起始点周围生长q个等曲线来估计与候选损伤相对应的图像子集,q是至少为1的整数,直到所述候选损伤的边界被建立为止,所述等曲线是根据一个或多个可见性特征的矢量被生长的;
c)确定所述候选损伤区的可见性,所述可见性是根据与步骤b)中用于生长的可见性特征不同的可见性特征被确定的,并且比较所述候选损伤的可见性与预定阈值;
d)关于在步骤b)中获得的阈值,将在步骤a)中检测到的所述候选损伤区分类为损伤或非损伤;以及
e)可选地重复步骤b)到d),直到所有的候选损伤区已经被分类为止。
39.如权利要求38所述的方法,其中所述图像被表示在从透明玻片、纸介质照片或数字照片中选择的介质上。
40.如权利要求38所述的方法,其中所述图像是彩色图像。
41.如权利要求40所述的方法,其中绿色通道用于评估所述损伤的存在或不存在。
42.如权利要求41所述的方法,其中所述起始点被建立在所述图像的极值中。
43.如权利要求38所述的方法,其中所述图像的子集是连续子集。
44.如权利要求38所述的方法,其中通过对所述图像滤波来估计所述图像的子集。
45.如权利要求38所述的方法,其中估计所述等曲线内的区域的可见性,并且具有最高可见性的等曲线建立所述候选损伤区的边界。
46.如权利要求38所述的方法,还包括利用所述背景变化量来校正所述候选损伤区的可见性,比较校正的可见性与该区域中损伤的预定可见性阈值,或者利用所述背景变化量来校正预定可见性阈值,比较所述候选损伤区的可见性与校正的预定可见性阈值,将关于所获得的阈值检测到的所述候选损伤区分类为损伤或非损伤。
47.如权利要求38所述的方法,其中关于出现在所述图像中的血管来调整所述起始点的识别。
48.如权利要求38所述的方法,其中关于出现在所述图像中的血管来调整所述子集的估计。
49.如权利要求38所述的方法,其中在进行所述子集的估计之前检测所述图像中的血管。
50.如权利要求38所述的方法,其中从代表损伤的所述多个起始点中清除位于血管中的起始点。
51.如权利要求38所述的方法,其中至少部分子集位于血管中的图像的所述子集,被拒绝作为候选损伤区。
52.如权利要求38所述的方法,其中在建立起始点之前,隐藏出现在所述图像中的血管。
53.如权利要求38所述的方法,其中关于出现在所述图像中的视神经乳突来调整所述起始点的识别。
54.如权利要求38所述的方法,其中关于出现在所述图像中的视神经乳突来调整所述子集的估计。
55.如权利要求38所述的方法,其中在所述子集的估计和/或起始点的识别之前,检测包括所述视神经乳突的区域。
56.如权利要求55所述的方法,其中从代表损伤的所述多个起始点中清除位于视神经乳突中的起始点。
57.如权利要求54所述的方法,其中至少部分子集位于所述视神经乳突中的图像的所述子集,被拒绝作为候选损伤区。
58.如权利要求53所述的方法,其中在建立所述起始点之前,隐藏所述视神经乳突的区域。
59.如权利要求54所述的方法,其中在估计所述子集之前,隐藏所述视神经乳突的区域。
CNB028228758A 2001-10-03 2002-10-03 评估图像中的损伤 Expired - Fee Related CN100530204C (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
DKPA200101451 2001-10-03
DKPA200101451 2001-10-03
DKPA200200635 2002-04-25
DKPA200200635 2002-04-25
US37623302P 2002-04-30 2002-04-30
US60/376,233 2002-04-30

Publications (2)

Publication Number Publication Date
CN1589449A CN1589449A (zh) 2005-03-02
CN100530204C true CN100530204C (zh) 2009-08-19

Family

ID=27222545

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB028228758A Expired - Fee Related CN100530204C (zh) 2001-10-03 2002-10-03 评估图像中的损伤

Country Status (6)

Country Link
US (1) US7583827B2 (zh)
EP (2) EP1444635B1 (zh)
JP (1) JP4411071B2 (zh)
CN (1) CN100530204C (zh)
DK (1) DK2793189T3 (zh)
WO (1) WO2003030074A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102436638A (zh) * 2010-08-24 2012-05-02 奥林巴斯株式会社 图像处理装置以及图像处理方法

Families Citing this family (77)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7011625B1 (en) * 2003-06-13 2006-03-14 Albert Shar Method and system for accurate visualization and measurement of endoscopic images
US7708403B2 (en) * 2003-10-30 2010-05-04 Welch Allyn, Inc. Apparatus and method for diagnosis of optically identifiable ophthalmic conditions
DE102004008979B4 (de) * 2004-02-24 2006-12-28 Siemens Ag Verfahren zur Filterung tomographischer 3D-Darstellungen nach erfolgter Rekonstruktion von Volumendaten
US7500751B2 (en) * 2004-03-12 2009-03-10 Yokohama Tlo Company Ltd. Ocular fundus portion analyzer and ocular fundus portion analyzing method
JP4487180B2 (ja) * 2004-03-18 2010-06-23 ソニー株式会社 情報生成装置及び情報生成方法
JP2005284792A (ja) * 2004-03-30 2005-10-13 Sharp Corp 画像照合装置、画像照合方法、画像照合プログラムおよび画像照合プログラムを記録したコンピュータ読取り可能な記録媒体
JP5014593B2 (ja) * 2005-06-01 2012-08-29 興和株式会社 眼科測定装置
US8194951B2 (en) * 2005-09-30 2012-06-05 Philips Electronics North Method and system for generating display data
US7587232B2 (en) * 2006-02-28 2009-09-08 Kabushiki Kaisha Toshiba Magnetic resonance imaging apparatus, magnetic resonance data processing apparatus, magnetic resonance data processing program and magnetic resonance imaging apparatus control method
WO2007109704A2 (en) * 2006-03-22 2007-09-27 Cornell Research Foundation, Inc. Medical imaging visibility index system and method for cancer lesions
ITTO20060223A1 (it) * 2006-03-24 2007-09-25 I Med S R L Procedimento e sistema per il riconoscimento automatico di anomalie preneoplastiche in strutture anatomiche, e relativo programma per elaboratore
US10617564B1 (en) * 2006-05-10 2020-04-14 Apple Inc. Area scanning photomedicine device and method
JP5121204B2 (ja) * 2006-10-11 2013-01-16 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
US7940977B2 (en) 2006-10-25 2011-05-10 Rcadia Medical Imaging Ltd. Method and system for automatic analysis of blood vessel structures to identify calcium or soft plaque pathologies
US7860283B2 (en) 2006-10-25 2010-12-28 Rcadia Medical Imaging Ltd. Method and system for the presentation of blood vessel structures and identified pathologies
US7873194B2 (en) 2006-10-25 2011-01-18 Rcadia Medical Imaging Ltd. Method and system for automatic analysis of blood vessel structures and pathologies in support of a triple rule-out procedure
US7983459B2 (en) 2006-10-25 2011-07-19 Rcadia Medical Imaging Ltd. Creating a blood vessel tree from imaging data
US7940970B2 (en) 2006-10-25 2011-05-10 Rcadia Medical Imaging, Ltd Method and system for automatic quality control used in computerized analysis of CT angiography
FR2916883B1 (fr) * 2007-05-29 2009-09-04 Galderma Res & Dev Procede et dispositif d'acquisition et de traitement d'images pour la detection de lesions evolutives
JP5148928B2 (ja) * 2007-05-31 2013-02-20 株式会社トプコン 眼底検査装置及びプログラム
US8175352B2 (en) * 2007-09-21 2012-05-08 Siemens Aktiengesellschaft System and method for automated magnetic resonance scan prescription for optic nerves
US8065166B2 (en) 2007-10-30 2011-11-22 Onemednet Corporation Methods, systems, and devices for managing medical images and records
US9171344B2 (en) 2007-10-30 2015-10-27 Onemednet Corporation Methods, systems, and devices for managing medical images and records
US9760677B2 (en) 2009-04-29 2017-09-12 Onemednet Corporation Methods, systems, and devices for managing medical images and records
US8718363B2 (en) * 2008-01-16 2014-05-06 The Charles Stark Draper Laboratory, Inc. Systems and methods for analyzing image data using adaptive neighborhooding
US8737703B2 (en) * 2008-01-16 2014-05-27 The Charles Stark Draper Laboratory, Inc. Systems and methods for detecting retinal abnormalities
US8150113B2 (en) * 2008-01-23 2012-04-03 Carestream Health, Inc. Method for lung lesion location identification
JP5374078B2 (ja) * 2008-06-16 2013-12-25 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
GB0902280D0 (en) * 2009-02-12 2009-03-25 Univ Aberdeen Disease determination
GB2470727A (en) * 2009-06-02 2010-12-08 Univ Aberdeen Processing retinal images using mask data from reference images
US20110129133A1 (en) * 2009-12-02 2011-06-02 Ramos Joao Diogo De Oliveira E Methods and systems for detection of retinal changes
US7856135B1 (en) 2009-12-02 2010-12-21 Aibili—Association for Innovation and Biomedical Research on Light and Image System for analyzing ocular fundus images
CN102129697B (zh) * 2010-01-19 2013-05-29 北京大学 一种文本图像压缩方法
US20110176711A1 (en) * 2010-01-21 2011-07-21 Radu Catalin Bocirnea Methods, apparatuses & computer program products for facilitating progressive display of multi-planar reconstructions
US8351669B2 (en) * 2011-02-01 2013-01-08 Universidade Da Coruna-Otri Method, apparatus, and system for retinal image analysis
US8355544B2 (en) 2011-02-01 2013-01-15 Universidade Da Coruna-Otri Method, apparatus, and system for automatic retinal image analysis
JP2012196245A (ja) 2011-03-18 2012-10-18 Canon Inc 眼科情報処理装置及びその制御方法
US9089288B2 (en) * 2011-03-31 2015-07-28 The Hong Kong Polytechnic University Apparatus and method for non-invasive diabetic retinopathy detection and monitoring
JP2012233800A (ja) * 2011-05-02 2012-11-29 Toyota Central R&D Labs Inc マルチセンサ判定装置及びプログラム
EP2740073B1 (en) * 2011-06-17 2017-01-18 Quantitative Imaging, Inc. Methods and apparatus for assessing activity of an organ and uses thereof
JP6025311B2 (ja) * 2011-08-01 2016-11-16 キヤノン株式会社 眼科診断支援装置および方法
KR101916855B1 (ko) * 2011-10-17 2019-01-25 삼성전자주식회사 병변 수정 장치 및 방법
JP5926533B2 (ja) * 2011-10-27 2016-05-25 キヤノン株式会社 眼科装置
JP5979904B2 (ja) 2012-02-20 2016-08-31 キヤノン株式会社 画像処理装置、眼科撮影システム、及び画像処理方法
JP5936254B2 (ja) * 2012-02-29 2016-06-22 国立大学法人京都大学 眼底観察装置及び眼底画像解析装置
GB201302887D0 (en) * 2013-02-19 2013-04-03 Optos Plc Improvements in or relating to image processing
WO2014129339A1 (ja) * 2013-02-22 2014-08-28 ソニー株式会社 眼底画像出力装置および方法、並びにプログラム
US9424395B2 (en) * 2013-03-04 2016-08-23 Heartflow, Inc. Method and system for sensitivity analysis in modeling blood flow characteristics
US9171224B2 (en) 2013-07-04 2015-10-27 Qualcomm Incorporated Method of improving contrast for text extraction and recognition applications
WO2015013632A1 (en) 2013-07-26 2015-01-29 The Regents Of The University Of Michigan Automated measurement of changes in retinal, retinal pigment epithelial, or choroidal disease
US9008391B1 (en) * 2013-10-22 2015-04-14 Eyenuk, Inc. Systems and methods for processing retinal images for screening of diseases or abnormalities
US9974506B2 (en) 2013-11-05 2018-05-22 International Business Machines Corporation Associating coronary angiography image annotations with syntax scores for assessment of coronary artery disease
US9237847B2 (en) 2014-02-11 2016-01-19 Welch Allyn, Inc. Ophthalmoscope device
JP6388532B2 (ja) * 2014-11-28 2018-09-12 富士通株式会社 画像提供システムおよび画像提供方法
KR101580075B1 (ko) * 2015-01-23 2016-01-21 김용한 병변 영상 분석을 통한 광 치료 장치, 이에 이용되는 병변 영상 분석에 의한 병변 위치 검출방법 및 이를 기록한 컴퓨팅 장치에 의해 판독 가능한 기록 매체
US10799115B2 (en) 2015-02-27 2020-10-13 Welch Allyn, Inc. Through focus retinal image capturing
US11045088B2 (en) 2015-02-27 2021-06-29 Welch Allyn, Inc. Through focus retinal image capturing
US20160310043A1 (en) * 2015-04-26 2016-10-27 Endochoice, Inc. Endoscopic Polyp Measurement Tool and Method for Using the Same
US9757023B2 (en) 2015-05-27 2017-09-12 The Regents Of The University Of Michigan Optic disc detection in retinal autofluorescence images
US10136804B2 (en) * 2015-07-24 2018-11-27 Welch Allyn, Inc. Automatic fundus image capture system
US10772495B2 (en) 2015-11-02 2020-09-15 Welch Allyn, Inc. Retinal image capturing
WO2017120217A1 (en) 2016-01-07 2017-07-13 Welch Allyn, Inc. Infrared fundus imaging system
US10667723B2 (en) 2016-02-19 2020-06-02 Covidien Lp Systems and methods for video-based monitoring of vital signs
WO2019094893A1 (en) 2017-11-13 2019-05-16 Covidien Lp Systems and methods for video-based monitoring of a patient
CA3086527A1 (en) 2018-01-08 2019-07-11 Covidien Lp Systems and methods for video-based non-contact tidal volume monitoring
CN108853702B (zh) * 2018-05-15 2021-02-26 中国科学院苏州生物医学工程技术研究所 一种新型智能药物喷洒系统
US11096574B2 (en) 2018-05-24 2021-08-24 Welch Allyn, Inc. Retinal image capturing
US11547313B2 (en) 2018-06-15 2023-01-10 Covidien Lp Systems and methods for video-based patient monitoring during surgery
EP3833241A1 (en) 2018-08-09 2021-06-16 Covidien LP Video-based patient monitoring systems and associated methods for detecting and monitoring breathing
US11617520B2 (en) 2018-12-14 2023-04-04 Covidien Lp Depth sensing visualization modes for non-contact monitoring
US11315275B2 (en) 2019-01-28 2022-04-26 Covidien Lp Edge handling methods for associated depth sensing camera devices, systems, and methods
US11484208B2 (en) 2020-01-31 2022-11-01 Covidien Lp Attached sensor activation of additionally-streamed physiological parameters from non-contact monitoring systems and associated devices, systems, and methods
CN111353992B (zh) * 2020-03-10 2023-04-07 塔里木大学 一种基于纹理特征的农产品缺陷检测方法及系统
TWI728818B (zh) * 2020-05-22 2021-05-21 貞安有限公司 居家監控眼底時程影像的系統與方法
US11950848B2 (en) * 2020-08-10 2024-04-09 Welch Allyn, Inc. Fundus imaging for microvascular assessment
KR20220042558A (ko) * 2020-09-28 2022-04-05 주식회사 딥바이오 병리 이미지 분석 결과 출력 방법 및 이를 수행하는 컴퓨팅 시스템
US11900605B2 (en) 2021-09-30 2024-02-13 Merative Us L.P. Methods and systems for detecting focal lesions in multi-phase or multi-sequence medical imaging studies

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0624010B2 (ja) 1986-05-29 1994-03-30 株式会社豊田中央研究所 画像内濃淡領域検出装置
US5868134A (en) * 1993-09-21 1999-02-09 Kabushiki Kaisha Topcon Retinal disease analyzer
JPH07299053A (ja) * 1994-04-29 1995-11-14 Arch Dev Corp コンピュータ診断支援方法
JPH09149901A (ja) 1995-11-30 1997-06-10 Toshiba Corp 画像生成装置及び画像生成方法
WO1999057683A1 (en) * 1998-05-04 1999-11-11 The Johns Hopkins University Method and apparatus for segmenting small structures in images
GB9909966D0 (en) 1999-04-29 1999-06-30 Torsana Diabetes Diagnostics A Analysis of fundus images
WO2003030075A1 (en) 2001-10-03 2003-04-10 Retinalyze Danmark A/S Detection of optic nerve head in a fundus image
WO2003030101A2 (en) 2001-10-03 2003-04-10 Retinalyze Danmark A/S Detection of vessels in an image

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A genaral algorithm for recongnizingsmall,vague,and imagery-alike objects in a nonuniformlyilluminated medical diagnostic image. LEE ET AL.SYSTEMS AND COMPUTERS,IEEE,Vol.2 . 1998
A genaral algorithm for recongnizingsmall,vague,and imagery-alike objects in a nonuniformlyilluminated medical diagnostic image. LEE ET AL.SYSTEMS AND COMPUTERS,IEEE,Vol.2 . 1998 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102436638A (zh) * 2010-08-24 2012-05-02 奥林巴斯株式会社 图像处理装置以及图像处理方法

Also Published As

Publication number Publication date
US20040258285A1 (en) 2004-12-23
EP2793189A3 (en) 2015-02-25
EP1444635B1 (en) 2017-05-10
JP4411071B2 (ja) 2010-02-10
WO2003030074A1 (en) 2003-04-10
DK2793189T3 (en) 2017-02-06
EP1444635A1 (en) 2004-08-11
EP2793189A2 (en) 2014-10-22
US7583827B2 (en) 2009-09-01
CN1589449A (zh) 2005-03-02
JP2005504595A (ja) 2005-02-17
EP2793189B1 (en) 2016-11-02

Similar Documents

Publication Publication Date Title
CN100530204C (zh) 评估图像中的损伤
CN105513077B (zh) 一种用于糖尿病性视网膜病变筛查的系统
Abràmoff et al. Retinal imaging and image analysis
Xiong et al. An approach to evaluate blurriness in retinal images with vitreous opacity for cataract diagnosis
Siddalingaswamy et al. Automatic grading of diabetic maculopathy severity levels
WO2018116321A2 (en) Retinal fundus image processing method
Priya et al. Automated diagnosis of Age-related macular degeneration from color retinal fundus images
Zhu et al. Digital image processing for ophthalmology: Detection of the optic nerve head
Aquino et al. Automated optic disc detection in retinal images of patients with diabetic retinopathy and risk of macular edema
WO2010131944A2 (en) Apparatus for monitoring and grading diabetic retinopathy
Almazroa et al. An automatic image processing system for glaucoma screening
Suero et al. Locating the Optic Disc in Retinal Images Using Morphological Techniques.
Giancardo Automated fundus images analysis techniques to screen retinal diseases in diabetic patients
Giancardo et al. Quality assessment of retinal fundus images using elliptical local vessel density
Noronha et al. A review of fundus image analysis for the automated detection of diabetic retinopathy
Memari et al. Computer-assisted diagnosis (CAD) system for Diabetic Retinopathy screening using color fundus images using Deep learning
Niemeijer Automatic detection of diabetic retinopathy in digital fundus photographs
WO2003030075A1 (en) Detection of optic nerve head in a fundus image
WO2004082453A2 (en) Assessment of lesions in an image
DK1444635T3 (en) Assessment of lesions in an image
Mohammadi et al. The computer based method to diabetic retinopathy assessment in retinal images: a review.
Valencia Automatic detection of diabetic related retina disease in fundus color images
Barreira et al. Automatic analysis of the microaneurysm turnover in a web-based framework for retinal analysis
Al-Hamadani A fast template-based technique to extract optic disc from coloured fundus images based on histogram features
Al-Kanany et al. General Awareness and Knowledge about Glaucoma Cataracts for Diabetic

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C56 Change in the name or address of the patentee

Owner name: RETINALYZE A/S

Free format text: FORMER NAME: RETINALYZE DANMARK AS

CP01 Change in the name or title of a patent holder

Address after: Copenhagen

Patentee after: Ray Warner Co.

Address before: Copenhagen

Patentee before: Retinalyze Danmark AS

C56 Change in the name or address of the patentee
CP02 Change in the address of a patent holder

Address after: Dane Heller Rupp

Patentee after: Ray Warner Co.

Address before: Copenhagen

Patentee before: Ray Warner Co.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090819

Termination date: 20181003