CN105612554B - 用于表征通过视频医疗设备获取的图像的方法 - Google Patents

Abstract

根据第一方面，本发明涉及一种通过表征通过视频医学设备按顺序地获取的图像来支持临床决策的方法。所述方法包括定义至少一个图像定量标准、将有顺序的图像存储在缓冲器中，针对缓冲器中的每个图像(10)使用第一算法基于所述图像定量标准来自动地确定至少一个输出并将所述输出添加到时间线(11)。

Description

用于表征通过视频医疗设备获取的图像的方法

技术领域

本发明一般地涉及图像和视频处理，并且特别地涉及系统和方法,所述系统和方法用以表征按顺序获取的图像且尤其是通过视频医疗设备获取的图像的可解释性。

背景技术

视频获取设备产生大量数据。此数据的高效使用对于视频编辑、视频摘要、快速可视化和与视频管理和分析有关的许多其它应用而言很重要。

如Koprinskaa等人(“Temporal video segmentation:A survey”,SignalProcessing:Image Communication,16(5),477–500(2001))举例说明的，时间视频分段是大多数现有视频管理工具中的关键步骤。已经开发了许多不同类型的算法以执行时间分段。

早先的技术集中于使用像素差、直方图比较、边缘差、运动分析等的切割边界检测或图像分组，而诸如在US7783106B2和US8363960B2中提出的最近的方法也已经使用了图像相似性度量、分类和聚类来实现相同的目标。

在某些应用中，如在Sun,Z.等人(“Removal of non-informative frames forwireless capsule endoscopy video segmentation”,Proc.ICAL pp 294-299(2012))和Oh,J.-H.等人(“Informative frame classification for endoscopy video”,MedicalImage Analysis,11(2),110-127(2007))的那些中，可将时间视频分段的问题重新阐述为区分信息性图像与噪声图像的分类问题。

在US20070245242A1中，时间视频分段已经结合跨场景的相似性的计算从而产生视频摘要。

在医疗设备领域中，并且特别是在内窥镜检查领域中，运动图的评价已经在长视频的分析中起到重要作用。

在US7200253B2中，公开了一种系统，用以评价可摄取成像胶囊的运动并针对时间显示运动信息。

在US20100194869A1中将类似的运动信息用于内窥镜检查视频的时间视频分段。视频内容的快速筛选是通过仅仅显示每个时间段的第一图像而实现的；因此跳过所有其它图像。

为了达到内窥镜检查中的快速视频筛选的相同的目的而不跳过图像，US20100194869A1依赖于运动评价来计算与估计运动成反比的重放速度。

US8218901B2公开了利用视频拼接工具的显微内镜检查的有效表示，其中连续的图像具有重叠。

为了使整个显微内镜检查视频的解释变得容易，André,B.等人(“A Smart Atlasfor Endomicroscopy using Automated Video Retrieval”,Medical Image Analysis,15(4),460-476(2011))提出了方法，其依赖于当前视频与来自外部数据库的视频之间的视觉相似性来显示相对于当前视频而言在视觉上相似但有注释的情况。

André,B.等人(“Learning Semantic and Visual Similarity forEndomicroscopy Video Retrieval”,IEEE Transactions on Medical Imaging,31(6),1276-1288(2012))公开了一种类似方法来用语义信息补充视觉相似性。关于相关主题(André,B.等人的“An image retrieval approach to setup difficulty levels intraining systems for endomicroscopy diagnosis”,MICCAI(pp.480-487).Beijing:LNCS(2010))提出了一种手段，其评价与给定显微内镜检查视频的解释相关联的难度水平。

在临床情形中，可能需要在过程期间执行视频分析。为了围绕计算时间的问题进行工作(US20110274325A1)公开了一种方法，其利用连续的图像的冻结缓冲器来执行计算密集任务的同时继续图像获取。

如上述工作中举例说明的，现有技术表明对于的高效使用用医疗设备获取的视频存在实际需要。虽然在临床和非临床两种情形中均已经解决了视频数据的高效使用，但先前的方法中没有教导用以表征组成用医疗设备获取的视频的图像的可解释性的方法。

专利文件US2006/293558公开了用于反映结肠镜检查过程的质量的度量的自动测量方法。专利文件US2011/301447公开了用于通过应用对视频帧中在空间和时间上均相邻的部分中的帧内和帧间关系的概率分析来分类和注释医学视频中的临床特征。

发明内容

提出的本发明的一个目的是改善用视频医疗设备获取的数据的使用效率。出于此目的，我们公开了用以表征图像的可解释性的系统和方法以支持临床决策。本文公开的方法是基于通过视频医疗设备按顺序获取的图像的表征，其包括：

●定义至少一个图像定量标准，也称为可解释性标准，

●将有顺序的图像存储在缓冲器中，

●针对缓冲器中的每个图像，使用第一算法来基于所述可解释性标准自动地确定至少一个输出，

●将所述输出添加到时间线。

这使得医疗视频数据的用户能够将其注意力集中于获取的最可解释部分。

用以获取图像的视频医疗设备可以是本领域的技术人员已知的任何设备，包括但不限于：显微内镜、光学相干断层成像设备、传统内窥镜、高清晰度内窥镜、窄带成像内窥镜、内窥镜、双气囊小肠镜、变焦内窥镜、荧光内窥镜、2D/3D超声波成像、回波内窥镜或任何其它介入性成像方式。

根据变型例，该方法还包括显示所述缓冲器的图像以及所述时间线。有利地，该方法还包括使用所述时间线的光标来指示时间线中的所显示图像的位置。

第一算法的输出可以是一组离散值之间的值。该值通常可以是字母-数字表示的值。在这种情况下，时间线可由对应于具有相等输出的连续图像的时间区形成。这些时间区可组成感兴趣视频的时间分类或时间分段。在二进制输出的特定情况下，这些时间区可组成感兴趣的视频的时间二进制分段。

第一算法的输出还可以是连续标量或矢量值。在某些情况下，该算法可具有两个不同的输出，一个是离散值，另一个是连续标量或矢量值。关于诊断的一个实施例将是同样的；第一离散输出将指示预测的诊断类别，而其它连续输出将指示属于每个预定义的诊断类别的概率。

根据变型例，通过色彩来表示第一算法的输出值，所述色彩被叠加在所显示的时间线上。还可在当前显示图像的旁边显示第一算法的输出值。

根据变型例，当定义对应于具有相等输出的连续图像的时间区时，该方法还可包括选择至少一个时间区并从缓冲器提取对应于所述时间区的图像。所提取图像可以例如存储在存储设备上。还可使用第二算法和所显示的第二算法的输出来处理所提取的图像。例如，第二算法可以是基于内容的视频或图像检索算法、图像或视频拼接算法、图像或视频分类算法等。

所述至少一个时间区的选择可完全自动、或者可以取决于某些用户交互来执行。例如，第二算法可以针对所有分段时间区利用整组图像。其还可基于简单的选择算法，或者可要求用户交互以选择所选区域。

根据变型例，第一算法可生成与缓冲器的每个图像相关联的中间结果。该方法因此可以包括将所述中间结果存储在内部数据库中。例如，内部数据库可以在缓冲器的每次更新时更新。根据变型例，第一算法可以使用内部数据库的中间结果。

当使用第二算法来提取并处理对应于时间区的图像时，所述第二算法可能使用内部数据库的中间结果。

根据变型例，可解释性标准可以是运动稳定性。

例如，可以使用特征匹配的分析来评价运动稳定性。该特征可以位于规则或摄动(perturbed)网格上。例如，通过局部图像显著性来驱动网格摄动。

可以使用投票图来选择和计算确定运动稳定性的投票的数目。

可以在最初以成对方式对连续的图像执行运动稳定性，并且可以对初始运动稳定性信号执行信号处理步骤以提供运动稳定性输出。

根据目标临床应用，可解释性标准可以是非限制性列表中的至少一个：运动稳定性、图像之间的相似性，例如缓冲器内的图像之间的相似性、属于一类的概率，例如属于预定组类别的给定类别的概率、图像质量、提出诊断或语义解释的难度、图像典型性或非典型性或图像模糊度。

此外，可解释性标准可以使用缓冲器内的图像与外部数据库内的图像之间的相似性。

根据以下描述和附图，本发明的上述及其它目的、特征、操作效果和优点将变得显而易见。

附图说明

图1是与突出显示充分可解释性的时间区的时间线相关联地显示的用医疗设备获取的视频的示意图。

图2是与突出显示根据离散值标记的时间区的时间线相关联地显示的用医疗设备获取的视频的示意图。

图3是与呈现连续输出的时间演化的时间线相关联地显示的用医疗设备获取的视频的示意图。

图4A是与突出显示充分可解释性的时间区的时间线相关联地显示的用医疗设备获取的视频的示意图，并且图4B图示出包括根据相对于当前时间区的相似性标准,从外部数据库中已选择的视频和附加元数据的一组情况。

图5是图示出连续图像的匹配和基于匹配质量的域值的图。

图6A和图6B是图示出用于对局部图像描述进行定位的精化策略的图。

图7A和图7B是图示出用于离群点去除的初始可解释性标签时间线的处理的图。

具体实施方式

在基本操作模式下，医疗视频获取设备充当到我们的系统的输入。可以在获取期间执行实时视频处理，并且可以显示图像。同时，在将实时计算的潜在结果存储在内部数据库中的同时,将图像在有限先进先出(FIFO)缓冲器中排队。

在第二操作模式下，我们的系统可以使用先前通过视频医疗设备作为输入记录的视频。在这种情况下，还将组成视频的图像在FIFO缓冲器中排队。如果在获取期间执行实时计算并连同图像一起记录，则可以将来自计算的结果载入内部数据库中。

在两个操作模式下，每次更新图像缓冲器时,内部数据库都可能被更新。

在检查存储在输入缓冲器中的图像时，我们的系统自动地表征组成缓冲器的图像的可解释性,并将其输出添加到与缓冲器中的图像内容相对应的时间线。可解释性的表征可以依赖于先前执行的实时计算以及后处理计算。

根据目标临床应用，可以根据不同的底层标准来表征可解释性。这些标准可以与不同的概念有关，诸如但不限于：

●运动稳定性，

●缓冲器内的图像的相似性，

●相对于先前的那些未被图像覆盖的新信息的量，

●图像质量，

●伪像的存在和重要性，

●成像伪像的性质和类型，

●属于在预定义的组类别内的给定类别(例如诊断类别)的概率，

●图像典型性或非典型性，

●图像模糊度，例如相对于一组诊断级别的视觉模糊度，

●提出诊断或语义解释的难度。

在显微内镜检查中，通常将成像探针放置为与组织接触,或者放置为接近于组织以获取图像。可以借助跨视场的反射镜扫描来执行实时获取。由于探针在反射镜扫描期间相对于组织的连续运动，图像经受运动伪像。这些伪像的量值通常与图像的可解释性相关。事实上，如果观察到太多的运动，则组织的蜂窝式架构可能大大失真，并且可能导致难以解释的图像。

在大多数视频医疗设备中，用户将在病人身上或体内对成像探针或成像检测器进行导航，并且将停留到区域上一段时间,其与该区域的兴趣和可解释性相关。

同样地，在本发明的某些实施方式中，可解释性可以是成像探针相对于其目标的运动的函数。换言之，在某些实施方式中，可以根据运动稳定性来表征可解释性。

在其它情形中，将可解释性与基于模型的计算特征相关可能执行起来是复杂的。然而，情况可能是先前已获取图像的外部数据库并通过专家用户根据某些可解释性标准加注释。在本发明的其它实施方式中，可以使用机器学习算法通过从可用的加注释外部数据库中学习来推断新图像的可解释性。

在其它情形中，视频的解释可能依赖于识别用视频医疗设备获取的图像的可变性。在这种情况下，用户可能对将相似图像集中在一起感兴趣。本发明的实施方式可以使用其它形式的机器学习来通过将图像根据其相似性聚类而表征可解释性。

在用户正在播放已记录视频、播放缓冲视频或者可视化当前正在由视频医疗设备获取的视频的同时，可以使用多个可视化技术来显示至少一个图像表征输出。针对存储在缓冲器中的每个图像，计算的输出值可以是离散信息，诸如字母或标签或者连续标量或矢量值。

如图1至4中所示，可以将输出值添加到视频的时间线11，其中，时间线11包括时间光标15，其指示时间线11中的所显示图像10的时间。根据本发明的一个实施方式，将色彩直接地叠加在视频的时间线中，以便为用户提供视频内的图像可解释性的按时间顺序查看，所述色彩表示针对视频的所有图像而计算的输出值。还可以显示解释输出值的图例以使用户容易理解。

还可以在当前显示图像的旁边显示针对当前所显示图像10计算的输出值或表示此值的色彩，以便复制潜在地被当前时间光标15隐藏的输出值，如图2中所示(元素29)。

在离散化输出的情况下，可以通过一个预定义色彩来表示每个输出值。图1图示出在时间线11中通过预定义灰色12或白色14色彩表示的二进制输出的情况。时间线中的给定位置处的灰色(或者白色)色彩可以指实施例如视频中此位置上的图像具有充分(或者不充分)的质量，或者其相对于先前的图像而言是运动学稳定的(或者不稳定的)。

图2图示出将输出离散化成四个不同值的情况，其中的每一个用不同的色彩表示：白色24、浅灰色(点)28、暗灰色(波)22或黑色(阴影线)26。如果在输出值之间存在顺序关系，则可以在值被映射到的灰度水平之间保持此顺序。如果不是，则可选择随机顺序。这四个灰度值可以指实施例如如下排序的四个可解释性水平：根本不可解释、几乎不可解释、部分可解释、完全可解释。其还可指实施例如：不充分可解释、充分可解释并属于组织类型A、充分可解释并属于组织类型B、充分可解释并属于组织类型C，其中，在这三个组织类型之间不存在顺序关系。

在连续输出的情况下(图3)，仍可以通过色彩来表示每个输出值，所述色彩可以通过将输出值例如映射到RGB、HSL、HSV或YUV三元组值而自动地确定。可以使用查找表来将连续输出转换成色彩。如果输出是n≤3的n维矢量，则可以修改该映射过程。如果输出是n＞3的n维矢量，则可以例如根据3维主成分分析来计算映射过程。连续色值32可以指实施例如图像质量或者图像中的局部区域的百分比，所述图像与先前图像中的局部区域匹配。图3图示出此类可视化如何可以允许用户认识到视频内的连续图像可解释性值的时间演化。

在其中用户仅将当前正在获取的图像可视化的特定情况下，可以针对此图像立即计算至少一个输出值。可以在此当前获取图像旁边显示所述输出值或表示此值的色彩。

在许多情况下，视频数据的用户不仅直接地是医生，而且可以是第二计算算法。我们公开了本发明的实施方式，其中使用表征可解释性来单独对适当可解释性的时间区执行进一步的计算。

在添加到时间线的离散输出的情况下，可以在时间线中定义时间区作为对应于具有相等输出值的连续图像的最大段。将当前时间区定义为当前时间光标所属的时间区。然后可以定义用户交互，允许用户潜在地：

●禁用或启用至少一个输出的显示；

●将时间光标移动至最近下一时间点，其属于不同于当前时间区的时间区；

●将时间光标移动至最近前一时间点，其属于不同于当前时间区的时间区；

●选择至少一个时间区；

●精化并修改时间区；

●将与所选时间区相关联的图像存储到存储设备上，并潜在地对其进行注释；

●在当前时间区上或在由用户选择的至少一个时间区上启动至少一个第二算法。所述第二算法使用与时间区(s)相关联的图像子序列(s)作为输入。第二算法可以例如在于将这些输入图像子序列(s)分类或拼接。

●将由至少一个第二算法创建的至少一个输出可视化，所述第二算法潜在地在当前时间区上自动地启动。有利地，可自动地显示此第二输出，而不要求任何用户交互。

在具有第二算法的这种情形中，还可以根据数据如何被后续计算使用来定义可解释性。可以使用专用视频拼接技术通过将来自视频序列的许多连贯的图像对准并融合来加宽视频的视场。此过程仅仅适用于在连贯的图像共享充分的重叠的情况下和观察到成像设备与感兴趣目标之间的某些运动的情况下。在本发明的一个实施方式中，可以根据运动稳定性来定义可解释性，并且可以在具有充分可解释性的区域上应用视频拼接工具。

根据另一实施实施方式，如果已在至少两个视频子序列上应用视频拼接以产生较大视场图像，则随后可以使用图像拼接技术来检测并关联匹配的图像拼接(mosaics)，对其进行空间配准并将其融合，从而创建图像的甚至更大的视场。匹配拼接的检测还可以取决于用户交互。

为了使用视频医疗设备获取的视频序列的解释容易，可以使用基于内容的视频检索工具作为利用基于相似性的推理的手段。针对给定视频序列，可从外部数据库向医生呈现在视觉上与视频序列相似且先前被专家加注释的一组情况。用医疗设备获取的视频序列可以包含可变的可解释性的一部分，并且可以包含不同组织类型的混合体。同样地，这些基于内容的视频检索工具的相关性可以关键地取决于选择作为需要的、与可解释性一致的视频的一部分。在本发明的一个实施实施方式中，使用可解释性表征来自动地将输入视频分离成充分可解释性的子部分；所述子部分被用来构造用于基于内容的视频检索算法的至少一个查询。

根据一个变型例，可以以不同的方式使用子部分来创建用于基于内容的检索算法的查询。例如，可以使用每个子部分来创建独立查询。替换地，可以使用整组子部分来创建单个查询。替换地，可以要求用户选择这些子部分的子集来创建单个查询。

根据另一变型例，用户还具有在重新开始第二算法之前精化由第一算法提供的时间分段的能力。

图4A和图4B图示出其中第二算法是基于内容视频检索处理的情况，所述处理在感兴趣视频的当前时间区上已启动。由此第二算法创建并显示给用户的输出由三个参考视频(41、42、43)以及其注释(44、45、46)组成，其中，该注释包括例如参考视频的诊断类别。这些参考视频已从外部数据库提取，作为在视觉上最类似于与在图4A中通过光标15选择的与当前时间区相关联的相邻图像组。

根据另一实施例，在离散标签的情况下，本发明还允许在每个区域中自动地运行第二算法。

根据另一实施例，在离散标签的情况下，本发明还允许自动地独立地存储所有已标记区域的内容，或者在二进制标签的子情况下，在存储设备上存储对应于给定标签的所有时间区的级联。

运动稳定性

可以使用基于图像配准的方法来识别视频序列内的运动学稳定时间区。这可以例如通过实际上对时间连续图像进行配准并然后分析通过配准算法找到的空间变换的质量来完成。

另一实施例将是仅使用图像配准算法的步骤的子集并分析由此子集提供的结果的质量。这可以在基于特征匹配算法的情况下完成，其中着眼于与空间变换模型的特征匹配的一致性可以允许一个人推断关于运动稳定性的信息。

还可在局部一致性方面分析该特征匹配从而获得对用于空间变换的建模误差更加稳健的结果。

还可以使用同时对多个图像进行配准的更高级方法(诸如在(Vercauteren,Perchant,Lacombe,&Savoire,2011)中提出的那个)来推断运动稳定性。

图5更详细地图示出用于分析依赖于特征的网格的运动稳定性的一个可能实施方式。使存储在缓冲器中的一系列有顺序的图像51中的每个图像52与图像上的空间位置的网格(57)相关联(步骤I)。网格(57)的每个点(58)与围绕着该点具有给定比例的局部空间区域相关联，每个区域进而与描述符或数值签名相关联。将来自一个图像的每个描述符与来自先前图像的数值相似描述符匹配(步骤III)，允许一个人将图像(54)中的网格(59)的每个点与先前图像(53)的网格(57)上的另一点匹配；所述匹配点与局部区域相关联，所述局部区域由于描述符相似而在视觉上相似。然后执行匹配的分析以评价其局部一致性或相对于预定义空间变换模型的其一致性。如果该一致性被估计为过低，则将认为图像相对于先前的一个而言是运动学稳定的。

将图像表示为描述符的网格常常被称为密集局部图像描述或者简而言之为密集描述。可互换地，我们还可以针对这些方法使用术语基于网格。也可以将网格的每个点成为关键点。

依赖于基于网格的局部图像描述的一个优点在于可以使用该描述符既来表征视频序列的稳定性又执行基于内容的视频检索任务。这将允许在其中将执行两个任务的情况下节省计算时间。

局部图像描述(无论是否是基于网格的)被广泛地用于计算机视觉、图案识别和医学成像中，并且服务于多种目的。现在有许多不同描述符可用，其包括但不限于LBP、SIFT、SURFT、HoG、GLOH等。根据确切的应用，不同的计算要求、性能要求、实现容易性要求等可以导致每个选项。

关键点局部化有时在计算机视觉中是至关重要的。在大多数情况下，关键点的规则网格不是最常见的选择。在某些情形中，使关键点精确地位于最显著点上是有利的。

通常，可以使用图像的一阶和二阶导数来检测最显著点以及估计相应局部区域的比例。众所周知的Harris检测器例如使用Hessian矩阵的迹来检测拐点。其它检测器使用Laplacian估计器，其是Hessian矩阵的决定因素。一旦检测到最显著点，可以用由显著性检测器提供的比例在相应位置上设定关键点。

如在网格情况下一样，然后可以使用从显著点导出的关键点来计算局部图像描述符。然后可以在描述符之间计算偏差测量结果，导致关键点匹配，其可通过变换模型分析或规则化。实施例性变换模型包括但不限于很适合于照相机应用的投射模型、很适合于显微术应用的转化模型和刚形体变换模型和可以涵盖组织变形的可变形模型。

关键点匹配方法通常具有多个约束。例如，情况常常是良好的匹配性能强制将关键点定位于充分显著点上，并且很好地分布在图像场上。

使关键点位于充分显著点上通常将使得关键点的局部化相对于成像参数的变化更稳健。这因此可以通过使关键点匹配更准确来改善配准算法的性能。

在关键点匹配过程期间，在尝试将关键点与许多其它的相关联的同时，具有单个响应常常更好。还常常期望避免在没有关键点的图像中具有空间区域。这要求关键点的良好分布。

选择在不同的获取效果下无变化的描述符常常是有利的，其包括但不限于：

●强度变化。观察到的图像信号事实上可以根据全局和局部光反射、照明的功率、光致褪色效应、成像伪像等而改变。

●空间失真。所述区域的观察到的形貌可以根据视点而改变；组织可以由于呼吸、心跳、与器械的接触而在不同的图像之间改变；用户可以改变器械的变焦；设备可产生伪像等。

在某些情形中，描述和偏差测量过程可以受益于尽可能接近地模拟人类视觉。选择充分相关的描述-偏差耦合以在大多数时间在图像之间正确地关联区域至少常常是有利的。

虽然标准局部区域描述的后面的显著点检测符合多个应用中的大部分约束，但在许多有差异的医学成像问题上已经表明未能找到分布很好的显著区域。医学图像事实上常常是平滑但有纹理的，并且缺少许多计算机视觉特定工具要求的拐角的边缘。

为了在医学成像的背景下符合这些约束，在医学图像上应用处于固定比例的基于网格的描述常常是令人感兴趣的选择。事实上可以将信息分布在许多医学图像中的每个地方。

出于配准的目的依赖于基于网格的描述常常被认为有挑战性的任务。与基于显著性检测的方法相比，描述-偏差耦合的选择具有匹配准确度的更多影响。还产生明显更大数目的离群点匹配，其需要用本方法处理。

在临床领域中使用的某些成像扫描设备也可以导致相当强的运动伪像。如果组织与成像探针接触，则这可以导致预测起来复杂或不可测的失真。

在下文中，我们集中于一个实施例性描述符，SIFT描述符已示出在某些医学成像问题上的高效，以举例说明局部图像描述符的概念中的某些。应想到的是可以使用任何其它局部图像描述符。

SIFT(比例不变特征变换)算法包括关键点检测和图像描述两者。用基于网格的描述方法，可以不要求关键点检测，并且仅可以使用SIFT的描述符的部分。

可以使用梯度信息来描述图像的局部区域。更具体地，定向梯度的直方图已显示出高效的结果。在局部图像区域内，可以在局部区域的不同子区域中创建直方图以根据某些离散化取向仓(bin)将子区域中的梯度的量值求和。然后可用一个最终直方图来描述整个局部图像区域，所述一个最终直方图按照预定义顺序将所有子区域直方图连接。

窗口化的概念也常常起到重要作用以更好地针对描述符对梯度量值的贡献进行加权。通常在整个描述符上应用窗口化。高斯核是最常见的窗口化选择，但是可以使用任何其它类型的窗口(Blackman、Hamming、Cosine等)。

高斯窗具有无限支持，其实际实现可以依赖于诸如递归滤波之类的近似的截短或更复杂形式。在许多情况下，在取决于高斯窗的标准偏差σ的距离之后对高斯窗的支持进行截短可能是有利的。通常，.可以将截短距离r选择成与σ成比例。例如使用r＝σ/2是典型的，但可以使用任何其它关系。

一旦已定义了窗口化策略，则可以通过在最终直方图创建期间根据窗口化函数对每个梯度信息进行加权而在描述符的创建中使用窗口化值。

在某些情况下，获得在图像的任何运动下不变的局部描述符可能是有利的。这可以通过许多不同手段来实现，其包括但不限于：

●在整个局部区域内找到取向的众数或平均值，并根据此主取向对该区域或梯度值进行重新定向

●使用圆形形状带来以子区域对局部区域进行细分

定义用于描述符区域的主取向可以例如通过计算描述符的整个局部区域上的第一梯度取向直方图来完成。此直方图创建过程可不同于子区域直方图创建的那个，例如：

●用来计算主取向的有角度仓的数目可以有利地大于用来计算子区域直方图的有角度仓的数目。这可允许具有更准确的重新定向策略，潜在地导致相对于旋转变化的较高的不变性。

●可能使用不同的窗口化函数来对每个梯度样本的贡献进行加权。

如果主取向被定义为整个局部区域的取向直方图的众数，则此梯度直方图中的最高峰值将提供此主取向的值。同样地，可能期望平均值，在这种情况下，在取向直方图上使用Fréchet平均值可能有利地考虑到360°下的角的翘曲。找到峰值还可受益于通过拟合诸如高斯或样条函数之类的局部模型以便以子仓准确度且以潜在地更加稳健的方式识别峰值的位置而使用某种形式的规则化。

如果将众数用于定义，则我们还可能想要使用多个不同众数来创建多个描述符，每个所选众数一个。选择多个众数可以例如基于最高峰值与第二峰值之间的比较来完成。如果第二峰值的高度充分地接近于最高峰值，例如在其一定的分数以上，则保持该第二峰值可能是令人感兴趣的。确定相应域值可能是通过不同手段完成的，其包括但不限于拇指规则、试错法、相互验证、优化等。

一旦给出了主取向，可以使用角度差和三线性内插将样本梯度取向值分布在子区域的梯度直方图中。同样地，可在内插期间将样本的位置和角度考虑在内。

使用圆形截短和圆形对称窗口化函数的一个优点在于其可通过允许避免在重新定向之后检查样本是在截短区内部还是外面来节省一定的计算时间。

应注意的是重新定向并不总是必需的。例如，如果可以假设如果在视频的连续图像之间不能观察到显著的旋转或可以观察到非常少的显著旋转，则旋转不变性可能是无用的或者甚至有害的，因为其可以导致较高的计算要求。连续图像中的显著旋转的不存在是例如显微内镜检查视频中的标准情况。事实上，成像探针通常具有对转矩的高阻力。因此常常可以忽视成像探针相对于组织的旋转。

局部描述符中的一个重要概念是至少一个观察比例的确定。此比例可以是自动定义的，或者可以由于应用特定知识而是固定的。在关键点检测的背景下，通常在检测过程期间确定比例。在基于网格的方法的背景下，固定预定义比例可能表现为更自然的选择。然而，可能进行其它选择。

如上所述，选择预定义比例可以根据应用特定的知识来完成。例如，当使用显微内镜检查时，使用作为在解剖学上有意义的比例或与之有关的一个或多个比例可能是有利的，诸如将仅仅集中于几个细胞的几微米、将集中于细胞架构图案的几十微米等。

根据本发明的另一实施方式，还可通过以给定比例优化某种形式的图像内能量或者通过以给定比例跨整个图像优化平均显著性来检测到整组图像上的训练数据库中的任一个的至少一个最佳比例。

一旦给定了比例，以给定的固定像素尺寸将局部图像区域重新采样到图像块可能是有利的。这可以用标准比例空间方法来完成。可以用来定义图像I(x,y)的典型比例空间变换，其中，s是比例因数，并且是用x和y的卷积运算，并且G是2D高斯函数。此比例空间用来在将局部区域向下采样至期望的固定尺寸之前将其平滑化。

认为输入图像已经被自然地平滑化通过由某些参数(诸如光学件的质量、图像重构过程等)引起的一定的σ₀可能是有利的。被用于在按比例缩减之前将图像平滑化的标准偏差的值可以虑及此自然平滑化，例如通过使用√(s-σ0)而不是直接地使用s。

当采取基于网格的方法并提供固定的观察比例时，选择网格步幅可能是有利的，所述网格步幅小到足以捕捉到实际上存在于图像中的所有可能结构但大到足以降低计算要求。

一个有利选择可以是将网格步幅选择成与比例因数成比例。为了降低计算成本，选择整数比例因数也可能是有利的。这样，用于局部描述符的重新采样像素和样本将被共同定位。因此可以避免样本内插的一个步骤。

虽然网格方法常常显示出准确且高效的结果，但在某些情形中，精化来自网格的匹配结果可能是有利的。事实上，匹配的准确度局限于网格步幅。减小网格步幅是选项，但这是以增加计算成本为代价的。在本发明的一个实施方式中，可以在网格点位置上使用一种抖动形式以使量化误差随机化并因此降低其平均值。

如图6中所示，可以向规则网格(62)点位置63添加故意噪声以创建被干扰网格64。优选地，此噪声的标准偏差将小于原始网格62步幅的四分之一以保持被干扰网格64的点位置65充分接近于原始位置。这潜在地对确保整个图像的充分覆盖度而言是重要的。

在另一实施方式中，将在种子点处看到原始点，其每个可以产生具有不同的噪声实例的多个点。每个种子点选择一个有噪声实例将导致简单的被干扰网格，但是选择较大数目的实例可能是有益的。

在另一实施方式中，添加到网格点位置的噪声将不是随机地完成的，而是将被对应于底层图像的显著性图驱动。从点的原始规则网格开始，每个网格点将被附近的显著图像点吸引，以及被原始位置吸引。两个吸引之间的竞争将定义被干扰网格点的最终位置。同样地，我们还可以在网格点之间添加排斥项。用这种方法，描述符将很好地分布在图像上，但是也将集中于图像内的显著点上，潜在地使得匹配更加准确。

更详细地，根据一个实施例性设置，到原始网格点的吸引可以是二进制的，只要在界定的圆形区域内就没有吸引且当点在界定区域外面时具有无穷大的吸引。如果不使用网格点排斥项，则网格点然后将结束在界定区域内与最显著图像点共同定位。

图像显著性图的导出可以使用标准显著性标准来完成，诸如但不限于基于二阶导数的标准或信息理论标准。

如图5中所示，一旦图像描述54可用，则可以将此图像的描述符59与缓冲器中的先前图像53的描述符57匹配。现在可以分析匹配组(II)以评价在这两个图像之间的运动是否是稳定的。

为了找到良好的描述符匹配，一个可能选择是依赖于由偏差测量提供的k个最近描述符。公开了用以利用最近点的多个算法方法。

为了测量两个描述符之间的偏差，欧几里德距离将是最简单的选择，常常产生充分的结果。然而，可以使用依赖于距离、伪距离或者更专用的算法的其它偏差测量结果，包括但不限于χ²、Mahalanobis距离、陆地移动距离(EMD)等。在某些情形中，使用此类偏差测量结果可以潜在地出于特征匹配目的而导致更好的结果。

欧几里德距离被广泛地用来比较任何维度的任何点。然而，描述符可以被归一化，并且可以例如表示感兴趣区域内的梯度的局部分布。在这种情形中，描述符之间的偏差测量结果可以受益于依赖于诸如EMD之类的概率密度相关距离。

甚至在上述情况下，欧几里德距离或欧几里德距离的平方可能由于计算的原因而令人高度感兴趣。

给定偏差度量，我们可以计算两组描述符之间的每个可能的成对偏差。这允许创建偏差矩阵D，其中，D(i,j)＝偏差(来自第1组的第i描述赋予、来自第2组的第j描述符)。这引起两个潜在问题。第一个是用以创建D矩阵的计算复杂度问题。第二个是此过程可以产生许多离群值。改善这两个方面将是有用的。为了降低计算成本，我们可以例如通过依赖于近似最近邻工具而不是精确最近邻来容忍关于匹配的某个误差。为了减少离群值的数目，例如可以在将每个匹配添加到有用匹配列表之前对其进行验证。此类步骤可以不仅要求集中于最近匹配，而且寻找k个最近匹配。

着眼于穷举法(brute force approach)的计算复杂度，如果我们考虑在两组的N个描述符内寻找k个最佳匹配，每个描述符具有相同尺寸n，则穷举k最近邻(k-NN)搜索算法的复杂度恰好是O((C(n)+k)·N2)，C(n)是偏差测量的成本。在欧几里德距离的情况下，C(n)大致等于n。用以部分地将每行分类以便获得k个更好的结果的成本平均起来是O(kN)。精确搜索的复杂度因此是O((n+k)·N²)。

为了降低计算复杂度，可以使用近似最近邻技术。可以例如通过依赖于数据分区来实现此降低。构建二进制n-d树以将维度n的点分离。针对每个子节点递归地完成此操作直至叶点的基数达到一为止。在使用中裂作为聚类的同时构建此树具有θ(nNlog₂(N))的线性复杂度。应注意的是可以使用任何聚类方法来将数据分裂成二元树。一般地，通常使用简单的中裂，但是分级k均值或其它聚类算法也被广泛地用于此特定应用。

一旦构建了n-d树，则搜索算法从树的顶部去最后一个树叶以到达第一最近点。用以近似地搜索N个查询的k个最近点的复杂度为约O(kNlog(N))。n-d树构造和n-d树中的近似搜索的复杂度是：O((n+k)Nlog(N))。

在基本操作模式下，我们可以针对要匹配的每对图像构建用于第一(或者第二)图像的n-d树并将来自第二(或者第一)个的每个描述符与此n-d树中的k个最近描述符匹配。如果需要的话，还可同时地执行这两个命令。

为了进一步节省计算时间，仅每两个图像构建一个n-d树可能是有利的。这可以实现，在如果我们可以选择使用两个图像中的哪个来创建n-d树的情况下。事实上，我们可以通过选择用于创建n-d树的第二图像开始，然后将第三图像与第二个匹配，将使用用于第二图像的n-d树，因为其已可用。当第四图像将与第三个匹配时，将针对第四图像构建新的n-d树等等。

出于将n-d树从一个图像对传递至下一个的目的，本发明可以有利地利用先前介绍的内部数据库。

给定穷举法或更高级的一些，第一组中的每个描述符可以与第二组中的最近描述符相关联。此匹配不必是对称的。可以有利地使用对称性检查特征来验证匹配并因此去除离群值。给定来自第一组的描述符在第二组中的最佳匹配，如果最接近于第二组的描述符在第一组中的描述符恰好是与来自第一组的最初的描述符相同的描述符，则该匹配将被验证。对称性检查的实现可受益于每个图像构建并存储一个n-d树。

虽然对称性检查可以允许去除许多离群值，但在某些情况下进一步精化离群值去除可能是有益的。消除大部分错误关联将允许产生匹配的更容易、更准确且更稳健的分析。导致错误匹配的典型情况包括但不限于：

●重叠之外描述符。针对使两个连续图像相关的任何明显空间变换，虽然在连续图像之间可能存在重叠，但在大多数情况下在第一图像中将存在并未存在于第二图像中的空间区域。针对在非重叠区域中的那些描述符，在与之相关联的其它图像中不存在良好描述符。

●平直描述符。图像中的具有非常小的对比度的区域或平直区域不具有任何可靠的梯度信息。梯度的分布是均匀的，由成像系统的固有噪声驱动。这可以导致平直区域之间的随机匹配。针对仅沿着单个方向显示出对比度的区域，同一问题可能以不那么严格的方式出现。这是所谓的小孔问题。

应注意的是上文公开的对称化在这两个种类中可以帮助去除许多离群值。然而存在对于其而言其它方法可能更加优异的情况。某些成像设备可能事实上由于校准不准确、渐晕效应、光学件上的刮痕等而在其图像之上产生静态噪声图案。在此固定设置下，不具有有用对比度的图像仍具有由任何上述伪像引起的小对比度。平直区域因此可能并不是完全平直的。然后可以在关联描述符的同时将来自该静态噪声的弱梯度信息考虑在内。这些不良匹配潜在地将不会通过对称化被去除，并且将使匹配朝着恒等(identity)偏置。

为了确定匹配是否是可靠的，已提出了当前描述符与其在另一组中的最近描述符的偏差和与其第二最近描述符的偏差之间的比分析。虽然这实际上在使用关键点检测时很适用，但这在其中可描述重叠区且其可因此具有相似描述符的网格情况中未能适当地起作用。关键点检测可以导致描述符位置，其确保所有局部区域描述输入图像内的几乎不重叠区域。当使用基于网格的图像描述方法时，被描述符覆盖的区域可以具有不可忽略的重叠。例如存在其中重叠的约80％看起来有益的情况。其将意味着两个空间相邻局部区域的描述符可以是相似的。因此，最近描述符和第二最近描述符进而可以具有与当前描述符的非常相似的偏差。

根据本发明的一个实施方式，可以使用当前描述符与另一组中的最近描述符的偏差和与第k最近描述符的偏差。k的选择必须在着眼于网格的结构的情况下进行。例如，不考虑将确保直接的4连接(或者8连接)网格点的k＝5(或者k＝9)选择为最佳匹配。关于此比的域值可以允许在保留大部分内群值的同时去除许多离群值。

此类比分析应提供可使用结果，因为将正确的匹配与最近的不正确匹配相比较应导致高得多的差，与比较不正确匹配和最近其它不正确匹配相比。标准方法已使用第一最近匹配作为比较点，同时我们公开了使用第k匹配来避免考虑来自区域的与正确匹配具有高重叠的几乎所有正确匹配。如上所述，根据所使用描述符网格的密度来修改参数k是有益的。网格越密集，我们越是需要寻找在该比中使用的第二描述符。

根据本发明的另一实施方式，还可以去除具有在给定域值以上的偏差的所有匹配。该域值可以是全局预定义域值，可以基于观察到的偏差的统计针对给定的一对图像全局地计算，或者可以基于在点的局部邻域中观察到的偏差来局部地计算。还可想象将局部图像区域描述符的实际内容考虑在内的更复杂选项。

给定一对连续图像和一组已滤波匹配，我们现在可以继续进行其分析以评价图像之间的运动稳定性。

根据一个实施方式，将同样地执行匹配的分析：该匹配将在一组离散化空间变换参数内投票，因此创建投票图。具有足够数目的投票的参数将被视为一致性表决。然后可以使用一致性对比不一致表决的百分比作为用于运动稳定性的置信度评价。

给定一对连续图像和一组已滤波匹配，我们还可能想要估计空间变换，其允许对图像进行配准或对准。针对医学图像，此类配准常常由于但不限于以下原因中的某些而潜在地具有挑战性。

当在不同时间点对同一组织区域进行成像时，观察到的图像信号可以由于镜面反射、光致褪色、血管化或氧化的变化、激励光的量的变化等而改变。

可能由于其它器械的存在而发生血液及其它生物液体、烟雾、粪便等的堵塞。

组织结构还可能由于呼吸、心跳、病人运动或组织与器械(包括成像探针)之间的接触而变形。因此可能需要在对两个连续图像进行配准的同时考虑到局部变形。

成像设备还可以产生其自己的运动伪像，其在某些情况下可能太复杂而不能针对成对图像配准的任务进行建模。例如，在成像扫描设备的情况下，可以由于镜像而执行用于给定图像的成像视场的扫描。这意味着可以在不同的时间获取每个像素。当成像探针相对于组织移动时，其可以引起在视场内改变的强失真。在某些情况下，如果成像探针相对于组织的运动在获取图像的同时是恒定的，则可以对该失真进行建模和补偿。然而，在大多数情况下，探针的运动更加复杂且不能被容易地建模，尤其是如果运动快速地演化的话。

在某些情形中，成像设备依赖于图像重构和校准信息来产生其图像。该校准可以具有不准确且甚至可以随时间而改变。这可以导致可使图像配准偏置的静态噪声图案或者可使图像配准的任务复杂化的视觉外观的变化。

在大多数情况下，成像设备不具有将对引导图像配准过程有帮助的跟踪信息。并且，即使当跟踪信息可用时，其准确度与视场相比也可能是相当大的。这在显微内镜检查领域中情况将尤其真实，但是其也将由于病人运动而适用于大多数成像设备。

在某些情况下，即使仍存在上述原因，其对图像的影响也可以是足够小的，使得我们可以直接地估计图像之间的空间变换并分析结果以判定运动稳定性。在其中相同的原因对图像具有较高影响的其它情况下，这种方法可能仅对小百分比的图像对起作用。这因此可以在运动稳定性的估计中导致朝向不稳定性的偏置。事实上，许多图像对可能潜在地未被适当地配准，虽然可以将图像之间的总体运动视为平滑的。

根据本发明的一个实施方式，我们集中于对于其而言找到空间变换模型足以估计运动学分析的情况。空间变换可以是典型或不那么典型的模型中的任何一个，起包括但不限于转换、刚性体变换、仿射变换、投射变换、具有剪切以虑及运动失真的转换等。在这种情形中，匹配可充当输入数据以拟合变换模型。诸如梯度下降、模拟退火等基于优化方案或诸如RANSAC、MSAC等随机采样方案、最小二乘方拟合、最小截平方、加权最小二乘方拟合、L₁拟合等全部可以使用。分级拟合方法(诸如逐渐地精化空间变换模型的那些)也可以帮助提供更稳健的结果。

然后可以通过着眼于用于最终空间变换模型的内群值的数目并将其与匹配的总数或所保持匹配的总数相比较来评价运动稳定性。

还可以通过使用最终空间变换并在使目标图像翘曲到另一个上面之后计算图像之间的重叠区域上的相似性分数来评价运动稳定性。该相似性分数可以是在医学成像中使用的标准或不那么标准的相似性中的一个，其包括但不限于：平方差和、归一化相关、相互信息、归一化梯度场等。

在这种情况下，通过配准相似性分数来评价运动稳定性。应注意的是还可以有优化相似性分数的配准的直接方法，并且其在某些情况下可能导致更好的结果。在某些其它情况下，即使在相似性分数方面评价运动稳定性，经历特征匹配路线也可以导致更稳健的结果，其不那么易于陷入局部最小值中。根据精确的实施，计算成本还可能根据所选路线而大大地改变。

虽然将变换模型拟合到匹配数据，在某些情况下可能实际上是高效的，但可能存在定义模型过于复杂而实际上不可使用的情况。根据本发明的另一实施方式，可以使用用以针对运动稳定性分析两个连续图像之间的匹配的更局部方法。有利地，本发明允许并不集中于空间变换的精确模型，而是评价在图像之间具有相当空间上一致的空间变换的概率。出于此目的，提出了相似性分数，其依赖于由描述符匹配提供的局部转换。

根据本发明的一个实施方式，可以通过投票图来创建连续图像之间的相似性分数。投票图是2D直方图，其将由匹配描述符找到的每个局部转换的贡献求和。可以通过两个匹配描述符之间的偏差的函数、通过关联的质量对贡献进行加权，或者其可以简单地全部具有单位权值。

投票图使用离散化投票仓。有利地，在用于图像描述的规则网格的情况下，可以将投票图的分辨率选择成与描述网格相等。在这种情况下，投票图的尺寸通常将是网格的两倍，以允许从第一图像中的一个网格点到其他图像中的另一网格点的所有可能转换。

在摄动网格的情况下或者在关键点检测的情况下，选择投票图的分辨率可以根据所需准确度来完成。

应注意的是两个图像之间的重叠取决于转换的振幅。因此，并非所有转换都可以接收到相同最大投票数。实际上，在简单的设置中，只有恒定变换可以接收到所有投票。如果我们考虑一个维度上的半视场的转换且如果我们使用矩形图像，则重叠将对应于一半图像，意味着还有一半的匹配可以投票用于正确转换。

为了虑及此潜在偏置，可以进一步根据每个投票仓的潜在投票者的最大数目对投票图进行加权。有利地，可以由于两个掩蔽图像(表示被用于图像描述的网格的空间组织)的卷积而计算投票图中的用于给定转换的潜在投票者的最大数目。

在某些成像设备中，图像的视场并不是正方形，而是通常可以具有圆形或任何其它形式。为了计算投票图的归一化，可以创建掩蔽图像，其中用一来填充所有有效描述符位置并用零来填充无效位置。

在掩码的卷积之后，我们获得贡献图，其包含潜在贡献者相比于用于每个可能转换的最大贡献者数目的比。该值在0与1之间。根据本发明的一个实施方式，我们可能想要仅考虑转换，其可以用足够数目的描述符匹配来投票。

可以同样地对投票图进行归一化。如果贡献图的值在给定域值以上，投票图中的每个条目被除以贡献图的值，或者否则(即如果贡献图的值在阈值以下)被分配给0。

一旦计算了归一化投票图，在其中可以用转换来很好地表示空间变换的情况下，我们通常将观察到预期转换周围的投票图中的主峰值。

在更复杂的空间变换的情况下，包括非线性的那些，许多峰值通常将出现在投票图中，无论是否归一化。根据本发明的一个实施方式，将所有峰值考虑在内以评价运动稳定性。为此，可以完成关于投票图的值的简单域值以选择充分一致的所有投票。然后可以对投票图(对应于所选一致性投票)中的所有值求和以评价与运动稳定性的总体一致性。

先前的方法可以确保只有转换(在略微扩展的局部图像区域上共享)被考虑在内。虽然这可以涵盖我们需要的大部分重要变换，在某些情况下，可能要求更加精化的方法。根据本发明的另一实施方式，将根据以下规则来选择匹配。给定匹配的邻域，执行简单变换模型的稳健估计。可以根据其到模型变换的距离来选择用于此邻域的中心匹配。这样，只有局部一致性匹配仍被保持以评价总体一致性。

有利地，根据局部空间变换的模型，可以通过依赖于由匹配产生的位移场的简单平滑化、滤波或规则化来执行此类选择。

一旦计算了连续图像之间的空间变换一致性，可以使用关于该一致性的简单域值作为运动稳定性的指示符。

为了进一步降低计算复杂度，可以采用多比例方法。作为第一步骤，可以使用描述符的粗网格。虽然较低的粒度意味着由此网格导出的估计不那么准确，但描述符的数目的减少使得算法运行起来快得多。给定使用粗网格找到的结果，我们可以检测容易匹配图像对和不能匹配的容易图像对。针对不容易的图像对，我们可以使用细网格来运行算法。有利地，我们可以判定使用相当保守的规则来辨别容易图像对。

作为使用粗网格和然后的细网格用于比较的替代，本发明允许实现相似的加速，如果使用内部数据库来保存从细网格构建的n-d树的话。如果此操作完成，则可以将一个图像上的粗网格高效地匹配到其它图像的细网格。这是有利的，因为使用描述符的两个粗网格，意味着增加离散化误差。因此可能存在机会，网格被过于严重地错误匹配且算法可能并未正确地指示一对稳定连续图像。然而，通过使用描述符的一个细网格，保持与完全细网格情况类似的离散化误差。在使用一个粗网格时，仅仅是在投票图上的噪声将较高。

如果使用多个描述比例，则还可以以标准的多比例方式应用该程序，该标准多比例方式从最粗比例移动至最细比例，并且每当比例允许进行运动稳定性的置信度估计时停止。

根据另一实施方式，可以同时地使用多个比例来创建多比例投票图，在其上面可以通过继续进行多值分析来扩展上述分析。

超过连续图像的稳定性，运动稳定性的概念优选地还可以涵盖这样的思想，即稳定子序列不应局限于仅一个或几个隔离图像，并且应将相隔仅一个或几个不稳定图像的稳定子序列结合。

出于此目的，如图7A和7B中所示，根据本发明的一个实施方式，可以使用时域中的数学形态学运算。如果连续图像的分析导致具有运动稳定性的二进制信息(71、72)的时间线，则可以使用形态闭运算(在图7A中示出)来填充稳定子序列之间的小间隙(73)，同时可使用形态开运算(在图7B中示出)来去除稳定(75)但太短的子序列。

如图7A和7B中所示，这种方法可以允许避免我们的初始时间分段中的某些假阴性和假阳性。

作为在数学形态学运算之前将图像对运动稳定性分析的结果二元化的替代，本发明还允许直接地在运动学分析的连续输出上使用信号处理工具。可以出于此目的使用简单的高斯平滑化、灰阶数学形态学、迭代方法、图割等。针对图割方法，一个潜在的实施方式将使用两个连续图像之间的连续运动稳定性分析(或其传递函数)作为规则化因数(平滑化项)，并且可以使用常数因子、预处理结果或诸如图像的标准偏差或匹配等任何其它数据驱动信号作为数据项。

高级内部数据库的使用

根据一个实施方式，本发明可以即时地处理当前获取图像。可以创建内部数据库，其最初是空的并逐渐地富于先前获取图像的即时处理的结果。此内部数据库可以在图像缓冲器的每次更新时被更新。

内部数据库可以存储在区域水平、在图像水平或者在视频子序列水平可以计算的中间结果。所述中间结果可以包括但不限于：

●全局和局部视觉特征；

●全局和局部帧间相似性距离；

●全局和局部位移场；

●从视觉特征聚类构建的视觉单词；

●视觉签名；

●视频子序列之间的相似性距离；

●从感兴趣视频的视频子序列到内部数据库的视频的相似性距离；

●从包含已获取并加注释的图像或视频的外部数据库提取的后验知识信息。

内部数据库可以例如包括基于图表的结构，诸如k-d树或随机森林，其支持存储中间结果的生成和处理。所述处理包括但不限于：

●将视觉特征聚类；

●计算与视频子序列相关联的视觉签名；

●计算视觉签名之间的距离。

基于分类和基于回归方案

根据一个实施方式，在离散输出的情况下，本发明的第一算法能够使用分类器来估计对应于图像的标签。分类器可能是基于简单规则的分类器，或者可以依赖于机器学习而被从外部训练数据库进行训练，其中，一组图像与诸如标签或注释之类的地面实况数据相关联。

根据另一实施方式，在连续输出的情况下，本发明的第一算法能够使用回归算法来估计对应于图像的标签或连续输出。回归算法可以是简单的最小二乘回归法算法，或者可以依赖于机器学习而被从外部训练数据库进行训练，其中，一组图像与连续地面实况数据相关联。

机器学习工具，其潜在地通过第一算法用于分类或回归目的，可以例如基于支持向量机、自适应增强、后面是k最近邻投票的基于内容图像检索、人工神经网络、随机森林等。

视觉相似性评定和聚类

根据一个实施方式，本发明能够通过仅仅依赖于感兴趣视频的图像内容以完全无监督的方式操作。

第一算法可以是完全无监督聚类算法，其将存储在缓冲器中的所有图像取作输入并提供与每个图像相关联的集群作为输出。根据一个实施方式，可以将与图像相关联的集群映射到色彩，其可以在与视频缓冲器中的图像相对应的位置处叠加在时间线上。

无监督聚类算法可以基于K-Means聚类、分级聚类、平均移位聚类、图割、基于随机森林聚类、随机Ferns或任何其它标准聚类算法。聚类算法可以使用存储在内部数据库中的中间结果。

根据一个实施方式，针对存储在缓冲器中的每个图像构建视觉签名，使用诸如视觉单词袋、Haralick特征或不变散射卷积网络之类的任何适当的技术并依赖于内部数据库作为训练数据库。然后，可以基于其视觉签名来执行图像的无监督聚类。

耦合可解释性表征和第二算法

如果第一算法已针对每个图像提供至少一个离散输出，则可以将第二算法应用于由相等输出的连续图像构成的视频子序列，并提供至少一个输出以便显示。如前所述，可以将此类离散输出称为感兴趣视频的时间分段。第二算法可以使用第一算法的至少一个输出、存储在内部数据库中的中间结果和存储在外部数据库中的数据等。

根据一个实施方式，第一算法提供在感兴趣视频中检测视频子序列的手段，所述视频子序列是用于第二算法的最佳查询。

第二算法包括但不限于：

●用以从至少一个视频子序列创建较大视野的图像或视频拼接；

●视频子序列的无监督聚类，例如用以将感兴趣视频聚类成视觉场景；

●视频子序列的无监督表征，例如用以估计每个视频子序列的视觉非典型性；

●视频子序列的监督分类，例如用以将预测诊断或病理类别和预测置信度水平与视频子序列或与感兴趣的完整视频相关联

●视频子序列的监督回归，例如用以估计整个感兴趣视频或每个视频子序列属于给定病理级别的概率；

●视频子序列的监督表征，例如用以估计每个视频子序列或整个感兴趣视频相对于一组诊断或病理级别的视觉模糊；

●基于内容的视频或图像检索，具有至少一个视频子序列作为查询，例如以从外部数据库提取在视觉上类似于查询的已注释视频。

根据一个实施方式，当第二算法是基于内容的检索算法时，本发明允许通常是医生的用户高效地从第一算法的结果创建用于第二算法的可再现查询，以半自动化方式。这在某些情形中可以允许增强检索性能，在与使用未切割视频作为查询时相比或者在与完全自动化查询构造相比时。这种半自动化方法还可允许我们由人类专家接近仔细构造查询的性能。

为此，可以分两步来分解我们的查询构造方法。在第一步中，可以由于任何前述方法(诸如运动稳定性或图像质量评定之类)而执行原始视频到一组感兴趣子序列的自动化时间分段。第二步在于分段子序列的子集的快速用户选择。可以简单地要求医生保持或丢弃由第一步提供的子序列。虽然每个可能的子序列可能包含不同组织类型的图像，但分段步骤通常将使得每个子序列比原始未切割视频更加自相一致。简化的用户交互因此允许快速且可再现的查询构造，并允许医生构造查询，其在所选子序列内和之间具有充分视觉相似性。

在一个变型例中，要求用户简要地检查每个分段子序列并点击其感兴趣的那些。由于这全部可以在手术期间发生，所以时间分段可有利地与实时兼容。

给定子序列的用户选择字节，本发明可以使用此子集来创建用于基于内容检索算法的视觉签名以查询外部数据库。然后可以向医生呈现视觉上最相似情况以及可以向其附加的任何潜在注释。

在一个变型例中，可以使用视觉单词袋方法、Haralick特征或任何其它兼容方法来针对所选视频子序列中的每个图像计算每个图像的一个签名。通过对这些签名求平均值，可以使每个子序列和每个视频与视觉签名相关联，所述视觉签名可用于检索目的的。

在另一变型例中，作为每个视频计算一个签名的替代，可以将每个子序列关联到一个视觉签名，其然后可以用于检索目的。然后可以将用于所有子序列的检索情况根据其与相应初始子序列查询的视觉相似性而会聚并再使用。

如从先前的描述应清楚的，由于计算原因，当第一算法和第二算法两者都依赖于相同的中间计算时，可以仅执行此类计算一次并跨两个算法共享。对于基于运动稳定性的时间分段而言和对于基于单词袋的基于内容检索而言，当依赖于常见的一组特征描述符(诸如SIFT、SURF等的规则密集网格之类)时情况如此。

虽然本发明的前文编写的描述使得普通技术人员能够完成和使用目前被认为是其最佳方式的内容，但普通技术人员将理解并认识到本文中的特定实施方式、方法以及实施例的变体、组合以及等价物的存在。因此本发明不应受限于上述实施方式、方法以及实施例，而是受限于在所公开的本发明的精神和范围内的所有实施方式和方法。

Claims (11)

1.一种通过表征通过视频医学设备按顺序地获取的图像来支持临床决策的方法，其中，所述方法包括：

·将有顺序的图像存储在缓冲器中，

·针对所述缓冲器中的每个图像，自动地确定第一算法的至少一个第一输出值，所述第一输出值基于至少一个图像定量标准，

其中所述第一算法的至少一个第一输出值是一组离散值之中的输出值，

其中所述第一算法计算局部图像描述符之间的偏差测量结果，以关联一个图像中的至少一个区域与另一个图像的区域；

·执行所述图像的自动化时间分段，将所述图像分段成多个由第一输出值相等的连续图像组成的视频子序列；

·显示指示所述缓冲器中的图像位置的时间线，并将所述第一输出值添加到所述时间线上；以及

·使用第二算法处理至少一个视频子序列，以提供至少一个第二输出值，

其中所述第二算法为由以下算法组成的算法组中的一个算法：

使用所述至少一个视频子序列作为外部数据库的查询的基于内容的视频或图像检索算法，

配置用以从所述至少一个视频子序列创建较大视野图像的图像或视频拼接算法，

配置用以将预测诊断或病理类别和预测置信度水平与所述至少一个视频子序列关联的监督分类算法，

配置用以估计所述至少一个视频子序列属于给定病理类别的概率的监督回归算法，

配置用以估计所述至少一个视频子序列相对于一组诊断或病理类别的视觉模糊的监督表征算法，和

配置用以估计所述至少一个视频子序列的视觉非典型性的无监督表征算法。

2.根据权利要求1所述的方法，其中所述第二算法是使用所述至少一个视频子序列作为外部数据库的查询的基于内容的视频或图像检索算法，其中所述方法进一步包括：

·选择或允许用户选择所述子序列的子集；

·计算所选择子集的视觉签名；

·通过所述基于内容的视频或图像检索算法、使用所述视觉签名查询外部数据库，以检索视觉上类似的视频或图像；以及

·向用户呈现带有关联注释的视觉上类似的检索到的一组视频或图像。

3.根据权利要求1所述的方法，其中所述第一算法为无监督聚类算法，并且所述第一算法的至少一个输出是与每个图像相关联的集群。

4.根据权利要求3所述的方法，其中基于针对缓冲器中的每个图像计算的视觉签名，执行所述无监督聚类算法。

5.根据权利要求2所述的方法，其中计算所选择子集的视觉签名的步骤包括：

·计算所选择子集中每一个图像的视觉签名；

·对所述选择子集中的所述图像的所述视觉签名求平均；以及

·关联每个子集和所述平均后的视觉签名。

6.根据权利要求1所述的方法，其中相对于强度变化和空间失真或/和图像旋转，所述局部图像描述符不变化。

7.根据权利要求1所述的方法，进一步包括显示所述第二输出值的步骤。

8.根据前述权利要求中的任一项所述的方法，其中，

·所述第一算法和所述第二算法中的至少一个使用外部数据库。

9.根据权利要求1-7中的任一项所述的方法，其中，

·所述第一算法和所述第二算法中的至少一个基于机器学习。

10.根据权利要求1中所述的方法，其中，

·所述定量标准是以下各项之中的一个：运动稳定性、图像之间的相似性、属于一个类别的概率、图像或视频典型性、图像或视频非典型性、图像质量、伪像的存在。

11.一种通过表征通过视频医学设备按顺序地获取的图像来支持临床决策的系统，其中所述系统包括用于实现根据权利要求1-10中的任一项所述的方法的设备。