CN103975364A - 针对宫颈的光学检查的图像选择 - Google Patents

Abstract

一种医疗成像系统(1200、1300)包括处理器(1204)，所述处理器用于控制所述医疗成像系统。所述医疗成像系统还包括存储器(1210)，所述存储器用于存储由所述处理器执行的机器可执行指令。所述指令的执行令所述处理器：接收(900、1000、1100)图像数据(1212)，其中，所述图像数据包括宫颈(1600)的多幅图像；并且从所述图像数据选择(902、1004、1102、1112)诊断图像(1214)。

Description

针对宫颈的光学检查的图像选择

技术领域

本发明涉及宫颈的光学检查领域，尤其涉及阴道镜领域。

背景技术

从宫颈发起的癌症是很多国家中女性的第一大癌症。女性癌症的大约30％是由于宫颈癌造成的，其中，例如在印度，每年诊断出超过100000个新病例。

在宫颈癌阳性筛选测试之后，阴道镜检查例行地被妇科医师用作识别宫颈异常区域的第二诊断步骤。阴道镜是低倍率、立体双目视场的显微镜，其具有强大的光源，以用于对宫颈进行放大视觉检查，从而帮助诊断宫颈癌。

世界范围内应用的并且使用阴道镜的宫颈癌例行测试涉及组织对于向宫颈施用醋酸和碘溶液的反应。

阴道镜用于识别暗示有异常组织的可见线索。它充当着照明双目显微镜，以放大宫颈、阴道和外阴表面的视图。可以使用低倍镜(2×到6×)来获得表面结构的总印象。利用中(8×到15×)和高(15×到25×)倍率对阴道和宫颈进行评估。为了识别可能指示更成熟的癌症前期或癌性病变的存在的特定血管图案，高倍率常常是必需的。各种光滤波器可用于突出宫颈表面的不同方面。

借助例如药棉拭子或喷雾向宫颈施加醋酸(通常3-5％)。

肿瘤形成或癌症风险高的区域将表现出不同程度的白色，因为醋酸白与更高的核密度相关。术语“醋酸白”用于与施加醋酸前就显出白色的角化过度或粘膜白斑病的区域形成对照。移行带是宫颈上的关键区域，那里最常出现很多癌症前期和癌性病变。观察移行带和任何可视化病变的整个范围的能力确定了是否可获得充分的阴道镜检查。

常常考虑将施加醋酸之后变白或具有异常血管图案的宫颈区域进行活检。如果看不到病变，可以向宫颈施加碘溶液以帮助突出显示异常区域。

在完整检查之后，阴道镜医生确定可见异常程度最高的区域，并可以使用长的活检仪器从这些区域获得活检。大部分医生和患者认为麻醉是不必要的，然而，现在有一些阴道镜医生推荐并使用诸如利多卡因的表面麻醉剂或宫颈块来减弱患者的不适，尤其是在采集很多活检样本的情况下。

需要深入的训练以根据以上规程正确解读阴道镜测试。在新兴市场，像印度和中国，训练资源和专业知识的缺少限制了这种有效诊断工具的使用。对于有资质的医务人员短缺的工业化国家，也是同样的情况。

发明内容

本发明在独立权利要求中提供了一种医疗成像系统、一种计算机程序产品和一种操作医疗成像系统的方法。在从属权利要求中给出了实施例。

本发明的实施例可以通过提供用于选择诊断图像的自动化系统，提供解决缺乏解释阴道镜测试的合格人员的问题的手段。

在一些实施例中，对来自检查各阶段的视频数据进行分类并使用特征对应物选择令人满意的图像。在本发明的其他实施例中，估计诊断图像的质量以查看其对于执行诊断是否令人满意。两个实施例都能够使训练不佳的医疗保健从业者能够获得诊断图像，该诊断图像适于诊断并且随后可以被传递到能够提供诊断的受过更好训练的医疗保健从业者。

当前的阴道镜检查是主观的，并且依赖于妇科医师针对解读的知识和经验。因此，本发明的目的是去除该过程的主观性。本发明的另一目的是通过减少学习曲线并辅助诊断，增加阴道镜的可用性。本发明的另一目的是向用户(妇科医师)提供更高的置信度。本发明的再另一目的是提供针对癌症严重性程度的量化度量。

这些目标通过根据本发明的系统或方法得以实现。

根据本发明，提供了一种用于宫颈的光学检查的系统，所述系统包括光学放大器件、照明器件、用于至少一种刺激剂和/或造影剂的施予的施放器件、成像器件以及图像处理器件。所述图像处理器件还包括关键帧提取器件，任选地，为眩光去除器件、对象检测器件(也称作“对象检测器”)以及不透明度变化检测器件。

在优选的实施例中，所述系统还包括用于数据输入和数据输出的操作者接口器件。这种接口器件例如为显示器屏幕、键盘、鼠标、触摸屏、触摸板、控制杆等。

优选地，所述刺激剂和/或造影剂选自包括醋酸和/或碘溶液(优选为卢戈尔液或库勒液)的组。如根据本发明的说明书而变得明显的，本领域技术人员可以通过例行工作在相应的文献中找到备选的刺激剂和/或造影剂。因此，这种备选的刺激剂和/或造影剂也被包括在由本发明提供的保护范围内。

在另一优选的实施例中，所述成像器件包括数字成像设备或非数字摄影机以及抓帧器。所述数字成像设备优选为数字摄影机。所述数字摄影机或非数字摄影机优选地包括CCD(电荷耦合器件)摄影机或CMOS(金属氧化物半导体)摄影机。

在另一优选的实施例中，所述光学放大器件为阴道镜。阴道镜可以是具有强光源的低倍率、立体、双目视野显微镜，其用于宫颈的放大视觉检查，以帮助宫颈癌的诊断。阴道镜不必须为立体的。

在另一优选的实施例中，所述系统还包括计算机工作站，所述计算机工作站用于控制选自包括如下器件的组的器件中的至少一个：光学放大器件、照明器件、用于刺激剂的施予的施放器件、成像器件、成像处理器件、和/或操作者接口器件。

在本发明的另一实施例中，提供了一种对患者的宫颈进行光学检查的方法，所述方法包括以下步骤：

a)对宫颈施加至少一次刺激剂和/或造影剂；

b)在刺激剂的每次施加之前和之后，采集宫颈的放大图像；

c)在所述图像中识别重要解剖目标，即Os、柱状区域和移行带；并且

d)生成不透明度差异评分。

所述患者优选为哺乳动物，具体地优选为灵长类，并且更具体地优选为人类。重要的是要提到，上文提及的步骤不必以给定顺序进行。

在本发明的另一优选的实施例中，刺激剂和/或造影剂为选自包括不透明度差异评分检测剂和/或移行带检测剂的组中的至少一个。

所述不透明度差异评分检测剂具有两个不同作用：第一，能够在利用所述试剂进行刺激和/或造影之后识别重要解剖目标。第二，所述不透明度差异评分检测剂能用于创建不透明度差异评分，因为醋酸白的程度与相应组织中较高的核密度相关，所述不透明度差异评分指示肿瘤形成过程或癌变过程。

所述移行带检测剂优选地具有深的颜色(例如，碘溶液具有深紫色或褐色，也称作“桃木褐”)，并且能充当造影剂，以分别检测宫颈中的移行带，或是宫颈的面积或形状。

所述不透明度差异评分检测剂优选为醋酸，而所述移行带检测剂优选为碘溶液，例如为卢戈尔液或库勒液。因此，在根据本发明的方法的另一优选实施例中，至少一幅图像或帧是在所述不透明度差异评分检测剂的施加之前和之后采集的(为了方便，后文中将这些图像称作“醋酸前图像和醋酸后图像”，尽管所述术语也将联系其他不透明度差异评分检测剂使用)，和/或是在所述移行带检测剂的施加之前和之后采集的(为了方便，后文中将这些图像称作“碘溶液前图像和碘溶液后图像”，尽管所述术语也将联系其他移行带检测剂使用)。

当然，对于本领域技术人员而言，能够通过例行工作从相应的文件得到备选的刺激剂和/或造影剂。能够用于检测较高核密度的区域的备选的试剂例如为亚甲蓝。这种备选的刺激剂和/或造影剂因此也被包括在由本发明提供的保护范围内。这还适用于术语“醋酸前图像和醋酸后图像”和/或在“碘溶液前图像和碘溶液后图像”之前。在针对醋酸或碘溶液的替代物被使用的情况中，将相应地改变这些术语。

在根据本发明的方法的另一优选的实施例中，进行以下步骤中的至少一个：

a)在醋酸后图像中，识别Os和柱状区域；

b)在碘溶液后图像中，识别试探性移行带；

c)将所述试探性移行带映射到所述醋酸前图像和所述醋酸后图像；

d)通过在所述醋酸前图像和醋酸后图像中，从所述试探性移行带减去所述Os和柱状区域，识别实际移行带。

对实际移行带的识别因此为两步法：(i)在以上所列的第一步骤(步骤b)中，处理碘溶液后图像，以基于因碘溶液的施加受影响的宫颈区所描绘的颜色改变，试探性地检测移行带。使用基于颜色的K均值聚类，将从关键帧提取器获得的碘溶液后图像分割成两个聚类。选择所述两个聚类中较小的。将该聚类的凸包定义为所述试探性移行带；(ii)在以上所列的第二步骤(步骤c)中，将所述试探性移行带映射到所述醋酸前图像和醋酸后图像，并之后减去以上列出的(根据步骤a)所检测的Os和柱状上皮区域，以定义以上列出的所述实际移行带(见步骤d)。能够在识别所述移行带之前配准所述醋酸前图像和醋酸后图像。相应的图像分析过程示于图6和图7中。

在根据本发明的方法的具体优选的实施例中，所述不透明度差异评分是通过对至少一幅醋酸前图像和一幅醋酸后图像进行图像处理而生成的。针对所述处理，基于对所述实际移行带的先前识别，优选地仅使用这些图像的实际移行带数据。

在根据本发明所述的方法的另一优选的实施例中，如根据本发明的方法确定的实际移行带(或者优选为其形状和/或总面积)，和/或如根据本发明的方法确定的不透明度差异评分指示肿瘤形成和/或癌变过程。

通常，如在碘溶液染色以及将碘溶液染色映射到醋酸后图像之后所确定的实际移行带也能够指示癌变区域。根据该定义，如通过对至少一幅醋酸前图像和一幅醋酸后图像进行图像处理所确定的不透明度差异评分能用于确定在所述癌变区域中的白度的程度，以及因此确定癌症的程度，或严重性。

在另一实施例中，实际移行带的形状和/或总面积能够指示癌症。所述不透明度差异评分能够因此用于证实或撤销疑似肿瘤形成或癌变区域。

具体优选地，在成像器件和/或图像处理器件的帮助下，执行宫颈的放大图像的采集，重要解剖目标的识别和/或不透明度差异评分的生成。

优选地，阴道镜用于此目的。

进一步优选的是，宫颈的放大图像的采集包括以下步骤：

·捕获图像流；

·从所述图像流识别互相关联的图像的序列；

·从这些序列识别关键图像；并且

·预处理所述图像。

对互相关联的图像的序列的识别和/或对关键帧的识别优选地包括以下步骤：

·识别镜头边界；

·分类镜头；并且

·选择关键帧。

此外，优选地，对图像中的重要解剖目标的识别包括以下步骤：

·使用像素的K均值聚类，基于它们的颜色，将醋酸前图像和醋酸后图像分割成2个聚类；

·将最小的聚类标记为Os+柱状一起的上皮区域；

·迭代地去除在Os和柱状上皮区域两者内的小且分离的聚类；并且

·使用最小方差量化分离Os和柱状上皮。

在具体优选的实施例中，不透明度差异评分的生成包括以下步骤：

·在醋酸后图像的移行带中识别具有主要不透明度变化的图像像素，

·将所述图像像素映射到醋酸前图像的对应像素，并且

·使用下式获得所述不透明度差异评分：

进一步优选地，根据本发明的方法还包括选自包括PAP测试和/或针对人乳头瘤病毒的分子测试的组的至少一个步骤。

PAP测试(得名于George Papanicolaou博士，其在上世纪上半叶发展了该技术)是用于妇科医学的筛查测试，以检测恶化前过程和恶性过程。使用窥器从子宫颈的外口以及宫颈内部收集细胞。针对异常情况，具体而言针对宫颈的肿瘤形成或癌变过程，对细胞进行组织学检查。

人乳头瘤病毒(HPV)是这样的病毒：其是能够感染人类的乳头瘤病毒家族的成员。HPV感染是几乎所有宫颈癌病例的原因。取自宫颈的样品中病毒核酸的存在指示宫颈的HPV感染，并因此是患者出现在宫颈中的肿瘤形成或癌变过程的风险的度量。现代分子诊断技术，例如PCR，允许在样品中进行对HPV的快速检测。一个这样的测试是由Qiagen制造的，并且被发布为digene HC2HPV DNA测试。

根据本发明的方法与上文阐述的两个测试之一的组合进一步增加了宫颈中癌症检测的准确性、灵敏性和再现性。

此外，提供了根据本发明的系统的用途，其用于执行根据本发明的方法。

在一个方面中，本发明提供了用于宫颈的光学检查的系统，所述系统包括光学放大器件、照明器件、用于至少一种刺激剂和/或造影剂的施予的施放器件、成像器件以及图像处理器件，所述图像处理器件还包括：

·关键帧提取器件；

·任选地，眩光去除器件；

·对象检测器件；以及

·不透明度变化检测器件。

在另一实施例中，所述系统还包括用于数据输入和数据输出的操作者接口器件。

在另一实施例中，所述光学放大器件为阴道镜。

在另一实施例中，所述系统还包括计算机工作站，所述计算机工作站用于控制选自包括如下器件的组的器件中的至少一个：光学放大器件、照明器件、用于刺激剂的施予的施放器件、成像器件、成像处理器件和/或操作者接口装置。

在另一方面中，本发明提供了患者的宫颈的光学检查的方法，所述方法包括以下步骤：

a)对宫颈施加至少一次刺激剂和/或造影剂；

b)在刺激剂的每次施加之前和之后，采集宫颈的放大图像；

c)在所述图像中识别重要解剖目标，即Os、柱状区域和移行带；并且

d)生成不透明度差异评分。

在另一实施例中，所述刺激剂和/或造影剂为选自包括不透明度差异评分检测剂和/或移行带检测剂的组的至少一种。

在另一实施例中，所述不透明度差异评分检测剂为醋酸和/或所述移行带检测剂为碘溶液。

在另一实施例中，至少一幅图像是在不透明度差异评分检测剂的施加之前和之后采集的(“醋酸前图像和醋酸后图像”)，和/或在移行带检测剂的施加之前和之后采集的(“碘溶液前图像和碘溶液后图像”)。

在另一实施例中：

a)在醋酸后图像中，识别Os和柱状区域；

b)在碘溶液后图像中，识别试探性移行带；

c)将所述试探性移行带映射到所述醋酸后图像；并且

d)通过在醋酸前图像和醋酸后图像中，从所述试探性移行带减去所述Os和柱状区域，识别实际移行带。

在另一实施例中，不透明度差异评分是通过对至少一幅醋酸前图像和一幅醋酸后图像进行图像处理生成的。

在另一实施例中：

a)实际移行带，如根据权利要求9确定的，和/或

b)不透明度差异评分，如根据权利要求10确定的，

指示肿瘤形成或癌变过程。

在另一实施例中，在图像中对重要解剖目标的识别包括以下步骤：

·使用像素的K均值聚类，基于它们的颜色，将醋酸前图像和醋酸后图像分割成2个聚类；

·将最小聚类标记为Os+柱状一起的上皮区域；

·在Os和柱状上皮区域两者内迭代地去除小且分离的聚类；并且

·使用最小方差量化分离Os和柱状上皮。

在另一实施例中，不透明度差异评分的生成包括以下步骤：

·在醋酸后图像的移行带中识别具有主要不透明度变化的图像像素，

·将所述图像像素映射到醋酸前图像的对应像素，并且

·使用下式获得所述不透明度差异评分，使用下式获得所述不透明度

差异评分：

在另一实施例中，所述方法还包括选自以下组的至少一个步骤：所述组包括PAP测试和/或针对人乳头瘤病毒的分子测试。

在另一方面中，本发明提供了根据本发明的实施例的系统，其用于执行根据本发明的实施例的方法。

本发明在独立权利要求中提供了一种医疗成像系统、一种计算机程序产品和一种操作医疗成像系统的方法。在从属权利要求中给出了实施例。

在本发明的一个方面中，提供了一种医疗成像系统，其包括用于控制医疗成像系统的处理器。所述医疗成像系统还包括存储器，所述存储器用于存储由所述处理器执行的机器可执行指令。所述指令的执行令处理器接收图像数据。所述图像数据包括宫颈的多幅图像。所述图像数据可以包括多幅静止图像，或者所述图像数据可以包括多幅形成视频数据的图像。所述指令的执行还令所述处理器从所述图像数据选择诊断图像。

在另一实施例中，所述指令的执行还令所述处理器向计算机系统转发所述图像数据。亦即，所述医疗成像系统接收所述图像数据，选择诊断图像并之后向计算机系统转发所述诊断图像。

在另一实施例中，所述图像数据包括视频数据。所述视频数据包括多幅图像。所述视频数据包括至少两个图像序列。本文使用的图像序列是显示特定状态下的宫颈的图像集合。所述指令的执行还令所述处理器识别所述至少两个图像序列中的每个。所述指令的执行还令所述处理器从所述至少两个图像序列中的每个选择至少两幅诊断图像。所述诊断图像是所述至少两幅诊断图像之一。亦即，所述诊断图像是从图像序列选择的图像之一。

在另一实施例中，来自所述至少两个图像序列中的每个的所述至少两个诊断图像是如下任何一种：单幅图像、以预定间隔选择的一系列图像以及视频剪辑。

在另一实施例中，通过使用特征识别算法确定所述视频数据的多个特征对应物来识别所述至少两个图像序列。分析特征对应物的替代方法是基于颜色直方图的方法。如本文中所使用的，确定特征对应物的数量旨在等价于使用基于图像的颜色直方图的方法。通过检测相邻帧中的所述特征对应物中的转变来识别图像序列之间的转变，以此方式进一步识别所述至少两个图像序列。所述特征对应物中的转变能够有若干不同含义。例如，它能够是帧与帧之间识别的特征对应物数量的变化。它还能够表示使用局部最小值策略来确定转变。一些实施例可以是通过分析特征数目随时间的时间变化来识别图像序列之间的转变。一种方法是检测在超过一个帧的时间窗口上测量的特征对应物数目的局部最小值。

在另一实施例中，通过检测可识别特征的数目或相邻帧中对应可识别特征的数目的局部最小值来执行图像序列间的转变的识别。

在另一实施例中，特征识别算法能用于使用翘曲和平移在相邻帧之间映射相同特征。

在另一实施例中，所述至少两个图像序列是如下任一种：清洗序列、绿色滤波器序列、以及醋酸白序列、碘序列、详细区域序列、以及其组合。

在另一实施例中，所述医疗成像系统是用于对宫颈进行光学检查的系统。所述系统包括光学放大器件、照明器件、用于施用至少一种刺激剂和/或造影剂的施放器件、成像器件和图像处理器件。所述图像处理器件还包括关键帧提取器件，任选地，眩光去除器件、对象检测器件和不透明度变化检测器件。

在另一实施例中，所述指令的执行还令所述处理器分割所述诊断图像以生成识别旧鳞柱状上皮交界处的图像分割。所述指令的执行还令所述处理器使用所述图像分割确定所述诊断图像的质量等级。所述指令的执行还令所述处理器在质量等级低于预定水平时拒绝诊断图像。所述指令的执行还令处理器在质量等级高于预定水平时接受诊断图像。本实施例是有利的，因为该医疗成像系统能够自动评估诊断图像质量是否足够高。这样可以使无经验的个人能够采集所述图像数据并将其分配给医师或医疗保健专业人员。

在另一实施例中，所述质量等级指示旧鳞柱状上皮交界处是否完全在所述诊断图像之内。如果旧鳞柱状上皮交界处的一部分在所述诊断图像外部，那么拒绝该诊断图像。在一些实施例中，如果旧鳞柱状上皮交界处在所述诊断图像中过小，也可以拒绝该图像。

在另一实施例中，所述图像分割还识别内部Os的位置，其中，所述诊断图像具有中心。所述指令的执行还令所述处理器使用内部Os的分割确定宫颈中心。所述宫颈中心可以是所述内部Os的中心。所述指令的执行还令所述处理器传送所述诊断图像以将所述宫颈中心置于图像的所述中心处。所述指令的执行还令所述处理器生成经划分的图像，其示出了被划分成预定数量的区段的所述诊断图像。本实施例可以是有益的，因为它将医疗图像置于对医师或医疗保健提供者更有用的形式中。

在另一实施例中，该图像被划分成12个馅饼状的区段。

在另一实施例中，该图像被划分成馅饼状的区段。

在另一实施例中，分割的外边界是宫颈边界。

在另一实施例中，进一步分割该图像以定位：柱状上皮、移行带和宫颈边界。

在另一实施例中，将经划分的图像发送到诸如医师或医疗保健提供者的专家的移动电话装置。

在另一实施例中，所述图像分割还识别以下任一种的位置：柱状上皮、移行带、宫颈边界以及其组合。所述指令的执行还令所述处理器显示经划分的图像中的图像分割的至少一部分。本实施例可以是有益的，因为上述区域任一个的位置可以帮助医师或医疗保健提供者执行诊断。它还可以使无经验的或未经训练的人能够更好解读经划分的图像。

在另一实施例中，显示的图像分割能够包括：内部Os、柱状上皮、移行带、宫颈边界、新鳞柱状上皮交界处和/或旧鳞柱状上皮交界处。

在另一实施例中，所述指令的执行令所述处理器在拒绝所述诊断图像时请求替换图像。本实施例是有利的，因为如果无经验的人在使用所述医疗成像系统，能够提示他或她采集另一诊断图像。

在另一实施例中，所述医疗成像系统包括基于云的计算系统。所述基于云的计算系统生成所述图像分割。在使用便携式或小型手持式光学设备采集所述图像数据时，本实施例可以是有利的。可以将医疗成像数据转发到基于云的计算系统，以选择所述诊断图像并执行任何图像分割。这样可以具有如下优点：在医生或其他技术工人短缺的乡村地区提供更好的医疗保健。

在另一实施例中，所述指令的执行令所述处理器向基于移动的报告应用发送所述诊断图像。例如，医师或医疗保健提供者可以在智能手机、计算机或平板计算机上具有患者管理或报告应用。

在另一实施例中，所述医疗成像系统还包括用于采集所述图像数据的摄影机。这一摄影机可以内置于所述医疗成像系统中或可以是外部摄影机，其之后将所述图像数据传输到所述医疗成像系统。

在本发明的另一方面中，提供了一种由处理器执行以控制医疗成像系统的计算机程序。所述指令的执行令所述处理器接收图像数据。所述图像数据包括宫颈的多幅图像。所述指令的执行还令所述处理器从所述图像数据选择诊断图像。在本发明的另一方面中，提供了一种操作所述医疗成像系统的方法。该方法包括接收图像数据。所述图像数据包括宫颈的多幅图像。该方法还包括从所述诊断数据选择诊断图像。

定义

如在本文中使用的，术语“光学放大器件”涉及能够放大光学图像的设备或算法，例如放大透镜、显微镜、或在其中以数字方式或电子方式进行放大的数字图像处理系统。

如在本文中使用的，术语“阴道镜”指具有强光源的低倍率、立体双目视场的显微镜，其用于对子宫颈的放大视觉检查，以帮助宫颈癌的诊断。

术语“Os”涉及宫颈的外部孔，其为子宫腔的内部狭窄部。其对应于被称作峡部的微小狭窄，其能够在从上端到底部之间的大约中部的子宫表面上观察到。

术语“柱状区域”涉及宫颈的上皮的区域。外宫颈包括非角质化的复层鳞状上皮。内宫颈(更近端，在子宫内)包括简单的柱状上皮，即所述“柱状区域”。

术语“移行带”涉及邻近内宫颈与外宫颈的边界的区域。移行带在正常生活期间经历许多次的化生。然而，这种化生潜力增加了该区域中癌症的风险—移行带是宫颈癌发生的最常见区域。

术语“试探性移行带”涉及在碘溶液染色之后暂时检测的移行带。

术语“实际移行带”涉及在将所述试探性移行带映射到醋酸后图像之后确定的移行带。实际移行带由于肿瘤形成过程或癌变过程的高风险，通常也被称为“癌性区域”。

术语“施放器件”涉及用于以相对于时间、体积和位置受控的方式，将至少一种刺激剂和/或造影剂施加至给定目标的设备。优选地，这样的施放器件为注射器、吸量管等。

术语“抓帧器”意指这样的设备，其具有将模拟视频帧成像设备或模拟扫描转换器的输出转换成数字图像以用于进一步图像处理的能力。

术语“关键帧提取器件”涉及这样的设备或算法，其能够自动地识别至少一幅醋酸前图像、醋酸后图像以及碘溶液后图像。

术语“眩光去除器件”涉及能够去除数字图像中的眩光的设备或算法，例如由Lange等人描述的。

术语“图像处理器件”(或图像处理器)涉及能够输入、计算和输出数字图像数据的数字图像处理设备或软件。

术语“不透明度变化检测器件”(或不透明度变化检测器)涉及能够检测在例如，如本说明书中所描述的至少两幅对应图像中的不透明度变化的数字图像处理设备或软件。

术语“对象检测器件”(或对象检测器)涉及能够在数字图像中检测和/或识别目标的数字图像处理设备或软件。

如在本文中使用的“计算机可读存储介质”囊括任何有形存储介质，其可以存储可由计算设备的处理器执行的指令。计算机可读存储介质可以被称为计算机可读非暂态存储介质。计算机可读存储介质也可以被称为有形计算机可读介质。在一些实施例中，计算机可读存储介质也可以能够存储能由计算设备的处理器访问的数据。计算机可读存储介质的范例包括，但不限于：软盘、穿孔带、穿孔卡、硬磁盘驱动器、固态硬盘、闪速存储器、USB拇指驱动器、随机存取存储器(RAM)、只读存储器(ROM)、光盘、磁光盘以及处理器的寄存文件。光盘的范例包括压缩盘(CD)和数字多用光盘(DVD)，例如CD-ROM、CD-RW、CD-R、DVD-ROM、DVD-RW或DVD-R盘。术语计算机可读存储介质还指能够由计算机设备经由网络或通信链路访问的各种类型的记录介质。例如，可以在调制解调器上、在因特网上或在局域网上检索数据。对计算机可读存储介质的引用应被解读为可能是多个计算机可读存储介质。一个或多个程序的各种可执行部分可以被存储在不同位置。计算机可读存储介质例如可以为相同计算机系统内的多个计算机可读存储介质。计算机可读存储介质还可以是分布在多个计算机系统或计算设备间的计算机可读存储介质。

“计算机存储器”或“存储器”是计算机可读存储介质的范例。计算机存储器是可由处理器直接访问的任何存储器。计算机存储器的范例包括，但不限于：RAM存储器、寄存器以及寄存器文件。对“计算机存储器”或“存储器”的引用应被解读为可能是多个存储器。存储器可以例如为相同计算机系统内的多个存储器。存储器还可以是分布在多个计算机系统或计算设备间的多个存储器。

“计算机存储设备”或“存储设备”是计算机可读存储介质的范例。计算机存储设备是任意非易失性计算机可读存储介质。计算机存储设备的范例包括，但不限于：硬盘驱动器、USB拇指驱动器、软盘、智能卡、DVD、CD-ROM以及固态硬盘驱动器。在一些实施例中，计算机存储设备也可以是计算机存储器，反之亦然。对“计算机存储设备”或“存储设备”的引用应被解读为可能是多个存储设备。存储设备可以例如为相同计算机系统或计算设备内的多个存储设备。存储设备还可以是分布在多个计算机系统或计算设备间的多个存储设备。

如在本文中使用的“处理器”囊括能够执行程序或机器可执行指令的电子部件。对包括“处理器”的计算设备的引用应被解读为可能包含多于一个的处理器或处理核。处理器可以例如为多核处理器。处理器也可以指单一计算机系统内或分布在多个计算机系统间的处理器的集合。术语计算设备也应被解读为可能指计算设备的集合或网络，每个计算设备均包括一个或多个处理器。许多程序具有它们的由多个处理器执行的指令，所述多个处理器可以在相同的计算设备内或其可以甚至分布在多个计算设备上。

如本文中使用的“用户接口”是允许用户或操作者与计算机或计算机系统交互的接口。“用户接口”也可以被称为“人类接口设备”。用户接口可以向操作者提供信息或数据和/或从操作者接收信息或数据。用户接口可以使得来自操作者的输入能够被计算机接收，并且可以从计算机向用户提供输出。换言之，用户接口可以允许操作者控制或操纵计算机，并且接口可以允许计算机指示所述操作者的控制或操纵的影响。数据或信息在显示器或图形用户接口上的显示是向操作者提供信息的范例。通过键盘、鼠标、跟踪球、触摸板、指点杆、绘图板、操纵杆、游戏手柄、网络摄像头、头戴式耳机、变速杆、方向盘、踏板、有线手套、跳舞板、远程控制、一个或多个开关、一个或多个按钮、以及加速度计对数据的接收均为实现从操作者接收信息或数据的用户接口部件的范例。

如本文中使用的“硬件接口”囊括使得计算机系统的处理器能够与外部计算设备和/或装置交互，和/或控制外部计算设备和/或装置的接口。硬件接口可以允许处理器向外部计算设备和/或装置发送控制信号或指令。硬件接口也可以使得处理器能够与外部计算设备和/或装置交换数据。硬件接口的范例包括，但不限于：通用串行总线、IEEE1394端口、并行端口、IEEE1284端口、串行端口、RS-232端口、IEEE-488端口、蓝牙连接、无线局域网连接、TCP/IP连接、以太网连接、控制电压接口、MIDI接口、模拟输入接口以及数字输入接口。

如本文中使用的“显示器”或“显示设备”囊括适于显示图像或数据的输出设备或用户接口。显示器可以输出视觉、声音和/或触觉数据。显示器的范例包括，但不限于：计算机监视器、电视屏幕、触摸屏、触觉电子显示器、盲文屏幕、阴极射线管(CRT)、储存管、双稳显示器、电子纸、矢量显示器、平板显示器、真空荧光显示器(VF)、发光二极管(LED)显示器、电致发光显示器(ELD)、等离子显示器面板(PDP)、液晶显示器(LCD)、有机发光二极管显示器(OLED)、投影机以及头戴式显示器。

附图说明

本发明的这些和其他方面将从下文描述的实施例变得显而易见并参考其加以阐述。在附图中：

本发明的这些以及其他方面将根据后文描述的实施例变得显而易见，并将参考后文描述的实施例得以阐明。在附图中：

图1示出Philips Goldway阴道镜；

图2示出根据本发明的方法的流程图；

图3示出使阴道镜图像自动化的方法的流程图；

图4a示出阴道镜图像，该图像示出当醋酸被施加到宫颈时的过程；

图4b示出原始阴道镜图像；

图4c示出眩光像素被去除的相同图像；

图4d示出用根据本发明的方法在阴道镜图像中识别的目标，即宫颈(1)、移行带(2)、柱状上皮(3)和Os(4)；

图5a示出在已施加醋酸之后取得的阴道镜图像；

图5b示出一起识别的Os和柱状上皮区域；

图5c示出分开的Os和柱状区域；

图5d示出在去除小且分离的聚类之后，区别开的Os和柱状上皮；

图6a示出在碘溶液后图像中识别的试探性移行带(黑线)；

图6b示出被映射到醋酸后图像的试探性移行带；

图6c示出实际移行带；

图7a示出醋酸后图像中的移行带；

图7b示出主要和次要不透明度变化的聚类移行带；

图7c示出在醋酸后移行带中具有主要不透明度变化的像素；

图7d示出醋酸前图像中的对应像素；

图8a示出醋酸前图像；

图8b示出1分钟后的醋酸后图像；

图8c示出具有不透明度差异评分＝18.46的不透明度图像；

图8d示出醋酸前图像；

图8e示出3分钟后的醋酸后图像；

图8f示出具有43.28的不透明度差异评分的不透明度图像；

图9示出图示了根据本发明的实施例的方法的流程图；

图10示出流程图，其图示了根据本发明的另一实施例的方法；

图11示出流程图，其图示了根据本发明的另一实施例的方法；

图12图示了根据本发明的实施例的医疗成像系统；

图13示出了根据本发明的备选实施例的医疗成像系统；

图14示出了不令人满意的宫颈造影图像的范例；

图15示出了令人满意的宫颈造影图像的范例；

图16图示了宫颈结构；

图17示出了两个独立的工作流程；

图18图示了根据本发明的实施例的工作流程；

图19示出了根据本发明的另一实施例的医疗成像系统范例；

图20示出了分割的宫颈造影图像2000；

图21示出了被分成12个馅饼状部分的图20所示的同一图像；

图22图示了用户接口，其能够在计算机或诸如智能或移动电话或平板计算机的其他计算设备中被实施；

图23示出了醋酸图像，其中已识别了宫颈区域；

图24示出了卢戈尔碘液图像，其中已识别了宫颈区域；

图25图示了阴道镜检查中的步骤；

图26图示了基于特征的跟踪的范例；并且

图27示出了视频图像序列中帧编号相对于被跟踪特征的数量的图。

附图标记列表

1 宫颈

2 移行带

3 柱状上皮

4 Os

1200 医疗成像系统

1202 计算机

1204 处理器

1206 用户接口

1208 计算机存储设备

1210 计算机存储器

1212 图像数据

1214 诊断图像

1216 图像选择模块

1300 医疗成像系统

1302 硬件接口

1304 摄影机

1310 特征对应物

1312 图像序列

1314 图像分割

1316 质量等级

1318 宫颈中心位置

1320 平移的诊断图像

1322 经划分的图像

1330 特征对应物识别模块

1332 图像序列识别模块

1334 图像分割模块

1336 质量等级模块

1338 宫颈中心位置模块

1340 图像处理模块

1400 宫颈造影图像

1500 宫颈造影图像

1600 宫颈结构

1602 外部Os

1604 柱状上皮

1606 移行带

1608 原始或旧鳞柱状上皮交界处

1610 新鳞柱状上皮交界处

1900 医疗成像系统

1902 图像捕获设备

1904 云计算系统

1906 对象检测模块

1908 充分性确定模块

1910 划分模块

1912 智能电话

2000 宫颈造影图像

2002 旧鳞柱状上皮交界处

2004 新鳞柱状上皮交界处

2006 柱状上皮

2008 Os边界

2010 Os区域

2012 移行带

2014 宫颈

2016 宫颈边界

2100 划分

2102 宫颈中心

2200 用户接口

2300 醋酸图像

2302 宫颈区域

2400 卢戈尔碘液图像

2402 宫颈区域

2600 图像

2602 图像

2608 方框

2700 帧编号

2702 被跟踪特征的数量

2704 转变区域

具体实施方式

根据本发明的阴道镜(参见图1)具有关键帧提取器、预处理器、对象检测器以及不透明度变化检测器。关键帧提取器将来自所述阴道镜的视频作为输入，所述视频被显示给妇科医师。以相同的光学放大提取包含宫颈区域的图像(醋酸前、醋酸后和碘溶液后)(在本申请中，词语“帧”与“图像”可互换使用)。在所述预处理器中，例如通过Lange等人描述的方法，去除所述图像中由镜面反射造成的眩光，据此从提供良好的眩光背景比的彩色图像提取特征图像。所述特征图像中的含眩光区域被检测，并被扩展以覆盖已受所述眩光影响的所有像素。之后，通过填入对下层图像特征的估计，去除受影响区域中的眩光。

之后将去除眩光的图像发送到对象检测器。所述对象检测器处理所述图像，以基于使用颜色和强度信息的分割技术，识别Os、柱状上皮和移行带。

该信息之后由不透明度变化检测器用于估计移行带中的白度，并因此估计癌症的程度。所提出的方法的流程图示于图2和图3中。

关键帧提取器将来自阴道镜的2D视频作为输入。其通过识别镜头边界将所述视频分成镜头，并之后从每个镜头提取相关图像。所提取的图像的类型为具有相同放大因数的醋酸前图像、醋酸后图像和碘溶液后图像。

镜头边界识别器

在进行阴道镜检查同时时，能够将以不同的放大水平对宫颈的查看，以及不同化学品，例如醋酸(参见图4a)或碘溶液对所述宫颈的施加视为一般视频处理应用中的不同镜头。镜头/视图被定义为从所述阴道镜捕获的互相关联的图像的序列，其表示时间和空间中的连续动作。“视图边界”在本文中被定义为在执行所述阴道镜检查同时从一个视图切换到另一个的点。通用视频应用的语境中所提出的经典镜头边界检测算法可以用于检测镜头边界。颜色特征已被用于镜头检测。

关键帧选择

一旦识别出镜头，从每个镜头自动地选择关键图像。关键帧来自以下镜头：醋酸前、醋酸后和碘溶液后。用基于宫颈的颜色、纹理、面积等的特征的集合描述镜头中的每个帧或图像。为每个帧分配评分α，所述评分为所使用的所述特征的集合的函数。选择具有最大α的帧作为镜头中的关键帧。

预处理器

所述预处理器将由关键帧提取器选择的关键图像作为输入。宫颈图像的品质归因于包括眩光/闪烁/镜面反射的许多因素。所述眩光消除了受影响像素中的颜色信息，并因此使图像分析算法不可靠。因此，有必要从阴道镜图像去除眩光，这是在所述预处理器中完成的。眩光区域被检测为小的、饱和的并且高对比度的区域。在RGB颜色空间中打开图像“I”。所述RGB颜色空间的G分量被用作特征空间，因其提供了良好的眩光背景比。识别针对由G分量生成的直方图的局部极大值，其表示饱和的值。生成针对眩光像素的掩模，并将所述掩模应用到图像“I”上，以从其去除眩光像素(参见图4c)。

对象检测器

对象检测器将已从其滤除掉眩光像素的关键帧图像作为输入。所述对象检测器旨在识别宫颈(1)的有关目标，例如Os(4)、柱状上皮(3)和移行带(2)，参见图4d。

Os和柱状区域检测

使用如下步骤识别Os和柱状区域：

·使用对像素的K均值聚类，基于像素的颜色，将醋酸后阴道镜图像分割成2个聚类；

·将最小的聚类标记为Os+柱状上皮区域；

·使用最小方差量化分开Os和柱状上皮；

·在Os和柱状上皮区域两者内迭代地去除小且分离的聚类。

相应的图像分析过程示于图5中。

移行带检测

在醋酸后图像中检测移行带为两步方法。在第一步骤中，处理碘溶液后图像，以基于在碘溶液的施加上描绘的受影响宫颈带的颜色变化，试探性地检测移行带。使用基于颜色的K均值聚类，将从关键帧提取器获得的碘溶液后图像分割成两个聚类。选择所述两个聚类中较小的。该聚类的凸包被定义为试探性移行带。这之后是第二步骤，其中将所述试探性移行带映射到醋酸前图像和醋酸后图像，并之后减去所检测的Os和柱状上皮区域，以定义实际移行带。能够在识别移行带之前配准醋酸前和醋酸后图像。相应的图像分析过程示于图6中。

不透明度变化检测器

该模块将在醋酸前图像和醋酸后图像中识别的移行带作为输入，并针对所有醋酸后图像生成相对于所述醋酸前图像的不透明度差异评分。广义地，在所述醋酸后图像中，识别移行带中显示主要不透明度变化的像素，并将其与它们在醋酸前图像中的对应像素进行比较。生成不透明度差异评分的步骤如下：

·将醋酸后图像中的移行带的RGB值转换为Lab颜色空间(L分量密切匹配人类对亮度/白度的感知)；

·将移行带中的像素聚类为两个水平的发白区域，即主要不透明度变化和次要不透明度变化(以匹配临床实践的不透明白和半透明白)；

·去除具有次要不透明度变化的像素；

·在所述醋酸前图像中识别主要不透明度变化的对应像素。

最终，使用下式赋予每幅醋酸后图像相对于醋酸前图像的不透明度差异评分：

其中：

I＝在醋酸前图像中具有主要像素的图像；

J＝在醋酸后图像中具有主要像素的图像；

N＝具有主要不透明度变化的像素的数量；

r＝具有主要不透明度变化的二值图像；

(i，j)＝在图像I/J/r的空间域中的像素。

相应的图像分析过程示于图7和图8中。

图9示出了流程图，其图示了根据本发明的实施例的方法。在步骤900中，接收图像数据，并且所述图像数据包括宫颈的多幅图像。接下来在步骤902中，从所述图像数据中选择诊断图像。

图10示出了流程图，其图示了根据本发明的另一实施例的方法。首先，在步骤1000中，接收包括视频数据的图像数据。所述图像数据包括宫颈的多幅图像。接下来，在步骤1002中，识别所述视频数据之内的图像序列。接下来，在步骤1004中，从每个图像序列中选择至少一幅诊断图像。

图11示出了流程图，其图示了根据本发明的另一实施例的方法。首先，在步骤1100中，接收图像数据。所述图像数据包含宫颈的多幅图像。接下来在步骤1102中，从所述图像数据中选择诊断图像。接下来在步骤1104中，分割所述诊断图像以生成识别旧鳞柱状上皮交界处的图像分割。在步骤1106中，使用分割确定所述诊断图像的质量等级。步骤1108为决策框。问题在于所述诊断图像的质量等级是否足够。如果足够，那么该方法在步骤1110结束。如果不够，该方法前进到步骤1112，在步骤1112中，从图像数据中选择新的诊断图像。该方法之后返回步骤1104，在该步骤中，分割新的诊断图像并再次确定质量。重复该方法直到获得质量足够高的图像。

图12示出了根据本发明的实施例的医疗成像系统1200。医疗成像系统1200包括计算机1202。计算机1202具有连接到用户接口1206、计算机存储设备1208和计算机存储器1210的处理器1204。在计算机存储设备1208中，存储了已经接收到的图像数据1212。例如，其可以是从摄影机或经由网络连接接收的。计算机存储设备1208还包括从图像数据1212选择的诊断图像1214。

计算机存储器1210包括图像选择模块1216。图像选择模块1216包括计算机可执行代码，该代码使得处理器1204能够从图像数据1212选择诊断图像1214。

能够由多种等价物替代计算机1202。范例包括，但不限于：平板计算机、膝上型计算机和移动电话设备。处理器1204可以由分布于各种计算装置间的处理器代表。

图13示出了根据本发明的备选实施例的医疗成像系统1300。医疗成像系统1300包括等价于图12中的计算机系统1202的计算机系统1202。此外，处理器1204连接到硬件接口1302。所述硬件接口使得处理器1204能够与摄影机1304通信。

计算机存储设备1208被示为包含从图像数据1212计算的特征对应物1310。在这一实施例中，图像数据1212包括视频数据。计算机存储设备1208还包括从视频数据识别的图像序列1312。计算机存储设备1208还包含从一幅或多幅诊断图像1214获取的图像分割1312。计算机存储设备1208还包含每幅诊断图像1214的质量等级1316。计算机存储设备1208还包含诊断图像1214的宫颈中心位置1318。计算机存储设备1208还包含平移的诊断图像1320，使得宫颈中心位置1318现在处于图像的中心。计算机存储设备1208还包含适于向医师显示的经划分的图像1322。经划分的图像1322可以具有位于图像中心的宫颈中心位置，并被分成多个馅饼状部分。

计算机存储器1210还被示为包含特征对应物识别模块1330。特征对应物识别模块1330包含计算机可执行代码，该代码使得处理器1204能够从图像数据1212计算特征对应物1310。计算机存储器1210还包含图像序列识别模块1332，图像序列识别模块1332使得处理器1204能够从图像数据1212确定一组图像序列1312。一旦已经选择了图像序列1312，图像选择模块1216就针对每个识别的图像序列1312选择至少一幅诊断图像1214。计算机存储器1210还包含图像分割模块1334。图像分割模块1334包含计算机可执行代码，该代码使得处理器1204能够分割一幅或多幅诊断图像1214。这样生成了图像分割1314。

计算机存储器1210还被示为包含质量等级模块1336。质量等级模块1336包含计算机可执行代码，该代码使用图像分割1314生成每幅诊断图像1214的质量等级1316。计算机存储器1210还被示为包含宫颈中心位置模块1338。宫颈中心位置模块1338包含计算机可执行代码，该代码使得处理器1204能够使用图像分割1314识别宫颈中心位置1318。计算机存储器1210还包含图像处理模块1340。图像处理模块1340包含计算机可执行代码，该代码使得处理器1204能够将诊断图像1214修改成平移的诊断图像1330，并最终修改成经划分的图像1322。

肉眼检查是宫颈癌筛选的常用方法，尤其是在资源不良的环境中。当在放大情况下进行这一流程时(VIAM)，流程的灵敏度增大。宫颈造影是一种执行VIAM流程的方法，其中，非医师人员拍摄宫颈的照片并将这些照片提交给医生以进行解读。宫颈造影主要关注问题之一是应当避免不令人满意的宫颈造影。不令人满意的流程是其中，患者体内移行带的上缘不可见，但仍将图像传输给专家进行解读，从而增加了召回/再访患者的流程数。这还导致了遗漏诊断。

在印度，从宫颈发生癌症是女性最常见的癌症。在印度，女性癌症的大约30％是由于宫颈癌造成的，每年诊断出超过100000个新病例。令人遗憾的是，在印度，仅有20位有资质的妇科肿瘤医师来筛选、诊断和追踪印度(每年)13万受影响的妇女(仅报告的病例)。

在资源不良的环境中，对宫颈进行肉眼检查(VI)或使用醋酸进行肉眼检查(VIA)已经有效地成为一种筛选工具。利用放大的肉眼检查(VIAM)提高了该流程的灵敏度。VI和VIAM都存在观察者间变化大以及假阳性/阴性与解读者经验成比例的问题。此外，VIAM需要特定的设备，从而限制了该流程的使用。如果能够克服这些限制，采用这种实践能够增加并从而在长期上具有对疾病负担和结果的正面影响。

另一方面，存在有时实践的宫颈造影来解决极低的专家与患者比的问题。这是一种执行VIAM流程的方法，其中，非医师人员拍摄宫颈的照片并将这些照片提交给医生以进行解读。由于假阳性和阴性多，宫颈造影并未普及。这很大程度上源自不令人满意的或技术上无法解读的宫颈造影图像，使得专家无法解读。除非专家能够在其全长上检查整个移行带，宫颈造影检查都会被称为不充分的或不令人满意的(图14示出了令人满意的阴道镜检查图像，并且图15示出了不令人满意的阴道镜检查图像)。

图14示出了宫颈成造影图像的范例。图14中所示的宫颈造影图像1400不令人满意，并且对于执行诊断是没有用处的。

图15也示出了宫颈造影图像1500。图15中示出的宫颈造影图像1500是令人满意的，并且可以由医师用于进行诊断。

移动电话的渗透近几年来已经在像印度这样的国家中成为一种现象。它已经获得了用于通信的必须设备状态，并获得广泛应用，甚至在农村地区。为了解决像VI/VIAM的流程的上述限制，在本ID中提出了基于移动的应用，其可以在专家的移动/智能电话中方便地获取宫颈造影图像，并且还帮助妇女准时获得专家意见。

图16示出了图像，其图示了宫颈结构1600。外部Os被标记为1602。柱状上皮被标记为1604。移行带被标记为1606。原始或旧鳞柱状上皮交界处被标记为1608。新鳞柱状上皮交界处被标记为1610。

宫颈是子宫延伸到阴道腔中的最低部分。外宫颈是可以通过阴道腔看到的宫颈部分，并且由鳞状上皮排布。宫颈内膜是从外部Os延伸的部分，外部Os是宫颈的外口。其由柱状上皮排布。这两种上皮类型的交界处被称为移行带。移行带位于新鳞柱状上皮交界处(新SCJ)和原始鳞柱状上皮交界处(原始SCJ)之间。移行带是宫颈癌最常发生的区域。

移动(智能电话和平板计算机)健康正在创造新价值：成本较低的方案，管理护理的新方法以及更好的健康结果，并且现在全球都在关注Philips的“移动计划”。

PWC医疗保健研究所(HRI)进行的调查的关键发现表明：

移动健康能够改善医生时间的使用和价值。

HRI调查的三分之一的医师声称他们基于不完全信息做出决策。

他们相信移动设备的最大益处将是帮助他们尽快做出决策，因为他们实时访问更准确的数据。

被调查的40％医师声称他们能够通过使用移动健康技术，像远程监测、电子邮件或与患者的文本消息通信，去除11％到30％的办公室访问。这种改变能够接下来十年及更远时间改写医生供应和短缺预测。

HRI估计远程/移动监测设备的年消费市场为77亿到430亿美元。远程监测还能够减少医院花费，这是政府和个人付款人共同的目标。当前，三分之一的医师声称他们针对接近其70％的患者基于不完全信息做出决策。专家和PCP发现，在查看患者或进行其实践时他们最大的障碍是在他们需要信息的时间和地点访问信息。在实践中使用移动设备的医师中，56％声称这些设备加快了他们的决策，并且接近40％声称他们减少了准备时间。

针对宫颈造影图像的基于移动的应用可以具有以下优点：

-不需要像阴道镜的特殊设备，而仅需要具有摄影机的移动电话或使得流程成本低廉的移动电话和数字摄影机，

-允许很多妇女获取专家意见，从而减少了由于解读者缺乏经验导致的假阳性/阴性，

-仅允许向专家发送“令人满意的宫颈图像”因此，不会浪费他们的时间，并减少了宫颈造影的假阳性/阴性，并且

-专家能够使用其移动/智能电话方便地用其指尖解读图像。

图17示出了被示为流程图的两个独立工作流程1700、1702。工作流程1700创建当前工作流程。工作流程1702图示了根据本发明的实施例的应用。在工作流程1700、1702中，为妇女筛选宫颈癌。

从工作流程1700开始，该妇女访问首要护理医师1704。接下来，该妇女经历肉眼检查或宫颈造影形式的检查1706。接下来，医疗保健工作者或全科医生解读1708在步骤1706中执行的检查的结果。在步骤1710中，注意在执行步骤1708时很可能出现假阳性。接下来，在步骤1712中，该妇女被安排到更高级的中心进行进一步癌症筛选。最后，在步骤1714中，不必要的治疗安排增加了医疗保健系统的负担和患者的成本。接下来论述工作流程1702。在这个工作流程中，以步骤1720开始，该妇女访问首要护理医师。接下来，该妇女经历使用VIAM的检查。接下来，在步骤1724中，在步骤1724中在放大的情况下捕获图像。在步骤1726中，专家解读在放大情况下捕获的图像。本发明的实施例可以用于远程向专家发送图像。接下来在步骤1728中，仅在专家发现图像异常时才执行治疗安排。在步骤1730中，益处是这样减少了治疗安排，以及由于假阳性导致的不必要焦虑。

图18图示了根据本发明的实施例的工作流程。在步骤1801中，任何受过训练的医疗专业人员都能够利用数字摄影机或具有大镜头的移动电话在施用醋酸和卢戈尔碘液前后在5-7×缩放条件下捕获宫颈的图像。接下来在步骤1802中，将这些图像传输到医院服务器或云。在服务器或云中，分割图像以获得Os、柱状上皮和宫颈区域。之后检查宫颈造影是否令人满意。如果宫颈造影令人满意，那么在步骤1803中将宫颈区域分成12个区域并发送给专家。接下来，妇科医师或专家逐个接收宫颈的完整图像和经划分后的区域，或者妇科医师还能够选择其感兴趣的区域。例如，能够将这些发送给他或她的移动电话。这被图示为步骤1804。专家之后在其移动电话中注释并标记病灶。这被图示为步骤1805。接下来在步骤1806中，生成报告，该报告包含具有诊断的已注释图像。所述报告之后被发送回医院服务器或云，并之后被发送回医疗专业人士，如步骤1806中所示。

任何受过训练的医疗专业人员都能够在施加醋酸和卢戈尔碘液前后利用数字摄影机/具有大镜头的移动电话在5-7×缩放条件下捕获图像。(如图18中所示的步骤1801)。

这些图像会被传输到医院服务器/云(图18中所示的步骤1802)。

在服务器/云中，会分割图像以获得Os、柱状上皮和宫颈区域。

检查宫颈造影是否令人满意(在下一部分中论述)。

如果宫颈造影令人满意，那么宫颈区域被分成12个区域并发送给专家(图18中所示的步骤1803)。

妇科肿瘤医师或专家在其移动电话中逐个接收宫颈的完整图像和经划分后的区域(或者妇科肿瘤医师能够选择其感兴趣的区域)(图18中所示的步骤1804)。

他/她之后在他/她的移动电话中注释并标记病灶(图18中所示的步骤1805)。

生成报告，所述报告包含具有诊断的已注释图像。所述报告之后被发送回医院服务器/云，并之后被发送回医疗专业人士(图18中所示的步骤1806)。

本发明的实施例可以具有构成一个系统的特征，该系统在施加醋酸和卢戈尔碘液之后捕获宫颈的图像并将其传输到管理医疗保健记录的基于云的系统。云具有对象检测模块，所述对象检测模块分割宫颈图像以识别Os、柱状上皮、移行带和宫颈边界。将这些对象输入到充分性确定模块，所述充分性确定模块根据图像是否足够由专家解读来进行分类。如果图像令人满意，之后将图像划分成12个区域，以Os的中心作为划分模块中的中心。向妇科肿瘤医师的移动电话发送主要图像和12个区域中的一些(专家还能够交互地选择区域)/全部，以获取专家意见。移动电话具有mCervix模块，所述mCervix模块允许用户，即妇科医师或肿瘤医师独立观察宫颈图像和十二个区域，并标记异常，并将其发送回云/服务器。

图19示出了根据本发明的实施例的医疗成像系统范例1900。医疗成像系统1900是从功能角度图示的。首先，有针对宫颈1902的图像捕获设备，其向云计算系统1904提供图像。在云计算机系统1904之内是用于处理图像的各种软件模块。首先，有对象检测模块1906。接下来有充分性确定模块1908，其使用对象检测模块1906生成的分割来确定图像是否充分。接下来，由划分模块1910处理图像，划分模块1910对划分图像和/或使图像居中。之后，最终，云计算系统1904向移动和/或智能电话1912发送诊断图像。

用于宫颈的图像捕获设备能够是具有大镜头的数字摄影机或具有摄影机的移动电话。在施加醋酸和卢戈尔碘液之后从宫颈捕获图像。移动电话提供应用(基于浏览器)，该应用用于安全连接到医院服务器/云。将来自电话的图像传输到具有患者相关的唯一标识的服务器。之后在服务器/云上分析这些图像，在接下来的模块中论述这种情况。

对象检测器模块获取作为输入的被发送到云的针对患者对象的图像(醋酸前/醋酸后和卢戈尔碘液后)，患者对象像是Os、柱状上皮和患癌组织，或移行带和宫颈区域。

图20示出了宫颈造影图像2000。还示出了由各种线表示的图像分割。将旧鳞柱状上皮交界处标记为2002。将新鳞柱状上皮交界处标记为2004。将柱状上皮标记为2006。将Os边界标记为2008。将Os区域标记为2010。将移行带标记为2012。将宫颈标记为2014，并将宫颈边界标记为2016。

可以使用充分性确定模块评估诊断图像。如上所述，除非鳞柱状上皮交界处整个长度可见，不能说宫颈造影图像是令人满意的。这个模块使用移行带边界的相邻像素的轮廓连续性的概念来确定宫颈造影图像是否令人满意。该算法的伪代码如下：

设：

T:图像I中的移行带，维度A在x轴，B在y轴

TB:包含像素(x1，y1)……(xn，yn)的移行带边界，其中x为TB在XY平面中的X坐标，y为TB在XY平面中的Y坐标

C:表示TB中每个点处连续性的阵列

$\∀(x^{\′\′}{i}^{\′\′},y^{\′\′}{i}^{\′\′})\∈\mathrm{TB}$

如果(xi+1-xi>A/8)&(yi+1-yi>A/8)那么Ci＝0否则Ci＝1

如果n(Ci):(Ci＝0)>2那么TB是不连续的，否则是连续的

对象检测模块或充分性确定模块能够存在于云/服务器中，或本地存在于移动电话中以作为一种应用向医疗专业人员给出即时反馈。

作为移动电话的一部分，充分性确定模块还显示一些电影文件，所述电影文件能够训练或指导医疗专业人员如何从不令人满意的宫颈造影图像获取宫颈图像。

一旦认为宫颈造影图像令人满意，就可以将图像分成12个区域，以宫颈中心作为中心，如下图所示：

图21示出了与图20所示相同的图像2000。然而，在这幅图像上并非示出了所有分割。仅示出了宫颈边界2016和Os边界2008。宫颈边界2016之内的区域已经被分成12个馅饼状部分2100。还对图像进行操控，使得宫颈中心2102已被确定并被移动到图像的中心区域。

将宫颈图像以及每个划分的区域发送给专家以获取其意见。划分图像允许在小屏幕移动电话中更容易地观察图像并得到准确的诊断结果。

在移动电话的mCervix模块中，可以有一种应用，其允许专家在移动/智能电话中观察图像和划分的区域。还可以有注释工具。这种工具会允许医生观察图像、标记病变、缩放到图像的某个特定部分并注释图像。报告生成工具：这种工具会生成具有必要信息的报告。在图22中图示了一个这样的模板。

图22图示了用户接口2200，用户接口2200能够被实施在计算机或诸如智能或移动电话或平板计算机的其他计算设备中。2200中示出的用户接口为注释工具，其可以由医师填写，之后可以用于生成诊断，该诊断被发送给他或她的同事，该同事最初获取了图像并将该图像发送给专家。

本发明的实施例可能具有一个或多个以下特征：

-用于宫颈造影的基于移动电话的系统，包括：具有摄影机的移动电话或移动电话和数字摄影机；用于处理图像的服务器或云平台；

-基于移动电话的特征系统，其中，移动电话包括：

对象检测模块和充分性确定模块

注释并生成报告的mCervix模块；

-基于移动电话的系统，其中，对象检测模块被配置为：

在醋酸前和醋酸后图像中以及在卢戈尔碘液后图像中识别Os、柱状上皮区域、移行带等

-基于移动电话的系统，其中，充分性确定模块被配置为：

识别宫颈造影图像是否令人满意；

显示电影文件，所述电影文件能够指导医疗专业人员如何从不令人满意的宫颈造影图像获取宫颈图像；

-基于移动电话的系统，其中，服务器/云包括：

对象检测模块和充分性确定模块；以及

划分模块，其将宫颈图像划分成12个区域，以Os的中心作为用于划分的中心。

可以使用RGB颜色空间中打开的图像的红色分量上的动态阈值方案，在醋酸前和醋酸后图像中自动识别宫颈区域。随后是K均值聚类。如果聚类识别了尺寸小于图像尺寸十分之一的区域，那么我们断定图像中看不见宫颈。否则认为该聚类为宫颈区域。对于卢戈尔碘液图像而言，使用Otsu阈值区分宫颈区域与非宫颈区域。已经在200幅醋酸前和醋酸后图像和30幅卢戈尔碘液图像上验证过这些算法，并且在95％的病例中给出了准确的分割结果。使用图23和24中所示的上述算法，识别施加醋酸的图像和施加卢戈尔碘也的图像中的宫颈区域。

图23示出了醋酸图像2300。在醋酸图像2300之内，已经识别了宫颈区域2302。

图24示出了卢戈尔碘液图像2400。在卢戈尔碘液图像2400内，存在识别的宫颈区域2402。

执行阴道镜检查以诊断宫颈癌。针对宫颈肿瘤形成中观察到的视觉标记来检查宫颈中的异常区域。利用阴道镜，妇科医师捕获5-10分钟的视频数据。图1示出了能够在阴道镜检查中识别的不同阶段。视频数据示出了如下相继步骤：清洗宫颈，利用或不利用绿色滤波器观察宫颈，施加醋酸白酸、组织对酸的时间响应，施加卢戈尔碘液、以及对宫颈的感兴趣区域的详细(缩放)分析。特别地，组织对醋酸白酸的时间响应对于诊断而言是关键性的。之后由医学专家详细分析视频序列。

阴道镜视频数据的解读并非不重要，并且需要多年的专业知识。尤其是在遥远的乡村地区，可能没有这种的专业知识。克服这种问题的一种方式是向有这种专业知识的医疗中心发送视频数据。专家之后能够分析视频数据并将其发现发送回远方诊所。

阴道镜分析的最相关市场是印度和中国。缺少稳定的因特网基础设施(尤其是在乡村地区)使得不能在远距离上发送大量视频数据。成本是另一个关注问题。即使有良好的基础设施，发送大量数据的成本也是较高的。

执行阴道镜检查以诊断宫颈癌。针对宫颈肿瘤形成中观察到的视觉标记来检查宫颈中的异常区域。利用阴道镜，妇科医师捕获5-10分钟的视频数据。图1示出了能够在阴道镜检查中识别的不同阶段。视频数据示出了如下相继步骤：清洗宫颈，利用或不利用绿色滤波器观察宫颈，施加醋酸白酸、组织对酸的时间响应，施加卢戈尔碘液、以及对宫颈的感兴趣区域的详细(缩放)分析。特别地，组织对醋酸白酸的时间响应对于诊断而言是关键性的。之后由医学专家详细分析视频序列。

阴道镜视频数据的解读并非不重要，并且需要多年的专业知识。尤其是在遥远的乡村地区，可能没有这种的专业知识。克服这种问题的一种方式是向有这种专业知识的医疗中心发送视频数据。专家之后能够分析视频数据并将其发现发送回远方诊所。

阴道镜分析的最相关市场是印度和中国。缺少稳定的因特网基础设施(尤其是在乡村地区)使得不能在远距离上发送大量视频数据。成本是另一个关注问题。即使有良好的基础设施，发送大量数据的成本也是较高的。

图25图示了阴道镜检查中的步骤。在步骤2502中，施加生理盐水以冲洗并清洗任何分泌物。接下来可以在这一点上采集图像。接下来，使用绿色滤波器2504并可以采集更多图像。绿色滤波器允许检查血管图案。接下来在步骤2506中，施加3-5％的醋酸溶液。宫颈的外观随时间的变化和变化持续时间以及时间被记录为检查的一部分。接下来在步骤2508中，施加卢戈尔碘液，并检查碘的部分和完全摄取。最后，在步骤2510中，从任何异常组织区域进行活检。

存在多个用于减小视频数据量的方法。范例有：

1)视频压缩能够显著减少数据的量，不过代价是损失细节；

2)视频关键帧提取，例如，用于通过识别相继帧之间较大的差异来创建电影的视觉摘要。

补充1、视频压缩将不会去除不相关的帧，并且仅在允许损失图像细节时才有效。对于阴道镜检查而言，图像细节对于记录的至少部分是相关的(例如，为了检测移行带或为了分析毛细血管系统的镶嵌样图案)。

补充2、已经开发了视频关键帧提取技术为电影提供非常有效的摘要。关键帧背后的一般思想是针对视频序列中显示出与先前部分大差异的每个部分捕获图像。关键帧提取的强烈线索是“黑帧”的存在，“黑帧”通常分开电影中不同的记录/场景。尽管在阴道镜检查视频数据中不能采用黑帧的线索，但仍然能够使用关键帧检测来压缩/总结阴道镜检查视频数据的一些部分。然而，在图像内容仅逐渐变化的其他部分中可能会失败。

图像数据的小而重要变化的一个范例发生在已经施加醋酸白酸之后的视频的一部分中。从这个阶段开始，必须要采样充分多量的图像，以允许正确解读醋酸白动力学。图像数据的小而重要变化的另一个范例发生于宫颈的详细检查期间(在稍微更高的放大倍数下)。从这些视频片段，必须要收集至少那些图像，在(空间上)将这些图像缝合在一起时，它们覆盖利用阴道镜详细扫描的完整区域。

因此，现有的方式不适用于阴道镜应用。

本发明的实施例可以应用计算机以自动识别视频数据中与阴道镜分析相关的部分。这种算法将去除对于专家获得正确诊断而言并非关键性的视频数据。这样一来，需要向专家中心发送的数据量显著减少。发送的数据可以是用于捕获所应用方案的每个不同阶段(清洗、绿色滤波器、醋酸白酸、碘、详细区域)的有限数量的图像，以及用于例如能够正确解读醋酸白动力学的使用应用特异性知识选择的图像集。

这种方法可以：

·显著减少要发送到专家中心的每个患者病例的数据量

·使得专家能够从乡村/边远地区参与病例诊断，从而提高诊断质量

·确保保存所有与诊断相关的数据

·降低发送数据的成本

·显著减少需要存储的每位患者的数据量。

本发明的实施例可能具有以下特征：

1)使用阴道镜记录宫颈的视频图像序列；

2)(半)自动检测记录的所有相关阶段；

3)自动提取每个相关阶段的至少一幅图像；

4)自动提取允许正确解读醋酸白动力学的图像子集；

5)从以更高放大倍数(缩放模式)下获得的视频数据自动提取允许详细检查扫描区域的图像子集；

6)向另一个位置发送选定的图像。

在备选实施例中，可以考虑向一幅或多幅选定图像应用压缩和/或空间亚采样。能够使用现有技术的图像压缩技术或更加应用特异性的压缩技术来这样做，所述更加应用特异性的压缩技术例如更大程度地压缩宫颈外部的图像数据部分。一些图像允许进行强压缩/亚采样，其他可能需要更小(或无损)压缩。

可以通过以下方式构建本发明的一些实施例：

1)使用阴道镜记录宫颈的视频图像序列；

2)(半)自动检测记录的所有相关阶段。

这样可能需要关于每个阶段开始和结束点的信息，以及每个阶段的注释/标记。

针对每个相关阶段获得视频中的开始和结束点的简单方式是让用户手动注释这些帧。自动化方法能够通过研究视频序列中相继帧之间的大差异来识别这些开始和结束位置。另一个线索能够从帧间摄影机运动的监测来获得。摄影机运动通常基于相继帧中图像特征的跟踪。各帧间有大量的对应特征指示相似性良好。在对应特征的数量下降时，指示特殊事件，例如，阴道镜被用户闭锁，以便清洗宫颈或施加醋酸白酸/碘。

每个不同阶段的识别/标记能够再次由用户手动进行。自动方法将寻找表征每个不同阶段的图像特征。例如，大量的白色图像数据能够是用于清洗宫颈的棉花的线索。带粉红色的白色能够是存在醋酸白酸的线索，并且黄色/橙色能够是卢戈尔碘液的强烈线索。还能够采用关于方案、关于每个阶段持续时间、关于每个阶段期间阴道镜缩放模式以及关于所观察运动模式的信息来识别每个阶段。

3)自动提取每个相关阶段的至少一幅图像。能够仅利用一幅图像来表征一些阶段。例如，能够利用单个帧总结清洗阶段或使用绿色滤波器在固定放大倍数下对宫颈进行成像的阶段。能够基于运动模式的分析(小的运动指示运动伪影几率小，并且正确聚焦几率大)和/或对图像内容的检查(例如，检查Os区域是否在图像中心附近可见)来选择帧。

4)自动提取允许正确解读醋酸白动力学的图像子集。

监测宫颈组织对施加醋酸白酸的响应是阴道镜检查的关键部分。醋酸白动力学的解读优选基于超过1或2个帧。在最保守的实施方式中，来自这个阶段的所有帧都被认为是相关的并被发送到专家中心。可以使用标称视频压缩技术来压缩这个部分。在更加智能的实施方式中，准确地监测变化的动力学并选择仍然允许正确解读的图像子集。

5)从在更高放大倍数(缩放模式)下获得的视频数据自动提取允许详细检查扫描区域的图像子集。

为了详细检查组织结构，用户将放大宫颈，并可以在稍微更大的放大倍数下扫描感兴趣区域。这意味着相邻区域将被置于(减小的)视场中。通过监测这一扫描过程期间的运动并监测视频流中图像的质量，能够选择优质图像的子集以(在缝合在一起时)覆盖完整的扫描区域。

6)向另一个位置发送选定的图像。

图26图示了基于特征的跟踪的范例。并排示出了图像2600和图像2602。图像2600在时间t，并且图像2602在时间t+1。由线连接的点示出了对应特征。方框2604表示两幅图像中相同的位置，并用于图示帧2600和2602之间的运动。

图27示出了视频图像序列中帧编号2700相对于被跟踪特征的数量2702的图。这幅图示出了被跟踪特征的数量与视频不同阶段间的转变2704之间的相关性的范例。阴影区域2704是被跟踪特征的数量急剧减少的区域，并且指示图像序列之间或对宫颈进行操作时的转变。

尽管已经在附图和前面的描述中详细说明和描述了本发明，但这样的说明和描述被认为是说明性或示范性的而非限制性的；本发明不限于公开的实施例。通过研究附图、说明书和权利要求书，本领域的技术人员在实施请求保护的本发明时能够理解和实现所公开实施例的其他变型。在权利要求中，“包括”一词不排除其他元件或步骤，量词“一”或“一个”不排除多个。在互不相同的从属权利要求中记载特定措施并不指示不能有利地使用这些措施的组合。权利要求中的任何附图标记不得被解释为对范围的限制。

Claims (15)

1.一种医疗成像系统(1200，1300)，包括：

-处理器(1204)，其用于控制所述医疗成像系统；

-存储器(1210)，其用于存储由所述处理器执行的机器可执行指令，其中，所述指令的执行令所述处理器：

-接收(900、1000、1100)图像数据(1212)，其中，所述图像数据包括宫颈(1600)的多幅图像；并且

-从所述图像数据选择(902、1004、1102、1112)诊断图像(1214)。

2.根据权利要求1所述的医疗成像系统，其中，所述图像数据包括视频数据，其中，所述视频数据包括所述多幅图像，其中，所述视频数据包括至少两个图像序列(1312)，其中，所述指令的执行令所述处理器：

-识别(1002)所述至少两个图像序列中的每个，并且

-从所述至少两个图像序列中的每个选择(1004)至少一幅诊断图像，其中，来自所述至少两个图像序列中的每个的所述至少一幅诊断图像包括所述诊断图像。

3.根据权利要求2所述的医疗成像系统，其中，所述至少两个图像序列通过如下方式被识别：

-使用特征识别算法确定所述视频数据的相邻帧(2600、2602)之间的特征对应物(1310)；并且

-通过检测所述相邻帧中的所述特征对应物中的转变来识别图像序列之间的转变(2704)。

4.根据权利要求2或3所述的医疗成像系统，其中，所述至少两个图像序列是如下中任一种：清洗序列、绿色滤波器序列、醋酸白酸序列、碘序列、详细区域序列以及其组合。

5.根据前述权利要求中任一项所述的医疗成像系统，其中，所述医疗成像系统是用于对所述宫颈进行光学检查的系统，所述系统包括光学放大器件、照明器件、用于施用至少一种刺激剂和/或造影剂的施放器件、成像器件和图像处理器件，所述图像处理器件还包括：

-关键帧提取器件；

-任选地，眩光去除器件；

-对象检测器件；以及

-不透明度变化检测器件。

6.根据前述权利要求中任一项所述的医疗成像系统，其中，所述指令的执行还令所述处理器：

-分割(1104)所述诊断图像以生成识别旧鳞柱状上皮(1608、2002)交界处的图像分割；

-使用所述图像分割确定(1106)所述诊断图像的质量等级(1316)；

-如果所述质量等级低于预定水平则拒绝(1112)所述诊断图像；

-如果所述质量等级高于所述预定水平则接受(1110)所述诊断图像。

7.根据权利要求6所述的医疗成像系统，其中，所述质量等级指示所述旧鳞柱状上皮交界处是否完全在所述诊断图像之内。

8.根据权利要求6或7所述的医疗成像系统，其中，所述图像分割还识别内部Os(4、2010)的位置，其中，所述诊断图像具有中心，其中，所述指令的执行令所述处理器：

-使用所述内部Os的分割确定宫颈中心(1318、2102)；

-平移所述诊断图像以将所述宫颈中心置于所述中心处；并且

-生成经划分的图像，所述经划分的图像示出了被划分成预定数量的区段(2100)的所述诊断图像。

9.根据权利要求8所述的医疗成像系统，其中，所述图像分割还识别以下任一个的位置：柱状上皮(3、1604)、移行带(2、1606)、宫颈边界(2016)以及其组合；并且其中，所述指令的执行令所述处理器显示所述经划分的图像中的所述图像分割的至少一部分。

10.根据权利要求6到9中任一项所述的医疗成像系统，其中，所述指令的执行令所述处理器在拒绝所述诊断图像的情况下请求替换图像。

11.根据权利要求6到10中任一项所述的医疗成像系统，其中，所述医疗成像系统包括基于云的计算系统(1904)，其中，所述基于云的计算系统生成所述图像分割。

12.根据前述权利要求中任一项所述的医疗成像系统，其中，所述指令的执行令所述处理器向基于移动的报告应用发送所述诊断图像。

13.根据前述权利要求中任一项所述的医疗成像系统，其中，所述医疗成像系统还包括用于采集所述图像数据的摄影机(1304)。

14.一种由处理器(1204)执行以控制医疗成像系统(1200、1300)的计算机程序产品，其中，所述指令的执行令所述处理器：

-接收(900、1000、1100)图像数据(1212)，其中，所述图像数据包括宫颈(1600)的多幅图像；并且

-从所述图像数据选择(902、1004、1102、1112)诊断图像(1214)。

15.一种操作医疗成像系统(1200、1300)的方法，包括：

-接收(900、1000、1100)图像数据(1212)，其中，所述图像数据包括宫颈(1600)的多幅图像；并且

-从所述图像数据选择(902、1004、1102、1112)诊断图像(1214)。