CN112334990A - 自动宫颈癌诊断系统 - Google Patents

Abstract

本发明涉及一种用于通过根据准确的标准对自动诊断宫颈癌所需的宫颈数据进行分类来执行机器学习、并基于机器学习自动诊断宫颈癌的自动宫颈癌诊断系统，该自动宫颈癌诊断系统包括：学习数据生成器，该学习数据生成器被配置为根据多级别分类标准的组合对从外部设备或存储装置传输的子宫颈的未分类的拍摄图像数据进行分类，以在学习模式中针对每个新分类标准生成学习数据；拍摄图像预处理器，该拍摄图像预处理器被配置为对拍摄的子宫颈图像进行预处理；宫颈癌诊断器，该宫颈癌诊断器包括用于宫颈癌的机器学习模型，该机器学习模型学习在学习模式中针对每个分类标准生成的学习数据的特性，其中机器学习模型关于经预处理的拍摄的子宫颈图像生成关于是否发生宫颈癌的诊断信息；屏幕显示控制器，该屏幕显示控制器被配置为显示和输出被配置为显示诊断信息以及根据阅读专家输入评估信息的用户界面屏幕；重新训练数据生成器，该重新训练数据生成器被配置为从通过用户界面屏幕输入的评估信息中提取重新训练所需的信息、并请求重新训练机器学习模型；以及诊断和评估信息存储装置，该诊断和评估信息存储装置被配置为存储关于是否已经发生宫颈癌的诊断信息以及通过用户界面屏幕输入的评估信息。

Description

自动宫颈癌诊断系统

技术领域

本发明涉及一种自动宫颈癌诊断系统，并且具体地涉及一种用于通过根据准确的标准对自动诊断宫颈癌所需的宫颈数据进行分类来执行机器学习、并基于机器学习自动诊断宫颈癌的自动宫颈癌诊断系统。

背景技术

宫颈癌在女性担心的癌症中排名最高，因为所涉及的子宫切除术可能会影响妊娠和分娩，而且人们担心失去女性的身份。

根据2013年的统计，韩国的宫颈癌患者人数为26,207，而宫颈癌在女性癌症中排名第四(来自厚生劳动省的数据)。此外，宫颈癌是韩国推荐进行筛查的七种主要癌症之一，并且由于宫颈癌已被纳入1999年的国家癌症筛查项目，因此早期诊断率正在上升。近年来，宫颈上皮癌(癌前期)也被称为“0”期宫颈癌，而且这一数字也在上升，建议有性经验的女性进行年度检查。

就筛查市场的现状而言，首先，年轻女性的宫颈上皮癌发病率正在增加，并且自2016年以来，筛查受试者的年龄已从30岁降低至20岁。特别地，与其他癌症不同，健康保险金可以支付与宫颈细胞学相关的筛查费用的300％。然而，由于筛查的假阴性率(即，误诊率)最高可达55％，因此推荐同时进行宫颈造影和宫颈细胞学作为补充检查。截至2013年，全球宫颈癌筛查市场为约6.86万亿韩元，其中宫颈造影占有30％的市场份额，为约2万亿韩元。

图1示出概念图，其示意性地示出根据常规方法的宫颈细胞学和宫颈造影以诊断宫颈癌的方法。参照图1的下部，当通过预定拍摄设备(例如，图1所示的阴道镜)从女性受试者的阴道的外部获取子宫颈的拍摄图像时，对该拍摄图像进行分析并且使用该结果，使得降低宫颈癌的误诊率。

然而，当使用常规的阴道镜时，医务人员根据教育和其经验来检查子宫颈图像是否发生了宫颈癌，但是这种方法在很多情况下是反复的且令人困惑的，因此即使是有经验的医生也要花费很长时间并且准确度也低。

为了克服这样的缺点，已经引入了用于确定宫颈癌的发作的装置，该装置能够获取子宫颈的拍摄图像并且基于从获取的子宫颈图像发现宫颈癌的机器学习模型来生成并提供关于是否已经发生了受试者的宫颈癌的信息。

用于评估确定装置的性能的主要因素在于，需要对要用于学习的图像进行准确分类和组织以继续学习。在没有对此类数据进行准确且清晰的分类的情况下，宫颈癌发作的分析准确度将不可避免地下降。通常，与普通医学图像不同，宫颈癌阴道镜检查图像根据摄影环境和摄影师以各种不同的形式表示。因此，需要用于确定宫颈癌发作的装置来根据更清晰且严格的标准来对要用于学习的图像进行分类以继续学习。

此外，即使当通过根据清晰且严格的标准对学习数据进行分类来执行机器学习时，在诊断(分析)结果中也可能发生误诊，因此迫切需要引入一种系统，该系统允许将结果由专家进行评估，以提高分析装置的可靠性，以便基于机器学习自动诊断宫颈癌或辅助分析装置的诊断性能。

相关文件

专利文件

(专利文件0001)韩国登记专利号10-0850347

(专利文件0002)韩国公开专利公布号10-2016-0047720

发明内容

技术问题

因此，本发明是根据上述需要设计的发明，并且本发明的主要目的是提供一种用于通过根据准确的标准对自动诊断宫颈癌所需的宫颈癌学习数据进行分类来执行机器学习、并基于机器学习自动诊断宫颈癌的自动宫颈癌诊断系统。

另外，本发明的另一个目的在于提供一种自动宫颈癌诊断系统，该自动宫颈癌诊断系统能够防止对一种特定形式的宫颈图像执行过多的学习，或者防止不会对另一特定形式的宫颈图像执行学习，从而使得执行准确的宫颈诊断。

此外，本发明的另一个目的在于提供一种自动宫颈癌诊断系统，该自动宫颈癌诊断系统能够向阅读专家(专家)提供基于机器学习模型自动分析的多条信息，从而确保阅读的便利性，同时配置用户界面屏幕，以使得将由阅读专家评估的输入信息用于实时重新训练，以便不断提高机器学习模型的性能。

问题解决方案

用于实现上述目的的根据本发明的实施例的一种自动宫颈癌诊断系统的特征在于包括：

学习数据生成器，所述学习数据生成器被配置为根据多级别分类标准的组合对从外部设备或存储装置传输的子宫颈的未分类的拍摄图像数据进行分类，以在学习模式中针对每个新分类标准生成学习数据；

拍摄图像预处理器，所述拍摄图像预处理器被配置为对拍摄的子宫颈图像进行预处理；

宫颈癌诊断器，所述宫颈癌诊断器包括用于宫颈癌的机器学习模型，所述机器学习模型学习在所述学习模式中针对每个分类标准生成的所述学习数据的特性，其中所述机器学习模型关于经预处理的拍摄的子宫颈图像生成关于是否发生宫颈癌的诊断信息；

屏幕显示控制器，所述屏幕显示控制器被配置为显示和输出被配置为显示所述诊断信息以及根据阅读专家输入评估信息的用户界面屏幕；

重新训练数据生成器，所述重新训练数据生成器被配置为从所述通过用户界面屏幕输入的所述评估信息中提取重新训练所需的信息并请求重新训练所述机器学习模型；以及

诊断和评估信息存储装置，所述诊断和评估信息存储装置被配置为存储关于是否已经发生宫颈癌的所述诊断信息以及通过所述用户界面屏幕输入的所述评估信息。

在上述系统的配置中，所述学习数据生成器的特征可在于，对每个分类标准的所述学习数据应用镜像或裁剪以生成附加的学习数据，由此调整针对每个分类标准生成的所述学习数据的数值平衡。

另外，所述学习数据生成器的特征可在于，

使用以下分类标准中的至少两个分类标准的组合来对所述未分类的拍摄图像数据进行分类：以颜色作为分类标准的第一级别分类标准、以拍摄图像数据中的子宫颈的大小作为分类标准的第二级别分类标准、以宫颈图像数据中的颜色和形式的组合作为分类标准的第三级别分类标准、以及以曝光和焦点作为分类标准的第四级别分类标准。

在一些情况下，所述学习数据生成器的特征可在于，

根据以颜色作为分类标准的第一级别分类标准，对子宫颈的未分类的拍摄图像数据进行第一分类；根据以第一分类的未分类拍摄图像数据中的子宫颈的大小作为分类标准的第二级别分类标准，对子宫颈的未分类的拍摄图像数据进行第二分类；以及根据以第二分类的未分类拍摄图像数据中的颜色和形式的组合作为分类标准的第三级别分类标准，对未分类的拍摄图像数据进行第三分类。

同时，在所述自动宫颈癌诊断系统中，所述第一级别分类标准可包括作为分类标准值的颜色值，其用于识别乙酸反应图像、Lugol溶液反应图像、绿色滤光器图像和普通图像中的每一者，并且

所述第三级别分类标准可包括作为分类标准值的颜色值和形状的组合，其用于在所述子宫颈图像数据中识别血液、粘液、环、阴道镜、治疗痕迹和外科手术器械中的一者或多者。

另外，所述宫颈癌诊断器的特征可在于，基于所述机器学习模型生成所述诊断信息，所述诊断信息包括关于受试者的拍摄的子宫颈图像宫颈癌为阴性、非典型、阳性或恶性的分类信息、所述分类信息的准确度信息、阴性/阳性确定信息和形态学观点信息。

所述屏幕显示控制器的特征可在于，显示和输出一个屏幕作为所述用户界面屏幕，所述屏幕被分成：受试者的拍摄子宫颈图像的整个显示区域或部分显示区域、在先前时间拍摄的所述受试者的另一个图像的历史信息显示区域、受试者信息曝光区域、阴性/阳性确定信息输入区域、形态学观点信息输入区域、有关拍摄图像的质量的技术缺陷信息输入区域、基于所述机器学习模型导出的所述诊断信息的输出区域、以及阅读专家观点输入区域。

发明的有益效果

从上面显而易见，与基于使用仅具有一种特征(颜色、形状、亮度等)的分类标准分类的数据训练人工智能网络时相比，根据本发明的实施例的自动宫颈癌诊断系统通过根据多级别分类标准的组合对子宫颈的未分类的拍摄图像数据进行分类来训练诸如机器学习模型的人工智能网络，对具有更多不同特性的图像数据进行学习可以更准确地诊断。

此外，本发明还生成附加学习数据以调整每个分类标准的学习数据的数值平衡并且允许将附加学习数据用于学习，使得防止对一种特定形式的宫颈(癌)图像数据执行过多的学习，或者不会对另一特定形式的宫颈图像数据执行学习，由此可准确地诊断子宫颈上是否存在病变。

另外，本发明基于机器学习模型自动诊断与宫颈癌有关的病变的存在或不存在，并通过用户界面屏幕在外部显示结果，从而引导阅读专家在用户界面屏幕上输入评估信息，并且提取一些评估信息以用于重新训练机器学习模型，从而可以不断提升机器学习模型的性能。

附图说明

图1示出示意性概念图，其示出根据常规方法的进行宫颈细胞学和宫颈造影以诊断宫颈癌的方法。

图2是示出根据本发明的实施例的自动宫颈癌诊断系统的配置的示例性视图。

图3是用于描述根据本发明的实施例的对宫颈学习数据进行分类的方法的视图。

图4是用于具体描述根据本发明的实施例的用于生成宫颈学习数据的多级别分类标准的视图。

图5是用于描述根据本发明的实施例的自动诊断宫颈癌的过程的视图。

图6a至图6e是示出根据本发明的实施例的在自动诊断宫颈癌的过程中提供的用户界面(UI)屏幕的示例性视图。

图7示出示意性视图，其示出恶性非典型血管。

具体实施方式

在下面的详细描述中，参考了附图，这些附图以说明的方式示出了特定实施例，其中可实践本发明以使得目标、技术方案和优点变得显而易见。对这些实施例进行了足够详细的描述，以使本领域技术人员能够实施本发明。

在本发明的具体实施方式和权利要求中，“学习”是指根据规程进行机器学习的术语，并且应当理解，该术语并非旨在表示心理行为，诸如人类的教育活动。此外，在本发明的具体实施方式和权利要求中，将理解术语“包括”及其修改不旨在排除其他技术特征、添加、部件或步骤。对于本领域技术人员而言，本发明的其他目的、优点和特征将从本说明书中部分地，并且从本发明的实践中部分地变得显而易见。以下的实施例和附图是通过举例的方式提供的并不意图限制本发明。此外，本发明涵盖本文所指示的实施例的所有可能的组合。将理解的是，本发明的各种实施例尽管不同，但是不一定相互排斥。例如，在不脱离本发明的精神和范围的情况下，在本文中结合一个实施例描述的特定特征、结构或特性可以在其他实施例中实施。此外，将理解的是，在不脱离本发明的精神和范围的情况下，可以修改每个公开的实施例内的各个元件的位置或布置。因此，以下详细描述不应理解为限制性的，并且本发明的范围仅由适当地解释的所附权利要求以及权利要求所赋予的等同方案的全部范围来限定。在附图中，贯穿几个视图，相似的数字表示相同或类似的功能。

如本文所使用的，单数形式“一(a)”、“一(an)”和“该(the)”也旨在包括复数形式，除非上下文另有明确指示。在实施例的描述中，将省略对相关的已知功能或构造的详细描述以避免使本发明的主题不清楚。

在下文中，将参考附图详细描述本发明的示例性实施例以使得本领域技术人员能够容易地实践本发明。

作为参考，作为本发明中使用的机器学习模型之一的卷积神经网络(CNN)模型可以简单地限定为以多层堆叠的人工神经网络的形式。换句话说，CNN模型在深度结构网络的意义上表示为深度神经网络并以多层网络结构的形式来设置，其中学习大量数据以使得自动学习图像的特征，并且以使目标函数的误差最小化的方式进行网络的学习。由于配置也被表示为人脑中的神经元之间的连接，因此CNN已成为人工智能的代表。具体地，CNN是适用于对二维图像(诸如静态图像)进行分类的模型，并且重复卷积层和池化层(子采样层)，该卷积层针对图像的每个区域使用多个过滤器来生成特征映射，该池化层减小特征映射的大小并提取随位置或旋转的变化而不变的特征，使得可从低级别特征的点、线和表面到高级别特征的复杂且有意义的特征来提取各种级别的特征，并且最后通过使用通过全连接层提取的特征作为现有模型的输入值，可构建具有较高准确性的分类模型。

图2是示出根据本发明的实施例的自动宫颈癌诊断系统的框图。参照图2，根据本发明的实施例的自动宫颈癌诊断系统200可以是计算机系统或服务器计算机系统，其结合成像设备100、存储介质300、通信器400和显示器500进行操作，并且可被实现为安装在计算机系统的存储器中的可执行代码数据的集合(应用程序的一种形式)。

参照图2，根据本发明的实施例的自动宫颈癌诊断系统200可通过通信器400直接或间接地与位于远程站点的阅读专家的计算设备(未示出)通信。阅读专家可通过显示器500上显示的用户界面屏幕直接(使用键盘或鼠标)输入下面将描述的评估信息。

在诊断模式中，成像设备100获取受试者的拍摄的子宫颈图像，并且将拍摄的子宫颈图像传输到将在下面描述的自动宫颈癌诊断系统200，并且存储介质300存储子宫颈的未分类的拍摄图像数据(这将在下面描述)，该图像数据将由机器学习模型学习。

在下文中，将参考图2描述根据本发明的实施例的自动宫颈癌诊断系统200的详细配置，并且自动宫颈癌诊断系统200包括：

学习数据生成器210，该学习数据生成器被配置为在学习模式中根据多级别分类标准的组合对从外部设备或存储装置(存储介质300)传输的子宫颈的未分类的拍摄图像数据进行分类，以针对每个新分类标准生成学习数据，

拍摄图像预处理器220，该拍摄图像预处理器被配置为对拍摄的子宫颈图像执行预处理(图像质量改善、模糊、噪声处理)，

宫颈癌诊断器260，该宫颈癌诊断器包括用于宫颈癌的机器学习模型，该机器模型在学习模式中学习为每个分类标准生成的学习数据的特性，其中机器学习模型关于经预处理的拍摄的子宫颈图像生成关于是否发生宫颈癌的诊断信息，

屏幕显示控制器250，该屏幕显示控制器被配置为显示和输出用于显示诊断信息和根据阅读专家输入评估信息的用户界面屏幕，

重新训练数据生成器230，该重新训练数据生成器被配置为从通过用户界面屏幕输入的评估信息中提取重新训练所需的信息、并请求重新训练该机器学习模型；以及

诊断和评估信息存储装置240，该诊断和评估信息存储装置被配置为存储关于是否已经发生宫颈癌的诊断信息、以及通过用户界面屏幕输入的评估信息。

作为参考，可以将多级别分类标准、受试者的诊断信息以及评估信息存储在存储介质300中。

学习数据生成器210对每个分类标准的学习数据应用上/下或左/右镜像或裁剪以生成附加的学习数据，由此调整在学习模式中为每个分类标准生成的学习数据的数值平衡，使得防止过度学习特定形式的宫颈(癌)图像数据，或者相反，防止正常学习中排除另一个特定形式(或类型)的图像。

同时，学习数据生成器210的特征在于，在对子宫颈的未分类的拍摄图像数据进行分类时，使用以下分类标准中的至少两个分类标准的组合来对子宫颈的未分类的拍摄图像数据进行分类：以颜色作为分类标准的第一级别分类标准、以拍摄图像数据中的子宫颈的大小作为分类标准的第二级别分类标准、以宫颈图像数据中的颜色和形式的组合作为分类标准的第三级别分类标准、以及以曝光和焦点作为分类标准的第四级别分类标准。

在一种具体的实现方法中，学习数据生成器210根据以颜色作为分类标准的第一级别分类标准，对针对子宫颈的未分类的拍摄图像数据进行第一分类，根据以第一分类的未分类拍摄图像数据中的子宫颈的大小作为分类标准的第二级别分类标准，对针对子宫颈的未分类的拍摄图像数据进行第二分类，并且根据以第二分类的未分类拍摄图像数据中的颜色和形式的组合作为分类标准的第三级别分类标准，对未分类的拍摄图像数据进行第三分类。

此外，学习数据生成器210可根据以曝光和焦点作为分类标准的第四级别分类标准，对针对子宫颈的第三分类的未分类拍摄图像数据进行分类。可优选在第一级别分类标准之前应用第四级别分类标准，并将其用作用于过滤不可诊断的拍摄图像数据的学习数据(例如，未识别出病变的情况)。例如，响应于曝光不足/过度曝光，直方图可能极度倾斜至一侧，并且因此这种特性可用于对该对应的拍摄图像数据进行分类，并且响应于散焦图像，可能无法检测到边缘(边界线)，或者颜色对比度可能看起来不清楚，并且因此这种特性可用于对该对应的拍摄图像数据进行分类(第四分类)。

此外，学习数据生成器210根据以颜色作为分类标准的第一级分类标准，对针对子宫颈的未分类的拍摄图像数据进行第一分类，并且第一级别分类标准包括作为分类标准值的颜色值，该颜色值用于识别乙酸反应图像、Lugol溶液反应图像、绿色滤光器图像和普通图像中的一个或多个图像中的每一者。

另外，学习数据生成器210根据以第一分类的未分类拍摄图像数据中的子宫颈的大小(例如图像中的子宫颈的尺寸，诸如150％、100％、80％和50％)、以及包括阴道镜和其他部件的尺寸作为分类标准，来执行第二分类。

另外，学习数据生成器210根据第三级别分类标准对子宫颈的未分类的拍摄图像数据进行第三分类，该第三级别分类标准以针对子宫颈的第二分类的未分类拍摄图像数据中的子宫颈拍摄数据中的颜色和形式的组合作为分类标准，其中第三级别分类标准包括作为分类标准值的颜色值和形状的组合，用以对影响子宫颈的异物进行分类，所述颜色值和形状的组合用于在子宫颈图像数据中识别血液、粘液、环、阴道镜、治疗痕迹和外科手术器械中的一者或多者。

例如，血液主要以从子宫颈中心向下流动的红色物质的形式出现，粘液以从子宫颈中心向下流动的淡黄色物质的形式出现，并且环主要位于子宫颈中心并且通常表现为独特的回旋镖形丝线。阴道镜和其他外科手术器械以与粉红色的子宫颈不同的颜色(银色、蓝色等)出现，使得使用每种异物的颜色和形状的组合可允许对影响子宫颈的异物进行如上所述的分类。

在上面示出的第一到第四分类过程中，可使用作为深度学习技术的CNN来执行每个分类。在第一、第二和第四分类中，要提取的特征是清晰的，并且因此仅具有几层的配置就可实现高准确度分类，并且在第三分类中，需要提取大量的特征并且因此可以使用深层配置来提高准确度。

在下文中，将参考图3和图4更详细地描述根据本发明的实施例的对自动宫颈癌诊断系统200的学习数据进行分类的方法。

首先，图3是用于描述根据本发明的实施例的对宫颈学习数据进行分类的方法的视图，并且图4是用于具体描述根据本发明的实施例的用于生成宫颈学习数据的多级别分类标准的视图。

参照图3，首先，在对子宫颈的未分类拍摄图像数据执行学习之前，假定将从成像设备100或外部设备传输的子宫颈的未分类拍摄图像数据的片段存储在存储介质300中(S100)，或将子宫颈的未分类拍摄图像数据的片段预先存储在存储介质300中。

在该假设下，响应于从管理员接收到的执行学习模式的命令，学习数据生成器210基于神经网络算法(诸如CNN)对子宫颈的未分类拍摄图像数据的每个片段进行分类，其中根据多个多级别分类标准的组合对子宫颈的未分类拍摄图像数据的片段进行分类并首先存储(S200)。

此外学习数据生成器210根据以颜色作为分类标准的第一级别分类标准，对针对子宫颈的未分类的拍摄图像数据进行第一分类。

对于第一分类，学习数据生成器210可以包括作为分类标准值的颜色值以对上述四个图像进行分类，所述颜色值用于识别乙酸反应图像、Lugol溶液反应图像、绿色滤光器图像和普通图像中的每一者。

具体地，乙酸反应图像可在子宫颈上显示白色污点，使得将白色污点与粉红色的子宫颈和阴道进行区分。Lugol溶液反应图像显示为棕色或深橙色，并且绿色滤光器图像在整个图像区域显示为深绿色，使得使用表示每个图像的特性的颜色值作为分类标准值可允许对子宫颈的未分类拍摄图像数据进行分类。

当第一分类完成时，学习数据生成器210根据具有第一分类的拍摄图像数据中的子宫颈大小的第二级别分类标准来执行第二分类。

子宫颈为圆形，其大小对应于500韩元硬币，并且通常位于图像的中心。因此，基于图像中的子宫颈的大小(150％、100％、80％等)，将拍摄数据第二分类成例如仅显示放大子宫颈的图像、显示整个子宫颈的图像、在图像的80％的区域中显示子宫颈的图像、在图像的50％的区域中显示子宫颈的图像，并且可对包括子宫颈、阴道镜和其他部件的图像进行第二分类。

此后，学习数据生成器210根据具有第二分类的子宫颈图像数据中的颜色和形状的组合的第三级别分类标准来对影响子宫颈的异物进行第三分类。

如上所述，血液主要以从子宫颈中心向下流动的红色物质的形式出现，粘液以从子宫颈中心向下流动的淡黄色物质的形式出现，并且环主要位于子宫颈中心并且通常表现为独特的回旋镖形丝线。阴道镜和其他外科手术器械以与子宫颈的粉红色不同的颜色(银色、蓝色等)出现，使得使用每种异物的颜色和形状的组合可允许对影响子宫颈的异物进行如上所述的分类。

可以将如上所述的针对根据多级别分类标准的组合分类的每个分类标准的拍摄图像数据临时存储在存储介质300或系统200的存储器中。

当未分类的拍摄图像数据的分类完成时，学习数据生成器210生成针对每个分类标准分类的子宫颈的拍摄图像数据作为每个分类标准的学习数据，并将针对每个分类标准生成的学习数据存储在存储介质300中(S300)。在生成学习数据的过程中，学习数据生成器210可以进一步生成附加的学习数据，以针对每个分类标准调整学习数据的数值平衡，并且可以基于每个分类标准的学习数据来生成附加学习数据。

作为生成附加学习数据的方法，可以将镜像用作左侧和右侧被反转的垂直镜像以及用作上侧和下侧被反转的水平镜像，或者可以使用裁剪以使得基于顶部/底部/左侧/右侧以小于原始尺寸的尺寸执行裁剪，以生成附加学习数据。此外，当一起使用镜像和裁剪时，可能会生成多达16倍的附加学习数据。

作为参考，在以上示例中，通过采用第一、第二和第三级别分类标准的组合来生成学习数据，但可通过采用第一和第二级别分类标准的组合、第一和第三级别分类标准的组合、以及第二和第三级别分类标准的组合来生成学习数据，并且如图4所示，可通过单独地采用第一至第三级别分类标准来对子宫颈的未分类拍摄图像数据进行分类，并且可以将分类的图像数据用作每个分类标准的学习数据。

如上所述，当根据多级别分类标准的组合对子宫颈的未分类拍摄图像数据进行分类并且生成学习数据时，子宫颈的机器学习模型262对针对每个分类标准生成的学习数据的特征执行学习和验证(S400)。当另外获得子宫颈的未分类拍摄图像数据时，再次执行上述学习模式。

如上所述，由于根据本发明的实施例的自动宫颈癌诊断系统200通过根据多级别分类标准的组合对子宫颈的未分类拍摄图像数据进行分类来生成学习数据，因此学习数据的分类的数量增加，并且随着学习数据的分类的数量增加，学习了具有各种特性的图像数据，使得可以更准确地诊断病变的存在或不存在。

另外，本发明还生成附加学习数据以调整每个分类标准的学习数据的数值平衡并且将附加学习数据用于学习，使得防止对特定形式(类型)的宫颈(癌)图像数据执行过多的学习，或者相反，不会对另一特定形式的宫颈图像数据执行学习，由此提供准确诊断子宫颈上是否存在病变的效果。

在下文中，将描述使用自动宫颈癌诊断系统200来自动诊断宫颈癌的过程，该自动宫颈癌诊断系统使用通过根据上述多级别分类标准的组合对子宫颈的未分类图像数据进行分类而生成的学习数据来训练机器学习模型262。

图5是用于描述根据本发明的实施例的自动诊断宫颈癌的过程的视图。图6a至图6e是示出根据本发明的实施例的在自动诊断宫颈癌的过程中提供的用户界面(UI)屏幕的示例性视图。

参照图5，首先，在诊断模式中，自动宫颈癌诊断系统200获取受试者的子宫颈的拍摄图像(S410)。可从成像设备100获取受试者的子宫颈的拍摄图像，或者可通过通信器400或存储介质从外部获取受试者的子宫颈的拍摄图像。如上所述获取的子宫颈的拍摄图像514通过屏幕显示控制器250显示在UI屏幕上，如图6a所示。UI屏幕可被配置为使得如图6a中所示，通过对象信息输入区域510与拍摄图像514一起显示关于作为患者的受检者的信息。

为了在UI屏幕上显示获取的受试者的子宫颈的拍摄图像之前生成更准确的诊断信息，图像预处理器220可以优选地对子宫颈的拍摄图像执行预处理。在此，预处理可包括以下项中的至少一者：针对拍摄图像的抵抗照明和噪声的鲁棒性的红绿蓝(RGB)色相饱和度值(HSV)转换，通过直方图平滑化来改善图像质量等模糊和噪声处理。

再次参考图5，当获取对象的子宫颈的拍摄图像并通过预处理完成后，宫颈癌诊断器260的机器学习模型262关于经预处理的拍摄的子宫颈图像生成关于是否发生宫颈癌的诊断信息(S420)。

机器学习模型262使用先前输入的训练信息的多个片段来生成关于是否已经发生宫颈癌的诊断信息，即，先前输入的训练信息包括(i)根据多级别分类标准的组合的针对每个分类标准的学习数据，(ii)指示在学习数据的多个图像中是否存在宫颈癌病变的数据，以及响应于该病变的存在，(iii)显示其中存在病变的图像部分的数据。作为参考，机器学习模型262可以是CNN模型，也可以是将CNN和支持向量机(SVM)组合的模型。

为了增加机器学习模型262的准确度和可靠性，需要用于训练的大量学习数据，并且用于训练的学习数据越多，机器学习模型就可越准确和越可靠。

另一方面，诊断信息可以包括关于宫颈癌为阴性、非典型、阳性或恶性的状态的分类信息。另外，分类信息可包括指示分类的准确度的概率信息。

更详细地，诊断信息可以包括阴性/阳性信息，也就是说，信息指示宫颈癌诊断是否为阴性以及响应于宫颈癌为阳性，指示低癌症风险或高癌症风险，并且还可包括形态观点信息，例如醋白上皮、马赛克、糜烂或溃疡、不规则表面轮廓、点状、不典型血管、变色等。

如图6b所示，可以通过屏幕显示控制器250列出并提供诊断信息以对应于多个拍摄图像514。图6b所示的UI屏幕显示主题信息520，输入时间点信息522，以及根据分类信息指示是否怀疑宫颈癌发作的信息，以及由机器学习模型262计算的概率信息(标记为“可疑”；524)。另外，图6b所示的UI屏幕显示与特定拍摄图像相对应的“评估”按钮526，使得在操作S420之后的操作继续。

通过“评估”按钮526，阅读专家可读取基于机器学习模型自动诊断的关于是否已发生宫颈癌的诊断，并且可以输入评估信息。也就是说，响应于对“评估”按钮526的操纵，屏幕显示控制器250支持用于读取是否已经发生宫颈癌的多个屏幕。

例如，如图6c所示，在UI屏幕上提供了所有或部分的拍摄图像，使得阅读专家可在确定是否存在医学异常区域时标记各种所需的指示(例如，矩形、箭头、文本输入等)。

另外，屏幕显示控制器250可以显示与通过UI屏幕输入的阅读专家命令相对应的诊断信息、并支持由阅读专家进行的评估信息的输入(S430)。

评估信息可包括指示所提供的诊断信息是否准确的信息，即关于诊断信息中包括的发作是正确还是不正确的信息，关于诊断信息中包括的分类信息是正确还是不正确的信息，以及当分类信息不正确时，指示什么分类正确的信息。

此外，评估信息可包括关于拍摄图像的质量的信息，例如，关于拍摄图像的技术缺陷的信息。例如，技术缺陷可包括：由于拍摄图像中有过多的粘液或血液而难以对拍摄图像准确执行确定，由于拍摄图像的角度或拍摄部位的位置而难以确定是否发生了宫颈癌，需要进行乙酸反应时乙酸反应不充分，或图像缺陷，诸如没对准焦距、过度曝光或不足曝光。

图6d示出了由屏幕显示控制器250显示的UI屏幕，其中示出了用于显示拍摄图像540的整个区域或一部分的区域，用于显示先前拍摄的相同受试者的另一个图像的历史信息541的区域，图6a所示的受试者信息曝光区域542，用于输入阴性/阳性确定信息的否定/肯定确定信息区域543，用于由阅读专家输入形态观点信息的形态观点信息输入区域544，用于输入有关拍摄图像540的质量的信息的技术缺陷信息输入区域545，用于显示基于机器学习模型262导出的诊断信息的人工智能诊断信息输出区域546，以及用于由阅读专家基于拍摄图像输入观点的用户观点输入区域547，使得阅读专家可轻松地评估与自动诊断信息相对应的宫颈癌的发作。

另一方面，当阅读专家通过图6所示的UI屏幕输入关于基于受试者的子宫颈的拍摄图像和机器学习模型262分析的诊断信息的评估信息时，诊断和评估信息存储装置240将关于是否已发生宫颈癌的诊断信息以及由阅读专家通过UI屏幕输入的评估信息存储在存储介质300中(S440)，或者在管理员或阅读专家的要求下将诊断信息和评估信息输出到显示器500。

另一方面，当通过UI屏幕输入评估信息时，重新训练数据生成器230可从通过UI屏幕输入的评估信息中提取重新训练所需的信息，例如，阴性/阳性确定信息、技术缺陷信息等，并请求重新训练机器学习模型262。

此外，可能以医学结果报告的形式来处理和提供上述评估信息。例如，在图6e中示出了为医学结果报告提供的UI，并且医学结果报告550可以包括关于宫颈癌发作的信息、分类信息等。可通过远离最初获取拍摄图像的位置(即，摄影位置)或读取拍摄图像的位置定位的另一个设备来提供医学结果报告。

在阅读专家位于自动宫颈癌诊断系统200处并且输入评估信息的假设下描述了以上实施例，但另选地，也可以将诊断信息的片段通过通信器400传输到位于远程站点的阅读专家，使得阅读专家可以输入评估信息。

在常规方法中医务人员经由通过阴道镜直接查看获取的拍摄的子宫颈图像，基于教育和经验来直接检查子宫颈的状况，而根据上述本发明的实施例，由于可以基于预先学习的机器学习模型262来自动诊断宫颈癌发作，因此与常规方法相比，可更快、更准确地诊断出宫颈癌发作。

此外，本发明可以通过将评估信息重用为用于重新训练机器学习模型的数据来执行更准确的读取。

同时，在上述实施例中，示出了以颜色作为分类标准的第一级别分类标准、以拍摄图像数据中的子宫颈的大小作为分类标准的第二级别分类标准、以宫颈图像数据中的颜色和形状的组合作为分类标准的第三级别分类标准、以及以曝光和焦点作为分类标准的第四级别分类标准，但学习数据生成器210还可包括以如图7所示的恶性非典型血管模式作为分类标准的第五级别分类标准，并且可以通过仅根据第五级别分类标准、或根据第五级别分类标准和上述其他分类标准的组合对子宫颈的未分类拍摄图像数据进行分类来生成学习数据。

在执行了图7所示的恶性非典型血管模式的学习之后，宫颈癌诊断器260可基于经训练的机器学习模型来生成指示恶性非典型血管模式的关于宫颈癌发作的诊断。

基于以上示例性实施例，本领域普通技术人员应理解，本发明可以通过软件和硬件的组合或仅通过硬件来实现。同时，可能以可由各种计算机部件执行的程序指令的形式来实现本发明的技术方案的目的或对现有技术做出贡献的部分，并且可将其记录在计算机可读记录介质中。计算机可读记录介质可以单独地或组合地包括程序指令、数据文件、数据结构等。记录在计算机可读介质中的程序指令可以是针对本发明专门设计和构造的程序指令，或者可以是计算机软件领域的技术人员已知的程序指令。

计算机可记录介质的示例包括磁介质，诸如硬盘、软盘和磁带；光学介质，诸如光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)；磁光介质，诸如软盘；以及专门被构造成存储和执行程序指令的硬件设备，诸如ROM、随机存取存储器(RAM)。程序指令的示例包括机器代码(诸如由编译器产生的机器代码)和可由计算机使用解释器来执行的高级别代码。上述硬件设备可被配置为充当一个或多个软件模块以执行上述实施例的操作，或者一个或多个软件模块可被配置为充当上述的硬件设备，或者反之亦然。此外，硬件设备可包括处理器，诸如中央处理器(CPU)或图形处理器单元(GPU)，该处理器连接到诸如ROM/RAM的存储器以存储程序指令并被配置为执行存储在存储器中的指令，并且可包括通信器，该通信器被配置为向外部设备传输信号或从外部设备接收信号。此外，硬件设备可以包括键盘、鼠标和其他外部输入设备以用于接收开发人员编写的指令。

上面对本发明的描述是出于说明的目的，并且本领域的普通技术人员应理解，在不脱离本发明的技术精神或基本特征的情况下，可以容易地进行其他特定的修改。因此，本发明和附图中公开的示例性实施方式旨在说明而不是限制本发明的技术精神，并且本发明的范围不由上述具体实施方式限定而是由本发明的所附权利要求限定。

Claims (9)

1.一种自动宫颈癌诊断系统，包括：

学习数据生成器，被配置为根据多级别分类标准中的一者或组合对从外部设备或存储装置传输的用于子宫颈的未分类的拍摄图像数据进行分类，以在学习模式中针对每个新的分类标准生成学习数据；

拍摄图像预处理器，被配置为对拍摄的子宫颈图像进行预处理；

宫颈癌诊断器，包括用于宫颈癌的机器学习模型，所述机器学习模型学习在所述学习模式中针对每个分类标准生成的所述学习数据的特性，其中所述机器学习模型关于经预处理的拍摄的子宫颈图像生成关于是否发生宫颈癌的诊断信息；

屏幕显示控制器，被配置为显示和输出用户界面屏幕，该用户界面屏幕被配置为显示所述诊断信息以及根据阅读专家输入评估信息；

重新训练数据生成器，被配置为从通过所述用户界面屏幕输入的所述评估信息中提取重新训练所需的信息，并请求重新训练所述机器学习模型；以及

诊断和评估信息存储装置，被配置为存储关于是否已经发生宫颈癌的所述诊断信息、以及通过所述用户界面屏幕输入的所述评估信息。

2.根据权利要求1所述的自动宫颈癌诊断系统，其中所述学习数据生成器对针对每个分类标准的所述学习数据应用镜像或裁剪以生成附加的学习数据，使得针对每个分类标准的所述学习数据的数值平衡被调整。

3.根据权利要求1所述的自动宫颈癌诊断系统，其中所述学习数据生成器使用以下分类标准中的至少两个分类标准的组合来对所述未分类的拍摄图像数据进行分类：以颜色作为分类标准的第一级别分类标准、以拍摄图像数据中的子宫颈的尺寸作为分类标准的第二级别分类标准、以宫颈图像数据中的颜色和形式的组合作为分类标准的第三级别分类标准、以及以曝光和焦点作为分类标准的第四级别分类标准。

4.根据权利要求1所述的自动宫颈癌诊断系统，其中所述学习数据生成器根据以颜色作为分类标准的第一级别分类标准，对所述子宫颈的所述未分类的拍摄图像数据进行第一分类；根据以所述第一分类的未分类拍摄图像数据中的所述子宫颈的尺寸作为分类标准的第二级别分类标准，对所述子宫颈的所述未分类的拍摄图像数据进行第二分类；并以及根据以所述第二分类的未分类拍摄图像数据中的颜色和形式的组合作为分类标准的第三级别分类标准，对所述未分类的拍摄图像数据进行第三分类。

5.根据权利要求3或4所述的自动宫颈癌诊断系统，其中所述第一级别分类标准包括作为分类标准值的颜色值，该颜色值用于识别乙酸反应图像、Lugol溶液反应图像、绿色滤光器图像和普通图像中的每一者，并且

所述第三级别分类标准包括作为分类标准值的颜色值和形状的组合，该颜色值和形状的组合用于在所述子宫颈图像数据中识别血液、粘液、环、阴道镜、治疗痕迹和外科手术器械中的一者或多者。

6.根据权利要求1所述的自动宫颈癌诊断系统，其中所述宫颈癌诊断器基于所述机器学习模型生成所述诊断信息，所述诊断信息包括：关于受试者的拍摄的子宫颈图像的涉及宫颈癌的阴性、非典型、阳性或恶性的分类信息，所述分类信息的准确度信息，阴性/阳性确定信息，以及形态学观点信息。

7.根据权利要求1所述的自动宫颈癌诊断系统，其中所述屏幕显示控制器显示和输出一个屏幕作为所述用户界面屏幕，所述屏幕被划分成：受试者的拍摄的子宫颈图像的整个显示区域或部分显示区域、在先前时间拍摄的所述受试者的另一个图像的历史信息显示区域、受试者信息曝光区域、阴性/阳性确定信息输入区域、形态学观点信息输入区域、涉及拍摄图像的质量的技术缺陷信息输入区域、基于所述机器学习模型导出的所述诊断信息的输出区域、以及阅读专家观点输入区域。

8.根据权利要求1所述的自动宫颈癌诊断系统，其中所述多级别分类标准包括作为分类标准的恶性非典型血管模式。

9.根据权利要求1所述的自动宫颈癌诊断系统，其中所述学习数据生成器使用以下分类标准中的每一者或以下分类标准中的至少两个分类标准的组合来对所述未分类的拍摄图像数据进行分类：以颜色作为分类标准的第一级别分类标准、以拍摄图像数据中的子宫颈的尺寸作为分类标准的第二级别分类标准、以宫颈图像数据中的颜色和形式的组合作为分类标准的第三级别分类标准、以曝光和焦点作为分类标准的第四级别分类标准、以及以恶性非典型血管模式作为分类标准的第五级别分类标准。

Images