CN110277166B - 一种宫腹腔镜辅助诊断系统及方法 - Google Patents

Abstract

本发明公开一种宫腹腔镜辅助诊断系统，诊断系统包括视频接收模块、机器学习模块、结果报告模块和数据库模块，所述机器学习模块包括机器诊断单元、人工诊断单元和深度学习单元；视频接收模块将接收到的宫腹腔镜设备采集的图像传送至机器学习模块，机器学习模块对机器诊断结果和人工诊断结果进行学习和训练，并将图像进类存储至数据库模块，并依据已存储的分类图像集对机器评判结果进行反复修正，逐步实现评判结果优化，结果报告模块用于记录和显示图像诊断结果。本发明能够对机器诊断和人工诊断结果进行反馈学习，为病情诊断提供更准确、可靠的依据。

Description

一种宫腹腔镜辅助诊断系统及方法

技术领域

本发明属于医疗设施技术领域，尤其涉及一种宫腹腔镜辅助诊断系统及方法。

背景技术

宫腔在胎儿生长发育中具有重要作用，是受精卵组成及生长发育的重要场所，当女性宫腔出现病变时极易导致流产、不孕发生，当前临床研究显示宫腔病变、输卵管病变是引起不孕症的主要原因。因此，准确了解宫腔状况及输卵管状况对不孕症的诊断和治疗至关重要。目前，随着宫腔镜、腹腔镜技术的普及，宫、腹腔镜对女性不孕症的诊治已经成为一种常规的方法。宫腹腔镜是采用膨宫介质扩张子宫腔，通过纤维导光束和透镜将冷光源经子宫镜导入宫腔内，直视下行宫颈管、子宫内口、宫内膜及输卵管开口进行观察，并对宫腔内的生理及病理情况进行检查和诊断亦可同时进行相应的治疗。

宫腔镜和腹腔镜通常都含有摄录像监视系统，能够获取宫腹腔内部状况并将获取的视频或图像通过显示器呈现，通过观察宫腹腔镜摄取图像信息，医护人员能一目了然、清楚直观地对病灶大小和位置进行判别，并对症施治，作为微创手术，宫腹腔镜联合术可将创伤减少到最低限度，安全、无痛苦、恢复快，是目前世界上不孕不育手术最为先进、尖端的技术。

然而，目前宫腹腔镜技术的诊断主要依赖于医护人员的观察和判断，与医护人员本身具备的医学知识具有较大关系。因此，人工诊断具有一定的局限性和主观性，检查结果受制于操作医师的工作状态和经验影响，从而容易导致误诊；此外，人工诊断的效率偏低。为了提高宫腹腔镜诊断的准确性和诊断效率，急需提供一种能够深度学习的宫腹腔镜辅助诊断系统及方法。

发明内容

针对上述现有技术存在的缺陷，本发明目的在于提供一种宫腹腔镜辅助诊断系统及方法，包括视频接收模块、机器学习模块、结果报告模块和数据库模块，其中机器学习模块包括机器诊断单元、人工诊断单元和深度学习单元，深度学习单元可对机器诊断结果和人工诊断结果进行反馈学习，进而提高诊断的准确性和效率。

为实现上述目的，本发明采用以下技术方案实现：

一种宫腹腔镜辅助诊断系统，其特征在于，包括视频接收模块、机器学习模块、结果报告模块和数据库模块，所述机器学习模块包括机器诊断单元、人工诊断单元和深度学习单元；所述视频接收模块输入端与宫腹腔镜输出端相连，视频接收模块具有两个输出端口，分别与机器学习模块的机器诊断单元和数据库模块相连；所述机器诊断单元分别与人工诊断单元和深度学习单元相连，人工诊断单元与深度学习单元相连；所述机器诊断单元、人工诊断单元和深度学习单元均通过输出端口分别与结果报告模块和数据库模块相连，且与数据库模块的连接为双向连接。

进一步的，所述数据库模块还包含有至少10万张宫腹腔内图像集P₀{x₀ ⁽¹⁾，x₀ ⁽²⁾，…，x₀ ^(N)}，N≥10万。

进一步的，所述结果报告模块，用于记录和显示所述机器诊断单元和人工诊断单元每一次的评判结果。

一种宫腹腔镜辅助诊断方法，其特征在于，采用以上所述的一种宫腹腔镜辅助诊断系统进行诊断，包括以下步骤：

S1.通过视频接收模块对宫腹腔镜设备采集的图像进行采集，并将图像回传至机器学习模块和数据库模块；

S2.机器学习模块的机器诊断单元首先对图像进行预处理，然后提取图像特征，并调取数据库模块图像集P₀，对图像中病灶大小和位置进行评判，并将评判结果传送至人工学习单元和深度学习单元；

S3.人工诊断单元首先判断机器诊断单元的评判结果是否合理，若合理，则直接给出诊断意见，若不合理，则修正评判结果后给出诊断意见，并将评判结果和诊断意见传送至深度学习单元；

S4.深度学习单元通过图像分类器将图像分类存储至数据库模块；

S5.在获取下一张图像时，重复步骤S1-S4，并依据已存储的分类图像集对机器评判结果进行反复修正，逐步实现评判结果优化。

进一步的，在步骤S2中，所述图像预处理方法为：首先，采用大小为n×n无标签图像作为输入图像，并从其中随机抽取一定量大小图像块构成l×l的无标签图像集{x⁽¹⁾，x⁽²⁾，…，x^(m)}，x⁽ⁱ⁾∈Rⁿ，采取正则化操作，增强图像对比度，正则化处理后的图像如式(1)所示：

其中，var为方差，mean为平均值，δ为常量，得到预处理后的图像集

进一步的，在步骤S2中，所述图像特征提取过程包括以下步骤：

S21.将预处理后的图像集作为聚类数据，设定初始聚类中心为{μ₁，μ₂，μ₃，…，μ_k}，通过迭代方式不断修正聚类中心，直到准则函数收敛，准则函数如式(2)所示：

其中，c为类别，μ为聚类中心；

S22.计算图块i所属类别c⁽ⁱ⁾,对于每一个类j，通过式(3)和(4)重新计算其聚类中心：

S23.当准则函数值最小时，得到最优的聚类中心，输入图像大小为w×w的图像块

通过映射函数式(5)和(6)映射为一个新的特征表达式(7)：

其中，μ(z)为每一类样本到聚类中心距离和的平均值。

进一步的，重复步骤S1-S5后，经过2m次训练后，所述图像分类器将图像分为两个特征图像集P₁{y₁ ⁽¹⁾，y₁ ⁽²⁾，…，y₁ ^(m)}，y₁ ⁽ⁱ⁾∈Rⁿ和P₂{y₂ ⁽¹⁾，y₂ ⁽²⁾，…，y₂ ^(m)}，y₂ ⁽ⁱ⁾∈Rⁿ，特征图像集P₁为机器评判结果合理的图像集，P₂为机器评判结果不合理的图像集，所述图像集P₁和P₂分别与图像语义信息集W₁{w₁ ⁽¹⁾，w₁ ⁽²⁾，…，w₁ ^(m)},w₁ ⁽ⁱ⁾∈Rⁿ和W₂{w₂ ⁽¹⁾，w₂ ⁽²⁾，…，w₂ ^(m)},w₂ ⁽ⁱ⁾∈Rⁿ对应，w₁ ⁽ⁱ⁾和w₂ ⁽ⁱ⁾为图片修正后的诊断结果语义信息。

进一步的，经过2m次训练后，机器诊断单元能将第2m+1张图像快速归类，并快速给出合理诊断结果。

进一步的，所述图像分类器为softmax分类器。

有益效果

与现有技术相比，本发明提供的一种宫腹腔镜辅助诊断系统及方法具有如下有益效果：

(1)本发明将机器诊断结果和人工诊断结果相结合，解决了单独依赖机器诊断结果的准确率低、易误诊，或单独依赖人工诊断的诊断效率低主观性强的缺陷。

(2)本发明采用深度学习单元对机器诊断结果和人工诊断结果进行分类和优化，，可为后续采集图像的评判提供可靠的依据和参考，提高诊断效率和准确率。

(3)本发明采取正则化操作对采集的图像进行预处理，可增强图像对比度，减少光线的影响，更易获取病灶的位置和大小等信息，可进一步提高诊断准确率。

(4)本发明采用聚类训练网络提取图像特征，通过迭代方式不断修改聚类中心，得到最优聚类中心，对图像特征识别率高。

(5)本发明通过数据库模块对图像以及图像评判结果和诊断结果进行分类存储，将文字和图像相结合，并通过结果报告模块显示，诊断结果易被理解和获取。

附图说明

图1为本发明提供的诊断系统组成结构图；

图2为本发明提供的诊断系统诊断方法流程图；

图3为图像特征提取过程。

具体实施方式

以下将结合附图对本发明各实施例的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例；基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例，都属于本发明所保护的范围。

本发明提供一种宫腹腔镜辅助诊断系统及方法，如图1-2所示，包括视频接收模块、机器学习模块、结果报告模块和数据库模块；所述机器学习模块包括机器诊断单元、人工诊断单元和深度学习单元。在诊断过程中，首先采用宫腹腔镜探测待检查人员的宫腔和腹腔内部状况，通过视频接收模块获取宫腹腔设备采集的图像，并将图像传送至机器学习模块进行诊断和学习，同时传送至数据库模块进行储存；机器学习模块的机器诊断单元首先对图像进行预处理，然后提取图像特征，得到特征图像集，通过调取数据库原始图像集P₀对图像中病灶的位置和大小进行评判，并将图像及对应的评判结果输出至结果报告模块和数据库模块；医护人员首先判断机器诊断结果是否合理，若合理则直接给出诊断意见，若不合理，则修正评判结果后给出诊断意见，然后将评判结果和诊断意见与对应的图像输入至结果报告模块和数据库模块；最后，深度学习单元通过图像分类器将图像分类存储至数据库模块，在获取下一张图像时，重复步骤S11-S13，并依据已存储的分类图像集对机器评判结果进行反复修正，逐步实现评判结果优化。

实施例1

一种宫腹腔镜辅助诊断系统，如图1所示，一种宫腹腔镜辅助诊断系统，其特征在于，包括视频接收模块、机器学习模块、结果报告模块和数据库模块，所述机器学习模块包括机器诊断单元、人工诊断单元和深度学习单元；所述视频接收模块输入端与宫腹腔镜输出端相连，视频接收模块具有两个输出端口，分别与机器学习模块的机器诊断单元和数据库模块相连；所述机器诊断单元分别与人工诊断单元和深度学习单元相连，人工诊断单元与深度学习单元相连；所述机器诊断单元、人工诊断单元和深度学习单元均通过输出端口分别与结果报告模块和数据库模块相连，且与数据库模块的连接为双向连接。

进一步的，所述数据库模块还包含有10万张宫腹腔内图像集P₀{x₀ ⁽¹⁾，x₀ ⁽²⁾，…，x₀ ^(N)}，N＝10万。

进一步的，所述结果报告模块，用于记录和显示所述机器诊断单元和人工诊断单元每一次的评判结果。

进一步的，所述机器学习模块具有强大的学习能力和高效的特征表达能力，机器诊断单元可以通过图像特征函数提取图像特征，通过调取数据库图像集，对图像中病灶位置和大小进行评判，再结合人工诊断单元对图像诊断结果进行修正和加强，深度学习单元通过图像分类器对图像集进行分类存储，存储元素包括图像特征向量及图像对应的诊断结果语义信息，经过对不同的图像进行反复提取和评判，得到分类图像集，为后续图像评判和诊断提供可靠依据。

实施例2

一种宫腹腔镜辅助诊断方法，如图2所示，采用实施例1所述的宫腹腔镜辅助诊断系统进行诊断，包括以下步骤：

S1.通过视频接收模块对宫腹腔镜设备采集的图像进行采集，并将图像回传至机器学习模块和数据库模块；

S2.机器学习模块的机器诊断单元首先对图像进行预处理，然后提取图像特征，并调取数据库模块图像集P₀，对图像中病灶大小和位置进行评判，并将评判结果传送至人工学习单元和深度学习单元；

S3.人工诊断单元首先判断机器诊断单元的评判结果是否合理，若合理，则直接给出诊断意见，若不合理，则修正评判结果后给出诊断意见，并将评判结果传送至深度学习单元；

S4.深度学习单元通过softmax图像分类器将图像分类存储至数据库模块；

S5.在获取下一张图像时，重复步骤S1-S4，并依据已存储的分类图像集对机器评判结果进行反复修正，逐步实现评判结果优化。

在步骤S2中，所述图像预处理方法为：首先，采用大小为n×n无标签图像作为输入图像，并从其中随机抽取一定量大小图像块构成l×l的无标签图像集{x⁽¹⁾，x⁽²⁾，…，x^(m)}，x⁽ⁱ⁾∈Rⁿ，由于光照、遮挡等不利因素会影响从自然图像中得到的输入图像分类效果，为了改善图像分类效果，提高分类精度，采取正则化操作，增强图像对比度，减少光线的影响，正则化处理后的图像如式(1)所示：

式(1)中，var为方差，mean为平均值，δ为常量，得到预处理后的图像集

进一步的，在步骤S2中，所述图像特征提取包括以下步骤：

S21.将预处理后的图像集作为聚类数据，设定初始聚类中心为{μ₁，μ₂，μ₃，…，μ_k}，由于随着聚类中心(特征)数量的增加，分类性能也得到提升，所以设定聚类中心个数为2000，通过迭代方式不断修正聚类中心，直到准则函数收敛，准则函数如式(2)所示：

其中，c为类别，μ为聚类中心；

S22.计算图块i所属类别c⁽ⁱ⁾,对于每一个类j，重新计算其聚类中心，即：

S23.当准则函数值最小时，得到最优的聚类中心，输入图像大小为w×w的图像块

通过映射函数式(5)和(6)映射为一个新的特征表达式(7)：

其中，μ(z)为每一类样本到聚类中心距离和的平均值。

根据步骤S21-S23，图像特征提取过程如图3所示，将输入的图像块x⁽ⁱ⁾与提取的聚类中心μ_j做卷积，得到图像特征y⁽ⁱ⁾。

进一步的，重复步骤S1-S5后，经过2m次训练后，所述图像分类器将图像分为两个特征图像集P₁{y₁ ⁽¹⁾，y₁ ⁽²⁾，…，y₁ ^(m)}，y₁ ⁽ⁱ⁾∈Rⁿ和P₂{y₂ ⁽¹⁾，y₂ ⁽²⁾，…，y₂ ^(m)}，y₂ ⁽ⁱ⁾∈Rⁿ，特征图像集P₁为机器评判结果合理的图像集，P₂为机器评判结果不合理的图像集，所述图像集P₁和P₂分别与图像语义信息集W₁{w₁ ⁽¹⁾，w₁ ⁽²⁾，…，w₁ ^(m)},w₁ ⁽ⁱ⁾∈Rⁿ和W₂{w₂ ⁽¹⁾，w₂ ⁽²⁾，…，w₂ ^(m)},w₂ ⁽ⁱ⁾∈Rⁿ对应，w₁ ⁽ⁱ⁾和w₂ ⁽ⁱ⁾为图片修正后的诊断结果语义信息。

经过2m次训练后，机器诊断单元能对2m+1张图像的特征提取和归类均优于第2m张图像，并快速给出合理诊断结果，每一次完整诊断后，结果报告模块显示同时显示3组数据，包括预处理后的图像

图像特征y₁ ⁽ⁱ⁾以及对应的诊断结果语义信息w₁ ⁽ⁱ⁾。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (3)

1.一种宫腹腔镜辅助诊断系统，其特征在于，包括视频接收模块、机器学习模块、结果报告模块和数据库模块，所述机器学习模块包括机器诊断单元、人工诊断单元和深度学习单元；所述视频接收模块输入端与宫腹腔镜输出端相连，视频接收模块具有两个输出端口，分别与机器学习模块的机器诊断单元和数据库模块相连；所述机器诊断单元分别与人工诊断单元和深度学习单元相连，人工诊断单元与深度学习单元相连；所述机器诊断单元、人工诊断单元和深度学习单元均通过输出端口分别与结果报告模块和数据库模块相连，且与数据库模块的连接为双向连接；

所述视频接收模块对宫腹腔镜设备采集的图像进行采集，并将图像回传至机器学习模块和数据库模块，所述机器学习模块的机器诊断单元首先对图像进行预处理，然后提取图像特征，并调取数据库模块图像集P₀，对图像中病灶大小和位置进行评判，并将评判结果传送至人工诊断单元和深度学习单元；所述人工诊断单元首先判断机器诊断单元的评判结果是否合理，若合理，则直接给出诊断意见，若不合理，则修正评判结果后给出诊断意见，并将评判结果和诊断意见传送至深度学习单元；所述深度学习单元通过图像分类器将图像分类存储至数据库模块，在获取下一张图像时，重复进行图像采集、预处理、提取图像特征、结果评判、给出诊断意见以及图像分类存储步骤，并依据已存储的分类图像集对机器评判结果进行反复修正，逐步实现评判结果优化；

经过2m次训练后，所述图像分类器将图像分为两个特征图像集P₁{y₁ ⁽¹⁾，y₁ ⁽²⁾，···，y₁ ^(m)}，y₁ ⁽ⁱ⁾∈Rⁿ和P₂{y₂ ⁽¹⁾，y₂ ⁽²⁾，···，y₂ ^(m)}，y₂ ⁽ⁱ⁾∈Rⁿ，特征图像集P₁为机器评判结果合理的图像集，P₂为机器评判结果不合理的图像集，所述图像集P₁和P₂分别与图像语义信息集W₁{w₁ ⁽¹⁾，w₁ ⁽²⁾，···，w₁ ^(m)},w₁ ⁽ⁱ⁾∈Rⁿ和W₂{w₂ ⁽¹⁾，w₂ ⁽²⁾，···，w₂ ^(m)},w₂ ⁽ⁱ⁾∈Rⁿ对应，w₁ ⁽ⁱ⁾和w₂ ⁽ⁱ⁾为图片修正后的诊断结果语义信息；

经过2m次训练后，所述机器诊断单元将第2m+1张图像快速归类，并快速给出合理诊断结果；

其中，所述图像预处理方法为：首先，采用大小为n×n无标签图像作为输入图像，并从其中随机抽取一定量大小图像块构成l×l的无标签图像集{x⁽¹⁾，x⁽²⁾，···，x^(m)}，x⁽ⁱ⁾∈Rⁿ，采取正则化操作，增强图像对比度，正则化处理后的图像如式(1)所示：

其中，var为方差，mean为平均值，δ为常量，得到预处理后的图像集

所述图像特征提取过程包括以下步骤：

S21.将预处理后的图像集作为聚类数据，设定初始聚类中心为{μ₁，μ₂，μ₃，···，μ_k}，通过迭代方式不断修正聚类中心，直到准则函数收敛，准则函数如式(2)所示：

其中，c为类别，μ为聚类中心；

S22.计算图块i所属类别c⁽ⁱ⁾,对于每一个类j，通过式(3)和(4)重新计算其聚类中心：

S23.当准则函数值最小时，得到最优的聚类中心，输入图像大小为w×w的图像块

通过映射函数式(5)和(6)映射为一个新的特征表达式(7)：

其中，μ(z)为每一类样本到聚类中心距离和的平均值。

2.根据权利要求1所述的一种宫腹腔镜辅助诊断系统，其特征在于，所述数据库模块还包含有至少10万张宫腹腔内图像集P₀{x₀ ⁽¹⁾，x₀ ⁽²⁾，···，x₀ ^(N)}，N≥10万。

3.根据权利要求1所述的一种宫腹腔镜辅助诊断系统，其特征在于，所述结果报告模块，用于记录和显示所述机器诊断单元和人工诊断单元每一次的评判结果。

Images