CN117274270A - 基于人工智能的消化内镜实时辅助系统及方法 - Google Patents

Abstract

本申请公开了一种基于人工智能的消化内镜实时辅助系统及方法，涉及人工智能领域，其通过采用基于人工智能的图像处理和分析算法来对消化道内部图像进行图像分析，以此来判断消化道内部是否存在异常区域，从而提高诊断的准确性和效率，并降低医疗成本和风险。

Description

基于人工智能的消化内镜实时辅助系统及方法

技术领域

本申请涉及人工智能领域，具体涉及一种基于人工智能的消化内镜实时辅助系统及方法。

背景技术

消化内镜是一种常用的医疗器械，可以在不开刀的情况下观察和治疗消化道内的异常情况或病变。然而，消化内镜的操作需要高度的技术和经验，而且对图像的识别和分析也有较高的要求。

传统的消化内镜检查主要依靠医生的经验和直观判断来进行诊断。然而，由于消化道内部的异常情况多种多样且复杂性较高，医生的判断容易受到主观因素的影响，存在一定的主观性和误诊率。并且，消化内镜的操作需要高度的技术和经验，因此，传统的消化内镜检查需要经验丰富的医生进行操作和诊断，但这样的医生资源有限。随着人口老龄化和消化道疾病的增加，对消化内镜检查的需求也在增加，导致医生面临更大的工作压力。此外，消化内镜检查对图像的识别和分析也有较高的要求，传统的消化内镜检查需要医生逐一观察和分析消化道内的图像，这需要较长的时间。而且，医生在观察过程中可能会错过一些微小的异常情况，影响诊断的准确性。

因此，期望一种基于人工智能的消化内镜实时辅助系统。

发明内容

为了解决上述技术问题，提出了本申请。本申请提供了一种基于人工智能的消化内镜实时辅助系统及方法，其通过采用基于人工智能的图像处理和分析算法来对消化道内部图像进行图像分析，以此来判断消化道内部是否存在异常区域，从而提高诊断的准确性和效率，并降低医疗成本和风险。

根据本申请的一个方面，提供了一种基于人工智能的消化内镜实时辅助系统，其包括：

消化内镜；

设置于所述消化内镜上的图像采集装置，用于采集消化道内部的图像；

图像处理装置，用于对所述消化道内部的图像进行分析以识别所述消化道内部的异常情况；

显示装置，用于显示所述图像处理装置的识别和处理结果；

所述图像处理装置，包括：

消化道内部图像强化模块，用于对所述消化道内部图像进行双边滤波以得到源域强化消化道内部图像；

消化道内部图像特征提取模块，用于通过基于深度神经网络模型的图像多尺度特征提取器对所述源域强化消化道内部图像进行特征提取以得到消化道内部浅层特征图和消化道内部深层特征图；

消化道内部深层上下文语义特征关联分析模块，用于对所述消化道内部深层特征图进行沿通道维度的特征展平化分析以得到消化道内部上下文语义特征向量；

消化道内部浅层特征图展开模块，用于将所述消化道内部浅层特征图的沿通道维度的各个特征矩阵进行展开以得到消化道内部浅层局部特征向量的序列；

消化道内部特征嵌入化分析模块，用于对所述消化道内部上下文语义特征向量和所述消化道内部浅层局部特征向量的序列进行嵌入式关联编码以得到语义嵌入消化道内部多尺度特征；

异常区域检测模块，用于基于所述语义嵌入消化道内部多尺度特征，确定消化道内部是否存在异常区域。

根据本申请的另一个方面，提供了一种基于人工智能的消化内镜实时辅助方法，其包括：

对所述消化道内部图像进行双边滤波以得到源域强化消化道内部图像；

通过基于深度神经网络模型的图像多尺度特征提取器对所述源域强化消化道内部图像进行特征提取以得到消化道内部浅层特征图和消化道内部深层特征图；

对所述消化道内部深层特征图进行沿通道维度的特征展平化分析以得到消化道内部上下文语义特征向量；

将所述消化道内部浅层特征图的沿通道维度的各个特征矩阵进行展开以得到消化道内部浅层局部特征向量的序列；

对所述消化道内部上下文语义特征向量和所述消化道内部浅层局部特征向量的序列进行嵌入式关联编码以得到语义嵌入消化道内部多尺度特征；

基于所述语义嵌入消化道内部多尺度特征，确定消化道内部是否存在异常区域。

与现有技术相比，本申请提供的一种基于人工智能的消化内镜实时辅助系统及方法，其通过采用基于人工智能的图像处理和分析算法来对消化道内部图像进行图像分析，以此来判断消化道内部是否存在异常区域，从而提高诊断的准确性和效率，并降低医疗成本和风险。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1为根据本申请实施例的基于人工智能的消化内镜实时辅助系统的框图；

图2为根据本申请实施例的基于人工智能的消化内镜实时辅助系统的系统架构图；

图3为根据本申请实施例的基于人工智能的消化内镜实时辅助系统的训练阶段的框图；

图4为根据本申请实施例的基于人工智能的消化内镜实时辅助系统中图像处理装置的框图；

图5为根据本申请实施例的基于人工智能的消化内镜实时辅助系统中消化道内部深层上下文语义特征关联分析模块的框图；

图6为根据本申请实施例的基于人工智能的消化内镜实时辅助方法的流程图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。

虽然本申请对根据本申请的实施例的系统中的某些模块做出了各种引用，然而，任何数量的不同模块可以被使用并运行在用户终端和/或服务器上。所述模块仅是说明性的，并且所述系统和方法的不同方面可以使用不同模块。

本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，根据需要，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

针对上述技术问题，在本申请的技术方案中，提出了一种基于人工智能的消化内镜实时辅助系统，其包括消化内镜、图像采集装置、图像处理装置和显示装置。消化内镜用于在人体消化道内进行检查或治疗，图像采集装置用于获取消化内镜的图像信号，图像处理装置用于对图像信号进行人工智能分析，以识别消化道内的异常情况，如息肉、溃疡、炎症等，并给出相应的诊断或建议，显示装置用于显示图像信号和人工智能分析的结果。这样，能够在消化内镜检查或治疗过程中，实时地为医生提供消化道内部的图像信息和人工智能分析的结果，以辅助进行消化内镜检查或治疗，从而提高诊断的准确性和效率，降低医疗成本和风险。相应地，考虑到尽显消化内镜检查过程中，对于采集的消化道内部图像进行分析以进行消化道内的异常情况检测尤为重要，其是确保检测精度和诊断能力的关键。基于此，本申请的技术构思为，通过采用基于人工智能的图像处理和分析算法来对消化道内部图像进行图像分析，以此来判断消化道内部是否存在异常区域，从而提高诊断的准确性和效率，并降低医疗成本和风险。

在本申请的技术方案中，提出了一种基于人工智能的消化内镜实时辅助系统。图1为根据本申请实施例的基于人工智能的消化内镜实时辅助系统的框图。如图1所示，根据本申请的实施例的基于人工智能的消化内镜实时辅助系统300，包括：消化内镜310；设置于所述消化内镜上的图像采集装置320，用于采集消化道内部的图像；图像处理装置330，用于对所述消化道内部的图像进行分析以识别所述消化道内部的异常情况；显示装置340，用于显示所述图像处理装置的识别和处理结果。

特别地，所述消化内镜310。其中，消化内镜是一种医学检查和治疗工具，用于检查和治疗消化系统的疾病。它通过使用一种称为内镜的柔软、可弯曲的管状器械，将其插入患者的消化道内，以观察内部器官的情况，并进行病变的诊断和治疗。

特别地，所述设置于所述消化内镜上的图像采集装置320，用于采集消化道内部的图像。在一个示例中，消化内镜中的图像采集装置通常是指内镜的光学系统和图像传感器。

特别地，所述图像处理装置330，用于对所述消化道内部的图像进行分析以识别所述消化道内部的异常情况。特别地，在本申请的一个具体示例中，如图2和图4所示，所述图像处理装置330，包括：消化道内部图像强化模块331，用于对所述消化道内部图像进行双边滤波以得到源域强化消化道内部图像；消化道内部图像特征提取模块332，用于通过基于深度神经网络模型的图像多尺度特征提取器对所述源域强化消化道内部图像进行特征提取以得到消化道内部浅层特征图和消化道内部深层特征图；消化道内部深层上下文语义特征关联分析模块333，用于对所述消化道内部深层特征图进行沿通道维度的特征展平化分析以得到消化道内部上下文语义特征向量；消化道内部浅层特征图展开模块334，用于将所述消化道内部浅层特征图的沿通道维度的各个特征矩阵进行展开以得到消化道内部浅层局部特征向量的序列；消化道内部特征嵌入化分析模块335，用于对所述消化道内部上下文语义特征向量和所述消化道内部浅层局部特征向量的序列进行嵌入式关联编码以得到语义嵌入消化道内部多尺度特征；异常区域检测模块336，用于基于所述语义嵌入消化道内部多尺度特征，确定消化道内部是否存在异常区域。

具体地，所述消化道内部图像强化模块331，用于对所述消化道内部图像进行双边滤波以得到源域强化消化道内部图像。应可以理解，由于消化道内部图像在采集过程中可能受到多种因素的影响，如噪声、模糊、光照不均等，这些因素会降低图像的质量和可视化效果。而双边滤波是一种常用的图像滤波方法，它结合了空间域和灰度域的信息，能够在保持边缘信息的同时平滑图像。因此，在消化内镜图像处理中，双边滤波可以通过考虑像素之间的空间距离和灰度相似性来减少噪声，并保留图像中的细节和边缘信息。这样，能够降低图像中的噪声和干扰，增强消化道内部的结构和特征，使得后续的图像处理和分析更加准确和可靠。

相应的，在一种可能的实现方式中，可通过以下步骤对所述消化道内部图像进行双边滤波以得到源域强化消化道内部图像，例如：确定双边滤波所需的参数。双边滤波有两个关键参数：空间域标准差和灰度域标准差。空间域标准差控制了像素之间的空间距离权重，灰度域标准差控制了像素之间的灰度值相似性权重；根据需要，可以对图像进行预处理；对预处理后的图像应用双边滤波算法。对于每个像素点，计算其周围像素的空间距离和灰度值相似性权重，并根据权重进行加权平均。这样可以获得平滑后的图像，同时保留边缘信息；根据滤波后的图像，进行结果解释和判断。

具体地，所述消化道内部图像特征提取模块332，用于通过基于深度神经网络模型的图像多尺度特征提取器对所述源域强化消化道内部图像进行特征提取以得到消化道内部浅层特征图和消化道内部深层特征图。应可以理解，由于所述源域强化消化道内部图像中包含了丰富的消化道结构和纹理信息，这些信息在不同的尺度和层次上可能具有不同的表现形式。因此，为了从不同的尺度和层次上捕捉消化道内部图像的特征信息，在本申请的技术方案中，将所述源域强化消化道内部图像通过基于金字塔网络的图像多尺度特征提取器以得到消化道内部浅层特征图和消化道内部深层特征图。特别地，这里，通过所述基于金字塔网络的图像多尺度特征提取器来进行图像处理，能够在不同的层次上捕捉到图像中有关于消化道内部的特征信息，从而获取消化道内部的多尺度特征表示。具体地，所述消化道内部浅层特征图主要捕捉图像的局部细节和纹理信息，可以帮助识别消化道内部的微小结构和异常区域。而所述消化道内部深层特征图则更加关注图像的全局结构和语义信息，能够提取出更高层次的特征表示，有助于对消化道内部整体情况的理解和分析。

值得注意的是，金字塔网络（Pyramid Network）是一种深度神经网络结构，用于处理多尺度的视觉信息。它通过构建多个尺度的特征金字塔，从而在不同层次上对输入数据进行分析和提取特征。金字塔网络的基本思想是利用不同尺度的特征来捕捉输入数据中的细节和上下文信息。通常，金字塔网络由多个分支组成，每个分支处理不同尺度的输入数据。每个分支可以使用不同的网络层或卷积核大小来处理输入数据。金字塔网络的主要优势在于它能够同时处理多个尺度的信息，从而提高了对多尺度物体或特征的检测和识别能力。通过在不同层次上提取特征，金字塔网络可以捕捉到不同尺度下的细节和上下文信息，从而更好地理解输入数据。金字塔网络在计算机视觉领域有广泛的应用，特别是在目标检测和图像分割任务中。在目标检测中，金字塔网络可以通过在不同尺度上搜索和定位目标，从而提高检测的准确性和鲁棒性。

具体地，所述消化道内部深层上下文语义特征关联分析模块333，用于对所述消化道内部深层特征图进行沿通道维度的特征展平化分析以得到消化道内部上下文语义特征向量。特别地，在本申请的一个具体示例中，如图5所示，所述消化道内部深层上下文语义特征关联分析模块333，包括：特征展平化处理单元3331，用于将所述消化道内部深层特征图的沿通道维度的各个特征矩阵进行特征展平化以得到消化道内部语义特征向量的序列；消化道内部语义上下文编码单元3332，用于将所述消化道内部语义特征向量的序列通过基于转换器的上下文编码器以得到所述消化道内部上下文语义特征向量。

更具体地，所述特征展平化处理单元3331，用于将所述消化道内部深层特征图的沿通道维度的各个特征矩阵进行特征展平化以得到消化道内部语义特征向量的序列。考虑到消化道内部的各个深层语义特征之间具有着关联关系，其能够共同表现出有关于消化道内部的异常情况，因此，为了能够更好地进行消化道内部的异常情况检测，需要将所述消化道内部深层特征图的沿通道维度的各个特征矩阵进行特征展平化以得到消化道内部语义特征向量的序列。

更具体地，所述消化道内部语义上下文编码单元3332，用于将所述消化道内部语义特征向量的序列通过基于转换器的上下文编码器以得到所述消化道内部上下文语义特征向量。也就是，在本申请的技术方案中，将所述消化道内部语义特征向量的序列通过基于转换器的上下文编码器中进行编码，以此来提取出所述消化道内部的各个深层语义特征之间基于全局的上下文语义关联特征信息，从而得到消化道内部上下文语义特征向量。具体地，将所述消化道内部语义特征向量的序列通过基于转换器的上下文编码器以得到所述消化道内部上下文语义特征向量，包括：将所述消化道内部语义特征向量的序列进行一维排列以得到全局消化道内部语义特征特征向量；计算所述全局消化道内部语义特征特征向量与所述消化道内部语义特征向量的序列中各个消化道内部语义特征向量的转置向量之间的乘积以得到多个自注意力关联矩阵；分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵；将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过Softmax分类函数以得到多个概率值；分别以所述多个概率值中各个概率值作为权重对所述消化道内部语义特征向量的序列中各个消化道内部语义特征向量进行加权以得到所述多个上下文语义消化道内部语义特征向量；以及，将所述多个上下文语义消化道内部语义特征向量进行级联以得到所述消化道内部上下文语义特征向量。

值得一提的是，在本申请的其他具体示例中，还可以通过其他方式对所述消化道内部深层特征图进行沿通道维度的特征展平化分析以得到消化道内部上下文语义特征向量，例如：使用适当的深度学习模型，例如卷积神经网络，对消化道内部图像进行特征提取。这将生成一组深层特征图，其中每个特征图对应于网络的不同层次或通道；对每个深层特征图，沿通道维度进行展平操作。这可以将每个特征图转换为一个一维向量，其中每个元素对应于特征图中的一个通道；将展平后的特征图向量按照一定的顺序进行合并；对合并后的特征向量进行进一步处理，以提取消化道内部的上下文语义特征；根据提取的上下文语义特征向量，进行结果解释和应用。

具体地，所述消化道内部浅层特征图展开模块334，用于将所述消化道内部浅层特征图的沿通道维度的各个特征矩阵进行展开以得到消化道内部浅层局部特征向量的序列。应可以理解，由于所述消化道内部浅层特征图主要捕捉的是消化道内部图像的局部细节和纹理信息，因此，为了提取和表示消化道内部的局部细节特征，在本申请的技术方案中，进一步将所述消化道内部浅层特征图的沿通道维度的各个特征矩阵进行展开以得到消化道内部浅层局部特征向量的序列。通过将各个特征矩阵展开为特征向量序列，可以将每个特征矩阵中的局部特征表示为一个向量。这样的局部特征向量序列能够更好地描述消化道内部的局部结构和细节信息。

具体地，所述消化道内部特征嵌入化分析模块335，用于对所述消化道内部上下文语义特征向量和所述消化道内部浅层局部特征向量的序列进行嵌入式关联编码以得到语义嵌入消化道内部多尺度特征。考虑到所述消化道内部浅层局部特征向量的序列和所述消化道内部上下文语义特征向量分别表达所述消化道内部的浅层局部细节特征和深层上下文语义特征，为了能够有效地综合这两者的语义特征来更为准确地进行所述消化道内部的异常检测，在本申请的技术方案中，进一步将所述消化道内部浅层局部特征向量的序列和所述消化道内部上下文语义特征向量通过特征嵌入模块以得到语义嵌入消化道内部多尺度特征向量。应可以理解，所述特征嵌入模块的作用是将所述消化道内部的不同尺度和层次的特征进行融合和整合，以提取更丰富和全面的特征表示。因此，通过所述特征嵌入模块的处理，可以将消化道内部的浅层局部特征和上下文语义特征进行嵌入式结合，得到更全面、更具语义意义的多尺度特征表示。更具体地，将所述消化道内部浅层局部特征向量的序列和所述消化道内部上下文语义特征向量通过特征嵌入模块以得到语义嵌入消化道内部多尺度特征向量，作为所述语义嵌入消化道内部多尺度特征，包括：将所述消化道内部上下文语义特征向量通过基于全卷积神经网络模型的消化道内部特征提取器以得到消化道内部全卷积上下文语义特征向量；将所述消化道内部浅层局部特征向量的序列排列为消化道内部浅层全局特征向量；融合对所述消化道内部全卷积上下文语义特征向量和所述消化道内部浅层全局特征向量以得到消化道-内部浅层融合特征向量；对所述消化道内部浅层局部特征向量的序列进行语义关联编码以得到消化道内部浅层全局语义关联特征向量；融合所述消化道-内部浅层融合特征向量和所述消化道内部浅层全局语义关联特征向量以得到所述语义嵌入消化道内部多尺度特征向量。

具体地，所述异常区域检测模块336，用于基于所述语义嵌入消化道内部多尺度特征，确定消化道内部是否存在异常区域。特别地，在本申请的一个具体示例中，将所述语义嵌入消化道内部多尺度特征向量通过分类器以得到分类结果，所述分类结果用于表示消化道内部是否存在异常区域。也就是，利用所述消化道内部深层语义特征嵌入浅层局部细节特征的嵌入式融合特征信息来进行分类处理，以此来判断消化道内部是否存在异常区域，从而提高诊断的准确性和效率，并降低医疗成本和风险。更具体地，使用所述分类器的多个全连接层对所述语义嵌入消化道内部多尺度特征向量进行全连接编码以得到编码分类特征向量；以及，将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。

分类器是指一种机器学习模型或算法，用于将输入数据分为不同的类别或标签。分类器是监督学习的一部分，它通过学习从输入数据到输出类别的映射关系来进行分类任务。

全连接层是神经网络中常见的一种层类型。在全连接层中，每个神经元都与上一层的所有神经元相连接，每个连接都有一个权重。这意味着全连接层中的每个神经元都接收来自上一层所有神经元的输入，并通过权重对这些输入进行加权求和，然后将结果传递给下一层。

Softmax分类函数是一种常用的激活函数，用于多分类问题。它将输入向量的每个元素转化为一个介于0和1之间的概率值，并且这些概率值的和等于1。Softmax函数常用于神经网络的输出层，特别适用于多分类问题，因为它能够将网络输出映射为各个类别的概率分布。在训练过程中，Softmax函数的输出可以用于计算损失函数，并通过反向传播算法来更新网络参数。值得注意的是，Softmax函数的输出并不会改变元素之间的相对大小关系，只是对其进行了归一化处理。因此，Softmax函数并不改变输入向量的特性，只是将其转化为概率分布形式。

特别地，所述显示装置340，用于显示所述图像处理装置的识别和处理结果。在一个示例中，根据分类结果，来判断消化道内部是否存在异常区域，从而提高诊断的准确性和效率，并降低医疗成本和风险。

应可以理解，在利用上述神经网络模型进行推断之前，需要对所述基于深度神经网络模型的图像多尺度特征提取器、所述基于转换器的上下文编码器、所述特征嵌入模块和所述分类器进行训练。也就是说，根据本申请的基于人工智能的消化内镜实时辅助系统300，还包括训练阶段400，用于对所述基于深度神经网络模型的图像多尺度特征提取器、所述基于转换器的上下文编码器、所述特征嵌入模块和所述分类器进行训练。

图3为根据本申请实施例的基于人工智能的消化内镜实时辅助系统的训练阶段的框图。如图3所示，根据本申请实施例的基于人工智能的消化内镜实时辅助系统300，包括：训练阶段400，包括：训练数据获取单元410，用于获取训练数据，所述训练数据包括训练消化道内部图像；训练图像强化单元420，用于对所述训练消化道内部图像进行双边滤波以得到训练源域强化消化道内部图像；训练图像特征提取单元430，用于通过基于金字塔网络模型的图像多尺度特征提取器对所述训练源域强化消化道内部图像进行特征提取以得到训练消化道内部浅层特征图和训练消化道内部深层特征图；训练深层上下文语义特征关联分析单元440，用于对所述训练消化道内部深层特征图进行沿通道维度的特征展平化分析以得到训练消化道内部上下文语义特征向量；训练浅层特征图展开单元450，用于将所述训练消化道内部浅层特征图的沿通道维度的各个特征矩阵进行展开以得到训练消化道内部浅层局部特征向量的序列；训练特征嵌入化分析单元460，用于对所述训练消化道内部上下文语义特征向量和所述训练消化道内部浅层局部特征向量的序列进行嵌入式关联编码以得到训练语义嵌入消化道内部多尺度特征向量；特征优化单元470，用于对所述训练语义嵌入消化道内部多尺度特征向量进行逐位置优化以得到优化训练语义嵌入消化道内部多尺度特征向量；分类损失单元480，用于将所述优化训练语义嵌入消化道内部多尺度特征向量通过所述分类器以得到分类损失函数值；以及，训练单元490，用于基于所述分类损失函数值对所述基于深度神经网络模型的图像多尺度特征提取器、所述基于转换器的上下文编码器、所述特征嵌入模块和所述分类器进行训练。

其中，所述分类损失单元，用于：使用所述分类器对所述优化训练语义嵌入消化道内部多尺度特征向量进行处理以得到训练分类结果:以及，计算所述训练分类结果与所述消化道内部是否存在异常区域的真实值之间的交叉熵损失函数值作为所述分类损失函数值。

特别地，在本申请的技术方案中，所述消化道内部浅层特征图和所述消化道内部深层特征图分别表达所述源域强化消化道内部图像的基于金字塔网络的不同尺度的浅层图像语义特征和深层图像语义特征，由此，所述消化道内部浅层局部特征向量的序列和所述消化道内部上下文语义特征向量可以基于各自特征表示的通道上下文关联，来获得所述源域强化消化道内部图像的跨尺度和跨深度的通道上下文关联图像语义特征，这样，将所述消化道内部浅层局部特征向量的序列和所述消化道内部上下文语义特征向量通过特征嵌入模块，所述语义嵌入消化道内部多尺度特征向量就在图像语义特征通道上下文关联分布上具有了跨尺度和跨深度的特征表达。但是，考虑到图像语义特征的跨尺度和跨深度特征分布差异会给所述语义嵌入消化道内部多尺度特征向量的整体特征表示带来局部特征分布稀疏化，即相对于整体高维特征流形的分布外稀疏化子流形，这会使得在将所述语义嵌入消化道内部多尺度特征向量通过分类器进行类概率回归映射时，所述语义嵌入消化道内部多尺度特征向量到概率空间内的预定类概率类别表示的收敛性差，影响分类结果的准确性。因此，优选地，对所述语义嵌入消化道内部多尺度特征向量进行逐位置优化，具体为：

；

其中是所述语义嵌入消化道内部多尺度特征向量/>的第/>个位置的特征值，表示向量的指数运算，/>是所述优化语义嵌入消化道内部多尺度特征向量。也就是，通过基于重概率的正则化来处理高维特征空间内的稀疏分布，以激活所述语义嵌入消化道内部多尺度特征向量/>在高维特征空间内的几何流形到概率空间的自然分布转移，从而通过对所述语义嵌入消化道内部多尺度特征向量/>的高维特征流形的分布稀疏子流形进行基于重概率化的平滑正则的方式，提高具有高空间稀疏性的复杂高维特征流形在预定类概率下的类别收敛性，从而提升所述语义嵌入消化道内部多尺度特征向量/>通过分类器得到的分类结果的准确性。这样，能够在消化内镜检查或治疗过程中，实时地为医生提供消化道内部的图像信息和人工智能分析的结果，以辅助进行消化内镜检查或治疗，从而提高诊断的准确性和效率，降低医疗成本和风险。

如上所述，根据本申请实施例的基于人工智能的消化内镜实时辅助系统300可以实现在各种无线终端中，例如具有基于人工智能的消化内镜实时辅助算法的服务器等。在一种可能的实现方式中，根据本申请实施例的基于人工智能的消化内镜实时辅助系统300可以作为一个软件模块和/或硬件模块而集成到无线终端中。例如，该基于人工智能的消化内镜实时辅助系统300可以是该无线终端的操作系统中的一个软件模块，或者可以是针对于该无线终端所开发的一个应用程序；当然，该基于人工智能的消化内镜实时辅助系统300同样可以是该无线终端的众多硬件模块之一。

替换地，在另一示例中，该基于人工智能的消化内镜实时辅助系统300与该无线终端也可以是分立的设备，并且该基于人工智能的消化内镜实时辅助系统300可以通过有线和/或无线网络连接到该无线终端，并且按照约定的数据格式来传输交互信息。

进一步地，还提供一种基于人工智能的消化内镜实时辅助方法。

图6为根据本申请实施例的基于人工智能的消化内镜实时辅助方法的流程图。如图6所示，根据本申请实施例的基于人工智能的消化内镜实时辅助方法，包括步骤：S1，对所述消化道内部图像进行双边滤波以得到源域强化消化道内部图像；S2，通过基于深度神经网络模型的图像多尺度特征提取器对所述源域强化消化道内部图像进行特征提取以得到消化道内部浅层特征图和消化道内部深层特征图；S3，对所述消化道内部深层特征图进行沿通道维度的特征展平化分析以得到消化道内部上下文语义特征向量；S4，将所述消化道内部浅层特征图的沿通道维度的各个特征矩阵进行展开以得到消化道内部浅层局部特征向量的序列；S5，对所述消化道内部上下文语义特征向量和所述消化道内部浅层局部特征向量的序列进行嵌入式关联编码以得到语义嵌入消化道内部多尺度特征；S6，基于所述语义嵌入消化道内部多尺度特征，确定消化道内部是否存在异常区域。

综上，根据本申请实施例的基于人工智能的消化内镜实时辅助方法被阐明，其通过采用基于人工智能的图像处理和分析算法来对消化道内部图像进行图像分析，以此来判断消化道内部是否存在异常区域，从而提高诊断的准确性和效率，并降低医疗成本和风险。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (9)

1.一种基于人工智能的消化内镜实时辅助系统，其特征在于，包括：

消化内镜；

设置于所述消化内镜上的图像采集装置，用于采集消化道内部的图像；

图像处理装置，用于对所述消化道内部的图像进行分析以识别所述消化道内部的异常情况；

显示装置，用于显示所述图像处理装置的识别和处理结果；

所述图像处理装置，包括：

消化道内部图像强化模块，用于对所述消化道内部图像进行双边滤波以得到源域强化消化道内部图像；

消化道内部图像特征提取模块，用于通过基于深度神经网络模型的图像多尺度特征提取器对所述源域强化消化道内部图像进行特征提取以得到消化道内部浅层特征图和消化道内部深层特征图；

消化道内部深层上下文语义特征关联分析模块，用于对所述消化道内部深层特征图进行沿通道维度的特征展平化分析以得到消化道内部上下文语义特征向量；

消化道内部浅层特征图展开模块，用于将所述消化道内部浅层特征图的沿通道维度的各个特征矩阵进行展开以得到消化道内部浅层局部特征向量的序列；

消化道内部特征嵌入化分析模块，用于对所述消化道内部上下文语义特征向量和所述消化道内部浅层局部特征向量的序列进行嵌入式关联编码以得到语义嵌入消化道内部多尺度特征；

异常区域检测模块，用于基于所述语义嵌入消化道内部多尺度特征，确定消化道内部是否存在异常区域。

2.根据权利要求1所述的基于人工智能的消化内镜实时辅助系统，其特征在于，所述深度神经网络模型为金字塔网络。

3.根据权利要求2所述的基于人工智能的消化内镜实时辅助系统，其特征在于，所述消化道内部深层上下文语义特征关联分析模块，包括：

特征展平化处理单元，用于将所述消化道内部深层特征图的沿通道维度的各个特征矩阵进行特征展平化以得到消化道内部语义特征向量的序列；

消化道内部语义上下文编码单元，用于将所述消化道内部语义特征向量的序列通过基于转换器的上下文编码器以得到所述消化道内部上下文语义特征向量。

4.根据权利要求3所述的基于人工智能的消化内镜实时辅助系统，其特征在于，所述消化道内部特征嵌入化分析模块，用于：将所述消化道内部浅层局部特征向量的序列和所述消化道内部上下文语义特征向量通过特征嵌入模块以得到语义嵌入消化道内部多尺度特征向量作为所述语义嵌入消化道内部多尺度特征。

5.根据权利要求4所述的基于人工智能的消化内镜实时辅助系统，其特征在于，所述异常区域检测模块，用于：将所述语义嵌入消化道内部多尺度特征向量通过分类器以得到分类结果，所述分类结果用于表示消化道内部是否存在异常区域。

6.根据权利要求5所述的基于人工智能的消化内镜实时辅助系统，其特征在于，还包括用于对所述基于深度神经网络模型的图像多尺度特征提取器、所述基于转换器的上下文编码器、所述特征嵌入模块和所述分类器进行训练的训练模块。

7.根据权利要求6所述的基于人工智能的消化内镜实时辅助系统，其特征在于，所述训练模块，包括：

训练数据获取单元，用于获取训练数据，所述训练数据包括训练消化道内部图像；

训练图像强化单元，用于对所述训练消化道内部图像进行双边滤波以得到训练源域强化消化道内部图像；

训练图像特征提取单元，用于通过基于金字塔网络模型的图像多尺度特征提取器对所述训练源域强化消化道内部图像进行特征提取以得到训练消化道内部浅层特征图和训练消化道内部深层特征图；

训练深层上下文语义特征关联分析单元，用于对所述训练消化道内部深层特征图进行沿通道维度的特征展平化分析以得到训练消化道内部上下文语义特征向量；

训练浅层特征图展开单元，用于将所述训练消化道内部浅层特征图的沿通道维度的各个特征矩阵进行展开以得到训练消化道内部浅层局部特征向量的序列；

训练特征嵌入化分析单元，用于对所述训练消化道内部上下文语义特征向量和所述训练消化道内部浅层局部特征向量的序列进行嵌入式关联编码以得到训练语义嵌入消化道内部多尺度特征向量；

特征优化单元，用于对所述训练语义嵌入消化道内部多尺度特征向量进行逐位置优化以得到优化训练语义嵌入消化道内部多尺度特征向量；

分类损失单元，用于将所述优化训练语义嵌入消化道内部多尺度特征向量通过所述分类器以得到分类损失函数值；

训练单元，用于基于所述分类损失函数值对所述基于深度神经网络模型的图像多尺度特征提取器、所述基于转换器的上下文编码器、所述特征嵌入模块和所述分类器进行训练。

8.根据权利要求7所述的基于人工智能的消化内镜实时辅助系统，其特征在于，所述分类损失单元，用于：

使用所述分类器对所述优化训练语义嵌入消化道内部多尺度特征向进行处理以得到训练分类结果:

计算所述训练分类结果与所述消化道内部是否存在异常区域的真实值之间的交叉熵损失函数值作为所述分类损失函数值。

9.一种基于人工智能的消化内镜实时辅助方法，其特征在于，包括：

对消化道内部图像进行双边滤波以得到源域强化消化道内部图像；

通过基于深度神经网络模型的图像多尺度特征提取器对所述源域强化消化道内部图像进行特征提取以得到消化道内部浅层特征图和消化道内部深层特征图；

对所述消化道内部深层特征图进行沿通道维度的特征展平化分析以得到消化道内部上下文语义特征向量；

将所述消化道内部浅层特征图的沿通道维度的各个特征矩阵进行展开以得到消化道内部浅层局部特征向量的序列；

对所述消化道内部上下文语义特征向量和所述消化道内部浅层局部特征向量的序列进行嵌入式关联编码以得到语义嵌入消化道内部多尺度特征；

基于所述语义嵌入消化道内部多尺度特征，确定消化道内部是否存在异常区域。