CN117218127A - 超声内镜辅助监测系统及方法 - Google Patents

Abstract

本发明公开了一种超声内镜辅助监测系统及方法，涉及超声内镜领域，首先将获取的超声图像进行图像分块处理以得到超声图像块的序列，接着分别对所述超声图像块的序列进行多尺度特征分析以得到超声图像局部区域浅层特征图的序列和超声图像局部区域深层特征图的序列，然后分别对所述超声图像局部区域浅层特征图的序列和所述超声图像局部区域深层特征图的序列进行特征自强化关联编码和全局语义残差信息融合以得到超声图像语义融合特征，最后，基于所述超声图像语义融合特征，生成病变标记超声图像，这样可以有助于医生进行病变的检测和诊断。

Description

超声内镜辅助监测系统及方法

技术领域

本申请涉及超声内镜领域，且更为具体地，涉及一种超声内镜辅助监测系统及方法。

背景技术

超声内镜是一种结合了内镜和超声技术的医疗设备，可以在内镜的视野下对人体内部的器官和组织进行超声成像，广泛应用于消化道、胰腺和胆道等器官的检查和治疗，提高了对病变的诊断和治疗的效率和准确性。

然而，传统的超声内镜检测系统通常需要依赖医生的经验和技能来手动标记病变区域，这可能导致标记的主观性和不一致性，因为不同医生可能有不同的标记标准和判断。同时，手动标记病变区域需要医生花费大量的时间和精力，医生需要仔细观察超声图像，并使用标记工具手动绘制病变的边界。这使得病变标记过程变得耗时且劳动密集，影响医生的工作效率。此外，传统的超声内镜检测系统的手动标记过程通常是离线进行的，即在超声图像采集后才进行标记，这限制了实时性，因为医生无法立即获得病变标记的结果，从而可能延迟了诊断和治疗的决策。

因此，期望一种优化的超声内镜辅助监测系统。

发明内容

有鉴于此，本申请提出了一种超声内镜辅助监测系统及方法，其可以自动识别和分割病变器官、肿瘤等结构，并提供更精确的图像分析结果以生成病变标记超声图像，从而有助于医生进行病变的检测和诊断。

根据本申请的一方面，提供了一种超声内镜辅助监测系统，其包括：

超声图像采集模块，用于获取由部署于内镜上的超声探头采集的超声图像；

超声图像分块模块，用于将所述超声图像进行图像分块处理以得到超声图像块的序列；

超声图像多尺度特征分析模块，用于分别对所述超声图像块的序列进行多尺度特征分析以得到超声图像局部区域浅层特征图的序列和超声图像局部区域深层特征图的序列；

超声图像特征强化模块，用于分别对所述超声图像局部区域浅层特征图的序列和所述超声图像局部区域深层特征图的序列进行特征自强化关联编码以得到强化超声图像局部区域浅层特征图的序列和强化超声图像局部区域深层特征图的序列；

超声语义残差融合模块，用于对所述强化超声图像局部区域浅层特征图的序列和所述强化超声图像局部区域深层特征图的序列进行全局语义残差信息融合以得到超声图像语义融合特征；以及

病变标记模块，用于基于所述超声图像语义融合特征，生成病变标记超声图像。

进一步地，所述超声图像多尺度特征分析模块，用于：

将所述超声图像块的序列分别通过基于金字塔网络的超声图像局部特征提取器以得到所述超声图像局部区域浅层特征图的序列和所述超声图像局部区域深层特征图的序列。

进一步地，所述超声图像特征强化模块，用于：

将所述超声图像局部区域浅层特征图的序列和所述超声图像局部区域深层特征图的序列分别通过特征自相关关联强化模块以得到所述强化超声图像局部区域浅层特征图的序列和所述强化超声图像局部区域深层特征图的序列。

进一步地，所述超声语义残差融合模块，包括：

超声图像浅层特征聚合单元，用于将所述强化超声图像局部区域浅层特征图的序列沿通道维度进行聚合以得到全局超声图像浅层特征图；

超声图像深层特征聚合单元，用于将所述强化超声图像局部区域深层特征图的序列沿通道维度进行聚合以得到全局超声图像深层特征图；

超声图像深浅特征嵌入融合强化单元，用于使用残差信息增强融合模块融合所述全局超声图像浅层特征图和所述全局超声图像深层特征图以得到语义强化超声图像浅层特征图作为所述超声图像语义融合特征。

进一步地，所述病变标记模块，用于：

将所述语义强化超声图像浅层特征图通过基于解码器的病变标记图像生成器以得到病变标记超声图像。

进一步地，所述超声内镜辅助监测系统还包括用于对所述基于金字塔网络的超声图像局部特征提取器、所述特征自相关关联强化模块、所述残差信息增强融合模块和所述基于解码器的病变标记图像生成器进行训练的训练模块。

进一步地，所述训练模块，包括：

训练数据采集单元，用于获取训练数据，所述训练数据包括由部署于内镜上的超声探头采集的训练超声图像；

训练超声图像分块单元，用于将所述训练超声图像进行图像分块处理以得到训练超声图像块的序列；

训练超声图像多尺度特征分析单元，用于分别对所述训练超声图像块的序列进行多尺度特征分析以得到训练超声图像局部区域浅层特征图的序列和训练超声图像局部区域深层特征图的序列；

训练超声图像特征强化单元，用于分别对所述训练超声图像局部区域浅层特征图的序列和所述训练超声图像局部区域深层特征图的序列进行特征自强化关联编码以得到训练强化超声图像局部区域浅层特征图的序列和训练强化超声图像局部区域深层特征图的序列；

训练超声语义残差融合单元，用于将所述训练强化超声图像局部区域浅层特征图的序列沿通道维度进行聚合以得到训练全局超声图像浅层特征图，将所述训练强化超声图像局部区域深层特征图的序列沿通道维度进行聚合以得到训练全局超声图像深层特征图，并使用残差信息增强融合模块融合所述训练全局超声图像浅层特征图和所述训练全局超声图像深层特征图以得到训练语义强化超声图像浅层特征图；

训练优化单元，用于对所述训练语义强化超声图像浅层特征图进行优化以得到优化训练语义强化超声图像浅层特征图；

训练解码单元，用于将所述优化训练语义强化超声图像浅层特征图通过所述基于解码器的病变标记图像生成器以得到解码损失函数值；

损失训练单元，用于基于所述解码损失函数值对所述基于金字塔网络的超声图像局部特征提取器、所述特征自相关关联强化模块、所述残差信息增强融合模块和所述基于解码器的病变标记图像生成器进行训练。

根据本申请的另一方面，提供了一种超声内镜辅助监测方法，其包括：

获取由部署于内镜上的超声探头采集的超声图像；

将所述超声图像进行图像分块处理以得到超声图像块的序列；

分别对所述超声图像块的序列进行多尺度特征分析以得到超声图像局部区域浅层特征图的序列和超声图像局部区域深层特征图的序列；

分别对所述超声图像局部区域浅层特征图的序列和所述超声图像局部区域深层特征图的序列进行特征自强化关联编码以得到强化超声图像局部区域浅层特征图的序列和强化超声图像局部区域深层特征图的序列；

对所述强化超声图像局部区域浅层特征图的序列和所述强化超声图像局部区域深层特征图的序列进行全局语义残差信息融合以得到超声图像语义融合特征；以及

基于所述超声图像语义融合特征，生成病变标记超声图像。

进一步地，分别对所述超声图像块的序列进行多尺度特征分析以得到超声图像局部区域浅层特征图的序列和超声图像局部区域深层特征图的序列，包括：

将所述超声图像块的序列分别通过基于金字塔网络的超声图像局部特征提取器以得到所述超声图像局部区域浅层特征图的序列和所述超声图像局部区域深层特征图的序列。

进一步地，分别对所述超声图像局部区域浅层特征图的序列和所述超声图像局部区域深层特征图的序列进行特征自强化关联编码以得到强化超声图像局部区域浅层特征图的序列和强化超声图像局部区域深层特征图的序列，包括：

将所述超声图像局部区域浅层特征图的序列和所述超声图像局部区域深层特征图的序列分别通过特征自相关关联强化模块以得到所述强化超声图像局部区域浅层特征图的序列和所述强化超声图像局部区域深层特征图的序列。

本发明的有益效果：

本申请首先将获取的超声图像进行图像分块处理以得到超声图像块的序列，接着，分别对所述超声图像块的序列进行多尺度特征分析以得到超声图像局部区域浅层特征图的序列和超声图像局部区域深层特征图的序列，然后，分别对所述超声图像局部区域浅层特征图的序列和所述超声图像局部区域深层特征图的序列进行特征自强化关联编码和全局语义残差信息融合以得到超声图像语义融合特征，最后，基于所述超声图像语义融合特征，生成病变标记超声图像。这样，可以有助于医生进行病变的检测和诊断。

根据下面参考附图对示例性实施例的详细说明，本申请的其它特征及方面将变得清楚。

附图说明

包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本申请的示例性实施例、特征和方面，并且用于解释本申请的原理。

图1示出根据本申请的实施例的超声内镜辅助监测系统的框图。

图2示出根据本申请的实施例的超声内镜辅助监测系统中所述超声语义残差融合模块的框图。

图3示出根据本申请的实施例的超声内镜辅助监测方法的流程图。

图4示出根据本申请的实施例的超声内镜辅助监测方法的架构示意图。

图5示出根据本申请的实施例的超声内镜辅助监测系统的应用场景图。

具体实施方式

下面将结合附图对本申请实施例中的技术方案进行清楚、完整地描述，显而易见地，所描述的实施例仅仅是本申请的部分实施例，而不是全部的实施例。基于本申请实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，也属于本申请保护的范围。

如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。

以下将参考附图详细说明本申请的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

另外，为了更好的说明本申请，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本申请同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本申请的主旨。

针对上述技术问题，本申请的技术构思为通过在内镜上的超声探头来进行超声图像的实时监测采集，并在后端引入图像处理和分析算法来进行所述超声图像的分析，以此来自动辅助进行超声引导下的病变识别和标记，从而帮助医生准确定位和标记感兴趣的结构或病变区域。这样，能够自动识别和分割病变器官、肿瘤等结构，并提供更精确的图像分析结果以生成病变标记超声图像，从而有助于医生进行病变的检测和诊断。

图1示出根据本申请的实施例的超声内镜辅助监测系统的框图示意图。如图1所示，根据本申请实施例的超声内镜辅助监测系统100，包括：超声图像采集模块110，用于获取由部署于内镜上的超声探头采集的超声图像；超声图像分块模块120，用于将所述超声图像进行图像分块处理以得到超声图像块的序列；超声图像多尺度特征分析模块130，用于分别对所述超声图像块的序列进行多尺度特征分析以得到超声图像局部区域浅层特征图的序列和超声图像局部区域深层特征图的序列；超声图像特征强化模块140，用于分别对所述超声图像局部区域浅层特征图的序列和所述超声图像局部区域深层特征图的序列进行特征自强化关联编码以得到强化超声图像局部区域浅层特征图的序列和强化超声图像局部区域深层特征图的序列；超声语义残差融合模块150，用于对所述强化超声图像局部区域浅层特征图的序列和所述强化超声图像局部区域深层特征图的序列进行全局语义残差信息融合以得到超声图像语义融合特征；以及，病变标记模块160，用于基于所述超声图像语义融合特征，生成病变标记超声图像。

具体地，在本申请的技术方案中，首先，获取由部署于内镜上的超声探头采集的超声图像。应可以理解，所述超声探头是连接到内镜的部件，用于发射和接收超声波信号，它可以通过内窥镜的光学通道将超声波传输到目标区域，并接收反射回来的信号，生成超声图像。

接着，考虑到所述超声图像的分辨率较高，处理整个图像可能会导致计算复杂度过高，并且还考虑到超声图像中的不同区域可能具有不同的特征和结构。因此，在本申请的技术方案中，为了能够更为充分和准确地对超声图像进行分析以生成更精准的病变标记图像，需要进一步将所述超声图像进行图像分块处理以得到超声图像块的序列。应可以理解，通过将所述超声图像进行分块处理，可以将计算任务分解为多个小任务，从而降低了计算复杂度，并且，在图像分块后，还可以更集中地分析每个小块的局部特征，从而提高特征提取的准确性和效果。

然后，由于所述超声图像中的不同区域具有不同的特征和结构，为了获取超声图像中更丰富和多层次的特征表示，在本申请的技术方案中，进一步将所述超声图像块的序列分别通过基于金字塔网络的超声图像局部特征提取器以得到超声图像局部区域浅层特征图的序列和超声图像局部区域深层特征图的序列。通过使用金字塔网络，可以在不同的尺度上对所述超声图像进行特征提取。特别地，所述超声图像局部区域浅层特征图包含了人体内部器官和组织中更细节和局部的特征信息，而所述超声图像局部区域深层特征图则包含了人体内部的器官和组织中更为抽象和全局的特征信息。这样，通过获得所述超声图像的多层次的特征表示，可以更全面地描述该超声图像中的结构和病变特征。这些特征可以用于后续的特征融合、分析和病变标记过程，从而提高病变的检测和诊断准确性。

相应地，所述超声图像多尺度特征分析模块130，用于：将所述超声图像块的序列分别通过基于金字塔网络的超声图像局部特征提取器以得到所述超声图像局部区域浅层特征图的序列和所述超声图像局部区域深层特征图的序列。

值得一提的是，金字塔网络（Pyramid Network）是一种深度学习网络结构，主要用于处理多尺度信息。它的设计灵感来自于金字塔的形状，其中较底层的层级包含更多的细节，而较高层级则包含更广阔的上下文信息。金字塔网络通常由多个分支组成，每个分支处理不同尺度的输入数据。输入数据在每个分支中通过不同的卷积层或池化层进行处理，以捕捉不同尺度的特征。然后，这些分支的输出被合并或级联在一起，形成一个多尺度的特征表示。在超声图像分析中，金字塔网络可以用于提取超声图像的局部特征。通过将超声图像块的序列输入金字塔网络的不同分支，可以获得不同尺度的局部特征图序列。较浅层的特征图可以捕捉细节信息，而较深层的特征图则可以提供更广阔的上下文信息。这样，通过金字塔网络的多尺度特征分析模块，可以有效地提取超声图像的多尺度特征，以支持后续的任务，如目标检测、分割或分类等。

进一步地，为了增强特征之间的相关性和表达能力，进一步将所述超声图像局部区域浅层特征图的序列和所述超声图像局部区域深层特征图的序列分别通过特征自相关关联强化模块以得到强化超声图像局部区域浅层特征图的序列和强化超声图像局部区域深层特征图的序列。应可以理解，特征自相关关联强化模块是一种用于提高特征表示能力的技术，它通过对特征图中的每个位置进行自相关计算，将每个位置的特征与其周围位置的特征进行关联。这样可以捕捉到特征之间的空间相关性和上下文信息。在超声图像分析中，特征自相关关联强化模块可以帮助提取更丰富的特征表示，从而增强对病变区域的检测和识别能力。通过对浅层特征图和深层特征图进行自相关关联，可以获得更具区分度和表达能力的特征图序列。值得一提的是，强化的特征图序列可以提供更准确和具有区分度的特征表示，有助于准确定位和标记感兴趣的病变区域。

相应地，所述超声图像特征强化模块140，用于：将所述超声图像局部区域浅层特征图的序列和所述超声图像局部区域深层特征图的序列分别通过特征自相关关联强化模块以得到所述强化超声图像局部区域浅层特征图的序列和所述强化超声图像局部区域深层特征图的序列。

值得一提的是，特征自相关关联强化模块（Feature Self-CorrelationEnhancement Module）是一种用于增强特征表示的模块，通常应用于深度学习网络中。该模块的主要目的是通过对特征图进行自相关操作，增强特征之间的相关性，以提高特征的表达能力和判别性。自相关操作可以理解为对特征图中的每个位置进行相似性比较，以捕捉特征之间的空间关系和上下文信息。在超声图像特征强化模块中，浅层特征图序列和深层特征图序列分别通过特征自相关关联强化模块进行处理。具体来说，该模块可以计算每个位置的特征与其周围位置的相关性，并将相关性信息融合到特征图中。这样一来，特征图中的每个位置都能够受到相邻位置的特征信息的影响，从而提高特征的表达能力和判别性。特征自相关关联强化模块的应用可以带来以下好处：1.增强特征的局部一致性：通过自相关操作，特征图中相邻位置的相关性被增强，使得特征更加一致，有助于捕捉局部结构和纹理信息。2.提高特征的上下文感知能力：自相关操作可以捕捉特征之间的上下文关系，使得特征能够更好地理解整体图像语义和全局结构。3.增强特征的判别性：通过增强特征之间的相关性，特征图能够更好地区分不同类别之间的差异，提高分类、分割或检测等任务的性能。总之，特征自相关关联强化模块通过增强特征之间的相关性，可以提高特征的表达能力和判别性，从而改善超声图像的特征表示，为后续的任务提供更准确和可靠的特征输入。

然后，再将所述强化超声图像局部区域浅层特征图的序列沿通道维度进行聚合，以此来将所述超声图像的各个局部区域浅层特征进行聚合为全局超声图像浅层特征图；并且，将所述强化超声图像局部区域深层特征图的序列沿通道维度进行聚合以得到全局超声图像深层特征图。

继而，考虑到由于所述全局超声图像浅层特征图和所述全局超声图像深层特征图分别捕捉到了超声图像中的不同层级的特征信息。通过融合这两个层次的特征，可以综合利用它们的优势，提高特征的表达能力和判别性，这有助于生成更加准确和语义丰富的病变标记超声图像。基于此，在本申请的技术方案中，进一步使用残差信息增强融合模块融合所述全局超声图像浅层特征图和所述全局超声图像深层特征图以得到语义强化超声图像浅层特征图。应可以理解，残差连接是一种跳跃连接的方式，这种连接方式可以使网络更容易学习到所述全局超声图像浅层特征图和所述全局超声图像深层特征图中的残差特征信息，即两个特征图之间的差异。通过残差连接，可以利用所述全局超声图像深层特征图对所述全局超声图像浅层特征图进行语义掩码强化，以增强所述全局超声图像浅层特征图的语义表示能力，使所述全局超声图像浅层特征图更加关注和强调与超声图像中的病变区域结构或组织相关的掩码强化浅层语义特征信息，提高模型对人体内部的病变器官和组织的识别和标记能力。

相应地，如图2所示，所述超声语义残差融合模块150，包括：超声图像浅层特征聚合单元151，用于将所述强化超声图像局部区域浅层特征图的序列沿通道维度进行聚合以得到全局超声图像浅层特征图；超声图像深层特征聚合单元152，用于将所述强化超声图像局部区域深层特征图的序列沿通道维度进行聚合以得到全局超声图像深层特征图；以及，超声图像深浅特征嵌入融合强化单元153，用于使用残差信息增强融合模块融合所述全局超声图像浅层特征图和所述全局超声图像深层特征图以得到语义强化超声图像浅层特征图作为所述超声图像语义融合特征。

进而，再将所述语义强化超声图像浅层特征图通过基于解码器的病变标记图像生成器以得到病变标记超声图像。也就是说，通过利用经过人体内部的超声图像深层特征语义强化后的浅层特征信息来进行解码，从而生成病变标记超声图像。这样，能够自动辅助进行超声引导下的病变识别和标记，从而帮助医生准确定位和标记感兴趣的结构或病变区域。相应地，所述病变标记模块160，用于：将所述语义强化超声图像浅层特征图通过基于解码器的病变标记图像生成器以得到病变标记超声图像。

进一步地，在本申请的技术方案中，所述的超声内镜辅助监测系统，其还包括用于对所述基于金字塔网络的超声图像局部特征提取器、所述特征自相关关联强化模块、所述残差信息增强融合模块和所述基于解码器的病变标记图像生成器进行训练的训练模块。应可以理解，训练模块在超声内镜辅助监测系统中起着关键作用。它用于对系统中的各个组件进行训练，以使它们能够有效地完成任务并提供准确的结果。具体来说，训练模块的作用如下：1.训练基于金字塔网络的超声图像局部特征提取器：超声图像局部特征提取器是用于提取超声图像的局部特征的关键组件。训练模块通过使用标注的训练数据，对特征提取器进行训练，使其能够从输入的超声图像中准确地提取出有用的特征。2.训练特征自相关关联强化模块：特征自相关关联强化模块用于增强特征表示，提高特征的表达能力和判别性。训练模块通过使用标注的训练数据，对该模块进行训练，使其能够准确地进行特征自相关操作，并将相关性信息融合到特征图中。3.训练残差信息增强融合模块：残差信息增强融合模块用于将不同层级的特征进行融合，以提高特征的多样性和丰富性。训练模块通过使用标注的训练数据，对该模块进行训练，使其能够准确地学习特征的融合方式，并提供更好的特征表示。4.训练基于解码器的病变标记图像生成器：基于解码器的病变标记图像生成器用于生成病变标记的图像，帮助医生进行病变检测和分析。训练模块通过使用标注的训练数据，对该生成器进行训练，使其能够准确地生成与输入超声图像对应的病变标记图像。通过训练模块的训练，系统中的各个组件可以学习到适合任务的特征表示和处理方式，提高系统在超声图像处理和病变检测方面的性能和准确性。

其中，在一个示例中，所述训练模块，包括：训练数据采集单元，用于获取训练数据，所述训练数据包括由部署于内镜上的超声探头采集的训练超声图像；训练超声图像分块单元，用于将所述训练超声图像进行图像分块处理以得到训练超声图像块的序列；训练超声图像多尺度特征分析单元，用于分别对所述训练超声图像块的序列进行多尺度特征分析以得到训练超声图像局部区域浅层特征图的序列和训练超声图像局部区域深层特征图的序列；训练超声图像特征强化单元，用于分别对所述训练超声图像局部区域浅层特征图的序列和所述训练超声图像局部区域深层特征图的序列进行特征自强化关联编码以得到训练强化超声图像局部区域浅层特征图的序列和训练强化超声图像局部区域深层特征图的序列；训练超声语义残差融合单元，用于将所述训练强化超声图像局部区域浅层特征图的序列沿通道维度进行聚合以得到训练全局超声图像浅层特征图，将所述训练强化超声图像局部区域深层特征图的序列沿通道维度进行聚合以得到训练全局超声图像深层特征图，并使用残差信息增强融合模块融合所述训练全局超声图像浅层特征图和所述训练全局超声图像深层特征图以得到训练语义强化超声图像浅层特征图；训练优化单元，用于对所述训练语义强化超声图像浅层特征图进行优化以得到优化训练语义强化超声图像浅层特征图；训练解码单元，用于将所述优化训练语义强化超声图像浅层特征图通过所述基于解码器的病变标记图像生成器以得到解码损失函数值；以及，损失训练单元，用于基于所述解码损失函数值对所述基于金字塔网络的超声图像局部特征提取器、所述特征自相关关联强化模块、所述残差信息增强融合模块和所述基于解码器的病变标记图像生成器进行训练。

特别地，在本申请的技术方案中，在使用残差信息增强融合模块来融合所述训练全局超声图像深层特征图和所述训练全局超声图像浅层特征图之后，得到的所述训练语义强化超声图像浅层特征图除了多尺度多深度图像语义融合特征表达之外，还具有基于残差信息增强的深层-浅层残差图像语义特征表示，使得所述训练语义强化超声图像浅层特征图在整体的图像语义特征表达维度上，具有跨尺度和跨深度的图像语义特征残差-融合关联分布性质，这就使得在将所述训练语义强化超声图像浅层特征图通过基于解码器的病变标记图像生成器进行解码生成时，需要提升解码生成的效率。

因此，本申请的申请人对所述训练语义强化超声图像浅层特征图在通过基于解码器的病变标记图像生成器进行解码生成时，展开后得到的训练语义强化超声图像浅层特征向量进行了优化。

相应地，在一个示例中，所述训练优化单元，进一步用于：以如下优化公式对所述训练语义强化超声图像浅层特征图进行优化以得到所述优化训练语义强化超声图像浅层特征图；其中，所述优化公式为：

；

其中，是所述训练语义强化超声图像浅层特征图展开后得到的训练语义强化超声图像浅层特征向量的第/>个位置的特征值，/>是所述训练语义强化超声图像浅层特征向量的所有特征值的全局均值，且/>是所述训练语义强化超声图像浅层特征向量的最大特征值，/>表示数值的指数运算，所述数值的指数运算表示计算以所述数值为幂的自然指数函数值，/>是所述优化训练语义强化超声图像浅层特征图展开后得到的优化训练语义强化超声图像浅层特征向量的第/>个位置的特征值。

也就是，通过全局分布参数的正则化仿函数的概念，上述优化基于所述训练语义强化超声图像浅层特征向量的全局分布的参数向量式表征，来以回归概率的正则式表达模拟代价函数，从而对所述训练语义强化超声图像浅层特征向量在高维特征空间内的特征流形表征对于类回归概率下的基于分类器的权重矩阵的逐点回归特性进行建模，以捕获待分类的训练语义强化超声图像浅层特征向量经由分类器模型的参数空间在高维特征流形的场景几何形状下的参数平滑式优化轨迹，提高所述训练语义强化超声图像浅层特征向量通过基于解码器的病变标记图像生成器进行解码生成的训练效率。这样，能够自动辅助进行超声引导下的病变识别和标记，从而帮助医生准确定位和标记感兴趣的结构或病变区域，通过这样的方式，能够自动识别和分割病变器官、肿瘤等结构，并提供更精确的图像分析结果以生成病变标记超声图像，有助于医生进行病变的检测和诊断。

综上，基于本申请实施例的超声内镜辅助监测系统100被阐明，其可以有助于医生进行病变的检测和诊断。

如上所述，根据本申请实施例的所述超声内镜辅助监测系统100可以实现在各种终端设备中，例如具有超声内镜辅助监测算法的服务器等。在一个示例中，超声内镜辅助监测系统100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该超声内镜辅助监测系统100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该超声内镜辅助监测系统100同样可以是该终端设备的众多硬件模块之一。

替换地，在另一示例中，该超声内镜辅助监测系统100与该终端设备也可以是分立的设备，并且该超声内镜辅助监测系统100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。

图3示出根据本申请的实施例的超声内镜辅助监测方法的流程图。图4示出根据本申请的实施例的超声内镜辅助监测方法的系统架构的示意图。如图3和图4所示，根据本申请实施例的超声内镜辅助监测方法，其包括：S110，获取由部署于内镜上的超声探头采集的超声图像；S120，将所述超声图像进行图像分块处理以得到超声图像块的序列；S130，分别对所述超声图像块的序列进行多尺度特征分析以得到超声图像局部区域浅层特征图的序列和超声图像局部区域深层特征图的序列；S140，分别对所述超声图像局部区域浅层特征图的序列和所述超声图像局部区域深层特征图的序列进行特征自强化关联编码以得到强化超声图像局部区域浅层特征图的序列和强化超声图像局部区域深层特征图的序列；S150，对所述强化超声图像局部区域浅层特征图的序列和所述强化超声图像局部区域深层特征图的序列进行全局语义残差信息融合以得到超声图像语义融合特征；以及，S160，基于所述超声图像语义融合特征，生成病变标记超声图像。

在一种可能的实现方式中，分别对所述超声图像块的序列进行多尺度特征分析以得到超声图像局部区域浅层特征图的序列和超声图像局部区域深层特征图的序列，包括：将所述超声图像块的序列分别通过基于金字塔网络的超声图像局部特征提取器以得到所述超声图像局部区域浅层特征图的序列和所述超声图像局部区域深层特征图的序列。

在一种可能的实现方式中，分别对所述超声图像局部区域浅层特征图的序列和所述超声图像局部区域深层特征图的序列进行特征自强化关联编码以得到强化超声图像局部区域浅层特征图的序列和强化超声图像局部区域深层特征图的序列，包括：将所述超声图像局部区域浅层特征图的序列和所述超声图像局部区域深层特征图的序列分别通过特征自相关关联强化模块以得到所述强化超声图像局部区域浅层特征图的序列和所述强化超声图像局部区域深层特征图的序列。

这里，本领域技术人员可以理解，上述超声内镜辅助监测方法中的各个步骤的具体操作已经在上面参考图1到图2的超声内镜辅助监测系统的描述中得到了详细介绍，并因此，将省略其重复描述。

图5示出根据本申请的实施例的超声内镜辅助监测系统的应用场景图。如图5所示，在该应用场景中，首先，获取由部署于内镜上的超声探头采集的超声图像（例如，图5中所示意的D），然后，将所述超声图像输入至部署有超声内镜辅助监测算法的服务器（例如，图5中所示意的S）中，其中，所述服务器能够使用所述超声内镜辅助监测算法对所述超声图像进行处理以得到病变标记超声图像。

附图中的流程图和框图显示了根据本申请的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种超声内镜辅助监测系统，其特征在于，包括：

超声图像采集模块，用于获取由部署于内镜上的超声探头采集的超声图像；

超声图像分块模块，用于将所述超声图像进行图像分块处理以得到超声图像块的序列；

超声图像多尺度特征分析模块，用于分别对所述超声图像块的序列进行多尺度特征分析以得到超声图像局部区域浅层特征图的序列和超声图像局部区域深层特征图的序列；

超声图像特征强化模块，用于分别对所述超声图像局部区域浅层特征图的序列和所述超声图像局部区域深层特征图的序列进行特征自强化关联编码以得到强化超声图像局部区域浅层特征图的序列和强化超声图像局部区域深层特征图的序列；

超声语义残差融合模块，用于对所述强化超声图像局部区域浅层特征图的序列和所述强化超声图像局部区域深层特征图的序列进行全局语义残差信息融合以得到超声图像语义融合特征；

病变标记模块，用于基于所述超声图像语义融合特征，生成病变标记超声图像。

2.根据权利要求1所述的超声内镜辅助监测系统，其特征在于，所述超声图像多尺度特征分析模块，用于：

将所述超声图像块的序列分别通过基于金字塔网络的超声图像局部特征提取器以得到所述超声图像局部区域浅层特征图的序列和所述超声图像局部区域深层特征图的序列。

3.根据权利要求2所述的超声内镜辅助监测系统，其特征在于，所述超声图像特征强化模块，用于：

将所述超声图像局部区域浅层特征图的序列和所述超声图像局部区域深层特征图的序列分别通过特征自相关关联强化模块以得到所述强化超声图像局部区域浅层特征图的序列和所述强化超声图像局部区域深层特征图的序列。

4.根据权利要求3所述的超声内镜辅助监测系统，其特征在于，所述超声语义残差融合模块，包括：

超声图像浅层特征聚合单元，用于将所述强化超声图像局部区域浅层特征图的序列沿通道维度进行聚合以得到全局超声图像浅层特征图；

超声图像深层特征聚合单元，用于将所述强化超声图像局部区域深层特征图的序列沿通道维度进行聚合以得到全局超声图像深层特征图；

超声图像深浅特征嵌入融合强化单元，用于使用残差信息增强融合模块融合所述全局超声图像浅层特征图和所述全局超声图像深层特征图以得到语义强化超声图像浅层特征图作为所述超声图像语义融合特征。

5.根据权利要求4所述的超声内镜辅助监测系统，其特征在于，所述病变标记模块，用于：

将所述语义强化超声图像浅层特征图通过基于解码器的病变标记图像生成器以得到病变标记超声图像。

6.根据权利要求5所述的超声内镜辅助监测系统，其特征在于，还包括用于对所述基于金字塔网络的超声图像局部特征提取器、所述特征自相关关联强化模块、所述残差信息增强融合模块和所述基于解码器的病变标记图像生成器进行训练的训练模块。

7.根据权利要求6所述的超声内镜辅助监测系统，其特征在于，所述训练模块，包括：

训练数据采集单元，用于获取训练数据，所述训练数据包括由部署于内镜上的超声探头采集的训练超声图像；

训练超声图像分块单元，用于将所述训练超声图像进行图像分块处理以得到训练超声图像块的序列；

训练超声图像多尺度特征分析单元，用于分别对所述训练超声图像块的序列进行多尺度特征分析以得到训练超声图像局部区域浅层特征图的序列和训练超声图像局部区域深层特征图的序列；

训练超声图像特征强化单元，用于分别对所述训练超声图像局部区域浅层特征图的序列和所述训练超声图像局部区域深层特征图的序列进行特征自强化关联编码以得到训练强化超声图像局部区域浅层特征图的序列和训练强化超声图像局部区域深层特征图的序列；

训练超声语义残差融合单元，用于将所述训练强化超声图像局部区域浅层特征图的序列沿通道维度进行聚合以得到训练全局超声图像浅层特征图，将所述训练强化超声图像局部区域深层特征图的序列沿通道维度进行聚合以得到训练全局超声图像深层特征图，并使用残差信息增强融合模块融合所述训练全局超声图像浅层特征图和所述训练全局超声图像深层特征图以得到训练语义强化超声图像浅层特征图；

训练优化单元，用于对所述训练语义强化超声图像浅层特征图进行优化以得到优化训练语义强化超声图像浅层特征图；

训练解码单元，用于将所述优化训练语义强化超声图像浅层特征图通过所述基于解码器的病变标记图像生成器以得到解码损失函数值；

损失训练单元，用于基于所述解码损失函数值对所述基于金字塔网络的超声图像局部特征提取器、所述特征自相关关联强化模块、所述残差信息增强融合模块和所述基于解码器的病变标记图像生成器进行训练。

8.一种超声内镜辅助监测方法，其特征在于，包括：

获取由部署于内镜上的超声探头采集的超声图像；

将所述超声图像进行图像分块处理以得到超声图像块的序列；

分别对所述超声图像块的序列进行多尺度特征分析以得到超声图像局部区域浅层特征图的序列和超声图像局部区域深层特征图的序列；

分别对所述超声图像局部区域浅层特征图的序列和所述超声图像局部区域深层特征图的序列进行特征自强化关联编码以得到强化超声图像局部区域浅层特征图的序列和强化超声图像局部区域深层特征图的序列；

对所述强化超声图像局部区域浅层特征图的序列和所述强化超声图像局部区域深层特征图的序列进行全局语义残差信息融合以得到超声图像语义融合特征；以及

基于所述超声图像语义融合特征，生成病变标记超声图像。

9.根据权利要求8所述的超声内镜辅助监测方法，其特征在于，分别对所述超声图像块的序列进行多尺度特征分析以得到超声图像局部区域浅层特征图的序列和超声图像局部区域深层特征图的序列，包括：

将所述超声图像块的序列分别通过基于金字塔网络的超声图像局部特征提取器以得到所述超声图像局部区域浅层特征图的序列和所述超声图像局部区域深层特征图的序列。

10.根据权利要求9所述的超声内镜辅助监测方法，其特征在于，分别对所述超声图像局部区域浅层特征图的序列和所述超声图像局部区域深层特征图的序列进行特征自强化关联编码以得到强化超声图像局部区域浅层特征图的序列和强化超声图像局部区域深层特征图的序列，包括：

将所述超声图像局部区域浅层特征图的序列和所述超声图像局部区域深层特征图的序列分别通过特征自相关关联强化模块以得到所述强化超声图像局部区域浅层特征图的序列和所述强化超声图像局部区域深层特征图的序列。