CN116205928A - 腹腔镜手术视频的图像分割处理方法、装置和设备、介质 - Google Patents

Abstract

本发明公开了一种腹腔镜手术视频的图像分割处理方法、装置和设备、介质，其中，所述方法包括：获得腹腔镜切除手术时的视频数据，对所述视频数据进行分帧处理，形成序列帧图像数据；将连续多帧的序列帧图像数据输入所述多特征融合模块中进行特征提取处理，获得连续多帧的提取融合特征图像数据；将所述连续多帧的提取融合特征图像数据输入TimeSformer深度学习框架进行图像分割处理，获得图像分割结果。在本发明实施例中，在对图像进行分割处理时，能够准确的分割图像数据，并且更加切近临床实践应用的分割效果。

Description

腹腔镜手术视频的图像分割处理方法、装置和设备、介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种腹腔镜手术视频的图像分割处理方法、装置和设备、介质。

背景技术

腹腔镜肝切除较传统开腹肝切除具有创伤小、患者术后恢复快等优点，而且患者的肿瘤学获益相当，腹腔镜肝切除术已成为广泛开展和首先推荐的手术方式。然而，由于腹腔镜下视野狭小，缺少肝脏全局解剖视野，使用腔镜器械的操作又会导致触觉反馈减弱，再加上肝脏内部门静脉及肝静脉交错走行，变异情况多见；安全、准确完成腹腔镜肝切除术对操作者有较高的要求。因此，如何辅助医生在肝切除的过程中准确识别肝脏内部的关键解剖结构，是安全实施、推广普及腹腔镜肝切除术的关键和重大临床需求。目前现有的技术方案难以对具有相似视觉特征的肝蒂及肝静脉进行准确分割，且不能在腹腔镜手术视频中实现实时分割。

目前广泛采用的基于卷积神经网络的框架，这些框架通过卷积对多目标解剖结构提取局部特征，并在输入的图像中进行预测，取得了不错的结果。然而基于神经卷积网络的框架在提取图像全局特征时，往往会采用较大的感受野来实现，但由于存储的限制，图像会被分成图像块再进行输入，采用较大感受野提取的全局特征并不能得到充分利用，不利于利用全局特征对视觉特征相似的解剖结构进行鉴别，对例如肝脏内的左肝蒂及左肝静脉这样具有相似视觉特征的目标分割效果不理想；且采用卷积网络提取图像全局特征时会产生较多参数，不能在实时腹腔镜手术视频中保证运算推理的高效性，难以在实时腹腔镜手术视频中进行多目标解剖结构的实时分割。

发明内容

本发明的目的在于克服现有技术的不足，本发明提供了一种腹腔镜手术视频的图像分割处理方法、装置和设备、介质，在对图像进行分割处理时，能够准确的分割图像数据，并且更加切近临床实践应用的分割效果。

为了解决上述技术问题，本发明提供了一种腹腔镜手术视频的图像分割处理方法，所述方法包括:

获得腹腔镜切除手术时的视频数据，对所述视频数据进行分帧处理，形成序列帧图像数据；

将连续多帧的序列帧图像数据输入所述多特征融合模块中进行特征提取处理，获得连续多帧的提取融合特征图像数据，其中所述多特征融合模块由图卷积网络模块和神经卷积网络模块组成；

将所述连续多帧的提取融合特征图像数据输入TimeSformer深度学习框架进行图像分割处理，获得图像分割结果；其中所述TimeSformer深度学习框架由Input、Encoder、Decoder三部分组成。

可选的，所述对所述视频数据进行分帧处理，形成序列帧图像数据，包括：

对所述视频数据按照时序进行分帧处理，形成时序下的连续的序列帧图像数据。

所述将连续多帧的序列帧图像数据输入多特征融合模块中进行特征提取处理，获得连续多帧的提取融合特征图像数据，包括：

将连续多帧的序列帧图像数据输入所述多特征融合模块中的图卷积网络模块进行特征提取处理，获得图卷积网络模块下的连续多帧的多尺度提取的Graph特征数据；

将连续多帧的序列帧图像数据输入所述多特征融合模块中的神经卷积网络模块进行特征提取处理，获得神经卷积网络模块下的连续多帧的多尺度提取的特征图像数据；

将连续多帧的多尺度提取的Graph特征数据和连续多帧的多尺度提取的特征图像数据进行融合处理，获得连续多帧的提取融合特征图像数据。

可选的，所述将连续多帧的序列帧图像数据输入所述多特征融合模块中的图卷积网络模块进行特征提取处理，包括：

在所述多特征融合模块中的图卷积网络模块接收到输入的连续多帧的序列帧图像数据之后，利用线性迭代聚类方式将每一帧图像数据划分为超像素的自适应区域；

并将连续多帧所述序列帧图像数据经过2个皆包含1层1×1卷积核与1层BatchNormalization层的block中进行图像特征提取处理，获得连续多帧的初始提取特征图像数据；

利用连续多帧的初始提取特征图像数据在所述超像素的自适应区域中进行重建处理，使用1-hop与2-hop两个不同的跳跃节点聚合的图卷积网络模块来多尺度地提取图的特征，获得图卷积网络模块下的连续帧的多尺度提取的Graph特征数据。

可选的，所述将连续多帧的序列帧图像数据输入所述多特征融合模块中的神经卷积网络模块进行特征提取处理，包括：

在连续多帧的多特征融合模块中的神经卷积网络模块接收到输入的连续多帧的序列帧图像数据之后，利用各有两层的3×3与5×5两个不同大小的卷积核，提取连续多帧的序列帧图像数据中的像素级特征数据；

对多个分支提取到的像素级特征数据经过全连接层进行维度统一处理，并输出连续多帧的多尺度提取的特征图像数据。

可选的，所述将连续多帧的提取融合特征图像数据输入TimeSformer深度学习框架进行图像分割处理，获得图像分割结果，包括：

在将连续多帧的提取融合特征图像数据输入TimeSformer深度学习框架时，在所述Input中将提取融合特征图像数据转换为二维的特征向量；

将连续多帧的二维的特征向量输入所述Encoder中，获得输出的Key矩阵、Value矩阵；

将输出的Key矩阵、Value矩阵输入所述Decoder中的每个解码框的Encoder-Decoder attention层以计算得到Query矩阵；

将Key矩阵、Value矩阵和Query矩阵继续经过Add层以及Normalization层后，输入Feed Forward层以增强模型的拟合程度，最后经过一次Add层与Normalization层后输入下一个解码框；

在下一个解码宽中经过多层解码后，输入Linear层与Softmax层以输出图像分割结果。

可选的，所述Encoder与所述Decoder中分别包含4个编码框与4个解码框，并且在所述Encoder与所述Decoder中分别引入了时空注意力分离模块。

另外，本发明还提供一种腹腔镜手术视频的图像分割处理装置，所述装置包括:

分帧处理模块：用于获得腹腔镜切除手术时的视频数据，对所述视频数据进行分帧处理，形成序列帧图像数据；

特征提取模块：用于将连续多帧的序列帧图像数据输入所述多特征融合模块中进行特征提取处理，获得连续多帧的提取融合特征图像数据，其中所述多特征融合模块由图卷积网络模块和神经卷积网络模块组成；

图像分割模块：用于将所述连续多帧的提取融合特征图像数据输入TimeSformer深度学习框架进行图像分割处理，获得图像分割结果；其中所述TimeSformer深度学习框架由Input、Encoder、Decoder三部分组成。

另外，本发明还提供一种腹腔镜手术视频的图像分割设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的应用程序，所述处理器执行所述应用程序时实现上述中任一项所述图像分割处理方法。

另外，本发明还提供一种计算机可读存储介质，其上存储有应用程序，所述应用程序被处理器执行时实现上述中任一项所述图像分割处理方法。

在本发明实施例中，在对图像进行分割处理时，能够准确的分割图像数据，并且更加切近临床实践应用的分割效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明实施例中的腹腔镜手术视频的图像分割处理方法的流程示意图；

图2是本发明实施例中的腹腔镜手术视频的图像分割处理装置的结构组成示意图；

图3是本发明实施例中的设备的结构组成示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

实施例一，请参阅图1，图1是本发明实施例中的腹腔镜手术视频的图像分割处理方法的流程示意图。

如图1所示，一种腹腔镜手术视频的图像分割处理方法，所述方法包括:

S11：获得腹腔镜切除手术时的视频数据，对所述视频数据进行分帧处理，形成序列帧图像数据；

在本发明具体实施过程中，所述对所述视频数据进行分帧处理，形成序列帧图像数据，包括：对所述视频数据按照时序进行分帧处理，形成时序下的连续的序列帧图像数据。

具体的，在获得腹腔镜切除手术时的视频数据之后，需要对视频数据进行分帧处理，在本申请中，对视频数据按照时序的方式进行分帧处理，即可得到时序下的连续的序列帧图像数据。

S12：将连续多帧的序列帧图像数据输入所述多特征融合模块中进行特征提取处理，获得连续多帧的提取融合特征图像数据，其中所述多特征融合模块由图卷积网络模块和神经卷积网络模块组成；

在本发明具体实施过程中，所述将连续多帧的序列帧图像数据输入所述多特征融合模块中进行特征提取处理，获得连续多帧的提取融合特征图像数据，包括：将连续多帧的序列帧图像数据输入所述多特征融合模块中的图卷积网络模块进行特征提取处理，获得图卷积网络模块下的连续多帧的多尺度提取的Graph特征数据；将连续多帧的序列帧图像数据输入所述多特征融合模块中的神经卷积网络模块进行特征提取处理，获得神经卷积网络模块下的连续多帧的多尺度提取的特征图像数据；将连续多帧的多尺度提取的Graph特征数据和连续多帧的多尺度提取的特征图像数据进行融合处理，获得连续多帧的提取融合特征图像数据。

进一步的，所述将连续多帧的序列帧图像数据输入所述多特征融合模块中的图卷积网络模块进行特征提取处理，包括：在所述多特征融合模块中的图卷积网络模块接收到输入的连续多帧的序列帧图像数据之后，利用线性迭代聚类方式将每一帧图像数据划分为超像素的自适应区域；并将连续多帧所述序列帧图像数据经过2个皆包含1层1×1卷积核与1层Batch Normalization层的block中进行图像特征提取处理，获得连续多帧的初始提取特征图像数据；利用连续多帧的初始提取特征图像数据在所述超像素的自适应区域中进行重建处理；为了能使GCN多尺度地提取图像中的全局信息特征，我们在超像素区域中进行图重建，使用了1-hop与2-hop两个不同的跳跃节点聚合的GCN来多尺度地提取图的特征，从而获得图卷积网络模块下的连续多帧的多尺度提取的Graph特征数据。

进一步的，所述将连续多帧的序列帧图像数据输入所述多特征融合模块中的神经卷积网络模块进行特征提取处理，包括：在连续多帧的多特征融合模块中的神经卷积网络模块接收到输入的连续多帧的序列帧图像数据之后，利用各有两层的3×3与5×5两个不同大小的卷积核，提取连续多帧的序列帧图像数据中的像素级特征数据；对多个分支提取到的像素级特征数据经过全连接层进行维度统一处理，并输出连续多帧的多尺度提取的特征图像数据。

具体的，医生在人工标注多解剖结构时，需结合术中图像全局空间信息，以鉴别具有相似视觉特征的解剖结构。基于这一启发，设计了多特征融合模块MFFM（multi-featurefusion module）作为图像特征提取模块。一方面，本申请拟采用神经卷积网络CNN（Convolutional Neural Networks）提取多解剖结构的局部特征；一方面，采用了图卷积网络GCN（Graph Convolutional Network）提取多解剖结构空间分布的全局特征，以辅助进行高精度的多目标识别分割；

MFFM是一个把CNN和GNN并联融合的网络，通过分别对图像进行神经卷积和图神经卷积，输出包涵多解剖结构局部特征和图像全局特征的融合特征图。CNN网络能够提取图像中像素级别的深层特征，GCN网络利用超像素作为图节点，提取了图像的全局信息，降低了算力要求，但忽略了像素级的图像特征。将腹腔镜肝切除手术实时视频转化为时序下的单帧图像T-2，T-1，T（即连续多帧的序列帧图像数据）依次输入。

在GCN（图卷积网络模块）中，为做好提取图（Graph）特征的前期准备，采用简单线性迭代聚类SLIC(simple linear iterative clustering)将连续多帧的序列帧图像数据每一帧的图像数据精确划分为称为超像素的自适应区域；同时，使原始图像经过2个皆包含1层1×1卷积核与1层Batch Normalization层的block。其中，1×1卷积层提取的特征图为单个像素包含该像素的波段，故相当于提取了每个像素的光谱特征；而BatchNormalization层可相对性地稳定输入数据的分布，加速模型学习。将该卷积层提取到的每个像素的光谱特征传递到超像素区域中，再进行均值计算以获得其超像素区域的光谱特征。1×1卷积层将生成的特征图传递给超像素区域，补充了其缺失的像素级特征，以便在背景噪声复杂的腹腔镜手术图像中精确分割目标解剖结构。原始图像经过第一层1×1卷积层以初步生成低级特征图，经过第二层以压缩特征图、二次提取特征，使得新特征图的特征表达更佳，达到减少参数的目的。随后，为了能使GCN多尺度地提取图像中的全局信息特征，我们在超像素区域中进行图重建，使用了1-hop与2-hop两个不同的跳跃节点聚合的GCN来多尺度地提取图的特征，从而获得图卷积网络模块下的连续多帧的多尺度提取的Graph特征数据。

在CNN（神经卷积网络模块）中，拟使用各有两层的3×3与5×5两个不同大小的卷积核，多尺度地提取单帧图像多解剖结构的像素级特征，每个卷积核后各相同地连接有1层ReLu层与1层Batch Normalization层，以此防止梯度消失并相对性地稳定输入数据的分布，加速模型学习。然后，对多个分支提取的特征图经过全连接层以统一其维度，以便进行拼接操作，最终达到融合多尺度特征目的，输出融合特征图Xt-2，Xt-1，Xt，即为连续多帧的提取融合特征图像数据。

S13： 将所述连续多帧的提取融合特征图像数据输入TimeSformer深度学习框架进行图像分割处理，获得图像分割结果；其中所述TimeSformer深度学习框架由Input、Encoder、Decoder三部分组成。

在本发明具体实施过程中，所述将连续多帧的提取融合特征图像数据输入TimeSformer深度学习框架进行图像分割处理，获得图像分割结果，包括：在将连续多帧的提取融合特征图像数据输入TimeSformer深度学习框架时，在所述Input中将提取融合特征图像数据转换为二维的特征向量；将连续多帧的二维的特征向量输入所述Encoder中，获得输出的Key矩阵、Value矩阵；将输出的Key矩阵、Value矩阵输入所述Decoder中的每个解码框的Encoder-Decoder attention层以计算得到Query矩阵；将Key矩阵、Value矩阵和Query矩阵继续经过Add层以及Normalization层后，输入Feed Forward层以增强模型的拟合程度，最后经过一次Add层与Normalization层后输入下一个解码框；在下一个解码宽中经过多层解码后，输入Linear层与Softmax层以输出图像分割结果。

进一步的，所述Encoder与所述Decoder中分别包含4个编码框与4个解码框，并且在所述Encoder与所述Decoder中分别引入了时空注意力分离模块。

具体的，为了满足高速计算以应对在实时视频中进行实时语义分割的要求，也为了更高效地利用MFFM框架提取出的图像融合特征，引入了基于TimeSformer的深度学习框架对单帧图像中的空间特征与不同帧间的时间特征进行融合。该框架由Input、Encoder、Decoder三部分组成。Encoder与Decoder中分别包含4个编码框与4个解码框。框架采用对称方式的编码器和解码器，如此有助于保持TimeSformer块之间的体素级的详细信息。在Encoder、Decoder中引入了时空注意力分离模块以保证运算推理的高效性，分别对输入的特征向量进行时间注意力计算，即对不同帧的同一空间位置的像素块进行计算，以及空间注意力计算，即当前帧中与不同空间位置的像素块的计算；为了使前期生成的融合特征图适应TimeSformer的输入，在Input中，首先将MFFM输出的融合特征图Xt-2，Xt-1，Xt进行向量映射转化为二维的特征向量。其次，为了确定各帧图像间的相对位置，保证网络对位置信息的感知，通过使各特征向量结合自定义的位置向量以进行位置编码以引入位置信息。其自定义的位置向量采用正弦方法结合其各帧时刻以确定。t时刻位置编码后的特征向量将先与上一时刻t-1的特征向量一起进行时间注意力计算以提取其时间信息，经过Add层与Normalization层以防止梯度消失并相对性地稳定输入数据的分布，加速模型学习，再输入空间注意力模块提取其空间信息，再次经过Add层与Normalization层后输入Feed Forward层以增强模型的拟合程度，最后经过一次Add层与Normalized层后输入MLP层以对提取的信息进行筛选分类确认，最终的输出进入下一个编码框。从Encoder输出的Key、Value矩阵将输入至Decoder中的每个解码框的Encoder-Decoder attention层以计算得到Query矩阵。同时上一时刻t-1的Decoder输出结果将经过向量映射、位置编码后输入至当前时刻t的Decoder的第一个解码框，先经过时间注意力计算、Add层以及Normalization层，再经过空间注意力计算、Add层以及Normalization层，最终输入Encoder-Decoder attention层以辅助计算得到更为精确的Query矩阵。Key、Value、Query矩阵继续经过Add层以及Normalization层后，输入Feed Forward层以增强模型的拟合程度，最后经过一次Add层与Normalization层后输入下一个解码框。经过多层解码框后，最终输入Linear层与Softmax层以输出分割结果Nt-2、Nt-1、Nt。其与原始图像结合后即可得到最终分割结果。该框架同时发挥了卷积层和时空分离注意力机制的优势来提升该分割任务的精度。

在本发明实施例中，在对图像进行分割处理时，能够准确的分割图像数据，并且更加切近临床实践应用的分割效果。

实施例二，请参阅图2，图2是本发明实施例中的腹腔镜手术视频的图像分割处理装置的结构组成示意图。

如图2所示，一种腹腔镜手术视频的图像分割处理装置，所述装置包括:

分帧处理模块21：用于获得腹腔镜切除手术时的视频数据，对所述视频数据进行分帧处理，形成序列帧图像数据；

在本发明具体实施过程中，所述对所述视频数据进行分帧处理，形成序列帧图像数据，包括：对所述视频数据按照时序进行分帧处理，形成时序下的连续的序列帧图像数据。

具体的，在获得腹腔镜切除手术时的视频数据之后，需要对视频数据进行分帧处理，在本申请中，对视频数据按照时序的方式进行分帧处理，即可得到时序下的连续的序列帧图像数据。

特征提取模块22：用于将连续多帧的序列帧图像数据输入所述多特征融合模块中进行特征提取处理，获得连续多帧的提取融合特征图像数据，其中所述多特征融合模块由图卷积网络模块和神经卷积网络模块组成；

在本发明具体实施过程中，所述将连续多帧的序列帧图像数据输入所述多特征融合模块中进行特征提取处理，获得连续多帧的提取融合特征图像数据，包括：将连续多帧的序列帧图像数据输入所述多特征融合模块中的图卷积网络模块进行特征提取处理，获得图卷积网络模块下的连续多帧的多尺度提取的Graph特征数据；将连续多帧的序列帧图像数据输入所述多特征融合模块中的神经卷积网络模块进行特征提取处理，获得神经卷积网络模块下的连续多帧的多尺度提取的特征图像数据；将连续多帧的多尺度提取的Graph特征数据和连续多帧的多尺度提取的特征图像数据进行融合处理，获得连续多帧的提取融合特征图像数据。

进一步的，所述将连续多帧的序列帧图像数据输入所述多特征融合模块中的图卷积网络模块进行特征提取处理，包括：在所述多特征融合模块中的图卷积网络模块接收到输入的连续多帧的序列帧图像数据之后，利用线性迭代聚类方式将每一帧图像数据划分为超像素的自适应区域；并将连续多帧所述序列帧图像数据经过2个皆包含1层1×1卷积核与1层Batch Normalization层的block中进行图像特征提取处理，获得连续多帧的初始提取特征图像数据；利用连续多帧的初始提取特征图像数据在所述超像素的自适应区域中进行重建处理；为了能使GCN多尺度地提取图像中的全局信息特征，我们在超像素区域中进行图重建，使用了1-hop与2-hop两个不同的跳跃节点聚合的GCN来多尺度地提取图的特征，从而获得图卷积网络模块下的连续多帧的多尺度提取的Graph特征数据。

进一步的，所述将连续多帧的序列帧图像数据输入所述多特征融合模块中的神经卷积网络模块进行特征提取处理，包括：在连续多帧的多特征融合模块中的神经卷积网络模块接收到输入的连续多帧的序列帧图像数据之后，利用各有两层的3×3与5×5两个不同大小的卷积核，提取连续多帧的序列帧图像数据中的像素级特征数据；对多个分支提取到的像素级特征数据经过全连接层进行维度统一处理，并输出连续多帧的多尺度提取的特征图像数据。

具体的，医生在人工标注多解剖结构时，需结合术中图像全局空间信息，以鉴别具有相似视觉特征的解剖结构。基于这一启发，设计了多特征融合模块MFFM（multi-featurefusion module）作为图像特征提取模块。一方面，本申请拟采用神经卷积网络CNN（Convolutional Neural Networks）提取多解剖结构的局部特征；一方面，采用了图卷积网络GCN（Graph Convolutional Network）提取多解剖结构空间分布的全局特征，以辅助进行高精度的多目标识别分割；

MFFM是一个把CNN和GNN并联融合的网络，通过分别对图像进行神经卷积和图神经卷积，输出包涵多解剖结构局部特征和图像全局特征的融合特征图。CNN网络能够提取图像中像素级别的深层特征，GCN网络利用超像素作为图节点，提取了图像的全局信息，降低了算力要求，但忽略了像素级的图像特征。将腹腔镜肝切除手术实时视频转化为时序下的单帧图像T-2，T-1，T（即连续多帧的序列帧图像数据）依次输入。

在在GCN（图卷积网络模块）中，为做好提取图（Graph）特征的前期准备，采用简单线性迭代聚类SLIC(simple linear iterative clustering)将连续多帧的序列帧图像数据每一帧的图像数据精确划分为称为超像素的自适应区域；同时，使原始图像经过2个皆包含1层1×1卷积核与1层Batch Normalization层的block。其中，1×1卷积层提取的特征图为单个像素包含该像素的波段，故相当于提取了每个像素的光谱特征；而BatchNormalization层可相对性地稳定输入数据的分布，加速模型学习。将该卷积层提取到的每个像素的光谱特征传递到超像素区域中，再进行均值计算以获得其超像素区域的光谱特征。1×1卷积层将生成的特征图传递给超像素区域，补充了其缺失的像素级特征，以便在背景噪声复杂的腹腔镜手术图像中精确分割目标解剖结构。原始图像经过第一层1×1卷积层以初步生成低级特征图，经过第二层以压缩特征图、二次提取特征，使得新特征图的特征表达更佳，达到减少参数的目的。随后，为了能使GCN多尺度地提取图像中的全局信息特征，我们在超像素区域中进行图重建，使用了1-hop与2-hop两个不同的跳跃节点聚合的GCN来多尺度地提取图的特征，从而获获得图卷积网络模块下的连续多帧的多尺度提取的Graph特征数据。

在CNN（神经卷积网络模块）中，拟使用各有两层的3×3与5×5两个不同大小的卷积核，多尺度地提取单帧图像多解剖结构的像素级特征，每个卷积核后各相同地连接有1层ReLu层与1层Batch Normalization层，以此防止梯度消失并相对性地稳定输入数据的分布，加速模型学习。然后，对多个分支提取的特征图经过全连接层以统一其维度，以便进行拼接操作，最终达到融合多尺度特征目的，输出融合特征图Xt-2，Xt-1，Xt，即为连续多帧的提取融合特征图像数据。

图像分割模块23：用于将所述连续多帧的提取融合特征图像数据输入TimeSformer深度学习框架进行图像分割处理，获得图像分割结果；其中所述TimeSformer深度学习框架由Input、Encoder、Decoder三部分组成。

在本发明具体实施过程中，所述将连续多帧的提取融合特征图像数据输入TimeSformer深度学习框架进行图像分割处理，获得图像分割结果，包括：在将连续多帧的提取融合特征图像数据输入TimeSformer深度学习框架时，在所述Input中将提取融合特征图像数据转换为二维的特征向量；将连续多帧的二维的特征向量输入所述Encoder中，获得输出的Key矩阵、Value矩阵；将输出的Key矩阵、Value矩阵输入所述Decoder中的每个解码框的Encoder-Decoder attention层以计算得到Query矩阵；将Key矩阵、Value矩阵和Query矩阵继续经过Add层以及Normalization层后，输入Feed Forward层以增强模型的拟合程度，最后经过一次Add层与Normalization层后输入下一个解码框；在下一个解码宽中经过多层解码后，输入Linear层与Softmax层以输出图像分割结果。

进一步的，所述Encoder与所述Decoder中分别包含4个编码框与4个解码框，并且在所述Encoder与所述Decoder中分别引入了时空注意力分离模块。

具体的，为了满足高速计算以应对在实时视频中进行实时语义分割的要求，也为了更高效地利用MFFM框架提取出的图像融合特征，引入了基于TimeSformer的深度学习框架对单帧图像中的空间特征与不同帧间的时间特征进行融合。该框架由Input、Encoder、Decoder三部分组成。Encoder与Decoder中分别包含4个编码框与4个解码框。框架采用对称方式的编码器和解码器，如此有助于保持TimeSformer块之间的体素级的详细信息。在Encoder、Decoder中引入了时空注意力分离模块以保证运算推理的高效性，分别对输入的特征向量进行时间注意力计算，即对不同帧的同一空间位置的像素块进行计算，以及空间注意力计算，即当前帧中与不同空间位置的像素块的计算；为了使前期生成的融合特征图适应TimeSformer的输入，在Input中，首先将MFFM输出的融合特征图Xt-2，Xt-1，Xt进行向量映射转化为二维的特征向量。其次，为了确定各帧图像间的相对位置，保证网络对位置信息的感知，通过使各特征向量结合自定义的位置向量以进行位置编码以引入位置信息。其自定义的位置向量采用正弦方法结合其各帧时刻以确定。t时刻位置编码后的特征向量将先与上一时刻t-1的特征向量一起进行时间注意力计算以提取其时间信息，经过Add层与Normalization层以防止梯度消失并相对性地稳定输入数据的分布，加速模型学习，再输入空间注意力模块提取其空间信息，再次经过Add层与Normalization层后输入Feed Forward层以增强模型的拟合程度，最后经过一次Add层与Normalized层后输入MLP层以对提取的信息进行筛选分类确认，最终的输出进入下一个编码框。从Encoder输出的Key、Value矩阵将输入至Decoder中的每个解码框的Encoder-Decoder attention层以计算得到Query矩阵。同时上一时刻t-1的Decoder输出结果将经过向量映射、位置编码后输入至当前时刻t的Decoder的第一个解码框，先经过时间注意力计算、Add层以及Normalization层，再经过空间注意力计算、Add层以及Normalization层，最终输入Encoder-Decoder attention层以辅助计算得到更为精确的Query矩阵。Key、Value、Query矩阵继续经过Add层以及Normalization层后，输入Feed Forward层以增强模型的拟合程度，最后经过一次Add层与Normalization层后输入下一个解码框。经过多层解码框后，最终输入Linear层与Softmax层以输出分割结果Nt-2、Nt-1、Nt。其与原始图像结合后即可得到最终分割结果。该框架同时发挥了卷积层和时空分离注意力机制的优势来提升该分割任务的精度。

在本发明实施例中，在对图像进行分割处理时，能够准确的分割图像数据，并且更加切近临床实践应用的分割效果。

本发明实施例提供的一种计算机可读存储介质，所述计算机可读存储介质上存储有应用程序，该程序被处理器执行时实现上述实施例中任意一个实施例的图像分割处理方法。其中，所述计算机可读存储介质包括但不限于任何类型的盘（包括软盘、硬盘、光盘、CD-ROM、和磁光盘）、ROM（Read-Only Memory，只读存储器）、RAM（Random AcceSS Memory，随即存储器）、EPROM（EraSable Programmable Read-Only Memory，可擦写可编程只读存储器）、EEPROM（Electrically EraSable ProgrammableRead-Only Memory，电可擦可编程只读存储器）、闪存、磁性卡片或光线卡片。也就是，存储设备包括由设备（例如，计算机、手机）以能够读的形式存储或传输信息的任何介质，可以是只读存储器，磁盘或光盘等。

本发明实施例还提供了一种计算机应用程序，其运行在计算机上，该计算机应用程序用于执行上述中任意一个实施例的图像分割处理方法。

此外，图3是本发明实施例中的设备的结构组成示意图。

本发明实施例还提供了一种腹腔镜手术视频的图像分割设备，如图3所示。所述设备包括处理器302、存储器303、输入单元304以及显示单元305等器件。本领域技术人员可以理解，图3示出的设备结构器件并不构成对所有设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件。存储器303可用于存储应用程序301以及各功能模块，处理器302运行存储在存储器303的应用程序301，从而执行设备的各种功能应用以及数据处理。存储器可以是内存储器或外存储器，或者包括内存储器和外存储器两者。内存储器可以包括只读存储器(ROM)、可编程 ROM(PROM)、电可编程ROM(EPROM)、电可擦写可编程ROM(EEPROM)、快闪存储器、或者随机存储器。外存储器可以包括硬盘、软盘、ZIP盘、U盘、磁带等。本发明所公开的存储器包括但不限于这些类型的存储器。本发明所公开的存储器只作为例子而非作为限定。

输入单元304用于接收信号的输入，以及接收用户输入的关键字。输入单元304可包括触控面板以及其它输入设备。触控面板可收集用户在其上或附近的触摸操作（比如用户使用手指、触笔等任何适合的物体或附件在触控面板上或在触控面板附近的操作），并根据预先设定的程序驱动相应的连接装置；其它输入设备可以包括但不限于物理键盘、功能键（比如播放控制按键、开关按键等）、轨迹球、鼠标、操作杆等中的一种或多种。显示单元305可用于显示用户输入的信息或提供给用户的信息以及终端设备的各种菜单。显示单元305可采用液晶显示器、有机发光二极管等形式。处理器302是终端设备的控制中心，利用各种接口和线路连接整个设备的各个部分，通过运行或执行存储在存储器302内的软件程序和/或模块，以及调用存储在存储器内的数据，执行各种功能和处理数据。

作为一个实施例，所述设备包括：一个或多个处理器302，存储器303，一个或多个应用程序301，其中所述一个或多个应用程序301被存储在存储器303中并被配置为由所述一个或多个处理器302执行，所述一个或多个应用程序301配置用于执行上述实施例中的任意一实施例中的图像分割处理方法。

在本发明实施例中，在对图像进行分割处理时，能够准确的分割图像数据，并且更加切近临床实践应用的分割效果。

另外，以上对本发明实施例所提供的一种腹腔镜手术视频的图像分割处理方法、装置和设备、介质进行了详细介绍，本文中应采用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种腹腔镜手术视频的图像分割处理方法，其特征在于，所述方法包括:

获得腹腔镜切除手术时的视频数据，对所述视频数据进行分帧处理，形成序列帧图像数据；

将连续多帧的序列帧图像数据输入多特征融合模块中进行特征提取处理，获得连续多帧的提取融合特征图像数据，其中所述多特征融合模块由图卷积网络模块和神经卷积网络模块组成；

将所述连续多帧的提取融合特征图像数据输入TimeSformer深度学习框架进行图像分割处理，获得图像分割结果；其中所述TimeSformer深度学习框架由Input、Encoder、Decoder三部分组成。

2.根据权利要求1所述的图像分割处理方法，其特征在于，所述对所述视频数据进行分帧处理，形成序列帧图像数据，包括：

对所述视频数据按照时序进行分帧处理，形成时序下的连续的序列帧图像数据。

3.根据权利要求1所述的图像分割处理方法，其特征在于，所述将连续多帧的序列帧图像数据输入多特征融合模块中进行特征提取处理，获得连续多帧的提取融合特征图像数据，包括：

将连续多帧的序列帧图像数据输入所述多特征融合模块中的图卷积网络模块进行特征提取处理，获得图卷积网络模块下的连续多帧的多尺度提取的Graph特征数据；

将连续多帧的序列帧图像数据输入所述多特征融合模块中的神经卷积网络模块进行特征提取处理，获得神经卷积网络模块下的连续多帧的多尺度提取的特征图像数据；

将连续多帧的多尺度提取的Graph特征数据和连续多帧的多尺度提取的特征图像数据进行融合处理，获得连续多帧的提取融合特征图像数据。

4.根据权利要求3所述的图像分割处理方法，其特征在于，所述将连续多帧的序列帧图像数据输入所述多特征融合模块中的图卷积网络模块进行特征提取处理，包括：

在所述多特征融合模块中的图卷积网络模块接收到输入的连续多帧的序列帧图像数据之后，利用线性迭代聚类方式将每一帧图像数据划分为超像素的自适应区域；

并将连续多帧所述序列帧图像数据经过2个皆包含1层1×1卷积核与1层BatchNormalization层的block中进行图像特征提取处理，获得连续多帧的初始提取特征图像数据；

利用连续多帧的初始提取特征图像数据在所述超像素的自适应区域中进行重建处理，使用1-hop与2-hop两个不同的跳跃节点聚合的图卷积网络模块来多尺度地提取图的特征，获得图卷积网络模块下的连续帧的多尺度提取的Graph特征数据。

5.根据权利要求3所述的图像分割处理方法，其特征在于，所述将连续多帧的序列帧图像数据输入所述多特征融合模块中的神经卷积网络模块进行特征提取处理，包括：

在连续多帧的多特征融合模块中的神经卷积网络模块接收到输入的连续多帧的序列帧图像数据之后，利用各有两层的3×3与5×5两个不同大小的卷积核，提取连续多帧的序列帧图像数据中的像素级特征数据；

对多个分支提取到的像素级特征数据经过全连接层进行维度统一处理，并输出连续多帧的多尺度提取的特征图像数据。

6.根据权利要求1所述的图像分割处理方法，其特征在于，所述将连续多帧的提取融合特征图像数据输入TimeSformer深度学习框架进行图像分割处理，获得图像分割结果，包括：

在将连续多帧的提取融合特征图像数据输入TimeSformer深度学习框架时，在所述Input中将提取融合特征图像数据转换为二维的特征向量；

将连续多帧的二维的特征向量输入所述Encoder中，获得输出的Key矩阵、Value矩阵；

将输出的Key矩阵、Value矩阵输入所述Decoder中的每个解码框的Encoder-Decoderattention层以计算得到Query矩阵；

将Key矩阵、Value矩阵和Query矩阵继续经过Add层以及Normalization层后，输入FeedForward层以增强模型的拟合程度，最后经过一次Add层与Normalization层后输入下一个解码框；

在下一个解码宽中经过多层解码后，输入Linear层与Softmax层以输出图像分割结果。

7.根据权利要求6所述的图像分割处理方法，其特征在于，所述Encoder与所述Decoder中分别包含4个编码框与4个解码框，并且在所述Encoder与所述Decoder中分别引入了时空注意力分离模块。

8.一种腹腔镜手术视频的图像分割处理装置，其特征在于，所述装置包括:

分帧处理模块：用于获得腹腔镜切除手术时的视频数据，对所述视频数据进行分帧处理，形成序列帧图像数据；

特征提取模块：用于将连续多帧的序列帧图像数据输入多特征融合模块中进行特征提取处理，获得连续多帧的提取融合特征图像数据，其中所述多特征融合模块由图卷积网络模块和神经卷积网络模块组成；

图像分割模块：用于将所述连续多帧的提取融合特征图像数据输入TimeSformer深度学习框架进行图像分割处理，获得图像分割结果；其中所述TimeSformer深度学习框架由Input、Encoder、Decoder三部分组成。

9.一种腹腔镜手术视频的图像分割设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的应用程序，其特征在于，所述处理器执行所述应用程序时实现权利要求1至7中任一项所述图像分割处理方法。

10.一种计算机可读存储介质，其上存储有应用程序，其特征在于，所述应用程序被处理器执行时实现权利要求1至7中任一项所述图像分割处理方法。

Images