CN116563743B

CN116563743B - 基于深度学习的检测方法及除烟系统

Info

Publication number: CN116563743B
Application number: CN202211576001.1A
Authority: CN
Inventors: 黄新俊; 赵传森
Original assignee: Nanjing Tuge Medical Technology Co ltd
Current assignee: Nanjing Tuge Medical Technology Co ltd
Priority date: 2022-12-09
Filing date: 2022-12-09
Publication date: 2023-12-01
Anticipated expiration: 2042-12-09
Also published as: CN116563743A

Abstract

本发明公开了一种基于深度学习的检测方法及除烟系统，涉及医疗器械、控制系统技术领域。本发明用于检测腔内手术时产生的烟，包括构建真实数据集，将数据集分为训练集和测试集；构建分类网络模型；使用训练集训练分类网络模型，输出训练后的分类网络模型；使用测试集测试训练后的分类网络模型，引入损失函数，计算测试得到的损失值，当损失值大于预设的阈值，继续训练分类网络；直至输出预设的分类网络模型。本发明基于深度学习，能够精准识别烟，进而除烟系统依据检测到的烟，开始除烟，以保证体内始终在无烟环境下，便于医生进行手术。

Description

基于深度学习的检测方法及除烟系统

技术领域

本发明涉及医学器械、控制系统技术领域，尤其是一种基于深度学习的检测方法及除烟系统。

背景技术

微创手术作为现代医学重要的内容之一，具有创伤小、疼痛轻、恢复快的特点。例如，以腔内微创手术为例，医用内窥镜作为手术中医生的“眼睛”，发挥着重要的作用，内窥镜的影像的质量，直接或间接地影响最终手术效果。而在腔内微创手术中，常产生烟，例如，手术中超声刀切割、电击等，作用在人体组织上，不断生成大小不一的烟，这些烟影响体内图像的清晰度，尤其是观察动态场景时，医生有时难以辨别患者体内的病理类型。

经检索，申请号CN202210815676.0，专利名为手术烟雾的处理方法、医疗系统和计算机设备，提出一种除手术烟雾的方法和相关设备，然后在临床中，烟和雾是两种类型，例如，在内窥镜进入人体内，由于内窥镜镜头采用冷光源提供照明而体腔内温度较高，存在温差的影响使得体腔内部水蒸气遇到较冷的内窥镜镜头容易凝聚，产生雾气，雾往往是吸附在镜头上，这些雾气在一定程度上也会影响医生的操作，因而该专利中获取的烟雾特征数据并不准确，易产生误判。

故，本申请所要解决的是精准识别烟，并控制相关的设备除烟。

发明内容

发明目的：基于上述背景技术中提出的问题，如何在体内手术时精准识别烟，并控制相关的设备除烟，本发明给出一种能够识别烟的方法，并通过除烟系统进行快速除烟，同时控制除烟的效率，防止部分烟吸附在镜头，影响手术的进程。

技术方案：基于深度学习的检测方法，用于检测腔内手术时产生的烟，包括：

S1、构建数据集，将数据集分为训练集和测试集；

S2、构建分类网络模型；

S3、使用训练集训练分类网络模型，输出训练后的分类网络模型；

S4、使用测试集测试训练后的分类网络模型，引入损失函数，计算测试得到的损失值，当损失值大于预设的阈值，则返回步骤S3；否则进行步骤S5；

S5、输出训练后的分类网络模型作为检测模型。

进一步地，步骤S1中，构建数据集的过程包括：

S11、采集实际手术中的视频，对视频分帧处理，得到若干视频帧；

S12、构建具有时序的视频帧序列，对所述视频帧序列中的每一个视频帧进行拉普拉斯金字塔空间分解，到不同空间频率下的帧图像，对所选帧图像去噪；

S13、对每帧图像进行逐一标注，划分为有烟图像、无烟图像。

进一步地，还包括对数据集的准确性的检验，以下步骤

S14、将数据集生成预定格式的文件，并将至少按照烟在图像中的分布区域进行归类；

S15、对预定格式的文件做均值处理，检验数据集的准确性。

进一步地，步骤S2中构建分类网络模型的过程包括：

S21、构建输入层、输出层，构建卷积层、池化层以及全连接层；

S22、引入激活函数，所述激活函数采用sigmod激活函数，公式为：

其中，x为任意值，e为常数，S(x)取值范围为(0,1)；

将所述激活函数分别嵌入对应的卷积层、对应的全连接层；将所述输入层、输出层、卷积层、池化层、全连接层按照预设的数量以及顺序进行设置。

进一步地，训练所述分类网络模型的过程包括：

S22、输入训练集中的图像数据，在第一卷积层进行卷积操作，输出第一卷积特征图并输入至第一池化层，输出第一池化特征图；

S23、在第二卷积层对第一池化特征图进行卷积操作，输出第二卷积特征图并输入至第二池化层，输出第二池化特征图；

S24、在第三卷积层对第二池化特征图进行卷积操作，输出第三卷积特征图并输入至第三池化层，输出第三池化特征图；

S25、输入第三池化特征图至两个全连接层，提取特征并进行分类，输出预测值，引入损失函数计算分类后的预测值与训练集中的真实值之间损失值，并更新分类网络模型的参数；所述损失函数的公式为：

其中，n为样本总数量，y_i为第i个样本的真实值，为第i个样本的预测值。

进一步地，基于所述分类网络模型构建检测模块，所述检测模块检测烟的流程包括以下步骤：

S6、采集当前体内的视频，获取视频当前帧的图像数据；

S7、所述检测模块接收当前帧的图像数据；

S8、输出预测的结果数据。

进一步地，还包括，至少使用几何畸变、遮挡、随机水平翻转、随机裁剪、随机旋转、随机缩放和图像融合，对数据集中的图像数据进行扩容处理。

一种除烟单元，应用实现如上述任意一项所述的基于深度学习的检测方法，包括：

采集设备，其工作端深入体内，用于实时采集当前体内的影像；

内镜主机，电性连接于所述采集设备；所述内镜主机至少内嵌检测模块、控制模块，所述检测模块基于分类网络模型构建，用于检测体内手术时产生的烟；所述控制模块基于检测模块的检测信号，发出对应的控制命令；所述控制模块至少包括启停控制、时间控制、功率控制；除烟设备，接收所述内镜主机的控制命令；所述除烟设备至少包括进气单元、除烟单元；能量设备，与所述内镜主机交互，所述能量设备用于体内手术。

进一步地，所述内镜主机持续接收当前体内的影像，所述检测模块检测当前体内的影像；

当检测模块检测到有烟，所述控制模块发出除烟命令，除烟设备启动除烟单元，同时除烟设备启动进气单元，保持体内压力平衡；

当检测模块检测到无烟，所述控制模块发出关闭除烟命令，除烟设备关闭除烟单元，同时除烟设备关闭进气单元。

进一步地，还包括，基于所述检测模块检测到烟的位于图像的区域，输出对应的功率控制信号，控制模块发出对应的功率控制，调整除烟设备的工作功率。

有益效果：

1、基于实际腔内制作数据集，用于训练并修正模型系数，本发明的模型识别率高；

2、本发明在数据集进行扩容处理，优化用于训练的数据集，进一步提升模型识别率；

3、本发明能够在有雾的情况下，精准识别烟，并进而通过除烟系统进行除烟；

4、本发明基于深度学习，能够识别烟的产生区域，进而除烟系统调整对应的除烟效率，防止烟吸附在内窥镜头上，造成影像不清晰。

说明书附图

图1是本发明的分类网络模型构建流程图。

图2是本发明分类网络模型的工作原理图。

图3是本发明训练集与测试集acc值对比图。

图4是本发明训练集与测试集loss值对比图。

图5是本发明的除烟系统图。

具体实施方式

下面结合附图对本发明作更进一步地说明。

实施例1

基于上述背景技术中提到的，如何在体内手术时精准的识别烟，本实施例提出一种基于深度学习的检测方法，用于快速检测烟，从而在临床手术中更好的提升图像的清晰度，帮助医生更好的定位病灶和进行手术，本实施例结合图1进行阐述，本实施例至少包括以下几个步骤：S1、首先通过现代仪器，获取手术时的腔内数据，构建数据集，将数据集分为训练集和测试集，可以按照9：1分别划分为训练集和测试集；

S2、基于神经网络来构建分类网络模型；

S3、使用训练集训练分类网络模型，输出训练后的分类网络模型；其中包括设置训练次数、训练时间等

S4、使用测试集测试训练后的分类网络模型，引入损失函数，计算测试得到的损失值，数据集中有两个基础数据，一个为原始样本数据、另一个为对应的正样本数据，原始样本数据经过分类网络模型分类后，输出预测数据，计算预测数据与正样本数据的损失值，当损失值大于预设的阈值，则返回步骤S3；否则进行步骤S5；

S5、输出训练后的分类网络模型作为检测模型，以检测模型作为本申请检测烟的核心内容。

实施例2

由于现代医学的快速发展，目前已有的医学影像相关的数据集并不精准，例如之前使用的仪器不如现代仪器先进，因而从图像所用的仪器的采集到制作，难以满足现代医学的需求，故本申请采集当前手术中的医学影像，重新制作准确的数据集，因此在实施例1的基础上，本实施例制作全新的数据集，以满足当前的需求，本实施例结合图1进行阐述，至少包括以下几个步骤：

S11、获取4k内窥镜摄像系统在实际腔内手术中采集得到的视频和图像，对烟雾视频进行分帧处理，得到若干个视频帧，构建具有时序的视频帧序列，图像不做处理，可直接使用；

S12、对视频帧序列中的每一个视频帧进行拉普拉斯金字塔空间分解，以得到不同空间频率下的帧图像，并对所选帧图像进行滤波处理，例如使用时域滤波、空域滤波等，以消除图像数字化过程种产生的噪声；

S13、对每帧图像以及采集得到的图像进行逐一标注，划分为有烟雾的数据集以及无烟雾的数据集。

最后得到的数据集，更加接近现代手术时体内的真实环境。

实施例3

本申请中检测有无烟是为了后面使用相关的除烟设备对其进行除烟，例如使用气腹机对其进行除烟，为了更好的控制气腹机的工作时间和工作效率，本实施例在处理数据集时进行内容上的优化，包括烟的区域、烟的大小等，本实施例以对烟位于图像上的区域位置为例，对处理过程做进一步的阐述：

本申请以4k内窥镜采集的图像和视频为例，而4k内窥镜采集的图像和视频分辨率过高。

S14、首先采用python将其进行集体压缩并统一更改命名格式，如smoke(n)和nosmoke(n)，其中n为第多少张图片；将压缩且命名完毕的有烟数据集进一步处理，例如，根据烟在图像的位置，例如按照左上、左下、右上、右下四个区域分为smoke-a，smoke-b，smoke-c，smoke-d四个不同区域的含烟雾数据集。对于同时充满两个区域的烟的类型，我们按照不同位置的烟的大小位置进行划分，如果相差不大的情况下，我们优先放入左下区域，即smoke-b含烟数据集内。又例如，为图像中央为圆心，按照居中区域、附近区域、远离中心区域进行分类。

然后将已经压缩且命名完毕的数据集在python上按照9：1分别划分为训练集和测试集。

S15、对预定格式的文件做均值处理，检验数据集的准确性。以使用的网络框架为caff框架为例，caffe框架只支持lmdb文件，因此，将划分好的训练集和测试集利用python生成文本类信息，其次生成lmdb文件，使用python对lmdb文件做一个均值处理。由于图像的平稳性，不需要进行任何方差归一化操作，但是要进行均值规整化，其目的是保证所有特征的均值都在0附近，来检测结果准确性。

实施例4

基于实施例1的技术内容，本实施例给出一种分类网络模型，用于检测手术时产生的烟，构建分类网络模型的过程包括：

S22、引入激活函数，激活函数采用sigmod激活函数，具体公式为：

其中，其中，x为任意值，e为常数，S(x)取值范围为(0,1)，

将激活函数分别嵌入对应的卷积层、对应的全连接层，将输入层、输出层、卷积层、池化层、全连接层按照预设的数量以及顺序进行设置。

实施例5

在实施例4的基础上，如他图2所示，本实施例给出一种具体的分类网络模型，使用训练集对其训练过程如下:

S25、输入第三池化特征图至两个全连接层，提取特征并进行分类，输出预测值，引入损失函数计算分类后的预测值与训练集中的真实值之间损失值，并更新分类网络模型的参数，损失函数的公式为：

本实施例结合具体参数并结合实施例4对上述训练过程进行进一步阐述，如图2所示，首先定义输入图片的大小为64*64，然后在第一卷积层进行卷积，采用5*5的卷积核进行卷积操作，得到一个56*56的特征图，其次在第一池化层进行操作，采用最大平均池化进行池化操作，其步长为2*2，进而得到一个28*28的特征图，再次在第二卷积层，采用3*3的卷积核进行卷积操作，得到一个20*20的特征图，在第二池化层进行操作，这里采用1*1的最大平均池化，得到一个10*10的特征图，在第三卷积层操作，使用步长为2的卷积核进行操作后，输出的特征图为8*8，再一次第三池化层使用平均最大池化，得到4*4的特征图，经过两个全连接层后，对图像进行二分类输出。此外每个卷积层以及全连接层后都有一个激活函数，采用sigmod激活函数，sigmod函数也叫作Logistic函数，用于隐层神经单元输出，取值范围为(0,1)，它可以将一个实数映射到(0,1)的区间，可以用来做二分类。经过多次更换激活函数发现，sigmod激活函数平滑，易于求导的特点在此网络模型中准确率最高，其公式为

其中，x为任意值，e为常数，S(x)取值范围为(0,1)。

实际上，激活函数可以看作是变量间的一个非线性变换，通过引入激活函数来增加神经网络模型的非线性，以便增加对样本非线性关系的拟合能力。只有加入了激活函数之后，深度神经网络才具备了分层的非线性映射学习能力。为了使模型生成的预测值与真实值相接近，我们加入了损失函数，损失函数的使用主要是在模型的训练阶段，每个批次的训练数据送入模型后，通过前向传播输出预测值，然后损失函数会计算出预测值和真实值之间的差异值，也就是损失值。得到损失值之后，模型通过反向传播去更新各个参数，来降低真实值与预测值之间的损失，使得模型生成的预测值往真实值方向靠拢，从而达到学习的目的，我们损失函数采用均方误差损失函数(MSE)，其公式为

均方误差损失函数(MSE)的值越小，表示预测模型描述的样本数据具有越好的精确度，它具有无参数、计算成本低和明确物理意义等优点，是一种优秀的距离度量方法。在回归问题中，MSE常被作为模型的经验损失或算法的性能指标，而且在模式识别、图像处理中也被应用的非常广泛。此分类模型共有10层，包括输入输出层在内，有三个卷积层，三个池化层以及两个全连接层，将每个输入大小为64*64的图片，逐步提取特征最后进行五分类。当使用更多的卷积层和池化层后，不仅会破坏到提取到已有的特征，还会加大参数的运算量，增加浮点数，而使用较少的卷积层和池化层，又无法比较完整的提取所有的特征，尤其是对于四个不同区域来说，很难区分，在此基础上本发明使用三个卷积层以及三个池化层，可以最大程度的保留局部特征的同时，又可以最大程度的捕获全局表示，同时不会有太大的运算量。采用两个全连接层的意义在于，第一个全连接层(conv--FC)的作用可看作将前面的卷积层学到的不同大小的感受野中的抽象信息，映射到更大的空间中，增加了模型的表征能力。而第二个全连接层(FC--FC)也有上述作用，但更多是为了匹配检测网络的输出尺度。

本实施例中，图2中，F1和F2仅代表两个全连接层的标记，输出层包括两个输出节点。

实施例6

在实施例5提出的分类网络模型的基础上，设置学习率为0.01，bach_size为64，一个epoch为50；如图3、图4所示，其中epoch为轮次，acc为准确率，loss为损失率，将经过预处理之后的训练集投入到分类网络模型中进行训练，一轮epoch的时间在5分钟左右，挑选其中准确率最高的网络分类模型，作为最终分类网络模型，最终网络得分类模型准确率为99.24％。

将经过预处理之后的测试集投入到挑选好的分类网络模型进行测试，确保没有过拟合现象。

实施例7

在实施例6的基础上，使用分类网络模型构建检测模块，进而对体内进行烟的检测，检测烟的流程包括以下步骤：

S6、采集当前体内的视频，对视频进行处理，输出当前帧的图像数据，检测模块视频当前帧的图像数据；其中本申请的实施例9中给出了一套完整的除烟系统，包括采集设备；

S7、检测模块接收当前帧的图像数据，使用实施例6中的分类网络模型对当前帧的图像数据进行分类，判断当前帧的图像数据中有烟或者无烟；

S8、输出预测的结果数据。

实施例8

分类网络模型的最终效果基于训练集的训练，因此，考虑本申请是要解决手术中的烟，意义重大，本申请对图像进行一定的扩容处理，包括几何畸变、遮挡、随机水平翻转、随机裁剪、随机旋转、随机缩放和图像融合。将扩容处理之后的数据集再次投入到确定的分类网络模型，提升分类网络模型准确率。

此外本申请中分类网络模型所采用的数据集，都是在实际的情况下进行检测烟，可能会遇到雾去除的不及时或者还有残留的雾气，雾附着在内窥镜头上，导致整体图片整体含雾，通过采集的真实的视频以及图像，使得分类网络模型能够识别出烟，保持就高的准确率，即在有雾的情况下依旧很好的可以检测出烟，并且检测到烟的具体位置，最后在有雾的情况下仍然能除烟，以保证手术的顺利。

实施例9

在实施例1-8的基础上，本实施例提出一种除烟系统，至少包括采集设备、内镜主机、除烟设备。其中采集设备的工作端深入体内，用于采实时集当前体内的影像，内镜主机连接采集设备，用于接收对应的体内的影像，内镜主机至少内嵌检测模块、控制模块，检测模块基于分类网络模型构建，用于检测体内手术时产生的烟，控制模块基于检测模块的检测信号，发出对应的控制命令，控制模块至少包括启停控制、时间控制、功率控制，除烟设备至少包括进气单元、除烟单元，除烟设备接收内镜主机的控制命令，进行对应的工作。

本实施例还包括能量设备，与内镜主机交互，能量设备用于体内手术，例如，能量设备可以为电刀，通过数据线与内镜主机实现通信。

实施例10

根据实施例9的技术内容，本实施例中除烟系统的工作内容包括：

采集设备持续采集当前体内的影像，并发送给内镜主机，内镜主机接收当前体内的影像，启动检测模块进行检测，当检测模块检测到当前体内有烟时，控制模块发出除烟命令，除烟设备启动除烟单元，同时除烟设备启动进气单元，保持体内压力平衡，当检测模块检测到当前体内无烟，控制模块发出关闭除烟命令，除烟设备关闭除烟单元，同时除烟设备关闭进气单元。

实施例11

如实施例3提到的内容，在手术环境中，当烟不位于中间位置时或者烟的浓度较大，采用常规的吸烟功率，无法短时间内除烟，同时除烟不及时，导致部分烟附着在镜头上，导致图像清晰度下降，影像手术时的判断，基于检测模块检测到烟的位于图像的区域，检测模块输出对应的功率控制信号，控制模块发出对应的功率控制，调整除烟设备的工作功率。

实施例12

与实施例9-11不同的是，部分医生在手术过程中需要实时获取体内影像，因此采用除烟系统进行除烟时，本实施例还给出一种软件图像处理方法，包括以下步骤：构建采集单元，采集当前帧的图像数据；

构建识别单元，识别单元识别当前帧的图像数据中烟所在区域；

构建3D点云处理单元，使用上一帧经过处理后的图像数据为基准，对当前帧烟所在区域进行更换；输出当前帧的处理图像数据；

缓存单元，缓存当前帧的处理图像数据，用于下一帧图像处理的基准。

具体过程为，采集单元的当前帧的有烟图像，识别单元识别烟所在的区域，标注为有烟区域A₁、有烟区域A₂……，以上一帧进过处理后的无烟图像为基准参考图像，获取对应的无烟区域A₁、无烟区域A₂……，处理单元将有烟区域A替换为无烟区域A，处理完后的图像进行缓存，缓存至缓存单元，用于下一帧的基准参考图像并从缓存单元进行调用，在本实施例中，图像处理模块内置预先采集体内的影像，做区域化分类，本实施例中的处理单元可采用3D点云技术。本实施例基于前后帧的图像，选取对应的无烟区域，对有烟区域进行替换，以保证手术的清晰度。

进一步的，为了保持最优的图像，图像处理模块在手术时，接收前后帧的体内图像，使用前一帧处理后的图像对下一帧进行处理，通过处理单元将前一帧的无烟区域替换当前帧的有烟区域，进行实时输出。

实施例13

步骤一、待检区域图像数据采集与构建，具体如下：

获取第一视频，并从第一视频中依次读取各帧图像；

将每帧图像划分为N×M个图像区域，并顺次判断各个图像区域中是否存在遮挡物；其中N，M为正整数；

若某帧图像的某一图像区域中，存在遮挡物，则查找该帧图像前后相邻帧图像中对应图像区域不存在遮挡物的至少一帧图像；

从相邻帧图像中不存在遮挡物的图像区域中获取替换信息；通过替换信息对存在遮挡物的图像区域进行替换，形成若干帧标准图像；

基于至少P帧标准图像构建拍摄区域的3D点云数据，形成待检区域的三维图像数据；或基于所述标准图像构建待检区域的整体标准图像。P为正整数，P≥3。

步骤二、实时图像修正

在工作时，采集第二视频，并将复制为两路，其中一路为图像修正通道；

当判断第二视频中存在遮挡物时，从所述整体标准图像或者三维图像数据中查找对应图像区域的数据，替换原数据后，进行输出。

通过上述实施例，可以在硬件除烟除雾效果不好的情况下，比如体液粘度大，导致烟颗粒不容易从视频采集端口去除的情况下，能够通过预存储的图像信息进行替换，形成较为清晰的图像。在使用时，也非常方便，可以在工作前拍摄一端图像，然后基于这个图像生成相关区域的整体标准图像。在后续工作过程中，由于加热等造成的烟雾情况，可以通过前述的标准图像进行叠加处理。

尽管结合具体特征及其实施例对本申请进行了描述，显而易见的，在不脱离本申请的精神和范围的情况下，可对其进行各种修改和组合。相应地，本说明书和附图仅仅是所附权利要求所界定的本申请的示例性说明，且视为已覆盖本申请范围内的任意和所有修改、变化、组合或等同物。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包括这些改动和变型在内。

以上仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims

1.一种除烟系统，其特征在于，包括：

内镜主机，电性连接于所述采集设备；所述内镜主机至少内嵌检测模块、控制模块，所述检测模块基于分类网络模型构建，用于检测体内手术时产生的烟；所述控制模块基于检测模块的检测信号，发出对应的控制命令；所述控制模块至少包括启停控制、时间控制、功率控制；

除烟设备，接收所述内镜主机的控制命令；所述除烟设备至少包括进气单元、除烟单元；

能量设备，与所述内镜主机交互，所述能量设备用于体内手术；

所述内镜主机持续接收当前体内的影像，所述检测模块检测当前体内的影像；

当烟不位于中间位置时或者烟的浓度较大，无法短时间内除烟，同时除烟不及时，部分烟附着在镜头上，导致图像清晰度下降，影像手术时的判断，基于检测模块检测到烟的位于图像的区域，检测模块输出对应的功率控制信号，控制模块发出对应的功率控制，调整除烟设备的工作功率；

当检测模块检测到无烟，所述控制模块发出关闭除烟命令，除烟设备关闭除烟单元，同时除烟设备关闭进气单元；

基于所述检测模块检测到烟的位于图像的区域，输出对应的功率控制信号，控制模块发出对应的功率控制，调整除烟设备的工作功率。