CN110032980B - 一种基于深度学习的器官检测与识别定位方法 - Google Patents

Abstract

本发明属于医学领域，涉及一种基于深度学习的器官检测与识别定位方法。通过深度学习实现对器官的特征提取和特征区域预测，利用训练网络的基础网络部分对所输入图像进行特征提取，辅助网络部分使用卷积核对卷积特征层进行预测，生成一个固定的预测集，实现针对不同卷积特征层的多尺度预测。对于所生成预测集，通过筛选找到最佳边界框，去除冗余边界框，选取边界框邻域中分数最高的窗口，抑制分数低的窗口。输出筛选结果，通过文本信息和矩形框表示，完成在所采集图像中对于器官的检测和识别定位，实现复杂关键区域的识别与定位，获知关键器官部位的位置信息和类别信息。

Description

一种基于深度学习的器官检测与识别定位方法

技术领域

本发明涉及一种基于深度学习的器官检测与识别定位方法，更具体的说，本发明涉及一种医学领域的基于深度学习的器官检测与识别定位方法。

背景技术

在医学手术过程中，虽然经过长期训练，经验丰富的医生已经熟知人体内各部位器官的结构，但是，在高度紧张的手术过程中，医生往往需要左右手进行不同的操作。在专注于某一项操作时，另一只手中器械极易因不小心滑落而触碰“红线”部位，“红线”部位为人体中绝不能触碰的器官部位，例如心脏手术中绝对不可触碰的Koch三角，轻则造成意外出血，重则威胁生命。并且，传统手术过程中，由于医生无法准确定位器官所在位置，无法准确划分相邻器官间的可操作空间大小，因此医生需要多次尝试才能确定尺寸适合的手术工具，不仅增加了手术时间同时也增加了手术的风险。对于传统的图像处理和识别方法，由于现今医学图像采集装置所采集到的器官等关键部位的图像颜色和纹理相似度很高，使用传统方法难以自动获得不同的器官部位的位置信息和类别信息。因此，为了避免传统手术中完全凭借经验的劣势，实现手术过程中关键器官部位的实时检测与识别定位，有效地避免医生在手术过程中产生的误触事件，设计了一种基于深度学习的器官检测与识别定位方法，通过深度学习实现对器官的特征提取和特征区域预测，实现复杂关键区域的识别与定位。

发明内容

本发明设计了一种基于深度学习的器官检测与识别定位方法，该方法能够应用于医学领域中，通过深度学习实现对器官的特征提取和特征区域预测，实现对于医学手术过程中关键器官部位的实时检测与识别定位。

所述的基于深度学习的器官检测与识别定位方法的硬件系统包括：

用于采集图像的1280*1024的工业相机两个；

用于图像采集、数据处理和精度控制的计算机；

NACHI机械臂一台；

光学硬杆内窥镜两根；

LED冷光源一个；

本发明设计了一种基于深度学习的器官检测与识别定位方法，其特征在于，包括以下步骤：

步骤1：在医学手术过程中，使用相机采集手术现场真实图像，对所采集图像进行筛选，选取涵盖相同目标器官的图像，对所选取的图像进行预处理，获得相同固定尺寸的图像，作为原始数据集；将所述的原始数据集中65％的图像作为训练数据集，15％的图像作为验证数据集，20％的图像作为测试数据集；

步骤2：对步骤1中所述的训练数据集中的图像进行标注，用标签框标注出每一幅图像中目标器官的位置信息和种类信息，生成训练标签，将图像及图像对应的真实标签框作为训练网络的输入；

步骤3：选用特征提取网络的前四层卷积网络作为训练网络的基础网络，对所输入的图像进行特征提取，得到特征图；前四层卷积网络运行完成后，截断所述的基础网络，将特征提取网络的全连接层改成卷积层，并添加四个尺寸逐渐减小的卷积特征层，构成训练网络的辅助网络；

步骤4：将步骤3中所述的辅助网络中的卷积特征层的尺寸表示为a×b×p，a为长度尺寸，b为宽度尺寸，p为通道数，使用尺寸为3×3×p的卷积核对卷积特征层进行预测；对于所述的尺寸表示为a×b×p的卷积特征层，在a×b个位置都会预测出目标器官所属某一类别的得分值和目标器官相对于默认边界框的位置偏移量；

步骤5：将训练网络在步骤3中所述的特征图的每个位置预测的边界框个数设为m，将所检测到的所属不同类别数设为n，按照公式(1)计算得到所预测出的目标器官所属不同类别的得分值c，按照公式(2)计算得到器官相对于默认边界框的位置偏移量d，按照公式(3)计算得到训练网络总体预测出的输出量个数t；对于步骤3中所述的辅助网络中的每一个卷积特征层，生成一个固定的预测集，从而在训练网络中实现针对不同卷积特征层的多尺度预测；

c＝m×n  公式(1)

d＝4×m  公式(2)

t＝(c+d)×a×b  公式(3)

步骤6：在卷积特征层输出的预测集中，对于生成的出现包含或者重叠情况的边界框，将边界框个数设为K，将不同边界框所得的不同得分值设为s_i(i＝1，2，...，K)；选取得分值最大的边界框将其表示为G，将边界框中除去得分值最大的边界框后所剩其余边界框表示为H_j(j＝1，2，...，K-1)，将其余边界框的得分值重新表示为s_j(j＝1，2，...，K-1)，并将边界框G添加到最终的输出列表中；按照公式(4)计算其余边界框H_j(j＝1，2，...，K-1)与最大边界框G的IoU(Intersection over union交并比)值，记为iou(G，H_j)(j＝1，2，...，K-1)；设置阈值为N_t，按照公式(5)的分数重置函数计算其余边界框的重置分数s_j′(j＝1，2，...，K-1)，再按照置信度大小进行排序，将得分值最大的边界框输出，删除得分值最小的，从而实现对边界框的筛选；

步骤7：重复步骤6所述的对边界框的筛选过程，找到最佳边界框，去除冗余的边界框，从而选取边界框邻域中包含目标器官分数最高的窗口，抑制分数低的窗口；

步骤8：输出筛选后的最优结果，得到最终对于输入图像中目标器官所属位置信息和类别信息的最佳预测值；预测值输出后，训练网络过程结束，生成训练网络；

步骤9：将步骤1中所述的验证数据集输入训练完成的网络进行验证，针对输出结果对训练网络进行优化调整，得到最终训练网络；

步骤10：将步骤1中所述的测试数据集输入步骤9中所述的最终训练网络中，得到测试图像中的目标器官所属类别信息和位置信息，通过文本信息和矩形框表示，完成在所采集图像中对于器官的检测和识别定位。

附图说明

图1：器官检测与识别定位方法流程图；

图2：器官检测与识别定位方法结构示意图；

具体实施方式

本发明通过深度学习实现对器官的特征提取和特征区域预测，实现复杂关键区域的识别与定位，获知关键器官部位的位置信息和类别信息。

通过对所采集图像进行预处理，生成数据集，标注图像中器官的位置信息和种类信息，生成训练标签，输入训练网络。利用训练网络的基础网络部分对所输入的图像进行特征提取，将特征提取网络的全连接层改成卷积层，添加四个尺寸逐渐减小的卷积特征层，构成训练网络的辅助网络。使用卷积核对卷积特征层进行预测，预测出目标器官所属某一类别的得分值和目标器官相对于默认边界框的位置偏移量，得到所属不同类别的得分值、位置偏移量和总体预测出的输出量个数，生成一个固定的预测集，实现针对不同卷积特征层的多尺度预测。计算其余边界框与分值最大边界框的交并比，通过分数重置函数计算其余边界框的重置分数，按照置信度排序，输出分数高的，删除分数低的，重复筛选过程，找到最佳边界框，去除冗余边界框，选取边界框邻域中分数最高的窗口，抑制分数低的窗口，输出筛选结果，得到目标器官位置信息和类别信息，生成训练网络并利用验证数据集验证网络，对训练网络进行优化调整，得到最终训练网络。最后输入测试数据集，得到目标器官所属类别信息和位置信息，通过文本信息和矩形框表示，完成在所采集图像中对于器官的检测和识别定位，实现手术过程中高相似度纹理下关键区域的实时检测与识别定位，有效避免医生在手术过程中产生的误触事件。

本发明设计了一种基于深度学习的器官检测与识别定位方法，其特征在于，包括以下步骤：

步骤1：在医学手术过程中，使用相机采集手术现场真实图像，对所采集图像进行筛选，选取涵盖相同目标器官的图像，对所选取的图像进行预处理，获得相同固定尺寸的图像，作为原始数据集；将所述的原始数据集中65％的图像作为训练数据集，15％的图像作为验证数据集，20％的图像作为测试数据集；

步骤2：对步骤1中所述的训练数据集中的图像进行标注，用标签框标注出每一幅图像中目标器官的位置信息和种类信息，生成训练标签，将图像及图像对应的真实标签框作为训练网络的输入；

步骤3：选用特征提取网络的前四层卷积网络作为训练网络的基础网络，对所输入的图像进行特征提取，得到特征图；前四层卷积网络运行完成后，截断所述的基础网络，将特征提取网络的全连接层改成卷积层，并添加四个尺寸逐渐减小的卷积特征层，构成训练网络的辅助网络；

步骤4：将步骤3中所述的辅助网络中的卷积特征层的尺寸表示为a×b×p，a为长度尺寸，b为宽度尺寸，p为通道数，使用尺寸为3×3×p的卷积核对卷积特征层进行预测；对于所述的尺寸表示为a×b×p的卷积特征层，在a×b个位置都会预测出目标器官所属某一类别的得分值和目标器官相对于默认边界框的位置偏移量；

步骤5：将训练网络在步骤3中所述的特征图的每个位置预测的边界框个数设为m，将所检测到的所属不同类别数设为n，按照公式(1)计算得到所预测出的目标器官所属不同类别的得分值c，按照公式(2)计算得到器官相对于默认边界框的位置偏移量d，按照公式(3)计算得到训练网络总体预测出的输出量个数t；对于步骤3中所述的辅助网络中的每一个卷积特征层，生成一个固定的预测集，从而在训练网络中实现针对不同卷积特征层的多尺度预测；

c＝m×n  公式(1)

d＝4×m  公式(2)

t＝(c+d)×a×b  公式(3)

步骤6：在卷积特征层输出的预测集中，对于生成的出现包含或者重叠情况的边界框，将边界框个数设为K，将不同边界框所得的不同得分值设为s_i(i＝1，2，...，K)；选取得分值最大的边界框将其表示为G，将边界框中除去得分值最大的边界框后所剩其余边界框表示为H_j(j＝1，2，...，K-1)，将其余边界框的得分值重新表示为s_j(j＝1，2，...，K-1)，并将边界框G添加到最终的输出列表中；按照公式(4)计算其余边界框H_j(j＝1，2，...，K-1)与最大边界框G的IoU(Intersection over union交并比)值，记为iou(G，H_j)(j＝1，2，...，K-1)；设置阈值为N_t，按照公式(5)的分数重置函数计算其余边界框的重置分数s_j′(j＝1，2，...，K-1)，再按照置信度大小进行排序，将得分值最大的边界框输出，删除得分值最小的，从而实现对边界框的筛选；

步骤7：重复步骤6所述的对边界框的筛选过程，找到最佳边界框，去除冗余的边界框，从而选取边界框邻域中包含目标器官分数最高的窗口，抑制分数低的窗口；

步骤8：输出筛选后的最优结果，得到最终对于输入图像中目标器官所属位置信息和类别信息的最佳预测值；预测值输出后，训练网络过程结束，生成训练网络；

步骤9：将步骤1中所述的验证数据集输入训练完成的网络进行验证，针对输出结果对训练网络进行优化调整，得到最终训练网络；

步骤10：将步骤1中所述的测试数据集输入步骤9中所述的最终训练网络中，得到测试图像中的目标器官所属类别信息和位置信息，通过文本信息和矩形框表示，完成在所采集图像中对于器官的检测和识别定位。

综上所述，本发明所述的器官检测与识别定位方法的优点是：

避免传统手术中完全凭借经验的劣势，通过深度学习实现对器官的特征提取和特征区域预测，自动获得不同的器官部位的位置信息和类别信息，识别速度快，精度高，鲁棒性好，有效地避免医生在手术过程中产生的误触事件，实现对于医学手术过程中关键器官部位的实时检测与识别定位。

以上示意性的对本发明及其实施方式进行了描述，该描述没有局限性，附图中所示的也只是本发明的实施方式之一。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，采用其它形式的同类部件或其它形式的各部件布局方式，不经创造性的设计出与该技术方案相似的技术方案与实施例，均应属于本发明的保护范围。

Claims (1)

1.一种基于深度学习的器官检测与识别定位方法，其特征在于，包括以下步骤：

步骤1：使用相机采集手术图像，对所采集图像进行筛选，选取涵盖相同目标器官的图像，对所选取的图像进行预处理，获得相同固定尺寸的图像，作为原始数据集；将所述的原始数据集中65％的图像作为训练数据集，15％的图像作为验证数据集，20％的图像作为测试数据集；

步骤2：对步骤1中所述的训练数据集中的图像进行标注，用标签框标注出每一幅图像中目标器官的位置信息和种类信息，生成训练标签，将图像及图像对应的真实标签框作为训练网络的输入；

步骤3：选用特征提取网络的前四层卷积网络作为训练网络的基础网络，对所输入的图像进行特征提取，得到特征图；前四层卷积网络运行完成后，截断所述的基础网络，将特征提取网络的全连接层改成卷积层，并添加四个尺寸逐渐减小的卷积特征层，构成训练网络的辅助网络；

步骤4：将步骤3中所述的辅助网络中的卷积特征层的尺寸表示为a×b×p，a为长度尺寸，b为宽度尺寸，p为通道数，使用尺寸为3×3×p的卷积核对卷积特征层进行预测；对于所述的尺寸表示为a×b×p的卷积特征层，在a×b个位置都会预测出目标器官所属某一类别的得分值和目标器官相对于默认边界框的位置偏移量；

步骤5：将训练网络在步骤3中所述的特征图的每个位置预测的边界框个数设为m，将所检测到的所属不同类别数设为n，按照公式(1)计算得到所预测出的目标器官所属不同类别的得分值c，按照公式(2)计算得到器官相对于默认边界框的位置偏移量d，按照公式(3)计算得到训练网络总体预测出的输出量个数t；对于步骤3中所述的辅助网络中的每一个卷积特征层，生成一个固定的预测集，从而在训练网络中实现针对不同卷积特征层的多尺度预测；

c＝m×n  公式(1)

d＝4×m  公式(2)

t＝(c+d)×a×b  公式(3)

步骤6：在卷积特征层输出的预测集中，对于生成的出现包含或者重叠情况的边界框，将边界框个数设为K，将不同边界框所得的不同得分值设为s_i，i＝1，2，...，K；选取得分值最大的边界框将其表示为G，将边界框中除去得分值最大的边界框后所剩其余边界框表示为H_j，j＝1，2，...，K-1，将其余边界框的得分值重新表示为s_j，并将边界框G添加到最终的输出列表中；按照公式(4)计算其余边界框H_j与最大边界框G的IoU值，记为iou(G，H_j)；设置阈值为N_t，按照公式(5)的分数重置函数计算其余边界框的重置分数s_j′，再按照置信度大小进行排序，将得分值最大的边界框输出，删除得分值最小的，从而实现对边界框的筛选；

步骤7：重复步骤6所述的对边界框的筛选过程，找到最佳边界框，去除冗余的边界框，从而选取边界框邻域中包含目标器官分数最高的窗口，抑制分数低的窗口；

步骤8：输出筛选后的最优结果，得到最终对于输入图像中目标器官所属位置信息和类别信息的最佳预测值；预测值输出后，训练网络过程结束，生成训练网络；

步骤9：将步骤1中所述的验证数据集输入训练完成的网络进行验证，针对输出结果对训练网络进行优化调整，得到最终训练网络；

步骤10：将步骤1中所述的测试数据集输入步骤9中所述的最终训练网络中，得到测试图像中的目标器官所属类别信息和位置信息，通过文本信息和矩形框表示，完成在所采集图像中对于器官的检测和识别定位。

Images