CN114903415A - Dicom影像在内窥镜胶囊机器人自动导航中的应用 - Google Patents

Abstract

本发明公开了DICOM影像在内窥镜胶囊机器人自动导航中的应用，包括以下步骤：步骤S1、利用DICOM KIN技术在患者的医学影像中提取出KIN影像，并利用DICOM GSPS技术在所述KIN影像中标记出GSPS信息；步骤S2、基于所述KIN影像中的GSPS信息规划出巡检患者的可疑病灶部位的最优路径，并依据所述最优路径自动生成胶囊机器人的导航信息，以实现胶囊机器人依据导航信息达到患者的可疑病灶部位处进行可疑病灶部位的深度检查；步骤S3、基于深度检查结果在可疑病灶部位中确定出患者的确凿病灶部位。本发明基于现有的影像的GSPS和KIN自动计算患者病灶部位的路径信息，自动生成胶囊机器人的自动寻路的导航信息，极大的利用现有的电池续航能力。

Description

DICOM影像在内窥镜胶囊机器人自动导航中的应用

技术领域

本发明涉及医疗影像处理技术领域，具体涉及DICOM影像在内窥镜胶囊机器人自动导航中的应用。

背景技术

随着AI和小型机器人技术的发展，目前机器人胶囊在病人的内窥镜检查中发挥着越来越重要的作用，这些机器人在病人的检查的精准性和治疗的靶向性方面远超过目前的软管内窥镜系统。传统的软管内窥镜极易给患者带来的生理不舒适性和心理上的恐惧感，这些方面往往会降低检查或者治疗的效果，同时因为人体脏器组织的特点，部分消化道系统是无法用内窥镜系统检查的，而胶囊机器人系统因其只有普通的药囊大小，患者检查的不适感大幅降低，体内检查的深度和准确性也得到大幅提高。

虽然胶囊机器人有如此多的优点，但也有其致命的缺点：1电池的续航能力有限，机器人无法在人体内执行复杂长时间的检查；2机器人往往需要专业技师在体外控制，无法自行在人体内自动导航。这两个缺点造成机器人内窥镜系统检查的成本较高，操作的专业性和难度较大。

发明内容

本发明的目的在于提供DICOM影像在内窥镜胶囊机器人自动导航中的应用，以解决现有技术中内窥镜系统检查的成本较高，操作的专业性和难度较大的技术问题。

为解决上述技术问题，本发明具体提供下述技术方案：

DICOM影像在内窥镜胶囊机器人自动导航中的应用，包括以下步骤：

步骤S1、利用DICOM KIN技术在患者的医学影像中提取出KIN影像，并利用DICOMGSPS技术在所述KIN影像中标记出GSPS信息，所述KIN影像表征为包含患者疾病诊断信息的医学影像，所述GSPS信息表征为患者可疑病灶部位的、位置、尺寸、形状的参数信息；

步骤S2、基于所述KIN影像中的GSPS信息规划出巡检患者的可疑病灶部位的最优路径，并依据所述最优路径自动生成胶囊机器人的导航信息，以实现胶囊机器人依据导航信息达到患者的可疑病灶部位处进行可疑病灶部位的深度检查；

步骤S3、基于深度检查结果在可疑病灶部位中确定出患者的确凿病灶部位，以实现对患者病灶部位的确凿信息的精准掌握。

作为本发明的一种优选方案，所述利用DICOM KIN技术在患者的医学影像中提取出KIN影像，利用DICOM GSPS技术在所述KIN影像中标记出GSPS信息，包括：

若医学影像的患者信息与胶囊机器人检查申请单中的患者信息匹配成功，则利用DICOM KIN技术在患者的医学影像中提取出KIN影像，并利用DICOM GSPS技术在所述KIN影像中标记出GSPS信息；

若患者信息匹配失败或KIN影像获取失败或GSPS信息获取失败等，则由体外的技师进行人工控制，以完成胶囊机器人的检查。

作为本发明的一种优选方案，所述基于所述KIN影像中的GSPS信息规划出巡检患者的可疑病灶部位的最优路径，包括：

由所述KIN影像中的GSPS信息确定可疑病灶部位，以可疑病灶部位质心作为路径规划目标，基于体外植入点范围限制、障碍物避障限制和胶囊机器人形状限制构建多条件约束；

迭代搜索经过当前路径点的障碍物切线切点，以其附近非障碍物点更新路径点，直至和目标之间无障碍物；遍历体外植入点范围，使用反向切点搜索方法搜索路径点，计算胶囊机器人耦合模型在路径点处的点云状态，通过检测其是否与体外植入点边界区域碰撞检验其是否满足体外植入点范围约束，通过检测其是否与障碍物碰撞检验其是否满足避障约束，以实现多条件约束下可行体外植入点区域和可行路径集合的求解；

使用线性加权法求解全局最优路径，使用主要目标法求解不同目标下的最佳路径，包括距离可疑病灶部位最远路径、长度最短路径和包含组织量最少路径。

作为本发明的一种优选方案，所述体外植入点范围限制，包括：

将KIN影像沿X轴切分为矢状面，首先从前往后检测第一个皮肤软组织边缘点，由第一个皮肤软组织边缘点开始向后、向下检测和追溯可能边缘，直至无论向后还是向下皆为空气点；

若不存在体外植入点，一直向右向下追溯软组织边缘最终会超出图像范围，据此在X轴上将体外植入点区域分割出来；

然后选择体外植入点边缘轮廓最下方边缘点作为体外植入点区域的前边缘点，由前边缘点向后向下检测空气上和皮肤下边缘点，选择与前边缘点距离最近的边缘点作为体外植入点区域后边缘点，这两个边缘点连线之间体素均位于体外植入点区域，所有体外植入点区域矢状面相应边缘点连线之间体素集合为所求体外植入点区域；

在外力作用下，体外植入点处皮肤整体向右位移最大距离为dr，整体向上位移最大距离为du，将体外植入点区域边缘向右、向上分别延伸和扩展dr、du距离；取dr＝1cm、du＝1cm，延伸扩大体外植入点区域得到体外植入点范围约束，再对体外植入点范围进行三维可视化，便于观察和后续处理。

作为本发明的一种优选方案，所述障碍物避障限制，包括：

在水平面调整体外植入点隔黏膜部分边缘，将其由左向右收缩至软组织和骨质边缘的邻域处，若未检测到边缘，则与相邻区域边缘平齐，模拟体外植入点黏膜收缩前后体外植入点对比；

在冠状面调整下体外植入点轮廓边缘，将其由右向左收缩至软组织和骨质边缘或者软组织以及空气边缘邻域处，若未检测到边缘，则与相邻区域边缘平齐，模拟体外植入点黏膜收缩前后下体外植入点对比。

作为本发明的一种优选方案，所述胶囊机器人形状限制，包括：

建立胶囊机器人和内窥镜的耦合模型，对耦合模型进行路径规划；

对质点进行路径规划时，质点在每个路径节点处的状态为质点位置坐标；

对耦合模型进行路径规划时，将耦合模型在路径节点处的状态由质点三维坐标扩展为高维点云集合。

作为本发明的一种优选方案，所述胶囊机器人形状限制，还包括：

规定耦合模型初始状态为：胶囊机器人和内窥镜中心轴线与Y轴平行，与X轴垂直，与Z轴垂直，对应的位姿角为0，此时胶囊机器人的数学模型为：

式中，(xy,yt,zt)为胶囊机器人前端顶点坐标，rs＝ds/2为胶囊机器人半径；

内窥镜前端斜切圆柱数学模型为：

式中，re＝de/2为内窥镜半径，hes为内窥镜前端面中心与胶囊机器人顶点的高度差：re+rs<hes<dw，式中，les为二者前后距离差：

dw＝10mm时取hes＝6mm，les＝8mm；

再规定位姿角为：以胶囊机器人初始中心轴线为旋转轴绕其旋转，旋转角度为β；以胶囊机器人顶点为旋转中心，绕z轴旋转角度为α；以胶囊机器人顶点为旋转中心，绕x轴旋转角度为γ；按照右手系定则，大拇指指向坐标轴正向，四指方向为旋转的正方向；耦合模型顶点为pt＝(x_t,y_t,z_t)、位姿角为(α,β,γ)时，其点云集合为：

S(x_t，y_t，z_t，α，β，γ)＝{(M-P_t)·R(α，β，γ)+P_t:M∈M_s∪M_e}；

耦合模型在路径节点处的状态，是由三维顶点坐标、三维位姿角度共同决定的高维点云集合；

在路径规划中，胶囊机器人沿路径点前进和深入，胶囊机器人顶点与路径点重合，胶囊机器人从当前路径节点Pc径直前进到下一路径节点P_n处，则P_t＝P_n，手术胶囊机器人中心轴线与P_c和P_n连线重合，α为Y轴正向与

在XOY平面投影的夹角，γ为Y轴正向与

在YOZ平面投影的夹角，β近似为0。

作为本发明的一种优选方案，所述以实现多条件约束下可行体外植入点区域和可行路径集合的求解，包括：

步骤2.1、设置路径点更新时与切点距离dt，将起始点设为当前路径点qs；

步骤2.2、对qs与目标点qg连线上所有像素点进行检测，若不存在障碍物点则qs、qg连线为可行路径跳转至步骤2.6，若存在则搜索连线上第一个障碍物表面的经过qs的切线切点qt，存在多个切点时可选择与目标距离最小的切点；

步骤2.3、在qs、qt、qg所处平面内，计算切线远离障碍物一侧垂线上与qt距离为dt的点qgt；

步骤2.4、以qs为起点、qgt为目标按上述步骤进行子路径规划，直至qs和qgt之间无障碍物，二者连线为子路径规划的可行路径；

步骤2.5、将qs更新为qgt，以qs为起点、qg为目标点按上述步骤进行子路径规划，直至qs和qg之间无障碍物；

步骤2.6、合并所有子路径规划的可行路径，为所规划全局路径；

优选地，所述碰撞检测包括以下步骤：

步骤2.a、遍历圆柱中心轴线上的每一点C，用最邻近搜索算法寻找KD树中与C距离最近障碍物点B；

步骤2.b、用圆柱包络法检测B是否碰撞，若碰撞算法结束，否则记录最小距离；

步骤2.c、遍历所有非圆柱部分表面点，用最邻近搜索算法寻找KD树中与其距离最近障碍物点，若距离小于阈值0.1，视为碰撞算法结束，否则记录最小距离；

步骤2.d、若上述步骤中均未发生碰撞，则手术器械与障碍物未发生碰撞，二者距离为以上最小距离的最小值。

作为本发明的一种优选方案，所述带约束的多目标优化问题描述为：

minx F(x)＝[f1(x),f2(x),…,fK(x)],x∈D(4)

其中，D为条件约束下的可行域，线性加权法根据目标fk(x)的重要程度，设定权重进行线性加权：

式中，λk为目标fk(x)的权重；

主要目标法选择最重要的子目标作为优化目标，其余的子目标作为约束条件受界限约束：

min_x f_p(x)，x∈D，f_k(x)≤∈_k，k≠p；

其中，界限值∈k一般取子目标函数的上界值；

对于路径规划的多目标优化，适合使用线性加权法和主要目标法，构造路径与可疑病灶部位距离的目标函数：

其中d_bi为路径i到可疑病灶部位的距离，d_bmax为所有可行路径到可疑病灶部位的最大距离，d_bmin为所有可行路径到可疑病灶部位的最小距离；

构造路径长度的目标函数：

其中l_i为路径i长度，l_min为所有可行路径的最短长度，l_max为所有可行路径的最长长度；

路径包含组织量用路径通道中包含的软组织和骨质像素点个数衡量，构造路径包含目标组织量的目标函数：

其中t_i为路径i包含组织量，t_max为所有可行路径的最大包含组织量，t_min为所有可行路径的最小包含组织量；

使用线性加权法确定全局最优路径，根据目标重要程度赋予不同目标函数不同权重：

式中，w_b、w_l、w_t分别表征为路径与可疑病灶部位距离的目标函数、路径长度的目标函数和路径包含目标组织量的目标函数的函数权重。

作为本发明的一种优选方案，所述依据所述最优路径自动生成胶囊机器人的导航信息，包括：

生成胶囊机器人的自动寻路的导航路径后，自动标注在检查影像并生成导航路径图，由体外控制技师做最后的临检判断，如果技师判断导航路径不合理，或执行自动导航的胶囊机器人检查不合理，则执行体外人工控制。

本发明与现有技术相比较具有如下有益效果：

本发明基于现有的影像的GSPS和KIN自动计算患者病灶部位的路径信息，依据此路径信息自动生成胶囊机器人的自动寻路的导航信息，从而胶囊机器人可以依据导航信息快速达到患者需要检查的部位，这将极大的利用现有的电池续航能力，大幅减少人为的操作误差，最终提高胶囊机器人的一次性操作成功率，缩短患者的检查或手术时间，降低疾病的诊疗成本。

附图说明

为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。

图1为本发明实施例提供的应用方法流程图；

图2为本发明实施例提供的应用方法的总体流程图；

图3为本发明实施例提供的最优路径规划流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1-3所示，本发明提供了DICOM影像在内窥镜胶囊机器人自动导航中的应用，包括以下步骤：

步骤S1、利用DICOM KIN技术在患者的医学影像中提取出KIN影像，并利用DICOMGSPS技术在所述KIN影像中标记出GSPS信息，所述KIN影像表征为包含患者疾病诊断信息的医学影像，所述GSPS信息表征为患者可疑病灶部位的、位置、尺寸、形状的参数信息；

DICOM GSPS是医学影像的灰阶软拷贝一致性描述，该功能广泛用于医学影像的临床诊断中，用于临床检查影像的诊断、标注和注释。GSPS具备显示一致性的特点，在患者检查完成后，由影像诊断医生或会诊专家依据患者的疾病检查分析结果完成，其中会标识患者可疑的病灶点和病灶部位的尺寸、形状等参数，该功能在临床诊断中具有重要的指导意义。

DICOM KIN是影像的关键影像标注功能，该功能广泛适用于多帧多序列影像的诊断中。在患者进行的检查中，部分检查影像是多帧多序列的，如CT、MR等。在这部分检查影像中，并不是每一帧影像中都包含可供诊断的信息，影像报告医生为了提供临床准确有效的检查信息，会将部分疾病部位的影像进行单独标注。

所述利用DICOM KIN技术在患者的医学影像中提取出KIN影像，利用DICOM GSPS技术在所述KIN影像中标记出GSPS信息，包括：

若医学影像的患者信息与胶囊机器人检查申请单中的患者信息匹配成功，则利用DICOM KIN技术在患者的医学影像中提取出KIN影像，并利用DICOM GSPS技术在所述KIN影像中标记出GSPS信息；

若患者信息匹配失败或KIN影像获取失败或GSPS信息获取失败等，则由体外的技师进行人工控制，以完成胶囊机器人的检查。

步骤S2、基于所述KIN影像中的GSPS信息规划出巡检患者的可疑病灶部位的最优路径，并依据所述最优路径自动生成胶囊机器人的导航信息，以实现胶囊机器人依据导航信息达到患者的可疑病灶部位处进行可疑病灶部位的深度检查；

所述基于所述KIN影像中的GSPS信息规划出巡检患者的可疑病灶部位的最优路径，包括：

由所述KIN影像中的GSPS信息确定可疑病灶部位，以可疑病灶部位质心作为路径规划目标，基于体外植入点范围限制、障碍物避障限制和胶囊机器人形状限制构建多条件约束；

迭代搜索经过当前路径点的障碍物切线切点，以其附近非障碍物点更新路径点，直至和目标之间无障碍物；遍历体外植入点范围，使用反向切点搜索方法搜索路径点，计算胶囊机器人耦合模型在路径点处的点云状态，通过检测其是否与体外植入点边界区域碰撞检验其是否满足体外植入点范围约束，通过检测其是否与障碍物碰撞检验其是否满足避障约束，以实现多条件约束下可行体外植入点区域和可行路径集合的求解；

使用线性加权法求解全局最优路径，使用主要目标法求解不同目标下的最佳路径，包括距离可疑病灶部位最远路径、长度最短路径和包含组织量最少路径。

所述体外植入点范围限制，包括：

将KIN影像沿X轴切分为矢状面，首先从前往后检测第一个皮肤软组织边缘点，由第一个皮肤软组织边缘点开始向后、向下检测和追溯可能边缘，直至无论向后还是向下皆为空气点；

若不存在体外植入点，一直向右向下追溯软组织边缘最终会超出图像范围，据此在X轴上将体外植入点区域分割出来；

然后选择体外植入点边缘轮廓最下方边缘点作为体外植入点区域的前边缘点，由前边缘点向后向下检测空气上和皮肤下边缘点，选择与前边缘点距离最近的边缘点作为体外植入点区域后边缘点，这两个边缘点连线之间体素均位于体外植入点区域，所有体外植入点区域矢状面相应边缘点连线之间体素集合为所求体外植入点区域；

在外力作用下，体外植入点处皮肤整体向右位移最大距离为dr，整体向上位移最大距离为du，将体外植入点区域边缘向右、向上分别延伸和扩展dr、du距离；取dr＝1cm、du＝1cm，延伸扩大体外植入点区域得到体外植入点范围约束，再对体外植入点范围进行三维可视化，便于观察和后续处理。

所述障碍物避障限制，包括：

在水平面调整体外植入点隔黏膜部分边缘，将其由左向右收缩至软组织和骨质边缘的邻域处，若未检测到边缘，则与相邻区域边缘平齐，模拟体外植入点黏膜收缩前后体外植入点对比；

在冠状面调整下体外植入点轮廓边缘，将其由右向左收缩至软组织和骨质边缘或者软组织以及空气边缘邻域处，若未检测到边缘，则与相邻区域边缘平齐，模拟体外植入点黏膜收缩前后下体外植入点对比。

所述胶囊机器人形状限制，包括：

建立胶囊机器人和内窥镜的耦合模型，对耦合模型进行路径规划；

对质点进行路径规划时，质点在每个路径节点处的状态为质点位置坐标；

对耦合模型进行路径规划时，将耦合模型在路径节点处的状态由质点三维坐标扩展为高维点云集合。

所述胶囊机器人形状限制，还包括：

规定耦合模型初始状态为：胶囊机器人和内窥镜中心轴线与Y轴平行，与X轴垂直，与Z轴垂直，对应的位姿角为0，此时胶囊机器人的数学模型为：

式中，(xy,yt,zt)为胶囊机器人前端顶点坐标，rs＝ds/2为胶囊机器人半径；

内窥镜前端斜切圆柱数学模型为：

式中，re＝de/2为内窥镜半径，hes为内窥镜前端面中心与胶囊机器人顶点的高度差：re+rs<hes<dw，式中，les为二者前后距离差：

dw＝10mm时取hes＝6mm，les＝8mm；

再规定位姿角为：以胶囊机器人初始中心轴线为旋转轴绕其旋转，旋转角度为β；以胶囊机器人顶点为旋转中心，绕z轴旋转角度为α；以胶囊机器人顶点为旋转中心，绕x轴旋转角度为γ；按照右手系定则，大拇指指向坐标轴正向，四指方向为旋转的正方向；耦合模型顶点为pt＝(x_t,y_t,z_t)、位姿角为(α,β,γ)时，其点云集合为：

S(x_t，y_t，z_t，α，β，γ)＝{(M-P_t)·R(α，β，γ)+P_t:M∈M_s∪M_e}；

耦合模型在路径节点处的状态，是由三维顶点坐标、三维位姿角度共同决定的高维点云集合；

在路径规划中，胶囊机器人沿路径点前进和深入，胶囊机器人顶点与路径点重合，胶囊机器人从当前路径节点Pc径直前进到下一路径节点P_n处，则P_t＝P_n，手术胶囊机器人中心轴线与P_c和P_n连线重合，α为Y轴正向与

在XOY平面投影的夹角，γ为Y轴正向与

在YOZ平面投影的夹角，β近似为0。

所述以实现多条件约束下可行体外植入点区域和可行路径集合的求解，包括：

为实现多条件约束下三维环境地图中路径节点的高效搜索，参考分治算法和动态规划算法思想策略，提出一种反向切点搜索(Reverse tangent points search,RTS)路径规划算法，迭代搜索经过当前路径点的障碍物表面切线切点，以其附近非障碍物点更新路径点，直至当前路径点和目标之间无障碍物。

在路径规划中，最简单的情况是起始点和目标点之间无障碍物，二者连线线段即为最短路径。若起始点和目标点之间仅有一个障碍物，求解经过起始点的障碍物表面轮廓的切线和对应切点，起始点和切点之间、切点和目标点之间均无障碍物，则起始点和切点连线为第一段路径，切点和目标点之间连线为第二段路径，全局路径规划问题被一分为二解决，合并两段路径即为可行路径。若有多个切点则存在多条起点-切点-目标点路径，可进一步从中选择最短路径或者弯曲程度最小路径。

类似的，在一般情况下，起始点和目标点之间可能有多个障碍物，则起始点与目标点之间的全局路径规划可不断分解为起点与切点、切点与目标点之间的子路径规划。以起始点为当前路径点，若当前路径点与目标点之间连线未与障碍物发生碰撞，则连线即为可行路径。若发生碰撞，则搜索连线上第一个障碍物经过当前路径点的切线和切点，对当前路径点和切点进行子路径规划：若当前路径点与切点之间连线未与障碍物发生碰撞，则连线为子路径规划的可行路径，将当前路径点更新为切点继续对其和目标点进行子路径规划；若碰撞，则搜索连线上第一个障碍物经过当前路径点的切线和切点，对当前路径点和切点进行子路径规划……如此迭代搜索，直至当前路径点和目标点之间无障碍物，合并所有子路径规划的可行路径即为全局路径规划的可行路径。由于切点在障碍物表面，为避免碰撞，每次更新路径点时可取距切点一定距离的非障碍物点作为路径点。

步骤2.1、设置路径点更新时与切点距离dt，将起始点设为当前路径点qs；

步骤2.2、对qs与目标点qg连线上所有像素点进行检测，若不存在障碍物点则qs、qg连线为可行路径跳转至步骤2.6，若存在则搜索连线上第一个障碍物表面的经过qs的切线切点qt，存在多个切点时可选择与目标距离最小的切点；

步骤2.3、在qs、qt、qg所处平面内，计算切线远离障碍物一侧垂线上与qt距离为dt的点qgt；

步骤2.4、以qs为起点、qgt为目标按上述步骤进行子路径规划，直至qs和qgt之间无障碍物，二者连线为子路径规划的可行路径；

步骤2.5、将qs更新为qgt，以qs为起点、qg为目标点按上述步骤进行子路径规划，直至qs和qg之间无障碍物；

步骤2.6、合并所有子路径规划的可行路径，为所规划全局路径；

在多条件约束下进行路径规划的过程中，为满足手术器械形状约束，需要计算器械耦合模型在路径点处的点云状态。为判断路径是否满足障碍物避障约束，需要对耦合模型点云和障碍物进行碰撞检测。为判断路径是否满足手术入口范围约束，需要对耦合模型点云和手术入口边界区域进行碰撞检测：对手术入口范围的上、下、左、右边缘进行膨胀处理，得到紧邻手术入口边界的膨胀区域，若手术器械点云与膨胀区域发生碰撞，则超出手术入口范围，相应路径不可行，否则可行。膨胀结构元可以采用大小为3×3的方形结构元。

碰撞检测是判断规划路径是否符合多条件约束的核心环节，但通常情况下器械耦合模型点云包含数万个体素，脑组织等障碍物包含体素数从几万到几百万不等。对于大规模点云之间的碰撞检测，若采用遍历法通过判断位置是否重叠来进行检测，需要进行上亿次运算，十分低效耗时。

为解决效率低下这一问题，本实施例将圆柱包络与KD树融合进行碰撞检测，优选地，所述碰撞检测包括以下步骤：

步骤2.a、遍历圆柱中心轴线上的每一点C，用最邻近搜索算法寻找KD树中与C距离最近障碍物点B；

步骤2.b、用圆柱包络法检测B是否碰撞，若碰撞算法结束，否则记录最小距离；

步骤2.c、遍历所有非圆柱部分表面点，用最邻近搜索算法寻找KD树中与其距离最近障碍物点，若距离小于阈值0.1，视为碰撞算法结束，否则记录最小距离；

步骤2.d、若上述步骤中均未发生碰撞，则手术器械与障碍物未发生碰撞，二者距离为以上最小距离的最小值。

所述带约束的多目标优化问题描述为：

minx F(x)＝[f1(x),f2(x),…,fK(x)],x∈D (4)

其中，D为条件约束下的可行域，线性加权法根据目标fk(x)的重要程度，设定权重进行线性加权：

式中，λk为目标fk(x)的权重；

主要目标法选择最重要的子目标作为优化目标，其余的子目标作为约束条件受界限约束：

min_x f_p(x)，x∈D，f_k(x)≤∈_k，k≠p；

其中，界限值∈k一般取子目标函数的上界值；

对于路径规划的多目标优化，适合使用线性加权法和主要目标法，构造路径与可疑病灶部位距离的目标函数：

其中d_bi为路径i到可疑病灶部位的距离，d_bmax为所有可行路径到可疑病灶部位的最大距离，d_bmin为所有可行路径到可疑病灶部位的最小距离；

构造路径长度的目标函数：

其中l_i为路径i长度，l_min为所有可行路径的最短长度，l_max为所有可行路径的最长长度；

路径包含组织量用路径通道中包含的软组织和骨质像素点个数衡量，构造路径包含目标组织量的目标函数：

其中t_i为路径i包含组织量，t_max为所有可行路径的最大包含组织量，t_min为所有可行路径的最小包含组织量；

使用线性加权法确定全局最优路径，根据目标重要程度赋予不同目标函数不同权重：

式中，w_b、w_l、w_t分别表征为路径与可疑病灶部位距离的目标函数、路径长度的目标函数和路径包含目标组织量的目标函数的函数权重。

所述依据所述最优路径自动生成胶囊机器人的导航信息，包括：

生成胶囊机器人的自动寻路的导航路径后，自动标注在检查影像并生成导航路径图，由体外控制技师做最后的临检判断，如果技师判断导航路径不合理，或执行自动导航的胶囊机器人检查不合理，则执行体外人工控制。

步骤S3、基于深度检查结果在可疑病灶部位中确定出患者的确凿病灶部位，以实现对患者病灶部位的确凿信息的精准掌握。

本发明基于现有的影像的GSPS和KIN自动计算患者病灶部位的路径信息，依据此路径信息自动生成胶囊机器人的自动寻路的导航信息，从而胶囊机器人可以依据导航信息快速达到患者需要检查的部位，这将极大的利用现有的电池续航能力，大幅减少人为的操作误差，最终提高胶囊机器人的一次性操作成功率，缩短患者的检查或手术时间，降低疾病的诊疗成本。

以上实施例仅为本申请的示例性实施例，不用于限制本申请，本申请的保护范围由权利要求书限定。本领域技术人员可以在本申请的实质和保护范围内，对本申请做出各种修改或等同替换，这种修改或等同替换也应视为落在本申请的保护范围内。

Claims (10)

1.DICOM影像在内窥镜胶囊机器人自动导航中的应用，其特征在于，包括以下步骤：

步骤S1、利用DICOM KIN技术在患者的医学影像中提取出KIN影像，并利用DICOM GSPS技术在所述KIN影像中标记出GSPS信息，所述KIN影像表征为包含患者疾病诊断信息的医学影像，所述GSPS信息表征为患者可疑病灶部位的、位置、尺寸、形状的参数信息；

步骤S2、基于所述KIN影像中的GSPS信息规划出巡检患者的可疑病灶部位的最优路径，并依据所述最优路径自动生成胶囊机器人的导航信息，以实现胶囊机器人依据导航信息达到患者的可疑病灶部位处进行可疑病灶部位的深度检查；

步骤S3、基于深度检查结果在可疑病灶部位中确定出患者的确凿病灶部位，以实现对患者病灶部位的确凿信息的精准掌握。

2.根据权利要求1所述的DICOM影像在内窥镜胶囊机器人自动导航中的应用，其特征在于：所述利用DICOM KIN技术在患者的医学影像中提取出KIN影像，利用DICOM GSPS技术在所述KIN影像中标记出GSPS信息，包括：

若医学影像的患者信息与胶囊机器人检查申请单中的患者信息匹配成功，则利用DICOM KIN技术在患者的医学影像中提取出KIN影像，并利用DICOM GSPS技术在所述KIN影像中标记出GSPS信息；

若患者信息匹配失败或KIN影像获取失败或GSPS信息获取失败等，则由体外的技师进行人工控制，以完成胶囊机器人的检查。

3.根据权利要求2所述的DICOM影像在内窥镜胶囊机器人自动导航中的应用，其特征在于：所述基于所述KIN影像中的GSPS信息规划出巡检患者的可疑病灶部位的最优路径，包括：

由所述KIN影像中的GSPS信息确定可疑病灶部位，以可疑病灶部位质心作为路径规划目标，基于体外植入点范围限制、障碍物避障限制和胶囊机器人形状限制构建多条件约束；

迭代搜索经过当前路径点的障碍物切线切点，以其附近非障碍物点更新路径点，直至和目标之间无障碍物；遍历体外植入点范围，使用反向切点搜索方法搜索路径点，计算胶囊机器人耦合模型在路径点处的点云状态，通过检测其是否与体外植入点边界区域碰撞检验其是否满足体外植入点范围约束，通过检测其是否与障碍物碰撞检验其是否满足避障约束，以实现多条件约束下可行体外植入点区域和可行路径集合的求解；

使用线性加权法求解全局最优路径，使用主要目标法求解不同目标下的最佳路径，包括距离可疑病灶部位最远路径、长度最短路径和包含组织量最少路径。

4.根据权利要求3所述的DICOM影像在内窥镜胶囊机器人自动导航中的应用，其特征在于：所述体外植入点范围限制，包括：

将KIN影像沿X轴切分为矢状面，首先从前往后检测第一个皮肤软组织边缘点，由第一个皮肤软组织边缘点开始向后、向下检测和追溯可能边缘，直至无论向后还是向下皆为空气点；

若不存在体外植入点，一直向右向下追溯软组织边缘最终会超出图像范围，据此在X轴上将体外植入点区域分割出来；

然后选择体外植入点边缘轮廓最下方边缘点作为体外植入点区域的前边缘点，由前边缘点向后向下检测空气上和皮肤下边缘点，选择与前边缘点距离最近的边缘点作为体外植入点区域后边缘点，这两个边缘点连线之间体素均位于体外植入点区域，所有体外植入点区域矢状面相应边缘点连线之间体素集合为所求体外植入点区域；

在外力作用下，体外植入点处皮肤整体向右位移最大距离为dr，整体向上位移最大距离为du，将体外植入点区域边缘向右、向上分别延伸和扩展dr、du距离；取dr＝1cm、du＝1cm，延伸扩大体外植入点区域得到体外植入点范围约束，再对体外植入点范围进行三维可视化，便于观察和后续处理。

5.根据权利要求4所述的DICOM影像在内窥镜胶囊机器人自动导航中的应用，其特征在于：所述障碍物避障限制，包括：

在水平面调整体外植入点隔黏膜部分边缘，将其由左向右收缩至软组织和骨质边缘的邻域处，若未检测到边缘，则与相邻区域边缘平齐，模拟体外植入点黏膜收缩前后体外植入点对比；

在冠状面调整下体外植入点轮廓边缘，将其由右向左收缩至软组织和骨质边缘或者软组织以及空气边缘邻域处，若未检测到边缘，则与相邻区域边缘平齐，模拟体外植入点黏膜收缩前后下体外植入点对比。

6.根据权利要求5所述的DICOM影像在内窥镜胶囊机器人自动导航中的应用，其特征在于：所述胶囊机器人形状限制，包括：

建立胶囊机器人和内窥镜的耦合模型，对耦合模型进行路径规划；

对质点进行路径规划时，质点在每个路径节点处的状态为质点位置坐标；

对耦合模型进行路径规划时，将耦合模型在路径节点处的状态由质点三维坐标扩展为高维点云集合。

7.根据权利要求6所述的DICOM影像在内窥镜胶囊机器人自动导航中的应用，其特征在于，所述胶囊机器人形状限制，还包括：

规定耦合模型初始状态为：胶囊机器人和内窥镜中心轴线与Y轴平行，与X轴垂直，与Z轴垂直，对应的位姿角为0，此时胶囊机器人的数学模型为：

式中，(xy,yt,zt)为胶囊机器人前端顶点坐标，rs＝ds/2为胶囊机器人半径；

内窥镜前端斜切圆柱数学模型为：

式中，re＝de/2为内窥镜半径，hes为内窥镜前端面中心与胶囊机器人顶点的高度差：re+rs<hes<dw，式中，les为二者前后距离差：

dw＝10mm时取hes＝6mm，les＝8mm；

再规定位姿角为：以胶囊机器人初始中心轴线为旋转轴绕其旋转，旋转角度为β；以胶囊机器人顶点为旋转中心，绕z轴旋转角度为α；以胶囊机器人顶点为旋转中心，绕x轴旋转角度为γ；按照右手系定则，大拇指指向坐标轴正向，四指方向为旋转的正方向；耦合模型顶点为pt＝(x_t,y_t,z_t)、位姿角为(α,β,γ)时，其点云集合为：

S(x_t，y_t，z_t，α，β，γ)＝{(M-P_t)·R(α，β，γ)+P_t：M∈M_s∪M_e}；

耦合模型在路径节点处的状态，是由三维顶点坐标、三维位姿角度共同决定的高维点云集合；

在路径规划中，胶囊机器人沿路径点前进和深入，胶囊机器人顶点与路径点重合，胶囊机器人从当前路径节点Pc径直前进到下一路径节点P_n处，则P_t＝P_n，手术胶囊机器人中心轴线与P_c和P_n连线重合，α为Y轴正向与

在XOY平面投影的夹角，γ为Y轴正向与

在YOZ平面投影的夹角，β近似为0。

8.根据权利要求7所述的DICOM影像在内窥镜胶囊机器人自动导航中的应用，其特征在于，所述以实现多条件约束下可行体外植入点区域和可行路径集合的求解，包括：

步骤2.1、设置路径点更新时与切点距离dt，将起始点设为当前路径点qs；

步骤2.2、对qs与目标点qg连线上所有像素点进行检测，若不存在障碍物点则qs、qg连线为可行路径跳转至步骤2.6，若存在则搜索连线上第一个障碍物表面的经过qs的切线切点qt，存在多个切点时可选择与目标距离最小的切点；

步骤2.3、在qs、qt、qg所处平面内，计算切线远离障碍物一侧垂线上与qt距离为dt的点qgt；

步骤2.4、以qs为起点、qgt为目标按上述步骤进行子路径规划，直至qs和qgt之间无障碍物，二者连线为子路径规划的可行路径；

步骤2.5、将qs更新为qgt，以qs为起点、qg为目标点按上述步骤进行子路径规划，直至qs和qg之间无障碍物；

步骤2.6、合并所有子路径规划的可行路径，为所规划全局路径；

优选地，所述碰撞检测包括以下步骤：

步骤2.a、遍历圆柱中心轴线上的每一点C，用最邻近搜索算法寻找KD树中与C距离最近障碍物点B；

步骤2.b、用圆柱包络法检测B是否碰撞，若碰撞算法结束，否则记录最小距离；

步骤2.c、遍历所有非圆柱部分表面点，用最邻近搜索算法寻找KD树中与其距离最近障碍物点，若距离小于阈值0.1，视为碰撞算法结束，否则记录最小距离；

步骤2.d、若上述步骤中均未发生碰撞，则手术器械与障碍物未发生碰撞，二者距离为以上最小距离的最小值。

9.根据权利要求8所述的DICOM影像在内窥镜胶囊机器人自动导航中的应用，其特征在于，所述带约束的多目标优化问题描述为：

minx F(x)＝[f1(x),f2(x),…,fK(x)],x∈D (4)

其中，D为条件约束下的可行域，线性加权法根据目标fk(x)的重要程度，设定权重进行线性加权：

式中，λk为目标fk(x)的权重；

主要目标法选择最重要的子目标作为优化目标，其余的子目标作为约束条件受界限约束：

min_x f_p(x)，x∈D，f_k(x)≤∈_k，k≠p；

其中，界限值∈k一般取子目标函数的上界值；

对于路径规划的多目标优化，适合使用线性加权法和主要目标法，构造路径与可疑病灶部位距离的目标函数：

其中d_bi为路径i到可疑病灶部位的距离，d_bmax为所有可行路径到可疑病灶部位的最大距离，d_bmin为所有可行路径到可疑病灶部位的最小距离；

构造路径长度的目标函数：

其中l_i为路径i长度，l_min为所有可行路径的最短长度，l_max为所有可行路径的最长长度；

路径包含组织量用路径通道中包含的软组织和骨质像素点个数衡量，构造路径包含目标组织量的目标函数：

其中t_i为路径i包含组织量，t_max为所有可行路径的最大包含组织量，t_min为所有可行路径的最小包含组织量；

使用线性加权法确定全局最优路径，根据目标重要程度赋予不同目标函数不同权重：

式中，w_b、w_l、w_t分别表征为路径与可疑病灶部位距离的目标函数、路径长度的目标函数和路径包含目标组织量的目标函数的函数权重。

10.根据权利要求1所述的DICOM影像在内窥镜胶囊机器人自动导航中的应用，其特征在于，所述依据所述最优路径自动生成胶囊机器人的导航信息，包括：

生成胶囊机器人的自动寻路的导航路径后，自动标注在检查影像并生成导航路径图，由体外控制技师做最后的临检判断，如果技师判断导航路径不合理，或执行自动导航的胶囊机器人检查不合理，则执行体外人工控制。

Images