CN117942170A - 一种器械输送长度的控制方法、设备及存储介质 - Google Patents

Abstract

本申请实施例公开了一种器械输送长度的控制方法、设备及存储介质。其中，该方法包括：接收第一输送命令；根据第一输送命令控制器械沿输送管道输送目标长度；获取软式内窥镜的相机采集到的第一内镜图像；当第一内镜图像中识别到器械对应的器械特征时，停止输送器械。可见，本申请实施例中会先将器械输送目标长度，以使得器械的头端尽可能靠近工作孔道的出口，在此基础上，利用采集到的内镜图像结合图像识别，进一步控制器械输送，在器械的头端接近工作孔道的出口时停止器械输送，如此器械的输送不受工作孔道形态的影响，能准确地控制器械的输送长度，将器械输送至预定位置，提高器械输送长度的控制精度。

Description

一种器械输送长度的控制方法、设备及存储介质

技术领域

本申请涉及医疗器械技术领域，更具体的说，涉及一种器械输送长度的控制方法、设备及存储介质。

背景技术

消化道、呼吸道等自然腔道是人类常见疾病好发部位，由于病灶处于人体自然腔道内部，因此需要通过软式内窥镜进行检查或手术治疗。

传统的软式内窥镜检查或手术，需要人双手配合持镜体、操作旋钮、手工输送镜体等动作完成操作过程；同时需要配合术中术式要求使用不同种类的器械，器械的使用繁琐，需要多人协同操作。

随着机器人辅助技术的发展，机器人和数字化技术在医院的应用愈显突出。可以通过器械驱动装置为器械提供驱动力，实现器械输送。但是，该种器械输送方式会存在较大的运动背隙，并且软式内窥镜的工作孔道直径大于器械插入软式内窥镜的部分的直径，无法预测工作孔道的弯曲状态，如此会导致器械在狭长的工作孔道中的绝对位置无法预测，导致器械输送长度的控制精度低。

发明内容

有鉴于此，本申请实施例公开一种器械输送长度的控制方法、设备及存储介质，以提高器械输送长度的控制精度。

本申请实施例提供的技术方案如下：

第一方面，本申请实施例提供了一种器械输送长度的控制方法，所述方法包括：

接收第一输送命令；

根据所述第一输送命令控制器械沿输送管道输送目标长度；所述输送管道包括：引导管和软式内窥镜的工作孔道；

获取所述软式内窥镜的相机采集到的第一内镜图像；

当所述第一内镜图像中识别到所述器械对应的器械特征时，停止输送所述器械；所述器械特征为所述器械靠近所述工作孔道的出口的头端特征。

在一种可能的实现方式中，所述方法还包括：

在停止输送所述器械之后，接收第二输送命令；

根据所述第二输送命令控制所述器械继续输送；

获取所述软式内窥镜的相机采集到的第二内镜图像；

利用所述第二内镜图像确定出镜长度；所述出镜长度为所述器械的头端到所述工作孔道的出口的距离。

在一种可能的实现方式中，所述利用所述第二内镜图像确定出镜长度，包括：

利用所述第二内镜图像确定所述器械的第一输送方向像素距离和垂直方向像素距离；

利用所述第一输送方向像素距离、所述垂直方向像素距离、所述器械的直径和预设的修正比例，确定所述出镜长度。

在一种可能的实现方式中，所述利用所述内镜图像确定出镜长度，包括：

利用所述第二内镜图像确定所述器械的第二输送方向像素距离；

利用内镜成像原理，通过所述第二输送方向像素距离和所述工作孔道的出口与所述相机的相对位置，确定所述出镜长度。

在一种可能的实现方式中，所述方法还包括：

根据所述工作孔道的出口与所述相机的相对位置，从所述第一内镜图像中确定第一感兴趣区域；

利用所述第一感兴趣区域对所述第一内镜图像进行感兴趣区域划分，得到第一区域图像；

对所述第一区域图像进行器械特征识别。

在一种可能的实现方式中，所述对所述第一区域图像进行器械特征识别，包括：

对所述第一区域图像进行平滑、灰度化、二值化处理，得到处理后的第一区域图像；

对所述处理后的第一区域图像进行边缘提取，得到第一拟合轮廓；

根据所述器械所属的器械类型，确定所述器械对应的标准轮廓；

对所述第一拟合轮廓和所述标准轮廓进行匹配，得到第一匹配结果；所述第一匹配结果用于表征所述第一内镜图像中是否识别到所述器械特征。

在一种可能的实现方式中，所述第一内镜图像包括：第一图像和第二图像，所述第一图像为所述器械沿输送管道的输送长度为所述目标长度时采集到的图像，所述第二图像为所述器械沿输送管道的输送长度大于所述目标长度时采集到的图像；

所述当所述第一内镜图像中识别到所述器械对应的器械特征时，停止输送所述器械，包括：

在所述第一图像中未识别到所述器械对应的器械特征，将所述器械的输送速度由第一速度降低为第二速度，控制所述器械以所述第二速度继续输送；

当所述第二图像中识别到所述器械对应的器械特征时，停止输送所述器械。

在一种可能的实现方式中，所述方法还包括：

确定所述第一图像与所述第二图像的图像相识度；

当所述图像相识度低于第一阈值，根据所述工作孔道的出口与所述相机的相对位置对所述第二图像进行感兴趣区域划分，得到第二区域图像；对所述第二区域图像进行器械特征识别；

当所述图像相识度不低于第一阈值，根据所述工作孔道的出口与所述相机的相对位置对所述第一图像、所述第二图像进行感兴趣划分，得到第三区域图像和第四区域图像；去除所述第四区域图像中与所述第三区域图像中的区域的区域相识度高于第二阈值的区域，得到第五区域图像；对所述第五区域图像进行器械特征识别。

第二方面，本申请实施例提供了一种器械输送长度的控制装置，所述装置包括：

接收模块，用于接收第一输送命令；

控制模块，用于根据所述第一输送命令控制器械沿输送管道输送目标长度；所述输送管道包括：引导管和软式内窥镜的工作孔道；

获取模块，用于获取所述软式内窥镜的相机采集到的第一内镜图像；

停止模块，用于当所述第一内镜图像中识别到所述器械对应的器械特征时，停止输送所述器械；所述器械特征为所述器械靠近所述工作孔道的出口的头端特征。

第三方面，本申请实施例提供了一种器械输送长度的控制设备，包括：

存储器，用于存储指令；

处理器，用于执行所述存储器中的所述指令以执行以上第一方面任一项所述的器械输送长度的控制方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行以上第一方面任一项所述的器械输送长度的控制方法。

第五方面，本申请实施例提供一种计算机程序产品，所述计算机程序产品在终端设备上运行时，使得所述终端设备执行以上第一方面任一项所述的器械输送长度的控制方法。

基于上述技术方案，本申请具有以下有益效果：

本申请实施例公开了一种器械输送长度的控制方法、设备及存储介质。其中，该方法包括：接收第一输送命令；根据第一输送命令控制器械沿输送管道输送目标长度；获取软式内窥镜的相机采集到的第一内镜图像；当第一内镜图像中识别到器械对应的器械特征时，停止输送器械。可见，本申请实施例中会先将器械输送目标长度，以使得器械的头端尽可能靠近工作孔道的出口，在此基础上，利用采集到的内镜图像结合图像识别，进一步控制器械输送，在器械的头端接近工作孔道的出口时停止器械输送，如此器械的输送不受工作孔道形态的影响，能准确地控制器械的输送长度，将器械输送至预定位置，提高器械输送长度的控制精度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据公开的附图获得其他的附图。

图1为本申请实施例公开的一种软式内窥镜的结构示意图；

图2为本申请实施例公开的一种器械的结构示意图；

图3为本申请实施例公开的一种器械的输送状态示意图；

图4为本申请实施例公开的一种器械输送长度的控制方法的流程图；

图5为本申请实施例公开的一种镜下视野坐标变换的示意图；

图6为本申请实施例公开的一种器械特征识别方法的流程图；

图7为本申请实施公开的一种器械在镜下视野位置的示意图；

图8为本申请实施例公开的一种内镜视野下器械出口位置坐标变换的示意图；

图9为本申请实施例公开的一种器械对应的标准轮廓的示意图；

图10为本申请实施例公开的另一种器械特征识别方法的流程图；

图11为本申请实施例公开的一种出镜长度确定方法的流程图；

图12为本申请实施例公开的一种拟合轮廓的示意图；

图13为本申请实施例公开的一种内镜视野与器械出口的示意图；

图14为本申请实施例公开的一种器械输送长度的控制装置的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

参见图1，为本申请实施例公开的一种软式内窥镜的结构示意图。软式内窥镜10包括：操作部101、插入部102、弯曲段103和头端部104。操作部101包括：工作站接口1011、小拨轮旋钮1013、大拨轮旋钮1012、手柄1014、功能按钮1015、吸引阀按钮1016、水汽阀按钮1017等。手柄1014下方有工作孔道105的入口1051，工作孔道105贯穿插入部102、弯曲段103和头端部104，到达工作孔道的出口1052。其中，工作站接口1011用于与工作站对接，读取镜下视野的图像。头端部104为软式内窥镜前端刚性部分，头端部104的端面设置有相机和工作孔道的出口1052。弯曲端103一般可以四向弯曲。

参见图2，为本申请实施例公开的一种器械的结构示意图，该器械20为活检钳，采用盘式方案。该活检钳包括：执行器201、器械插入管202、器械出口203、开合部204、器械输送单元205等等。其中，转动器械输送单元205能实现器械输送运动，器械输送单元205的转动角度与器械输送长度成正比；驱动开合部204能实现钳口开合。

参见图3，为本申请实施例公开的一种器械的输送状态示意图。引导管40作为器械20导入通道，器械20通过引导管40连接至软式内窥镜10的工作孔道的入口1051。器械驱动装置30可提供驱动力至器械20，以实现器械20的输送操作和执行器201的旋转或开闭等操作。器械驱动装置30包括：编码器301等，编码器301获取器械20的旋转角度，根据器械20固有的内部旋转角度，按照旋转角度与长度比例换算得到输送长度。

参见图4，本申请实施例公开的一种器械输送长度的控制方法的流程图，该方法包括：

S401、接收第一输送命令。

其中，第一输送命令可以由操作部上的相应按钮触发，也可由交互界面触发等等，本申请实施例对此不做限定。

本申请实施例中触发第一输送命令之前，可以先触发控制指令，接收控制指令之后，可以根据该控制指令识别器械所属的器械类型，以便后续根据该器械类型确定器械对应的标准轮廓，还可以根据该控制指令完成器械操作初始化。

S402、根据第一输送命令控制器械沿输送管道输送目标长度。

其中，输送管道包括：引导管40和软式内窥镜的工作孔道105。

可以理解的是，控制器械20沿输送管道输送指的是控制器械的细长部分沿输送管道输送，即器械20的执行器201和器械插入管202沿输送管道输送。

其中，针对不同的临床需求可以安装不同的器械，如活检钳、圈套器、注射针等等。

本申请实施中S402可以包括：根据第一器械输送命令控制器械转动；获取器械的第一旋转角度；根据第一旋转角度确定目标长度；控制器械沿所输送管道输送目标长度。

S403、获取软式内窥镜的相机采集到的第一内镜图像。

参见图5，为本申请实施例公开的一种镜下视野坐标变换的示意图，图5的左边子图中工作孔道位于相机下方，相机的成像坐标系未覆盖工作孔道，本申请实施中旋转相机的成像坐标系，即在软式内窥镜对接的工作站上视野中，工作孔道的出口调至左下角，指向中心方向，旋转后，图5的右边子图即为内镜图像。需要说明的是，在工作站使用过程中，特定的软式内窥镜的工作孔道的出口位置在镜下视野不变。

需要说明的是，本申请实施例中软式内窥镜的相机是实时采集内镜图像，是实时获取内镜图像进行识别。

S404、当第一内镜图像中识别到器械对应的器械特征时，停止输送器械。

其中，器械特征为器械靠近工作孔道的出口的头端特征。

本申请实施例中在器械的输送过程中，允许软式内窥镜移动观察病灶，比如操作插入管前后运动，或操作小拨轮旋钮1013、大拨轮旋钮1012使得弯曲段四向弯曲等等。

可见，本申请实施例中会先将器械输送目标长度，以使得器械的头端尽可能靠近工作孔道的出口，在此基础上，利用采集到的内镜图像结合图像识别，进一步控制器械输送，在器械的头端接近工作孔道的出口时停止器械输送，如此器械的输送不受工作孔道形态的影响，能准确地控制器械的输送长度，将器械输送至预定位置，提高器械输送长度的控制精度。

参见图6，为本申请实施例公开的一种器械特征识别方法的流程图。在一种可能的实现方式中，本申请实施例中提供的器械输送长度的控制方法，还包括：

S601、根据工作孔道的出口与相机的相对位置，从第一内镜图像中确定第一感兴趣区域。

参见图7，为本申请实施公开的一种器械在镜下视野位置的示意图。本申请实施例中可以根据工作孔道的出口与相机的相对位置，从内镜图像的左下角向中心取一个梯形区域，或者方形区域，确定为感兴趣区域。可以理解的是，本申请实施例中的第一感兴趣区域、第二感兴趣区域、第三感兴趣区域、第四感兴趣区域等感兴趣区域均可通过该方法确定。

S602、利用第一感兴趣区域对第一内镜图像进行感兴趣区域划分，得到第一区域图像。

参见图8，为本申请实施例公开的一种内镜视野下器械出口位置坐标变换的示意图。需要说明的是，器械出口位置即工作孔道的出口位置。本申请实施例中为了能快速对内镜图像进行感兴趣区域划分，可以将内镜图像绕中心点o，作顺时针旋转变换，再截取变换后的矩形区域,得到区域图像。可以理解的是，本申请实施例中的第一区域图像、第二区域图像、第三区域图像、第四区域图像等区域图像均可通过该方法得到。

S603、对第一区域图像进行平滑、灰度化、二值化处理，得到处理后的第一区域图像。

本申请实施例中可以使用加权平均法模型对平滑处理后的区域图像进行灰度化处理，得到灰度图；然后调用大津法模型对灰度图进行二值化处理，得到处理后的区域图像。可以理解的是，本申请实施例中也可以使用其他模型进行灰度化处理和二值化处理，本申请对此不做限制。

S604、对处理后的第一区域图像进行边缘提取，得到第一拟合轮廓。

本申请实例中可以使用Canny边缘检测算法对处理后的区域图像进行边缘提取，得到第一拟合轮廓。可以理解的是，本申请实施例中也可以使用算法进行边缘提取，本申请对此不做限制。

本申请实施例中可以对处理后的区域图像进行边缘提取，拟合视野下器械出口位置上方的轮廓，以及下方的轮廓，能获取相交的直线，并将器械出口方向最远离出口的部分轮廓，改为拟合椭圆轨迹，继而能得到与标准轮廓近似的拟合轮廓。可以理解的是，本申请实施例中的第一拟合轮廓、第二拟合轮廓、第三拟合轮廓等拟合轮廓均可通过该方法得到。

S605、根据器械所属的器械类型，确定器械对应的标准轮廓。

参见图9，为本申请实施例公开的一种器械对应的标准轮廓的示意图。需要说明的是，不同的器械类型的器械会对应不同的标准轮廓，本申请实施例中可以先识别器械所属的器械类型，再根据该器械类型确定对应的标准轮廓。

本申请实施例中由于确定器械出口位置和基本器械形态，故器械的标准轮廓仅受器械头端与相机的相对位置关系的影响。将器械的执行器头端靠近工作孔道的出口时的轮廓作为器械停止的标准轮廓。

本申请实施例中可以根据器械3d模型在理论视野的投影，提取不同位置处在视野下的轮廓，然后根据这些轮廓处理得到器械对应的标准轮廓；本申请实施例中还可以在术前采用实际型号器械在内镜下取标准形态的图像，提取感兴趣区域后，作轮廓提取，得到器械对应的标准轮廓等等。可以理解的是，本申请实施例对标准轮廓的确定方式不做限定，可根据实际需求选择确定。

S606、对第一拟合轮廓和标准轮廓进行匹配，得到第一匹配结果。

其中，该第一匹配结果用于表征第一内镜图像中是否识别到器械特征。

本申请实施例中可以采用Hu矩轮廓匹配方法，对拟合轮廓和标准轮廓进行匹配，得到匹配程度值，当匹配程度值大于匹配阈值时，确定内镜图像中识别到器械特征，当匹配程度值不大于匹配阈值时，确定内镜图像中未识别到器械特征。

可见，本申请实施例中根据工作孔道的出口与相机的相对位置，能缩小感兴趣区域，得到更准确的可能包含器械特征的区域图像，如此基于该区域图像进行器械特征识别，能提高识别效率，在内镜图像中识别到器械特征时，及时停止器械的输送。而且，对区域图像进行平滑、灰度化、二值化、边缘提取处理，再与标准轮廓进行匹配，能提高器械特征识别的准确性。

在一种可能的实现方式中，本申请实施例中提供的器械输送长度的控制方法中，第一内镜图像包括：第一图像和第二图像，第一图像为器械沿输送管道的输送长度为目标长度时采集到的图像，第二图像为器械沿输送管道的输送长度大于目标长度时采集到的图像，S404具体可以包括：

在第一图像中未识别到器械对应的器械特征，将器械的输送速度由第一速度降低为第二速度，控制器械以第二速度继续输送；

当第二图像中识别到器械对应的器械特征时，停止输送器械。

需要说明的是，第二速度小于第一速度。第二速度可以是器械的最小输送速度，在器械输送完目标长度之后，器械缓慢前进。

可见，本申请实施例中在器械输送完目标长度之后，会降低器械的输送速度，如此能保证图像识别的速度与器械输送速度相匹配，避免识别到器械对应的器械特征时，无法及时停止器械输送。

参见图10，为本申请实施例公开的另一种器械特征识别方法的流程图。在一种可能的实现方式中，本申请实施例中提供的器械输送长度的控制方法还包括：

S1001、确定第一图像与第二图像的图像相识度。

S1002、当图像相识度低于第一阈值，根据工作孔道的出口与相机的相对位置对第二图像进行感兴趣区域划分，得到第二区域图像；对第二区域图像进行器械特征识别。

需要说明的是，本申请实施例中的第一阈值可以根据实际需求设置，本申请对此不做限制。

本申请实施例中对第二区域图像进行器械特征识别，可以包括：对第二区域图像进行平滑、灰度化、二值化处理，得到处理后的第二区域图像；对处理后的第二区域图像进行边缘提取，得到第二拟合轮廓；对第二拟合轮廓和机械对应的标准轮廓进行匹配，得到第二匹配结果。其中，第二匹配结果用于表征第二图像中是否识别到器械特征。

可以理解的是，当图像相识度低于第一阈值，说明第一图像与第二图像相差较大，感兴趣区域中包含器械特征的面积较大，故无需进一步缩小感兴趣区域。

S1003、当图像相识度不低于第一阈值，根据工作孔道的出口与相机的相对位置对第一图像、第二图像进行感兴趣划分，得到第三区域图像和第四区域图像；去除第四区域图像中与第三区域图像中的区域的区域相识度高于第二阈值的区域，得到第五区域图像；对第五区域图像进行器械特征识别。

需要说明的是，本申请实施例中的第二阈值可以根据实际需求设置，本申请对此不做限制。

本申请实施例中对第五区域图像进行器械特征识别，可以包括：对所述第五区域图像进行平滑、灰度化、二值化处理，得到处理后的第五区域图像；对所述处理后的第五区域图像进行边缘提取，得到第三拟合轮廓；对第三拟合轮廓和机械对应的标准轮廓进行匹配，得到第三匹配结果。其中，第三匹配结果用于表征第二图像中是否识别到器械特征。

可以理解的是，当图像识别度不低于第一阈值，说明第一图像与第二图像较相似，感兴趣区域中包含器械特征的面积较小，故需要进一步缩小感兴趣区域。

可见，本申请实施例中会利用图像相似度和区域相似度，保证了用于识别器械特征的区域图像中尽可能包含较大面积的器械特征区域，如此能得到更为准确的器械特征识别结果。

参见图11，为本申请实施例公开的一种出镜长度确定方法的流程图。在一种可能的实现方式中，本申请实施例中提供的器械输送长度的控制方法还包括：

S1101、在停止输送器械之后，接收第二输送命令。

S1102、根据第二输送命令控制器械继续输送。

S1103、获取软式内窥镜的相机采集到的第二内镜图像。

S1104、利用第二内镜图像确定出镜长度。

其中，出镜长度为器械的头端到工作孔道的出口的距离。可以理解的是，总的输送长度=器械从导引管至工作孔道的出口的长度+出镜长度。

本申请实施例中提供了两种利用内镜图像确定出镜长度的方法。

第一种，S1104可以包括：利用第二内镜图像确定器械的第一输送方向像素距离和垂直方向像素距离；利用第一输送方向像素距离、垂直方向像素距离、器械的直径和预设的修正比例，确定出镜长度。

需要说明的是，本申请实施例中可以先对第二内镜图像进行处理，得到对应的拟合轮廓，再利用拟合轮廓确定器械的第一输送方向像素距离和垂直方向像素距离。其中，得到拟合轮廓的方式与上述实施例中记载的一致，故此不再赘述。参见图12，为本申请实施例中公开的一种拟合轮廓的示意图，图12中D1表示垂直方向像素距离，H1表示第一输送方向像素距离。

出镜长度的计算公式可以为：L= H1/ D1*D*K。

其中，L表示出镜长度，H1表示第一输送方向像素距离，D1表示垂直方向像素距离，D表示器械的直径，K表示预设的修正比例，K可以通过测试得到。

需要说明的是，第一输送方向像素距离是出镜长度在第二内镜图像中对应的像素距离，即第二内镜图像中器械的头端到工作孔道的出口的像素距离；

垂直方向像素距离是器械的直径在第二内镜图像中对应的像素距离。其中，像素距离指的是显示器屏幕上两个像素点之间的物理距离。

第二种，S1104可以包括：利用第二内镜图像确定器械的第二输送方向像素距离；利用内镜成像原理，通过第二输送方向像素距离和工作孔道的出口与相机的相对位置，确定出镜长度。

需要说明的是，本申请实施例中可以先对第二内镜图像进行处理，得到对应的拟合轮廓，再利用拟合轮廓确定器械的第二输送方向像素距离。其中，得到拟合轮廓的方式与上述实施例中记载的一致，故此不再赘述。参见图13，一种内镜视野与器械出口的示意图，相机包括镜头光心和光学模组，镜头光心即为相机焦点，图13中H2、H3表示第二输送方向像素距离，即H2、H3是器械的不同出镜长度在内镜视野下的像素长度， L1表示虚拟成像面至头端部的端面的距离，L2、L3表示器械的头端到虚拟成像面的距离，Lc表示相机焦点至头端部的端面的距离，h表示工作孔道与相机焦点的相对距离。需要说明的是，在给定工作孔道出口与相机的相对位置下，在单目视觉下相机成像的虚拟成像面与相机焦点位置固定，即Lc，L1，h固定。

当器械处于L2处，出镜长度的计算公式可以为：L=L2+L1；

其中， L2 =H2 *L1/( h- H2)；

当器械处于L3处，出镜长度的计算公式可以为：L’=L3+L1;

其中，L3=H3*L1/( h- H3)；

器械从L2处运动至L3处，器械伸长变化量可以为：D=L’-L=L3+L1-（L2+L1）=L3-L2。

其中，L表示第一伸出位置的出镜长度，L2表示第一伸出位置的器械的头端到虚拟成像面的距离，L1表示虚拟成像面至头端部的端面的距离，H2表示第一伸出位置的第二输送方向像素距离，h表示工作孔道与相机焦点的相对距离，L’表示第二伸出位置的出镜长度，L3表示第二伸出位置的器械的头端到虚拟成像面的距离，H3表示第二伸出位置的第二输送方向像素距离。

需要说明的是，第二输送方向像素距离H2是出镜长度L在第二内镜图像中对应的像素距离，即器械处于L2处，第二内镜图像中器械的头端到工作孔道的出口的像素距离；第二输送方向像素距离H3是出镜长度L’在第二内镜图像中对应的像素距离，即器械处于L3处，第二内镜图像中器械的头端到工作孔道的出口的像素距离。其中，像素距离指的是显示器屏幕上两个像素点之间的物理距离。

本申请实施例中当确定出镜长度达到设定阈值，可以根据器械的第二旋转角度确定控制长度，以控制长度控制器械输送。可以理解的是，当出镜长度达到长度阈值时，图像识别长度控制不够精准，故不再以图像识别长度做控制，而是以驱动端换算理论值控制器械运动，直到到达设定的输送边界位置。若器械收回至出镜长度小于设定阈值，则由图像伺服控制。

可见，本申请实施例中能通过视觉反馈确定器械出内窥镜工作孔道， 通过相机与工作孔道的出口的相对位置结合图像识别确定出镜长度，确定器械在视野下运动的绝对位置，提高器械输送的精度。

在一种应用场景中，器械输送长度的控制方法可以包括：

S1：接收第一输送命令；

S2：根据第一输送命令控制器械沿输送管道输送目标长度；输送管道包括：引导管和软式内窥镜的工作孔道；

S3：获取软式内窥镜的相机采集到的第一内镜图像；

S4：当第一内镜图像中识别到器械对应的器械特征时，停止输送器械；器械特征为器械靠近工作孔道的出口的头端特征；

S5：在停止输送器械之后，接收第二输送命令；

S6：根据第二输送命令控制器械继续输送；

S7：获取软式内窥镜的相机采集到的第二内镜图像；

S8：利用第二内镜图像确定出镜长度；出镜长度为器械的头端到工作孔道的出口的距离；

S9：当确定出镜长度达到设定阈值时，根据器械的旋转角度确定控制长度，以控制长度控制器械输送；

S10：若器械收回至出镜长度小于设定阈值，则由图像伺服控制。

可见，本申请实施例中根据器械在镜下视野中的位置，确定器械输送长度，使得器械输送长度不受工作孔道形态的影响，提高器械输送长度的控制精度。

参见图14，本申请实施例公开的一种器械输送长度的控制装置的结构示意图，该装置包括：

接收模块100，用于接收第一输送命令；

控制模块200，用于根据所述第一输送命令控制器械沿输送管道输送目标长度；所述输送管道包括：引导管和软式内窥镜的工作孔道；

获取模块300，用于获取所述软式内窥镜的相机采集到的第一内镜图像；

停止模块400，用于当所述第一内镜图像中识别到所述器械对应的器械特征时，停止输送所述器械；所述器械特征为所述器械靠近所述工作孔道的出口的头端特征。

可见，本申请实施例中会先将器械输送目标长度，以使得器械的头端尽可能靠近工作孔道的出口，在此基础上，利用采集到的内镜图像结合图像识别，进一步控制器械输送，在器械的头端接近工作孔道的出口时停止器械输送，如此器械的输送不受工作孔道形态的影响，能准确地控制器械的输送长度，将器械输送至预定位置，提高器械输送长度的控制精度。

在一种可能的实现方式中，本申请实施例中提供的器械输送长度的控制装置还包括：长度确定模块；

接收模块100，还用于在停止输送所述器械之后，接收第二输送命令；

控制模块200，还用于根据所述第二输送命令控制所述器械继续输送；

获取模块300，还用于获取所述软式内窥镜的相机采集到的第二内镜图像；

长度确定模块，用于利用所述第二内镜图像确定出镜长度；所述出镜长度为所述器械的头端到所述工作孔道的出口的距离。

在一种可能的实现方式中，本申请实施例中提供的器械输送长度的控制装置中长度确定模块包括：

像素距离确定单元，用于利用所述第二内镜图像确定所述器械的第一输送方向像素距离和垂直方向像素距离；

长度确定单元，用于利用所述第一输送方向像素距离、所述垂直方向像素距离、所述器械的直径和预设的修正比例，确定所述出镜长度。

在一种可能的实现方式中，本申请实施例中提供的器械输送长度的控制装置中长度确定模块包括：

像素距离确定单元，用于利用所述第二内镜图像确定所述器械的第二输送方向像素距离；

长度确定单元，用于利用内镜成像原理，通过所述第二输送方向像素距离、所述工作孔道的出口与所述相机的相对位置，确定所述出镜长度。

在一种可能的实现方式中，本申请实施例中提供的器械输送长度的控制装置还包括：

区域确定模块，用于根据所述工作孔道的出口与所述相机的相对位置，从所述第一内镜图像中确定第一感兴趣区域；

划分模块，用于利用所述第一感兴趣区域对所述第一内镜图像进行感兴趣区域划分，得到第一区域图像；

识别模块，用于对所述第一区域图像进行器械特征识别。

在一种可能的实现方式中，本申请实施例中提供的器械输送长度的控制装置中识别模块包括：

处理单元，用于对所述第一区域图像进行平滑、灰度化、二值化处理，得到处理后的第一区域图像；

提取单元，用于对所述处理后的第一区域图像进行边缘提取，得到第一拟合轮廓；

轮廓确定单元，用于根据所述器械所属的器械类型，确定所述器械对应的标准轮廓；

匹配单元，用于对所述第一拟合轮廓和所述标准轮廓进行匹配，得到第一匹配结果；所述第一匹配结果用于表征所述第一内镜图像中是否识别到所述器械特征。

在一种可能的实现方式中，本申请实施例中提供的器械输送长度的控制装置中，所述第一内镜图像包括：第一图像和第二图像，所述第一图像为所述器械沿输送管道的输送长度为所述目标长度时采集到的图像，所述第二图像为所述器械沿输送管道的输送长度大于所述目标长度时采集到的图像；

控制模块，还用于在所述第一图像中未识别到所述器械对应的器械特征，将所述器械的输送速度由第一速度降低为第二速度，控制所述器械以所述第二速度继续输送；

停止模块，具体用于当所述第二图像中识别到所述器械对应的器械特征时，停止输送所述器械。

在一种可能的实现方式中，本申请实施例中提供的器械输送长度的控制装置中还包括：

相识度确定模块，用于确定所述第一图像与所述第二图像的图像相识度；

识别模块，用于当所述图像相识度低于第一阈值，根据所述工作孔道的出口与所述相机的相对位置对所述第二图像进行感兴趣区域划分，得到第二区域图像；对所述第二区域图像进行器械特征识别；

识别模块，还用于当所述图像相识度不低于第一阈值，根据所述工作孔道的出口与所述相机的相对位置对所述第一图像、所述第二图像进行感兴趣划分，得到第三区域图像和第四区域图像；去除所述第四区域图像中与所述第三区域图像中的区域的区域相识度高于第二阈值的区域，得到第五区域图像；对所述第五区域图像进行器械特征识别。

进一步地，本申请实施例还提供了一种器械输送长度的控制设备，包括：

存储器，用于存储指令；

处理器，用于执行存储器中的指令以执行上述器械输送长度的控制方法的任一种实现方法。

进一步地，本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质中存储有指令，当指令在终端设备上运行时，使得终端设备执行上述器械输送长度的控制方法的任一种实现方法。

进一步地，本申请实施例还提供了一种计算机程序产品，计算机程序产品在终端设备上运行时，使得终端设备执行上述器械输送长度的控制方法的任一种实现方法。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到上述实施例方法中的全部或部分步骤可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者诸如媒体网关等网络通信设备，等等）执行本申请各个实施例或者实施例的某些部分所述的方法。

需要说明的是，本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种器械输送长度的控制方法，其特征在于，所述方法包括：

接收第一输送命令；

根据所述第一输送命令控制器械沿输送管道输送目标长度；所述输送管道包括：引导管和软式内窥镜的工作孔道；

获取所述软式内窥镜的相机采集到的第一内镜图像；

当所述第一内镜图像中识别到所述器械对应的器械特征时，停止输送所述器械；所述器械特征为所述器械靠近所述工作孔道的出口的头端特征。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在停止输送所述器械之后，接收第二输送命令；

根据所述第二输送命令控制所述器械继续输送；

获取所述软式内窥镜的相机采集到的第二内镜图像；

利用所述第二内镜图像确定出镜长度；所述出镜长度为所述器械的头端到所述工作孔道的出口的距离。

3.根据权利要求2所述的方法，其特征在于，所述利用所述第二内镜图像确定出镜长度，包括：

利用所述第二内镜图像确定所述器械的第一输送方向像素距离和垂直方向像素距离；

利用所述第一输送方向像素距离、所述垂直方向像素距离、所述器械的直径和预设的修正比例，确定所述出镜长度。

4.根据权利要求2所述的方法，其特征在于，所述利用所述内镜图像确定出镜长度，包括：

利用所述第二内镜图像确定所述器械的第二输送方向像素距离；

利用内镜成像原理，通过所述第二输送方向像素距离和所述工作孔道的出口与所述相机的相对位置，确定所述出镜长度。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据所述工作孔道的出口与所述相机的相对位置，从所述第一内镜图像中确定第一感兴趣区域；

利用所述第一感兴趣区域对所述第一内镜图像进行感兴趣区域划分，得到第一区域图像；

对所述第一区域图像进行器械特征识别。

6.根据权利要求5所述的方法，其特征在于，所述对所述第一区域图像进行器械特征识别，包括：

对所述第一区域图像进行平滑、灰度化、二值化处理，得到处理后的第一区域图像；

对所述处理后的第一区域图像进行边缘提取，得到第一拟合轮廓；

根据所述器械所属的器械类型，确定所述器械对应的标准轮廓；

对所述第一拟合轮廓和所述标准轮廓进行匹配，得到第一匹配结果；所述第一匹配结果用于表征所述第一内镜图像中是否识别到所述器械特征。

7.根据权利要求1所述的方法，其特征在于，所述第一内镜图像包括：第一图像和第二图像，所述第一图像为所述器械沿输送管道的输送长度为所述目标长度时采集到的图像，所述第二图像为所述器械沿输送管道的输送长度大于所述目标长度时采集到的图像；

所述当所述第一内镜图像中识别到所述器械对应的器械特征时，停止输送所述器械，包括：

在所述第一图像中未识别到所述器械对应的器械特征，将所述器械的输送速度由第一速度降低为第二速度，控制所述器械以所述第二速度继续输送；

当所述第二图像中识别到所述器械对应的器械特征时，停止输送所述器械。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

确定所述第一图像与所述第二图像的图像相识度；

当所述图像相识度低于第一阈值，根据所述工作孔道的出口与所述相机的相对位置对所述第二图像进行感兴趣区域划分，得到第二区域图像；对所述第二区域图像进行器械特征识别；

当所述图像相识度不低于第一阈值，根据所述工作孔道的出口与所述相机的相对位置对所述第一图像、所述第二图像进行感兴趣划分，得到第三区域图像和第四区域图像；去除所述第四区域图像中与所述第三区域图像中的区域相识度高于第二阈值的区域，得到第五区域图像；对所述第五区域图像进行器械特征识别。

9.一种器械输送长度的控制设备，其特征在于，包括：

存储器，用于存储指令；

处理器，用于执行所述存储器中的所述指令以执行权利要求1至8任意一项所述的器械输送长度的控制方法。

10.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行权利要求1至8任意一项所述的器械输送长度的控制方法。