CN117598792A - 用于血管介入手术机器人的介入耗材控制方法 - Google Patents

Abstract

本公开提供一种用于血管介入手术机器人的介入耗材控制方法；涉及医疗器械技术领域。所述方法包括：检测到控制介入耗材产生回撤运动的触发操作时，获取所述介入耗材处于多通道连接阀的介入耗材通道内的当前图像，并确定所述当前图像中所述介入耗材的轮廓信息；根据所述轮廓信息确定所述介入耗材在所述多通道连接阀的介入耗材通道内的回撤距离；若所述回撤距离满足预设回撤距离条件，则控制所述介入耗材停留在所述多通道连接阀的介入耗材通道内。本公开在介入耗材从多通道连接阀的介入耗材通道回撤的过程中，可以确保介入耗材准确地回撤于多通道连接阀内，便于后续对介入耗材的再次推进，进而提升介入手术的效率。

Description

用于血管介入手术机器人的介入耗材控制方法

分案说明

本专利申请是申请号为202310941167.7、申请日为2023年07月28日、发明名称为用于血管介入手术机器人的介入耗材控制方法的专利申请的分案申请。

技术领域

本公开涉及医疗器械技术领域，具体而言，涉及一种用于血管介入手术机器人的介入耗材控制方法。

背景技术

目前，血管疾病已经成为危害人类健康的典型疾病，治疗血管疾病的方法包括传统人工操作的血管介入手术和机器人辅助的血管介入手术。相比于传统手术方法，机器人辅助的手术方法可以减少医生遭受辐射的时间和操作机器的时间，降低医生的负担以及提高手术的安全性。

其中，机器人辅助的血管介入手术是指医生在无辐射的环境内(如控制室)操作主端设备，远程控制手术室内的从端设备，以将导丝、导管等介入耗材递送至患者病灶位置进行诊断和治疗。因此，实现对介入耗材的精准控制可以对介入手术的效率起到关键的作用。

相关技术中通常通过位移传感器来确定导丝、导管等介入耗材的实时位置，以控制介入耗材前进、回撤或是旋转等。但是，由于存在延迟加上位移传感器本身的响应时间，导致该方法对介入耗材的控制精度较差，在介入耗材运动过程中容易产生误差，从而影响介入手术的效率。

所述背景技术部分公开的上述信息仅用于加强对本发明的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开实施例的目的在于提供一种用于血管介入手术机器人的介入耗材控制方法，进而至少在一定程度上解决相关技术中对介入耗材的控制精度较差，使得介入手术效率较低的问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开实施例的第一方面，提供了一种介入耗材控制方法，应用于血管介入手术机器人，包括：

检测到控制介入耗材产生回撤运动的触发操作时，获取所述介入耗材处于多通道连接阀的介入耗材通道内的当前图像，并确定所述当前图像中所述介入耗材的轮廓信息；

根据所述轮廓信息确定所述介入耗材在所述多通道连接阀的介入耗材通道内的回撤距离；

若所述回撤距离满足预设回撤距离条件，则控制所述介入耗材停留在所述多通道连接阀的介入耗材通道内。

在本公开的一种示例性实施例中，所述确定所述当前图像中所述介入耗材的轮廓信息，包括：

将作为固定图像的所述当前图像与作为浮动图像的参考图像进行配准，所述参考图像为所述多通道连接阀的介入耗材通道内不包含所述介入耗材的光学图像；

将配准后的所述当前图像和所述参考图像分别进行灰度转换，得到对应的当前灰度图像和参考灰度图像；

根据所述当前灰度图像和所述参考灰度图像确定所述当前图像中所述介入耗材的轮廓信息。

在本公开的一种示例性实施例中，所述根据所述当前灰度图像和所述参考灰度图像确定所述当前图像中所述介入耗材的轮廓信息，包括：

将所述当前灰度图像和所述参考灰度图像做差处理，得到第一图像；

基于预设的像素阈值对所述第一图像进行二值化处理，得到第二图像；

对所述第二图像中的目标区域进行图像增强处理，得到所述介入耗材的轮廓信息；

其中，所述目标区域为通过将所述当前图像与所述参考图像进行配准得到的所述介入耗材的活动区域。

在本公开的一种示例性实施例中，所述对所述第二图像中的目标区域进行图像增强处理，得到所述介入耗材的轮廓信息，包括：

对所述第二图像中的目标区域进行膨胀运算和腐蚀运算，得到多个子图像轮廓；

对各所述子图像轮廓进行检测得到所述介入耗材的轮廓信息。

在本公开的一种示例性实施例中，所述根据所述轮廓信息确定所述介入耗材在所述多通道连接阀的介入耗材通道内的回撤距离，包括：

确定所述轮廓信息在所述多通道连接阀的介入耗材通道内且沿所述介入耗材的回撤方向所对应的长度信息；

根据所述长度信息计算所述介入耗材在所述多通道连接阀的介入耗材通道内且沿所述介入耗材的回撤方向所对应的回撤距离。

在本公开的一种示例性实施例中，所述确定所述当前图像中所述介入耗材的轮廓信息，包括：

将所述当前图像转换为HSV图像；

对所述HSV图像进行二值化处理，得到第三图像；

对所述第三图像进行膨胀运算和腐蚀运算，以得到所述当前图像中所述介入耗材的轮廓信息。

在本公开的一种示例性实施例中，所述轮廓信息包括所述当前图像中所述介入耗材的第一轮廓信息；

所述根据所述轮廓信息确定所述介入耗材在所述多通道连接阀的介入耗材通道内的回撤距离，包括：

确定与所述当前图像相邻的上一帧图像中所述介入耗材的第二轮廓信息；

确定所述第一轮廓信息和所述第二轮廓信息分别在所述多通道连接阀的介入耗材通道内且沿所述介入耗材的回撤方向所对应的第一长度和第二长度；

计算所述第一长度和所述第二长度之间的长度差值，并根据所述长度差值确定所述介入耗材在所述多通道连接阀的介入耗材通道内且沿所述介入耗材的回撤方向所对应的回撤距离。

根据本公开实施例的第二方面，提供了一种介入耗材控制装置，包括：

轮廓信息确定模块，用于检测到控制介入耗材产生回撤运动的触发操作时，获取所述介入耗材处于多通道连接阀的介入耗材通道内的当前图像，并确定所述当前图像中所述介入耗材的轮廓信息；

回撤距离确定模块，用于根据所述轮廓信息确定所述介入耗材在所述多通道连接阀的介入耗材通道内的回撤距离；

回撤距离判断模块，用于若所述回撤距离满足预设回撤距离条件，则控制所述介入耗材停留在所述多通道连接阀的介入耗材通道内。

根据本公开实施例的第三方面，提供了一种电子设备，包括：处理器；以及存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现第一方面中的介入耗材控制方法。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面中的介入耗材控制方法。

本公开实施例提供的技术方案可以包括以下有益效果：

本公开的示例实施例中的用于血管介入手术机器人的介入耗材控制方法，检测到控制介入耗材产生回撤运动的触发操作时，获取所述介入耗材处于多通道连接阀的介入耗材通道内的当前图像，并确定所述当前图像中所述介入耗材的轮廓信息；根据所述轮廓信息确定所述介入耗材在所述多通道连接阀的介入耗材通道内的回撤距离；若所述回撤距离满足预设回撤距离条件，则控制所述介入耗材停留在所述多通道连接阀的介入耗材通道内。一方面，在介入耗材从多通道连接阀的介入耗材通道回撤的过程中，可以确保介入耗材准确地回撤于多通道连接阀内，便于后续对介入耗材的再次推进，进而提升介入手术的效率。进一步的，当精准控制介入耗材回撤于多通道连接阀内时，无需医生多次往返于手术室和控制室内以对介入耗材重复调节，可以减少医生遭受辐射的时间和操作机器的时间，同时还可以降低机器受污染的概率，提高介入手术的安全性；另一方面，相比于相关技术中通过配置位移传感器以对介入耗材进行控制，本公开只需配置可以用于采集图像的摄像装置，其安装方式和采集信息的方式都更为简单，还可以有效减少机械结构的设计，进而降低介入手术的成本。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了可以应用本公开实施例的介入耗材控制方法的系统架构示意图。

图2示出了本公开实施例中一种介入耗材控制方法的流程示意图。

图3示出了本公开实施例中一种确定介入耗材的轮廓信息的流程示意图。

图4示出了本公开实施例中一种多通道连接阀的介入耗材通道的示意图。

图5示出了本公开实施例中另一种介入耗材控制方法的流程示意图。

图6示出了本公开实施例中又一种介入耗材控制方法的流程示意图。

图7示出了本公开实施例中一种介入耗材控制装置的框图。

图8示出了适于用来实现本公开实施例的电子设备的结构示意图。

在附图中，相同或对应的标号表示相同或对应的部分。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

图1示出了可以应用本公开实施例的一种用于血管介入手术机器人的介入耗材控制方法的系统架构示意图。

如图1所示，系统架构100可以包括摄像装置101、数据处理装置102、驱动机构103和多通道连接阀内运动的介入耗材104。其中，摄像装置101可以是由图像传感器、控制芯片和镜头三部分组成的摄像头，本公开实施例中的摄像装置101放置于多通道连接阀下方，用于对处于多通道连接阀内的介入耗材104进行拍摄，以实时捕捉介入耗材104的图像或影像数据；数据处理装置102可以是具有数据处理功能的终端设备或是服务器，例如，数据处理装置102可以是具有显示屏的各种终端设备，该显示屏用于向用户展示介入耗材的图像或影像，该终端设备包括但不限于台式计算机、便携式计算机、智能手机和平板电脑等等。数据处理装置102可以根据数据处理结果向驱动机构103发送相应的控制指令，驱动机构103可以用于控制介入耗材104前进、后退或是旋转。例如，数据处理装置102发送停止运动指令给驱动机构103，驱动机构103控制电机停止，使得驱动介入耗材运动的驱动部件停止运动，最终使得介入耗材停止运动，从而完成对介入耗材的控制。

其中，摄像装置101、数据处理装置102和驱动机构103可以通过用于提供通信链路介质的网络进行通信，网络可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。应该理解，根据实现需要，可以具有任意数目的摄像装置、数据处理装置等。比如数据处理装置可以是多个服务器组成的服务器集群等。

本公开实施例所提供的用于血管介入手术机器人的介入耗材控制方法一般可以由数据处理装置102执行，例如，当数据处理装置102为终端设备且由终端设备执行该方法时，相应的，介入耗材控制装置一般设置于终端设备中。本领域技术人员容易理解的是，当数据处理装置102为服务器且由服务器执行该方法时，相应的，介入耗材控制装置也可以设置于服务器中，本示例性实施例中对此不做特殊限定。

以下对本公开实施例的技术方案进行详细阐述：

相关技术中，以通过位移传感器来确定介入耗材如导丝的实时位置时，具体是通过测量导丝和导管移动的相对距离，根据该相对距离确定导丝的绝对位置，以根据导丝的绝对位置控制导丝前进、回撤或是旋转等。但是该方法要求驱动导丝运动的执行装置不能打滑以及位移传感器的控制精度较高。举例而言，如根据实际需求导丝在回撤过程中其头端需要停在A点，但由于存在延迟加上位移传感器本身的响应时间，使得导丝头端停在了B点，两点之间的距离即为导丝在回撤过程中产生的误差，该误差可能会对介入手术的进行产生较大影响，从而影响介入手术的效率。

基于上述一个或多个问题，本示例实施方式提供了一种用于血管介入手术机器人的介入耗材控制方法，以终端设备执行该方法为例，对本公开实施例中的介入耗材控制方法进行详细说明。参考图2所示，示出了一种介入耗材控制方法的流程示意图，该介入耗材控制方法可以包括以下步骤S210至步骤S230：

步骤S210，检测到控制介入耗材产生回撤运动的触发操作时，获取所述介入耗材处于多通道连接阀的介入耗材通道内的当前图像，并确定所述当前图像中所述介入耗材的轮廓信息；

步骤S220，根据所述轮廓信息确定所述介入耗材在所述多通道连接阀的介入耗材通道内的回撤距离；

步骤S230，若所述回撤距离满足预设回撤距离条件，则控制所述介入耗材停留在所述多通道连接阀的介入耗材通道内。

根据本示例实施例中的介入耗材控制方法，一方面，在介入耗材从多通道连接阀的介入耗材通道回撤的过程中，可以确保介入耗材准确地回撤于多通道连接阀内，避免从多通道连接阀内移出，便于后续对介入耗材的再次推进，进而提升介入手术的效率。进一步的，当精准控制介入耗材回撤于多通道连接阀内时，无需医生多次往返于手术室和控制室内以对介入耗材重复调节，可以减少医生遭受辐射的时间和操作机器的时间，同时还可以降低机器受污染的概率，提高介入手术的安全性；另一方面，相比于相关技术中通过配置位移传感器以对介入耗材进行控制，本公开只需配置可以用于采集图像的摄像装置，其安装方式和采集信息的方式都更为简单，还可以有效减少机械结构的设计，进而降低介入手术的成本。

下面，对于本示例实施方式的上述步骤进行更加详细的说明。

在步骤S210中，检测到控制介入耗材产生回撤运动的触发操作时，获取所述介入耗材处于多通道连接阀的介入耗材通道内的当前图像，并确定所述当前图像中所述介入耗材的轮廓信息。

其中，血管介入手术机器人需要控制的介入耗材可以包括但不限于一次性无菌导管和导丝。本公开示例实施方式中，以导丝为例进行说明，如在介入手术过程中，可以控制导丝前进和回撤等。多通道连接阀用于对导丝引导、放置以及锁定，如可以是Y型连接阀(或者简称Y阀)，也可以是T型阀等，本公开对此不做限定。对于Y阀来说，Y阀包括Y型连接器，Y型连接器具有介入耗材通道(例如导丝运动的通道)和液体通道(例如造影剂、肝素盐水等)，两个通道呈Y字型或者类Y字型，Y型连接器的一端与导管连接，导管与Y型连接器连通形成导丝运动的通道。导丝穿入与Y型连接器后，进一步可深入导管内，导丝可在导管与Y型连接器形成的通道内运动，Y型连接器的另一端设有旋钮，可以锁紧或者释放导丝。

本公开主要针对控制导丝回撤进行说明，以多通道连接阀为Y型连接阀为例。具体的，在导丝回撤过程中，需要控制导丝退回Y型连接阀内且不会完全退出Y型连接阀，以便于后续需要控制导丝前进时更容易实现对导丝的再次推进。因此，需要在导丝回撤过程中实时获取导丝的绝对位置并控制导丝可以停留在Y型连接阀内。

示例性的，当检测到控制导丝产生回撤运动的触发操作时，可以获取导丝处于多通道连接阀的介入耗材通道内的当前图像，并确定当前图像中导丝的轮廓信息，以根据该轮廓信息判断导丝所处的当前位置。其中，控制导丝产生回撤运动的触发操作可以是指用户对目标按钮进行按压/点击等操作，通过按压/点击该目标按钮可以实现控制导丝回撤的功能，也可以是通过手柄、摇杆等形式操纵导丝回撤。

举例而言，在介入手术过程中需要将导丝从导管中撤出时，用户可以点击该目标按钮，导丝开始回撤。同时，可以读取由Y型连接阀下方的摄像装置采集的实时图像，并对实时图像进行处理以得到图像中导丝的轮廓信息。

一种示例实施方式中，参考图3所示，可以根据步骤S310至步骤S330来确定当前图像中导丝的轮廓信息：

步骤S310.将作为固定图像的所述当前图像与作为浮动图像的参考图像进行配准，所述参考图像为所述多通道连接阀的介入耗材通道内不包含所述介入耗材的光学图像。

仍以介入耗材是导丝为例，该示例中，参考图像可以为预先制作的Y型连接阀内没有导丝的光学图像。该参考图像可以由Y型连接阀下方的摄像装置采集得到，如当导丝完全退出Y型连接阀后可以通过摄像装置进行拍摄，以直接得到该参考图像。该参考图像也可以通过对采集得到的Y型连接阀内包含导丝的光学图像进行处理得到，本公开对此不做具体限定。

具体的，可以从Y型连接阀内包含导丝的光学图像勾画出导丝的活动区域，并使用该光学图像中的背景像素值或高灰度值填充该活动区域，从而得到Y型连接阀内没有导丝的光学图像。例如，使用高灰度值对Y型连接阀内包含导丝的光学图像中的导丝的活动区域进行填充，得到的一张参考图像如图4所示，其中，401即为参考图像中导丝的活动区域。

得到参考图像后，可以将该参考图像作为浮动图像，将当前图像作为固定图像，并将二者进行配准，以获得当前图像中的导丝的活动区域。其中，图像配准是指将两张或多张来自不同成像设备、在不同时间和不同角度等拍摄的图像进行叠加的过程，以得到两张图像之间的匹配点并在空间上对齐它们以最小化所需的误差。例如，可以基于两张或多张图像的灰度信息、特征信息等进行配准，本公开对此不做限定。

该示例中，将摄像装置采集的当前图像作为固定图像，将预先制作的参考图像基于当前图像进行平移、旋转、缩放、形变等操作，使得参考图像和当前图像对齐。由于参考图像中Y型连接阀内导丝的活动区域是已知的，属于先验知识，所以通过图像配准可以获得当前图像中Y型连接阀内导丝的活动区域，以便于后续的图像处理。而且，将摄像装置采集的当前图像在配准过程中固定不动，也可以便于计算导丝在Y型连接阀内的回撤距离，提高对介入耗材控制的精确度。

将参考图像和当前图像进行配准之前，还可以将当前图像进行平滑处理，如可以进行高斯滤波，也可以进行中值滤波等，还可以进行均值滤波、双边滤波等处理，本公开对此不做限定。通过对图像进行平滑处理，可以减少图像上的噪点，后续进行图像配准时，可以提高图像配准的准确性。

步骤S320.将配准后的所述当前图像和所述参考图像分别进行灰度转换，得到对应的当前灰度图像和参考灰度图像。

例如，摄像装置采集的当前图像可以是RGB图像。相应的，将当前采集得到的RGB图像和参考图像配准之后，可以将该RGB图像转换为灰度图像，得到对应的当前灰度图像，将该参考图像转换为灰度图像，得到对应的参考灰度图像。

将当前图像和参考图像均进行灰度转化，可以提高图像的对比度，使得图像更加清晰，细节也更加突出。而且，灰度图像的信息量相比于原始图像而言大大减少，因此图像处理的计算量也相应减少，便于后续计算。

步骤S330.根据所述当前灰度图像和所述参考灰度图像确定所述当前图像中所述介入耗材的轮廓信息。

一种示例实施方式中，可以将当前灰度图像和参考灰度图像做差处理，得到第一图像。并基于预设的像素阈值对第一图像进行二值化处理，得到第二图像。然后对第二图像中的目标区域进行图像增强处理，得到介入耗材的轮廓信息。其中，目标区域是指通过将当前图像与参考图像进行配准得到的介入耗材的活动区域。

图像做差处理是指当前灰度图像和参考灰度图像中对应的每一个像素点的像素值进行相减，如果像素差小于0，则将做差结果记为0。二值化处理是指把灰度图像转换为二值图像，预设的像素阈值可以是固定像素阈值，也可以是自适应像素阈值。以固定像素阈值为例，可以将第一图像中大于该固定像素阈值的像素灰度设为灰度极大值，将小于该固定像素阈值的像素灰度设为灰度极小值，从而实现第一图像的二值化，即得到第二图像。

图像增强处理可以包括膨胀运算和腐蚀运算，相应的，可以对第二图像中的目标区域进行膨胀运算和腐蚀运算，得到多个子图像轮廓，并进一步对各子图像轮廓进行检测以得到介入耗材的轮廓信息。其中，腐蚀操作时取目标区域内每一个像素点的邻域范围内的像素值的最小值作为该像素点的输出灰度值。该邻域范围可以是矩形结构，也可以是椭圆形结构、十字交叉形结构等，本公开对此不做限定。

腐蚀运算会降低图像中各像素点的灰度值，也就是说腐蚀后的输出图像总体亮度与原始图像相比有所降低，图像中较亮的区域面积会变小，较暗的区域面积会变大。膨胀运算相当于是腐蚀运算的反向操作，图像中较亮的区域面积会变大，较暗的区域面积会减小。先腐蚀运算后膨胀运算，在去掉白噪声的同时，也会使前景对象变小，再对它进行膨胀，这时噪声已经被去除了，但是前景还在并会增加，这样会使导丝目标更加清晰，达到很好的形态学处理效果。也可以先膨胀运算后腐蚀运算，通过膨胀运算使得图像的边缘扩大，再通过腐蚀运算去除白噪声，本公开对此不做限定。

该示例中，通过摄像装置自动追踪和捕捉导丝的轮廓信息来完成对导丝位置的判断，以实现对导丝运动的精准控制，提高介入手术的效率。

在步骤S220中，根据所述轮廓信息确定所述介入耗材在所述多通道连接阀的介入耗材通道内的回撤距离。

示例性的，可以确定该轮廓信息在多通道连接阀的介入耗材通道内且沿介入耗材的回撤方向所对应的长度信息，并根据长度信息计算介入耗材在多通道连接阀的介入耗材通道内且沿介入耗材的回撤方向所对应的回撤距离。

具体的，确定导丝的轮廓信息之后，可以计算该轮廓信息在多通道连接阀的介入耗材通道内沿导丝的回撤方向的投影长度。根据导丝在多通道连接阀的介入耗材通道内的投影长度可以计算出导丝在多通道连接阀的介入耗材通道内且沿导丝的回撤方向所对应的回撤距离。可以理解的是，回撤距离为导丝在多通道连接阀的介入耗材通道内且沿导丝的回撤方向的投影距离，即为Y型连接阀头端与导丝头端之间的投影距离。

相比于通过位移传感器确定导丝位置，通过图像识别确定导丝位置时存在的时间延迟较小，因此在导丝从多通道连接阀的介入耗材通道回撤的过程中可以确保导丝不会完全撤出Y型连接阀，避免影响导丝的再次推进。

在步骤S230中，若所述回撤距离满足预设回撤距离条件，则控制所述介入耗材停留在所述多通道连接阀的介入耗材通道内。

其中，预设回撤距离条件可以是设置回撤距离阈值，该阈值可以是多通道连接阀头端与尾端之间的投影距离，也可以是多通道连接阀头端与尾端之间的投影距离以内的任意距离值，本公开对此不做限定。也就是说，当确定当前图像中的导丝轮廓的回撤距离小于多通道连接阀头端与尾端之间的投影距离时，即可以判定导丝已退回多通道连接阀的介入耗材通道内，则可以控制电机停止回撤，以将导丝停留在多通道连接阀的介入耗材通道内，便于后续将导丝再次推进。

可以理解的是，回撤距离阈值可以是预先设置的默认值，也可以根据实际需求通过用户界面对回撤距离阈值进行编辑，本公开对此不做限定。

本公开示例实施方式中，通过对配置在多通道连接阀下方的摄像装置采集到的实时图像进行分析，识别图像中的导丝头端是否已经退入多通道连接阀内。若确定导丝头端已退回多通道连接阀内，则控制导丝停止运动，以停留在多通道连接阀内，避免导丝退出多通道连接阀而影响下次推进。

进一步的，对导丝等介入耗材的控制过程完全由设备完成，无需医生多次往返于手术室和控制室内以对介入耗材重复调节，可以减少医生遭受辐射的时间和操作机器的时间，同时还可以降低机器受污染的概率，提高介入手术的安全性。

一种示例实施方式中，参考图5所示，介入耗材控制方法又可以包括步骤S501至步骤S508：

步骤S501.读取实时图像帧：介入手术过程中需要将导丝从导管中撤出时，用户点击“回撤导丝”按钮或者手动操作手柄控制导丝回撤，导丝开始回撤，同时读取由配置于Y型连接阀下方的摄像装置采集的实时图像帧；

步骤S502.图像平滑：将采集到的当前RGB图像进行高斯滤波或中值滤波等平滑处理；

步骤S503.图像配准：将当前RGB图像与预先制作的Y型连接阀内没有导丝的光学图像进行配准，得到导丝的活动区域，其中，可以将当前RGB图像作为配准的固定图像，将预先制作的Y型连接阀内没有导丝的光学图像作为配准的浮动图像；

进一步的，将配准后的Y型连接阀内没有导丝的光学图像和当前RGB图像均转换为灰度图像，并进行做差处理和二值化处理，然后对二值化后的图像中导丝的活动区域进行膨胀运算和腐蚀运算，以突出当前RGB图像的轮廓；

步骤S504.运动目标检测：对当前RGB图像中的导丝轮廓进行检测；

步骤S505.判断是否检测到导丝：即判断该图像中是否包含导丝，若是，执行步骤S506，反之则执行步骤S501，以识别新的图像；

步骤S506.计算回撤距离，计算轮廓在X轴方向的长度，计算导丝在X轴方向的回撤距离，判断是否超过回撤距离阈值；

步骤S507.判断回撤距离是否超过阈值：若超过该阈值，可以判定导丝已撤回到Y型连接阀内，则执行步骤S508，反之则执行步骤S501，以识别新的图像；

步骤S508.控制电机停止回撤：电机停止回撤，将导丝停留在Y型连接阀的介入耗材通道内。

另一种示例实施方式中，仍以介入耗材是导丝为例进行说明，当检测到控制导丝产生回撤运动的触发操作时，可以获取导丝处于多通道连接阀的介入耗材通道内的当前图像，并确定该当前图像中导丝的轮廓信息。示例性的，可以将当前图像转换为HSV图像，并对HSV图像进行二值化处理，得到第三图像，再对第三图像进行膨胀运算和腐蚀运算，以得到当前图像中导丝的轮廓信息。类似的，可以得到每帧图像中导丝的轮廓信息。

其中，HSV是根据颜色的直观特性创建的一种颜色空间，颜色参数分别是色调(Hue)、饱和度(Saturation)和明度(Value)。例如，当前图像为RGB图像，将当前图像转换为HSV图像时，可以提取RGB图像的阈值范围，然后通过对RGB三个颜色分量数值进行计算，得到HSV图像中三个颜色参数的值。相比RGB图像，HSV图像通过色调、饱和度和明度更加便于颜色之间的对比，提高提取轮廓信息的准确度。

进一步的，对HSV图像二值化处理后，需要将该图像中的导丝作为一个整体识别出来，也即需要进行图像形态学处理，例如，可以对二值化得到的第三图像先进行膨胀运算再进行腐蚀运算，以得到较清晰的导丝的轮廓信息。

确定每帧图像中导丝的轮廓信息后，可以根据相邻帧图像中导丝的轮廓信息确定导丝的回撤距离。示例性的，轮廓信息可以包括当前图像中导丝的第一轮廓信息。确定导丝的回撤距离时，可以获取与当前图像相邻的上一帧图像中导丝的第二轮廓信息，确定第一轮廓信息和第二轮廓信息分别在多通道连接阀的介入耗材通道内且沿导丝的回撤方向所对应的第一长度和第二长度。计算第一长度和第二长度之间的长度差值，并根据长度差值确定导丝在多通道连接阀的介入耗材通道内且沿导丝的回撤方向所对应的回撤距离。需要注意的是，回撤距离为导丝在多通道连接阀的介入耗材通道内且沿导丝的回撤方向的投影距离。

该示例中，预设回撤距离条件可以是设置回撤距离阈值。例如，多通道连接阀头端与尾端之间的投影距离为一个固定值d，回撤距离阈值可以预设为d×k，k的取值区间可以(0,0.5)，也可以为(0,1)，如可以取k＝0.3，本公开对此不做限定。也就是说，相比于上一帧图像中导丝轮廓，当确定当前图像中的导丝轮廓的回撤距离小于该回撤距离阈值时，即可以判定导丝已退回多通道连接阀的介入耗材通道内，则可以控制电机停止回撤，以将导丝停留在多通道连接阀的介入耗材通道内，便于后续将导丝再次推进。

一种示例实施方式中，参考图6所示，介入耗材控制方法还可以包括步骤S601至步骤S609：

步骤S601.读取实时图像帧：介入手术过程中需要将导丝从导管中撤出时，用户点击“回撤导丝”按钮，导丝开始回撤，同时读取由配置于Y型连接阀下方的摄像装置采集的实时图像帧；

步骤S602.图像平滑：将采集到的当前RGB图像进行高斯滤波或中值滤波等平滑处理；

步骤S603.将RGB图像转换为HSV图像；

步骤S604.二值化处理：设置HSV图像中各通道的上下限阈值，根据上下限阈值进行二值化处理；

步骤S605.膨胀运算和腐蚀运算：对二值化后的图像进行膨胀运算和腐蚀运算，突出图像中的导丝轮廓；

步骤S606.运动目标检测：对图像中的导丝轮廓进行检测；

步骤S607.判断是否检测到导丝：即判断该图像中是否包含导丝，若是，执行步骤S608，反之则执行步骤S601，以识别新的图像；

步骤S608.判断与上一帧图像相比回撤距离是否超过阈值：将当前图像中的导丝轮廓与上一帧图像中的导丝轮廓进行对比，判断导丝轮廓对应的回撤距离是否满足预设回撤距离条件；若满足，可以判定导丝已撤回到Y型连接阀内，则执行步骤S609，反之则执行步骤S601，以识别新的图像；

步骤S609.控制电机停止回撤：电机停止回撤，将导丝停留在Y型连接阀的介入耗材通道内。

本公开的示例实施例中的用于血管介入手术机器人的介入耗材控制方法，一方面，在介入耗材从多通道连接阀的介入耗材通道回撤的过程中，可以确保介入耗材准确地回撤于多通道连接阀内，便于后续对介入耗材的再次推进，进而提升介入手术的效率。进一步的，当精准控制介入耗材回撤于多通道连接阀内时，无需医生多次往返于手术室和控制室内以对介入耗材重复调节，可以减少医生遭受辐射的时间和操作机器的时间，同时还可以降低机器受污染的概率，提高介入手术的安全性；另一方面，相比于相关技术中通过配置位移传感器以对介入耗材进行控制，本公开只需配置可以用于采集图像的摄像装置，其安装方式和采集信息的方式都更为简单，还可以有效减少机械结构的设计，进而降低介入手术的成本。

进一步的，本示例实施方式中，还提供了一种介入耗材控制装置。参考图7所示，该介入耗材控制装置700可以包括轮廓信息确定模块710、回撤距离确定模块720和回撤距离判断模块730，其中：

轮廓信息确定模块710，用于检测到控制介入耗材产生回撤运动的触发操作时，获取所述介入耗材处于多通道连接阀的介入耗材通道内的当前图像，并确定所述当前图像中所述介入耗材的轮廓信息；

回撤距离确定模块720，用于根据所述轮廓信息确定所述介入耗材在所述多通道连接阀的介入耗材通道内的回撤距离；

回撤距离判断模块730，用于若所述回撤距离满足预设回撤距离条件，则控制所述介入耗材停留在所述多通道连接阀的介入耗材通道内。

在一种可选的实施方式中，轮廓信息确定模块710包括：

图像配准子模块，用于将作为固定图像的所述当前图像与作为浮动图像的参考图像进行配准，所述参考图像为所述多通道连接阀的介入耗材通道内不包含所述介入耗材的光学图像；

灰度处理子模块，用于将配准后的所述当前图像和所述参考图像分别进行灰度转换，得到对应的当前灰度图像和参考灰度图像；

轮廓确定子模块，用于根据所述当前灰度图像和所述参考灰度图像确定所述当前图像中所述介入耗材的轮廓信息。

在一种可选的实施方式中，轮廓确定子模块包括：

图像做差处理单元，用于将所述当前灰度图像和所述参考灰度图像做差处理，得到第一图像；

二值化处理单元，用于基于预设的像素阈值对所述第一图像进行二值化处理，得到第二图像；

图像增强单元，用于对所述第二图像中的目标区域进行图像增强处理，得到所述介入耗材的轮廓信息；其中，所述目标区域为通过将所述当前图像与所述参考图像进行配准得到的所述介入耗材的活动区域。

在一种可选的实施方式中，图像增强单元包括：

轮廓提取子单元，用于对所述第二图像中的目标区域进行膨胀运算和腐蚀运算，得到多个子图像轮廓；

轮廓检测子单元，用于对各所述子图像轮廓进行检测得到所述介入耗材的轮廓信息。

在一种可选的实施方式中，回撤距离确定模块720包括：

第一投影长度确定子模块，用于确定所述轮廓信息在所述多通道连接阀的介入耗材通道内且沿所述介入耗材的回撤方向所对应的长度信息；

第一回撤距离确定子模块，用于根据所述长度信息计算所述介入耗材在所述多通道连接阀的介入耗材通道内且沿所述介入耗材的回撤方向所对应的回撤距离。

在一种可选的实施方式中，轮廓信息确定模块710被配置为用于将所述当前图像转换为HSV图像；对所述HSV图像进行二值化处理，得到第三图像；对所述第三图像进行膨胀运算和腐蚀运算，以得到所述当前图像中所述介入耗材的轮廓信息。

在一种可选的实施方式中，所述轮廓信息包括所述当前图像中所述介入耗材的第一轮廓信息；回撤距离判断模块730包括：

轮廓信息确定子模块，用于确定与所述当前图像相邻的上一帧图像中所述介入耗材的第二轮廓信息；

第二投影长度确定子模块，用于确定所述第一轮廓信息和所述第二轮廓信息分别在所述多通道连接阀的介入耗材通道内且沿所述介入耗材的回撤方向所对应的第一长度和第二长度；

第二回撤距离确定子模块，用于计算所述第一长度和所述第二长度之间的长度差值，并根据所述长度差值确定所述介入耗材在所述多通道连接阀的介入耗材通道内且沿所述介入耗材的回撤方向所对应的回撤距离。

上述介入耗材控制装置中各模块的具体细节已经在对应的介入耗材控制方法中进行了详细的描述，因此此处不再赘述。

本公开的示例性实施方式还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在电子设备上运行时，程序代码用于使电子设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。该程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在电子设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C#、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

本公开的示例性实施方式还提供了一种能够实现上述方法的电子设备。下面参照图8来描述根据本公开的这种示例性实施方式的电子设备800。图8显示的电子设备800仅仅是一个示例，不应对本公开实施方式的功能和使用范围带来任何限制。

如图8所示，电子设备800可以以通用计算设备的形式表现。电子设备800的组件可以包括但不限于：至少一个处理单元810、至少一个存储单元820、连接不同系统组件(包括存储单元820和处理单元810)的总线830和显示单元840。

存储单元820存储有程序代码，程序代码可以被处理单元810执行，使得处理单元810执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。例如，处理单元810可以执行图2中的方法步骤。

存储单元820可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)821和/或高速缓存存储单元(Cache)822，还可以进一步包括只读存储单元(ROM)823。

存储单元820还可以包括具有一组(至少一个)程序模块825的程序/实用工具824，这样的程序模块825包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线830可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备800也可以与一个或多个外部设备900(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备800交互的设备通信，和/或与使得该电子设备800能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口850进行。并且，电子设备800还可以通过网络适配器860与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器860通过总线830与电子设备800的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备800使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开示例性实施方式的方法。

此外，上述附图仅是根据本公开示例性实施方式的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施例。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种用于血管介入手术机器人的介入耗材控制方法，其特征在于，包括：

检测到控制介入耗材产生回撤运动的触发操作时，获取所述介入耗材处于多通道连接阀的介入耗材通道内的当前图像，并确定所述当前图像中所述介入耗材的轮廓信息；

根据所述轮廓信息确定所述介入耗材在所述多通道连接阀的介入耗材通道内的回撤距离；

若所述回撤距离满足预设回撤距离条件，则控制所述介入耗材停留在所述多通道连接阀的介入耗材通道内。

2.根据权利要求1所述的介入耗材控制方法，其特征在于，所述获取所述介入耗材处于多通道连接阀的介入耗材通道内的当前图像，并确定所述当前图像中所述介入耗材的轮廓信息，包括：

读取由摄像装置采集的所述介入耗材处于所述多通道连接阀的介入耗材通道内的当前图像；

对所述当前图像进行图像处理得到所述当前图像中所述介入耗材的轮廓信息；

其中，所述摄像装置位于所述多通道连接阀的下方，所述图像处理包括图像的颜色空间转换、二值化处理和图像形态学处理。

3.根据权利要求2所述的介入耗材控制方法，其特征在于，所述对所述当前图像进行图像处理得到所述当前图像中所述介入耗材的轮廓信息，包括：

将所述当前图像转换为HSV图像；

对所述HSV图像进行二值化处理，得到二值化图像；

对所述二值化图像进行膨胀运算和腐蚀运算，以得到所述当前图像中所述介入耗材的轮廓信息。

4.根据权利要求1所述的介入耗材控制方法，其特征在于，所述根据所述轮廓信息确定所述介入耗材在所述多通道连接阀的介入耗材通道内的回撤距离，包括：

确定所述轮廓信息在所述多通道连接阀的介入耗材通道内且沿所述介入耗材的回撤方向所对应的长度信息；

根据所述长度信息计算所述介入耗材在所述多通道连接阀的介入耗材通道内且沿所述介入耗材的回撤方向所对应的回撤距离。

5.根据权利要求4所述的介入耗材控制方法，其特征在于，所述轮廓信息包括所述当前图像中所述介入耗材的第一轮廓信息，所述长度信息包括第一长度；

所述确定所述轮廓信息在所述多通道连接阀的介入耗材通道内且沿所述介入耗材的回撤方向所对应的长度信息，包括：

确定所述第一轮廓信息在所述多通道连接阀的介入耗材通道内且沿所述介入耗材的回撤方向所对应的所述第一长度。

6.根据权利要求5所述的介入耗材控制方法，其特征在于，根据所述长度信息计算所述介入耗材在所述多通道连接阀的介入耗材通道内且沿所述介入耗材的回撤方向所对应的回撤距离，包括：

确定与所述当前图像相邻的上一帧图像中所述介入耗材的第二轮廓信息，并确定所述第二轮廓信息在所述多通道连接阀的介入耗材通道内且沿所述介入耗材的回撤方向所对应的第二长度；

计算所述第一长度和所述第二长度之间的长度差值，并根据所述长度差值确定所述介入耗材在所述多通道连接阀的介入耗材通道内且沿所述介入耗材的回撤方向所对应的回撤距离。

7.根据权利要求1所述的介入耗材控制方法，其特征在于，所述若所述回撤距离满足预设回撤距离条件，则控制所述介入耗材停留在所述多通道连接阀的介入耗材通道内，包括：

当确定所述当前图像中的导丝轮廓的回撤距离小于预设回撤距离阈值时，控制电机停止回撤，以将所述介入耗材停留在所述多通道连接阀的介入耗材通道内；

其中，所述回撤距离为所述介入耗材在所述多通道连接阀内的介入耗材通道内且沿所述介入耗材的回撤方向的投影距离。

8.根据权利要求1所述的介入耗材控制方法，其特征在于，所述多通道连接阀为Y型连接阀，所述Y型连接阀包括Y型连接器，所述Y型连接器具有所述介入耗材通道，所述介入耗材至少包括一次性无菌导丝；

所述控制所述介入耗材停留在所述多通道连接阀的介入耗材通道内，包括：

控制所述一次性无菌导丝的头端停留在所述Y型连接器的介入耗材通道内。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理单元执行时实现权利要求1-8任一项所述的介入耗材控制方法。

10.一种电子设备，其特征在于，包括：

处理单元；以及

存储单元，用于存储所述处理单元的可执行指令；

其中，所述处理单元配置为经由执行所述可执行指令来执行权利要求1-8任一项所述的介入耗材控制方法。