CN115607282B - 一种水刀轨迹预设方法和装置 - Google Patents

Abstract

本申请公开了一种水刀轨迹预设方法，包括以下步骤：将水刀伸缩方向和超声探头伸缩方向平行设置；在矢状面超声图像中识别喷水点，确定刀孔在所述伸缩方向的第一位置；控制超声探头移动，获得第一位置的横断面超声图像；在横断面超声图像中识别喷水点和水柱方向，控制水刀旋转至水柱指向超声探头，在矢状面超声图像上的喷水点位置生成水刀轨迹出发点；确定水刀伸缩方向上的设定的第二位置作为水刀轨迹终止点，在超声图像上生成从出发点到终止点的标识线。本申请还包含用于实现所述方法的装置。本申请解决人工确定水刀工作轨迹准确率和效率低且容易造成损伤的问题。

Description

一种水刀轨迹预设方法和装置

技术领域

本申请涉及医疗设备和计算机技术领域，尤其涉及一种基于双平面超声图像的水刀工作轨迹预设方法和装置。

背景技术

在水刀工作过程中，操作者需要确认水刀在腔道内的准确位姿，包括：刀孔位置，刀孔方向，水刀的姿态。根据水刀的预设工作范围规划水刀作用点，即从水刀轨迹的开始位置到结束位置，在超声图像上画出上述信息供操作者确认。

操作者手持水刀或控制水刀的支撑机构，需先通过双平面超声确定水刀初始位姿，包括水刀的倾斜程度，水刀刀头的准确方向方位。

人工调整及转动水刀支撑结构的方式，通过控制水刀喷水等方式，反复多次调整水刀的位姿和水刀刀头的方向，人工观察判断直到水刀刀头达到需要的初始位姿，过程耗时较长且需要操作者多次操作，自动化程度低且完全依赖于人工判断。

水刀的位姿也可以通过光学或磁导航等外加位置识别标识的方式，但外加标识点和识别传感器都需增加额外的装置，如光学导航要在水刀外部空间安装，且相机和标识点光路之间不能有遮挡，磁导航须在进入人体腔道内的水刀上增加额外的传感器且易受外部磁场干扰，人体外如病床上需增加磁场接收传感器，以上会对操作者的操作空间等有影响，特别如体外操作空间较小的手术场景。

水刀的位姿也可以在超声图像中获得，但超声图像质量较差且噪音干扰严重，操作者在双平面超声图像中识别出水刀有一定的困难，水刀的刀孔在超声图像中无法辨认。此外，操作者还需要不断切换双平面超声图像，在矢状面上通过肉眼识别出水刀刀孔作为起始位置，沿着水刀选取结束位置，因现有超声上无法获得矢状面和横断面在空间位置上的准确对应关系，操作者需在矢状面及横断面上反复切换，通过肉眼识别、空间想象和经验来预设最终的轨迹，过程耗时较长。

考虑超声图像质量较差及噪音大，如直接在超声图像中通过目测识别水刀稳定性较差，水刀受金属伪影影响极大，同时刀孔极小，在超声图像中无法显示。而在空腔内的喷水如在膀胱内，高压水柱的形状特征稳定且明显，组织内无其他可能产生高压水柱类似原理的图像，故操作者手动操作时手动控制喷水来判断水刀刀头的位置及方向。但是人工操作时，由于喷水量过小或时间过短，操作者无法在超声图像中观察到水柱现象，而喷水量过大或时间过长使得水柱在人体组织封闭环境内产生大量的反射和水流运动环境，会在超声图像中产生大量的伪影，也无法在超声图像中观察到水柱现象，另外通过水柱的位置获取水刀刀孔的位置，喷水量不同时水柱端部与刀孔的距离也不同，上述问题都为操作者手动操作时能准确的获得水刀位姿带来困难。手动操作还存在长时间喷水对组织造成损伤以及组织内水量不平衡等问题。

发明内容

本申请提出一种水刀轨迹预设方法和装置，解决人工确定水刀工作轨迹准确率和效率低、容易造成损伤的问题。

本申请实施例提供一种水刀轨迹预设方法，包括以下步骤：

将水刀伸缩方向和超声探头伸缩方向平行设置；

在矢状面超声图像中识别喷水点，确定刀孔在所述伸缩方向的第一位置，以及，控制超声探头移动，获得第一位置的横断面超声图像、在横断面超声图像中识别喷水点和水柱方向；

控制水刀旋转至水柱指向超声探头，在超声图像上的喷水点位置生成水刀轨迹出发点；

确定水刀伸缩方向上设定的第二位置作为水刀轨迹终止点，在矢状面超声图像上生成从出发点到终止点的标识线。

优选地，预先标定矢状面图像点坐标和横断面位置关系，确定矢状面图像点坐标和横断面位置关系数据；所述控制超声探头移动，获得第一位置的横断面超声图像，进一步包含：

响应于矢状面上的第一位置信息，根据标定的空间位置关系数据自动控制所述超声探头沿伸缩方向移动到所述第一位置对应的横断面目标位置，水刀刀孔喷水点出现在横断面超声图像中。

或者，优选地，预先标定横断面图像点坐标和矢状面位置关系，确定横断面图像点坐标和矢状面空间位置关系数据，所述在矢状面超声图像中识别喷水点，确定刀孔在所述伸缩方向的第一位置的步骤进一步包含：

响应于横断面上的第一位置信息，根据标定的空间位置关系数据自动控制所述超声探头沿伸缩方向移动到所述第一位置对应的矢状面目标位置，旋转所述超声探头，水刀刀孔喷水点出现在矢状面超声图像中。

优选地，所述确定水刀伸缩轨迹上的设定第二位置作为水刀轨迹终止点，进一步包含：

第二位置可为水刀与超声图像边界的交点，即超声图像中可看到的水刀伸缩方向的极限位置，或者，在超声图像中识别内窥镜管端，以所述内窥镜管端在所述伸缩方向上的坐标，作为所述第二位置。

优选地，还包含以下步骤：预先通过试验获取喷水水柱的图像特征，所述图像特征包含：特定水压下水柱的形状和长度。所述识别喷水点的步骤，通过图像处理算法提取水柱特征。进一步地，对原始超声图像人工识别水柱形状、喷水点位置，形成训练数据集，通过机器学习的方法获取超声图像的水柱识别算法。

优选地，在上述方法所述步骤之前，还包含以下步骤：在所述超声图像中，以内窥镜管端与水刀杆部结合部位为特征点，或者以为水刀与超声图像边界的交点为特征点，通过图像处理的方法识别超声图像的水刀第二位置。

在本申请的任意一个实施例中，优选地，所述超声图像为多普勒成像。

优选地，在上述方法所述步骤之前，调整用于识别喷水点的特征图像采样位置和大小，根据图像识别算法的正确率或机器学习算法的识别概率，确定优化的特征图像采样范围。

在本申请的任意一个实施例中，优选地，对喷水量进行自动动态控制，并在喷水的同时抽水维持水刀外部环境中水量平衡。

本申请实施例还提供一种水刀轨迹预设装置，用于实现本申请任意一项实施例所述方法，所述装置包含：

水刀适配器，用于水刀伸缩运动；超声适配器，用于超声探头伸缩运动；

控制单元，用于控制水刀喷水和超声探头运动；

确定单元，用于根据图像识别算法的运行结果，确定刀孔在所述伸缩方向的第一位置、在超声图像上的喷水点位置生成水刀轨迹出发点、确定水刀伸缩方向上的设定第二位置作为水刀轨迹终止点，在超声图像上生成从出发点到终止点的标识线。

本申请实施例还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请任一实施例所述的方法。

本申请实施例还提出一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请任一实施例所述的方法。

本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：

本发明不依赖于外加传感器或标识点（如光学或磁导航等），通过双平面超声图像完成自水刀位姿的获取，实现在超声图像上水刀的可视化，为水刀切除路径的自动规划提供关键信息，简化操作者操作人工流程，提高效率。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请系统结构示意图；

图2为本申请的水刀、超声探头工作位置示意图；

图3为本申请的水刀轨迹预设方法实施例流程图；

图4为矢状面的图像点出现在横断面图像中时横断面与矢状面图像点位置关系示意图；

图5为水刀在矢状面超声图像中的位置示意图；

图6为水刀在横断面超声图像中的位置示意图；

图7为模体内水刀矢状面超声图像示意图；

图8为模体内水刀横断面超声图像示意图；

图9为内窥镜与水刀结构结合部位特征示意图；

图10为本申请水刀轨迹预设方法另一实施例流程图；

图11为本申请水刀轨迹预设装置实施例结构图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

以下结合附图，详细说明本申请各实施例提供的技术方案。

本发明在基于双平面超声，通过自动控制及调整水刀位置及能量源的释放，结合超声图像对喷出的水柱的识别，获取水刀上刀孔的准确位置。

在本申请的最佳实施例中，还可以通过水刀上设计的带位置反馈的内窥镜移动机构、水刀尺寸信息及内窥镜端部作为超声图像上特征点识别，获取结束位置。通过对结合水刀刀孔喷水，及内窥镜的结构设计在超声图像中形成特征点，完成手术器械在人体腔道内位姿的获取。

图1为本申请系统结构示意图。

本申请的系统包含腔内双平面超声探头系统11，超声适配器12、水刀模块及适配器13、控制系统14。其中，双平面超声系统，用于生成超声影像，超声影像信号传递到控制系统中。超声适配器，用于固定超声探头并为探头提供至少直线及旋转方向两个运动自由度，可为机械臂等运动机构。水刀模块及适配器中，优选地，水刀模块为水刀刀身加内窥镜结构，即整体插入腔内的部分，适配器为提供水刀直线旋转喷水功能，及内窥镜直线运动及位置反馈的机构，同时起到固定水刀的作用，可为机械臂等运动机构。所述控制系统，用于控制各所述超声适配器、水刀模块及适配器和双平面超声探头系统工作。

图2为本申请的水刀、超声探头工作位置示意图，将水刀伸缩方向和超声探头伸缩方向平行设置。通过超声探头能够获得到水刀和超声探头之间组织的超声图像、水刀影像和喷水状态的影像。

图3为本申请的水刀轨迹预设方法实施例流程图，本申请实施例提供一种水刀轨迹预设方法，包括以下步骤：

步骤310、超声探头位置标定。

本步骤标定双平面超声探头的空间位置，通过超声适配器配合完成，该步骤中还要确定位于任意一点的目标物在矢状面和横断面同时成像时，矢状面超声图像上所述任意一点的位置在横断面超声图像的对应位置；相应地，确定矢状面超声图像上所述任意一点的坐标在横断面超声图像上的对应坐标。

通过术前标定构建基于超声适配器的双平超声探头运动坐标系，及双平面超声图像的空间位置映射关系，如已知超声矢状面图像中的一点，可以得到对应超声适配器移动到某个位置的横断面图像，及该图像中的像素坐标，借助超声适配器，可控制超声探头准确的移动到该位置，帮助操作者在操作中准确的建立立体空间内的位置信息关系。

操作者将水刀伸缩方向和超声探头伸缩方向平行设置，在矢状面超声图像上完整看到水刀影像，手动确认初始位置后，按以下流程对水刀位姿进行获取。

如图4所示，横断面图像S1,S2…SI为一系列列离散位置的图像。位于任意一点的目标物在矢状面和横断面同时成像时，通过矢状面图像和横断面图像标定，可以确定矢状面图像中该任意一点位置对应的横断面位置。因此确定并存储矢状面图像点坐标和横断面位置关系数据。或者，确定横断面图像中该任意一点位置对应的矢状面位置，因此确定并存储横断面图像点坐标和矢状面位置关系数据。

步骤320、控制水刀喷水，在矢状面超声图像中识别喷水点，确定刀孔在所述伸缩方向的第一位置。

水刀位姿自动获取时，出于安全考虑，需要操作者手动引导水刀及超声探头进入人体内部，同时调整水刀和超声的初始位置，使在双平面超声图像中可以看到水刀的影像，在矢状面上可以看到水刀的喷水图像。

优选地，围绕超声探头的轴线旋转矢状面超声探头，使水刀的影像出现在横断面超声图像中部。

控制水刀在矢状面超声图像产生喷水的图像，用图像算法识别喷水区域作为刀孔特征点同时获取刀孔位置，如图5所示。

步骤330、控制超声探头移动，获得第一位置的横断面超声图像；控制水刀喷水，在横断面超声图像中识别喷水点和水柱方向，如图6所示。

需要说明的是，本申请不限制步骤320和步骤330的顺序。例如，先执行步骤320再执行步骤330，或者先执行步骤330再执行步骤320，均能取得第一位置的坐标。在步骤310标定的范围内，无论先在矢状面搜索、还是先在横断面搜索喷水点，都能根据标定的位置关系确定另一扫描面的位置。

例如，当先执行步骤320再执行步骤330时，根据步骤310中标定的双平面超声探头的空间位置关系，依据步骤320获得的矢状面图像上刀孔位置计算刀孔在横断面图像对应坐标，进而获得超声探头沿伸缩方向运动的距离；

优选地，响应于矢状面上的第一位置信息，根据标定的空间位置关系，依据矢状面图像上刀孔位置计算刀孔在横断面图像对应坐标，进而获得超声探头沿伸缩方向运动的距离。进一步，根据标定的空间位置关系数据自动控制所述超声探头沿伸缩方向移动到所述第一位置对应的横断面目标位置，水刀刀孔位置出现在横断面超声图像范围中，则水刀刀孔喷水点出现在横断面超声图像中。

例如，如图4所示，当在矢状面成像中确定刀孔喷水（如图黑色喷水示意）在矢状面Ti图像中的坐标位置，可根据标定获得的矢状面图像坐标和横断面序列的关系，控制超声探头直接移动到横断面Si位置，获得矢状面成像中刀孔位置的横断面的实时图像。当横断面超声图像为以探头为中心的扇形分布时，还需要围绕超声探头的轴线旋转横断面超声探头，使水刀的影像出现在横断面超声图像中部。

再例如，当先执行步骤330再执行步骤320时，根据步骤310中标定的双平面超声探头的空间位置关系，根据步骤330获得的横断面图像上刀孔位置计算刀孔在矢状面成像时对应的矢状面位置，进而获得超声探头沿伸缩方向运动的距离和/或探头围绕轴心旋转的角度。

优选地，响应于横断面上的第一位置信息，根据标定的空间位置关系，依据横断面图像上刀孔位置计算刀孔在矢状面图像对应坐标，进而获得超声探头沿伸缩方向运动的距离和/或探头围绕轴心旋转的角度。进一步，根据标定的空间位置关系数据自动控制所述超声探头沿伸缩方向移动到所述第一位置对应的矢状面目标位置，旋转探头直到水刀刀孔喷水点出现在矢状面超声图像中。

例如，如图4所示，当根据横断面图像Si上刀孔位置及该横断面在横断面序列中的位置信息，通过标定的横断面序列和矢状面空间位置关系，计算获得刀孔在矢状面成像时在图像中坐标位置及超声探头沿伸缩方向运动的距离，控制超声探头直接移动到矢状面Ti位置。旋转探头直到水刀刀孔喷水点出现在矢状面超声图像中。

步骤340、控制水刀旋转至水柱指向超声探头，在横断面超声图像上的喷水点位置确定水刀喷水孔的方向，对应地，在矢状面超声图像上的喷水点位置生成水刀轨迹出发点；

步骤350、确定水刀伸缩方向上的设定的第二位置作为水刀轨迹终止点。

优选地，在超声图像中识别内窥镜管端，以所述内窥镜管端在所述伸缩方向上的坐标，作为所述设定的第二位置。例如，

在工作中，操作者引导水刀适配器，观察内窥镜图像，预先控制内窥镜后退到水刀运行终止位置。

步骤360、在矢状面超声图像上生成从出发点到终止点的标识线。

需要说明的是，在矢状面上可以确定水刀可以运动的两个极限位置，即水刀伸缩方向上的水刀刀孔开始的位置，终点就是水刀能运动的极限位置。起点和终点的连线就是水刀刀身的轨迹。

当矢状面的位置沿所述伸缩方向移动时，如图4所示，根据简单的坐标换算仍然可以实时地确定所述第一位置和第二位置在移动的矢状面图像上的成像点位置，并标识出所述第一位置和所述第二位置之间的连线。

还需要说明的，只有当水刀刀孔对准超声探头，刀孔喷出的水柱与矢状面探头成像面相切时，才可以在矢状面上成像。超声矢状面探头成像面有一定的宽度，需在横断面上准确校准刀孔的朝向，使刀口正对超声探头，喷出的水柱对准超声探头方向，在矢状面上成像为一个锥形的水气团。同时在横断面上调整水刀使水刀成像居中。

还需要说明的，水刀作用的区域在横断面上是一个扇形，不同横断面上的扇形的角度和半径不一样，是一系列扇形切面的叠加，在矢状面上是不同扇形半径叠加构成的一个封闭区域。所以在矢状面上可以显示水刀位姿相关轨迹范围的全部信息，包括水刀刀孔运动轨迹和沿所述运动轨迹生成的水刀作用深度范围。

本步骤实现可视化，根据上述步骤获得到矢状面和横断面中的刀孔位置（或者，进一步包含内窥镜特征点位置），即可在超声图像中绘制水刀喷水点的起始和结束点之间连线，完成水刀在超声图像中得可视化增强。供后面手术规划等步骤使用。

水刀可视化步骤中，至少在一个矢状面超声图像上绘制出水刀的刀孔位置、结束位置，代表水刀拟合线。在横断面图像中绘制出水刀的位置，刀孔的方向。优选地，在上述实施例中，通过控制系统14控制水刀模块及适配器、超声适配器及采集超声横断面和矢状面的影像，自动调整水刀的旋转及喷水，通过喷水喷段水刀刀孔位置，通过超声图像中内窥镜水刀特征点或位置反馈的识别，作为水刀的末端，通过矢状面及横断面图像确定刀孔的方向，即水刀能量释放的方向；通过刀孔位置和末端位置的连线作为超声图像中水刀的姿态。

通过喷水水柱的自动识别及自动喷水量的控制，避免操作者手动操作时长时间喷水来判断超声图像上水柱的位置及通过水柱位置判断刀孔位置。

优选地，步骤320、330中，本申请方案在做矢状面水柱图像和横断面水柱图像采集时，通过控制水刀在图像采集的瞬时段内喷水，以减少喷水量，且水流强度（或水压）远低于手术条件，以避免产生器官损伤。

在喷水的时段内，对喷水量进行动态控制，包括：自动喷水，控制系统实时对喷水水柱及水环境进行识别。当图像检测到大量喷水产生水流运动场景时，减少喷水量或停止喷水。当图像检测到水环境静止时允许喷水。

例如，为实现水环境识别，通过图像算法识别腔道内水环境静止时和大量喷水产生水流运动环境，如相比静止环境，产生水流运动时超声图像上会产生大量伪影，区域内灰度值整体升高，通过对相邻图片水刀附近区域的灰度值变化判断，或通过分类网络对水流静止和运动背景进行分类等方式。

进一步地，在本申请的任意一个实施例中，优选地，在喷水的同时抽水维持水刀外部环境中水量平衡。例如，在腔体内喷水同时需要抽水维持腔体内水量的平衡。

还需要说明的是，在步骤320、330中，优选地，通过图像识别算法对步骤320、330采集的水柱图像进行实时处理。本申请的方案避免了手动操作无法快速获取到矢状面和横断面二维图像中的对应像素关系及超声两个探头的位置关系、反复操作喷水观察（如手动切换到矢状面喷水，转动水刀，在超声图像中观察到喷水现象，再切换到横断面图像，边移动超声探头边手动喷水，直到能在横断面图像中观察到水柱），消除了人工目测过程消耗时间长且通过操作者观察超声图像的方式准确度低的缺陷。

优选地，在上述方法所述的步骤之前，还包含以下步骤：试验获取喷水水柱的图像特征，所述图像特征包含：特定水压下水柱的形状和长度。所述识别喷水点的步骤，通过图像处理算法提取水柱特征。

同时通过实验选取满足图像识别成功率的最低的喷水量和水压，避免产生其他误损伤。

例如，为实现喷水水柱识别，根据实验获取目标环境下喷水水柱的图像特征，如特定的水压下水柱成三角形散射状或水柱空化产生椭圆形气团等，及水柱在超声图像不同位置呈现的图像特征，如横断面和矢状面上切割水柱获得的图像，通过图像算法如目标检测、分割、模板匹配、关键点检测等识别水柱的顶点位置，通过实验建立对应水柱图像中顶点和刀孔距离的经验值；进而计算获取刀孔位置。因刀孔位置即喷水水柱中心线与水刀线的交点，所以人工可以在原始图像中直接标注喷水水柱和在水刀线上标注刀孔，可以通过深度学习训练的方式获取对水刀孔的预设。获取喷水水柱的中心线，获取水刀拟合的直线，二者的交点即为刀孔点。

进一步地，对原始超声图像人工识别水柱形状、喷水点位置，形成训练数据集，通过机器学习的方法获取超声图像的水柱识别算法。

图7为超声矢状面图像，如图中上方框内为水刀，下方框为水柱，尾部断开线段为内窥镜。如不喷水时，无法在水刀上找到刀孔位置。当水刀在模体内部，受组织遮挡、超声图像质量差、伪影等多种原因，超声图像中水刀可能不是一根清晰的直线。

图8为横断面图像。如图中上方框内为水刀刀头在横断面上的图像，下方框为刀孔喷出的水柱。

在上述方法所述步骤之前，调整用于识别喷水点的特征图像采样位置和大小，根据图像识别算法的正确率或机器学习算法的识别概率，确定优化的特征图像采样范围。

图9为内窥镜与水刀结构结合部位特征示意图。优选地，在上述方法所述步骤之前，还包含以下步骤：在所述超声图像中，以内窥镜管端与水刀杆部结合部位为特征点，通过图像处理或机器学习的方法获得超声图像的内窥镜管端位置识别算法。如图9圈中所示，考虑超声图像质量较差及噪音大，如直接在超声图像中识别水刀稳定性较差，水刀受金属伪影影响极大，所以选取如圈中结构作为图像中的特征点，使用模板匹配、关键点检测或深度学习关键点识别网络等图像算法，对特征点进行标注和识别，进而获取内窥镜得位置作为水刀运动得结束位置。

特别地，当在操作者初始调整步骤时，如调整水刀到水平状态（即调整水刀平行于超声探头），此时内窥镜的位置可以准确地由水刀的机械尺寸和内窥镜的位置反馈获得。

图10为本申请水刀轨迹预设方法另一实施例流程图。在本申请的任意一个实施例中，优选地，所述超声图像为多普勒成像。为进一步减小水压、水量，上述方法中所有喷水步骤也可以使用超声得多普勒成像模式，在多普勒模式下，可以使用更小的喷水量或水在水刀中受重力影响从刀孔中流出，来识别喷水或流动的水柱，可以减少腔体内喷水同时也需要抽水维持腔体内水量的平衡，也可避免喷水产生其他误损伤。

步骤710、观察内窥镜图像，控制内窥镜后退到水刀轨迹终止位置。

步骤720、控制超声设备，生成矢状面多普勒超声图像。控制多普勒成像候选框，调整到合适的尺寸，移动到刀头附近。

调整用于识别喷水点的特征图像采样位置和大小，根据图像识别算法的正确率或机器学习算法的识别概率，确定优化的特征图像采样范围，尤其适用于多普勒超声图像。可根据实验获得经验数据，或通过图像中识别水刀的位置或外部固定机构的位置反馈信息，获取多普勒成像候选框的初始位置及尺寸。

步骤730、控制水刀产生喷水，图像识别算法识别多普勒成像候选框内喷水区域作为刀孔特征点，获取刀孔沿伸缩方向的第一位置。

步骤740、控制超声适配器移动超声横断面到刀孔所在的第一位置。

步骤750、控制超声设备切换到横断面多普勒成像模式，控制多普勒成像候选框调整到合适尺寸，移动到刀头附近。

步骤760、控制水刀产生喷水效果，图像识别算法识别多普勒成像候选框内喷水区域，控制水刀旋转，使喷水区域指向超声探头位置。

步骤770、超声图像中以内窥镜与水刀的两段横线结构作为特征点，图像识别作为手术的终止点，或以内窥镜的位置反馈作为手术的终止点。

步骤780、在矢状面超声图像上自动画出水刀刀孔起始点（第一位置）和终止点（第二位置）间的连线。

上述流程中，通过喷水识别刀孔位置流程与前述方法流程相同，主要引入超声多普勒模式，在多普勒模式下通过图像算法判断喷水水柱位置。

超声多普勒模式候选框尺寸及初始位置的确定：一般超声仪器上需要操作者手动画候选框及调整尺寸，现可根据实验获得经验数据或通过图像中识别水刀的位置或外部固定机构的位置反馈信息，获取候选框的初始位置及尺寸，提高自动化程度。

多普勒模式下从刀孔受重力影响流出的细微水流即可成像，达到减少喷水量及水压的效果。

图11为本申请水刀轨迹预设装置实施例结构图。本申请实施例还提供一种水刀轨迹预设装置，用于实现本申请任意一项实施例所述方法，所述水刀轨迹预设装置，包含控制系统14，其中，

控制单元141，用于控制水刀喷水；控制超声探头运动，例如包括沿所述伸缩方向移动，或围绕自身轴线旋转；尤其是，控制水刀模块及适配器、超声适配器及采集超声横断面和矢状面的影像，自动调整水刀的旋转及喷水。根据环境水流运动使能、禁止水刀喷水功能。

具体地，所述控制单元用于根据图像标定所得坐标关系计算超声适配器运动参数并控制超声适配器运动。例如，所述控制单元，响应于矢状面上的第一位置信息，根据标定的空间位置关系，依据矢状面图像上刀孔位置计算刀孔在横断面成像时对应的横断面位置坐标，进而获得超声探头沿伸缩方向运动的距离。进一步，根据标定的空间位置关系数据自动控制所述超声探头沿伸缩方向移动到所述第一位置对应的横断面目标位置，水刀刀孔喷水点出现在横断面超声图像中。或者，根据横断面图像上刀孔位置计算刀孔在矢状面成像时对应的矢状面位置，进而获得超声探头沿伸缩方向运动的距离和/或探头围绕轴心旋转的角度。进一步，根据标定的空间位置关系数据自动控制所述超声探头沿伸缩方向移动到所述第一位置对应的矢状面目标位置，旋转探头直到水刀刀孔喷水点出现在矢状面超声图像中。

具体地，所述控制单元，用于在做矢状面水柱图像和横断面水柱图像采集时，同步控制水刀在图像采集的瞬时段内喷水；还用于在喷水的时段内，对喷水量进行动态控制，包括：自动喷水，当图像检测到大量喷水产生水流运动场景时，减少喷水量或停止喷水。当图像检测到水环境静止时允许喷水。

识别单元142，用于运行图像识别算法，实时对喷水水柱及水环境进行识别。在矢状面超声图像中识别喷水点、在横断面超声图像中识别喷水点和水柱方向，在矢状面或横断面超声图像中识别内窥镜端部，以及用于识别环境水流静止、运动背景。

确定单元143，用于根据图像识别算法的运行结果，确定刀孔在所述伸缩方向的第一位置、在超声图像上的喷水点位置生成水刀轨迹出发点、确定水刀伸缩方向上的设定第二位置作为水刀轨迹终止点，在超声图像上生成从出发点到终止点的标识线。

进一步地，所述水刀轨迹预设装置包含水刀适配器131，用于水刀伸缩运动，进一步地还用于内窥镜伸缩运动；超声适配器12，用于超声探头伸缩运动。超声探头，用于采集本申请所述任一矢状面图像数据或横断面图像数据，例如，包含第一位置或第二位置的矢状面图像、包含第一位置或第二位置的横断面图像。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

因此，本申请还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请中任一实施例所述的方法。

本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

进一步地，本申请还提出一种电子设备（或计算设备），包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请任一实施例所述的方法。

在一个典型的配置中，计算设备包括一个或多个处理器 (CPU)、输入/输出接口、网络接口和内存。内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM) 和/或非易失性内存等形式，如只读存储器 (ROM) 或闪存(flash RAM)。内存是计算机可读介质的示例。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (30)

1.一种水刀轨迹预设装置，用于实现水刀轨迹预设方法，所述方法包括：将水刀伸缩方向和超声探头伸缩方向平行设置；在矢状面超声图像中识别喷水点，确定刀孔在所述伸缩方向的第一位置，以及，控制超声探头移动，获得第一位置的横断面超声图像、在横断面超声图像中识别喷水点和水柱方向；控制水刀旋转至水柱指向超声探头，在超声图像上的喷水点位置生成水刀轨迹出发点；确定水刀伸缩方向上设定的第二位置作为水刀轨迹终止点，在矢状面超声图像上生成从出发点到终止点的标识线；

其特征在于，所述装置包含：

水刀适配器，用于水刀伸缩运动；超声适配器，用于超声探头伸缩运动；

控制单元，用于控制水刀喷水和超声探头运动；

确定单元，用于根据图像识别算法的运行结果，确定刀孔在所述伸缩方向的第一位置、在超声图像上的喷水点位置生成水刀轨迹出发点、确定水刀伸缩方向上的设定的第二位置作为水刀轨迹终止点，在超声图像上生成从出发点到终止点的标识线。

2.如权利要求1所述水刀轨迹预设装置，其特征在于，所述装置用于实现所述确定水刀伸缩方向上设定的第二位置作为水刀轨迹终止点，进一步包含：

在超声图像中识别内窥镜管端，以所述内窥镜管端在所述伸缩方向上的坐标，作为所述第二位置。

3.如权利要求1所述水刀轨迹预设装置，其特征在于，所述装置用于实现预先通过试验获取喷水水柱的图像特征，所述图像特征包含：特定水压下水柱的形状和长度；

在所述识别喷水点的步骤中，通过图像处理算法提取水柱特征。

4.如权利要求3所述水刀轨迹预设装置，其特征在于，所述装置用于实现对原始超声图像人工识别水柱形状、喷水点位置，形成训练数据集，通过机器学习的方法获取超声图像的水柱识别算法。

5.如权利要求2所述水刀轨迹预设装置，其特征在于，所述装置用于实现在所述步骤之前，还包含以下步骤：

在所述超声图像中，以内窥镜管端与水刀杆部结合部位为特征点，或以水刀与超声图像边界的交点为特征点，通过图像处理的方法识别超声图像的水刀第二位置。

6.如权利要求1所述水刀轨迹预设装置，其特征在于，所述装置用于实现所述超声图像为多普勒成像。

7.如权利要求1所述水刀轨迹预设装置，其特征在于，所述装置用于实现对喷水量进行自动动态控制，以减少水刀轨迹预设过程中的喷水量。

8.如权利要求1所述水刀轨迹预设装置，其特征在于，所述装置用实现预先标定矢状面图像点坐标和横断面位置关系，确定矢状面图像点坐标和横断面空间位置关系数据；所述控制超声探头移动，获得第一位置的横断面超声图像的步骤进一步包含：

响应于矢状面上的第一位置信息，根据标定的空间位置关系数据自动控制所述超声探头沿伸缩方向移动到所述第一位置对应的横断面目标位置，水刀刀孔喷水点出现在横断面超声图像中。

9.如权利要求1所述水刀轨迹预设装置，其特征在于，所述装置用于实现预先标定横断面图像点坐标和矢状面位置关系，确定横断面图像点坐标和矢状面空间位置关系数据，所述在矢状面超声图像中识别喷水点，确定刀孔在所述伸缩方向的第一位置的步骤进一步包含：

响应于横断面上的第一位置信息，根据标定的空间位置关系数据自动控制所述超声探头沿伸缩方向移动到所述第一位置对应的矢状面目标位置，旋转所述超声探头，水刀刀孔喷水点出现在矢状面超声图像中。

10.如权利要求1或6所述水刀轨迹预设装置，其特征在于，所述装置用于实现调整用于识别喷水点的特征图像采样位置和大小，确定优化的特征图像采样范围。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现一种水刀轨迹预设方法，所述方法包含以下步骤：

将水刀伸缩方向和超声探头伸缩方向平行设置；

在矢状面超声图像中识别喷水点，确定刀孔在所述伸缩方向的第一位置，以及，控制超声探头移动，获得第一位置的横断面超声图像、在横断面超声图像中识别喷水点和水柱方向；

控制水刀旋转至水柱指向超声探头，在超声图像上的喷水点位置生成水刀轨迹出发点；

确定水刀伸缩方向上设定的第二位置作为水刀轨迹终止点，在矢状面超声图像上生成从出发点到终止点的标识线。

12.如权利要求11所述计算机可读存储介质，其特征在于，该程序被处理器执行时实现所述确定水刀伸缩方向上设定的第二位置作为水刀轨迹终止点，进一步包含：

在超声图像中识别内窥镜管端，以所述内窥镜管端在所述伸缩方向上的坐标，作为所述第二位置。

13.如权利要求11所述计算机可读存储介质，其特征在于，该程序被处理器执行时实现预先通过试验获取喷水水柱的图像特征，所述图像特征包含：特定水压下水柱的形状和长度；

在所述识别喷水点的步骤中，通过图像处理算法提取水柱特征。

14.如权利要求13所述计算机可读存储介质，其特征在于，该程序被处理器执行时实现对原始超声图像人工识别水柱形状、喷水点位置，形成训练数据集，通过机器学习的方法获取超声图像的水柱识别算法。

15.如权利要求12所述计算机可读存储介质，其特征在于，该程序被处理器执行时实现在所述步骤之前，还包含以下步骤：

在所述超声图像中，以内窥镜管端与水刀杆部结合部位为特征点，或以水刀与超声图像边界的交点为特征点，通过图像处理的方法识别超声图像的水刀第二位置。

16.如权利要求11所述计算机可读存储介质，其特征在于，该程序被处理器执行时实现所述超声图像为多普勒成像。

17.如权利要求11所述计算机可读存储介质，其特征在于，该程序被处理器执行时实现对喷水量进行自动动态控制，以减少水刀轨迹预设过程中的喷水量。

18.如权利要求11所述计算机可读存储介质，其特征在于，该程序被处理器执行时实现预先标定矢状面图像点坐标和横断面位置关系，确定矢状面图像点坐标和横断面空间位置关系数据；所述控制超声探头移动，获得第一位置的横断面超声图像的步骤进一步包含：

响应于矢状面上的第一位置信息，根据标定的空间位置关系数据自动控制所述超声探头沿伸缩方向移动到所述第一位置对应的横断面目标位置，水刀刀孔喷水点出现在横断面超声图像中。

19.如权利要求11所述计算机可读存储介质，其特征在于，该程序被处理器执行时实现预先标定横断面图像点坐标和矢状面位置关系，确定横断面图像点坐标和矢状面空间位置关系数据，所述在矢状面超声图像中识别喷水点，确定刀孔在所述伸缩方向的第一位置的步骤进一步包含：

响应于横断面上的第一位置信息，根据标定的空间位置关系数据自动控制所述超声探头沿伸缩方向移动到所述第一位置对应的矢状面目标位置，旋转所述超声探头，水刀刀孔喷水点出现在矢状面超声图像中。

20.如权利要求11或16所述计算机可读存储介质，其特征在于，该程序被处理器执行时实现调整用于识别喷水点的特征图像采样位置和大小，确定优化的特征图像采样范围。

21.一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现一种水刀轨迹预设方法，所述方法包含以下步骤：

将水刀伸缩方向和超声探头伸缩方向平行设置；

在矢状面超声图像中识别喷水点，确定刀孔在所述伸缩方向的第一位置，以及，控制超声探头移动，获得第一位置的横断面超声图像、在横断面超声图像中识别喷水点和水柱方向；

控制水刀旋转至水柱指向超声探头，在超声图像上的喷水点位置生成水刀轨迹出发点；

确定水刀伸缩方向上设定的第二位置作为水刀轨迹终止点，在矢状面超声图像上生成从出发点到终止点的标识线。

22.如权利要求21所述电子设备，其特征在于，所述处理器执行所述计算机程序时实现所述确定水刀伸缩方向上设定的第二位置作为水刀轨迹终止点，进一步包含：

在超声图像中识别内窥镜管端，以所述内窥镜管端在所述伸缩方向上的坐标，作为所述第二位置。

23.如权利要求21所述电子设备，其特征在于，所述处理器执行所述计算机程序时实现预先通过试验获取喷水水柱的图像特征，所述图像特征包含：特定水压下水柱的形状和长度；

在所述识别喷水点的步骤中，通过图像处理算法提取水柱特征。

24.如权利要求23所述电子设备，其特征在于，所述处理器执行所述计算机程序时实现对原始超声图像人工识别水柱形状、喷水点位置，形成训练数据集，通过机器学习的方法获取超声图像的水柱识别算法。

25.如权利要求22所述电子设备，其特征在于，所述处理器执行所述计算机程序时实现在所述步骤之前，还包含以下步骤：

在所述超声图像中，以内窥镜管端与水刀杆部结合部位为特征点，或以水刀与超声图像边界的交点为特征点，通过图像处理的方法识别超声图像的水刀第二位置。

26.如权利要求21所述电子设备，其特征在于，所述处理器执行所述计算机程序时实现：所述超声图像为多普勒成像。

27.如权利要求21所述电子设备，其特征在于，所述处理器执行所述计算机程序时实现：对喷水量进行自动动态控制，以减少水刀轨迹预设过程中的喷水量。

28.如权利要求21所述电子设备，其特征在于，所述处理器执行所述计算机程序时实现：预先标定矢状面图像点坐标和横断面位置关系，确定矢状面图像点坐标和横断面空间位置关系数据；所述控制超声探头移动，获得第一位置的横断面超声图像的步骤进一步包含：

响应于矢状面上的第一位置信息，根据标定的空间位置关系数据自动控制所述超声探头沿伸缩方向移动到所述第一位置对应的横断面目标位置，水刀刀孔喷水点出现在横断面超声图像中。

29.如权利要求21所述电子设备，其特征在于，所述处理器执行所述计算机程序时实现：预先标定横断面图像点坐标和矢状面位置关系，确定横断面图像点坐标和矢状面空间位置关系数据，所述在矢状面超声图像中识别喷水点，确定刀孔在所述伸缩方向的第一位置的步骤进一步包含：

响应于横断面上的第一位置信息，根据标定的空间位置关系数据自动控制所述超声探头沿伸缩方向移动到所述第一位置对应的矢状面目标位置，旋转所述超声探头，水刀刀孔喷水点出现在矢状面超声图像中。

30.如权利要求21或26所述电子设备，其特征在于，所述处理器执行所述计算机程序时实现：调整用于识别喷水点的特征图像采样位置和大小，确定优化的特征图像采样范围。

Images