CN115570574B

CN115570574B - 用于远程超声机器人的辅助遥控方法、系统、装置及介质

Info

Publication number: CN115570574B
Application number: CN202211054270.1A
Authority: CN
Inventors: 陈琦; 吴凯; 皮宇帆; 冯少雄; 张鹏程
Original assignee: Hunan RRClean International Cleaning Technology Group Co ltd; South China University of Technology SCUT
Current assignee: Hunan RRClean International Cleaning Technology Group Co ltd; South China University of Technology SCUT
Priority date: 2022-08-31
Filing date: 2022-08-31
Publication date: 2024-04-30
Anticipated expiration: 2042-08-31
Also published as: CN115570574A

Abstract

本发明公开了一种用于远程超声机器人的辅助遥控方法、系统、装置及介质，其中方法包括：获取人体的三维图像，对三维图像进行处理，获取待检测部位在相机坐标系中的第一区域范围；根据预设的手眼标定矩阵将第一区域范围转换至机器人坐标系下的第二区域范围，根据第二区域范围控制机器人移动至待检测部位上；在机器人移动至待检测部位后，根据第二区域范围确定空间位置约束，以约束机器人的移动范围；获取输入的轨迹信号，根据轨迹信号控制机器人的动作，以使机器人末端上的探头以对应的手法轨迹进行检测。本发明通过图像检测、位置约束和轨迹控制，解决了超声遥控机器人遥控手柄使用难度大的问题，可广泛应用于医疗设备技术领域。

Description

用于远程超声机器人的辅助遥控方法、系统、装置及介质

技术领域

本发明涉及医疗设备技术领域，尤其涉及一种用于远程超声机器人的辅助遥控方法、系统、装置及介质。

背景技术

医学超声检测是一种基于超声波的医学影响学诊断技术，通常由医生将手持式探头放置于患者身上并移动扫查，根据呈现在影像机上的影像来对患者进行诊断。这种人工手持扫查的方式往往需要专业的超声医生才可以完成，其扫查手法需要经过专业的培训。

超声机器人将超声检测探头固定在机器人手臂末端，并通过计算机控制与检测技术驱动机器人移动，从而替代人工手持扫查的方式。但由于超声检测环境复杂、患者个体差异以及检测部位差异等因素，超声机器人还是以远程遥控的方式的应用为主，即超声医师通过一个远程遥控装置发出动作命令，机器人收到命令后执行相应的动作并反馈环境信息，医师再根据反馈的信息做出实时的动作调整。

通过远程遥控装置医师可以让机器人带动超声探头在机器人的工作范围内任意移动，这让超声机器人可以满足不同体型及不同部位的检测需求。然而，超声探头的任意移动也会带来一定的不便，例如当操作者对遥控装置不熟悉时，可能需要花费较长时间的调整与适应才能够将超声探头移动至患者检测部位上，且在检测的过程中还可能由于操作失误使探头脱离患者皮肤表面，导致超声影像成像不稳定。

发明内容

为至少一定程度上解决现有技术中存在的技术问题之一，本发明的目的在于提供一种用于远程超声机器人的辅助遥控方法、系统、装置及介质。

本发明所采用的技术方案是：

一种用于远程超声机器人的辅助遥控方法，包括以下步骤：

获取人体的三维图像，对三维图像进行处理，获取待检测部位在相机坐标系中的第一区域范围；

根据预设的手眼标定矩阵将第一区域范围转换至机器人坐标系下的第二区域范围，根据第二区域范围控制机器人移动至待检测部位上；

在机器人移动至待检测部位后，根据第二区域范围确定空间位置约束，以约束机器人的移动范围；

获取输入的轨迹信号，根据轨迹信号控制机器人的动作，以使机器人末端上的探头以对应的手法轨迹进行检测。

进一步地，所述对三维图像进行处理，获取待检测部位在相机坐标系中的第一区域范围，包括：

将三维图像输入预设的神经网络模型中进行处理，获得人体的待检测部位的检测框，作为第一区域范围；其中，所述检测框为为矩形框；

获取所述矩形框在相机坐标系中的坐标其中，分别表示的是相机坐标系下矩形边框四个顶点的X和Y的坐标值，其中/>

进一步地，所述根据预设的手眼标定矩阵将第一区域范围转换至机器人坐标系下的第二区域范围，根据第二区域范围控制机器人移动至待检测部位上，包括：

根据预设的手眼标定矩阵，将所述矩形框在相机坐标系中的坐标转换至机器人坐标系下的坐标获得第二区域范围；

获取第二区域范围的中心点，控制机器人的末端移动至中心点的上方，并将探头的姿态调整至与中心点的法线方向平行；

其中，分别表示的是机器人坐标系下矩形边框四个顶点的坐标值，其中/>

进一步地，所述空间位置约束的表达式为：

z_skin-Δz<z<z_skin+Δz

式中，表示由/> 四个顶点组成的矩形区域；z_skin为待检测位置皮肤表面在机器人坐标系下的Z坐标值，Δz为运动范围调整量。

进一步地，所述获取输入的轨迹信号，根据轨迹信号控制机器人的动作，包括：

在探头紧贴皮肤表面后，获取手柄输入的控制信息，根据控制信息控制机器人的移动位姿；

记录机器人的移动位姿，并生成移动轨迹，根据生成的移动轨迹与数据库中预先存储的遥控轨迹进行匹配；

若匹配获得对应的遥控轨迹，根据获得的遥控轨迹自动控制机器人的移动位姿。

在探头紧贴皮肤表面后，获取输入的选择信息，根据选择信息从数据库中调取预先存储的遥控轨迹，根据获得的遥控轨迹自动控制机器人的移动位姿。

进一步地，所述三维图像通过3D摄像头采集获得，所述3D摄像头安装在人体的正上方；

所述机器人上安装有力传感器。

本发明所采用的另一技术方案是：

一种用于远程超声机器人的辅助遥控系统，包括：

检测定位模块，用于获取人体的三维图像，对三维图像进行处理，获取待检测部位在相机坐标系中的第一区域范围；

坐标转换模块，用于根据预设的手眼标定矩阵将第一区域范围转换至机器人坐标系下的第二区域范围，根据第二区域范围控制机器人移动至待检测部位上；

范围约束模块，用于在机器人移动至待检测部位后，根据第二区域范围确定空间位置约束，以约束机器人的移动范围；

手法辅助模块，用于获取输入的轨迹信号，根据轨迹信号控制机器人的动作，以使机器人末端上的探头以对应的手法轨迹进行检测。

本发明所采用的另一技术方案是：

一种用于远程超声机器人的辅助遥控装置，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上所述方法。

本发明所采用的另一技术方案是：

一种计算机可读存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行如上所述方法。

本发明的有益效果是：本发明通过图像检测、位置约束和轨迹控制，解决了超声遥控机器人遥控手柄使用难度大的问题，减少遥控过程中的无效操作与误操作，提高超声机器人远程遥控时的超声诊断的效率。

附图说明

为了更清楚地说明本发明实施例或者现有技术中的技术方案，下面对本发明实施例或者现有技术中的相关技术方案附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例，对于本领域的技术人员而言，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。

图1是本发明实施例中远程超声机器人的控制系统的示意图；

图2是本发明实施例中一种用于远程超声机器人的辅助遥控方法的步骤流程图；

图3是本发明实施例中Z方向约束的示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。

在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。

远程超声机器人通常由远程遥控端与本地端组成。其中远程遥控端通常由遥控手柄及一台用于解析、发送遥控指令和接收本地端环境信息(包括超声影像、环境视频流、语音、接触压力大小等)的计算机组成。本地端通常包含一台夹持超声探头的机器人、超声影像机、麦克风、2D、3D图像传感器、力传感器以及一台用于接收远程端控制指令及反馈信息的机器算计。在工作时，专业的超声医师在远程端操作手柄来控制机器人，并根据本地端的环境反馈信息做出动作的调整以及影像结果的诊断。其中，机器人上安装有力传感器，根据力传感器反馈的信息，避免机器人输出的过大的压力。

如图1所示，图1是远程超声机器人的控制系统，包括：机械臂1、超声探头2、3D摄像头3；超声探头2安装在机械臂1的末端，3D摄像头3安装在检测台的正上方。该系统的工作原理为：当人体躺着检测台时，通过3D摄像头3人体的三维图像，对三维图像进行处理，获得检测区域，该检测区域为矩形框7，获取该矩形框7的四个顶点5的坐标，根据坐标控制机器人移动，是超声探头2落在矩形框的中心处6。

基于上述的系统，如图2所示，本实施例提供一种用于远程超声机器人的辅助遥控方法，用于对遥控过程中接近阶段、位置调整阶段和超声图像采集阶段三个不同阶段的任务提供辅助。该方法具体包括以下步骤：

S1、获取人体的三维图像，对三维图像进行处理，获取待检测部位在相机坐标系中的第一区域范围。

接近阶段指的是超声探头从初始位置移动到患者待检查部位附近的过程。目前市面上的产品需要医生在远程端通过手柄手动控制机器人移动到检查部位附近，并调整探头角度(通常是使探头垂直于皮肤表面)，这种做法效率十分低下。

本实施例中采用基于3D视觉的人体定位方法，可以根据检测部位的位置，自动将探头移动至检查部位附近，并调整姿态。

首先通过挂载在病床上方的3D摄像头拍摄人体，获取2D及深度图像信息，并通过数字图像处理算法，获取待检测部位在相机坐标系中的区域范围，该区域范围可以为矩形框、圆形框，或者不规则形状的范围(如根据人体形状设定形状)。在本实施例中，该区域范围为矩形框，记录该区域的外接矩形坐标但是需要注意的是，其他形状的技术方案也应在本发明的保护范围内。

作为一种可选的实施方式，图像处理算法可采用神经网络模型来实现，预先获取保护人体图像的训练集，并对图像进行标注，将训练集输入神经网络中进行训练。在模型训练后，将拍摄的人体图像输入模型中，输出检测框。

作为一种可选的实施方式，图像处理算法为基于深度值的人体分割，或者为基于人体比例划分等方法，识别人体图像中的人体后，根据人体的比例，获得相应的检测区域。

S2、根据预设的手眼标定矩阵将第一区域范围转换至机器人坐标系下的第二区域范围，根据第二区域范围控制机器人移动至待检测部位上。

获得检测框的坐标后，根据手眼标定矩阵，将检测部位在相机坐标系中的坐标转化至机器人坐标系下并发送控制指令控制机器人移动至待检测部位中心点上方。

作为可选的实施方式，通过三维点云算法法线提取算法(基于最小二乘平面拟合)，将探头的姿态调整至与检测区域中心点法线方向平行，从而保证此时探头的姿态是垂直于待检测部位的皮肤表面的。

S3、在机器人移动至待检测部位后，根据第二区域范围确定空间位置约束，以约束机器人的移动范围。

位置调整阶段：在探头移动到待检测部位上方后，具体的位置姿态还需要医生进行手动的调整。而在调整过程中可能包含两种动作状态：第一种是将探头紧贴皮肤表面并调整探头的姿态，第二种是稍微将探头抬起离开皮肤表面，然后移动探头到达新的检测位置。

不难得知这两种动作都是需要在检测部位附近完成的，并且都是微调整，如果操作者对遥控手柄使用不熟悉，就会导致超声探头远离检测部位、或是在超声影像采集过程中由于接触不平稳而产生的影像质量不佳的问题。

参见图3，在本实施例中，提出在自由操作阶段加入空间位置的约束，其中x、y的运动范围应在矩形边框内，而z方向的运动范围应在限制在皮肤表面上下Δz的范围内。如下式所示：

z_skin-Δz<z<z_skin+Δz

其中z_skin可从3D摄像头拍摄的深度图像中提取。Δz是规定的运动范围调整量，可由用户自行设定，用于将超声探头的运动范围限制在待检测部位的附近，避免因为误操作而导致探头远离检测部位。

S4、获取输入的轨迹信号，根据轨迹信号控制机器人的动作，以使机器人末端上的探头以对应的手法轨迹进行检测。

超声图像采集阶段：超声采集过程中，通常需要采用多种手法才能够将待检测的部位完整观察，即使是人工手持探头扫查，也需要极其细致的检查配上精巧的手法才能够尽可能显示清楚这些部位，而采用遥控的方式必然会因为对遥控手柄操作的不熟悉，导致检查手法精细度的下降。

本实施例在图像采集阶段提出采用基于专家动作库的自动扫查方法，具体流程如下：

首先由专业医师通过示教的方式对超声检测手法进行录制，录制过程中记录对应手法的坐标轨迹{X₁、X₂、X₃……X_k}，并将录制的N种手法进行存储{τ₁、τ₂、τ₃……τ_N}。

在实际工作时，当位置调整完毕后远程遥控的超声医师有两种方式去完成接下来的扫查手法：

1)通过软件界面直接选择已录制的手法，让机器人自动执行。即工作人员通过在软件界面上选择并确认对应的手法后，系统后台调取对应的手法的轨迹数据，并控制机器人自动执行。

2)通过手柄遥控机器人，手动遥控执行相应手法的前半段轨迹，系统会记录当前的遥控轨迹，然后与存储库中的动作进行逐一匹配，如匹配成功则接下来系统会自动获取专家动作存储库中的坐标，并将专家动作库中的坐标发送给超声机器人执行，完成专业超声手法的自动执行。

总得来说，本实施例提供一种用于远程超声机器人的辅助遥控方法，方法分别对遥控过程中的三个阶段进行优化。在接近阶段，通过图像识别技术自动靠近待检测的部位，并自动调整姿态使探头与皮肤表面垂直；在位置调整阶段，根据图像识别的结果，对移动范围进行约束；在扫查手法的执行阶段，可以从提前示教好的扫查动作库中调用相应的扫查手法，自动完成扫查并记录超声图像。

本实施例提出的辅助遥控方法能够有效提高超声机器人在远程遥控过程中的效率，可以缓解远由于远程超声医师对遥控手柄使用不熟练而带来的操作失误或超声探头位姿调整效率低的问题，使操作者能够快速适应不同厂商、型号的超声机器人远程遥控手柄，大幅降低远程遥控的操作时间与难度。

本实施例还提供一种用于远程超声机器人的辅助遥控系统，包括：

本实施例的一种用于远程超声机器人的辅助遥控系统，可执行本发明方法实施例所提供的一种用于远程超声机器人的辅助遥控方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。

本实施例还提供一种用于远程超声机器人的辅助遥控装置，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现图2所示方法。

本实施例的一种用于远程超声机器人的辅助遥控装置，可执行本发明方法实施例所提供的一种用于远程超声机器人的辅助遥控方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。

本申请实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图2所示的方法。

本实施例还提供了一种存储介质，存储有可执行本发明方法实施例所提供的一种用于远程超声机器人的辅助遥控方法的指令或程序，当运行该指令或程序时，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。

在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。

此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。

计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施方式，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

以上是对本发明的较佳实施进行了具体说明，但本发明并不限于上述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims

1.一种用于远程超声机器人的辅助遥控方法，其特征在于，包括以下步骤：

获取输入的轨迹信号，根据轨迹信号控制机器人的动作，以使机器人末端上的探头以对应的手法轨迹进行检测；

所述对三维图像进行处理，获取待检测部位在相机坐标系中的第一区域范围，包括：

将三维图像输入预设的神经网络模型中进行处理，获得人体的待检测部位的检测框，作为第一区域范围；其中，所述检测框为矩形框；

获取所述矩形框在相机坐标系中的坐标其中，/>表示的是相机坐标系下矩形框四个顶点的坐标值；

所述根据预设的手眼标定矩阵将第一区域范围转换至机器人坐标系下的第二区域范围，根据第二区域范围控制机器人移动至待检测部位上，包括：

其中，表示的是机器人坐标系下矩形框四个顶点的坐标值；

所述空间位置约束的表达式为：

z_skin-Δz<z<z_skin+Δz

式中，表示由四个顶点组成的矩形区域；z_skin为待检测位置皮肤表面在机器人坐标系下的Z坐标值，Δz为运动范围调整量。

2.根据权利要求1所述的一种用于远程超声机器人的辅助遥控方法，其特征在于，所述获取输入的轨迹信号，根据轨迹信号控制机器人的动作，包括：

3.根据权利要求1所述的一种用于远程超声机器人的辅助遥控方法，其特征在于，所述获取输入的轨迹信号，根据轨迹信号控制机器人的动作，包括：

4.根据权利要求1所述的一种用于远程超声机器人的辅助遥控方法，其特征在于，所述三维图像通过3D摄像头采集获得，所述3D摄像头安装在人体的正上方；

所述机器人上安装有力传感器。

5.一种用于远程超声机器人的辅助遥控系统，用于执行如权利要求1-4任一项所述的一种用于远程超声机器人的辅助遥控方法，其特征在于，包括：

6.一种用于远程超声机器人的辅助遥控装置，其特征在于，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现权利要求1-4任一项所述方法。

7.一种计算机可读存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由处理器执行时用于执行如权利要求1-4任一项所述方法。