CN111347410A - 一种多视觉融合目标引导机器人及方法 - Google Patents

Abstract

本发明提供的一种多视觉融合目标引导机器人及方法，有效解决了注射机器人无法自主进行注射针定位引导的问题，可以针对血管或者特定组织进行精准定位并对机器人注射全过程进行引导。

Description

一种多视觉融合目标引导机器人及方法

技术领域

本发明涉及智能控制领域，特别涉及一种多视觉融合目标引导机器人及方法。

背景技术

注射，指的是借助注射器一类的医疗器械将液体或气体注入人体，以达到诊断、治疗、预防疾病的目的，药剂经注射后可迅速到达血液并产生作用。

目前，随着科技发展，机器人被赋予越来越多的功能，注射机器人也越来越多的出现在人们的视野中，注射机器人通常具备注射针定位引导、人体跟随、注射速度控制等多种功能，作为注射机器人最重要的功能之一，注射针定位引导目前主要通过特定机械结构辅助或者有人工参与完成，不能脱离人工达到完全依靠机器人自主识别患者注射部位并完成从体外到体内的入针引导过程，灵活性不高。

发明内容

第一方面，本发明提供一种多视觉融合目标引导机器人，包括机器人本体、位于所述机器人本体上图像采集单元、可转动安装在所述机器人本体上的第一运动机构和第二运动机构、控制单元，所述第一运动机构的自用端设有超声波探头，所述第二运动机构的自由端设有工作部，所述图像采集单元采集目标区域的图像数据并传输至所述控制单元，所述控制单元对所述图像数据进行第一识别，根据识别结果确定所述目标区域所属人体部位，所述控制单元控制所述第一运动机构运动以引导所述超声波探头运动至所述人体部位的预定区域，利用所述超声波探头对所述人体部位的待操作区探测并将探测数据传输至所述控制单元，所述控制单元对所述探测数据进行处理以完成待操作区的第二识别和定位，并控制所述第二运动机构携带所述工作部移动至所定位到的待操作区。

可选地，所述图像采集单元采用RGB-D相机，所述控制单元根据所述RGB-D相机采集目标区域的图像数据得到点云数据，利用3D人体关键点识别技术对所述点云数据进行识别得到目标区域所属人体部位，从所述点云数据中分割得到所述人体部分对应的目标肢体点云数据，根据第一预设标定关系确定所述人体部位的定位。

可选地，还包括用于辅助肢体进行固定和定位的肢体辅助固定单元，所述肢体辅助固定单元具有可放置手臂的支撑面以及用于固定肢体的绑带魔术贴。

可选地，通过手眼标定方法获取所述RGB-D相机和所述与机器人之间的坐标系变换矩阵，将所述坐标系变换矩阵确定为所述第一预设标定关系。

可选地，所述控制单元利用第二预设标定关系对所述超声波探头采集的探测数据进行得到实际运动的距离值，所述第二预设标定关系利用测量法标定探测图像的XY方向的像素值和实际运动的毫米值确定

可选地，所述控制单元根据肢体识别定位结果结合预设的不同肢体部位的预设起始值计算所述超声波探头的起始采集位置。

可选地，所述人体部位为手臂，所述待操作区为静脉血管，所述工作部为具有注射针头的注射器，所述超声波探头从起始采集位置对所述手臂进行静脉血管的识别，通过所述第一运动机构的移动和旋转带动所述超声波探头直至锁定静脉血管，所述控制单元控制所述第二运动结构携带所述注射器移动至所述静脉血管进行注射。

可选地，所述控制单元根据所述超声波探头的探测数据判断所述静脉血管的直径是否符合粗细要求，当所述静脉血管的直径符合要求则进行锁定，当不符合粗细要求则控制所述第二运动机构继续运动和旋转直到识别到符合粗细要求的静脉血管。

可选地，还包括语音提醒单元，与所述控制单元电连接，所述控制单元在锁定所述待静脉血管后控制所述语音提醒单元发出提示进行注射的语音提示，并且在所述人体部位出现位置偏差时发出重新定位的语音提示。

第二方面，本发明提供一种多视觉融合目标引导机器人的方法，应用于上述的多视觉融合目标引导机器人，所述方法包括：

利用所述图像采集单元采集目标区域的图像数据并传输至所述控制单元；

所述控制单元对所述图像数据进行第一识别，根据识别结果确定所述目标区域所属人体部位；

所述控制单元控制所述第一运动机构运动以引导所述超声波探头运动至所述人体部位的预定区域；

利用所述超声波探头对所述人体部位的待操作区探测并将探测数据传输至所述控制单元；

所述控制单元对所述探测数据进行处理以完成待操作区的第二识别和定位，并控制所述第二运动机构携带所述工作部移动至所定位到的待操作区。

本发明提供的一种多视觉融合目标引导机器人及方法，有效解决了注射机器人无法自主进行注射针定位引导的问题，可以针对血管或者特定组织进行精准定位并对注射机器人注射全过程进行引导。

附图说明

图1是本发明提供的多视觉融合目标引导机器人的一种实施例的结构示意图；

图2是本发明提供的多视觉融合目标引导机器人方法的一种实施例的流程图。

附图标记：

机器人本体1，第一运动机构2，第二运动机构3，工作部4，超声波探头5，图像采集单元6。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

结合图1所示，本发明实施例中提供一种多视觉融合目标引导机器人，包括机器人本体1、位于所述机器人本体1上图像采集单元6、可转动安装在所述机器人本体1上的第一运动机构2和第二运动机构3、控制单元(图中未示出)，所述第一运动机构2的自用端设有超声波探头，所述第二运动机构3的自由端设有工作部4，所述图像采集单元6采集目标区域的图像数据并传输至所述控制单元，所述控制单元对所述图像数据进行第一识别，根据识别结果确定所述目标区域所属人体部位，所述控制单元控制所述第一运动机构2运动以引导所述超声波探头5运动至所述人体部位的预定区域，利用所述超声波探头5对所述人体部位的待操作区探测并将探测数据传输至所述控制单元，所述控制单元对所述探测数据进行处理以完成待操作区的第二识别和定位，并控制所述第二运动机构3携带所述工作部4移动至所定位到的待操作区。

本发明实施例提供的一种多视觉融合目标引导机器人，有效解决了注射机器人无法自主进行注射针定位引导的问题，可以针对血管或者特定组织进行精准定位并对注射机器人注射全过程进行引导。

具体地，图像采集单元6采用RGB-D相机，RGB-D相机可以设置在机器人本体1的头部位置，所述控制单元根据所述RGB-D相机采集目标区域的图像数据得到点云数据，RGB-D相机可以获得目标区域的彩色图像和深度图像，对彩色图像提取特征点，对深度图像使用双边滤波算法去除噪声，将深度图像投影为点云，利用3D人体关键点识别技术对所述点云数据进行识别得到目标区域所属人体部位，从所述点云数据中分割得到所述人体部分对应的目标肢体点云数据，根据第一预设标定关系确定所述人体部位的定位。

第一运动机构2和第二运动结构可以采用多自由度的机械臂，对称设置在机器人本体1两侧，机械臂的关节处可以采用舵机实现精确控制，对于机械臂的结构本领域普通技术人员应当了解，对此不作限定。

为了避免工作部4在进行操作时候发生人体移动，造成误操作，机器人还包括用于辅助肢体进行固定和定位的肢体辅助固定单元，所述肢体辅助固定单元具有可放置手臂的支撑面以及用于固定肢体的绑带魔术贴，支撑面可以采用槽型结构，肢体可以置于槽型结构中，再通过绑带魔术贴进行固定，可以固定住肢体，当然，为了更好的提示用户放置的位置，还可以在支撑台上增加定位标识，对此不作限定。

在进行定位引导之前，需要对图像采集单元6和超声波探头5进行位置标定，对于设置在机器人本体1上的RGB-D相机可以采用手眼标定方法，通过手眼标定方法获取所述RGB-D相机和所述与机器人之间的坐标系变换矩阵，将所述坐标系变换矩阵确定为所述第一预设标定关系，对于标定的方法，本领域普通技术人员应当了解，对此不做赘述。

超声波探头5和第一运动机构2采用同轴安装，在标定时候可以采用测量法标定超声图像的XY方向的像树枝和实际对应的距离值，如精确到毫米值，所述控制单元利用第二预设标定关系对所述超声波探头5采集的探测数据进行得到实际运动的距离值，所述第二预设标定关系利用测量法标定探测图像的XY方向的像素值和实际运动的毫米值确定。

人体具有很多部位，每个部位需要设定不同的超声图像采集的起始位置，以手臂为例，对手臂进行超声图像采集时候可以设定手腕处为采集的起始位置，控制单元根据肢体识别定位结果结合预设的不同肢体部位的预设起始值计算所述超声波探头5的起始采集位置，控制单元引导第一运动机构2带动超声波探头5移动到该起始采集位置进行超声图像的采集。

具体地，在一个实施例中，针对手臂进行静脉注射时，所述人体部位为手臂，所述待操作区为静脉血管，所述工作部4为具有注射针头的注射器，所述超声波探头5从起始采集位置对所述手臂进行静脉血管的识别，通过所述第一运动机构2的移动和旋转带动所述超声波探头5直至锁定静脉血管，所述控制单元控制所述第二运动结构携带所述注射器移动至所述静脉血管进行注射，超声波探头5对静脉血管的识别本领域普通技术人员应当了解，此处不做赘述。

可以理解的是，因为注射针头的尺寸不同，对于可注射的静脉血管的粗细要求也会不同，可以根据注射针头的尺寸设定所需要的静脉血管粗细要求，控制单元根据所述超声波探头5的探测数据判断所述静脉血管的直径是否符合粗细要求，当所述静脉血管的直径符合要求则进行锁定，当不符合粗细要求则控制所述第二运动机构3继续运动和旋转直到识别到符合粗细要求的静脉血管，控制单元控制注射器刺入静脉血管并注入所需药量。

需要说明的是，注射的方式不限于静脉血管注射，还可以使皮内、皮下、肌肉、肌底、动脉、鞘内注射等方式，根据每一种注射方式所要求的具体操作可以对待操作区的识别进行灵活调整，对此不做限定。

为了便于进行注射操作，提供患者保持静止，机器人还包括语音提醒单元(图中未示出)，与所述控制单元电连接，所述控制单元在锁定所述待静脉血管后控制所述语音提醒单元发出提示进行注射的语音提示，如“准备注射，请您保持手臂静止不动”，通过前后帧图像可以判断人体部位是否发生明显位移，若出现位置偏差时候会导致注射不成功，所以当判断人体部位出现位置偏差时发出重新定位的语音提示，如“手臂位置发生变化，请等待重新定位”，同时停止进行注射，重新对人体部位尽心定位，避免因为位置偏差造成注射伤害。

本发明提出的多视觉融合目标引导机器人，能够使机器人自主寻找到患者注射部位，并进行智能体内外协同定位，引导注射针从体外进入体内的整个过程，有效减少注射过程中的人力成本。

结合图2所示，本发明提供一种多视觉融合目标引导机器人的方法，应用于上述的多视觉融合目标引导机器人，所述方法包括：

S201、利用所述图像采集单元采集目标区域的图像数据并传输至所述控制单元；

S202、所述控制单元对所述图像数据进行第一识别，根据识别结果确定所述目标区域所属人体部位；

S203、所述控制单元控制所述第一运动机构运动以引导所述超声波探头运动至所述人体部位的预定区域；

S204、利用所述超声波探头对所述人体部位的待操作区探测并将探测数据传输至所述控制单元；

S205、所述控制单元对所述探测数据进行处理以完成待操作区的第二识别和定位，并控制所述第二运动机构携带所述工作部移动至所定位到的待操作区。

本发明实施例提供的一种多视觉融合目标引导机器人方法，有效解决了注射机器人无法自主进行注射针定位引导的问题，可以针对血管或者特定组织进行精准定位并对注射机器人注射全过程进行引导。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。

以上对本发明所提供的一种多视觉融合目标引导机器人及方法进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种多视觉融合目标引导机器人，其特征在于，包括机器人本体、位于所述机器人本体上图像采集单元、可转动安装在所述机器人本体上的第一运动机构和第二运动机构、控制单元，所述第一运动机构的自用端设有超声波探头，所述第二运动机构的自由端设有工作部，所述图像采集单元采集目标区域的图像数据并传输至所述控制单元，所述控制单元对所述图像数据进行第一识别，根据识别结果确定所述目标区域所属人体部位，所述控制单元控制所述第一运动机构运动以引导所述超声波探头运动至所述人体部位的预定区域，利用所述超声波探头对所述人体部位的待操作区探测并将探测数据传输至所述控制单元，所述控制单元对所述探测数据进行处理以完成待操作区的第二识别和定位，并控制所述第二运动机构携带所述工作部移动至所定位到的待操作区。

2.根据权利要求1所述的多视觉融合目标引导机器人，其特征在于，所述图像采集单元采用RGB-D相机，所述控制单元根据所述RGB-D相机采集目标区域的图像数据得到点云数据，利用3D人体关键点识别技术对所述点云数据进行识别得到目标区域所属人体部位，从所述点云数据中分割得到所述人体部分对应的目标肢体点云数据，根据第一预设标定关系确定所述人体部位的定位。

3.根据权利要求1所述的多视觉融合目标引导机器人，其特征在于，还包括用于辅助肢体进行固定和定位的肢体辅助固定单元，所述肢体辅助固定单元具有可放置手臂的支撑面以及用于固定肢体的绑带魔术贴。

4.根据权利要求2所述的多视觉融合目标引导机器人，其特征在于，通过手眼标定方法获取所述RGB-D相机和所述与机器人之间的坐标系变换矩阵，将所述坐标系变换矩阵确定为所述第一预设标定关系。

5.根据权利要求1所述的多视觉融合目标引导机器人，其特征在于，所述控制单元利用第二预设标定关系对所述超声波探头采集的探测数据进行得到实际运动的距离值，所述第二预设标定关系利用测量法标定探测图像的XY方向的像素值和实际运动的毫米值确定。

6.根据权利要求1所述的多视觉融合目标引导机器人，其特征在于，所述控制单元根据肢体识别定位结果结合预设的不同肢体部位的预设起始值计算所述超声波探头的起始采集位置。

7.根据权利要求6所述的多视觉融合目标引导机器人，其特征在于，所述人体部位为手臂，所述待操作区为静脉血管，所述工作部为具有注射针头的注射器，所述超声波探头从起始采集位置对所述手臂进行静脉血管的识别，通过所述第一运动机构的移动和旋转带动所述超声波探头直至锁定静脉血管，所述控制单元控制所述第二运动结构携带所述注射器移动至所述静脉血管进行注射。

8.根据权利要求7所述的多视觉融合目标引导机器人，其特征在于，所述控制单元根据所述超声波探头的探测数据判断所述静脉血管的直径是否符合粗细要求，当所述静脉血管的直径符合要求则进行锁定，当不符合粗细要求则控制所述第二运动机构继续运动和旋转直到识别到符合粗细要求的静脉血管。

9.根据权利要求8所述的多视觉融合目标引导机器人，其特征在于，还包括语音提醒单元，与所述控制单元电连接，所述控制单元在锁定所述待静脉血管后控制所述语音提醒单元发出提示进行注射的语音提示，并且在所述人体部位出现位置偏差时发出重新定位的语音提示。

10.一种多视觉融合目标引导机器人的方法，其特征在于，应用于如权利要求1至9中任一项所述的多视觉融合目标引导机器人，所述方法包括：

利用所述图像采集单元采集目标区域的图像数据并传输至所述控制单元；

所述控制单元对所述图像数据进行第一识别，根据识别结果确定所述目标区域所属人体部位；

所述控制单元控制所述第一运动机构运动以引导所述超声波探头运动至所述人体部位的预定区域；

利用所述超声波探头对所述人体部位的待操作区探测并将探测数据传输至所述控制单元；

所述控制单元对所述探测数据进行处理以完成待操作区的第二识别和定位，并控制所述第二运动机构携带所述工作部移动至所定位到的待操作区。

Images