CN104856720A - 一种基于rgb-d传感器的机器人辅助超声扫描系统 - Google Patents

Abstract

一种基于RGB-D传感器的机器人辅助超声扫描系统，包括Kinect传感器、机器人、超声探头、标示物和主机，其特征是：以Kinect传感器作为机器人的视觉伺服系统，在机器人机械臂上夹持超声探头，在超声探头上固定标示物，采用机器人的视觉伺服系统同时进行RGB彩色图像和深度图像的采集，并将图像传给主机，由主机完成图像拼接、图像三维重构等处理，根据视觉伺服系统采集的图像对，由主机对固定在超声探头的标示物进行识别和定位，根据识别定位结果计算超声探头位姿，再由主机发出对机器人的控制指令,控制机器人的机械臂到达指定位置进行超声扫描操作。具有结构合理,性能可靠,自动化程度高,检测效率高，成本低等优点。

Description

一种基于RGB-D传感器的机器人辅助超声扫描系统

技术领域

本发明涉及光电技术领域，是一种集计算机视觉技术、计算机辅助医疗技术、机器人控制理论于一体的基于RGB-D传感器的机器人辅助超声扫描系统。能够实现机器人辅助的超声扫描操作，用于辅助医疗器械研发、血液循环、医疗影像研究及培训医生。

背景技术

机器人辅助诊断和治疗一直是国际上医疗领域内的研究热点，很多研究机构一直致力于利用机器人技术的高准确度、高灵敏度、可规划性及可操作性，为患者提供微创和精细的诊断和治疗。目前已经有daVinci、RoboDoc等多套机器人系统应用于临床中，还有各种解决不同临床问题的机器人处于在研发之中。超声扫描机器人(RUS，Robots Ultrasound)是利用机器人或者机械臂、视觉伺服系统、空间定位设备及工作站进行机器人辅助超声扫描的系统，通过视觉伺服系统的定位，引导机械臂到达指定的位置执行超声扫描操作。

视觉伺服系统在机器人辅助超声扫描系统中占据着非常重要的地位。在机器人辅助医疗领域，如何正确定位机器人手臂的位置和动作、并回馈位置信息进行机器人控制及规划机器人路径，是实现机器人辅助外科手术的关键。基于图像的视觉伺服采用误差信号定义在图像特征空间的方式，通过图像采集、特征提取等一系列图像处理方法对机械臂进行定位、导航，进而实现机器人控制。

目前，很多超声图像的采集仍然由医生全程手工操作，为了准确评估病患罹患疾病的风险和发展情况，超声医师需要连续工作数小时以上才能完成对患者的超声扫描检查，无法满足我国巨大的患者基数的需求。由于全面扫描的工作量比较繁重，所以超声医师往往仅根据经验选择扫描几个关键位置来完成超声图像的采集及诊断工作。这种以点带面的做法直接导致严重的漏检风险，阻碍了疾病的早期诊断。采用机器人来辅助超声扫描主要目的是希望通过机器人的精准操作把医生从繁重的劳动中解放出来，把注意力集中到更高层次的决策方面。

目前常用的超声机器人定位导航系统主要是基于光学的跟踪系统，主要有NDI公司的Polaris系统、Optotrack系统和双目视觉系统等，目前的定位导航系统在医疗机器人导航领域已经得到广泛应用。光学跟踪系统的优势是精度高、定位迅速和稳定，但是跟踪器与标识物之间的光学可视路径易受术中物体的遮挡，也无法跟踪靶目标的形貌，而且价格昂贵。

针对以上问题，本发明采用一种用户级别的3D测量仪——微软公司开发的Kinect传感器——作为视觉伺服系统，采用图像拼接及图像重构等技术，实时计算超声探头的3D形貌和位姿，并将当前探头位姿信息及解算出的控制指令发给机器人，以控制及引导机器人夹持超声探头到达指定位置，实现机器人辅助超声扫描的目的。本发明是针对超声检测特殊且紧迫的临床需求，对人机协同操作方式的全新探索，有望大大提高病患的检出率，提升检测效率，降低劳动强度，减少系统成本，为国民的健康护航，造福百万患者群体。

发明内容

针对目前超声检测时间长、劳动繁重等问题，提出了一种基于RGB-D传感器的机器人辅助超声扫描系统，集合计算机视觉技术、计算机辅助医疗技术和机器人控制理论，采用图像拼接及图像重构等技术，实时计算超声探头的3D形貌和位姿，并将当前探头位姿信息及解算出的控制指令发给机器人，以控制及引导机器人夹持超声探头到达指定位置，实现机器人辅助超声扫描的目的。

本发明的目的是依据以下技术方案实现的：一种基于RGB-D传感器的机器人辅助超声扫描系统，它包括Kinect传感器、机器人、超声探头、标示物和主机，其特征在于：以所述的Kinect传感器作为机器人的视觉伺服系统，在所述的机器人机械臂上夹持所述的超声探头，在所述的超声探头上固定标示物，采用机器人的视觉伺服系统同时进行RGB彩色图像和点云深度图像的采集，并将RGB彩色图像和深度图像传给主机，由主机完成图像的3D拼接、3D重构处理，获得物体的3D位置信息，根据视觉伺服系统采集的图像对，由主机对固定在超声探头的标示物进行识别和定位，根据识别定位结果计算超声探头位姿，由主机发出对机器人的控制指令,再由主机控制机器人的机械臂到达指定位置进行超声扫描操作。

所述的基于RGB-D传感器的机器人辅助超声扫描系统，其特征在于：所述的超声探头采用二维线性超声探头。

本发明提出的基于RGB-D的机器人辅助超声扫描系统，采用图像3D拼接及图像重构等技术，实时计算超声探头的3D形貌和位姿，并将当前探头位姿信息及解算出的控制指令发给机器人，以控制及引导机器人夹持超声探头到达指定位置，实现机器人辅助超声扫描的目的。具有结构合理,性能可靠,自动化程度高,检测效率高，成本低等优点。

附图说明

图1为基于RGB-D视觉伺服的机器人辅助超声扫描系统的组成框图；

图2为基于RGB-D视觉伺服的机器人辅助超声扫描系统的工作流程图；

图3为图像拼接及三维重构处理流程图。

具体实施方式

下面利用附图和实施例对本发明作进一步说明。

参考图1，本发明的一种基于RGB-D传感器的机器人辅助超声扫描系统，包括Kinect传感器11、机器人12、超声探头13、标识物14和主机15。采用Kinect传感器11进行超声探头13和标识物14的RGB彩色图像和深度图像的采集，并将图像信息传给主机15，由主机15进行诸如图像3D拼接及图像重构等处理，并实时计算的超声探头13的3D形貌和位姿，处理结束后，将当前探头14位姿信息及解算出的控制指令发给机器人12，以控制及引导机器人12夹持超声探头13到达指定位置，实现机器人辅助超声扫描的目的。

参考图2，本发明的一种基于RGB-D传感器的机器人辅助超声扫描系统，整个工作过程分为术前规划和术中操作两部分。术前规划主要是采用Kinect传感器将实时获取的RGB图像和深度图像经过相机标定、图像预处理、图像分割和标识物提取等图像处理后，将医生事先规划好的预扫描3D位置传给机器人，并结合机器人轨迹规划确定机器人的扫描路径；术中操作过程需要对Kinect传感器的坐标系与机器人坐标系进行实时的坐标配准，并实时计算超声探头的3D位姿，以便对机械臂进行导航、引导，机械臂夹持超声探头沿着术前规划好的路径进行超声扫描，Kinect传感器对机器人的运动位置进行视觉反馈，控制机器人从初始位置运动到扫描点处，由视觉系统计算出的探头与患者下肢表面的距离来控制超声探头的挤压深度，并保证超声图像的质量及操作的安全性。

参考图3，本发明的一种基于RGB-D传感器的机器人辅助超声扫描系统，从Kinect传感器进行超声探头和标识物的RGB图像和深度图像的采集，并将图像信息传给主机，由主机进行诸如图像拼接及图像重构等处理，并实时计算的超声探头的3D形貌和位姿，其中涉及的图像拼接及三维重构处理流程为：首先，从采集的RGB彩色图像中，提取出标识物的特征，生成彩色图像的特征集合；其次，为了实现特征点云数据的自动提取，对点云图像进行深度分割，提取目标区域的点云数据，采用最小二乘拟合方法将目标区域点云投影到深度图像平面上，在深度图像模板中提取深度图像中的目标的特征点；然后，将深度图像中的特征点映射到目标区域的点云中，形成特征点云；最后，将特征点云与彩色图像的特征点集合进行特征配准，实现图像拼接及重构操作，并得到标识物的3D空间坐标，并根据几帧图像间的标识物的空间坐标值，计算出标识物的位姿转换矩阵，根据矩阵求得超声探头的当前位姿。

参考图1-图3，本发明的一种基于RGB-D传感器的机器人辅助超声扫描系统，在计算出标识物14和超声探头13在Kinect传感器11坐标系中的空间坐标及位姿，需要进行坐标系配准，将3D位置转换到机器人12坐标系，才能得到机器人的空间位置信息，从而实现对机器人12位置的控制及机器人12定位导航。

定义∑R,∑K,∑P，∑Q,∑M分别表示机器人坐标系、Kinect坐标系、超声探头坐标顶端、超声探头底端及标示物坐标系。T_PM代表探头与标示物坐标系之间的转换矩阵，T_PQ表示超声探头顶端与底端之间的转换矩阵，T_RK表示Kinect坐标系到机器人坐标系的转换矩阵，T_PK表示Kinect坐标系到超声探头坐标系的转换矩阵，T_MK表示Kinect坐标系到标示物坐标系的转换矩阵，T_KQ表示Kinect坐标系到超声探头底端的转换矩阵，T_RP表示超声探头坐标系到机器人坐标系的转换矩阵。由于超声探头是固定在机械臂上，标识物也是唯一固定的，因此，T_PM、T_PQ和T_RP已知的，而且是唯一确定的，T_MK在设计标识物的过程中通过设计得到，因此可以公式(1)来计算T_RK:

$T_{\mathrm{RK}}=T_{\mathrm{RP}}{T}_{\mathrm{PK}}=\left[\begin{array}{cc}{R}_{\mathrm{RP}}& t_{\mathrm{RP}}\\ 0& 1\end{array}\right]\left[\begin{array}{cc}{R}_{\mathrm{probe}}& t_{\mathrm{probe}}\\ 0& 1\end{array}\right]=\left[\begin{array}{cc}{R}_{\mathrm{RK}}& t_{\mathrm{RK}}\\ 0& 1\end{array}\right],---\left(1\right)$

根据转换矩阵T_RK，可以将从Kinect获取到的扫描点通过转换矩阵，转换的机器人坐标系中的坐标点，实现对机器人运动的控制。

本发明基于RGB-D传感器的机器人辅助超声扫描系统和图像处理算法中的各种控制指令和拼接、重构跟踪算法及程序均依据具体应用场合的需要、根据信号控制理论和数字图像处理技术设计和编制。

本发明的一种基于RGB-D传感器的机器人辅助超声扫描系统，对于本领域技术人员来说，根据本发明实施例获得的启示，不经过创造性劳动就能够想到其它实质上等同的替代，均在本发明保护范围内。

Claims (2)

1.一种基于RGB-D传感器的机器人辅助超声扫描系统，它包括Kinect传感器、机器人、超声探头、标示物和主机，其特征在于：以所述的Kinect传感器作为机器人的视觉伺服系统，在所述的机器人机械臂上夹持所述的超声探头，在所述的超声探头上固定标示物，采用机器人的视觉伺服系统同时进行RGB彩色图像和点云深度图像的采集，并将RGB彩色图像和深度图像传给主机，由主机完成图像的3D拼接、3D重构处理，获得物体的3D位置信息，根据视觉伺服系统采集的图像对，由主机对固定在超声探头的标示物进行识别和定位，根据识别定位结果计算超声探头位姿，由主机发出对机器人的控制指令,再由主机控制机器人的机械臂到达指定位置进行超声扫描操作。

2.根据权利要求1所述的基于RGB-D传感器的机器人辅助超声扫描系统，其特征在于：所述的超声探头采用二维线性超声探头。