CN116212254A - 自动机器人辅助超声引导放疗系统及其方法 - Google Patents

自动机器人辅助超声引导放疗系统及其方法 Download PDF

Info

Publication number
CN116212254A
CN116212254A CN202310043147.8A CN202310043147A CN116212254A CN 116212254 A CN116212254 A CN 116212254A CN 202310043147 A CN202310043147 A CN 202310043147A CN 116212254 A CN116212254 A CN 116212254A
Authority
CN
China
Prior art keywords
ultrasonic
point cloud
image
radiotherapy
ultrasonic image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310043147.8A
Other languages
English (en)
Inventor
倪昕晔
李奇轩
张钒
奚谦逸
谢凯
高留刚
孙佳伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou Second Peoples Hospital
Original Assignee
Changzhou Second Peoples Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Second Peoples Hospital filed Critical Changzhou Second Peoples Hospital
Priority to CN202310043147.8A priority Critical patent/CN116212254A/zh
Publication of CN116212254A publication Critical patent/CN116212254A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/1001—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy using radiation sources introduced into or applied onto the body; brachytherapy
    • A61N5/1007—Arrangements or means for the introduction of sources into the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/1048—Monitoring, verifying, controlling systems and methods
    • A61N5/1049—Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/1048—Monitoring, verifying, controlling systems and methods
    • A61N5/1049—Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam
    • A61N2005/1058—Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam using ultrasound imaging

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Robotics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Radiation-Therapy Devices (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明涉及一种自动机器人辅助超声引导放疗系统及其方法，该系统包括机械臂、视觉引导组件和超声探头，视觉引导组件用于实时获取人体体表的实时点云。该系统获取超声图像，进行超声引导放疗，具体包括如下步骤：首先通过视觉引导组件进行点云视觉引导，引导机械臂驱动超声探头获取超声图像；然后对超声图像通过LK光流算法进行形变校正，获得无形变超声图像；然后利用无形变超声图像进行超声引导放疗。本发明的有益效果：机器人能够代替医技人员进入辐射环境进行实时超声引导；利用机器人极强的重复定位能力可以保证多次放疗位置准确，进而提高放疗精确度；通过无形变超声图像可以提高超声与CT图像的配准精度，实现精准的超声引导。

Description

自动机器人辅助超声引导放疗系统及其方法
技术领域
本发明涉及生物医学信息处理技术，特别是一种自动机器人辅助超声引导放疗系统及其方法。
背景技术
放疗是肿瘤临床治疗的主要手段，大部分恶性肿瘤患者在接受治疗的过程中需要接受放疗。放疗的目的是最大限度杀灭肿瘤细胞，并保证周围正常组织和器官免受或少受射线照射。相关研究表明，进行放疗时患者身体位置不准确会使放疗时的剂量与计划的剂量出现偏差，导致患者放疗效果降低。
图像引导放疗IGRT作为一种常规放疗技术，可以进一步提高放疗的精度，使得肿瘤靶区充分照射的前提下，最大限度的保护正常组织器官。在临床放疗中，常用的图像引导放疗设备主要为CBCT，还有通过超声联合CBCT。人工超声扫查中，超声图像质量取决于超声扫描仪的参数设置与医技人员的经验，每次超声扫查的扫描路径和接触力随意性较大，不利于提高超声引导放疗的精度。而且在放疗过程中无法进行人工超声扫查，无法实现放疗中的超声引导。
中国专利文献CN113413216A公开了一种基于超声影像导航的双臂穿刺机器人，可通过机械臂获取超声图像。
机械臂可以在辐射环境下工作，而且具有极强的重复定位能力，如何将机械臂引入超声引导放疗是本领域急待解决的技术问题。
另外，超声探头需要在合适的压力下才能获得较高质量的超声图像，不可避免会压迫人体，获取的超声图像为形变超声图像，而定位CT图像和CBCT图像都为无形变图像，将形变超声图像与无形变的图像进行配准，配准难度大，而且配准精度差，不利于精准放疗；传统机器人超声路径规划的灵活性较差，不能实时动态调整；在机械臂超声引导过程中，无法自动判别当前实时图像是否包含所需信息。
发明内容
本发明所要解决的技术问题是：提供一种自动机器人辅助超声引导放疗方法，提高图像引导放疗的精准度。
本发明解决其技术问题所采用的技术方案是：一种自动机器人辅助超声引导放疗系统，包括机械臂、视觉引导组件和超声探头，机械臂驱动超声探头进行超声扫描，视觉引导组件用于实时获取人体体表的实时点云，机械臂的基座安装于移动式机器人安装平台上，或者机械臂的基座安装在U型机器人固定支架上，U型机器人固定支架具有正装结构及侧装结构，用于正装或侧装机械臂的基座，U型机器人固定支架具有固定在治疗床的床板上的固定结构。
进一步限定，超声探头通过夹具夹持在机械臂的末端，U型机器人固定支架的侧装结构具体为U型支架侧面滑动导轨，视觉引导组件为深度相机，深度相机安装于机械臂的末端的侧面。
进一步限定，还包括治疗室内的超声扫描仪和放疗操作室内的控制台，治疗室内的超声扫描仪与放疗操作室内的控制台通过以太网通信，超声探头获取的信号通过超声扫描仪上的显示屏进行实时显示，超声扫描仪同时通过以太网实时反馈信号到放疗操作室的控制台，医生可通过控制台的显示屏实时观察放疗中的超声图像。
一种自动机器人辅助超声引导放疗方法，采用上述的自动机器人辅助超声引导放疗系统获取超声图像，进行超声引导放疗，具体包括如下步骤：首先通过视觉引导组件进行点云视觉引导，引导机械臂驱动超声探头获取超声图像；然后对超声图像进行形变校正，获得无形变超声图像；然后利用无形变超声图像进行超声引导放疗。其中，对超声图像进行形变校正的方法为：(1)首先提取形变超声图像的特征点：将自动机器人辅助超声引导放疗系统获取的形变超声图像输入Harris角点检测算法提取角点，并将一部分具有代表性的角度作为形变超声图像的特征点；(2)然后通过LK光流算法计算像素位移：将对应形变超声图像的超声视频流输入LK光流算法计算像素位移，其中用于计算像素位移的像素点以步骤(1)中特征点为参考进行选取；(3)最后使用MLS算法根据像素位移对形变超声图像进行校正，生成无形变超声图像。
考虑时间与精度代价，进一步限定，在步骤(2)中，采用的LK光流算法为以像素亮度为主要评价指标的LK光流算法，该LK光流算法可以筛选出图像中亮度与周围像素点有显著区别的像素点，作为代表像素点，用于代表该区域的所有像素点，用于计算像素位移的像素点以步骤(1)中特征点为参考从代表像素点中进行选取。
为提高形变校正的精度，进一步限定，对超声图像进行形变校正分为整体形变校正和局部形变校正，通过将定位CT图像作为金标准，将形变超声图像与定位CT图像进行局部重合，确定形变超声图像中组织器官形变区域；然后对形变超声图像的整体区域和组织器官形变区域都通过步骤(1)和步骤(2)进行处理，计算得到整体区域的整体像素位移和组织器官形变区域的局部像素位移，最后在步骤(3)中，使用MLS算法根据整体像素位移和局部像素位移对形变超声图像进行整体形变校正和局部形变校正，生成无形变超声图像。
为获得信息更多的多模态图像，提高超声引导精度，进一步限定，在超声引导放疗过程中，将获取的无形变超声图像与定位CT图像进行配准和融合，得到多模态合成图像，进而利用多模态合成图像引导放疗。
进一步限定，通过视觉引导组件进行点云视觉引导的具体方法为：通过视觉引导组件实时获取人体体表的实时点云；然后对实时点云进行预处理，筛选出靶区点云并获取靶区点云的点云点坐标和法向量；然后利用靶区点云的点云点坐标和法向量进行路径规划，机械臂驱动超声探头沿规划路径移动到靶区，进行超声扫描，获取超声图像。
为精确地获取所需范围内的实时点云，降低点云预处理量，进一步限定，视觉引导组件为深度相机，深度相机安装于机械臂的末端的侧面，实时点云具体为待扫描区域的人体体表的实时点云，获取待扫描区域的人体体表的实时点云的方法为：首先在待扫描区域设置体表标记点；然后通过深度相机在高处拍摄人体，获取较大范围的人体体表的实时点云；然后获取体表标记点处的点云点坐标；利用体表标记点处的点云点坐标将机械臂的末端定位至待扫描区域上方进行拍摄，获取待扫描区域的人体体表的实时点云。
为提高靶区点云的筛选精度，进一步限定，筛选出靶区点云的方法为：对定位CT生成的体表点云与深度相机获取的实时点云进行对准，参照定位CT图像中的靶区，筛选出实时点云中靶区的靶区点云。
为了提高超声图像获取的自动化程度，更进一下限定，在超声探头到达靶区时超声探头开始接触患者体表，进行靶区的超声扫描，通过调节超声探头接触压力，获取靶区不同接触压力下的多幅超声图像，最后将多幅超声图像输入预先训练的深度残差网络ResNet对图像进行分类，在多幅超声图像中筛选出最优超声图像，实现超声图像的自动获取。
本发明的有益效果：机器人能够代替医技人员进入辐射环境进行实时超声引导；利用机器人极强的重复定位能力可以保证多次放疗位置准确，进而提高放疗精确度；通过无形变超声图像可以提高超声与CT图像的配准精度，实现精准的超声引导。
附图说明
下面结合附图和具体实施方式对本发明作进一步详细的说明；
图1是本发明的自动机器人辅助超声引导放疗系统的一种结构示意图；
图2是本发明的自动机器人辅助超声引导放疗系统的另一种结构示意图；
图3是本发明的实施例1的自动机器人辅助超声引导放疗方法的流程图；
图4是本发明的实施例1中进行点云预处理的步骤1中的原始图像；
图5是本发明的实施例1中进行点云预处理的步骤1中的分割结果；
图6是本发明的实施例1中进行点云预处理的步骤2中的点云初次下采样结果；
图7是本发明的实施例1中进行点云预处理的步骤3中的求点云法向量的结果；
图8是本发明的实施例1中进行点云预处理的步骤4中的对点云颜色进行统一的结果；
图9是本发明的实施例1中进行点云预处理的步骤5中的筛选所需点云的结果；
图10是本发明的实施例1中进行点云预处理的步骤6中的去除不需要的点云部分的结果；
图11是本发明的实施例1中通过点云预处理筛选出的靶区点云；
图12是本发明的实施例1中进行形变校正的步骤(1)中提取角点的结果；
图13是本发明的实施例1中进行形变校正的步骤(1)中的提取特征点的结果；
图14是本发明的实施例1中进行形变校正的步骤(2)中的筛选出代表像素点的结果；
图15是本发明的实施例1中进行形变校正前的形变超声图像；
图16是本发明的实施例1中进行形变校正后的无形变超声图像；
图中，1.直线加速器，2.超声扫描仪，3.治疗床，4.医用模体，5.超声探头，6.夹具，7.深度相机，8.机械臂，9.U型机器人固定支架，10.U型支架侧面滑动导轨，11.移动式机器人安装平台。
具体实施方式
实施例1，如图1和2所示，一种自动机器人辅助超声引导放疗系统，包括机械臂8、视觉引导组件和超声探头5，机械臂8末端夹持超声探头5进行移动，在到达目标位置处执行超声扫描，视觉引导组件用于实时获取人体体表的实时点云。
下面更具体地描述自动机器人辅助超声引导放疗系统的系统结构。
机械臂8通过机器人控制组件进行控制。机器人控制组件包括急停装置、机器人控制器与处理器，保证系统正常控制与安全运行。
视觉引导组件为深度相机7。深度相机7采用眼在手上的方式进行安装，深度相机7安装机械臂8的末端的侧面。
如图1所示，机械臂8的基座安装于移动式机器人安装平台11上，或者如图2所示，机械臂8的基座安装在U型机器人固定支架9上。为验证本系统，可以在治疗床3放置医用模体4，模拟患者。
移动式机器人安装平台11采用斜装的方式实现常规的超声扫描，斜装方式可扩大机械臂8扫描区域，避免机械臂8到达无逆解位姿后进入奇异状态。移动式机器人安装平台11的设计参数为：重量为20KG，该重量可保证机械臂8的基座的稳定性，平台的长宽高设计为450*450*1100mm的支架尺寸，既能保证机械臂8的稳定性又能使移动式机器人安装平台11的高度与治疗床3的高度相近。在该移动式机器人安装平台11上，机械臂8重复定位误差不超过0.5mm，机器人工作时扫描范围大于500*500mm。
U型机器人固定支架具有正装结构及侧装结构，用于正装或侧装机械臂的基座，U型机器人固定支架9采用正装及侧装的方式有利于放疗场景中的应用与扩大机械臂8的工作范围。侧装结构具体为U型支架侧面滑动导轨，侧装方式下，机械臂8的基座的高度可通过U型机器人固定支架9侧面的U型支架侧面滑动导轨10调节。该U型机器人固定支架9将机械臂8与治疗床3连接为一个整体。U型机器人固定支架9的长和宽为500*250mm，重量约为5KG。由于需要将患者身体置于U型机器人固定支架9下方，U型机器人固定支架9的主体高度设计为350mm，底部空间充足，可减少患者的不适，U型支架侧面滑动导轨10的高度调节范围为150mm至400mm，此高度范围符合绝大多数放疗应用场景对机械臂8的工作空间的要求。U型机器人固定支架9固定在治疗床3的床板上，稳定且易拆卸。
超声探头5通过夹具6夹持在机械臂8的末端。夹具6具有较大的夹持范围，常规型号的超声探头5均可稳定夹持。超声探头5由操作人员根据患者所需扫查部位预先安装在机械臂8的末端的夹具6上。
本自动机器人辅助超声引导放疗系统还包括治疗室内的超声扫描仪2和放疗操作室内的控制台，治疗室内的超声扫描仪2与放疗操作室内的控制台通过以太网通信，当在放疗过程中进行超声扫描时，超声探头5获取的信号通过超声扫描仪2上的显示屏进行实时显示，超声扫描仪2同时实时反馈信号到放疗操作室的控制台，医生可通过控制台的显示屏实时观察放疗中的超声图像。
如图3所示，一种自动机器人辅助超声引导放疗方法，采用上述的自动机器人辅助超声引导放疗系统获取超声图像，进行超声引导放疗，在进行超声引导放疗前，需要进行放疗前系统配置和系统坐标系标定。
放疗前系统配置：在确保不影响直线加速器1正常工作的情况下，固定机器人安装位置，并将超声探头5通过末端固定装置夹持在机械臂8的末端。放疗操作室与治疗室间通过以太网通信，同步显示超声成像信息。
系统坐标系标定：系统以机器人基坐标系为世界坐标系，完成机器人基坐标系、超声探头坐标系、相机坐标系间的坐标转换关系。深度相机7的标定采用张正友棋盘格标定法，通过MATLAB的坐标系转换功能Camera Calibrator完成相机标定。
深度相机7安装机械臂8的末端的侧面，通过调整机械臂8姿态采集多组相机位姿以及超声探头5对应位姿，由Tsai-Lenz算法计算超声探头坐标系与相机坐标系的转换矩阵。经多次坐标系转换，可得到机器人基坐标系与相机坐标系的转换关系。根据坐标系转换：所需扫描部位在机器人基坐标系下的位姿＝机械臂末端坐标系到基坐标系的转换*相机坐标系到末端坐标系的转换*所需扫描部位在相机坐标系中的位姿，可以得到所需扫描部位在机器人基坐标系下的位姿。
本发明的自动机器人辅助超声引导放疗方法具体包括如下步骤：
S1、通过视觉引导组件进行点云视觉引导，引导机械臂8驱动超声探头5获取超声图像。
通过视觉引导组件进行点云视觉引导的具体方法为：
首先，通过视觉引导组件实时获取人体体表的实时点云；
然后，对实时点云进行预处理，具体为：
1、根据所需感兴趣区域进行点云聚类，对实时点云进行点云分隔，图4为深度相机7拍摄的原始图像，图5是根据所需感兴趣区域进行点云聚类后得到的分割结果；
2、点云初次下采样，避免因点云过于密集影响点云处理速度，如图6所示；
3、求点云法向量，如图7所示；
4、对点云颜色进行统一，便于接下来的点云筛选，如图8所示；
5、以点云法向量方向作为筛选标准，筛选所需点云，如图9所示，图中黑色为去除部分；
6、提取所需方向并去除不需要的点云部分，如图10所示；
7、在保证人体表面轮廓可识别的前提下，对保留的点云进一步下采样，更低的点云密度有利于精确地实现点云路径规划；
8、对点云保留部分进行法向量求取，所求法向量用作该点云路径点处探头姿态的参考，路径点从点云点中选出；
9、对定位CT生成的体表点云与点云保留部分进行对准，参照定位CT图像中的靶区，具体为参照冠状位定位CT图像中的肿瘤位置，筛选出靶区点云，如图11所示。
上述预处理步骤中的步骤1～9为降低与定位CT生成的体表点云进行对准的难度，减少需要处理的实时点云数量，以及去除噪声和不感兴趣区域。
最后，利用靶区点云的点云点坐标和法向量进行路径规划，机械臂8夹持超声探头5沿规划路径进行移动，在到达目标位置即靶区时超声探头5开始接触患者体表，进行该目标位置处的超声扫描，通过调节超声探头5的接触压力，获取目标位置处不同接触压力下的多幅超声图像，最后将多幅超声图像输入预先训练的深度残差网络ResNet对图像进行分类，在多幅超声图像中筛选出最优超声图像，实现超声图像的自动获取。
该预先训练的深度残差网络ResNet的训练方法为：预先采集多例患者在不同压力下的多幅超声图像作为训练样本。训练样本经两位主任医师商议挑选出最优图像作为参考图像，通过调整模型参数将最优图像分为一类，其余图像分为另一类。实际应用中，在超声扫描后，最优超声图像对应的接触压力视为最优接触力，此最优接触力可用于后续超声扫描的参考接触力。
当然在该步骤中，也可通过医生手动筛选出最优超声图像。
S2、对超声图像进行形变校正，获得无形变超声图像。
其中，对超声图像进行形变校正的方法为：
(1)首先提取形变超声图像(USdef)的特征点：形变超声图像(USdef)如图15所示，将自动机器人辅助超声引导放疗系统获取的形变超声图像(USdef)输入Harris角点检测算法提取角点，如图12所示，并将一部分具有代表性的角度作为形变超声图像(USdef)的特征点，如图13所示，特征点通过医技人员从角点中手动筛选得出。
(2)然后通过以像素亮度为主要评价指标的LK光流算法计算像素位移，该LK光流算法可以筛选出图像中亮度与周围像素点有显著区别的像素点，作为代表像素点，用于代表该区域的所有像素点，如图14所示。
计算像素位移的具体过程为：
将对应形变超声图像(USdef)的超声视频流输入LK光流算法计算像素位移，其中用于计算像素位移的像素点以步骤(1)中特征点为参考从代表像素点中进行选取。
(3)最后使用MLS算法根据像素位移对形变超声图像(USdef)进行校正，生成无形变超声图像(USrev)，如图16所示，MLS(移动最小二乘法Moving least squares)是一种从无序点样本中重构连续函数的方法，该方法通过计算加权最小二乘度量。本发明使用该方法对图像进行全局调整以校正二维图像的形变，通过一组特征点重构USdef以获取USrev。
S3、获取的无形变超声图像与定位CT图像进行配准和融合，得到多模态合成图像，进而利用多模态合成图像引导放疗。
放射治疗的流程主要包括：放疗前的模拟定位、放疗前放疗计划设计、放疗摆位和放疗计划执行。
超声引导放疗主要包括：放疗摆位的验证、放疗计划的制定、放疗中肿瘤运动监测、分次放疗间误差的评估与分次放疗间肿瘤状况观察。
考虑时间和精度要求，通过将本实施例1的超声引导放疗方法优选用于放疗前的模拟定位和放疗前放疗计划设计阶段，可以进行放疗计划的制定。定位CT图像和无形变超声图像在放疗前的模拟定位阶段依次获取，得到的多模态合成图像进入放疗计划系统中进行放疗计划的制定。
或者，通过将本实施例1的超声引导放疗方法优选用于放疗前的模拟定位和放疗计划执行阶段，可以进行分次放疗间误差的评估。在各次放疗计划执行阶段获取的无形变超声图像与定位CT图像进行配准和融合，各次放疗阶段获得的多模态合成图像进行分次放疗间误差的评估。
实施例2，与实施例1基本相同，区别在于：在实施例1中，深度相机7获取的实时点云范围较大。为精确地获取所需范围内的实时点云，进一步降低点云预处理量。本实施例2的深度相机7获取的实时点云具体为待扫描区域的人体体表的实时点云，获取待扫描区域的人体体表的实时点云的方法为：
首先，在待扫描区域设置体表标记点；
然后，通过深度相机7在高处拍摄人体，获取较大范围的人体体表的实时点云；
然后，获取体表标记点处的点云点坐标；
然后，利用体表标记点处的点云点坐标将机械臂8的末端定位至待扫描区域上方进行拍摄，获取待扫描区域的人体体表的实时点云。
将待扫描区域的人体体表的实时点云代替实施例1的大范围的实时点云进行预处理，筛选出靶区点云。
实施例3，和实施例1相比，基本相同，区别在于：对超声图像进行形变校正分为整体形变校正和局部形变校正，通过将定位CT图像作为金标准，将形变超声图像(USdef)与定位CT图像进行局部重合，确定形变超声图像(USdef)中组织器官形变区域；然后对形变超声图像(USdef)的整体区域和组织器官形变区域都通过步骤(1)和步骤(2)进行处理，计算得到整体区域的整体像素位移和组织器官形变区域的局部像素位移，最后在步骤(3)中，使用MLS算法根据整体像素位移和局部像素位移对形变超声图像(USdef)进行整体形变校正和局部形变校正，生成无形变超声图像(USrev)。
实施例4，在实施例1中，自动机器人辅助超声引导放疗系统通过点云视觉引导进行超声扫描，在本实施例4中自动机器人辅助超声引导放疗系统通过遥操作扫描方式进行超声扫描。
在遥操作扫描方式下的机械臂运动控制可采用遥操作手柄或示教器，遥操作手柄能够在放疗操作室实时控制机械臂8，示教器可通过编程实现机械臂路径规划、碰撞防护等级调整、接触力数值显示、机械臂末端力位混合控制等功能。
遥操作手柄由摇杆、挡杆和指示灯组成，摇杆与挡杆的底部装有传感器，当拨动后便会产生相应的电子信号，通过接口传到控制器中进行分析和计算，从而确定移动方向、移动速度等信息。手柄的功能有：机械臂关节空间与笛卡尔空间运动方式的切换、机械臂各关节的平移旋转控制、机械臂末端位姿与移动速度调节。
遥操作手柄功能如下：机械臂关节空间运动模式与笛卡尔空间运动模式的切换、机械臂8各关节的平移旋转控制、机械臂末端位姿与移动速度调节。
实施例5，利用实施例1的自动机器人辅助超声引导放疗系统进行放疗摆位的验证、放疗中肿瘤运动监测与分次放疗间肿瘤状况观察。
放疗摆位的验证：在放疗前的模拟定位阶段通过点云视觉引导获取的第一幅超声图像，并记录获取该超声图像的扫描轨迹，然后在放疗摆位阶段通过机械臂8以扫描轨迹复现方式获取同位置的另一幅超声图像，利用两幅超声图像产生的超声形变场生成伪CT图像，将伪CT与定位CT对比，进行放疗摆位的验证，评估放疗摆位误差。
放疗中肿瘤运动监测:通过实时获取超声图像，实现放疗中肿瘤运动监测。
分次放疗间肿瘤状况观察:通过扫描轨迹复现方式观察分次放疗间肿瘤变化。

Claims (11)

1.一种自动机器人辅助超声引导放疗系统，其特征是：包括机械臂、视觉引导组件和超声探头，机械臂驱动超声探头进行超声扫描，视觉引导组件用于实时获取人体体表的实时点云，机械臂的基座安装于移动式机器人安装平台上，或者机械臂的基座安装在U型机器人固定支架上，U型机器人固定支架具有正装结构及侧装结构，用于正装或侧装机械臂的基座，U型机器人固定支架具有固定在治疗床的床板上的固定结构。
2.根据权利要求1所述的自动机器人辅助超声引导放疗系统，其特征在于：超声探头通过夹具夹持在机械臂的末端，U型机器人固定支架的侧装结构具体为U型支架侧面滑动导轨，视觉引导组件为深度相机，深度相机安装于机械臂的末端的侧面。
3.根据权利要求1所述的自动机器人辅助超声引导放疗系统，其特征在于：还包括治疗室内的超声扫描仪和放疗操作室内的控制台，治疗室内的超声扫描仪与放疗操作室内的控制台通过以太网通信，超声探头获取的信号通过超声扫描仪上的显示屏进行实时显示，超声扫描仪同时通过以太网实时反馈信号到放疗操作室的控制台，医生可通过控制台的显示屏实时观察放疗中的超声图像。
4.一种自动机器人辅助超声引导放疗方法，其特征在于：采用权利要求1所述的自动机器人辅助超声引导放疗系统获取超声图像，进行超声引导放疗，具体包括如下步骤：
首先通过视觉引导组件进行点云视觉引导，引导机械臂驱动超声探头获取超声图像；
然后对超声图像进行形变校正，获得无形变超声图像；
然后利用无形变超声图像进行超声引导放疗，
其中，对超声图像进行形变校正的方法为：
(1)首先提取形变超声图像的特征点：
将自动机器人辅助超声引导放疗系统获取的形变超声图像输入Harris角点检测算法提取角点，并将一部分具有代表性的角度作为形变超声图像的特征点；
(2)然后通过LK光流算法计算像素位移：
将对应形变超声图像的超声视频流输入LK光流算法计算像素位移，其中用于计算像素位移的像素点以步骤(1)中特征点为参考进行选取；
(3)最后使用MLS算法根据像素位移对形变超声图像进行校正，生成无形变超声图像。
5.根据权利要求4所述的自动机器人辅助超声引导放疗方法，其特征在于：在步骤(2)中，采用的LK光流算法为以像素亮度为主要评价指标的LK光流算法，该LK光流算法可以筛选出图像中亮度与周围像素点有显著区别的像素点，作为代表像素点，用于代表该区域的所有像素点，用于计算像素位移的像素点以步骤(1)中特征点为参考从代表像素点中进行选取。
6.根据权利要求4或5所述的自动机器人辅助超声引导放疗方法，其特征在于：对超声图像进行形变校正分为整体形变校正和局部形变校正，通过将定位CT图像作为金标准，将形变超声图像与定位CT图像进行局部重合，确定形变超声图像中组织器官形变区域；然后对形变超声图像的整体区域和组织器官形变区域都通过步骤(1)和步骤(2)进行处理，计算得到整体区域的整体像素位移和组织器官形变区域的局部像素位移，最后在步骤(3)中，使用MLS算法根据整体像素位移和局部像素位移对形变超声图像进行整体形变校正和局部形变校正，生成无形变超声图像。
7.根据权利要求4所述的自动机器人辅助超声引导放疗方法，其特征在于：在超声引导放疗过程中，将获取的无形变超声图像与定位CT图像进行配准和融合，得到多模态合成图像，进而利用多模态合成图像引导放疗。
8.根据权利要求4所述的自动机器人辅助超声引导放疗方法，其特征在于：通过视觉引导组件进行点云视觉引导的具体方法为：
通过视觉引导组件实时获取人体体表的实时点云；
然后对实时点云进行预处理，筛选出靶区点云并获取靶区点云的点云点坐标和法向量；
然后利用靶区点云的点云点坐标和法向量进行路径规划，机械臂驱动超声探头沿规划路径移动到靶区，进行超声扫描，获取超声图像。
9.根据权利要求8所述的自动机器人辅助超声引导放疗方法，其特征在于：所述的视觉引导组件为深度相机，深度相机安装于机械臂的末端的侧面，实时点云具体为待扫描区域的人体体表的实时点云，获取待扫描区域的人体体表的实时点云的方法为：
首先在待扫描区域设置体表标记点；
然后通过深度相机在高处拍摄人体，获取较大范围的人体体表的实时点云；
然后获取体表标记点处的点云点坐标；
利用体表标记点处的点云点坐标将机械臂的末端定位至待扫描区域上方进行拍摄，获取待扫描区域的人体体表的实时点云。
10.根据权利要求8所述的自动机器人辅助超声引导放疗方法，其特征在于：筛选出靶区点云的方法为：对定位CT生成的体表点云与深度相机获取的实时点云进行对准，参照定位CT图像中的靶区，筛选出实时点云中靶区的靶区点云。
11.根据权利要求8所述的自动机器人辅助超声引导放疗方法，其特征在于：在超声探头到达靶区时超声探头开始接触患者体表，进行靶区的超声扫描，通过调节超声探头接触压力，获取靶区不同接触压力下的多幅超声图像，最后将多幅超声图像输入预先训练的深度残差网络ResNet对图像进行分类，在多幅超声图像中筛选出最优超声图像，实现超声图像的自动获取。
CN202310043147.8A 2023-01-29 2023-01-29 自动机器人辅助超声引导放疗系统及其方法 Pending CN116212254A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310043147.8A CN116212254A (zh) 2023-01-29 2023-01-29 自动机器人辅助超声引导放疗系统及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310043147.8A CN116212254A (zh) 2023-01-29 2023-01-29 自动机器人辅助超声引导放疗系统及其方法

Publications (1)

Publication Number Publication Date
CN116212254A true CN116212254A (zh) 2023-06-06

Family

ID=86577927

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310043147.8A Pending CN116212254A (zh) 2023-01-29 2023-01-29 自动机器人辅助超声引导放疗系统及其方法

Country Status (1)

Country Link
CN (1) CN116212254A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117398122A (zh) * 2023-09-07 2024-01-16 深圳高性能医疗器械国家研究院有限公司 一种超声诊疗设备及控制方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117398122A (zh) * 2023-09-07 2024-01-16 深圳高性能医疗器械国家研究院有限公司 一种超声诊疗设备及控制方法

Similar Documents

Publication Publication Date Title
US11986256B2 (en) Automatic registration method and device for surgical robot
Huang et al. Robotic arm based automatic ultrasound scanning for three-dimensional imaging
JP4822634B2 (ja) 対象物の案内のための座標変換を求める方法
CN101474075B (zh) 微创手术导航系统
JP5702861B2 (ja) 解剖学的表面の支援型自動データ収集方法
JP4484462B2 (ja) 医療用診断または治療装置における患者の位置決め方法および装置
JP2966089B2 (ja) 不均質組織内部における局部手術用対話型装置
DK2061556T3 (en) PROCEDURE AND APPARATUS TO CORRECT A ERROR IN THE CO-REGISTRATION OF COORDINATE SYSTEMS USED TO REPRESENT OBJECTS UNDER NAVIGATED BRAIN STIMULATION
CN108135563B (zh) 光和阴影引导的针定位系统和方法
US8509511B2 (en) Image processing apparatus and X-ray diagnostic apparatus
KR20190005177A (ko) 영상을 기반으로 하는 탐색을 위한 방법 및 장치
EP0922438A1 (en) Image guided interventional procedures
Yang et al. Automatic 3-D imaging and measurement of human spines with a robotic ultrasound system
CN113316429A (zh) 用于在坐标系之间配准和导航的系统和方法
WO1998002091A1 (en) High-speed inter-modality image registration via iterative feature matching
CN112043382B (zh) 一种手术导航系统
CN107049489B (zh) 一种手术导航方法及系统
JP2003528688A (ja) 内視鏡を較正するための装置および方法
CN112741643A (zh) 一种可自动定位和扫描的ct系统及其定位和扫描方法
CN113855287B (zh) 一种带评估种植精度的口腔种植手术机器人及控制方法
CN116212254A (zh) 自动机器人辅助超声引导放疗系统及其方法
CN111603205A (zh) 用于穿刺手术机器人ct舱内三维影像重建和定位分析系统
CN115153835A (zh) 基于特征点配准与增强现实的髋臼假体放置引导系统及方法
CN115018977A (zh) 基于双平面x光的半自动配准方法和关节三维运动求解算法
EP3892200A1 (en) Methods and systems for user and/or patient experience improvement in mammography

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination