CN113647972A - 一种辅助口腔医疗影像的双臂协作机器人控制方法及系统 - Google Patents

一种辅助口腔医疗影像的双臂协作机器人控制方法及系统 Download PDF

Info

Publication number
CN113647972A
CN113647972A CN202110846972.2A CN202110846972A CN113647972A CN 113647972 A CN113647972 A CN 113647972A CN 202110846972 A CN202110846972 A CN 202110846972A CN 113647972 A CN113647972 A CN 113647972A
Authority
CN
China
Prior art keywords
robot
cooperative robot
oral
image
cooperative
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110846972.2A
Other languages
English (en)
Inventor
程强
徐文祥
王懿
郝小龙
黄河
刘志峰
初红艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN202110846972.2A priority Critical patent/CN113647972A/zh
Publication of CN113647972A publication Critical patent/CN113647972A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A61B6/51
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70Manipulators specially adapted for use in surgery
    • A61B34/77Manipulators with motion or force scaling
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/54Control of apparatus or devices for radiation diagnosis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • A61B2034/105Modelling of the patient, e.g. for ligaments or bones
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2065Tracking using image or pattern recognition

Abstract

本发明公开了一种辅助口腔医疗影像的双臂协作机器人控制方法及系统,包括协作机器人、协作机器人的运动控制器、影像球管夹持机构、感光板末端夹持机构、口腔位姿检测模块、口腔姿态检测传感器、人机交互界面、服务器。所述控制方法是利用末端感光板夹持的协作机器人跟踪患者口内牙位,使末端夹持尽可能靠近病灶区域,进行精准定位与自适应动态跟踪,基于多模态信息的控制方法,利用协作机器人靠近拍摄部位辅助影像作业,通过比较并匹配反映影像参数的信号来控制影像球管进行拍片作业。该系统能够实现病灶牙位置自动跟踪,解决口腔影像过程一致性差、曝光稳定性问题,有效地减少医患接触引起的病毒交叉感染。

Description

一种辅助口腔医疗影像的双臂协作机器人控制方法及系统
技术领域
本发明涉及一种辅助口腔医疗影像的双臂协作机器人控制系统及方法,属于医疗机器人领域。
背景技术
目前口腔疾病发生率高以及新型冠状病毒的爆炸式蔓延,医院患者数量激增的同时也导致了医生存在被感染的风险,这给临床诊治带来了巨大挑战。减少医患交叉感染且消除人为差异是临床的迫切需要。自从进入21世纪以来,基于机器人技术的发展和应用,医用外科机器人技术可大致分为以下几个方向:基于工业机器人平台的医用外科机器人技术、专用医用外科机器人技术、小型模块化医用外科机器人技术、以及遥外科医用机器人技术,而却没有致力于研究辅助影像的口腔医疗机器人技术。国内外学者主要研究了牙齿的三维提取及牙齿自动分割方法以及通过X射线生成牙齿图像,推动了口腔医疗影像处理过程更加高效的快速发展,但是并没有通过机器人控制信号来辅助医疗影像作业的方法。传统的投照手段难以实现精准定位及控制,缺乏有效的质量评估方法。根据机器人控制可以解决技师影像球管投照摆位不一致、重复化劳动强度大的问题。双臂协作机器人进行辅助医疗影像作业可以保证其过程位置的精确性、曝光的稳定性以及成像的一致性,满足口腔精准诊疗的要求。
为了有效地减少医患接触引起的病毒交叉感染,解决口腔影像过程一致性差、曝光稳定性问题,需要安全性高又能满足要求、定位精度高的机器人系统和满足口腔精准诊疗的控制方法。
发明内容
本发明所要解决的问题是如何能够实现对口腔病灶牙位的实时追踪与影像作业,以阻断病毒疾病传播,减少医生与患者的接触。
为解决上述技术问题,本发明提供了一种用于辅助口腔影像医疗的双臂机器人协同控制系统及其控制方法。口腔诊疗影像辅助机器人旨在减少医患接触引起的病毒交叉感染,将机器人技术和口腔医疗的专家知识系统进行交叉结合,其避免病毒交叉感染实现的过程。主要包括口腔病灶空间定位、感光板的随动控制、影像球管的自动追踪以及医生与机器人交互。
本发明所采取的具体技术方案为:一种辅助口腔医疗影像的双臂协作机器人控制方法及系统,首先对协作机器人末端进行校准,并将病灶部位的角度从口腔坐标系转换为末端夹持坐标系。进行执行手眼校准之后标记的姿态将其从摄像机坐标系转换为机器人的基础坐标系。当相机检测到标记模块的姿态发生变化时,末端感光板夹持的协作机器人将跟踪患者口内牙位的轨迹。在协作机器人末端感光板移动到指定位置后,如果患者在指定时间内不再移动,则将打开力控制模式,以使末端夹持尽可能靠近病灶区域,对病灶进行精准定位与动态跟踪。为了提高诊疗精确性以及稳定性,影像球管需要尽可能靠近拍摄部位,基于多模态信息的控制方法,利用协作机器人辅助影像作业,通过比较并匹配反映影像参数的信号来控制影像球管进行拍片作业。
为实现上述目标,本发明系统包括:第一协作机器人(1)和第二协作机器人(2)、第二运动控制器(3)、影像球管(4)、第一运动控制器(5)、感光板(6)、口腔位姿检测模块(7)、口腔姿态检测传感器(8)、人机交互界面(9)、服务器(10)。
其中第一协作机器人(1)和第而协作机器人(2)为UR协作机器人,第一运动控制(5)与第一协作机器人(1)相连并控制第一协作机器人(1)运动,第二运动控制(3)与第一协作机器人(1)相连并控制第一协作机器人(1)运动,感光板(6)为定制磷光片保证与牙颌部表面贴合,口腔位姿检测模块(7)采用定制视觉标定氧化铝板,口腔姿态检测传感器(8)为双目立体视觉相机,口腔位姿检测模块(7)用来被口腔姿态检测传感器(8)更精确地检测口腔位姿,人机交互界面(9)与服务器(10)相连,用来接收影像数据并实时反馈误差信息。
感光板夹持机器人系统主要包括协作机器人(1)、感光板(6)。感光板夹持机器人系统的主体是协作机器人,六维力传感器安装在手臂的末端。末端执行器包括固定装置和固定在传感器上的感光板。相机放置在尽可能监视机器人手臂整个工作空间的地方。
影像辅助机器人系统主要包括协作机器人(2)、影像球管(4),还包含力传感器以及位移传感器,影像球管需要尽可能靠近拍摄部位,在影像辅助机器人手臂的末端基于多模态信息控制。
有益效果
为了解决医-患接触引起的病毒交叉感染,目前口腔诊断影像位置精确性、曝光稳定性无法满足口腔精准诊疗的要求的问题。
(1)提出了一种辅助口腔医疗影像的双臂协作机器人控制系统,主要包括感光板夹持机器人系统和影像辅助机器人系统,用于口腔影像医疗的双臂机器人协同控制;
(2)通过双臂协作机器人的系统引导,进行了手-眼校准。针对口腔狭小空间以及牙位的变动,提出自适应控制的动态轨迹跟踪方法以及基于多模态的影像距离控制方法,实现对口腔病灶牙位的实时跟踪与拍片。
附图说明
图1辅助口腔医疗影像的双臂协作机器人控制系统
图2感光板夹持机器人系统的轨迹跟踪控制过程图。
图3协作机器人手眼标定系统图。
图4是感光板夹持机器人坐标系场景图。
图5是感光板夹持机器人位置控制方法图。
具体实施方式
以下结合附图实施例对本发明进行详细说明。
如附图1所示,本发明感光板夹持机器人系统的轨迹跟踪控制过程主要包括:在治疗之前对患者口腔的内部进行预处理,对其进行CT扫描以重建患者3D口腔模型,获得患者口腔病灶部位。对机器人末端夹持进行校准,并将病灶部位的角度从口腔坐标系转换为末端夹持坐标系,执行手眼校准。估计标记的姿态并将其从摄像机坐标系转换为机器人手臂基础坐标系,当标记物的相机检测到的姿态发生变化时,末端夹持的机械臂将跟踪患者口内牙位的轨迹。在机械手移动到指定位置后,如果患者在指定时间内不再移动,则将打开力控制模式,以使末端夹持尽可能靠近病灶区域。
机器人手-眼标定系统如附图2所示,其中标定板是由黑白色组成的图像,角点在像素坐标系中的投影如下所示:
Figure BDA0003181016920000041
式中u和v是像素坐标系中拐角点的坐标值。f/dx,f/dy,u0,v0是摄像机的固有参数,[R|T]是欧拉变换矩阵。
标定板安装在机器人手臂的末端,标定板贴替代机械臂末端感光板夹持,可以由相机可靠地检测到并显示在图像中,将标定板中角点在机械手坐标系中的位置投影到像素坐标系中可得:
Figure BDA0003181016920000042
式中pboard是标定板坐标系中的一个角点,
Figure BDA0003181016920000043
是从机械臂的末端到标定板的转换矩阵,
Figure BDA0003181016920000044
是从机械臂到其末端的转变,
Figure BDA0003181016920000045
是从摄像机到机械臂基座的转换,Incam是相机投影矩阵,pcam是摄像机图像中该点的位置。机械臂坐标系和摄像机坐标系的数学模型可以表示如下:
Figure BDA0003181016920000046
式中x,y和z是机器人手臂基础坐标系中目标的坐标值。U,V和W是相机坐标系中目标点的坐标。M1和M2表示如下:
Figure BDA0003181016920000047
公式中包含两个未知矩阵
Figure BDA0003181016920000048
Figure BDA0003181016920000049
使用内部点优化方法来找到使点投影误差最小的参数。由于存在很多未知参数,容易使优化陷入局部最优解中,因此需使用标记进行初始校准,并将校准值用作上述优化过程的初始值。
将标记中心点的位置投影到相机坐标系中:
Figure BDA0003181016920000051
式中Pcenter是标记坐标系统中标记盘的中心姿态。
Figure BDA0003181016920000052
是从机械臂末端到标记的转换。标记坐标系和操纵器末端的坐标系平行。同时,标记的中心点位置是指可以通过运动学分析获得的手臂的末端坐标系,因此
Figure BDA0003181016920000053
的参数是已知的。Posemaker是相机坐标系中标记的姿态。只需收集在特定状态下的Posemaker
Figure BDA0003181016920000054
即可根据等式获得手-眼标定的初始值。
因此,在轨迹跟踪之前,可以得到末端感光板夹持的运动模型:
Figure BDA0003181016920000055
其中,
Figure BDA0003181016920000056
是标记板与末端感光板之间的转换关系。
为使感光板尽可能靠近口内病灶牙位,对机器人进行力/位控制,该末端按压感光板,使患者的牙位表面与感光板接触。如附图3所示,创建一个坐标系场景。其中{W}是世界坐标系,{R}是附着在机器人基座上的机械手坐标系,{S}是传感器坐标系与重合的Z轴平行于机械手的工具中心点(TCP)坐标系。同时,{S}的Z方向垂直于TMS线圈平面。
在感光板平面中定义坐标系{T},其Z方向垂直于感光板平面。{T}与传感器坐标系平行,在机械臂移动到指定位置后,如果患者在指定时间内不再移动,则将打开力控制模式,以使感光板尽可能靠近病灶牙位区域。如果头部在移动,则跟踪机器人手臂和感光板相对于病灶牙位前侧,并且在机器人手臂和口内牙位之间没有相互作用力。同时,到达指定区域后臂仅在{T}的Z方向上移动,并且在主动控制模式下感光板的姿态不会改变。
根据机械臂的DH参数,可以通过以下方法获得从传感器坐标系到基础框架的转换矩阵:
Figure BDA0003181016920000057
其中
Figure BDA0003181016920000058
是{S}相对于TCP坐标的旋转矩阵,
Figure BDA0003181016920000059
是第i个关节坐标系相对于第(i-1)个关节坐标的旋转矩阵,而
Figure BDA0003181016920000061
是{S}相对于{R}的旋转矩阵。
为了实现主动控制并接近患者口内的病灶部位,我们在垂直于感光板平面的方向上向患者的牙位施加了1N的力。该口腔医疗影像机器人控制系统的控制框图如附图5所示,自适应PD控制器输出的δX是机器人手臂的姿态校正,q是机器人手臂关节的角度,Fs是传感器测量值,Fi是作用在患者口内的预期力。最后基于力/位传感器,利用协作机器人辅助影像作业,通过比较并匹配反映影像参数的信号来控制影像球管进行拍片作业。

Claims (3)

1.一种辅助口腔医疗影像的双臂协作机器人控制系统及方法,其特征在于,包括:
助口腔医疗影像的双臂协作机器人控制系统,其包括:协作机器人、协作机器人的运动控制器、影像球管夹持机构、感光板末端夹持机构、口腔位姿检测模块、口腔姿态检测传感器、人机交互界面、服务器;其中第一协作机器人(1)和第而协作机器人(2)为UR协作机器人,第一运动控制(5)与第一协作机器人(1)相连并控制第一协作机器人(1)运动,第二运动控制(3)与第一协作机器人(1)相连并控制第一协作机器人(1)运动,感光板(6)为定制磷光片保证与牙颌部表面贴合,口腔位姿检测模块(7)采用定制视觉标定氧化铝板,口腔姿态检测传感器(8)为双目立体视觉相机,口腔位姿检测模块(7)用来被口腔姿态检测传感器(8)更精确地检测口腔位姿,人机交互界面(9)与服务器(10)相连,用来接收影像数据并实时反馈误差信息。
2.如权利要求1所述的口腔辅助口腔医疗影像的双臂协作机器人控制系统,其特征在于,其特征在于:感光板末端夹持机构,其包括感光板和末端仿生夹持机构,所述感光板与机器人末端仿生夹持机构相连;影像球管夹持机构,其包括影像球管和末端仿生夹持机构,所述影像球管与机器人末端仿生夹持机构相连。
3.如权利要求1所述的口腔辅助口腔医疗影像的双臂协作机器人控制方法,其特征在于,包括如下步骤:
步骤一,对协作机器人末端夹持进行校准,并将病灶部位的角度从口腔坐标系转换为末端夹持坐标系;
步骤二,进行执行手眼校准之后标记的姿态将其从相机坐标系转换为机器人的基础坐标系;
步骤三,当相机检测到标记模块的姿态发生变化时,末端感光板夹持的协作机器人将跟踪患者口内牙位的轨迹;
步骤四,在协作机器人末端感光板移动到指定位置后,如果患者在指定时间内不再移动,则将打开力控制模式,以使末端夹持尽可能靠近病灶区域,对病灶进行精准定位与动态跟踪;
步骤五,为使影像球管靠近拍摄部位,基于多模态信息利用协作机器人辅助影像作业,通过比较并匹配反映影像参数的信号来控制影像球管进行拍片作业。
CN202110846972.2A 2021-07-27 2021-07-27 一种辅助口腔医疗影像的双臂协作机器人控制方法及系统 Pending CN113647972A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110846972.2A CN113647972A (zh) 2021-07-27 2021-07-27 一种辅助口腔医疗影像的双臂协作机器人控制方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110846972.2A CN113647972A (zh) 2021-07-27 2021-07-27 一种辅助口腔医疗影像的双臂协作机器人控制方法及系统

Publications (1)

Publication Number Publication Date
CN113647972A true CN113647972A (zh) 2021-11-16

Family

ID=78478733

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110846972.2A Pending CN113647972A (zh) 2021-07-27 2021-07-27 一种辅助口腔医疗影像的双臂协作机器人控制方法及系统

Country Status (1)

Country Link
CN (1) CN113647972A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114521962A (zh) * 2022-04-24 2022-05-24 杭州柳叶刀机器人有限公司 手术机器人轨迹跟踪方法、装置、机器人及存储介质
CN115471559A (zh) * 2022-10-31 2022-12-13 北京石油化工学院 一种头部动态定位跟踪方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6435715B1 (en) * 1998-11-30 2002-08-20 Siemens Aktiengesellschaft Radiography device
US20080037701A1 (en) * 2004-10-07 2008-02-14 University Of Florida Research Foundation, Inc. Radiographic Medical Imaging System Using Robot Mounted Source And Sensor For Dynamic Image Capture And Tomography
CN103654820A (zh) * 2012-09-11 2014-03-26 上海联影医疗科技有限公司 一种x-射线层析设备模拟装置
CN108705536A (zh) * 2018-06-05 2018-10-26 雅客智慧(北京)科技有限公司 一种基于视觉导航的牙科机器人路径规划系统及方法
US20200003703A1 (en) * 2018-07-02 2020-01-02 David R. ZAVAGNO Systems and methods for x-ray computed tomography
CN111202583A (zh) * 2020-01-20 2020-05-29 上海奥朋医疗科技有限公司 跟踪手术床运动的方法、系统及介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6435715B1 (en) * 1998-11-30 2002-08-20 Siemens Aktiengesellschaft Radiography device
US20080037701A1 (en) * 2004-10-07 2008-02-14 University Of Florida Research Foundation, Inc. Radiographic Medical Imaging System Using Robot Mounted Source And Sensor For Dynamic Image Capture And Tomography
CN103654820A (zh) * 2012-09-11 2014-03-26 上海联影医疗科技有限公司 一种x-射线层析设备模拟装置
CN108705536A (zh) * 2018-06-05 2018-10-26 雅客智慧(北京)科技有限公司 一种基于视觉导航的牙科机器人路径规划系统及方法
US20200003703A1 (en) * 2018-07-02 2020-01-02 David R. ZAVAGNO Systems and methods for x-ray computed tomography
CN111202583A (zh) * 2020-01-20 2020-05-29 上海奥朋医疗科技有限公司 跟踪手术床运动的方法、系统及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
QIANG CHENG: "Trajectory tracking control method of robotic intra-oral treatment", JOURNAL OF PHYSICS: CONFERENCE SERIES, no. 1884, pages 1 - 7 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114521962A (zh) * 2022-04-24 2022-05-24 杭州柳叶刀机器人有限公司 手术机器人轨迹跟踪方法、装置、机器人及存储介质
CN115471559A (zh) * 2022-10-31 2022-12-13 北京石油化工学院 一种头部动态定位跟踪方法及系统

Similar Documents

Publication Publication Date Title
JP6678565B2 (ja) 定位手術用の手術ロボット及び定位手術用の手術ロボットの制御方法
CN113647972A (zh) 一种辅助口腔医疗影像的双臂协作机器人控制方法及系统
US5143086A (en) Device for measuring and analyzing movements of the human body or of parts thereof
CN104994805B (zh) 用于建立虚拟约束边界的系统和方法
CN113633408A (zh) 一种光学导航的牙种植机器人系统及其标定方法
CN112370163B (zh) 用于下颌骨重建的腓骨移植手术机器人
JP2019034121A (ja) 定位手術用の手術ロボットシステム及び定位手術用ロボットの制御方法
CN113876426B (zh) 一种与无影灯结合的术中定位跟踪系统及方法
CN112043382A (zh) 一种外科手术导航系统及其使用方法
CN113855287B (zh) 一种带评估种植精度的口腔种植手术机器人及控制方法
CN113413216B (zh) 一种基于超声影像导航的双臂穿刺机器人
CN116747039B (zh) 一种种植机器人位姿调整方法、系统和存储介质
CN116196112B (zh) 一种机械臂运动控制方法及手术机器人
CN113520603A (zh) 一种基于内窥镜的微创手术机器人系统
CN115670675A (zh) 一种融合超声和触觉信息的双臂穿刺机器人系统
CN215458144U (zh) 一种全自动b超检查机器人系统
CN115741732A (zh) 一种按摩机器人的交互式路径规划及运动控制方法
CN116459010A (zh) 一种口腔种植牙手术的随动装置及方法
CN110547874B (zh) 制定移动路径的方法及其组件和在自动化设备中的应用
CN114224489A (zh) 用于手术机器人的轨迹跟踪系统及利用该系统的跟踪方法
KR101050482B1 (ko) 임플란트 시술 보조 시스템
CN112932703A (zh) 一种利用混合现实技术的正畸托槽粘接方法
CN114512220A (zh) 一种基于单目计算机视觉的电子面弓方法
JP2004160119A (ja) コウ合器調節システム
Lorsakul et al. Toward robot-assisted dental surgery: Path generation and navigation system using optical tracking approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination