CN113400304A - 一种机器人气管插管的作用力-位移-视觉混合控制方法 - Google Patents

一种机器人气管插管的作用力-位移-视觉混合控制方法 Download PDF

Info

Publication number
CN113400304A
CN113400304A CN202110615405.6A CN202110615405A CN113400304A CN 113400304 A CN113400304 A CN 113400304A CN 202110615405 A CN202110615405 A CN 202110615405A CN 113400304 A CN113400304 A CN 113400304A
Authority
CN
China
Prior art keywords
robot
displacement
force
standard path
vision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110615405.6A
Other languages
English (en)
Other versions
CN113400304B (zh
Inventor
程奥华
丘铱可
郝瀚
徐奕舟
聂宇轩
蒋玉骅
杨翛然
郑钢铁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202110615405.6A priority Critical patent/CN113400304B/zh
Publication of CN113400304A publication Critical patent/CN113400304A/zh
Application granted granted Critical
Publication of CN113400304B publication Critical patent/CN113400304B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J18/00—Arms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning

Abstract

本发明属于医疗器械技术领域，特别涉及一种机器人气管插管的作用力‑位移‑视觉混合控制方法。本方法首先利用插管标准路径和口腔力学模型，通过视觉图像映射得到标准路径中的对应点，分别根据机器人装置、标准路径和力学模型，读取理论与实际的位移和力信息，使用虚拟夹具方法判断所在区域安全性，根据安全分区使用并联PID调控调控机械臂运动速度。本发明联合使用了气管插管中的力、位移和视觉信息，通过虚拟夹具、并联PID控制和阈值控制方法，实现了喉镜和导管的安全、高效插入，保证了插管姿态的准确性，为机器人自动气管插管提供了坚实基础。

Description

一种机器人气管插管的作用力-位移-视觉混合控制方法
技术领域
本发明属于医疗器械技术领域，特别涉及一种机器人气管插管的作用力-位移-视觉混合控制方法。
背景技术
传统插入喉镜的手术操作由于缺乏实时的口腔图像，主要依靠医生对口腔及呼吸道的把握及手感，凭经验完成插管动作，耗时长且存在一定危险，对于治疗呼吸道传染病的手术医师，这种近距离操作更是面临交叉感染的风险。而图像处理、力反馈控制等机器人自动化技术能够通过综合力、位移和视觉信息精确把握“手感”，保护医生患者。因此，我们希望建立一种机器人气管插管的控制方法。
而目前对机器人控制方法大多单独依赖视觉、力学或操作者的遥控来导航和反馈。已有的同时具有视觉导航和力反馈的专利研究也不多。如专利《机器人控制装置、机器人系统、机器人以及机器人控制方法》专利中，同时具有图像获取和力检测来控制机器人移动，但获得的视觉图像与力并无直接的混合使用，而力学信息更多的是作为安全的检测而非主动更具力来指导运动。
发明内容
本发明的目的是提出一种机器人气管插管的作用力-位移-视觉混合控制方法，综合力-位移和视觉的信息，通过相机获取口腔内部形体，再将图像输入计算机读取力、位移信息，上述信息通过虚拟夹具、并联PID两项控制算法，指导气管高效插入指定部位。
本发明提出的机器人气管插管的作用力-位移-视觉混合控制方法，首先利用插管标准路径和口腔力学模型，通过视觉图像映射得到标准路径中的对应点，分别根据机器人装置、标准路径和力学模型，读取理论与实际的位移和力信息，使用虚拟夹具方法判断所在区域安全性，根据安全分区使用并联PID调控调控机械臂运动速度。
上述机器人气管插管的作用力-位移-视觉混合控制方法，包括以下步骤：
(1)根据机器人气管插管的历史记录数据，建立口腔中作用力-位移-视觉的映射关系；
(2)将步骤(1)的作用力-位移-视觉映射关系和设定的标准路径输入机器人；
(3)机器人在气管插管过程中，采集口腔内部图像，提取图像特征，根据步骤(1)的作用力-位移-视觉的映射关系，得到与该图像特征相对应的标准路径中的机械臂末端的位置和姿态向量x0和机械臂末端的力和力矩向量f0；
(4)读取机械臂末端的当前位置和姿态向量x1以及机械臂末端的当前力和力矩向量f1；
(5)采用虚拟夹具方法，对与步骤(4)的数据相对应的机器人气管插管状态进行判断，包括以下步骤：
(5-1)根据步骤(3)和步骤(4)，计算机械臂末端的当前位置和姿态向量x1与标准路径中的机械臂末端的位置和姿态向量x0的差值：x＝x1-x0，机械臂末端的当前力和力矩向量f1与标准路径中的机械臂末端的力和力矩向量f0的差值：f＝f1-f0；
(5-2)根据步骤(5-1)的两个差值，计算判断目标函数y＝xTAx+fTBf，其中，上标T矩阵转置，A、B为拟合得到的系数矩阵；
(5-3)设定对步骤(4)状态的判断阈值y1和y2：
若y＜y1，则机器人气管插管处于安全区，进行步骤(6)，若y1≤y≤y2，则机器人气管插管处于缓冲区，进行步骤(6)，若y>y2，则机器人气管插管处于危险区，使机器人退出；
(6)将步骤(5)的x和f合并为一个偏移向量P＝[x,f]，对机器人进行力-位移并联控制如下：利用线性映射方法，将偏移向量P、偏移向量P随时间的累积I、偏移向量P的差分D三个值，线性映射为一个控制机器人气管插管的速度-角速度信号V，若机器人气管插管处于安全区，向机器人输出信号V，若机器人气管插管处于缓冲区，输出信号αV，其中α为预设的参数，0<α<1，实现机器人气管插管的作用力-位移-视觉的混合控制。
本发明提出的机器人气管插管的作用力-位移-视觉混合控制方法，其优点是：
本发明的机器人气管插管的作用力-位移-视觉混合控制方法，联合使用了气管插管中的力、位移和视觉信息，通过虚拟夹具、并联PID控制和阈值控制方法，实现了喉镜和导管的安全、高效插入，保证了插管姿态的准确性，为机器人自动气管插管提供了坚实基础。
附图说明
图1是本发明提出的一种机器人气管插管的作用力-位移-视觉混合控制方法的流程图。
具体实施方式
本发明提出的机器人气管插管的作用力-位移-视觉混合控制方法，首先利用插管标准路径和口腔力学模型，通过视觉图像映射得到标准路径中的对应点，分别根据机器人装置、标准路径和力学模型，读取理论与实际的位移和力信息，使用虚拟夹具方法判断所在区域安全性，根据安全分区使用并联PID调控调控机械臂运动速度。
上述机器人气管插管的作用力-位移-视觉混合控制方法，其流程框图如图1所示，具体包括以下步骤：
(1)根据机器人气管插管的历史记录数据，建立口腔中作用力-位移-视觉的映射关系；
(2)将步骤(1)的作用力-位移-视觉映射关系和设定的标准路径输入机器人；
(3)机器人在气管插管过程中，利用机械臂摄像头采集口腔内部图像，提取图像特征，根据步骤(1)的作用力-位移-视觉的映射关系，得到与该图像特征相对应的标准路径中的机械臂末端的位置和姿态向量x0和机械臂末端的力和力矩向量f0；
(4)从机器人和力传感器中读取机械臂末端的当前位置和姿态向量x1以及机械臂末端的当前力和力矩向量f1；
(5)采用虚拟夹具方法，对与步骤(4)的数据相对应的机器人气管插管状态进行判断，包括以下步骤：
(5-1)根据步骤(3)和步骤(4)，计算机械臂末端的当前位置和姿态向量x1与标准路径中的机械臂末端的位置和姿态向量x0的差值：x＝x1-x0，机械臂末端的当前力和力矩向量f1与标准路径中的机械臂末端的力和力矩向量f0的差值：f＝f1-f0；
(5-2)根据步骤(5-1)的两个差值，计算判断目标函数y＝xTAx+fTBf，其中，上标T矩阵转置，A、B为拟合得到的系数矩阵；
(5-3)设定对步骤(4)状态的判断阈值y1和y2：
机器人气管插管的状态包括安全区、缓冲区或危险区。若y＜y1，则机器人气管插管处于安全区，进行步骤(6)，若y1≤y≤y2，则机器人气管插管处于缓冲区，进行步骤(6)，若y>y2，则机器人气管插管处于危险区，使机器人退出；
(6)将步骤(5)的x和f合并为一个偏移向量P＝[x,f]，对机器人进行力-位移并联(简称PID)控制如下：利用线性映射方法，将偏移向量P、偏移向量P随时间的累积I、偏移向量P的差分D三个值，线性映射为一个控制机器人气管插管的速度-角速度信号V，若机器人气管插管处于安全区，向机器人输出信号V，若机器人气管插管处于缓冲区，输出信号αV，其中α为预设的参数，0<α<1，本发明的一个实施例中，α的取值为0.5，实现机器人气管插管的作用力-位移-视觉的混合控制。

Claims (2)

1.一种机器人气管插管的作用力-位移-视觉混合控制方法，其特征在于该方法首先利用插管标准路径和口腔力学模型，通过视觉图像映射得到标准路径中的对应点，分别根据机器人装置、标准路径和力学模型，读取理论与实际的位移和力信息，使用虚拟夹具方法判断所在区域安全性，根据安全分区使用并联PID调控调控机械臂运动速度。
2.如权利要求1所述的机器人气管插管的作用力-位移-视觉混合控制方法，其特征在于具体过程包括以下步骤：
(1)根据机器人气管插管的历史记录数据，建立口腔中作用力-位移-视觉的映射关系；
(2)将步骤(1)的作用力-位移-视觉映射关系和设定的标准路径输入机器人；
(3)机器人在气管插管过程中，采集口腔内部图像，提取图像特征，根据步骤(1)的作用力-位移-视觉的映射关系，得到与该图像特征相对应的标准路径中的机械臂末端的位置和姿态向量x0和机械臂末端的力和力矩向量f0；
(4)读取机械臂末端的当前位置和姿态向量x1以及机械臂末端的当前力和力矩向量f1；
(5)采用虚拟夹具方法，对与步骤(4)的数据相对应的机器人气管插管状态进行判断，包括以下步骤：
(5-1)根据步骤(3)和步骤(4)，计算机械臂末端的当前位置和姿态向量x1与标准路径中的机械臂末端的位置和姿态向量x0的差值：x＝x1-x0，机械臂末端的当前力和力矩向量f1与标准路径中的机械臂末端的力和力矩向量f0的差值：f＝f1-f0；
(5-2)根据步骤(5-1)的两个差值，计算判断目标函数y＝xTAx+fTBf，其中，上标T矩阵转置，A、B为拟合得到的系数矩阵；
(5-3)设定对步骤(4)状态的判断阈值y1和y2：
若y＜y1，则机器人气管插管处于安全区，进行步骤(6)，若y1≤y≤y2，则机器人气管插管处于缓冲区，进行步骤(6)，若y>y2，则机器人气管插管处于危险区，使机器人退出；
(6)将步骤(5)的x和f合并为一个偏移向量P＝[x,f]，对机器人进行力-位移并联控制如下：利用线性映射方法，将偏移向量P、偏移向量P随时间的累积I、偏移向量P的差分D三个值，线性映射为一个控制机器人气管插管的速度-角速度信号V，若机器人气管插管处于安全区，向机器人输出信号V，若机器人气管插管处于缓冲区，输出信号αV，其中α为预设的参数，0<α<1，实现机器人气管插管的作用力-位移-视觉的混合控制。
CN202110615405.6A 2021-06-02 2021-06-02 一种机器人气管插管的作用力-位移-视觉混合控制方法 Active CN113400304B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110615405.6A CN113400304B (zh) 2021-06-02 2021-06-02 一种机器人气管插管的作用力-位移-视觉混合控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110615405.6A CN113400304B (zh) 2021-06-02 2021-06-02 一种机器人气管插管的作用力-位移-视觉混合控制方法

Publications (2)

Publication Number Publication Date
CN113400304A true CN113400304A (zh) 2021-09-17
CN113400304B CN113400304B (zh) 2022-10-14

Family

ID=77675949

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110615405.6A Active CN113400304B (zh) 2021-06-02 2021-06-02 一种机器人气管插管的作用力-位移-视觉混合控制方法

Country Status (1)

Country Link
CN (1) CN113400304B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023060241A1 (en) * 2021-10-08 2023-04-13 Spiro Robotics, Inc. Navigation and control for airway management procedures, assemblies and systems

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090044799A1 (en) * 2007-08-15 2009-02-19 Chunyuan Qiu Systems and methods for intubation
CN104476549A (zh) * 2014-11-20 2015-04-01 北京卫星环境工程研究所 基于视觉测量的机械臂运动路径补偿方法
CN106272416A (zh) * 2016-08-29 2017-01-04 上海交通大学 基于力觉和视觉的机器人细长轴精密装配系统及方法
CN107049496A (zh) * 2017-05-22 2017-08-18 清华大学 一种多任务手术机器人的视觉伺服控制方法
CN111258267A (zh) * 2020-01-17 2020-06-09 北京科技大学 一种人机协作搬运系统及其混合视触控制方法
CN111331604A (zh) * 2020-03-23 2020-06-26 北京邮电大学 一种基于机器视觉的阀门旋拧柔顺作业方法
CN111360851A (zh) * 2020-02-19 2020-07-03 哈尔滨工业大学 一种融合触觉和视觉的机器人混合伺服控制装置及方法
CN112203604A (zh) * 2018-04-20 2021-01-08 威博外科公司 机器人端口放置引导件及使用方法
CN112604118A (zh) * 2020-12-02 2021-04-06 西安交通大学医学院第一附属医院 一种基于视觉扫描技术的辅助插管机器人装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090044799A1 (en) * 2007-08-15 2009-02-19 Chunyuan Qiu Systems and methods for intubation
CN104476549A (zh) * 2014-11-20 2015-04-01 北京卫星环境工程研究所 基于视觉测量的机械臂运动路径补偿方法
CN106272416A (zh) * 2016-08-29 2017-01-04 上海交通大学 基于力觉和视觉的机器人细长轴精密装配系统及方法
CN107049496A (zh) * 2017-05-22 2017-08-18 清华大学 一种多任务手术机器人的视觉伺服控制方法
CN112203604A (zh) * 2018-04-20 2021-01-08 威博外科公司 机器人端口放置引导件及使用方法
CN111258267A (zh) * 2020-01-17 2020-06-09 北京科技大学 一种人机协作搬运系统及其混合视触控制方法
CN111360851A (zh) * 2020-02-19 2020-07-03 哈尔滨工业大学 一种融合触觉和视觉的机器人混合伺服控制装置及方法
CN111331604A (zh) * 2020-03-23 2020-06-26 北京邮电大学 一种基于机器视觉的阀门旋拧柔顺作业方法
CN112604118A (zh) * 2020-12-02 2021-04-06 西安交通大学医学院第一附属医院 一种基于视觉扫描技术的辅助插管机器人装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023060241A1 (en) * 2021-10-08 2023-04-13 Spiro Robotics, Inc. Navigation and control for airway management procedures, assemblies and systems

Also Published As

Publication number Publication date
CN113400304B (zh) 2022-10-14

Similar Documents

Publication Publication Date Title
CN111315309B (zh) 用于控制机器人操纵器或相关工具的系统和方法
JP4220780B2 (ja) 手術システム
CN113400304B (zh) 一种机器人气管插管的作用力-位移-视觉混合控制方法
Bajo et al. Robotic-assisted micro-surgery of the throat: The trans-nasal approach
CN103356295A (zh) 软镜手术辅助机械手系统及其控制方法
US20110190790A1 (en) Method For Operating A Medical Robot, Medical Robot, And Medical Work Place
CN112763253B (zh) 机械臂的采样控制方法及装置、采样系统
CN113616333A (zh) 导管运动辅助方法、导管运动辅助系统及可读存储介质
CN113679473A (zh) 一种人机协同力反馈脑室穿刺机器人装置
CN116261416A (zh) 用于混合成像和导航的系统和方法
US20230180995A1 (en) Medical system and control method
CN113499094A (zh) 一种依靠视觉及力反馈引导的心脏彩超检查装置和方法
CN115723124A (zh) 基于力传感器的人机交互的检疫机器人采咽控制方法
KR101923404B1 (ko) 영상처리를 이용한 외부조종 무선 내시경의 자율 주행방법
CN114652449A (zh) 手术机器人及其引导手术臂移动的方法、控制装置
KR101601021B1 (ko) 자이로 센서를 이용한 3ｄ 내시경 시스템
CN115869071A (zh) 手术内镜的控制方法、装置、手术机器人系统
EP3033997A1 (de) Endoskopsystem zur Bestimmung einer Position und einer Orientierung eines Endoskops in einem Hohlraum
CN113440281A (zh) 手术路径规划方法、装置及自动植牙系统
CN114617520A (zh) 导管头端控制方法、装置、设备和存储介质
US11571268B1 (en) Medical continuum robot extraction and methods thereof
CN113893037B (zh) 一种支气管镜机器人及其引导方法和系统
WO2022230829A1 (ja) ロボットシステム
CN117224241B (zh) 一种软式内镜操控系统的控制方法及相关装置
CN116476041B (zh) 一种核酸采样机器人的力位混合控制方法及机器人

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant