CN116966381A - 基于自监督单目深度估计的气管插管机器人自主导航方法 - Google Patents
基于自监督单目深度估计的气管插管机器人自主导航方法 Download PDFInfo
- Publication number
- CN116966381A CN116966381A CN202310891904.7A CN202310891904A CN116966381A CN 116966381 A CN116966381 A CN 116966381A CN 202310891904 A CN202310891904 A CN 202310891904A CN 116966381 A CN116966381 A CN 116966381A
- Authority
- CN
- China
- Prior art keywords
- depth estimation
- image
- network
- depth
- self
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000002627 tracheal intubation Methods 0.000 title claims abstract description 66
- 238000012549 training Methods 0.000 claims abstract description 50
- 238000005452 bending Methods 0.000 claims abstract description 16
- 230000008859 change Effects 0.000 claims abstract description 12
- 230000003287 optical effect Effects 0.000 claims description 38
- 230000008569 process Effects 0.000 claims description 32
- 230000009466 transformation Effects 0.000 claims description 23
- 238000005070 sampling Methods 0.000 claims description 21
- 238000001514 detection method Methods 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 12
- 238000005286 illumination Methods 0.000 claims description 10
- 210000002409 epiglottis Anatomy 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000005516 engineering process Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 210000000845 cartilage Anatomy 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 210000000214 mouth Anatomy 0.000 claims description 3
- 230000008447 perception Effects 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 230000006735 deficit Effects 0.000 claims 1
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 230000007246 mechanism Effects 0.000 description 14
- 230000036544 posture Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 210000004704 glottis Anatomy 0.000 description 4
- 210000003484 anatomy Anatomy 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000029058 respiratory gaseous exchange Effects 0.000 description 3
- 230000033764 rhythmic process Effects 0.000 description 3
- 210000002396 uvula Anatomy 0.000 description 3
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 229910052760 oxygen Inorganic materials 0.000 description 2
- 239000001301 oxygen Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 208000028399 Critical Illness Diseases 0.000 description 1
- 206010011409 Cross infection Diseases 0.000 description 1
- 206010021143 Hypoxia Diseases 0.000 description 1
- 206010029803 Nosocomial infection Diseases 0.000 description 1
- 239000000443 aerosol Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- -1 droplets Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007954 hypoxia Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 210000002345 respiratory system Anatomy 0.000 description 1
- 230000028327 secretion Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 210000003437 trachea Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M16/00—Devices for influencing the respiratory system of patients by gas treatment, e.g. mouth-to-mouth respiration; Tracheal tubes
- A61M16/04—Tracheal tubes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/107—Visualisation of planned trajectories or target regions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B2034/303—Surgical robots specifically adapted for manipulations within body lumens, e.g. within lumen of gut, spine, or blood vessels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Physics & Mathematics (AREA)
- Surgery (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Robotics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pulmonology (AREA)
- Computer Hardware Design (AREA)
- Hematology (AREA)
- Anesthesiology (AREA)
- Emergency Medicine (AREA)
- Computer Graphics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于自监督单目深度估计的气管插管机器人自主导航方法，涉及人工智能技术领域，包括采集气道环境图像/视频数据，获取训练数据集，并训练深度估计网络；利用训练好的自监督深度估计网络对由软镜采集到的图像进行深度估计，获取深度图，获得规划区域；根据深度图，在规划区域内按照中心线原则进行路径规划；计算出控制软镜旋转、弯曲和轴向推进的各电机的位置增量，进而生成电机运动轨迹，控制软镜末端位姿变化，实现在气道内推进；不同阶段生成辅助运动补偿信息，完成不同阶段的自动插管，能够实时地对当前镜头所处的环境进行三维表面重构，从而为手术导航提供决策基础，配合气管插管机器人实现手术自动化。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于自监督单目深度估计的气管插管机器人自主导航方法。
背景技术
气管插管术是急救工作中常用的抢救技术之一，气管插管是指将特制的气管内导管经声门置入气管，以保障呼吸道顺畅的医疗操作。多用于病情危急，需要实施急诊手术的患者，能够有效供氧，避免组织器官因缺氧而死亡。
但是医生在执行气管插管操作时，有很高的交叉感染风险，即在进行气管插管抢救时，大量的分泌物、血液、液滴和气溶胶等会散播到空气中，因此进行气管插管的医生需要准备充分的保护措施，而在医生装备保护措施时有可能会错过患者的最佳抢救时间。
随着自主导航移动机器人的使用越来越广泛，一些机器人可代替医生执行插管操作，称为气管插管机器人。
对气管插管机器人来说在执行插管的操作过程中，如何实现正确的自主导航是非常重要的，手术操作中导航是一种解决“目标解剖位置在何处”、“如何安全到达目标位置处”和“我在解剖学上的位置”等问题的方法，解决这些问题的核心是如何获取手术的三维场景信息，在脊柱外科手术及其他多种手术中，获取手术三维场景信息均是基于电子计算机断层扫描(Computed Tomography,CT)重构的术前路径配合术中配准，规划手术路径并确认手术进程，即这种导航策略是由医生在CT重构的三维结构基础上规划手术路径。
然而，由于气道相关解剖结构会随患者呼吸节奏的起伏而不断变化，这导致CT重构的三维结构与术中真实结构不符，从而导致气管插管机器人的导航策略失效。
发明内容
本发明公开的一种基于自监督单目深度估计的气管插管机器人自主导航方法，解决了现有气管插管机器人的导航策略是在CT重构三维结构的基础上规划手术路径，而由于气道相关解剖结构会随患者呼吸节奏的起伏而不断变化，这导致CT重构的三维结构与术中真实结构不符，从而导致气管插管机器人的导航策略失效的问题，能够实时地对当前镜头所处的环境进行三维表面重构，从而为手术导航提供决策基础，配合气管插管机器人实现手术自动化。
为达到上述目的，本发明的技术方案具体是这样实现的：
本发明公开一种基于自监督单目深度估计的气管插管机器人自主导航方法，包括以下步骤：
S1：采集气道环境图像/视频数据，对采集到的气道环境图像/视频数据进行预处理，得到最终训练数据集，利用最终训练数据集训练深度估计网络，获得训练好的深度估计网络；
S2：利用训练好的自监督深度估计网络对由软镜采集到的图像进行深度估计，获取深度图，并通过目标检测技术计算气道中关键结构的目标检测框，获得规划区域；
S3：根据所述深度图，在所述规划区域内按照中心线原则进行路径规划，生成二维路径点，并将二维路径点反投影至三维空间，获得三维路径点；
S4：根据正逆运动学，计算出控制软镜旋转、弯曲和轴向推进的各电机的姿态增量，控制软镜在气道内推进；
S5：根据插管的不同阶段生成辅助运动补偿信息，完成不同阶段的自动插管。
进一步地，步骤S1中采集气道环境图像/视频数据包括获取医学插管训练用的模型气道环境图像/视频数据和实际插管手术中患者的气道环境图像/视频数据，且气道环境图像/视频数据均需在距离气道关键结构10mm-30mm，与其成0°-50°角的范围内采集。
进一步地，得到最终训练数据集的步骤包括：
对采集到的气道环境图像/视频数据，选取变化不明显的若干视频片段；
将选取的若干视频片段逐帧切片得到原始训练数据集；
将原始训练数据集中的图像去畸变并裁剪黑框后得到最终训练数据集，以训练深度估计网络。
进一步地，所述自监督深度估计网络包括深度估计网络、姿态估计网络、光流网络、色彩对齐网络和损失计算模块，其中，所述深度估计网络用以获取图像的深度图；所述深度估计网络基于U-Net的架构，使用ResNet18作为其编码器，且该编码器在标准的ResNet18基础上去除了全卷积层，RGB图像首先进入卷积层与BN层进行处理，再经过ReLu与最大池化层对特征进行压缩，然后经过4个由2个ResNet Block组成的卷积层得到不同尺度的语义特征提取结果，编码完成后，解码器通过4个反卷积层与上采样将图像恢复至原尺寸，再经过卷积与Sigmoid激活后得到深度图；所述姿态估计网络用以获取相邻帧图像的帧间相机姿态，所述姿态估计网络所使用的编码器除了第一层卷积层的输入通道维数为6外与所述深度估计网络保持一致，所述姿态估计网络接受两张RGB图像堆叠后的结果作为输入，经过编码后进入由三个卷积层构成的Pose Decoder得到6自由度的姿态输出；所述光流网络用以获取相邻帧图像的帧间光流，所述光流网络除输入、输出通道数量与所述深度估计网络不同外，其余均与所述深度估计网络一致；所述色彩对齐网络用以获取色彩对齐图像，所述色彩对齐网络除输入、输出通道数量与所述深度估计网络不同外，其余均与所述深度估计网络一致；损失计算模块用以计算自监督深度估计网络的损失函数。
进一步地，训练自监督深度估计网络的步骤包括：
从最终训练数据集中随机选取一对相邻帧图像作为当次训练样例；
选取的一对相邻帧图像经过姿态估计网络获得帧间相机姿态；经过光流网络获得帧间光流，并根据光流获得光流采样图；第一帧图像经深度估计网络获得深度图；
根据深度图、帧间相机姿态与相机内参计算刚性变换，并得到刚性变换采样图；将光流采样图与第一帧图像作差得到光度不确定图；
将光流采样图和第一帧图像输入色彩对齐网络，得到色彩偏移量，将色彩偏移量作用到第一帧图像获得色彩对齐图，以此补偿内镜图像下剧烈光照变化带来的色彩不一致问题；
将色彩偏移量、色彩对齐图、刚性变换图、深度图、光流采样图、第一帧图像与光度不确定图输入损失计算模块，计算损失函数。
进一步地，所述自监督深度估计网络引入如下的损失函数，并利用如下损失函数训练所述自监督深度估计网络：
LM＝M·L (1)
其中，
L＝λ1Lrec+λ2Lds+λ3Lpca+λ4Lcas+λ5Lcoc (2)
Lrec为图像重构损失，其表达式表示为：
Lds为具有边缘感知的平滑损失，其表达式为：
Lpca为基于光照不确定度的校正惩罚以提升低纹理区域性能，其表达式为：
Lcas为具有边缘感知能力的平滑损失，其表达式为：
Lcoc为色彩校正-光流一致性损失，其表达式为：
M＝[min pre(Is→t,ICA)＜min pre(It,Is)] (8)
其中，pre为逐像素重构误差，其表达式如下：
其中，λ1～λ5为对应损失的权重，α为SSIM损失权重，I1，I2为任意两尺寸大小相同的图像，ICA为经过色彩对齐后的图像，且设It是视频序列中的某一帧，Is是其相邻帧，Is→t是根据下式
Is→t(pt)＝Is(ps)
采样得到的合成图，K为已知的相机内参，pt为It中每一个像素点，ps为Is中每一个像素点，和/>分别为网络估计的相邻帧姿态变换与It对应的深度图，/>为将It与Is→t输入色彩对齐网络后所输出的一个3通道原图尺寸的张量，Iwarp为通过光流图从Is采样得到的图像，表示如下：
Iwarp(pt)＝Is(ps)
且为光流网络预测的3通道原图尺寸光流图。
进一步地，所述步骤S3包括：
S31：将深度图等深划分为N个切片，形成N个切片图像Ii，若某个切片图像Ii所有深度在0～i*(dmax-dmin)/N范围内的点的值为1，则表示该深度切片下存在障碍物；
S32：在目标检测框内，计算无障碍物坐标点集合的中心点，计算公式为：
其中，(xi,yi)为目标检测框内保存值为0的点的坐标，num为符合要求的点的总和；
S33：将N-n个平面路径点与深度图中的所有点反投影至三维空间，获得相机坐标系下的三维局部地图与基于局部地图的三维路径规划，其中N为切片个数，n为末尾舍弃的规划点的个数。
进一步地，将N-n个平面路径点与深度图中的所有点反投影至三维空间的方法为：
根据公式p3D＝d(p2D)K-1p2D将二维坐标转化为三维坐标，当p2D为深度图上的点时，其深度值d(p2D)由训练好的自监督深度估计网络预测的深度图给出；当p2D为平面路径点时，其深度值d(p2D)由切片对应的深度给出；
其中，K为标定好的相机内参。
进一步地，所述步骤S4包括：
在初始状态下，解算三自由度软镜递送装置逆运动学方程，所述三自由度软镜递送装置逆运动学方程表示如下：
l2(1-cosα)2＝α2(px 2+py 2)；
计算每个拟合后的三维路径规划点上三个电机的姿态，作差获取电机姿态增量控制软镜按照规划出的路径推进；
当软镜经过一次推进后，需对上一次推进保留的正运动学过程进行坐标变换后再进行逆解作差，获取电机姿态增量控制软镜按照规划出的路径继续推进，所述三自由度软镜递送装置的正运动学方程如下：
其中，d为推进距离，θ为旋转角度，α为旋转角度，l为软镜可控段长度，px，py，pz分别为机器人坐标系下x，y，z轴坐标，R为旋转变换矩阵，P为平移变换矩阵，T为坐标变换矩阵。
进一步地，所述步骤S5包括：
将软镜主体固定在软镜递送装置上，软管部分经口部固定器以与水平面90°的方向伸入患者口腔，完成初始位置的设置，并在当前位置进行深度估计并获得局部三维图，通过平面拟合获得并记录后壁平面与推进方向的夹角θ，根据生成路径向前推进；
从初始位置根据生成路径将软镜向前推进，抵达能够看到会厌的位置作为第一推进过程；
从第一推进过程结束时的位置根据生成路径继续将软镜向前推进到越过会厌的位置作为第二推进过程；
第二推进过程结束时，需将软镜弯曲角补偿至θ；
从第二推进过程结束时的位置根据生成路径继续将软镜向前推进至抵住软骨时，作为第三次推进过程；
第三次推进过程结束时，需将推进过程中所产生的弯曲角归零，并配合轴向推进距离补偿d，完成自动插管。
有益技术效果：
1.本发明公开一种基于自监督单目深度估计的气管插管机器人自主导航方法，包括以下步骤：S1：采集气道环境图像/视频数据，对采集到的气道环境图像/视频数据进行预处理，得到最终训练数据集，利用最终训练数据集，训练深度估计网络，获得训练好的深度估计网络；S2：利用训练好自监督深度估计网络对由软镜采集到的图像进行深度估计，获取深度图，并通过目标检测技术计算气道中关键结构的目标检测框，获得规划区域；S3：根据所述深度图，在所述规划区域内按照中心线原则进行路径规划，生成二维路径点，并将二维路径点反投影至三维空间，获得三维路径点；S4：根据气管插管机器人的正逆运动学，计算出控制软镜旋转、弯曲和轴向推进的各电机的姿态增量，控制软镜在气道内推进；S5：根据插管的不同阶段生成辅助运动补偿信息，完成不同阶段的自动插管；解决了现有气管插管机器人的导航策略是在CT重构三维结构的基础上规划手术路径，而由于气道相关解剖结构会随患者呼吸节奏的起伏而不断变化，这导致CT重构的三维结构与术中真实结构不符，从而导致气管插管机器人的导航策略失效的问题，能够实时地对当前镜头所处的环境进行三维表面重构，从而为手术导航提供决策基础，配合气管插管机器人实现手术自动化；
2、本发明中，训练自监督深度估计网络的方法是一种适用于强烈光照变化与低纹理条件的单目自监督深度估计算法，采用该种方法训练自监督深度估计网络，有效减少低纹理区域的错误估计，提高自监督深度估计网络的计算精度；
3.本发明中公开的自监督深度估计网络的损失函数采用多种损失函数及掩膜机制相结合，有效减少低纹理区域的错误估计，使自监督深度估计网络达到了更好的精度。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。
图1为应用本发明所公开的自主导航方法的气管插管机器人的整体结构示意图；
图2为本发明所述的一种基于自监督单目深度估计的气管插管机器人自主导航方法的步骤示意图；
图3为本发明所述的一种基于自监督单目深度估计的气管插管机器人自主导航方法中训练自监督深度估计网络的步骤流程图；
图4为本发明所述的一种基于自监督单目深度估计的气管插管机器人自主导航方法中训练自监督深度估计网络的框架图；
图5为本发明所述的一种基于自监督单目深度估计的气管插管机器人自主导航方法中训练自监督深度估计网络中损失计算模块的示意图；
图6为本发明所述的一种基于自监督单目深度估计的气管插管机器人自主导航方法中步骤S2的流程图；
图7为本发明所述的一种基于自监督单目深度估计的气管插管机器人自主导航方法中步骤S3的细节图；
图8为本发明所述的一种基于自监督单目深度估计的气管插管机器人自主导航方法中步骤S5的流程图。
其中，1-软镜递送装置，2-口部固定器，3-导航信息显示屏，4-主从操作台。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
下面结合附图对本发明的实施方式进行详细说明。
本发明所公开的一种基于自监督单目深度估计的气管插管机器人自主导航方法是基于图1所示的整套硬件结构来实现，其中软镜递送装置1包括安装在机械臂末端的推进机构(通过电机来推进)、安装在推进机构上的旋转机构(通过电机来旋转)、安装在旋转机构上的扭转结构(通过电机来扭转)以及与扭转机构连接的软镜模组，软镜递送装置1将固定在软镜模组中的软镜插入到气道内的合适位置，再将气管插管沿软镜插入，最后将软镜取出即完成手术插管。
本发明所公开的一种基于自监督单目深度估计的气管插管机器人自主导航方法，参见图2，具体包括以下步骤：
S1：采集气道环境图像/视频数据，对采集到的气道环境图像/视频数据进行预处理，得到最终训练数据集，利用最终训练数据集训练深度估计网络，获得训练好的深度估计网络；；
具体地，本实施例通过手持内窥镜插管来获取视频，采集气道环境图像/视频数据包括获取医学插管训练用的模型的气道环境图像/视频数据和实际插管手术中患者的气道环境图像/视频数据，且气道环境图像/视频数据均需在距离气道关键结构(悬雍垂、会厌、声门)10mm-30mm，与其成0°-50°角的范围内采集，在采集过程中，需要避免大幅度的摇晃带来的图像模糊，除此之外，由于实际拍摄数据组织结构可能存在较大变化，应当选取变化不明显的若干片段用作训练，将采集到的视频逐帧切片得到有序的集合即为原始训练数据集，将数据集中的图像去畸变并裁剪黑框后得到最终训练数据集，在本实施例中，最终训练数据集中包含8732张来自手术过程与假人模型的内镜图像数据，并利用最终训练数据集中的图像，采用一种适用于强烈光照变化与低纹理条件的单目自监督深度估计算法训练自监督深度估计网络。
作为本发明的优选实施例，自监督深度估计网络包括深度估计网络、姿态估计网络、光流网络、色彩对齐网络和损失计算模块，参见图4，深度估计网络(DepthNet)用以获取图像的深度图；深度估计网络基于U-Net的架构，使用ResNet18作为其编码器，且该编码器在标准的ResNet18基础上去除了全卷积层，RGB图像首先进入卷积层与BN层进行处理，再经过ReLu与最大池化层对特征进行压缩，然后经过4个由2个ResNet Block组成的卷积层得到不同尺度的语义特征提取结果，编码完成后，解码器通过4个反卷积层与上采样将图像恢复至原尺寸，再经过卷积与Sigmoid激活后得到深度图；姿态估计网络(PoseNet)用以获取相邻帧图像的帧间相机姿态，姿态估计网络所使用的编码器除了第一层卷积层输入通道维数为6外与深度估计网络保持一致，姿态估计网络接受两张RGB图像堆叠后的结果作为输入，经过编码后进入由三个卷积层构成的Pose Decoder得到6自由度的姿态输出；光流网络(OFNet)用以获取相邻帧图像的帧间光流，光流网络除输入、输出通道数量与所述深度估计网络不同外，其余均与所述深度估计网络一致；色彩对齐网络(CANet)用以获取色彩对齐图像，色彩对齐网络除输入、输出通道数量与所述深度估计网络不同外，其余均与所述深度估计网络一致；损失计算模块(LossModule)用以计算自监督深度估计网络的损失函数；
因此，利用适用于强烈光照变化与低纹理条件的单目自监督深度估计算法训练本发明所公开的自监督深度估计网络的步骤参见图3，具体包括：
从最终训练数据集中随机选取一对相邻帧图像作为当次训练样例；
选取的一对相邻帧图像经过姿态估计网络获得帧间相机姿态；经过光流网络获得帧间光流，并根据光流获得光流采样图；第一帧图像经深度估计网络获得深度图；
根据深度图、帧间相机姿态与相机内参计算刚性变换，并得到刚性变换采样图；将光流采样图与第一帧图像作差得到光度不确定图；
将光流采样图和第一帧图像输入色彩对齐网络，得到色彩偏移量，将色彩偏移量作用到第一帧图像获得色彩对齐图，以此补偿内镜图像下剧烈光照变化带来的色彩不一致问题；
将色彩偏移量、色彩对齐图、刚性变换图、深度图、光流采样图、第一帧图像与光度不确定图输入损失计算模块，计算损失函数。
本发明公开的训练自监督深度估计网络的算法，非常适用于强烈光照变化与低纹理条件，有效提高自监督深度估计网络低纹理区域的错误估计，从而使其达到更好的精度。
作为本发明的一个实施例，本发明公开的自监督深度估计网络引入如下的损失函数，并利用如下损失函数训练自监督深度估计网络：
LM＝M·L (1)
通过Auto-Mask屏蔽低纹理区域内易导致网络不稳定的像素点，并将Auto-Mask作用于所有损失，有效减少低纹理区域的错误估计，使自监督深度估计网络达到更好的精度；
其中，
L＝λ1Lrec+λ2Lds+λ3Lpca+λ4Lcas+λ5Lcoc (2)
Lrec为图像重构损失，其表达式表示为：
Lds为具有边缘感知的平滑损失，其表达式为：
Lpca为基于光照不确定度的校正惩罚以提升低纹理区域性能，其表达式为：
Lcas为具有边缘感知能力的平滑损失，其表达式为：
Lcoc为色彩校正-光流一致性损失，其表达式为：
M＝[min pre(Is→t,ICA)＜min pre(It,Is)] (8)其中，pre为逐像素重构误差，其表达式如下：
其中，λ1～λ5为对应损失的权重，α为SSIM损失权重，I1，I2为任意两尺寸大小相同的图像，ICA为经过色彩对齐后的图像，且设It是视频序列中的某一帧，Is是其相邻帧，Is→t是根据下式
Is→t(pt)＝Is(ps)
采样得到的合成图，K为已知的相机内参，pt为It中每一个像素点，ps为Is中每一个像素点，和/>分别为网络估计的相邻帧姿态变换与It对应的深度图，/>为将it与Is→t输入色彩对齐网络后所输出的一个3通道原图尺寸的张量，Iwarp为通过光流图从Is采样得到的图像，表示如下：
Iwarp(pt)＝Is(ps)
且为光流网络预测的3通道原图尺寸光流图。
在本实施例中λ1～λ5分别取1.0，0.0001，0.01，0.01，0.01，α取值为0.85，训练过程部署在Ubuntu18.04，Python 3.8，CUDA 11.3，cuDNN 8，Pytorch 1.11.0环境中，选取Adam优化器，学习率设置为0.0001，网络输入尺寸为320×256，共训练8个Epochs。
S2：利用训练好自监督深度估计网络对由软镜采集到的图像进行深度估计，获取深度图，并通过目标检测技术计算气道中关键结构的目标检测框，获得规划区域；
具体地，由于目标检测技术是本领域中的常规技术，因此在本发明中不再赘述，当检测到悬雍垂时，悬雍垂上方的区域为规划区域；当检测到会厌时，除去会厌检测框的区域为规划区域；当检测到声门时，声门的目标检测框即为规划区域。
S3：根据步骤S2获得的深度图，在规划区域内按照中心线原则进行路径规划，生成二维路径点，并将二维路径点反投影至三维空间，获得三维路径点；
具体地，参见图7，包括如下步骤：
S31：将深度图等深划分为N个切片，形成N个切片图像Ii，若某个切片图像Ii所有深度在0～i*(dmax-dmin)/N范围内的点的值为1，则表示该深度切片下存在障碍物；
S32：在目标检测框内，计算无障碍物坐标点集合的中心点，计算公式为：
其中，(xi,yi)为目标检测框内保存值为0的点的坐标，num为符合要求的点的总和；
S33：将N-n个平面路径点与深度图中的所有点反投影至三维空间，获得相机坐标系下的三维局部地图与基于局部地图的三维路径规划，其中N为切片个数，本实施例中N取15，由于深度图并非完全准确，在最远端区域存在较大误差，因此应末尾舍弃n个规划点，本实施例中n取值为3；
具体地，根据公式p3D＝d(p2D)K-1p2D将二维坐标转化为三维坐标，当p2D为深度图上的点时，其深度值d(p2D)由训练好的自监督深度估计网络预测的深度图给出；当p2D为平面路径点时，其二维坐标根据步骤S3计算，其深度值d(p2D)由切片对应的深度给出；其中，K为标定好的相机内参。
S4：根据正逆运动学，计算出控制软镜旋转、弯曲和轴向推进的各电机的姿态增量，控制软镜在气道内推进；
具体地，由于软镜递送装置1包括安装在机械臂末端的推进机构(通过电机来推进)、安装在推进机构上的旋转机构(通过电机来旋转)、安装在旋转机构上的扭转结构(通过电机来扭转)以及与扭转机构连接的软镜模组，因此可计算出控制软镜旋转(旋转机构)、弯曲(扭转机构)和轴向推进(推进机构)的三个电机的姿态增量，控制软镜在气道内推进；
在初始状态下，解算三自由度软镜递送装置逆运动学方程，三自由度软镜递送装置逆运动学方程表示如下：
需要注意的是，本发明实施例将软镜与后壁贴合时的运动学过程视为初始状态的运动学过程；
计算每个拟合后的三维路径规划点上三个电机的姿态，作差获取各电机姿态增量，控制软镜按照规划出的路径推进；
需要理解的是，当软镜经过一次推进后，需对上一次推进保留的正运动学过程进行坐标变换后再进行逆解作差，获取各电机姿态增量控制软镜按照规划出的路径继续推进，三自由度软镜递送装置的正运动学方程如下：
其中，d为所述推进距离、θ为所述旋转角度、α为所述弯曲角度、l为软镜可控段长度，px，py，pz分别为机器人坐标系下x，y，z轴坐标，R为旋转变换矩阵，P为平移变换矩阵，T为坐标变换矩阵。
S5：根据插管的不同阶段生成辅助运动补偿信息，完成不同阶段的自动插管。
需要理解的是，由于气道环境与软体结构控制的复杂性，运动控制并不总是满足立项状态下的正逆运动学过程，因此在控制内镜推进的过程中引入了运动补偿。
具体地，参见图8，将软镜主体固定在软镜递送装置1上，软管部分经口部固定器2以与水平面90°的方向伸入患者口腔，完成初始位置的设置，并在当前位置进行深度估计并获得局部三维图，通过平面拟合获得并记录后壁平面与推进方向的夹角θ，优选地，θ一般选为60°，根据生成路径向前推进；
从初始位置根据生成路径将软镜向前推进，抵达能够看到会厌的位置作为第一推进过程；
从第一推进过程结束时的位置根据生成路径继续将软镜向前推进到越过会厌的位置作为第二推进过程；
在这需要理解的是，由于气道环境与软体结构控制的复杂性，运动控制并不总是满足理想状态下的正逆运动学过程，通过运动补偿可以解决气道这一复杂环境下的运动控制问题；
第二推进过程结束时，需将软镜弯曲角补偿至θ，目的是为了使得软镜与后壁平行并贴合，从而达到其后续运动学过程可以被近似视为初始状态运动学过程的目标；
从第二推进过程结束时的位置根据生成路径继续将软镜向前推进至抵住软骨时，作为第三次推进过程；
由于第三次推进过程结束时，软镜抵住软骨，其运动学过程将不可计算，然而此时插管过程已经接近结束，只需将推进过程中所产生的弯曲角归零，并配合轴向推进距离补偿d，优选地，d取值一般为30mm，完成自动插管。
基于本发明公开的基于自监督单目深度估计的气管插管机器人自主导航方法的发明构思，本发明还公开一种基于自监督单目深度估计的气管插管机器人自主导航系统，具体包括视频处理模块、网络训练模块、深度估计模块、规划区域模块、路径规划模块、电机运动轨迹生成模块和运动补偿模块，具体地，视频处理模块用以采集气道环境图像/视频数据，对采集到的气道环境图像/视频数据进行预处理，得到最终训练数据集；网络训练模块用以根据最终训练数据集训练深度估计网络，获得训练好的深度估计网络；深度估计模块用以利用训练好的自监督深度估计网络对由软镜采集到的图像进行深度估计，获取深度图；规划区域模块用以根据深度估计模块获取的深度图，通过目标检测技术计算气道中关键结构的目标检测框，获得规划区域；路径规划模块用以根据深度图，在规划区域内按照中心线原则进行路径规划，生成二维路径点，并将二维路径点反投影至三维空间，获得三维路径点；电机运动轨迹生成模块用以根据正逆运动学，计算出控制软镜旋转、弯曲和轴向推进的各电机的位置增量，进而生成电机运动轨迹；运动补偿模块用以生成辅助运动补偿信息。
本发明公开的基于自监督单目深度估计的气管插管机器人自主导航方法，在插管过程的不同阶段按照不同的控制策略控制软镜按照所规划的路径前进，最终可以实现自动化插管。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上的实施例仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通工程技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明的权利要求书确定的保护范围内。
Claims (10)
1.一种基于自监督单目深度估计的气管插管机器人自主导航方法，其特征在于，包括以下步骤：
S1：采集气道环境图像/视频数据，对采集到的气道环境图像/视频数据进行预处理，得到最终训练数据集，利用最终训练数据集训练深度估计网络，获得训练好的深度估计网络；
S2：利用训练好的自监督深度估计网络对由软镜采集到的图像进行深度估计，获取深度图，并通过目标检测技术计算气道中关键结构的目标检测框，获得规划区域；
S3：根据所述深度图，在所述规划区域内按照中心线原则进行路径规划，生成二维路径点，并将二维路径点反投影至三维空间，获得三维路径点；
S4：根据正逆运动学，计算出控制软镜旋转、弯曲和轴向推进的各电机的位置增量，进而生成电机运动轨迹，控制软镜末端位姿变化，实现在气道内推进；
S5：根据插管的不同阶段生成辅助运动补偿信息，完成不同阶段的自动插管。
2.根据权利要求1所述的一种基于自监督单目深度估计的气管插管机器人自主导航方法，其特征在于，步骤S1中采集气道环境图像/视频数据包括获取医学插管训练用的模型气道环境图像/视频数据和实际插管手术中患者的气道环境图像/视频数据，且气道环境图像/视频数据均需在距离气道关键结构5mm-30mm，与其成0°-50°角的范围内采集。
3.根据权利要求2所述的一种基于自监督单目深度估计的气管插管机器人自主导航方法，其特征在于，得到最终训练数据集的步骤包括：
对采集到的气道环境图像/视频数据，选取变化不明显的若干视频片段；
将选取的若干视频片段逐帧切片得到原始训练数据集；
将原始训练数据集中的图像去畸变并裁剪黑框后得到最终训练数据集，以训练深度估计网络。
4.根据权利要求1所述的一种基于自监督单目深度估计的气管插管机器人自主导航方法，其特征在于，所述自监督深度估计网络包括：
深度估计网络，所述深度估计网络用以获取图像的深度图；所述深度估计网络基于U-Net的架构，使用ResNet18作为其编码器，且该编码器在标准的ResNet18基础上去除了全卷积层，RGB图像首先进入卷积层与BN层进行处理，再经过ReLu与最大池化层对特征进行压缩，然后经过4个由2个ResNetBlock组成的卷积层得到不同尺度的语义特征提取结果，编码完成后，解码器通过4个反卷积层与上采样将图像恢复至原尺寸，再经过卷积与Sigmoid激活后得到深度图；
姿态估计网络，所述姿态估计网络用以获取相邻帧图像的帧间相机姿态，所述姿态估计网络所使用的编码器除第一层卷积层的输入通道参数为6外，其余网络结构与所述深度估计网络保持一致，所述姿态估计网络接受两张RGB图像堆叠后的结果作为输入，经过编码后进入由三个卷积层构成的PoseDecoder得到6自由度的姿态输出；
光流网络，所述光流网络用以获取相邻帧图像的帧间光流，所述光流网络除输入、输出通道数量与所述深度估计网络不同外，其余均与所述深度估计网络一致；
色彩对齐网络，所述色彩对齐网络用以获取色彩对齐图像，所述色彩对齐网络除输入、输出通道数量与所述深度估计网络不同外，其余均与所述深度估计网络一致；
损失计算模块，用以计算自监督深度估计网络的损失函数。
5.根据权利要求4所述的一种基于自监督单目深度估计的气管插管机器人自主导航方法，其特征在于，训练自监督深度估计网络的步骤包括：
从最终训练数据集中随机选取一对相邻帧图像作为当次训练样例；
选取的一对相邻帧图像经过姿态估计网络获得帧间相机姿态；经过光流网络获得帧间光流，并根据光流获得光流采样图；第一帧图像经深度估计网络获得深度图；
根据深度图、帧间相机姿态与相机内参计算刚性变换，并得到刚性变换采样图；将光流采样图与第一帧图像作差得到光度不确定图；
将光流采样图和第一帧图像输入色彩对齐网络，得到色彩偏移量，将色彩偏移量作用到第一帧图像上以补偿光照变化带来的色彩不一致，获得色彩对齐图；
将色彩偏移量、色彩对齐图、刚性变换图、深度图、光流采样图、第一帧图像与光度不确定图输入损失计算模块，计算损失函数。
6.根据权利要求1所述的一种基于自监督单目深度估计的气管插管机器人自主导航方法，其特征在于，所述自监督深度估计网络引入如下的损失函数，并利用如下损失函数训练所述自监督深度估计网络：
LM＝M·L (1)
其中，
L＝λ1Lrec+λ2Lds+λ3Lpca+λ4Lcas+λ5Lcoc (2)
Lrec为图像重构损失，其表达式表示为：
Lds为具有边缘感知的平滑损失，其表达式为：
Lpca为基于光照不确定度的校正惩罚以提升低纹理区域性能，其表达式为：
Lcas为具有边缘感知能力的平滑损失，其表达式为：
Lcoc为色彩校正-光流一致性损失，其表达式为：
M＝[min pre(Is→t,ICA)＜min pre(It,Is)] (8)
其中，pre为逐像素重构误差，其表达式如下：
其中，λ1～λ5为对应损失的权重，α为SSIM损失权重，I1，I2为任意两尺寸大小相同的图像，ICA为经过色彩对齐后的图像，且设It是视频序列中的某一帧，Is是其相邻帧，Is→t是根据下式
Is→t(pt)＝Is(ps)
采样得到的合成图，K为已知的相机内参，pt为It中每一个像素点，ps为Is中每一个像素点，和/>分别为网络估计的相邻帧姿态变换与It对应的深度图，/>为将It与Is→t输入色彩对齐网络后所输出的一个3通道原图尺寸的张量，Iwarp为通过光流图从Is采样得到的图像，表示如下：
Iwarp(pt)＝Is(ps)
且为光流网络预测的3通道原图尺寸光流图。
7.根据权利要求1所述的一种基于自监督单目深度估计的气管插管机器人自主导航方法，其特征在于，所述步骤S3包括：
S31：将深度图等深划分为N个切片，形成N个切片图像Ii，若某个切片图像Ii所有深度在0～i*dmax-dmin)/N范围内的点的值为1，则表示该深度切片下存在障碍物；
S32：在目标检测框内，计算无障碍物坐标点集合的中心点，计算公式为：
其中，(xi,yi)为目标检测框内保存值为0的点的坐标，num为符合要求的点的总和；
S33：将N-n个平面路径点与深度图中的所有点反投影至三维空间，获得相机坐标系下的三维局部地图与基于局部地图的三维路径规划，其中N为切片个数，n为末尾舍弃的规划点的个数。
8.根据权利要求4所述的一种基于自监督单目深度估计的气管插管机器人自主导航方法，其特征在于，将N-n个平面路径点与深度图中的所有点反投影至三维空间的方法为：
根据公式p3D＝dp2DK-1p2D将二维坐标转化为三维坐标，当p2D为深度图上的点时，其深度值dp2D由训练好的自监督深度估计网络预测的深度图给出；当p2D为平面路径点时，其深度值dp2D由切片对应的深度给出；
其中，K为标定好的相机内参。
9.根据权利要求1所述的一种基于自监督单目深度估计的气管插管机器人自主导航方法，其特征在于，所述步骤S4包括：
在初始状态下，解算三自由度软镜递送装置逆运动学方程，所述三自由度软镜递送装置逆运动学方程表示如下：
计算每个拟合后的三维路径规划点上三个电机的位置信息，作差获取软镜旋转、弯曲和轴向推进的各电机的位置变化，进而生成电机运动轨迹，控制软镜末端位姿变化，按照规划出的路径实现在气道内的一次推进；
当软镜经过一次推进后，需对上一次推进保留的正运动学过程进行坐标变换后再进行逆解作差，获取电机姿态增量控制软镜按照规划出的路径继续推进，所述三自由度软镜递送装置的正运动学方程如下：
其中，d为推进距离，θ为旋转角度，α为弯曲角度，l为软镜可控段长度，px，py，pz分别为机器人坐标系下x，y，z轴坐标，R为旋转变换矩阵，P为平移变换矩阵，T为坐标变换矩阵。
10.根据权利要求1所述的一种基于自监督单目深度估计的气管插管机器人自主导航方法，其特征在于，所述步骤S5包括：
将软镜主体固定在软镜递送装置上，软管部分经口部固定器以与水平面90°的方向伸入患者口腔，完成初始位置的设置，并在当前位置进行深度估计并获得局部三维图，通过平面拟合获得并记录后壁平面与推进方向的夹角θ，根据生成路径向前推进；
从初始位置根据生成路径将软镜向前推进，抵达能够看到会厌的位置作为第一推进过程；
从第一推进过程结束时的位置根据生成路径继续将软镜向前推进到越过会厌的位置作为第二推进过程；
第二推进过程结束时，需将软镜弯曲角补偿至θ；
从第二推进过程结束时的位置根据生成路径继续将软镜向前推进至抵住软骨时，作为第三次推进过程；
第三次推进过程结束时，需将推进过程中所产生的弯曲角归零，并配合轴向推进距离补偿d，完成自动插管。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310891904.7A CN116966381A (zh) | 2023-07-20 | 2023-07-20 | 基于自监督单目深度估计的气管插管机器人自主导航方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310891904.7A CN116966381A (zh) | 2023-07-20 | 2023-07-20 | 基于自监督单目深度估计的气管插管机器人自主导航方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116966381A true CN116966381A (zh) | 2023-10-31 |
Family
ID=88476147
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310891904.7A Pending CN116966381A (zh) | 2023-07-20 | 2023-07-20 | 基于自监督单目深度估计的气管插管机器人自主导航方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116966381A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117281616A (zh) * | 2023-11-09 | 2023-12-26 | 武汉真彩智造科技有限公司 | 一种基于混合现实的手术控制方法及系统 |
| CN117707204A (zh) * | 2024-01-30 | 2024-03-15 | 清华大学 | 基于光电端到端网络的无人机高速避障系统及方法 |
| CN118204951A (zh) * | 2024-05-17 | 2024-06-18 | 北京航空航天大学 | 一种气管插管机器人的控制方法 |
-
2023
- 2023-07-20 CN CN202310891904.7A patent/CN116966381A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117281616A (zh) * | 2023-11-09 | 2023-12-26 | 武汉真彩智造科技有限公司 | 一种基于混合现实的手术控制方法及系统 |
| CN117281616B (zh) * | 2023-11-09 | 2024-02-06 | 武汉真彩智造科技有限公司 | 一种基于混合现实的手术控制方法及系统 |
| CN117707204A (zh) * | 2024-01-30 | 2024-03-15 | 清华大学 | 基于光电端到端网络的无人机高速避障系统及方法 |
| CN118204951A (zh) * | 2024-05-17 | 2024-06-18 | 北京航空航天大学 | 一种气管插管机器人的控制方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116966381A (zh) | 基于自监督单目深度估计的气管插管机器人自主导航方法 | |
| JP5153620B2 (ja) | 連続的にガイドされる内視鏡と関係する画像を重ね合わせるためのシステム | |
| KR102196291B1 (ko) | 분지형 해부학적 구조물 내에서의 의료 장치의 위치 결정 | |
| JP2022141792A5 (zh) | ||
| US8900131B2 (en) | Medical system providing dynamic registration of a model of an anatomical structure for image-guided surgery | |
| Soper et al. | In vivo validation of a hybrid tracking system for navigation of an ultrathin bronchoscope within peripheral airways | |
| US20150313503A1 (en) | Electromagnetic sensor integration with ultrathin scanning fiber endoscope | |
| Sganga et al. | Offsetnet: Deep learning for localization in the lung using rendered images | |
| EP3096703B1 (en) | Continuous image integration for robotic surgery | |
| CN110368089A (zh) | 一种支气管内窥镜三维导航方法 | |
| Helferty et al. | Combined endoscopic video tracking and virtual 3D CT registration for surgical guidance | |
| CN116898586A (zh) | 一种应用于插管机器人的自主插管方法 | |
| CN116421313A (zh) | 胸腔镜下肺部肿瘤切除手术导航中的增强现实融合方法 | |
| CN115668281A (zh) | 使用多视图姿态估计的方法和系统 | |
| Reichl et al. | Deformable registration of bronchoscopic video sequences to CT volumes with guaranteed smooth output | |
| CN114748141A (zh) | 基于x射线图像的穿刺针三维位姿实时重建方法及装置 | |
| CN113077407A (zh) | 图像采集和重建的方法、装置、电子设备和存储介质 | |
| Deguchi et al. | A method for bronchoscope tracking using position sensor without fiducial markers | |
| Liao et al. | Data stream stabilization for optical coherence tomography volumetric scanning | |
| US20230414089A1 (en) | Devices and expert systems for intubation and bronchoscopy | |
| Soper et al. | Validation of CT-video registration for guiding a novel ultrathin bronchoscope to peripheral lung nodules using electromagnetic tracking | |
| CN115317747B (zh) | 一种自动气管插管导航方法及计算机设备 | |
| CN114767268B (zh) | 一种适用于内镜导航系统的解剖结构跟踪方法及装置 | |
| Byrnes et al. | Multi-Frame CT-Video Registration for 3D Airway-Wall Analysis | |
| CN114387154B (zh) | 一种用于插管机器人的立体气道环境构建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |