CN115317747B - 一种自动气管插管导航方法及计算机设备 - Google Patents

一种自动气管插管导航方法及计算机设备 Download PDF

Info

Publication number
CN115317747B
CN115317747B CN202210899599.1A CN202210899599A CN115317747B CN 115317747 B CN115317747 B CN 115317747B CN 202210899599 A CN202210899599 A CN 202210899599A CN 115317747 B CN115317747 B CN 115317747B
Authority
CN
China
Prior art keywords
dimensional model
dimensional
image
navigation
current position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210899599.1A
Other languages
English (en)
Other versions
CN115317747A (zh
Inventor
韩永正
郭江真
付铭明
贾斐
张佳楠
原青
黄河
闵栋
郭向阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University Third Hospital Peking University Third Clinical Medical College
Original Assignee
Peking University Third Hospital Peking University Third Clinical Medical College
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University Third Hospital Peking University Third Clinical Medical College filed Critical Peking University Third Hospital Peking University Third Clinical Medical College
Priority to CN202210899599.1A priority Critical patent/CN115317747B/zh
Publication of CN115317747A publication Critical patent/CN115317747A/zh
Application granted granted Critical
Publication of CN115317747B publication Critical patent/CN115317747B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M16/00—Devices for influencing the respiratory system of patients by gas treatment, e.g. mouth-to-mouth respiration; Tracheal tubes
    • A61M16/04—Tracheal tubes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Robotics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Graphics (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Pulmonology (AREA)
  • Pathology (AREA)
  • Gynecology & Obstetrics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Geometry (AREA)
  • Emergency Medicine (AREA)
  • Anesthesiology (AREA)
  • Hematology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种自动气管插管导航方法及计算机设备，属于医疗器械技术领域；本发明的气管插管导航方法包括：获取插管设备前端探头在气管内当前位置的结构光图像以及双目立体视觉图像；对所述结构光图像以及双目立体视觉图像分别进行三维重建，得到当前位置的第一三维模型和第二三维模型；对所述第一三维模型和第二三维模型进行特征点融合，得到融合后的当前位置的第三三维模型；基于所述第三三维模型，预测得到前端探头的下一步导航方向。解决了现有技术中的气管插管导航方法无法自动获取高精度的图像及位置信息，依靠医生的经验和判断进行手动或半自动操作，无法实现全自动气管插管以及由于人为因素造成误判给患者带来风险的问题。

Description

一种自动气管插管导航方法及计算机设备
技术领域
本发明涉及医疗器械技术领域，特别涉及一种自动气管插管导航方法及计算机设备。
背景技术
气管插管是呼吸支持治疗的关键技术，一旦气管插管失败往往导致患者窒息死亡并引发医疗纠纷。在围术期领域，气道管理失败是麻醉相关死亡原因的首要因素。
目前主要根据气管插管设备前端摄像头提供的图像信息，人工操作，完成气管插管。而操作医师根据设备前端摄像头反馈的平面图像人工控制，存在一定的学习难度，操作医师需要利用自身已掌握的解剖知识，在大脑中构建出立体解剖进行操作，存在一定的误差。因此实现自动化气管插管操作，根据气道解剖导航规划路径至关重要。在此背景下，急需建立一种自动导航的气管插管方法。
发明内容
鉴于上述的分析，本发明旨在提供一种自动气管插管导航方法及计算机设备；解决现有技术中的气管插管导航方法无法自动获取高精度的图像及位置信息，依靠医生的经验和判断进行手动或半自动操作，无法实现全自动气管插管以及由于人为因素造成误判给患者带来风险的问题。
本发明的目的主要是通过以下技术方案实现的：
一方面，本发明提供了一种自动气管插管导航方法，包括以下步骤：
获取插管设备前端探头在气管内当前位置的结构光图像以及双目立体视觉图像；
对所述结构光图像以及双目立体视觉图像分别进行三维重建，得到当前位置的第一三维模型和第二三维模型；
对所述第一三维模型和第二三维模型进行特征点融合，得到融合后的当前位置的第三三维模型；
基于所述第三三维模型，计算得到前端探头的下一步导航方向。
进一步的，利用光源投射条纹结构光，并通过红外摄像头采集气管内当前位置的结构光图像；采用格雷码和插值查找算法对所述结构光图像进行三维重建，得到所述第一三维模型。
进一步的，利用光源投射均匀红外光，通过两个红外摄像头采集气管内当前位置图像，得到所述双目视觉图像；采用立体视觉视差匹配的方法对所述双目视觉图像进行三维重建，得到所述第二三维模型。
进一步的，所述对所述第一三维模型和第二三维模型进行特征点融合包括：
对第一三维模型和第二三维模型进行坐标系归一化；
基于第一三维模型和第二三维模型对应的特征点的深度差异和角度差异得到每个特征点的空间位置差异，对每个特征点的空间位置差异进行求和，得到全局特征点空间位置差异，最小化全局特征点空间位置差异，构建得到三维融合重建结果；
对所述三维融合重建结果进行平滑滤波处理，得到所述第三三维模型。进一步的，通过下式最小化第一三维模型和第二三维模型全局特征点的空间位置差异，构建得到三维融合重建的结果：
Figure GDA0003863945470000021
其中，ε(Γ)为全局特征点的空间位置差异；
Figure GDA0003863945470000031
为第二三维模型中特征点(i,j,k)表面的垂直单位向量；
Figure GDA0003863945470000032
为第一三维模型中与之匹配的特征点(i′,j′,k′)表面的垂直单位向量；
Figure GDA0003863945470000033
为第二三维模型中特征点(i,j,k)对应的向量；
Figure GDA0003863945470000034
为第一三维模型中特征点(i′,j′,k′)对应的向量。
Figure GDA0003863945470000035
表示表面的垂直单位向量夹角差异；
Figure GDA0003863945470000036
表示特征点对应向量夹角差异；
Figure GDA0003863945470000037
表示特征点对应向量距离原点距离差异。
进一步的，还包括：利用光源投射可见光，通过摄像头采集气管内当前位置的可见光图像；利用所述可见光图像对第三三维模型进行三维建模贴图操作，得到气管中当前位置的三维彩色图像；
基于当前位置的所述三维彩色图像，辅助人为判断下一步导航方向。
进一步的，所述判断下一步导航方向包括：根据可见光图像，通过预先训练的图像识别模型判断当前位置是否为关键位置；
若非关键位置，则获取当前位置的第三三维模型的三维信息，并搜索深度最深的方向坐标，根据所述深度最深的方向坐标得到下一步导航方向；
若为关键位置，则获取所述图像识别模型的指导导航方向坐标和三维信息中深度最深方向的坐标；若坐标夹角大于预先设置的阈值，则判断为转角，以所述深度最深的方向为下一步导航方向；若坐标夹角小于阈值，则以两个坐标中间的方向为下一步导航方向。
进一步的，所述判断下一步导航方向还包括通过惯性导航系统对插管探头坐标系与地球坐标系进行坐标变换，得到地球坐标系下三维模型的姿态，并根据三维模型的所述姿态预测前进方向的坐标。
进一步的，所述预先训练的图像识别模型为通过海量样本图片对神经网络模型进行预先训练得到的辅助诊断模型，所述样本图片为带有标注标签的气管内各位置图像，包括二维图像和三维立体图像，所述标注标签为标注关键特征位置和关键位置指导导航方向的标签。
另一方面，还包括一种计算机设备，包括至少一个处理器，以及至少一个与所述处理器通信连接的存储器；
所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现前述的气管插管导航方法。
本技术方案的有益效果：
本发明通过融合结构光三维模型与双目视觉三维模型，能够获得精确的气管内三维图像，实现了精准的深度信息获取并自动判断下一步导航移动方向，实现了高精度的全自动气管插管导航方法。
本发明采用格雷码编码方式进行图像三维重建，可以获得与图像传感器像素点一样的精度，三维重建后的精度可达微米级，充分利用了适于体内应用的结构光三维重建算法的优势，并结合插值搜索的自适应的条纹搜索算法，实现了高精度、快速的三维重建，提高了气管插管导航方法的精度和效率。
本发明还通过结合可见光图像贴图操作和惯性测量单元，为医生提供直观的气管插管导航设备前端的视频图像，用于辅助气管插管操作或进行其他诊疗操作，可精确的确定手术工具在进入过程中的前方情况、位置信息或者空间姿态，可以帮助医生在手动、自动操作的过程中实现精准导航。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分的从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。
图1为本发明实施例的气管插管导航方法流程图。
图2为本发明实施例的气管导航方法过程示意图。
图3为本发明实施例的基于插值搜索的自适应的条纹搜索示意图。
图4为本发明实施例的特征点融合示意图。
图5为本发明实施例的计算导管下一步导航方向流程示意图。
具体实施方式
对于肺炎等疾病引起的危重症患者，早期给予气管插管进行呼吸支持治疗是最重要的治疗手段。气管插管是急救和手术的首要步骤，对于挽救生命至关重要，需要专业医师经过长时间培训方能熟练掌握。在气管插管操作时，医师与患者呼吸道直接近距离接触，职业暴露感染风险较高。因此，对患者的气管插管实现机器智能化操作，可显著降低医务人员的职业暴露风险。同时可有效解决灾难现场(高楼楼顶、灾害、航母、核污染现场等)抢救工作中专家缺乏、无法随行的缺陷。本发明通过大量实验对比，选择适于体内应用的图像获取、识别和三维重建方法，实现了气管插管导航的全自动化方案，对于完善国家公共卫生应急体系建设具有重大的战略意义。
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
本实施例中的一种自动气管插管导航方法，如图1所示，包括以下步骤：
步骤S1：获取插管设备前端探头在气管内当前位置的结构光图像以及双目立体视觉图像；具体的，利用光源投射条纹结构光，并通过红外摄像头采集气管内当前位置的结构光图像；利用光源投射均匀红外光，通过两个红外摄像头采集气管内当前位置图像，得到所述双目视觉图像；
具体的，插管设备前端探头包括发光系统(包括光纤、滤波片、棱镜组和光栅)，用于采集结构光图像的一个红外摄像头和用于采集双目视觉图像的两个红外摄像头。插管设备导管内部包括用于传导光束的光纤、与摄像头通信连接的数据传输线和用于调整滤波片和控制导管移动的多条电机驱动线。
优选的，本实施例可通过导管内的光纤将光导到探头前端，为图像采集提供光照，并在图像采集过程中切换不同的滤波片或光栅，以产生结构光或红外光，利用对应的摄像头获取图像。本实施例还可以利用光源投射可见光，并通过摄像头采集气管内当前位置的可见光图像，以便于辅助人工直观的判断插管方向或进行诊疗操作。
作为一个具体的实施例，如图2所示，在一个时间步内，首先保持导管静止，控制滤波片和发光装置投射红外光，通过双目视觉摄像头获取双目视觉图像，并进行三维重建得到双目视觉三维模型；在获取双目视觉图像后，控制滤波片和发光装置投射结构光，通过红外摄像头获取结构光图像，并进行三维重建得到结构光三维模型；在获取结构光后控制滤波片和发光装置投射可见光，通过可见光摄像头获取彩色图像。对双目视觉三维模型和三维模型进行特征融合，得到第三三维模型，进一步通过贴图操作，得到彩色的三维模型。可根据第三三维模型或贴图后的彩色三维模型预测下一步导航方向，或进行辅助诊断。
更具体的，通过对比多种结构光方法后，本实施例采用二值条纹结构光进行三维重建，二值条纹结构光算法更适合体内纹理较少的平滑曲面，其重建精度更高。
需要说明的是，双目视觉图像、二值条纹图像和可见光图像的采集顺序可根据需要任意设置。但由于双目视觉图像三维重建运算量大，运算时间长，而结构光图像进行三维重建时间略短，所以本实施例每个时间步内的操作顺序根据运算量情况，按双目视觉、结构光和可见光的顺序进行图像采集和三维重建。以保证在最短的时间内得到导航结果，以提高导航的效率。
步骤S2：对所述结构光图像以及双目立体视觉图像分别进行三维重建，得到当前位置的第一三维模型和第二三维模型；
具体的，本实施例将二值条纹结构光图像传输至图像分析系统，采用格雷码和插值查找算法对二值条纹结构光图像进行三维重建，得到第一三维模型；
为了提高系统鲁棒性，本实施例采用格雷码加线移的方式进行二值条纹结构光编码。即，将整个编码区域分成256个子区域，4位线移将宽度为4的子区域赋予不同的码值。在解码中，相机坐标系的像素相位值为ρ＝ρG+ρL，其中ρG为绝对相位，通过对投射8位格雷码获取的灰度图解码获取；ρL为局部相位，通过对投射4位线移图案获取的灰度图解码获得。本实施例采用基于条纹边界亚像素定位的方法进行解码。即，基于投射正反条纹获取的灰度图，首先通过零交叉算子实现条纹边界像素级的定位，然后基于直线拟合或曲线拟合求交点的方法获取条纹边界的亚像素级定位值。通过条纹亚像素定位算法，对于二值条纹编码的结构光系统可以获取微米级的重建精度。
进一步的，基于格雷码编码图案中条纹的序列属性，为了提高算法的效率，实现快速自动插管，经过大量实验对比，本实施例采用基于插值搜索的自适应的条纹搜索算法，通过定义最小搜索区间，基于每一行与上一行的条纹边界连续性，层序遍历实现条纹边界的快速有序搜索，提高系统鲁棒性。
具体的，本实施例的条纹边界具有一定的连续性特征，如图3所示，例如在3.2处搜索到条纹边界，那么在4.3和4.4范围内出现条纹边界的概率比第4层其他范围内出现条纹边界的概率要高。本实施例中，为提高精度，在搜索到条纹边界范围后，需要对该位置进行特征匹配，而不仅仅是搜索条纹边界就计算完毕，所以首先搜索出条纹边界对于本实施例的处理速度有非常关键的作用。本实施例的基于插值搜索的自适应的条纹搜索算法为基于二叉树搜索的自适应条纹搜索算法，在不考虑自适应的情况下，基于二叉树的搜索与特征匹配总的时间复杂度为Ο(2n+1)，其中n为二叉树的层数，即格雷编码的位数。
基于二叉树搜索的自适应条纹搜索过程为：根据上一行搜索得到的条纹边界的位置(a).(b)、(c).(d)和无条纹边界的位置(x).(y)，计算得出本行搜索顺序为：(a+1).(2b-1)；(a+1).(2b)；(c+1).(2d-1)；(c+1).(2d)；(x+1).(2y-1)；(x+1).(2y)。本实施例中对条纹边界搜索概率较大的位置优先进行搜索，如检测出条纹边界，可立即执行特征匹配计算，考虑关键位置的二叉树自适应搜索与特征匹配总的时间复杂度为Ο(2n)，大大降低了条纹边界搜索的效率，降低计算时间。
通过层次遍历访问节点，在每一层中，从条纹边界概率大的位置到概率小的位置，在实现格雷码序列中所有条纹边界的搜索的同时，运用优先排序的方法降低了时间复杂度。考虑格雷码序列中条纹之间的固有位置关系，实现了在最优搜索间隔内搜索条纹边界，而不是整体全局搜索，有效的减少了数据的访问量，减少计算时间。在条纹边界搜索过程中，基于上一次搜索的结果，即(a).(b)；(c).(d)，以及本次搜索的(a+1).(2b-1)、(a+1).(2b)、(c+1).(2d-1)、(c+1).(2d)，根据节点编号(2b-1)；(2b)；(2d-1)；(2d)的奇、偶性，即条纹边界的上升沿或下降沿属性(白-黑为上升沿，黑-白为下降沿)，可以更加有效的降低误检率。
本实施例采用二值条纹结构光方法，结合格雷码和基于插值搜索的自适应的条纹搜索算法，适用于体内应用，理论上可以获得与图像传感器像素点一样的精度，三维重建后的精度可达微米级。采用最小搜索区间内搜索条纹边界可以有效的消除最小搜索区间外的噪声或遮挡对条纹搜索的影响，提高系统鲁棒性，对于降低误差具有很好的效果。
进一步的，将双目视觉图像传输至图像分析系统；采用立体视觉视差匹配的方法对双目视觉图像进行三维重建，得到所述第二三维模型。
具体的，对双目视觉图像进行三维重建包括：
摄像机标定：通过摄像机标定确定位置关系、内在参数和外在参数(内在参数是指两个摄像机固有的参数差异，外在参数主要指两个摄像机的相对位置和角度)，以获取空间点与图像点的映射关系，用于立体校正建立双目系统与约束对应点搜寻空间。
图像预处理：通过防抖处理、白平衡、降噪、根据标定参数进行图像对齐等方法对获取的双目视觉图像进行预处理，以便于后续处理中更好的提取图像中关于目标物的基本基元(如点、边等)，且有利于立体匹配中相似度量函数的计算。
立体匹配：根据特征提取后获取的数据，设定基元(点、边等)间的对应关系，将一个空间内的同一物理点在两幅视图中相互对应起来，计算两组数据间的相关程度，将景物中的丰富信息以像素值的形式反映，得到相应的视差图像。
三维重构：通过立体匹配算法得到视差结果后，根据三角法(左右视图成像面与被测物体之间形成的三角形)获取视差图像中所有点的深度值，将深度值代入摄像机几何成像模型中，根据逆向转换关系计算三维坐标，再对其进行点云可视化操作得到图像的三维信息，即得到双目视觉图像的三维模型。
需要说明的是，采用双目视觉图像进行三维重建的方法，对于纹理越多的表面，三维重建的精度越高。在体内的特殊场景下，可见光获取的图像纹理较少，匹配精度较差，并且会出现因无法匹配造成三维重建后模型出现孔洞；而红外光因其特殊的穿透性，在体内可实现血管成像，而血管的纹理在体内又是非常复杂且具有不可复制性，对于体内特殊场景下做双目立体匹配非常适合。采集双目视觉图像后通过图像分析系统中立体视觉视差匹配的方法进行三维重建，可获得较好的三维建模效果。
需要说明的是，结构光三维重建算法对于无纹理的平滑曲面重建精度非常高，但对于带有纹理的结构，立体结构较复杂的位置，重建后有误差。针对体内特殊的场景，例如血管或某些病变部位纹理较多的位置，或类似喉咙转弯处立体结构复杂的位置，为了提高三维重建后立体结构等对于医疗诊断的意义，本实施例结合双目立体视觉三维重建对二值条纹图像三维重建的误差进行融合与修正，提高了模型的准确性，为气管插管和其他医疗内窥镜应用场景提供了创造性的解决方案。
步骤S3：对第一三维模型和第二三维模型进行特征点融合，得到融合后的当前位置的第三三维模型；具体的，基于第一三维模型和第二三维模型对应的特征点的深度差异和角度差异得到每个特征点的空间位置差异，对每个特征点的空间位置差异进行求和，得到全局特征点空间位置差异，最小化全局特征点空间位置差异，构建得到三维融合重建结果；对点云重建结果进行平滑滤波处理，得到第三三维模型。
双目立体视觉算法中非常重要的步骤是计算特征点，以及对两幅图片进行特征点匹配。具体的，采用3x3区域进行两幅视差图的模板匹配，在计算出深度信息后，再取每个图像坐标对应的三维深度信息，在3x3模板中，可通过如下方法得出坐标为(i,j,k)的特征像素点表面的垂直单位向量
Figure GDA0003863945470000111
如图4所示，以坐标为(i,j,k)的特征像素点为中心0点，扩展出3x3的模板，并沿顺时针方向为每个像素点编号，取编号1至8。通过0点和1点的点云信息，可以得到0点至1点的向量
Figure GDA0003863945470000112
同样的方法可以计算本模板中以0点至1-8号像素点的向量
Figure GDA0003863945470000113
则，
Figure GDA0003863945470000114
和
Figure GDA0003863945470000115
所张成平面P0P1Pn(Pn代表第n号像素的空间点位置)的垂直单位向量：
Figure GDA0003863945470000116
叠加后，得到坐标为(i,j,k)的特征像素点表面的垂直单位向量：
Figure GDA0003863945470000117
同样方法，对二值条纹结构光的每个像素点也做如上处理，若两种方法获取的图像坐标空间不一致，首先要对这两种方法的坐标空间进行归一化处理。对于二值条纹结构光，通过深度点云计算出坐标为(i,j,k)的特征像素点表面的垂直单位向量：
Figure GDA0003863945470000121
同时考虑角度约束和深度约束，得到坐标为(i,j,k)的特征像素点在双目立体视觉和二值条纹结构光两种方法下获取的空间位置差异ε(i,j,k)：
Figure GDA0003863945470000122
其中，
Figure GDA0003863945470000123
表示在双目立体视觉和二值条纹结构光两种方法下获取的表面垂直单位向量的角度差；
Figure GDA0003863945470000124
表示在双目立体视觉和二值条纹结构光两种方法下获取的原点出发坐标为(i,j,k)的特征像素点的向量之间的角度差；δ(i,j,k)表示双目立体视觉和二值条纹结构光两种方法下获取的特征点对应向量距离原点距离差异；其中：
Figure GDA0003863945470000125
Figure GDA0003863945470000126
两种方法所获取的三维模型融合问题，就转化为求解每一帧图像像素空间全局特征点的空间位置差异最小的极值问题。即：
Figure GDA0003863945470000127
其中，ε(Γ)为全局特征点的空间位置差异；
Figure GDA0003863945470000128
为第二三维模型中特征点(i,j,k)表面的垂直单位向量；
Figure GDA0003863945470000129
为第一三维模型中与之匹配的特征点(i′,j′,k′)表面的垂直单位向量；
Figure GDA00038639454700001210
为第二三维模型中特征点(i,j,k)对应的向量；
Figure GDA00038639454700001211
为第一三维模型中特征点(i′,j′,k′)对应的向量。
Figure GDA0003863945470000131
表示表面的垂直单位向量夹角差异；
Figure GDA0003863945470000132
表示特征点对应向量夹角差异；
Figure GDA0003863945470000133
表示特征点对应向量距离原点距离差异。在理想情况下，
Figure GDA0003863945470000134
与
Figure GDA0003863945470000135
重合，
Figure GDA0003863945470000136
与
Figure GDA0003863945470000137
重合，故ε(Γ)＝0。
获得点云融合的结果后，因每个3x3模板在匹配计算过程中，都进行了纹理识别，纹理边缘部分还可进一步做平滑滤波处理，因本方案使用范围是人体体内，不存在或极少存在突变尖锐结构，这样处理后可获取误差更小，表面更加平滑的三维重建模型。
本实施例中，二值条纹结构光方案适用于平滑曲面，纹理较少的情况；而双目立体视觉方案适用于纹理较多的情况，将二者配合使用很好的实现了气管插管和医疗内窥镜应用场景。
步骤S4：基于所述第三三维模型，计算得到前端探头的下一步导航方向。
具体的，如图5所示，根据前端探头中的摄像头获取的二维图像或三维重建后的三维立体图像，通过预先训练的图像识别模型判断当前位置是否为关键位置；
若非关键位置，则获取当前位置的第三三维模型的三维信息，并搜索深度最深的方向坐标，根据所述深度最深的方向坐标得到下一步导航方向；
若为关键位置，则获取所述图像识别模型的指导导航方向坐标和三维信息中深度最深方向的坐标；若坐标夹角大于预先设置的阈值，则判断为转角，以所述深度最深的方向为下一步导航方向；若坐标夹角小于阈值，则以两个坐标中间的方向为下一步导航方向。
其中，阈值根据大量样本数据统计得到，即在采集大量关键位置的三维信息后，进行统计计算得到。
优选的，预先训练的图像识别模型为通过海量样本图片对神经网络模型进行预先训练得到的辅助诊断模型；其中，样本图片为带有标注标签的气管内各位置的图片，包括二维图像和三维立体图像；标注标签为标注关键特征位置和关键位置指导导航方向的标签。通过预训练后的图像识别模型，可识别出当前位置是否为关键位置，并且针对具体的关键位置可获取指导导航方向。
在实际应用中，将探头前端摄像头获取的图片输入预先训练的辅助诊断模型，可自动判断出当前位置是否为关键位置，如悬垂体位置、气管与食管分叉位置等，并结合深度信息和指导导航方向进一步准确的预测出下一步导航方向。
优选的，判断下一步导航方向还包括通过惯性导航系统对插管探头坐标系与地球坐标系进行坐标变换，得到地球坐标系下三维模型的姿态，并根据三维模型的所述姿态预测前进方向的坐标。通过前述方法融合后得到的高精度三维模型可以在图像显示系统中进行显示，但体内导管的方向是随机旋转的，所以需要进行坐标系变换，使得前端探头的坐标系与地球坐标系保持一致，否则会引起导航系统以及医生观察诊断的错误。本实施例中，采用探头前端设置惯性测量单元进行坐标系转换，惯性导航单元主要由三部分组成：加速度计、磁力计和陀螺仪，三者输出的数据经计算即可得出探头坐标系与地球坐标系的转换矩阵。经计算即可得出探头前进方向在地球坐标系下的三维模型的姿态，根据地球坐标系下的三维模型的姿态以及目前患者的体位可判断出正确的下一步前进方向。
优选的，在前述融合后的三维重建模型基础上，还可以进行彩色图像贴图操作，得到更加直观的三维彩色模型。
具体的，为了更直观的展现体内的具体环境及组织，可以将摄像头获取的可见光下的彩色图片贴图到三维模型上，即经过可见光图像与经过三维重建得到的三维模型进行坐标系转换，将可见光图像中的像素点映射到三维模型上对应的像素点曲面，得到贴图后的三维彩色模型。
基于当前位置的三维彩色模型图像，可辅助判断下一步导航方向或进行诊疗操作。
本发明的第三个实施例，公开了一种计算机设备，包括至少一个处理器，以及至少一个与所述处理器通信连接的存储器；
其中存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现前述的气管插管导航方法
综上所述，本发明提出的一种自动气管插管导航方法，通过结构光图像、双目视觉图像和可见光图像进行三维重建和融合，得到精确且直观的三维模型；并通过预先训练的神经网络模型，准确的判断下一步导航方向；进一步结合自动插管机械控制系统实现气管插管导航系统的全自动化方案。可极大的降低急救、手术和气管插管过程中，医生职业暴露感染的风险，且在手术的过程中，减轻了医生的压力，在提升医疗质量方面具有重大的实际意义与应用价值。
本实施例所述的气管插管导航方法不仅可以用于气管插管场景，也适用于其他内窥镜使用系统中，通过二维图像与三维立体信息的融合，在提高可视化精度与范围的同时，利用三维模型使检查更加全面细致，不仅将先进的信息科学以及计算机辅助人工智能技术引入到医学行业，而且在手术的过程中，减轻了医生的压力，在提升医疗质量方面具有重大的实际意义与应用价值。
本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (4)

1.一种用于气管插管自动导航的计算机设备，其特征在于，包括至少一个处理器，以及至少一个与所述处理器通信连接的存储器；
所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现一种气管插管自动导航方法；
所述气管插管自动导航方法，包括以下步骤：
获取插管设备前端探头在气管内当前位置的结构光图像以及双目立体视觉图像；
对所述结构光图像以及双目立体视觉图像分别进行三维重建，得到当前位置的第一三维模型和第二三维模型，包括：利用光源投射条纹结构光，并通过红外摄像头采集气管内当前位置的结构光图像；采用格雷码和插值查找算法对所述结构光图像进行三维重建，得到所述第一三维模型；利用光源投射均匀红外光，通过两个红外摄像头采集气管内当前位置图像，得到所述双目立体视觉图像；采用立体视觉视差匹配的方法对所述双目立体视觉图像进行三维重建，得到所述第二三维模型；
对所述第一三维模型和第二三维模型进行特征点融合，得到融合后的当前位置的第三三维模型；
基于所述第三三维模型，预测得到前端探头的下一步导航方向；
所述预测得到前端探头的下一步导航方向，包括：
根据摄像头获取的图像，通过预先训练的图像识别模型判断前端探头所在的当前位置是否为关键位置；通过惯性导航系统对插管探头坐标系与地球坐标系进行坐标变换，得到地球坐标系下三维模型的姿态，并根据三维模型的所述姿态预测前进方向的坐标；
若非关键位置，则获取当前位置的第三三维模型的三维信息，并搜索深度最深的方向坐标，根据所述深度最深的方向坐标得到下一步导航方向；
若为关键位置，则获取所述图像识别模型的指导导航方向坐标和三维信息中深度最深方向的坐标；若坐标夹角大于预先设置的阈值，则判断为转角，以所述深度最深的方向为下一步导航方向；若坐标夹角小于阈值，则以两个坐标中间的方向为下一步导航方向；
还包括，利用光源投射可见光，通过摄像头采集气管内当前位置的可见光图像；利用所述可见光图像对第三三维模型进行三维建模贴图操作，得到气管中当前位置的三维彩色图像；基于当前位置的所述三维彩色图像，辅助判断下一步导航方向。
2.根据权利要求1所述的用于气管插管自动导航的计算机设备，其特征在于，所述对所述第一三维模型和第二三维模型进行特征点融合包括：
对第一三维模型和第二三维模型进行坐标系归一化；
基于第一三维模型和第二三维模型对应特征点的深度差异和角度差异得到每个特征点的空间位置差异，对每个特征点的空间位置差异进行求和，得到全局特征点空间位置差异，最小化全局特征点空间位置差异，构建得到三维融合重建结果；
对所述三维融合重建结果进行平滑滤波处理，得到所述第三三维模型。
3.根据权利要求2所述的用于气管插管自动导航的计算机设备，其特征在于，通过下式最小化第一三维模型和第二三维模型全局特征点的空间位置差异，构建得到三维融合重建的结果：
其中，ε(Γ)为全局特征点的空间位置差异；为第二三维模型中特征点(i,j,k)表面的垂直单位向量；为第一三维模型中与特征点(i,j,k)匹配的特征点(i′,j′,k′)表面的垂直单位向量；为第二三维模型中特征点(i,j,k)对应的向量；为第一三维模型中特征点(i′,j′,k′)对应的向量；表示表面的垂直单位向量夹角差异；表示特征点对应向量夹角差异；表示特征点对应向量距离原点距离差异。
4.根据权利要求1所述的用于气管插管自动导航的计算机设备，其特征在于，所述预先训练的图像识别模型为通过海量样本图片对神经网络模型进行预先训练得到的辅助诊断模型，所述样本图片为带有标注标签的气管内各位置图像，包括二维图像和三维立体图像；所述标注标签为标注关键特征位置和关键位置指导导航方向的标签。
CN202210899599.1A 2022-07-28 2022-07-28 一种自动气管插管导航方法及计算机设备 Active CN115317747B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210899599.1A CN115317747B (zh) 2022-07-28 2022-07-28 一种自动气管插管导航方法及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210899599.1A CN115317747B (zh) 2022-07-28 2022-07-28 一种自动气管插管导航方法及计算机设备

Publications (2)

Publication Number Publication Date
CN115317747A CN115317747A (zh) 2022-11-11
CN115317747B true CN115317747B (zh) 2023-04-07

Family

ID=83919455

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210899599.1A Active CN115317747B (zh) 2022-07-28 2022-07-28 一种自动气管插管导航方法及计算机设备

Country Status (1)

Country Link
CN (1) CN115317747B (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101853521B (zh) * 2010-04-22 2012-07-04 王少华 文物旋转结构光三维数字化建模方法
CN109813251B (zh) * 2017-11-21 2021-10-01 蒋晶 用于三维测量的方法、装置以及系统
US20190290872A1 (en) * 2018-03-01 2019-09-26 University Of Utah Research Foundation Tracheal intubation procedure monitoring
CN110720986A (zh) * 2019-11-21 2020-01-24 复旦大学附属眼耳鼻喉科医院 一种多模态显微外科手术导航系统
CN113229937A (zh) * 2021-06-04 2021-08-10 李珍珠 一种利用实时结构光技术实现手术导航的方法和系统
CN113456225B (zh) * 2021-07-22 2022-03-29 皖南医学院第一附属医院（皖南医学院弋矶山医院） 一种气道管理导航方法及系统

Also Published As

Publication number Publication date
CN115317747A (zh) 2022-11-11

Similar Documents

Publication Publication Date Title
US11931141B2 (en) Hybrid registration method
Mori et al. Tracking of a bronchoscope using epipolar geometry analysis and intensity-based image registration of real and virtual endoscopic images
US11576578B2 (en) Systems and methods for scanning a patient in an imaging system
CN105517482B (zh) 图像处理装置、图像处理方法和程序
Mori et al. Hybrid bronchoscope tracking using a magnetic tracking sensor and image registration
JP2020524579A5 (zh)
CN110264504B (zh) 一种用于增强现实的三维配准方法和系统
CN111627521A (zh) 增强现实在放疗中的应用
US10078906B2 (en) Device and method for image registration, and non-transitory recording medium
CN110051434A (zh) Ar与内窥镜结合手术导航方法及终端
CN115252992B (zh) 基于结构光立体视觉的气管插管导航系统
CN113274129A (zh) 一种基于虚拟现实的心胸外科手术辅助控制系统
WO2014050019A1 (ja) 仮想内視鏡画像生成装置および方法並びにプログラム
CN113052956A (zh) 基于胶囊内窥镜构建阅片模型的方法、设备及介质
KR102233585B1 (ko) 복수의 후보 대응점을 이용하는 영상 정합 장치 및 방법
CN115530724A (zh) 内窥镜导航定位方法及装置
CN116966381A (zh) 基于自监督单目深度估计的气管插管机器人自主导航方法
JP2022128414A (ja) 深層学習に基づく気管挿管位置決め方法、装置及び記憶媒体
CN111658142A (zh) 一种基于mr的病灶全息导航方法及系统
CN115317747B (zh) 一种自动气管插管导航方法及计算机设备
CN111833379B (zh) 用单目摄像头追踪移动物体中目标位置的方法
CN115619790B (zh) 一种基于双目定位的混合透视方法、系统及设备
CN116650111A (zh) 一种支气管异物清除手术的模拟和导航方法及系统
CN114463557B (zh) 轮廓标记方法、装置、设备、存储介质及系统
WO2009003664A1 (en) A system for simulating a manual interventional operation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant