CN114699169A - 一种多模态导航插管系统 - Google Patents
一种多模态导航插管系统 Download PDFInfo
- Publication number
- CN114699169A CN114699169A CN202210364115.3A CN202210364115A CN114699169A CN 114699169 A CN114699169 A CN 114699169A CN 202210364115 A CN202210364115 A CN 202210364115A CN 114699169 A CN114699169 A CN 114699169A
- Authority
- CN
- China
- Prior art keywords
- endoscope
- information
- navigation
- trolley
- control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000002627 tracheal intubation Methods 0.000 title claims abstract description 66
- 238000004891 communication Methods 0.000 claims abstract description 35
- 230000033001 locomotion Effects 0.000 claims description 39
- 238000001514 detection method Methods 0.000 claims description 19
- 230000009466 transformation Effects 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 9
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000001228 spectrum Methods 0.000 claims description 6
- 239000007788 liquid Substances 0.000 claims description 5
- 230000009471 action Effects 0.000 claims description 3
- 230000001681 protective effect Effects 0.000 claims description 3
- 238000000034 method Methods 0.000 description 13
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 12
- 210000003437 trachea Anatomy 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 7
- 229910002092 carbon dioxide Inorganic materials 0.000 description 6
- 239000001569 carbon dioxide Substances 0.000 description 6
- 238000001839 endoscopy Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 210000000214 mouth Anatomy 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 4
- 238000011282 treatment Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000001079 digestive effect Effects 0.000 description 3
- 230000000241 respiratory effect Effects 0.000 description 3
- 230000029058 respiratory gaseous exchange Effects 0.000 description 3
- 210000003484 anatomy Anatomy 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 206010002091 Anaesthesia Diseases 0.000 description 1
- 206010010356 Congenital anomaly Diseases 0.000 description 1
- 206010058314 Dysplasia Diseases 0.000 description 1
- 238000001949 anaesthesia Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 210000004704 glottis Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011369 optimal treatment Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B34/37—Master-slave robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
- A61B34/74—Manipulators with manual electric input means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M16/00—Devices for influencing the respiratory system of patients by gas treatment, e.g. mouth-to-mouth respiration; Tracheal tubes
- A61M16/04—Tracheal tubes
- A61M16/0465—Tracheostomy tubes; Devices for performing a tracheostomy; Accessories therefor, e.g. masks, filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2072—Reference field transducer attached to an instrument or patient
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B2034/303—Surgical robots specifically adapted for manipulations within body lumens, e.g. within lumen of gut, spine, or blood vessels
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
- A61B34/74—Manipulators with manual electric input means
- A61B2034/742—Joysticks
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Robotics (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Pulmonology (AREA)
- Emergency Medicine (AREA)
- Anesthesiology (AREA)
- Hematology (AREA)
- Endoscopes (AREA)
Abstract
本发明公开了一种多模态导航插管系统。所述多模态导航插管系统，包括控制台车、手术台车；控制台车和手术台车通信连接；手术台车上的内镜模组的末端设置有多模态信息采集装置；控制台车，用于获取用户输入的导航插管请求，将导航插管请求发送至手术台车；手术台车，用于响应导航插管请求，实时将多模态信息采集装置采集的多模态信息发送至控制台车；控制台车，还用于根据多模态信息生成辅助导航信息，并获取用户根据辅助导航信息所输入的内镜控制指令，将内镜控制指令发送至手术台车；手术台车，还用于根据内镜控制指令移动内镜模组，使内镜模组的末端到达目标位置。本发明能够辅助医护人员进行复杂气道的插管手术。
Description
技术领域
本发明涉及医疗器械技术领域，尤其涉及一种多模态导航插管系统。
背景技术
插管术、特别是气管插管术通常是在医院手术室内由医护专家在手术前、麻醉后实施的一种操作，用于建立人工气道，在患者没有自主呼吸后利用呼吸机协助患者呼吸。
目前已有各种插管系统用于辅助将气管导管放置到气管中，但面对先天发育异常，生理性或病理性原因导致的气道结构性改变的复杂气道的插管手术，由于现有的插管系统大都是针对简单气道结构来引导插管，不能适用于复杂气道，无法很好地辅助医护人员进行复杂气道的插管手术，导致患者多向少数几个大型医院汇集，不仅难以保证转移过程中患者的病情稳定，容易延误患者的最佳治疗时间，也难以培养普通医院医生的临床插管经验，容易出现医疗资源紧张情况，成为当前医疗行业的一大痛点。
发明内容
为了克服现有技术的缺陷，本发明提供一种多模态导航插管系统，能够辅助引导医护人员进行复杂气道的插管手术。
为了解决上述技术问题，本发明的实施例提供一种多模态导航插管系统，包括控制台车、手术台车；所述控制台车和所述手术台车通信连接；所述手术台车上的内镜模组的末端设置有多模态信息采集装置；
所述控制台车，用于获取用户输入的导航插管请求，将所述导航插管请求发送至所述手术台车；
所述手术台车，用于响应所述导航插管请求，实时将所述多模态信息采集装置采集的多模态信息发送至所述控制台车；
所述控制台车，还用于根据所述多模态信息生成辅助导航信息，并获取用户根据所述辅助导航信息所输入的内镜控制指令，将所述内镜控制指令发送至所述手术台车；
所述手术台车，还用于根据所述内镜控制指令移动所述内镜模组，使所述内镜模组的末端到达目标位置。
进一步地，所述多模态信息采集装置包括图像采集装置、气体检测装置、声音检测装置、液体流速检测装置中的至少一种。
进一步地，所述控制台车包括第一台车基座，以及固定在所述第一台车基座上的第一工作台和第一保护箱；所述第一工作台上设置有用户输入装置、显示装置、内镜主控制装置，所述第一保护箱内设置有工控机；所述用户输入装置、所述显示装置、所述内镜主控制装置均与所述工控机连接；
所述用户输入装置，用于获取用户输入的所述导航插管请求；
所述工控机，用于通过所述工控机内部的第一通信模块，将所述导航插管请求发送至所述手术台车，并接收所述手术台车发送的所述多模态信息；
所述工控机，还用于对所述多模态信息进行处理，得到目标信息，根据所述目标信息生成所述辅助导航信息；
所述显示装置，用于显示所述多模态信息、所述目标信息、所述辅助导航信息；
所述内镜主控制装置，用于获取用户输入的所述内镜控制指令，将所述内镜控制指令发送至所述工控机；
所述工控机，用于通过所述第一通信模块将所述内镜控制指令发送至所述手术台车。
进一步地，所述对所述多模态信息进行处理，得到目标信息，包括：
对所述多模态信息中的视频帧信息进行仿射变换、特征提取、三维重建，得到目标视频帧信息；和/或，
对所述多模态信息中的气体反射光信息进行功率谱变换、相位测距、差分反演，得到目标气体浓度信息。
进一步地，所述用户输入装置包括键盘和鼠标；所述显示装置包括至少一个显示屏；所述内镜主控制装置为控制手柄；所述第一通信模块为蓝牙通信模块或无线通信模块。
进一步地，所述第一台车基座的底部设置有万向轮。
进一步地，所述手术台车包括第二台车基座，以及固定在所述第二台车基座上的第二工作台和第二保护箱；所述第二工作台上设置有位置调整装置、内镜从控制装置、内镜递送装置，所述第二保护箱内设置有电控箱；所述内镜从控制装置分别与所述内镜递送装置和所述电控箱连接；
所述位置调整装置，用于调整所述内镜递送装置的位置；
所述电控箱，用于通过所述电控箱内部的第二通信模块，接收所述控制台车发送的所述导航插管请求，并接收所述多模态信息采集装置采集的原始多模态信息；
所述电控箱，还用于对所述原始多模态信息进行预处理，得到所述多模态信息，并通过所述第二通信模块将所述多模态信息发送至所述控制台车，接收所述控制台车发送的所述内镜控制指令；
所述内镜从控制装置，用于根据所述内镜控制指令生成所述内镜模组的期望运动路径和实际运动路径，并将所述实际运动路径发送至所述内镜递送装置；
所述内镜递送装置，用于根据所述实际运动路径，执行所述内镜模组的末端的推送、旋转或旋扭动作；
所述电控箱，用于对比所述期望运动路径和所述实际运动路径，得到运动偏差路径，将所述运动偏差路径发送至所述控制台车。
进一步地，所述对所述原始多模态信息进行预处理，得到所述多模态信息，包括：
对所述原始多模态信息中的原始视频信息进行关键帧提取，得到原始视频帧信息，并对所述原始视频帧信息进行图像裁剪、直方图均衡，得到视频帧信息。
进一步地，所述位置调整装置为六自由度机械臂；所述六自由度机械臂的固定端固定在所述第二工作台上，所述六自由度机械臂的运动端连接有所述内镜递送装置。
进一步地，所述第二台车基座的底部设置有万向轮。
相比于现有技术，本发明的实施例，具有如下有益效果：
通过设计多模态导航插管系统，利用控制台车，获取用户输入的导航插管请求，将导航插管请求发送至手术台车，利用手术台车，响应导航插管请求，实时将多模态信息采集装置采集的多模态信息发送至控制台车，利用控制台车，根据多模态信息生成辅助导航信息，并获取用户根据辅助导航信息所输入的内镜控制指令，将内镜控制指令发送至手术台车，利用手术台车，根据内镜控制指令移动内镜模组，使内镜模组的末端到达目标位置，完成导航插管，从而能够辅助引导医护人员进行复杂气道的插管手术。
附图说明
图1为本发明实施例中的多模态导航插管系统的结构示意图；
图2为本发明实施例中示例的控制台车的结构示意图；
图3为本发明实施例中示例的手术台车的结构示意图；
图4为本发明实施例中示例的内镜模组的结构示意图；
其中，说明书附图中的附图标记如下：
1000：控制台车；1100：第一台车基座；1200：第一工作台；1300：第一保护箱；1400：用户输入装置；1500：显示装置；1600：内镜主控制装置；1700：工控机；2000：手术台车；2100：第二台车基座；2200：第二工作台；2300：第二保护箱；2400：位置调整装置；2500：内镜从控制装置；2600：内镜递送装置；2700：电控箱；2800：内镜模组；3000：手术台；4000：呼吸机。
具体实施方式
下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，第一实施例提供一种多模态导航插管系统，包括控制台车1000、手术台车2000；控制台车1000和手术台车2000通信连接；手术台车2000上的内镜模组2800的末端设置有多模态信息采集装置；
控制台车1000，用于获取用户输入的导航插管请求，将导航插管请求发送至手术台车2000；
手术台车2000，用于响应导航插管请求，实时将多模态信息采集装置采集的多模态信息发送至控制台车1000；
控制台车1000，还用于根据多模态信息生成辅助导航信息，并获取用户根据辅助导航信息所输入的内镜控制指令，将内镜控制指令发送至手术台车2000；
手术台车2000，还用于根据内镜控制指令移动内镜模组2800，使内镜模组2800的末端到达目标位置。
在本实施例的一优选实施方式中，多模态信息采集装置包括图像采集装置、气体检测装置、声音检测装置、液体流速检测装置中的至少一种。
可以理解的是，图像采集装置包括深度相机，气体检测装置包括二氧化碳检测模块。
作为示例性地，在应用多模态导航插管系统进行气管插管手术前，由医护人员将控制台车1000与手术台车2000分开放置，使控制台车1000与手术台车2000通信连接，将手术台车2000靠近手术台3000放置，将手术台3000靠近呼吸机4000放置，并调整手术台车2000上的内镜模组2800位置。
在进行气管插管手术的过程中，医护人员可通过控制台车1000遥操作手术台车2000，即向手术台车2000发送导航插管请求，实时获取手术台车2000上的多模态信息采集装置采集的多模态信息，根据多模态信息从多方面判断患者的气道结构，进而根据判断结果向手术台车2000发送内镜控制指令，控制手术台车2000根据内镜控制指令移动内镜模组2800，使内镜模组2800的末端到达目标位置，通过不断获取多模态信息，不断根据最新的多模态信息控制移动内镜模组2800，直至将内镜模组2800末端连接的气管插管插入患者的气管中，完成导航插管。随后抽出内镜模组2800，并将气管插管接入呼吸机4000，完成气管插管。
其中，当选用图像采集装置、气体检测装置、声音检测装置、液体流速检测装置作为多模态信息采集装置时，多模态信息采集装置可实时采集视频、图像、气体浓度、声音强度、液体流速等形式的多模态信息。
通过图像采集装置采集视频、图像等视觉信息，能够帮助医护人员直观确定患者的气道结构。若根据视觉信息仍无法确定患者的气道结构，则可通过气体检测装置，比如二氧化碳检测模块采集患者气道内二氧化碳等气体浓度，当检测到的二氧化碳分压浓度信息的波形连续稳定时，说明该方向极有可能为气道的声门方向，能够帮助医护人员判断气道的声门方向，也可通过声音检测装置采集声音信息，由于内镜模组2800的末端对准声门方向时，气体在流经内镜模组2800末端的狭小气体通道时会发出较大的尖啸声，能够帮助医护人员判断气道的声门方向。
本实施例通过设计多模态导航插管系统，即设计控制台车1000和手术台车2000，使控制台车1000与手术台车2000通信连接，利用控制台车1000，获取用户输入的导航插管请求，将导航插管请求发送至手术台车2000，利用手术台车2000，响应导航插管请求，实时将多模态信息采集装置采集的多模态信息发送至控制台车1000，利用控制台车1000，根据多模态信息生成辅助导航信息，并获取用户根据辅助导航信息所输入的内镜控制指令，将内镜控制指令发送至手术台车2000，利用手术台车2000，根据内镜控制指令移动内镜模组2800，使内镜模组2800的末端到达目标位置，完成导航插管，从而能够辅助引导医护人员进行复杂气道的插管手术。
如图2所示，在优选的实施例当中，控制台车1000包括第一台车基座1100，以及固定在第一台车基座1100上的第一工作台1200和第一保护箱1300；第一工作台1200上设置有用户输入装置1400、显示装置1500、内镜主控制装置1600，第一保护箱1300内设置有工控机1700；用户输入装置1400、显示装置1500、内镜主控制装置1600均与工控机1700连接；
用户输入装置1400，用于获取用户输入的导航插管请求；
工控机1700，用于通过工控机1700内部的第一通信模块，将导航插管请求发送至手术台车2000，并接收手术台车2000发送的多模态信息；
工控机1700，还用于对多模态信息进行处理，得到目标信息，根据目标信息生成辅助导航信息；
显示装置1500，用于显示多模态信息、目标信息、辅助导航信息；
内镜主控制装置1600，用于获取用户输入的内镜控制指令，将内镜控制指令发送至工控机1700；
工控机1700，用于通过第一通信模块将内镜控制指令发送至手术台车2000。
在本实施例的一优选实施方式中，所述对多模态信息进行处理，得到目标信息，包括：对多模态信息中的视频帧信息进行仿射变换、特征提取、三维重建，得到目标视频帧信息；和/或，对多模态信息中的气体反射光信息进行功率谱变换、相位测距、差分反演，得到目标气体浓度信息。
可以理解的是，多角度的仿射变换能够模拟出解剖结构的局部形变，使其在非刚体条件下也能有较高的检测及配准准确率，提高了特征检测及配准的鲁棒性。其中，三维重建包括稀疏重建和稠密重建。
作为示例性地，通过工控机1700将一段时间内所搜集到的经过仿射变换、特征提取处理后的视频帧信息/图像信息进行图像拼接，并根据所得到的拼接图像进行三维重建，辅助医护人员判断气道内部的环境。
通过工控机1700对气体反射光信息进行功率谱变换、相位测距、差分反演，得到目标气体浓度信息，目标反射的反射光，被光电探测器探测，双通道采集卡采集回波信号和监视端信号，将采集所得到的数据传递到工控机1700中进行快速傅里叶变换，通过调制信号的功率谱得到幅频信息和相频信息，通过相位测距原理和差分激光雷达方程反演出光路路径上的二氧化碳平均浓度，辅助医护人员判断气道的声门方向。
本实施例通过工控机1700对获取的视频帧信息/图像信息进行仿射变换、特征提取、三维重建等处理，能够全面准确地重建气道结构，通过工控机1700对获取的气体反射光信息进行功率谱变换、相位测距、差分反演等处理，能够辅助判断气道的声门方向，有利于提供更直观的气道结构信息，提高导航插管效率。
在本实施例的一优选实施方式中，用户输入装置1400包括键盘和鼠标；显示装置1500包括至少一个显示屏；内镜主控制装置1600为控制手柄；第一通信模块为蓝牙通信模块或无线通信模块。
其中，控制手柄可采用三自由度控制手柄，三自由度控制手柄上设置有一个操作按钮。
本实施例通过采用三自由度控制手柄，方便医护人员通过控制三自由度控制手柄前后左右方向的移动来控制内镜模组2800上下左右两个自由度的弯曲，通过触发三自由度手柄上的操作按钮来控制内镜模组2800的移动，方便医护人员灵活控制内镜模组2800的弯曲和移动。
在本实施例的一优选实施方式中，第一台车基座1100的底部设置有万向轮。
本实施例通过在第一台车的底部设置万向轮，方便用户多向移动控制台车1000。
如图3所示，在优选的实施例当中，手术台车2000包括第二台车基座2100，以及固定在第二台车基座2100上的第二工作台2200和第二保护箱2300；第二工作台2200上设置有位置调整装置2400、内镜从控制装置2500、内镜递送装置2600，第二保护箱2300内设置有电控箱2700；内镜从控制装置2500分别与内镜递送装置2600和电控箱2700连接；
位置调整装置2400，用于调整内镜递送装置2600的位置；
电控箱2700，用于通过电控箱2700内部的第二通信模块，接收控制台车1000发送的导航插管请求，并接收多模态信息采集装置采集的原始多模态信息；
电控箱2700，还用于对原始多模态信息进行预处理，得到多模态信息，并通过第二通信模块将多模态信息发送至控制台车1000，接收控制台车1000发送的内镜控制指令；
内镜从控制装置2500，用于根据内镜控制指令生成内镜模组2800的期望运动路径和实际运动路径，并将实际运动路径发送至内镜递送装置2600；
内镜递送装置2600，用于根据实际运动路径，执行内镜模组2800的末端的推送、旋转或旋扭动作；
电控箱2700，用于对比期望运动路径和实际运动路径，得到运动偏差路径，将运动偏差路径发送至控制台车1000。
其中，第二通信模块为蓝牙通信模块或无线通信模块。
本实施例通过电控箱2700对比内镜从控制装置2500生成的期望运动路径和实际运动路径，得到运动偏差路径，将运动偏差路径发送至控制台车1000，方便医护人员根据运动偏差路径及时做出反馈控制，有利于提高导航插管效率。
在本实施例的一优选实施方式中，所述对原始多模态信息进行预处理，得到多模态信息，包括：对原始多模态信息中的原始视频信息进行关键帧提取，得到原始视频帧信息，并对原始视频帧信息进行图像裁剪、直方图均衡，得到视频帧信息。
其中，可采用目标检测技术，构建目标检测模型对原始视频信息进行关键帧提取，得到视频帧信息。
本实施例通过电控箱2700对多模态信息采集装置采集的原始视频信息进行关键帧提取、图像裁剪、直方图均衡等预处理，不仅能够降低手术台车2000的信息传输压力，还能够降低控制台车1000的信息处理压力，有利于提高导航插管效率。
在本实施例的一优选实施方式中，位置调整装置2400为六自由度机械臂；六自由度机械臂的固定端固定在第二工作台2200上，六自由度机械臂的运动端连接有内镜递送装置2600。
本实施例通过选用六自由度机械臂作为位置调整装置2400，方便医护人员顺畅地拖拽至其指定位置，有利于精细化地调整内镜递送装置2600的位置。
在本实施例的一优选实施方式中，内镜从控制装置2500包括第三通信模块、内镜从控制模块；
第三通信模块，用于接收电控箱2700转发的内镜控制指令；
内镜从控制模块，用于根据内镜控制指令生成内镜模组2800的期望运动路径和实际运动路径；
第三通信模块，还用于将实际运动路径通发送至内镜递送装置2600，将期望运动路径和实际运动路径发送至电控箱2700。
其中，第三通信模块为蓝牙通信模块或无线通信模块。内镜模组2800的期望运动路径和实际运动路径可表示为电机运动矩阵。
在本实施例的一优选实施方式中，内镜递送装置2600包括舵机、步进电机和伺服电机。
本实施例通过在内镜递送装置2600内设置舵机、步进电机和伺服电机，实现控制内镜模组2800的推进、旋转、弯曲等动作。
在本实施例的一优选实施方式中，第二台车基座2100的底部设置有万向轮。
本实施例通过在第一台车的底部设置万向轮，方便用户多向移动控制台车1000。
在优选的实施例当中，内镜模组2800的末端还设置有照明装置；其中，照明装置包括LED灯。
为了更清楚地说明本实施例提供的多模态导航插管系统，应用多模态导航插管系统的工作流程具体如下：
在自动插管流程的实际操作过程中，医疗人员首先需要将口部固定器放置在患者的口腔内，并将气管插管的两端固定分别固定在内镜递送装置2600的末端和口部固定器上，随后医护人员便可操作控制台车1000开始气管插管手术。
通过控制三自由度控制手柄的前后左右方向的移动，可以操作内镜模组2800的末端进行上下左右两个自由度的弯曲，触发三自由度控制手柄的操作按钮可以控制内镜递送装置2600进行内镜模组2800的推进。根据深度相机的视觉信息与力传感器的力学信息，医护人员能较为容易的完成一般情况下的气管插管手术。
当遇到复杂气道时，多模态导航插管系统能首先通过内镜模组2800的末端的深度相机提供视觉信息和深度信息进行视觉辅助，随后工控机1700能通过目标识别，对口腔内部环境进行分析。若常规视觉辅助无法完成有效的判断，工控机1700将会将一段时间内所搜集到的图像信息进行图像拼接，并根据所得到的拼接图像进行三维重建，辅助医护人员进行口腔内部环境判断。若仍无法判断，系统将二氧化碳辅助定位等方法辅助医生进行操作，通过呼吸末二氧化碳浓度检测，判断气道方向，引导气管插管插入流程。
待内镜模组2800的末端进入气道后，目标检测系统能识别气道内特征，判断引导流程是否成功完成。判定插管成功通过声门到达指定位置后，取下固定在内镜递送装置2600末端的气管插管，沿内镜模组2800引导，插入气管。随后抽出内镜模组2800，并给导管连接呼吸机4000，完成插管操作。
参照应用多模态导航插管系统的气管插管操作，还可以应用多模态导航插管系统于消化内镜(胃镜、肠镜)诊疗、呼吸内镜诊疗，在多模态导航插管系统的辅助下引导消化内镜、呼吸内镜进镜到目标位置，从而方便医护人员进行消化内镜诊疗、呼吸内镜诊疗。
可以理解的是，在设计多模态导航插管系统时也可将控制台车1000和手术台车2000合并设计在同一台车。
综上所述，实施本发明的实施例，具有如下有益效果：
通过设计多模态导航插管系统，利用控制台车1000，获取用户输入的导航插管请求，将导航插管请求发送至手术台车2000，利用手术台车2000，响应导航插管请求，实时将多模态信息采集装置采集的多模态信息发送至控制台车1000，利用控制台车1000，根据多模态信息生成辅助导航信息，并获取用户根据辅助导航信息所输入的内镜控制指令，将内镜控制指令发送至手术台车2000，利用手术台车2000，根据内镜控制指令移动内镜模组2800，使内镜模组2800的末端到达目标位置，完成导航插管，从而能够辅助引导医护人员进行复杂气道的插管手术。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
本领域普通技术人员可以理解实现上述实施例中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。
Claims (10)
1.一种多模态导航插管系统，其特征在于，包括控制台车、手术台车；所述控制台车和所述手术台车通信连接；所述手术台车上的内镜模组的末端设置有多模态信息采集装置；
所述控制台车，用于获取用户输入的导航插管请求，将所述导航插管请求发送至所述手术台车；
所述手术台车，用于响应所述导航插管请求，实时将所述多模态信息采集装置采集的多模态信息发送至所述控制台车；
所述控制台车，还用于根据所述多模态信息生成辅助导航信息，并获取用户根据所述辅助导航信息所输入的内镜控制指令，将所述内镜控制指令发送至所述手术台车；
所述手术台车，还用于根据所述内镜控制指令移动所述内镜模组，使所述内镜模组的末端到达目标位置。
2.如权利要求1所述的多模态导航插管系统，其特征在于，所述多模态信息采集装置包括图像采集装置、气体检测装置、声音检测装置、液体流速检测装置中的至少一种。
3.如权利要求1所述的多模态导航插管系统，其特征在于，所述控制台车包括第一台车基座，以及固定在所述第一台车基座上的第一工作台和第一保护箱；所述第一工作台上设置有用户输入装置、显示装置、内镜主控制装置，所述第一保护箱内设置有工控机；所述用户输入装置、所述显示装置、所述内镜主控制装置均与所述工控机连接；
所述用户输入装置，用于获取用户输入的所述导航插管请求；
所述工控机，用于通过所述工控机内部的第一通信模块，将所述导航插管请求发送至所述手术台车，并接收所述手术台车发送的所述多模态信息；
所述工控机，还用于对所述多模态信息进行处理，得到目标信息，根据所述目标信息生成所述辅助导航信息；
所述显示装置，用于显示所述多模态信息、所述目标信息、所述辅助导航信息；
所述内镜主控制装置，用于获取用户输入的所述内镜控制指令，将所述内镜控制指令发送至所述工控机；
所述工控机，用于通过所述第一通信模块将所述内镜控制指令发送至所述手术台车。
4.如权利要求3所述的多模态导航插管系统，其特征在于，所述对所述多模态信息进行处理，得到目标信息，包括：
对所述多模态信息中的视频帧信息进行仿射变换、特征提取、三维重建，得到目标视频帧信息；和/或，
对所述多模态信息中的气体反射光信息进行功率谱变换、相位测距、差分反演，得到目标气体浓度信息。
5.如权利要求3所述的多模态导航插管系统，其特征在于，所述用户输入装置包括键盘和鼠标；所述显示装置包括至少一个显示屏；所述内镜主控制装置为控制手柄；所述第一通信模块为蓝牙通信模块或无线通信模块。
6.如权利要求3所述的多模态导航插管系统，其特征在于，所述第一台车基座的底部设置有万向轮。
7.如权利要求1所述的多模态导航插管系统，其特征在于，所述手术台车包括第二台车基座，以及固定在所述第二台车基座上的第二工作台和第二保护箱；所述第二工作台上设置有位置调整装置、内镜从控制装置、内镜递送装置，所述第二保护箱内设置有电控箱；所述内镜从控制装置分别与所述内镜递送装置和所述电控箱连接；
所述位置调整装置，用于调整所述内镜递送装置的位置；
所述电控箱，用于通过所述电控箱内部的第二通信模块，接收所述控制台车发送的所述导航插管请求，并接收所述多模态信息采集装置采集的原始多模态信息；
所述电控箱，还用于对所述原始多模态信息进行预处理，得到所述多模态信息，并通过所述第二通信模块将所述多模态信息发送至所述控制台车，接收所述控制台车发送的所述内镜控制指令；
所述内镜从控制装置，用于根据所述内镜控制指令生成所述内镜模组的期望运动路径和实际运动路径，并将所述实际运动路径发送至所述内镜递送装置；
所述内镜递送装置，用于根据所述实际运动路径，执行所述内镜模组的末端的推送、旋转或旋扭动作；
所述电控箱，用于对比所述期望运动路径和所述实际运动路径，得到运动偏差路径，将所述运动偏差路径发送至所述控制台车。
8.如权利要求7所述的多模态导航插管系统，其特征在于，所述对所述原始多模态信息进行预处理，得到所述多模态信息，包括：
对所述原始多模态信息中的原始视频信息进行关键帧提取，得到原始视频帧信息，并对所述原始视频帧信息进行图像裁剪、直方图均衡，得到视频帧信息。
9.如权利要求7所述的多模态导航插管系统，其特征在于，所述位置调整装置为六自由度机械臂；所述六自由度机械臂的固定端固定在所述第二工作台上，所述六自由度机械臂的运动端连接有所述内镜递送装置。
10.如权利要求7所述的多模态导航插管系统，其特征在于，所述第二台车基座的底部设置有万向轮。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210364115.3A CN114699169A (zh) | 2022-03-31 | 2022-03-31 | 一种多模态导航插管系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210364115.3A CN114699169A (zh) | 2022-03-31 | 2022-03-31 | 一种多模态导航插管系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114699169A true CN114699169A (zh) | 2022-07-05 |
Family
ID=82172728
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210364115.3A Pending CN114699169A (zh) | 2022-03-31 | 2022-03-31 | 一种多模态导航插管系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114699169A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1836624A (zh) * | 2006-03-07 | 2006-09-27 | 上海大学 | 智能内窥镜视觉导航系统及方法 |
| US20150230689A1 (en) * | 2014-02-20 | 2015-08-20 | Lutz Blohm | Method for Assisting Navigation of an Endoscopic Device |
| WO2021208869A1 (zh) * | 2020-04-13 | 2021-10-21 | 上海微创医疗机器人（集团）股份有限公司 | 手术机器人系统 |
| CN114224498A (zh) * | 2021-12-13 | 2022-03-25 | 复旦大学 | 一种用于复杂气道多模态气管插管机器人的主从控制系统 |
-
2022
- 2022-03-31 CN CN202210364115.3A patent/CN114699169A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1836624A (zh) * | 2006-03-07 | 2006-09-27 | 上海大学 | 智能内窥镜视觉导航系统及方法 |
| US20150230689A1 (en) * | 2014-02-20 | 2015-08-20 | Lutz Blohm | Method for Assisting Navigation of an Endoscopic Device |
| WO2021208869A1 (zh) * | 2020-04-13 | 2021-10-21 | 上海微创医疗机器人（集团）股份有限公司 | 手术机器人系统 |
| CN114224498A (zh) * | 2021-12-13 | 2022-03-25 | 复旦大学 | 一种用于复杂气道多模态气管插管机器人的主从控制系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102695556B1 (ko) | 생검 장치 및 시스템 | |
| JP7282685B2 (ja) | 生理学的ノイズを補償する管腔ネットワークのナビゲーション用ロボットシステム | |
| KR102567087B1 (ko) | 생리학적 잡음을 검출하는 내강 네트워크의 내비게이션을 위한 로봇 시스템 및 방법 | |
| US20230072879A1 (en) | Systems and methods for hybrid imaging and navigation | |
| US20120130171A1 (en) | Endoscope guidance based on image matching | |
| JP2023545637A (ja) | ロボット人工知能による経鼻／経口／経直腸の腸内チューブ | |
| US12112484B2 (en) | Method for generating learning model and program | |
| US12090273B1 (en) | System and method for automated intubation | |
| US20240293195A1 (en) | Systems and methods for self-alignment and adjustment of robotic endoscope | |
| CN114980793A (zh) | 内窥镜检查辅助装置、内窥镜检查辅助装置的工作方法以及程序 | |
| KR20200131039A (ko) | 지방흡입의 시술상황 실시간 체크장치 | |
| CN114699169A (zh) | 一种多模态导航插管系统 | |
| Tan et al. | Model-free and Uncalibrated Visual-feedback Control of Magnetically-Actuated Flexible Endoscopes | |
| US11571268B1 (en) | Medical continuum robot extraction and methods thereof | |
| US20230414089A1 (en) | Devices and expert systems for intubation and bronchoscopy | |
| Fang et al. | Image-guided steering of a motorized hand-held flexible rhino endoscope in ENT diagnoses | |
| AU2022444963A1 (en) | Imaging system for automated intubation | |
| AU2022444675A1 (en) | System and method of automated movement control for intubation system | |
| CN117958968A (zh) | 一种呼吸介入机器人的多源感知和运动控制方法 | |
| CN118369037A (zh) | 用于视频喉镜的图像引导的导航系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220705 |
|
| RJ01 | Rejection of invention patent application after publication |