CN117481585A - 一种外科用可视化智能化肠镜及信息处理方法 - Google Patents

一种外科用可视化智能化肠镜及信息处理方法 Download PDF

Info

Publication number
CN117481585A
CN117481585A CN202311304102.8A CN202311304102A CN117481585A CN 117481585 A CN117481585 A CN 117481585A CN 202311304102 A CN202311304102 A CN 202311304102A CN 117481585 A CN117481585 A CN 117481585A
Authority
CN
China
Prior art keywords
data
module
image
visual
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311304102.8A
Other languages
English (en)
Inventor
高旭灿
刘礼雄
曾荣
谢勉
王忠富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Peoples Hospital
Original Assignee
Shenzhen Peoples Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Peoples Hospital filed Critical Shenzhen Peoples Hospital
Priority to CN202311304102.8A priority Critical patent/CN117481585A/zh
Publication of CN117481585A publication Critical patent/CN117481585A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/31—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the rectum, e.g. proctoscopes, sigmoidoscopes, colonoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00011—Operational features of endoscopes characterised by signal transmission
    • A61B1/00016—Operational features of endoscopes characterised by signal transmission using wireless means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/0002—Operational features of endoscopes provided with data storages
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00071—Insertion part of the endoscope body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00071—Insertion part of the endoscope body
    • A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00097—Sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Optics & Photonics (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Endoscopes (AREA)

Abstract

本发明属于医疗设备技术领域，公开了一种外科用可视化智能化肠镜包括：信号采集模块：可视化肠镜通过高清晰度镜头采集肠道内部的图像数据，然后通过内置传感器收集位置、角度信息；预处理模块：图像和传感器数据会经过噪声过滤、信号放大步骤，去除干扰，提高数据的质量；特征提取模块：预处理后的数据会被送入算法模型进行特征提取，提取出的病变区域；数据融合模块：将图像数据与传感器数据进行融合，生成更为全面和准确的肠道信息；结果呈现模块：将处理后的数据以可视化的方式呈现给医生。本发明解决了现有的可视化肠镜视野范围有限、操作复杂、病变检测效率低的问题。

Description

一种外科用可视化智能化肠镜及信息处理方法
技术领域
本发明属于医疗设备技术领域，尤其涉及一种外科用可视化智能化肠镜。
背景技术
目前，在外科手术中，对于肠道疾病的诊断和治疗，可视化肠镜是一种常用的工具。然而，传统的肠镜存在一些技术问题，如视野范围有限、操作复杂、病变检测效率低等，限制了其在外科手术中的应用效果。
通过上述分析，现有技术存在的问题及缺陷为：
1.视野范围有限：传统的肠镜设备通常只能提供一个有限的视野，这会导致一些病变或异常的区域被遗漏。此外，肠道的复杂结构(如弯曲和褶皱)也阻碍肠镜的视野，使得部分区域难以观察。
2.操作复杂：使用传统肠镜需要高度的技巧和经验。操作者需要熟练地操控肠镜，同时解读肠道内的图像。这在医疗资源有限的地区，特别是缺乏经验丰富的内镜医生的地方，会变得更加困难。
3.病变检测效率低：检测病变的过程往往需要大量的时间和精力。医生需要仔细检查每一帧图像，寻找的病变或异常。这种方法不仅效率低，而且会因为人为的疏忽或疲劳而遗漏某些病变。
因此，现有肠镜技术急需解决的问题包括：
扩大视野：需要开发新的设备或技术，能够提供更广阔的视野，确保没有遗漏任何潜在的病变区域。
简化操作：需要开发更直观易用的肠镜设备，例如增加自动导航功能，使得即使是经验较少的医生也能有效操作。
提高病变检测效率：通过引入人工智能和机器学习等技术，自动分析肠道图像，识别出疑似的病变或异常，以提高病变检测的效率和准确性。
发明内容
针对现有技术存在的问题，本发明提供了一种外科用可视化智能化肠镜。
本发明是这样实现的，一种外科用可视化智能化肠镜系统，包括以下模块：
信号采集模块：该模块包括高清晰度内窥镜镜头和位置、角度传感器，可实现可视化肠镜通过高清晰度镜头采集肠道内部的图像数据，并收集位置、角度信息的功能。
数据预处理模块：该模块接收信号采集模块输出的图像和传感器数据，通过执行噪声过滤、信号放大等步骤，去除数据中的噪声和干扰，提高数据的质量和清晰度。
数据特征提取模块：该模块接收预处理后的数据，通过深度学习算法模型进行特征提取，以识别和确定的病变区域。
数据融合模块：该模块将图像数据与传感器数据进行融合，利用数据融合算法生成更为全面准确的肠道信息，以便于外科医生进行病情诊断。
结果呈现模块：该模块用于将处理后的数据以可视化的方式呈现给医生，包括显示肠道的3D模型以及的病变区域的标记等信息。
进一步，还包括以下模块：
自动病变检测模块：通过深度学习和计算机视觉技术，系统可自动检测肠道内的病变区域，从而提高了病变检测效率和准确性。
3D重建与虚拟导航模块：利用计算机视觉技术，系统从多视角图像中生成精确的肠道3D模型，并提供虚拟导航功能，帮助医生更直观地理解和操作可视化肠镜。
智能决策支持模块：通过对所有采集和处理数据的分析，系统提供决策支持，如推荐的治疗方案和预测治疗效果等，以帮助医生做出更准确的判断和治疗方案。
数据分析模块：系统对收集的肠道内部图像数据和传感器数据进行深入分析，提供关于病变区域的位置、大小、形状以及肠道健康的评估报告。
数据存储与备份模块：系统具有数据存储和备份功能，保存和回放肠道内部的各种信息，方便医生进行诊断和回顾性分析。
进一步，数据预处理模块的具体实现方案包括以下步骤：
噪声过滤：噪声是图像和传感器数据中的随机变异，它通过各种源引入，如传感器误差、环境干扰等。噪声过滤的目标是去除这些随机变异，恢复真实的信号。有多种噪声过滤算法可用，如中值滤波、高斯滤波等。选择哪种算法取决于噪声的类型和数据的特性。
信号放大：信号放大的目标是增强数据中的有效信号，使其更清晰、更容易识别。这通常通过调整数据的动态范围或对比度来实现。例如，使用直方图均衡化来改进图像的对比度，使图像中的特征更加明显。
归一化：归一化是将数据转换到一个公共的尺度，如0到1或-1到1的范围。这防止数据中的某些特征由于其数值较大而主导分析结果，同时也提高某些算法的性能。
数据清洗：数据清洗是检查和修正数据中的错误和不一致性。例如，如果传感器数据中有丢失的值，使用插值算法来估算这些值。如果数据中有异常值，使用异常检测算法来识别并处理这些值。
数据预处理模块用各种编程语言实现，如Python、C++等。有很多现成的库和工具用于数据预处理，如Python的Numpy和Scipy库，C++的OpenCV库等。这些库提供了各种预处理算法的实现，方便地用于构建数据预处理模块。
进一步，数据融合模块的具体工作原理：
数据融合模块会首先接收来自信号采集模块的图像数据以及传感器数据。这些数据包括图像序列、位置信息、角度信息、温度、压力等。模块会确保这些数据同步，以便于后续处理。
模块会对接收到的多源数据进行预处理，例如归一化、去噪和插值，以处理数据中的噪声和不一致，使得数据更加准确和稳定。
模块会使用一些先进的算法，如深度学习模型，从图像数据中提取关键特征，同时对来自其他传感器的数据进行分析，提取有助于诊断的重要信息。
模块会采用数据融合算法，如卡尔曼滤波器、融合神经网络或其他统计方法，将来自不同源的数据和特征进行融合。数据融合的目的是综合各种信息，解决由于单一数据源所带来的不确定性和不准确性。
经过融合和分析后，模块会生成综合了所有有效信息的结果。这个结果将包含全面和准确的肠道信息，帮助外科医生更准确地进行病情诊断和治疗方案的制定。
最后，融合后的数据会被送到结果呈现模块，以直观和清晰的方式呈现给医生，例如通过3D重建的肠道模型、图像标记以及相关参数的显示。
进一步，所述数据融合模块采用卡尔曼滤波器或多层感知机进行数据融合；所述外科用可视化智能化肠镜还包括：探头、可视化屏幕、图像传输器、集成处理器；探头与图像传输器连接，集成处理器与图像传输器和可视化屏幕连接。
进一步，所述探头设置有镜头和内置传感器，镜头设置在探头最末端，内置传感器设置在探头内部。
进一步，所述探头是柔性设计，可使插入肠道更加容易和舒适。
本发明的另一目的在于提供一种智能化肠镜检查系统的信息处理方法，包含以下步骤：
信号采集，通过高清晰度镜头采集肠道内部的图像数据，同时内置传感器收集位置、角度等信息，且进一步采集肠道的压力、温度等其他类型的数据；
数据预处理，应用信号处理算法进行噪声过滤、信号放大等预处理，包括采用自适应滤波器去除噪声，以及利用归一化处理增强信号稳定性；
特征提取，将预处理后的数据输入至深度学习模型，如卷积神经网络(CNN)或循环神经网络(RNN)，识别并标记图像中的病变区域及其他异常特征；
数据融合，实施融合算法，使图像特征与传感器数据进行融合，例如，通过卡尔曼滤波器或融合神经网络进行数据融合，生成更全面和准确的肠道信息；
结果呈现，处理后的数据以可视化方式呈现给医生，包括的病变区域的标记，3D重建的肠道模型，以及位置、角度等信息。
进一步，包含自动病变检测功能，其中利用深度学习和计算机视觉技术进行自动病变检测，深度学习模型经过大量图像训练后，能够有效地识别和标记肠道中的病变区域，提高病变检测的效率和准确性。
进一步，包含3D重建与虚拟导航功能和智能决策支持功能，其中，使用计算机视觉技术进行3D重建和虚拟导航，多视角图像生成精确的肠道3D模型，并提供VR或AR导航，帮助医生更直观地理解肠道结构；在分析了所有的数据和信息后，AI系统提供决策支持，例如推荐治疗方案，预测治疗效果等，为医生的决策提供参考。
进一步，所述探头设置有镜头和内置传感器，镜头设置在探头最末端，内置传感器设置在探头内部。
进一步，所述探头是柔性设计，可使插入肠道更加容易和舒适。
进一步，所述镜头有旋转功能和放大功能。
结合上述的技术方案和解决的技术问题，本发明所要保护的技术方案所具备的优点及积极效果为：
第一、本发明解决了现有的可视化肠镜视野范围有限、操作复杂、病变检测效率低的问题。
本发明提供了更广阔的视野范围和更清晰的图像质量，帮助外科医生更准确地观察和诊断肠道病变。
本发明柔性探头设计使插入肠道更加容易和舒适，降低了不适感和损伤风险。
本发明镜头旋转和放大功能可根据需要调整视野角度和图像放大倍数，提供更详细的肠道图像信息。
本发明导航和定位系统帮助外科医生精确定位和引导手术操作，提高手术精确性和安全性。
本发明通过优化光学系统、柔性探头设计、镜头旋转和放大功能以及导航和定位系统，能够提供更好的视野、更准确的定位和更精确的操作，从而在外科手术中取得更好的技术效果。
第三，本发明的技术方案有以下显著的技术进步：
1.高效的病变检测：通过使用深度学习和计算机视觉技术，这种新型肠镜自动识别和标记肠道内部的病变，大大提高了病变检测的效率和准确性。
2.精准的导航与定位：通过集成先进的导航和定位系统以及3D重建技术，肠镜能够提供精确的位置信息和直观的三维肠道模型，这有助于医生进行精确的定位和导航，提高手术的精确性和安全性。
3.更好的用户体验：这种肠镜采用了柔性的探头设计和高清晰度的镜头，使得肠道检查过程更为舒适，同时提供了更清晰、更全面的视野，提高了医生的工作效率。
4.远程医疗的：结合5G或更高级的网络技术，这种肠镜具有远程操作的能力，这使得地理位置不再是医疗服务的限制，医生甚至在世界的另一端进行手术操作。
5.实时咨询和协作：通过网络连接，医生在手术过程中获取其他专家的实时咨询意见，这有助于提高手术的成功率和患者的生存率。
该智能化的可视化肠镜技术方案不仅提高肠道疾病的检测和治疗效率，还提高手术的精确性和安全性，同时还为远程医疗和团队协作提供了，这无疑是一项显著的技术进步。
附图说明
图1是本发明实施例提供的外科用可视化智能化肠镜结构框图。
图2是本发明实施例提供的外科用可视化智能化肠镜结构示意图。
图3是本发明实施例提供的探头结构示意图。
图中：1、探头；2、可视化屏幕；3、图像传输器；4、集成处理器；11、镜头；12、内置传感器。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，本发明实施例提供的外科用可视化智能化肠镜包括：
信号采集模块：可视化肠镜先通过高清晰度镜头11采集肠道内部的图像数据，然后通过内置传感器12收集位置、角度等信息。外科用可视化智能化肠镜具有两个主要的功能模块：图像采集和位置/角度信息收集。以下是的具体实施方案：
图像采集模块：这个模块的核心是一个高清晰度镜头11。这个镜头是一个数字CCD或CMOS传感器，将肠道内部的图像转化为数字信号。这个模块还包括一个光源，用于照亮肠道以便于图像采集。图像数据会在肠镜内部进行初步的处理(例如，压缩或降噪)，然后通过数据链接(例如，USB，HDMI，或无线链接)发送到外部的处理和显示设备。位置和角度信息收集模块：这个模块的核心是一个或多个内置传感器12。这些传感器包括陀螺仪、加速度计、磁力计，用于测量肠镜的姿态(即，俯仰角、滚动角、偏航角)和位移。这些信息将帮助外科医生了解肠镜在肠道内的精确位置和方向，以便进行更精确的操作。这些数据同样在肠镜内部进行初步处理，然后通过数据链接发送到外部的处理和显示设备。为了实现这种系统，还需要一个外部的视频处理和显示系统，用于接收并处理肠镜发送的图像和位置/角度信息。这个系统包括一个计算机、一个显示器，以及用于处理图像和传感器数据的软件。此外，还需要一些用于定制和控制肠镜的接口和控制器，例如，一个用于控制肠镜移动和转向的手柄，以及一个用于控制光源亮度和图像采集参数的界面。
预处理模块：与信号采集模块连接，图像和传感器数据会经过噪声过滤、信号放大等预处理步骤，以去除的干扰，提高数据的质量。数据预处理是数据分析中的重要步骤，它提高数据的质量和分析的准确性。在这个情景下，数据预处理模块的具体实现方案包括以下步骤：
噪声过滤：噪声是图像和传感器数据中的随机变异，它通过各种源引入，如传感器误差、环境干扰等。噪声过滤的目标是去除这些随机变异，恢复真实的信号。有多种噪声过滤算法可用，如中值滤波、高斯滤波等。选择哪种算法取决于噪声的类型和数据的特性。
信号放大：信号放大的目标是增强数据中的有效信号，使其更清晰、更容易识别。这通常通过调整数据的动态范围或对比度来实现。例如，使用直方图均衡化来改进图像的对比度，使图像中的特征更加明显。
归一化：归一化是将数据转换到一个公共的尺度，如0到1或-1到1的范围。这防止数据中的某些特征由于其数值较大而主导分析结果，同时也提高某些算法的性能。
数据清洗：数据清洗是检查和修正数据中的错误和不一致性。例如，如果传感器数据中有丢失的值，使用插值算法来估算这些值。如果数据中有异常值，使用异常检测算法来识别并处理这些值。这个数据预处理模块用各种编程语言实现，如Python、C++等。有很多现成的库和工具用于数据预处理，如Python的Numpy和Scipy库，C++的OpenCV库等。这些库提供了各种预处理算法的实现，方便地用于构建数据预处理模块。
特征提取模块：与预处理模块连接，预处理后的数据会被送入算法模型进行特征提取，比如使用深度学习模型对图像数据进行分析，提取出的病变区域。
数据融合模块：与特征提取模块连接，将图像数据与位置、角度等传感器数据进行融合，生成更为全面和准确的肠道信息。数据融合模块的工作原理是通过集成和分析来自不同源的数据，以提供更全面和准确的信息。下面是该模块的具体工作原理：
数据接收与同步：
数据融合模块会首先接收来自信号采集模块的图像数据以及传感器数据。这些数据包括图像序列、位置信息、角度信息、温度、压力等。模块会确保这些数据同步，以便于后续处理。
数据预处理：
模块会对接收到的多源数据进行预处理，例如归一化、去噪和插值，以处理数据中的噪声和不一致，使得数据更加准确和稳定。
特征提取：
模块会使用一些先进的算法，如深度学习模型，从图像数据中提取关键特征，同时对来自其他传感器的数据进行分析，提取有助于诊断的重要信息。
数据融合：
模块会采用数据融合算法，如卡尔曼滤波器、融合神经网络或其他统计方法，将来自不同源的数据和特征进行融合。数据融合的目的是综合各种信息，解决由于单一数据源所带来的不确定性和不准确性。
结果生成：
经过融合和分析后，模块会生成综合了所有有效信息的结果。这个结果将包含全面和准确的肠道信息，帮助外科医生更准确地进行病情诊断和治疗方案的制定。
结果输出：
最后，融合后的数据会被送到结果呈现模块，以直观和清晰的方式呈现给医生，例如通过3D重建的肠道模型、图像标记以及相关参数的显示。
通过这种工作原理，数据融合模块能够整合多源数据，提供更为全面和准确的肠道信息，极大地提升了诊断的准确性和效率，帮助医生更好地理解病人的病情。
结果呈现模块：与数据融合模块连接，将处理后的数据以可视化的方式呈现给医生，包括的病变区域的标记，3D重建的肠道模型，以及位置、角度等信息。
本发明可进行自动病变检测：借助于深度学习和计算机视觉技术，可视化肠镜自动识别和标记肠道中的病变区域。这样，医生就更加专注于治疗方案的制定，而不必花费大量时间在肠道图像的解析上。
本发明可进行3D重建与虚拟导航：通过结合多视角图像，可视化肠镜生成肠道的3D模型，提供虚拟现实(VR)或增强现实(AR)导航，帮助医生更直观地理解肠道结构，提高手术的精确性和效率。
本发明可进行远程操作与咨询：结合5G或更高级的网络技术，可视化肠镜支持远程操作，让地理位置不再成为限制。此外，医生也在操作过程中远程获取其他专家的实时咨询意见。
通过这种智能化改进和详细的信号和数据处理过程，可视化肠镜不仅能提供更清晰、更全面的肠道视图，还能提供更准确的病变检测和更有效的手术指导，大大提高了肠镜检查和手术的效率和效果。
作为优选，如图2所示，本发明实施例提供的外科用可视化智能化肠镜包括：探头1、可视化屏幕2、图像传输器3、集成处理器4；探头1与图像传输器3连接，集成处理器4与图像传输器3和可视化屏幕2连接。
如图3所示，探头1设置有镜头11和内置传感器12，镜头11设置在探头1最末端，内置传感器12设置在探头1内部。
其中，探头1是柔性设计，可使插入肠道更加容易和舒适。
镜头11通过旋转功能可调整视野角度，通过放大功能可放大图像倍数，提供更详细的肠道图像信息。
本发明的工作原理分为以下几个步骤：
信号采集：首先，可视化肠镜的高清晰度镜头11会采集肠道内部的图像数据。同时，内置传感器12会收集肠镜当前的位置和角度等信息。这些数据是后续处理的基础。
预处理：采集的图像和传感器数据将被发送到预处理模块进行噪声过滤和信号放大等操作。这些预处理步骤去除的干扰，提高数据的质量。
特征提取：预处理后的数据将被送入特征提取模块。在这个模块中，深度学习模型会对图像数据进行分析，提取出的病变区域。这些特征信息是识别病变和理解肠道结构的关键。
数据融合：在数据融合模块中，上一步提取的图像特征将与传感器数据(如位置和角度等)进行融合。这种融合生成更全面和准确的肠道信息，有助于医生更好地理解肠道的实际情况。数据融合是一种在各种应用中广泛使用的技术，包括在医疗图像分析中。在本发明提到的场景中，本发明希望将从图像中提取出的特征与来自其他传感器(如位置和角度传感器)的数据进行融合，以提供更全面和准确的肠道信息首先，本发明需要确保所有的数据都是在同一时间点上采集的，以便进行后续的融合。这需要对数据进行时间同步。还需要对数据进行标准化，以确保不同的特征能够在相同的范围内进行比较。对于图像数据，本发明使用深度学习(如卷积神经网络)或者其他的图像处理算法来提取特征。对于其他的传感器数据(如位置和角度)，本发明需要使用更为传统的特征提取方法。一旦提取出所有的特征，就将它们融合到一起。最简单的方式就是将所有的特征向量连接在一起，形成一个更大的特征向量。然而，这种方法会引入一些不必要的噪声。更复杂的方法会使用一些降维技术，如主成分分析(PCA)或者t-SNE，以减少数据的维度并突出最重要的特征。拥有了融合的特征，本发明就使用它们来训练一个预测模型。这个模型是一个深度学习模型，如一个全连接的神经网络，或者一个更为传统的机器学习模型，如支持向量机或随机森林。模型的输出将提供对肠道信息的预测。这些预测需要与医生进行进一步的交流，以帮助他们理解肠道的实际情况。
结果呈现：最后，处理后的数据将被送入结果呈现模块。在这个模块中，数据以可视化的方式呈现给医生，包括病变区域的标记、3D重建的肠道模型，以及位置、角度等信息。
此外，本发明还有以下特点：
自动病变检测：通过深度学习和计算机视觉技术，可视化肠镜自动识别和标记肠道中的病变区域。这极大地提高了病变检测的效率，并减轻了医生的工作负担。
3D重建与虚拟导航：通过结合多视角的图像，可视化肠镜生成肠道的3D模型，并提供虚拟现实(VR)或增强现实(AR)导航。这样，医生更直观地理解肠道结构，从而提高手术的精确性和效率。
在智能化的技术方案中，引入更多的AI技术，如深度学习、计算机视觉、机器学习，以及先进的数据处理和分析技术。下面是一种的智能化方案：
1.信号采集：使用高清晰度镜头11采集肠道内部的图像数据，同时内置传感器12收集位置、角度等信息。此外，采集其他类型的数据，如肠道的压力、温度等，以提供更全面的信息。
2.预处理：使用高级的信号处理算法对数据进行噪声过滤、信号放大等预处理，以去除干扰，提高数据质量。例如，使用自适应滤波器去除噪声，使用归一化处理提升信号的稳定性。
3.特征提取：将预处理后的数据送入深度学习模型，如卷积神经网络(CNN)或循环神经网络(RNN)，进行特征提取。这些模型学习并识别图像中的病变区域，以及其他的异常特征。
4.数据融合：使用融合算法将图像特征与传感器数据进行融合。例如，使用卡尔曼滤波器或者融合神经网络进行数据融合，生成更全面和准确的肠道信息。
5.结果呈现：处理后的数据以可视化的方式呈现给医生，包括的病变区域的标记，3D重建的肠道模型，以及位置、角度等信息。
此外，智能化的技术方案还包括以下特性：
自动病变检测：使用深度学习和计算机视觉技术进行自动病变检测。深度学习模型经过大量图像训练后，有效地识别和标记肠道中的病变区域，提高了病变检测的效率和准确性。
3D重建与虚拟导航：使用计算机视觉技术进行3D重建和虚拟导航。多视角图像生成精确的肠道3D模型，并提供VR或AR导航，帮助医生更直观地理解肠道结构，提高手术效率。
智能决策支持：在分析了所有的数据和信息后，AI系统提供决策支持，例如推荐的治疗方案，预测治疗效果等，为医生的决策提供参考。
这种智能化的技术方案，通过结合深度学习、计算机视觉和先进的数据处理技术，大大提高肠镜检查的效率和准确性，同时也减轻医生的工作负担。
实施例1：深度学习辅助病变检测
在这个实施例中，使用深度学习模型如卷积神经网络(CNN)来辅助医生进行肠道病变的检测。实现方案如下：
1.首先，需要大量的肠道图像数据进行训练。这些图像包括各种类型的肠道病变，如息肉、肠癌等，以及正常的肠道图像。这些图像需要由专业的医生进行标注。
2.使用这些标注的图像数据训练深度学习模型。模型的训练使用现有的深度学习框架，如TensorFlow或PyTorch。
3.将训练好的深度学习模型集成到可视化肠镜系统中。在肠镜检查过程中，模型会实时分析肠道图像，自动识别和标记的病变区域。
实施例2：3D重建与虚拟现实导航
在这个实施例中，使用计算机视觉技术来实现肠道的3D重建，并提供虚拟现实(VR)导航。实现方案如下：
1.在肠镜检查过程中，除了采集肠道图像，还需要采集肠镜的位置和角度信息。这些信息通过肠镜的内置传感器获得。
2.使用计算机视觉技术，如立体视觉或视觉SLAM(Simultaneous Localizationand Mapping)，根据多视角的图像和位置信息，生成肠道的3D模型。
3.将生成的3D模型与肠道图像数据融合，生成详细的肠道地图。这个地图包括病变区域的标记、肠道的形状和长度等信息。
4.使用虚拟现实技术，将这个肠道地图呈现给医生。医生通过VR设备，如VR眼镜，进行虚拟导航，更直观地理解肠道的结构和状况，从而提高手术的精确性和效率。
这两个实施例都使用了先进的AI和计算机视觉技术，大大提高肠镜检查的效率和准确性。
应用案例1：早期癌症筛查
在早期肠癌筛查中，这种智能肠镜系统发挥巨大的作用。系统的高清晰度内窥镜镜头采集清晰的肠道内部图像，而深度学习算法模型帮助识别出微小的，被人眼忽视的早期癌变。同时，系统的数据融合模块将图像数据与位置、角度传感器数据进行融合，生成更为全面和准确的信息，帮助医生做出准确的诊断。此外，结果呈现模块将这些信息以3D模型的形式呈现给医生，使医生能更直观地理解肠道的结构和病变的位置。
应用案例2：肠炎诊断
在诊断肠炎(如病毒性肠炎、细菌性肠炎)时，这种智能肠镜系统也能发挥重要作用。通过高清晰度的内窥镜镜头，医生清晰地看到肠道内部的炎症病变，而深度学习算法模型则帮助识别出炎症的特征，如肠道内部的充血、肿胀等。同时，数据融合模块将这些图像数据与位置、角度等传感器数据进行融合，生成更全面的信息，帮助医生做出准确的诊断。
应用案例3：外科手术导航
在进行肠道外科手术(如肠切除术)时，这种智能肠镜系统作为手术导航工具。医生通过内窥镜镜头清晰地看到肠道内部的情况，而位置、角度传感器提供精确的位置信息，帮助医生确定手术的精确位置。同时，系统的数据融合模块将这些信息进行融合，并以3D模型的形式呈现给医生，使医生在手术过程中更直观地理解肠道的结构和手术的进展情况，从而提高手术的准确性和安全性。
在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上；术语“上”、“下”、“左”、“右”、“内”、“外”、“前端”、“后端”、“头部”、“尾部”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种外科用可视化智能化肠镜系统，其特征在于，包括以下模块：
信号采集模块：该模块包括高清晰度内窥镜镜头和位置、角度传感器，可实现可视化肠镜通过高清晰度镜头采集肠道内部的图像数据，并收集位置、角度信息的功能；
数据预处理模块：该模块接收信号采集模块输出的图像和传感器数据，通过执行噪声过滤、信号放大步骤，去除数据中的噪声和干扰，提高数据的质量和清晰度；
数据特征提取模块：该模块接收预处理后的数据，通过深度学习算法模型进行特征提取，以识别和确定的病变区域；
数据融合模块：该模块将图像数据与传感器数据进行融合，利用数据融合算法生成更为全面准确的肠道信息，以便于外科医生进行病情诊断；
结果呈现模块：该模块用于将处理后的数据以可视化的方式呈现给医生，包括显示肠道的3D模型以及的病变区域的标记信息。
2.如权利要求1所述的外科用可视化智能化肠镜系统，其特征在于，还包括以下模块：
自动病变检测模块：通过深度学习和计算机视觉技术，系统可自动检测肠道内的病变区域，从而提高了病变检测效率和准确性；
3D重建与虚拟导航模块：利用计算机视觉技术，系统从多视角图像中生成精确的肠道3D模型，并提供虚拟导航功能，帮助医生更直观地理解和操作可视化肠镜；
智能决策支持模块：通过对所有采集和处理数据的分析，系统提供决策支持，如推荐的治疗方案和预测治疗效果，以帮助医生做出更准确的判断和治疗方案；
数据分析模块：系统对收集的肠道内部图像数据和传感器数据进行深入分析，提供关于病变区域的位置、大小、形状以及肠道健康的评估报告；
数据存储与备份模块：系统具有数据存储和备份功能，保存和回放肠道内部的各种信息，方便医生进行诊断和回顾性分析。
3.根据权利要求1或2所述的可视化肠镜系统，其特征在于，数据预处理模块的具体实现方案包括以下步骤：
噪声过滤：去除这些随机变异，恢复真实的信号；
信号放大：信号放大的目标是增强数据中的有效信号，使其更清晰、更容易识别；这通常通过调整数据的动态范围或对比度来实现；
归一化：将数据转换到一个公共的尺度，防止数据中的某些特征由于其数值较大而主导分析结果，同时也提高某些算法的性能；
数据清洗：数据清洗是检查和修正数据中的错误和不一致性；如果传感器数据中有丢失的值，使用插值算法来估算这些值；如果数据中有异常值，使用异常检测算法来识别并处理这些值；
数据预处理模块用各种编程语言实现，有很多现成的库和工具用于数据预处理。
4.根据权利要求1所述的可视化肠镜系统，其特征在于，数据融合模块的具体工作原理：
数据融合模块会首先接收来自信号采集模块的图像数据以及传感器数据；这些数据包括图像序列、位置信息、角度信息、温度、压力；模块会确保这些数据同步，以便于后续处理；
模块会对接收到的多源数据进行预处理，以处理数据中的噪声和不一致，使得数据更加准确和稳定；
模块会使用深度学习模型，从图像数据中提取关键特征，同时对来自其他传感器的数据进行分析，提取有助于诊断的重要信息；
模块会采用数据融合算法，将来自不同源的数据和特征进行融合；数据融合的目的是综合各种信息，解决由于单一数据源所带来的不确定性和不准确性；
经过融合和分析后，模块会生成综合了所有有效信息的结果；这个结果将包含全面和准确的肠道信息，帮助外科医生更准确地进行病情诊断和治疗方案的制定；
最后，融合后的数据会被送到结果呈现模块，以直观和清晰的方式呈现给医生，例如通过3D重建的肠道模型、图像标记以及相关参数的显示。
5.根据权利要求4所述的可视化肠镜系统，其中，所述数据融合模块采用卡尔曼滤波器或多层感知机进行数据融合；所述外科用可视化智能化肠镜还包括：探头、可视化屏幕、图像传输器、集成处理器；探头与图像传输器连接，集成处理器与图像传输器和可视化屏幕连接。
6.如权利要求5所述的外科用可视化智能化肠镜，其特征在于，所述探头设置有镜头和内置传感器，镜头设置在探头最末端，内置传感器设置在探头内部。
7.如权利要求5所述的外科用可视化智能化肠镜，其特征在于，所述探头是柔性设计，可使插入肠道更加容易和舒适。
8.一种智能化肠镜检查系统的信息处理方法，其特征在于，包含以下步骤：
信号采集，通过高清晰度镜头采集肠道内部的图像数据，同时内置传感器收集位置、角度信息，且进一步采集肠道的压力、温度其他类型的数据；
数据预处理，应用信号处理算法进行噪声过滤、信号放大预处理，包括采用自适应滤波器去除噪声，以及利用归一化处理增强信号稳定性；
特征提取，将预处理后的数据输入至深度学习模型，识别并标记图像中的病变区域及其他异常特征；
数据融合，实施融合算法，使图像特征与传感器数据进行融合，通过卡尔曼滤波器或融合神经网络进行数据融合，生成更全面和准确的肠道信息；
结果呈现，处理后的数据以可视化方式呈现给医生，包括的病变区域的标记，3D重建的肠道模型，以及位置、角度信息。
9.如权利要求8所述的智能化肠镜检查系统的信息处理方法，其特征在于，包含自动病变检测功能，其中利用深度学习和计算机视觉技术进行自动病变检测，深度学习模型经过大量图像训练后，能够有效地识别和标记肠道中的病变区域，提高病变检测的效率和准确性。
10.如权利要求8所述的智能化肠镜检查系统的信息处理方法，其特征在于，包含3D重建与虚拟导航功能和智能决策支持功能，其中，使用计算机视觉技术进行3D重建和虚拟导航，多视角图像生成精确的肠道3D模型，并提供VR或AR导航，帮助医生更直观地理解肠道结构；在分析了所有的数据和信息后，AI系统提供决策支持，推荐治疗方案，预测治疗效果，为医生的决策提供参考。
CN202311304102.8A 2023-10-10 2023-10-10 一种外科用可视化智能化肠镜及信息处理方法 Pending CN117481585A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311304102.8A CN117481585A (zh) 2023-10-10 2023-10-10 一种外科用可视化智能化肠镜及信息处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311304102.8A CN117481585A (zh) 2023-10-10 2023-10-10 一种外科用可视化智能化肠镜及信息处理方法

Publications (1)

Publication Number Publication Date
CN117481585A true CN117481585A (zh) 2024-02-02

Family

ID=89673405

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311304102.8A Pending CN117481585A (zh) 2023-10-10 2023-10-10 一种外科用可视化智能化肠镜及信息处理方法

Country Status (1)

Country Link
CN (1) CN117481585A (zh)

Similar Documents

Publication Publication Date Title
CN110473192B (zh) 消化道内镜图像识别模型训练及识别方法、装置及系统
US20170296032A1 (en) Branching structure determination apparatus, method, and program
JP6594133B2 (ja) 内視鏡位置特定装置、内視鏡位置特定装置の作動方法および内視鏡位置特定プログラム
RU2740259C2 (ru) Позиционирование датчика ультразвуковой визуализации
JP6254053B2 (ja) 内視鏡画像診断支援装置、システムおよびプログラム、並びに内視鏡画像診断支援装置の作動方法
JP6967602B2 (ja) 検査支援装置、内視鏡装置、内視鏡装置の作動方法、及び検査支援プログラム
US8368746B2 (en) Apparatus and method for processing image information captured over time at plurality of positions in subject body
CN104736085A (zh) 确定医疗器械在分支解剖结构中的位置
US20050074151A1 (en) Method and system for multiple passes diagnostic alignment for in vivo images
US20110032347A1 (en) Endoscopy system with motion sensors
CN102208114A (zh) 投影图像生成技术
CN104797186A (zh) 内窥镜系统
WO2021178313A1 (en) Detecting deficient coverage in gastroenterological procedures
KR102531400B1 (ko) 인공 지능 기반 대장 내시경 영상 진단 보조 시스템 및 방법
US10078906B2 (en) Device and method for image registration, and non-transitory recording medium
CN114980793A (zh) 内窥镜检查辅助装置、内窥镜检查辅助装置的工作方法以及程序
CN115115810A (zh) 一种基于空间姿态捕捉的多人协同病灶定位与增强展示方法
CN111685713A (zh) 内窥镜手术中操作人员姿态信息采集方法、系统和可读存储介质
JP2005218584A (ja) 画像情報の表示処理装置、その表示処理方法及び表示処理プログラム
CN117481585A (zh) 一种外科用可视化智能化肠镜及信息处理方法
CN116993699A (zh) 一种眼动辅助训练下的医学图像分割方法及系统
US10854005B2 (en) Visualization of ultrasound images in physical space
CN115910366A (zh) 一种基于多模态临床诊疗数据的病情分析系统
CN112885435B (zh) 图像目标区域的确定方法、装置和系统
JP2021140747A (ja) 画像ベースの位置特定のための深層学習と幾何学的制約との融合、コンピュータ実装方法、プログラム、及びコンピュータ実装システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination