CN113827171B - 内窥镜成像方法、内窥镜成像系统和软件程序产品 - Google Patents

内窥镜成像方法、内窥镜成像系统和软件程序产品 Download PDF

Info

Publication number
CN113827171B
CN113827171B CN202110690676.8A CN202110690676A CN113827171B CN 113827171 B CN113827171 B CN 113827171B CN 202110690676 A CN202110690676 A CN 202110690676A CN 113827171 B CN113827171 B CN 113827171B
Authority
CN
China
Prior art keywords
image
white light
special light
illumination
image evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110690676.8A
Other languages
English (en)
Other versions
CN113827171A (zh
Inventor
T·于尔根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Winter and Ibe GmbH
Original Assignee
Olympus Winter and Ibe GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Winter and Ibe GmbH filed Critical Olympus Winter and Ibe GmbH
Publication of CN113827171A publication Critical patent/CN113827171A/zh
Application granted granted Critical
Publication of CN113827171B publication Critical patent/CN113827171B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00186—Optical arrangements with imaging filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/044—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for absorption imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A61B1/051—Details of CCD assembly
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/063—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655—Control therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0676—Endoscope light sources at distal tip of an endoscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/032—Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Endoscopes (AREA)

Abstract

本发明涉及内窥镜成像方法、内窥镜成像系统和软件程序产品，该系统包括具有至少一个CMOS图像传感器的视频内窥镜、光源单元、图像评估单元、控制单元和显示装置。在白光照明下借助视频内窥镜捕获白光图像并由图像评估单元实时评估以检查具有至少一个预定义特征的至少一个结构的存在。当图像评估单元检测到在白光图像中存在具有至少一个预定义特征的至少一个结构时，借助光源单元使用至少一种特殊光生成特殊光照明，并在特殊光照明下捕获视频流的图像并在特殊光处理模式下对其进行图像处理，包括识别白光图像中包含具有在白光图像中检测到的预定义特征的结构的子区域并仅读出图像传感器的该子区域，从子区域读出的图像数据被进一步处理为特殊光图像。

Description

内窥镜成像方法、内窥镜成像系统和软件程序产品
技术领域
本发明涉及用于内窥镜成像的方法、内窥镜成像系统和软件程序产品。
背景技术
除了具有包括整个RGB光谱的白光照明的白光模式外，现代内窥镜成像系统还提供各种特殊光成像模式，该白光模式对可见光谱(VIS)至关重要。这种特殊光成像(SLI)模式包括例如窄带成像(NBI)、近红外荧光成像(NIRF)和红色二色成像(RDI)。RDI是OlympusTechnology的专有方法，在美国专利US 10,034,600 B2和US 9,775,497 B2中有所描述。此列表并非穷举。
近红外荧光成像(NIRF)可用于分析和评估血管灌注、确认肝胆系统的解剖结构、发现淋巴结或者在使用诸如ICG(吲哚菁绿)、CY5.5、ZW800或ZW-1之类的外源性造影剂后使输尿管可视化。红色二色成像(RDI)可用于识别动脉出血的来源。窄带成像(NBI)可以帮助区分良性增生和癌组织或癌前体，例如区分NICE-1和NICE-2型肠息肉，以决定是否需要切除息肉。
典型的检查和手术由医生使用用于视觉成像(VIS)的白光照明进行。如果医生在白光图像中发现需要在特殊光成像模式下更仔细检查的异常情况，那么医生会基于他们的训练和经验选择适当的特殊光成像模式。
发明内容
在此背景下，本发明的目的是在检查或手术期间以改善的形式的内窥镜成像来辅助医生。
该目的通过一种利用内窥镜成像系统进行内窥镜成像的方法来实现，所述内窥镜成像系统包括具有至少一个CMOS图像传感器的视频内窥镜、被设计成生成白光和至少一种特殊光的光源单元、图像评估单元、控制单元和显示装置，并且所述内窥镜成像系统进一步开发为，在白光照明下借助于视频内窥镜来捕获白光图像，并且由图像评估单元实时评估所述白光图像以检查具有至少一个预定义特征的至少一个结构的存在，其中，当所述图像评估单元在至少一个白光图像中检测到具有至少一个预定义特征的至少一个结构的存在时，设置特殊光成像模式，在该特殊光成像模式下所述光源单元使用所述至少一种特殊光来生成特殊光照明，并且在所述特殊光照明下捕获视频流的一个或更多个图像，并且在特殊光处理模式下对视频流的一个或更多个图像进行图像处理，该图像处理包括：识别白光图像中包含具有在所述白光图像中检测到的所述预定义特征的所述结构的子区域，以及仅读出所述图像传感器的该子区域，其中，从所述子区域读出的图像数据被进一步处理为特殊光图像。
根据本发明的方法基于以下事实：大多数内窥镜视频系统(即视频内窥镜或用于内窥镜的摄像头)都配备有CMOS图像传感器而不是CCD图像传感器。与CCD图像传感器不同，许多CMOS图像传感器能仅在子区域(所谓的“关注区域”(ROI))中读出，这显著提高了读取率。子区域通常是矩形区域，在本发明的背景下，其尺寸被确定为使得它完全包含所述结构，如果适用的话，其边界占据例如矩形长边的范围的2％至20％。例如，肠息肉通常在图像中占据图像面积的大约10％至20％。在许多临床情况下，这类ROI在完整图像中的等效面积上延伸。在这种情况下，例如具有1980x1080像素的HD分辨率的CMOS图像传感器可以在包含息肉的对应子区域中(例如，在对角点的坐标例如为600/200和1061/662矩形区域中)专门且非常快速地读出。由此产生的包含肠息肉的ROI将具有461x462像素(约213,000像素)的大小，因此将仅为完整HD图像大小的大约十分之一。
借助于根据本发明的方法，因此即使在已经激活特殊光成像模式时也可以获得高图像刷新率，因为与在白光成像模式下读出CMOS图像传感器的整个图像数据相比，CMOS图像传感器的子区域被更快地读出和处理。在不选择子区域的情况下，白光图像和特殊光图像交替序列的情况下的图像刷新率将减半，例如从50Hz到25Hz，其中白光图像序列将处于25Hz，而特殊光图像序列也将处于25Hz。在快速移动的情况下，这可能导致运动伪影。
许多特殊光成像模式也很微弱。所需的高感光度或增益系数会导致显著的图像噪声。可以通过增加曝光时间或组合连续帧来减少噪声。这些措施在没有子区域选择的正常时序成像中受到严重限制，而根据本发明在特殊光条件下可能的更高图像刷新率可用于经由特殊光图像的更紧密的连续性来增加特殊光图像的有效曝光时间。
根据本发明的方法还使得可以通过对白光图像进行图像识别来辅助主治医师，其中自动检测到具有预定义特征的结构。例如，这种结构可能是灌注的血管、淋巴结、动脉出血或肠息肉，然而该列表并非穷举。这些结构的预定义特征是众所周知的，并且基于大量图像材料进行了详细记录，并且可以借助于自动化图像评估进行识别。根据本发明，在这种情况下，设置合适的特殊光成像，借助于该特殊光成像更详细且更精确地示出所识别的结构。医生不用做出设置特殊光成像模式的决定，他们无需做任何事情就可以看到特殊光成像。
正在进行的检查通常被处理为视频流。根据本发明的方法可以应用于正在进行的视频流，但如果医生需要，也可以应用于借助快照功能从视频流中分离出来的单个图像，以用于更仔细的检查和记录。
子区域是在图像评估单元中选择的，并且关于读出CMOS图像传感器的哪个子区域的指令由图像评估单元直接发出或者经由控制单元发出。图像评估单元也可以作为软件集成在控制单元中作为功能单元，例如作为程序或者程序的子例程。
各种检查的正常情况是看不到相关结构的。在这些情况下，如果图像评估单元在白光图像中没有检测到具有至少一个预定义特征的结构，则有利地借助于显示装置显示白光图像。
在实施方式中，特殊光图像借助于显示装置单独显示，或者作为叠加在白光图像上的合成图像显示。单独显示特殊光图像具有不受干扰的显示的优点，这对于训练有素的医生的眼睛来说很容易解释。显示合成图像(其中特殊光图像在所述结构的位置处一致叠加在白光图像上)提供了将特殊光图像嵌入到周围结构中的优势。这类融合图像或合成图像可以称为增强现实图像(ARI)。对于合成图像，可以将特殊光图像以一定透明度(例如在5％到50％之间)叠加在白光图像上，使得仍然可以看到在特殊光图像中不可见的白光图像的底层结构，或者可以将特殊光图像以不透明的方式(透明度为0％到5％)叠加在白光图像上。
在具有在视频流中显示的合成图像序列的实施方式中，在图像评估单元检测到在白光图像中存在具有至少一个预定义特征的至少一个结构的情况下，与视频图像序列同步化生成交替的白光和特殊光照明，其中在每种情况下，由白光图像和特殊光图像组成的一对图像被处理并组合成合成图像。可以使用快照功能捕获来自该合成图像视频流的单个帧，并用于更仔细的检查和记录。因此，在本专利申请和本发明的范围内，术语“特殊光成像模式”还包括这样的情况：白光图像和特殊光图像在交替序列中被捕获、进一步处理并组合在一起。
在一个实施方式中，视频图像序列和所同步化的交替的白光和特殊光照明以这样的时间节律发生：其中特殊光照明和特殊光图像捕获的持续时间短于白光照明和白光图像捕获的持续时间。这是可能的，因为对于特殊光图像捕获，在每种情况下仅读出CMOS图像传感器的一个子区域，并且在图像评估单元中仅对所述子区域的图像数据进行进一步处理，特别是因为没有将结构识别应用于特殊光图像。因此，不再需要将图像显示的频率(即，单个帧的连续性)减半，而是可以实现具有与纯白光视频序列类似的高频率的图像序列，由此在很大程度上防止了运动伪影。实现这一点的一种可能性在于控制单元，其可以与图像评估单元集成在一起，指示视频内窥镜中的图像传感器和光源单元以对应地同步化的时间序列捕获图像或子图像并提供白光照明和特殊光照明。
在实施方式中，光源单元被设计成生成以下中的一种或更多种作为特殊光：用于窄带成像(NBI)的照明、用于近红外荧光成像(NIRF)的照明和用于红色二色成像(RDI)的照明，其中特别地，在检测到出血的情况下生成RDI照明和/或在检测到肠息肉的情况下生成NBI照明。图像评估单元可以被设计成基于检测到的具有预定义特征的结构来选择可用的多种特殊光模式之一。另选地，预定义特征和特殊光模式可以被或可以已经被预先选择和设置。例如，在搜索特定结构的检查(例如在结肠镜检查中)或者预计、检测和制止出血的手术的情况下，这可能是有用的。
在实施方式中，具有至少一个预定义特征的结构是借助于基于人工智能的图像评估算法检测到的，和/或包含该结构的子区域是借助于基于人工智能的图像评估算法选择的，和/或特殊光模式是借助于基于人工智能的图像评估算法选择的。在这些情况下，图像评估算法可以基于一个或更多个分类神经网络，特别是CNN，该神经网络已经使用包含具有至少一个预定义特征的结构的白光图像进行了预训练。
在扩展中，在实施方式中，图像评估单元评估特殊光图像以检查对应结构的存在，特别是确认该结构的存在或者反之提示再次离开特殊光成像模式。特殊光成像模式特别适用于以非常高的对比度从而可清晰识别的方式示出相关结构，使得关于这些结构对特殊光图像的评估对于对应结构的存在具有重要意义。对应的图像评估也比在白光图像中更快，因为在特殊光图像中只存在白光图像的一个子区域，从而需要评估的数据量更少。
本发明的目的还通过一种内窥镜成像系统来实现，所述内窥镜成像系统包括具有至少一个CMOS图像传感器的视频内窥镜、被设计成生成白光和至少一种特殊光的光源单元、图像评估单元、控制单元和显示装置，其中，所述控制单元连接到所述光源单元、视频内窥镜和图像评估单元以进行信号传递，并且所述图像评估单元连接到所述视频内窥镜以进行信号传递，其中，具有所述视频内窥镜、光源单元、图像评估单元、控制单元和显示装置的所述成像系统被设计和配置为执行根据本发明的上述方法。
根据本发明的成像系统的视频内窥镜可以包括位于内窥镜轴的远端区域或手柄中的CMOS传感器，或者被设计为内窥镜与摄像头的组合，该摄像头包括作为图像传感器的CMOS传感器。
此外，本发明的目的还借助于一种软件程序产品来实现，所述软件程序产品包括用于根据本发明的内窥镜成像系统的程序代码介质，所述软件程序产品包括在所述成像系统的所述图像评估单元中执行的图像评估程序组件，以及在所述成像系统的所述控制单元中执行的控制程序组件，其中，所述图像评估程序组件和所述控制程序组件被设计成如果在所述图像评估单元和控制单元中被执行则执行根据本发明的上述方法。
根据本发明的内窥镜成像系统和根据本发明的软件程序产品涉及根据本发明的上述方法并且以相同的方式实现其优点、特征和特性。
从根据本发明的实施方式的描述连同权利要求和附图，本发明的进一步特征将变得明显。根据本发明的实施方式可以实现单独的特征或多个特征的组合。
在本发明的范围内，由“特别地”或“优选地”指定的特征被理解为可选的特征。
附图说明
下面参照附图基于示例性实施方式，在不限制本发明的总体思想的情况下描述本发明，由此，明确地参照关于根据本发明而未在文本中更详细地解释的所有细节的附图。附图中：
图1是根据本发明的内窥镜成像系统的示意图，
图2是成像概念的示意图，以及
图3是根据本发明的方法的示例性流程图。
在附图中，相同或相似的要素和/或部分在每种情况下均设有相同的附图标记；因此将始终省略重复的介绍。
附图标记列表
2 身体
4 体腔
6 结构
10 内窥镜成像系统
20 视频内窥镜
22 内窥镜轴
24 入口透镜
26 CMOS图像传感器
28 手柄
30 光源单元
40 图像评估单元
42 白光图像
44 子区域
46 特殊光图像
48 合成图像
50 控制单元
60 显示装置
100 捕获白光图像
102 分析白光图像
104 显示白光图像
106 设置特殊光成像模式
108 捕获特殊光图像
110 生成和显示合成图像
具体实施方式
图1是根据本发明的内窥镜成像系统10在手术情形下的示意图。借助于视频内窥镜20在患者的身体2的体腔4中进行检查，其中发现了具有预定义特征的结构6，例如肠息肉、出血、灌注血管等。
视频内窥镜20包括手柄28上的内窥镜轴22，在该轴22的远端上，CMOS图像传感器26布置在入口透镜24和光学系统(这里未示出)后面。另选地，视频内窥镜20也可以被设计为常规内窥镜与摄像头的组合。
视频内窥镜20连接到光源单元30，该光源单元30也可以是视频内窥镜20的一部分，或者另选地，是内窥镜成像系统10的控制装置的一部分。具有各种光源和滤光器单元的光源单元30被设计成根据一种或更多种特殊光照明程序交替地生成白光和特殊光，该光通过视频内窥镜20被引导到体腔4中并且照亮检查环境。
成像系统10还包括同样连接到光源单元30和视频内窥镜20的图像评估单元40和控制单元50，以及连接到图像评估单元40的显示装置60。各种组件(特别是图像评估单元40和控制单元50)被设计成执行根据本发明的方法。为此，它们配备了执行图像评估和控制的程序代码介质。
图2以示意图的形式示出了成像概念。成像和图像采集基于对白光图像42的捕获，这些白光图像42将借助于图像评估单元40进行评估。这类白光图像42可以例如具有HD分辨率并且从白光照明下的光源单元30生成。如果白光图像42包括具有预定义特征(例如灌注血管、出血、肠息肉等的特性)的结构6，则图像评估单元40识别出白光图像42的包含该结构6的子区域44。
因为检测到结构6，所以为接下来的图像设置了用于特殊光成像的特殊光照明，并且CMOS传感器26仅在子区域44中被读出。该读出子区域44的表示，特别是伪彩色表示，作为特殊光图像46叠加在白光图像42上的正确位置处，产生了在显示装置60上显示给主治医师的合成图像48。合成图像48可以是特殊光成像模式下的视频流的一部分，在这种模式下，在每种情况下都会捕获成对的白光图像和特殊光图像并将其组合为或用作单个图像，以供更仔细的检查和记录。优选地，在特殊光成像模式下的视频流的情况下，分析每个白光图像并且重新确定子区域44，因为视频内窥镜20和结构6可以相对于彼此移动。
特定的特殊光成像模式的选择要么由医生先验地完成，该医生例如正在执行特定检查(例如结肠镜检查)，其中只有一种特殊光成像模式是相关的；要么由图像评估单元40中的图像评估算法基于找到的结构6决定选择哪种特殊光成像模式。这类选择算法可以例如基于神经网络，该神经网络已经使用先前捕获的具有对应结构的白光图像进行训练，以便识别对应结构和相应的最佳特殊光成像模式并对其进行分类。
图3是根据本发明的方法的示例性流程图。该方法从捕获白光图像42开始(方法步骤100)，然后对其进行分析以检查具有预定义特征的结构6的存在(方法步骤102)。如果没有发现结构6，那么白光图像42就这样显示(方法步骤104)并且捕获新的白光图像42(方法步骤100)。如果实际上在白光图像42中发现了结构6，则识别出白光图像42中结构6所在的子区域44。随后，设置具有对应特殊光照明的预设的或合适的特殊光成像模式(方法步骤106)，在已经设置的特殊光照明下捕获图像并且仅在子区域44中读出CMOS图像传感器26的图像数据并且将其进一步处理为特殊光图像46(方法步骤108)。然后将该特殊光图像46叠加在白光图像42上并显示为合成图像48(方法步骤110)。从方法步骤100重复该处理直到检查完成或直到根据本发明的检查模式终止。
所有提及的特征(包括单独从附图中获得的特征和与其它特征组合公开的单个特征)无论单独地还是组合地都被认为对于本发明是必要的。根据本发明的实施方式可以通过单个特征或几个特征的组合来实现。

Claims (15)

1.一种利用内窥镜成像系统(10)进行内窥镜成像的方法，所述内窥镜成像系统(10)包括具有至少一个CMOS图像传感器(26)的视频内窥镜(20)、被设计成生成白光和至少一种特殊光的光源单元(30)、图像评估单元(40)、控制单元(50)和显示装置(60)，
其特征在于，
在白光照明下借助于所述视频内窥镜(20)来捕获白光图像(42)，并且由所述图像评估单元(40)实时评估所述白光图像(42)以检查具有至少一个预定义特征的至少一个结构(6)的存在，
其中，当所述图像评估单元(40)在至少一个白光图像(42)中检测到具有至少一个预定义特征的至少一个结构(6)的存在时，设置特殊光成像模式，在该特殊光成像模式下，所述光源单元(30)使用所述至少一种特殊光生成特殊光照明，并且在所述特殊光照明下捕获视频流的一个或更多个图像，并且在特殊光处理模式下对所述视频流的所述一个或更多个图像进行图像处理，该图像处理包括：识别所述白光图像(42)中包含具有在所述白光图像中检测到的所述预定义特征的所述结构(6)的子区域(44)，以及仅读出所述图像传感器(26)的该子区域(44)，其中，从所述子区域(44)读出的图像数据被进一步处理为特殊光图像(46)。
2.根据权利要求1所述的方法，其特征在于，如果所述图像评估单元(40)在所述白光图像(42)中没有检测到具有至少一个预定义特征的结构，则借助于所述显示装置(60)显示所述白光图像(42)。
3.根据权利要求1所述的方法，其特征在于，所述特殊光图像(46)借助于所述显示装置(60)被单独显示或者被显示为叠加在白光图像(42)上的合成图像(48)。
4.根据权利要求1所述的方法，其特征在于，在所述图像评估单元(40)在所述白光图像(42)中检测到具有至少一个预定义特征的至少一个结构(6)的存在的情况下，与视频图像序列同步化生成交替的白光照明和特殊光照明，其中，在每种情况下对由白光图像(42)和特殊光图像(46)组成的一对图像进行处理并将其组合成合成图像(48)。
5.根据权利要求4所述的方法，其特征在于，所述视频图像序列和所同步化的交替的白光照明和特殊光照明按一时间节律发生，在该时间节律中，所述特殊光照明和特殊光图像捕获的持续时间短于所述白光照明和白光图像捕获的持续时间。
6.根据权利要求1所述的方法，其特征在于，所述光源单元(30)被设计成生成以下中的一种或更多种作为特殊光：用于窄带成像(NBI)的照明、用于近红外荧光成像(NIRF)的照明和用于红色二色成像(RDI)的照明。
7.根据权利要求6所述的方法，其特征在于，在检测到出血的情况下生成RDI照明和/或在检测到肠息肉的情况下生成NBI照明。
8.根据权利要求1所述的方法，其特征在于，所述图像评估单元(40)被设计成基于所检测到的具有所述预定义特征的结构(6)来选择可用的多种特殊光模式之一。
9.根据权利要求8所述的方法，其特征在于，所述预定义特征和所述特殊光模式被预先选择和设置或者已经被预先选择和设置。
10.根据权利要求8所述的方法，其特征在于，具有至少一个预定义特征的所述结构(6)是借助于基于人工智能的图像评估算法检测到的，和/或包含所述结构(6)的所述子区域(44)是借助于基于人工智能的图像评估算法选择的，和/或所述特殊光模式是借助于基于人工智能的图像评估算法选择的。
11.根据权利要求10所述的方法，其特征在于，所述图像评估算法基于一个或更多个分类神经网络，所述一个或更多个分类神经网络已经使用包含具有至少一个预定义特征的所述结构(6)的白光图像(42)进行了预训练。
12.根据权利要求11所述的方法，其特征在于，所述一个或更多个分类神经网络是CNN。
13.根据权利要求1所述的方法，其特征在于，所述图像评估单元(40)评估所述特殊光图像(46)以检查对应的结构(6)的存在。
14.一种内窥镜成像系统(10)，所述内窥镜成像系统(10)包括具有至少一个CMOS图像传感器(26)的视频内窥镜(20)、被设计成生成白光和至少一种特殊光的光源单元(30)、图像评估单元(40)、控制单元(50)和显示装置(60)，其中，所述控制单元(50)连接到所述光源单元(30)、所述视频内窥镜(20)和所述图像评估单元(40)以进行信号传递，并且所述图像评估单元(40)连接到所述视频内窥镜(20)以进行信号传递，其特征在于，具有所述视频内窥镜(20)、所述光源单元(30)、所述图像评估单元(40)、所述控制单元(50)和所述显示装置(60)的所述内窥镜成像系统(10)被设计和配置成执行根据权利要求1至13中任一项所述的方法。
15.一种计算机可读存储介质，所述计算机可读存储介质包括用于根据权利要求14所述的内窥镜成像系统(10)的程序代码介质，所述计算机可读存储介质包括在所述内窥镜成像系统(10)的图像评估单元(40)中执行的图像评估程序组件，以及在所述内窥镜成像系统(10)的控制单元(50)中执行的控制程序组件，其特征在于，所述图像评估程序组件和所述控制程序组件被设计成当所述图像评估程序组件和所述控制程序组件在所述图像评估单元(40)和所述控制单元(50)中被执行时执行根据权利要求1至13中任一项所述的方法。
CN202110690676.8A 2020-06-23 2021-06-22 内窥镜成像方法、内窥镜成像系统和软件程序产品 Active CN113827171B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020116473.4A DE102020116473A1 (de) 2020-06-23 2020-06-23 Verfahren zur endoskopischen Bildgebung, endoskopisches Bildgebungssystem und Softwareprogrammprodukt
DE102020116473.4 2020-06-23

Publications (2)

Publication Number Publication Date
CN113827171A CN113827171A (zh) 2021-12-24
CN113827171B true CN113827171B (zh) 2024-05-03

Family

ID=76392242

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110690676.8A Active CN113827171B (zh) 2020-06-23 2021-06-22 内窥镜成像方法、内窥镜成像系统和软件程序产品

Country Status (5)

Country Link
US (1) US11857165B2 (zh)
EP (1) EP3928680B1 (zh)
JP (1) JP7261835B2 (zh)
CN (1) CN113827171B (zh)
DE (1) DE102020116473A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021107075A1 (de) 2021-03-22 2022-09-22 Olympus Winter & Ibe Gmbh Verfahren, System und Softwareprogrammprodukt zum Erstellen von Trainingsdaten für endoskopische Anwendungen
US20230051869A1 (en) * 2021-08-11 2023-02-16 Terumo Cardiovascular Systems Corporation Endoscopic vessel harvesting with thermal management and augmented reality display

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1415267A (zh) * 2001-10-18 2003-05-07 韩国电工技术研究院 荧光内窥镜装置和使用该装置在身体内对组织成像的方法
CN102197987A (zh) * 2010-03-25 2011-09-28 富士胶片株式会社 包含校准装置的内窥镜系统及其校准方法
CN102300498A (zh) * 2008-12-11 2011-12-28 生物医学临床研究基金会 用于解剖结构的红外显示设备及其信号处理方法
JP2014124331A (ja) * 2012-12-26 2014-07-07 Hoya Corp 電子内視鏡システム
CN108292366A (zh) * 2015-09-10 2018-07-17 美基蒂克艾尔有限公司 在内窥镜手术中检测可疑组织区域的系统和方法
CN109561819A (zh) * 2016-08-08 2019-04-02 索尼公司 内窥镜装置和内窥镜装置的控制方法
DE102011123037B3 (de) * 2011-09-05 2019-10-10 Carl Zeiss Ag Verfahren zum Aufnehmen von Bildern eines Beobachtungsobjektes mit einem elektronischen Bildsensor und optisches Beobachtungsgerät

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005027120A (ja) 2003-07-03 2005-01-27 Olympus Corp 双方向データ通信システム
JP5541914B2 (ja) * 2009-12-28 2014-07-09 オリンパス株式会社 画像処理装置、電子機器、プログラム及び内視鏡装置の作動方法
EP2719317A4 (en) 2012-03-30 2015-05-06 Olympus Medical Systems Corp ENDOSCOPE
JP6355527B2 (ja) * 2014-10-31 2018-07-11 富士フイルム株式会社 内視鏡システム及びその作動方法
WO2016147435A1 (ja) 2015-03-17 2016-09-22 オリンパス株式会社 内視鏡装置
WO2019003911A1 (en) * 2017-06-27 2019-01-03 Sony Corporation MEDICAL IMAGE PROCESSING APPARATUS, MEDICAL IMAGE PROCESSING METHOD, AND CALCULATION SYSTEM
JPWO2019239942A1 (ja) 2018-06-15 2021-07-01 ソニーグループ株式会社 手術用観察装置、手術用観察方法、手術用光源装置、及び手術用の光照射方法
JP7038641B2 (ja) 2018-11-02 2022-03-18 富士フイルム株式会社 医療診断支援装置、内視鏡システム、及び作動方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1415267A (zh) * 2001-10-18 2003-05-07 韩国电工技术研究院 荧光内窥镜装置和使用该装置在身体内对组织成像的方法
CN102300498A (zh) * 2008-12-11 2011-12-28 生物医学临床研究基金会 用于解剖结构的红外显示设备及其信号处理方法
CN102197987A (zh) * 2010-03-25 2011-09-28 富士胶片株式会社 包含校准装置的内窥镜系统及其校准方法
DE102011123037B3 (de) * 2011-09-05 2019-10-10 Carl Zeiss Ag Verfahren zum Aufnehmen von Bildern eines Beobachtungsobjektes mit einem elektronischen Bildsensor und optisches Beobachtungsgerät
JP2014124331A (ja) * 2012-12-26 2014-07-07 Hoya Corp 電子内視鏡システム
CN108292366A (zh) * 2015-09-10 2018-07-17 美基蒂克艾尔有限公司 在内窥镜手术中检测可疑组织区域的系统和方法
CN109561819A (zh) * 2016-08-08 2019-04-02 索尼公司 内窥镜装置和内窥镜装置的控制方法

Also Published As

Publication number Publication date
EP3928680A1 (de) 2021-12-29
JP2022002701A (ja) 2022-01-11
US20210397865A1 (en) 2021-12-23
CN113827171A (zh) 2021-12-24
JP7261835B2 (ja) 2023-04-20
DE102020116473A1 (de) 2021-12-23
EP3928680B1 (de) 2022-09-28
US11857165B2 (en) 2024-01-02

Similar Documents

Publication Publication Date Title
JP6633641B2 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
CN111295127B (zh) 检查支持装置、内窥镜装置及记录介质
JP6640866B2 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
CN113827171B (zh) 内窥镜成像方法、内窥镜成像系统和软件程序产品
JP7413585B2 (ja) 医用画像処理装置、作動方法、プログラム、及び記録媒体、診断支援装置並びに内視鏡システム
WO2006087981A1 (ja) 医用画像処理装置、管腔画像処理装置、管腔画像処理方法及びそれらのためのプログラム
CN110913746B (zh) 诊断辅助装置、诊断辅助方法及存储介质
JP7411772B2 (ja) 内視鏡システム
CN114298980A (zh) 一种图像处理方法、装置及设备
JP7326308B2 (ja) 医療画像処理装置及び医療画像処理装置の作動方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
JPWO2020170791A1 (ja) 医療画像処理装置及び方法
WO2020184257A1 (ja) 医用画像処理装置及び方法
WO2020170809A1 (ja) 医療画像処理装置、内視鏡システム、及び医療画像処理方法
JP7387859B2 (ja) 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム
CN116724334A (zh) 计算机程序、学习模型的生成方法、以及手术辅助装置
WO2021044910A1 (ja) 医療画像処理装置、内視鏡システム、医療画像処理方法及びプログラム
US11689689B2 (en) Infrared imaging system having structural data enhancement
JP7478245B2 (ja) 医療画像装置及びその作動方法
WO2021095446A1 (ja) 情報表示システムおよび情報表示方法
CN114627045A (zh) 医用图像处理系统、医用图像处理系统的工作方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant