CN112770660A - 增强彩色图像中的血管可见性 - Google Patents

增强彩色图像中的血管可见性 Download PDF

Info

Publication number
CN112770660A
CN112770660A CN201980064180.0A CN201980064180A CN112770660A CN 112770660 A CN112770660 A CN 112770660A CN 201980064180 A CN201980064180 A CN 201980064180A CN 112770660 A CN112770660 A CN 112770660A
Authority
CN
China
Prior art keywords
parameter
value
image
color
data obtained
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980064180.0A
Other languages
English (en)
Other versions
CN112770660B (zh
Inventor
安德烈亚斯·赫尔斯泰特·约恩森
芬恩·索尼伯格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anbu Co ltd
Original Assignee
Anbu Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anbu Co ltd filed Critical Anbu Co ltd
Publication of CN112770660A publication Critical patent/CN112770660A/zh
Application granted granted Critical
Publication of CN112770660B publication Critical patent/CN112770660B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/0002—Operational features of endoscopes provided with data storages
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/044—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for absorption imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0684—Endoscope light sources using light emitting diodes [LED]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3137—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for examination of the interior of blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4887—Locating particular structures in or on the body
    • A61B5/489—Blood vessels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Vascular Medicine (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

披露了一种增强由医疗设备的图像捕获设备捕获的彩色图像中的血管可见性的方法。该彩色图像具有多个颜色通道和多个像素。该方法包括针对所述多个像素中的至少一些像素执行以下步骤：(a)处理从第一颜色通道获得的数据以及从第二颜色通道获得的数据以确定指示相对于所述像素的总强度的红色光谱强度的第一参数的值；(b)使用所述第一参数的所述值来修改所述像素，其中，所述第一参数具有至少三个可能的值，并且其中，该修改强度取决于所述第一参数的值。

Description

增强彩色图像中的血管可见性
技术领域
本披露涉及一种增强由医疗设备的图像捕获设备捕获的彩色图像中的血管可见性的方法、一种用于增强彩色图像中的血管可见性的图像处理设备、一种用于识别潜在的病理性血管结构的图像处理设备、一种用于显示由图像捕获设备获得的图像的显示单元以及一种内窥镜系统。
背景技术
内部空腔的血管结构的变化可能指示多种疾病，比如自身免疫性疾病和癌症。通常，使用比如标准内窥镜或相机药丸(胶囊内窥镜)等医疗设备来检查血管结构。该医疗设备通常包括用于照亮内部空腔的光源和图像捕获设备，即用于捕获图像的相机。
然而，由于血管可能与周围的组织类型融合在一起，因此医务人员可能难以正确且精确地分析血管结构。可以通过向医疗设备提供附加光源来改善血管的可见性，该光源发射具有窄波长的光，这种光被选择为使血管相对于周围组织具有高的光吸收率。
然而，这将增加医疗设备的成本，并且还会改变所产生的图像的颜色。颜色的变化可能使医务人员更难于导航医疗设备，此外，检查内部空腔的其他组织类型的变化(可能指示病理状况)也更加困难。
US 6956602披露了一种装置，该装置包括：电平调整电路，其增加从颜色转换电路输出的G(或B)信号的增益；二值化电路，其从该G信号形成二值化图像；以及边缘检测电路，其基于该二值化信号通过边缘检测来提取血管位置信号。然后，该装置通过使用上述血管位置信号提取构成血管图像的RGB颜色信号，增加这些血管颜色信号的增益，并且然后将血管颜色信号与原始图像的颜色信号相加。
然而，可能难以精确地确定图像中的血管位置。因此，可能没有增强源自血管的图像区域，反而可能增强了并非源自血管的图像区域。
因此，提供一种用于增强由医疗设备的图像捕获设备记录的彩色图像中的血管可见性的改进方法/设备/系统仍然是一个问题。
发明内容
根据第一方面，本披露涉及一种增强由医疗设备的图像捕获设备捕获的彩色图像中的血管可见性的方法，所述彩色图像具有多个颜色通道并且具有多个像素，其中，所述方法包括针对所述多个像素中的至少一些像素执行以下步骤：
(a)处理从第一颜色通道获得的数据以及从第二颜色通道获得的数据以确定指示相对于所述像素的总强度的红色光谱强度的第一参数的值；
(b)使用所述第一参数的所述值来修改所述像素，
其中，所述第一参数具有至少三个可能的值，并且其中，该修改强度取决于所述第一参数的值。
因此，通过使用来自至少两个颜色通道的信息，可以使用彩色图像中的更多信息来估计血管的位置，从而可以进行更精确的估计。此外，通过使用非二值值来确定修改的程度，提供了一种更稳健的方法来创建更逼真的图像。
该医疗设备可以是适于被引入到体腔(比如消化系统的体腔或气道的体腔)中的医疗设备。该医疗设备可以是长形的刚性或柔性内窥镜、胶囊式内窥镜或喉镜。该医疗设备可以包括被配置为发出基本上白光的一个或多个光源。该医疗设备可以是一次性使用的长形柔性内窥镜。该图像捕获设备可以布置在内窥镜的远端部分处，例如在内窥镜的尖端处。该图像捕获设备可以可操作地连接到被配置为处理图像数据的图像处理设备。可替代地/附加地，该医疗设备可以包括被配置为处理图像数据的图像处理设备。可以在比如RGB型颜色空间或YCbCr型颜色空间等任何颜色空间中对彩色图像进行编码。彩色图像可以包括至少三个颜色通道。该方法的步骤(例如步骤(a)和步骤(b))可以对彩色图像的像素并行执行，例如步骤(a)可以对图像中的所有像素执行，然后随后的步骤(b)可以对图像中的所有像素执行。可替代地，该方法的步骤可以顺序执行，例如步骤(a)和步骤(b)可以对彩色图像的像素顺序执行，例如步骤(a)和(b)可以对第一像素执行，然后随后的步骤(a)和(b)可以对第二像素执行，依此类推。估计指示相对于总强度的红色光谱强度的第一参数的值已被证明是血管的良好指标。如果使用来自所有颜色通道的信息，则该值可以是相对于总强度的红色光谱强度的更精确指标，然而，该值也可以仅使用来自某些颜色通道(例如，三个颜色通道中的两个颜色通道)的信息来确定。
在一些实施例中，步骤(a)包括：处理从第一颜色通道获得的数据和从第二颜色通道获得的数据以及从第三颜色通道获得的数据，以确定所述第一参数的值。
因此，通过使用更多的数据，可以提供对血管位置的更精确的估计。
在一些实施例中，将从该第一颜色通道获得的所述数据与从该第二颜色通道获得的所述数据一起处理以创建第一子参数的值，将从所述第一颜色通道获得的所述数据与从所述第三颜色通道获得的所述数据一起进行处理以创建第二子参数的值，并且其中，将所述第一子参数的所述值与所述第二子参数的所述值一起处理以创建所述第一参数的所述值。
在一些实施例中，通过计算该第一子参数的所述值和该第二子参数的值的平均值来创建所述第一参数的所述值。
该平均值可以是加权平均值或未加权平均值。
在一些实施例中，步骤(a)包括从该第一颜色通道获得的所述数据减去从该第二颜色通道获得的所述数据。
作为示例，如果该第一颜色通道表示红色并且该第二颜色通道表示绿色，则当像素的红色分量明显高于绿色分量时，将产生较大的输出。
因此，提供了一种确定指示相对于像素的总强度的红色光谱强度的参数的值的简单方法。
在一些实施例中，第一参数可以具有至少8个可能值、16个可能值或32个可能值。
因此，可以在不引入不自然的高频元素的情况下有效地完成对图像的修改。
在一些实施例中，所述第一子参数的所述值和所述第二子参数的所述值均指示相对于所述像素的总强度的红色光谱强度。
在一些实施例中，通过从该第一颜色通道获得的所述数据减去从该第二颜色通道获得的所述数据来创建所述第一子参数的所述值，并且其中，通过从该第一颜色通道获得的所述数据减去从该第三颜色通道获得的所述数据来创建所述第二子参数的所述值。
作为示例，如果第一颜色通道表示红色、第二颜色通道表示绿色并且第三颜色通道表示蓝色，则当像素的红色分量明显高于绿色分量和蓝色分量时，第一子参数和第二子参数的值都将较大。
也可以通过计算从该第一颜色通道获得的数据与从该第一颜色通道、该第二颜色通道和/或该第三颜色通道获得的数据之和之间的比率(例如通过将从该第一颜色通道获得的数据除以从该第一颜色通道、该第二颜色通道和/或该第三颜色通道获得的数据之和)来确定该第一参数的值。
在一些实施例中，不具有血管的彩色图像的部分基本上未修改并且以正常颜色显示。
在一些实施例中，步骤(b)包括：从所述彩色图像的多个颜色通道中的至少一个颜色通道的值减去或加上修改参数的值，其中，该修改参数的值与该第一参数的值有关。
该修改参数的值可以简单地是该第一参数的值。可以从所述彩色图像的所有颜色通道中减去该修改参数。
在一些实施例中，所述方法进一步包括：
确定指示所述像素的强度的第二参数的值，并且其中，所述第一参数的所述值与所述第二参数的所述值一起用于修改所述像素。
这可以允许该方法减小彩色图像的暗区域中的修改强度，在该暗区域中，噪声可能使得难以精确地确定血管位置。
在一些实施例中，在对所述多个颜色通道一起进行处理之前对其进行归一化。
在一些实施例中，针对所述多个颜色通道中的每一个创建指示每个像素的局部平均值的低通滤波图像，并且其中，使用每个颜色通道的低通滤波图像来对每个颜色通道进行归一化。
在一些实施例中，所述彩色图像是RGB彩色图像，所述第一颜色通道是红色通道，并且所述第二颜色通道是绿色或蓝色通道。
在一些实施例中，所述医疗设备被配置为被插入到体腔中并且在记录所述彩色图像时用白光照射所述体腔。
在一些实施例中，基于用户输入来创建第三参数的值，并且其中，所述修改取决于所述第一参数的所述值和所述第三参数的所述值，由此该用户可以控制该修改强度。
作为示例，修改参数的值可以通过将第一参数的值与第三参数的值以及可能还有第二参数的值相乘来找到。
在一些实施例中，所述医疗设备是内窥镜。
在一些实施例中，该第一参数的高值指示相对于所述像素的总强度的红色光谱高强度，并且该第一参数的低值指示相对于所述像素的总强度的红色光谱低强度。
在一些实施例中，在所有可能值的最高50％之中的第一参数的值导致的修改比由在所有可能值的最低50％之中的第一参数的值导致的修改更显著。
在一些实施例中，对于所述第一参数的至少50％的可能值，该第一参数的值的增加导致修改强度的增加。
在一些实施例中，所述像素的修改与绿色光谱相对于蓝色光谱的强度无关。
根据第二方面，本披露涉及一种用于增强彩色图像中的血管可见性的图像处理设备，所述图像处理设备包括可操作地连接到医疗设备的图像捕获设备的处理单元，其中，所述处理单元被配置为从所述图像捕获设备接收具有多个颜色通道的彩色图像，所述彩色图像具有多个像素，并且其中，所述处理单元进一步被配置为针对所述多个像素中的至少一些像素执行以下步骤：
(a)处理从第一颜色通道获得的数据以及从第二颜色通道获得的数据以确定指示相对于所述像素的总强度的红色光谱强度的第一参数的值；
(b)使用所述第一参数的所述值来修改所述像素，
其中，所述第一参数具有至少三个可能的值，并且其中，该修改强度取决于所述第一参数的值。
在一些实施例中，步骤(a)包括：处理从第一颜色通道获得的数据和从第二颜色通道获得的数据以及从第三颜色通道获得的数据，以确定所述第一参数的值。
在一些实施例中，将从该第一颜色通道获得的所述数据与从该第二颜色通道获得的所述数据一起处理以创建第一子参数的值，将从所述第一颜色通道获得的所述数据与从所述第三颜色通道获得的所述数据一起进行处理以创建第二子参数的值，并且其中，将所述第一子参数的所述值与所述第二子参数的所述值一起处理以创建所述第一参数的所述值。
在一些实施例中，通过计算该第一子参数的所述值和该第二子参数的值的平均值来创建所述第一参数的所述值。
在一些实施例中，步骤(a)包括从该第一颜色通道获得的所述数据减去从该第二颜色通道获得的所述数据。
在一些实施例中，第一参数可以具有至少8个可能值、16个可能值或32个可能值。
在一些实施例中，所述第一子参数的所述值和所述第二子参数的所述值均指示相对于所述像素的总强度的红色光谱强度。
在一些实施例中，通过从该第一颜色通道获得的所述数据减去从该第二颜色通道获得的所述数据来创建所述第一子参数的所述值，并且其中，通过从该第一颜色通道获得的所述数据减去从该第三颜色通道获得的所述数据来创建所述第二子参数的所述值。
在一些实施例中，不具有血管的彩色图像的部分基本上未修改并且以正常颜色显示。
在一些实施例中，步骤(b)包括：从所述彩色图像的多个颜色通道中的至少一个颜色通道的值减去或加上修改参数的值，其中，该修改参数的值与该第一参数的值有关。
在一些实施例中，所述处理单元进一步被配置为：确定指示所述像素的强度的第二参数的值，并且其中，所述第一参数的所述值与所述第二参数的所述值一起用于修改所述像素。
在一些实施例中，在对所述多个颜色通道一起进行处理之前对其进行归一化。
在一些实施例中，针对所述多个颜色通道中的每一个创建指示每个像素的局部平均值的低通滤波图像，并且其中，使用每个颜色通道的低通滤波图像来对每个颜色通道进行归一化。
在一些实施例中，通过从该第一颜色通道获得的所述数据减去从该第二颜色通道获得的所述数据来创建所述第一子参数的所述值，并且其中，通过从该第一颜色通道获得的所述数据减去从该第三颜色通道获得的所述数据来创建所述第二子参数的所述值。
在一些实施例中，所述彩色图像是RGB彩色图像，所述第一颜色通道是红色通道，并且所述第二颜色通道是绿色或蓝色通道。
在一些实施例中，所述医疗设备被配置为被插入到体腔中并且在记录所述彩色图像时用白光照射所述体腔。
在一些实施例中，所述图像处理设备可操作地连接到用于接收用户输入的输入单元，并且进一步被配置为从所述输入单元接收用户选择的第三参数的值，并且其中，该修改取决于所述第一参数的所述值和所述第三参数的所述值，由此该用户可以控制该修改强度。
在一些实施例中，所述医疗设备是内窥镜。
在一些实施例中，该第一参数的高值指示相对于所述像素的总强度的红色光谱高强度，并且该第一参数的低值指示相对于所述像素的总强度的红色光谱低强度。
在一些实施例中，在所有可能值的最高50％之中的第一参数的值导致的修改比由在所有可能值的最低50％之中的第一参数的值导致的修改更显著。
在一些实施例中，对于所述第一参数的至少50％的可能值，该第一参数的值的增加导致修改强度的增加。
在一些实施例中，所述像素的修改与绿色光谱相对于蓝色光谱的强度无关。
根据第三方面，本披露涉及一种用于识别潜在的病理性血管结构的图像处理设备，所述图像处理设备包括可操作地连接到医疗设备的图像捕获设备的处理单元，其中，所述处理单元被配置为使用被训练用于识别适于计算机图像分析的图像中的潜在病理性血管结构的机器学习数据架构来处理这种图像，其中，适于计算机分析的所述图像是通过处理由所述图像捕获设备记录的具有多个颜色通道的彩色图像生成的，所述彩色图像具有多个像素，其中，所述彩色图像的处理包括针对所述多个像素中的至少一些像素执行以下步骤：
(a)处理从第一颜色通道获得的数据以及从第二颜色通道获得的数据以确定指示相对于所述像素的总强度的红色光谱强度的第一参数的值；
(b)使用所述第一参数的所述值来创建适于计算机图像分析的图像的像素值。
因此，通过使用步骤a)和b)预处理彩色图像，可以增强血管结构，从而使机器学习数据架构更容易识别潜在的病理性血管结构。这可以使机器学习数据架构能够识别更多潜在的病理性血管结构并更快地执行其处理，即使用更少的计算资源，从而实现机器学习数据架构的实时分析。
在一些实施例中，所述机器学习数据架构是有监督的机器学习架构并通过向其提供由步骤a)和b)创建的图像的训练数据集来进行训练，其中，所述训练数据集的图像的第一子集示出病理性血管结构，并且所述训练数据集的图像的第二子集示出健康的血管结构。
在一些实施例中，该训练数据集包括示出肿瘤的血管结构的多个图像。
可以通过比如内窥镜等医疗设备的图像捕获设备来记录多个图像。
在一些实施例中，适于计算机图像分析的图像的像素值对应于第一参数的值可选地乘以从所述彩色图像得出的权重值；或者适于计算机图像分析的图像的像素值是来自使用所述第一参数的值修改的所述彩色图像的修改像素，并且其中，该修改强度取决于所述第一参数的值。
在一些实施例中，将从该第一颜色通道获得的所述数据与从该第二颜色通道获得的所述数据一起处理以创建第一子参数的值，将从所述第一颜色通道获得的所述数据与从所述第三颜色通道获得的所述数据一起进行处理以创建第二子参数的值，并且其中，将所述第一子参数的所述值与所述第二子参数的所述值一起处理以创建所述第一参数的所述值。
在一些实施例中，通过计算该第一子参数的所述值和该第二子参数的值的平均值来创建所述第一参数的所述值。
在一些实施例中，步骤(a)包括从该第一颜色通道获得的所述数据减去从该第二颜色通道获得的所述数据。
在一些实施例中，第一参数可以具有至少8个可能值、16个可能值或32个可能值。
在一些实施例中，所述第一子参数的所述值和所述第二子参数的所述值均指示相对于所述像素的总强度的红色光谱强度。
在一些实施例中，通过从该第一颜色通道获得的所述数据减去从该第二颜色通道获得的所述数据来创建所述第一子参数的所述值，并且其中，通过从该第一颜色通道获得的所述数据减去从该第三颜色通道获得的所述数据来创建所述第二子参数的所述值。
在一些实施例中，所述处理单元进一步被配置为：确定指示所述像素的强度的第二参数的值，并且其中，所述第一参数的所述值与所述第二参数的所述值一起用于创建适于计算机图像分析的图像的所述像素值。
在一些实施例中，在对所述多个颜色通道一起进行处理之前对其进行归一化。
在一些实施例中，针对所述多个颜色通道中的每一个创建指示每个像素的局部平均值的低通滤波图像，并且其中，使用每个颜色通道的低通滤波图像来对每个颜色通道进行归一化。
在一些实施例中，通过从该第一颜色通道获得的所述数据减去从该第二颜色通道获得的所述数据来创建所述第一子参数的所述值，并且其中，通过从该第一颜色通道获得的所述数据减去从该第三颜色通道获得的所述数据来创建所述第二子参数的所述值。
在一些实施例中，所述彩色图像是RGB彩色图像，所述第一颜色通道是红色通道，并且所述第二颜色通道是绿色或蓝色通道。
在一些实施例中，该第一参数的高值指示相对于所述像素的总强度的红色光谱高强度，并且该第一参数的低值指示相对于所述像素的总强度的红色光谱低强度。
在一些实施例中，在所有可能值的最高50％之中的第一参数的值导致的修改比由在所有可能值的最低50％之中的第一参数的值导致的修改更显著。
在一些实施例中，对于所述第一参数的至少50％的可能值，该第一参数的值的增加导致修改强度的增加。
在一些实施例中，所述像素的修改与绿色光谱相对于蓝色光谱的强度无关。
在一些实施例中，该机器学习数据架构是人工神经网络，比如深度结构化学习架构。
在一些实施例中，该处理单元直接可操作地连接到该图像捕获设备，并且被配置为接收该彩色图像并执行步骤a)和b)以创建适于计算机图像分析的图像。
在一些实施例中，该处理单元经由另一图像处理设备间接可操作地连接到该图像捕获设备。
在一些实施例中，所述图像处理设备被配置为从所述另一图像处理设备接收适于计算机图像分析的所述图像，所述另一图像处理设备被配置为接收该彩色图像并执行步骤a)和b)以创建适于计算机图像分析的图像。
根据第四方面，本披露涉及一种用于显示由医疗设备的图像捕获设备获得的图像的显示单元，其中，所述显示单元包括如关于本披露的第二方面或本披露的第三方面所披露的图像处理设备。
根据第五方面，本披露涉及一种内窥镜系统，该内窥镜系统包括内窥镜和如关于本披露的第二方面或本披露的第三方面所披露的图像处理设备，其中，所述内窥镜具有图像捕获设备，并且所述图像处理设备的所述处理单元可操作地连接到所述内窥镜的所述图像捕获设备。
在一些实施例中，该内窥镜系统进一步包括如关于本披露的第四方面所披露的显示单元，其中，所述显示单元可操作地连接到所述内窥镜的所述图像捕获设备，并且被配置为显示所述捕获的图像。
根据第六方面，本披露涉及一种计算机程序产品，该计算机程序产品包括程序代码装置，当所述程序代码装置在数据处理系统上执行时，适于使该数据处理系统执行关于本披露的第一方面所披露的方法的步骤。
在一些实施例中，所述计算机程序产品包括其上存储有该程序代码装置的非暂态计算机可读介质。
根据第七方面，本披露涉及一种数据处理系统，该数据处理系统被配置为执行关于本披露的第一方面所披露的方法。
可以以不同方式实施本披露的不同方面，包括如以上和以下描述的方法、图像处理设备、显示单元、内窥镜系统和计算程序产品，各自产生结合以上描述的至少一个方面描述的一个或多个益处和优点，并且各自具有一个或多个优选的实施例，这些实施例与结合以上描述的和/或从属权利要求中披露的至少一个方面描述的优选实施例相对应。此外，应理解的是，结合本文所描述的方面之一所描述的实施例可以等同地应用于其他方面。
附图说明
将通过以下参照附图对本披露实施例进行的说明性且非限制性的详细说明进一步阐述本披露的上述和/或附加的目的、特征和优点，在附图中：
图1示出了内窥镜的示例。
图2示出了可以连接到图1所示的内窥镜的显示单元的示例。
图3示出了根据本披露实施例的增强由医疗设备的图像捕获设备捕获的彩色图像中的血管可见性的方法的流程图。
图4示出了根据本披露实施例的内窥镜系统的示意图。
图5示出了根据本披露实施例的内窥镜系统的示意图。
图6示出了根据本披露实施例的增强由医疗设备的图像捕获设备捕获的彩色图像中的血管可见性的方法的流程图。
图7示出了根据本披露实施例的增强由医疗设备的图像捕获设备捕获的彩色图像中的血管可见性的方法的流程图。
图8a示出了在增强血管可见性之前的内部空腔的彩色图像，并且图8b示出了根据本披露实施例的在增强了血管可见性之后的彩色图像。
图9示出了根据本披露的实施例的内窥镜系统901的示意图。
具体实施方式
在以下描述中，参考了附图，这些附图通过图示的方式示出了可以如何实践本披露的实施例。
图1展示了内窥镜100的示例。这个内窥镜可以适于一次性使用。内窥镜100设置有手柄102，该手柄被附接到设置有弯曲区段106的插入管104。插入管104以及弯曲区段106可以设置有一个或若干个工作通道，使得比如夹持设备等器械可以经由内窥镜被插入人体中。该一个或若干个通道的一个或多个出口孔可以被设置在内窥镜100的端头部108中。除了出口孔之外，相机传感器(比如CMOS传感器或任何其他图像捕获设备)以及一个或若干个光源(比如发光二极管(LED)、光纤或任何其他发光设备)可以被放置在端头部108中。通过使相机传感器和光源以及图2中展示的监视器200被配置为基于由相机传感器捕获的图像数据显示图像，操作者能够看到并分析人体的内部，以便例如定位用于采集样本的位置。此外，由于通过相机传感器和监视器可以得到的视觉反馈，操作者将能够以精确的方式控制器械。此外，由于一些疾病或健康问题可能导致自然色或其他视觉症状方面的移位，因此操作者配备了用于基于通过相机传感器和监视器提供的图像数据进行诊断的有价值的输入。
为了使操作者可以引导相机传感器使得可以获得不同的视场，内窥镜具有弯曲区段106，该弯曲区段可以相对于插入管104在不同的方向上弯曲。操作者可以通过使用被放置在手柄102上的旋钮110来控制弯曲区段106。图1中展示的手柄102被设计成使得旋钮110由操作者的拇指控制，但是其他设计也是可能的。为了控制通过工作通道提供的夹持设备或其他设备，可以使用按钮112。图1中展示的手柄102被设计成使得操作者的食指用于控制夹持设备，但是其他设计也是可能的。
由相机传感器捕获的图像数据以及可选地由放置在端头部中的其他传感器捕获的其他数据可以经由连接电缆114和连接器116传送到图2中展示的显示单元200。即使展示了基于线的数据传输，通过使用无线数据传输来传送图像数据是同样可能的。
显示单元200优选地是可重复使用的设备。通过具有一次性使用的设备和可重复使用的另一个设备，大部分数据处理能力可以被放置在可重复使用的设备中，以便在从健康角度来看在使用安全的同时达到成本效益水平。
显示单元200可以包括如关于本披露的第二方面和/或本披露的第三方面所解释的图像处理设备。
图3示出了根据本披露实施例的增强彩色图像中的血管可见性的方法的流程图。该彩色图像具有多个颜色通道和多个像素，其中，该方法包括针对多个像素中的至少一些像素执行以下步骤：301处理从第一颜色通道获得的数据以及从第二颜色通道获得的数据以确定指示相对于像素的总强度的红色光谱强度的第一参数的值；302使用第一参数的值来修改像素，其中，该第一参数具有至少三个可能的值，并且其中，该修改强度取决于第一参数的值。
图4示出了根据本披露的实施例的内窥镜系统401的示意图。内窥镜系统401包括内窥镜402和如关于本披露的第二方面和/或本披露的第三方面披露的图像处理设备404，其中，内窥镜402具有图像捕获设备403，并且图像处理设备404的处理单元可操作地连接到内窥镜403的图像捕获设备。在该实施例中，图像处理设备404集成在被配置为显示增强的捕获图像的显示单元405中。
图5示出了根据本披露的实施例的内窥镜系统501的示意图。内窥镜系统501包括内窥镜502和如关于本披露的第二方面和/或本披露的第三方面披露的图像处理设备504，其中，内窥镜502具有图像捕获设备503，并且图像处理设备504的处理单元可操作地连接到内窥镜503的图像捕获设备。在该实施例中，图像处理设备504被提供为可操作地连接到被配置为显示增强的捕获图像的显示单元505的独立单元。
图6示出了增强由医疗设备的图像捕获设备捕获的彩色图像中的血管可见性的方法的流程图。示出了具有多个颜色通道的单个彩色图像601。在该实施例中，彩色图像601以RGB颜色空间来编码。在第一步骤中，将彩色图像601分离为红色通道602、绿色通道603和蓝色通道604。接下来针对每个像素，通过从红色通道602获得的数据(例如红色强度值)减去605从绿色通道603获得的数据(例如绿色强度值)来创建第一子参数的值。这产生第一子参数图像607。相应地，针对每个像素，通过从红色通道602获得的数据(例如红色强度值)减去从蓝色通道604获得的数据(例如蓝色强度值)606来创建第二子参数的值。这产生第二子参数图像608。然后，针对每个像素，通过计算该第一子参数的值和该第二子参数的值的平均值609来创建第一参数的值。这产生第一参数图像610。该第一参数具有至少三个可能的值，例如至少8、16、32、64、128、256个可能的值。第一参数图像610示出了彩色图像601中的相对于总强度的红色光谱强度高的区域。这已被示出为是血管的可靠指标。最后，使用第一参数图像610来修改611原始彩色图像601，以创建修改的图像612，其中，修改强度取决于第一参数的值。作为示例，针对每个像素，可以从彩色图像601中的每个颜色通道的值中减去第一参数的值。这将具有以下效果：血管将变得更暗，并且图像的其余部分将变得更亮。然而，颜色将基本上不受影响。然后可以降低修改的图像612的整体强度，使得修改的图像612中的没有血管的区域的强度将具有与原始彩色图像601中的相应区域的强度基本匹配的强度。
图7示出了增强由医疗设备的图像捕获设备捕获的彩色图像中的血管可见性的方法的流程图。示出了具有多个颜色通道的单个彩色图像701。在该实施例中，彩色图像701以RGB颜色空间来编码。在第一步骤中，将彩色图像701分离为红色通道702、绿色通道703和蓝色通道704。接下来，对红色通道702进行低通滤波705以创建低通滤波的红色通道708，对绿色通道703进行低通滤波706以创建低通滤波的绿色通道709，并且对蓝色通道进行低通滤波707以创建低通滤波的蓝色通道710。低通滤波的颜色通道708至710示出了每个像素的局部平均值。接下来，使用低通滤波的红色通道708来对红色通道702进行归一化711以创建归一化的红色通道714，使用低通滤波的绿色通道709来对绿色通道703进行归一化712以创建归一化的绿色通道715，并且使用低通滤波的蓝色通道710来对蓝色通道704进行归一化714以创建归一化的蓝色通道716。然后，将归一化的颜色通道714至716一起进行处理718以创建指示相对于总强度的红色光谱强度的第一参数图像720。可以以与一起处理图6中的颜色通道602至604以创建第一参数图像610相同的方式来一起处理718归一化的颜色通道714至716以创建第一参数图像720。接下来，将红色通道、绿色通道和蓝色通道702至704一起处理(例如通过将红色通道、绿色通道和蓝色通道702至704相加)以确定指示每个像素的强度的第二参数的值，从而创建第二参数图像719。接下来，将第一参数图像720和第二参数图像719一起处理721以创建修改参数图像722。这可以通过每个像素将第一参数图像720与第二参数图像719相乘来完成。最后，使用修改参数图像722来修改723原始彩色图像701，以创建修改的图像724，其中，修改强度取决于修改参数图像722的值。
图8a示出了在增强血管可见性之前的内部空腔的彩色图像，并且图8b示出了根据本披露实施例的在增强了血管可见性之后的彩色图像。可以看出，在图8b的图像中血管更清晰，而其他组织类型的呈现基本不变。这将使医务人员能够有效地检查血管结构和内部空腔的其他区域是否存在病理变化。
图9示出了根据本披露的实施例的内窥镜系统901的示意图。内窥镜系统901包括内窥镜902、第一图像处理设备904和第二图像处理设备906，其中，第一图像处理设备904和第二图像处理设备906均具有处理单元。内窥镜902具有图像捕获设备903，并且第一图像处理设备904的处理单元可操作地连接到内窥镜903的图像捕获设备。在该实施例中，第一图像处理设备904集成在显示单元905中，并且第二图像处理设备906的处理单元直接可操作地连接到第一图像处理设备904的处理单元，并且经由第一图像处理设备904间接可操作地连接到内窥镜903的图像捕获设备。在该实施例中，第一图像处理设备904的处理单元被配置为通过处理由图像捕获设备903记录的具有多个颜色通道的彩色图像来生成适于计算机图像分析的图像，该彩色图像具有多个像素，其中，该彩色图像的处理包括针对所述多个像素中的至少一些像素执行以下步骤：
(a)处理从第一颜色通道获得的数据以及从第二颜色通道获得的数据以确定指示相对于所述像素的总强度的红色光谱强度的第一参数的值；
(b)使用所述第一参数的所述值来创建适于计算机图像分析的图像的像素值。适于计算机图像分析的图像被转发到第二图像处理设备906，在该第二图像处理设备中，使用被训练用于识别适于计算机分析的图像中的潜在病理性血管结构的机器学习数据架构来处理这种图像。第二图像处理单元906可以布置在第一图像处理设备904附近，其中，第一图像处理设备904和第二图像处理设备906直接通信或经由本地网络通信。可替代地，第二图像处理设备可以被布置为远离第一图像处理设备，并且经由WAN(比如互联网)进行通信。来自机器学习数据架构的输出可以是提供给第一图像处理设备904的通知。该通知可以仅仅指定已经识别出潜在的病理性血管结构。然而，该通知还可以指示病理类型和/或图像中的位置。如果该通知指定了潜在病理的位置，则显示单元905可以被配置为突出显示已经识别出潜在病理的图像部分。适于计算机分析的图像可以更清楚地示出血管结构(与原始彩色图像相比)，从而使机器学习数据架构更容易识别潜在的病理性血管结构。适于计算机分析的图像的示例是(参考图7的实施例)修改的图像724、第一参数图像720和修改参数图像722。
虽然已经详细描述并示出了一些实施例，但是本发明不局限于此、还可以以落入所附权利要求中所限定的主题范围的其他方式来实施。具体而言，应理解的是，在不脱离本发明的范围的情况下可以利用其他实施例并且可以做出结构和功能改变。
在列举了若干装置的设备权利要求中，这些装置中的若干装置可以由同一件硬件来实施。在相互不同的从属权利要求中引用的或在不同实施例中描述的某些措施的这种单纯事实并不指示不能有利地使用这些措施的组合。
应强调的是，当在本说明书中使用时，术语“包括(comprises/comprising)”被用于指定所陈述的特征、整体、步骤或部件的存在，但不排除存在或添加一个或多个其他特征、整体、步骤、部件或其群组。

Claims (40)

1.一种增强由医疗设备的图像捕获设备捕获的彩色图像中的血管可见性的方法，所述彩色图像具有多个颜色通道并且具有多个像素，其中，所述方法包括针对所述多个像素中的至少一些像素执行以下步骤：
(a)处理从第一颜色通道获得的数据以及从第二颜色通道获得的数据以确定指示相对于所述像素的总强度的红色光谱强度的第一参数的值；
(b)使用所述第一参数的所述值来修改所述像素，
其中，所述第一参数具有至少三个可能的值，并且其中，该修改强度取决于所述第一参数的值。
2.根据权利要求1所述的方法，其中，步骤(a)包括：处理从第一颜色通道获得的数据和从第二颜色通道获得的数据以及从第三颜色通道获得的数据，以确定所述第一参数的值。
3.根据权利要求2所述的方法，其中，将从该第一颜色通道获得的所述数据与从该第二颜色通道获得的所述数据一起处理以创建第一子参数的值，将从所述第一颜色通道获得的所述数据与从所述第三颜色通道获得的所述数据一起进行处理以创建第二子参数的值，并且其中，将所述第一子参数的所述值与所述第二子参数的所述值一起处理以创建所述第一参数的所述值。
4.根据权利要求3所述的方法，其中，所述第一子参数的所述值和所述第二子参数的所述值均指示相对于所述像素的总强度的红色光谱强度。
5.根据权利要求1至4中任一项所述的方法，其中，步骤(a)包括从该第一颜色通道获得的所述数据减去从该第二颜色通道获得的所述数据。
6.根据权利要求1至5中任一项所述的方法，其中，不具有血管的彩色图像部分基本上未修改并且以正常颜色显示。
7.根据权利要求1至6中任一项所述的方法，其中，所述方法进一步包括：
确定指示所述像素的强度的第二参数的值，并且其中，所述第一参数的所述值与所述第二参数的所述值一起用于修改所述像素。
8.根据权利要求1至7中任一项所述的方法，其中，在对所述多个颜色通道一起进行处理之前对其进行归一化。
9.根据权利要求8所述的方法，其中，针对所述多个颜色通道中的每一个创建指示每个像素的局部平均值的低通滤波图像，并且其中，使用每个颜色通道的低通滤波图像来对每个颜色通道进行归一化。
10.根据权利要求1至9中任一项所述的方法，其中，基于用户输入来创建第三参数的值，并且其中，修改取决于所述第一参数的所述值和所述第三参数的所述值，由此该用户可以控制该修改强度。
11.根据权利要求1至10中任一项所述的方法，其中，该第一参数的高值指示相对于所述像素的总强度的红色光谱高强度，并且该第一参数的低值指示相对于所述像素的总强度的红色光谱低强度。
12.根据权利要求11所述的方法，其中，在所有可能值的最高50％之中的第一参数的值导致的修改比由在所有可能值的最低50％之中的第一参数的值导致的修改更显著。
13.根据权利要求11或12所述的方法，其中，对于所述第一参数的至少50％的可能值，该第一参数的值的增加导致修改强度的增加。
14.根据权利要求1至13中任一项所述的方法，其中，所述像素的修改与绿色光谱相对于蓝色光谱的强度无关。
15.一种用于增强彩色图像中的血管可见性的图像处理设备，所述图像处理设备包括可操作地连接到医疗设备的图像捕获设备的处理单元，其中，所述处理单元被配置为从所述图像捕获设备接收具有多个颜色通道的彩色图像，所述彩色图像具有多个像素，并且其中，所述处理单元进一步被配置为针对所述多个像素中的至少一些像素执行以下步骤：
(a)处理从第一颜色通道获得的数据以及从第二颜色通道获得的数据以确定指示相对于所述像素的总强度的红色光谱强度的第一参数的值；
(b)使用所述第一参数的所述值来修改所述像素，
其中，所述第一参数具有至少三个可能的值，并且其中，该修改强度取决于所述第一参数的值。
16.根据权利要求15所述的图像处理设备，其中，步骤(a)包括：处理从第一颜色通道获得的数据和从第二颜色通道获得的数据以及从第三颜色通道获得的数据，以确定所述第一参数的值。
17.根据权利要求16所述的图像处理设备，其中，将从该第一颜色通道获得的所述数据与从该第二颜色通道获得的所述数据一起处理以创建第一子参数的值，将从所述第一颜色通道获得的所述数据与从所述第三颜色通道获得的所述数据一起进行处理以创建第二子参数的值，并且其中，将所述第一子参数的所述值与所述第二子参数的所述值一起处理以创建所述第一参数的所述值。
18.根据权利要求17所述的图像处理设备，其中，所述第一子参数的所述值和所述第二子参数的所述值均指示相对于所述像素的总强度的红色光谱强度。
19.根据权利要求16至19中任一项所述的图像处理设备，其中，步骤(a)包括从该第一颜色通道获得的所述数据减去从该第二颜色通道获得的所述数据。
20.根据权利要求15至21中任一项所述的图像处理设备，其中，不具有血管的彩色图像部分基本上未修改并且以正常颜色显示。
21.根据权利要求15至20中任一项所述的图像处理设备，其中，该处理单元进一步被配置为执行以下步骤：
确定指示所述像素的强度的第二参数的值，并且其中，所述第一参数的所述值与所述第二参数的所述值一起用于修改所述像素。
22.根据权利要求15至21中任一项所述的图像处理设备，其中，在对所述多个颜色通道一起进行处理之前对其进行归一化。
23.根据权利要求22所述的图像处理设备，其中，针对所述多个颜色通道中的每一个创建指示每个像素的局部平均值的低通滤波图像，并且其中，使用每个颜色通道的低通滤波图像来对每个颜色通道进行归一化。
24.根据权利要求15至23中任一项所述的图像处理设备，其中，所述图像处理设备可操作地连接到用于接收用户输入的输入单元，并且进一步被配置为从所述输入单元接收用户选择的第三参数的值，并且其中，该修改取决于所述第一参数的所述值和所述第三参数的所述值，由此该用户可以控制该修改强度。
25.根据权利要求15至24中任一项所述的图像处理设备，其中，该第一参数的高值指示相对于所述像素的总强度的红色光谱高强度，并且该第一参数的低值指示相对于所述像素的总强度的红色光谱低强度。
26.根据权利要求25所述的图像处理设备，其中，在所有可能值的最高50％之中的第一参数的值导致的修改比由在所有可能值的最低50％之中的第一参数的值导致的修改更显著。
27.根据权利要求25或26所述的图像处理设备，其中，对于所述第一参数的至少50％的可能值，该第一参数的值的增加导致修改强度的增加。
28.根据权利要求15至27中任一项所述的图像处理设备，其中，所述像素的修改与绿色光谱相对于蓝色光谱的强度无关。
29.一种用于识别潜在的病理性血管结构的图像处理设备，所述图像处理设备包括可操作地连接到医疗设备的图像捕获设备的处理单元，其中，所述处理单元被配置为使用被训练用于识别适于计算机图像分析的图像中的潜在病理性血管结构的机器学习数据架构来处理这种图像，其中，适于计算机分析的所述图像是通过处理由所述图像捕获设备记录的具有多个颜色通道的彩色图像生成的，所述彩色图像具有多个像素，其中，所述彩色图像的处理包括针对所述多个像素中的至少一些像素执行以下步骤：
(a)处理从第一颜色通道获得的数据以及从第二颜色通道获得的数据以确定指示相对于所述像素的总强度的红色光谱强度的第一参数的值；
(b)使用所述第一参数的所述值来创建适于计算机图像分析的图像的像素值。
30.根据权利要求29所述的图像处理设备，其中，所述机器学习数据架构是有监督的机器学习架构并被提供由步骤a)和b)创建的图像的训练数据集，其中，所述训练数据集的图像的第一子集示出病理性血管结构，并且所述训练数据集的图像的第二子集示出健康的血管结构。
31.根据权利要求30所述的图像处理设备，其中，该训练数据集包括示出肿瘤的血管结构的多个图像。
32.根据权利要求29至31中任一项所述的图像处理设备，其中，适于计算机图像分析的图像的像素值对应于该第一参数的值可选地乘以从所述彩色图像得出的权重值；或者适于计算机图像分析的图像的像素值是来自使用所述第一参数的值修改的所述彩色图像的修改像素，并且其中，该修改强度取决于所述第一参数的值。
33.根据权利要求29至32中任一项所述的图像处理设备，其中，该机器学习数据架构是人工神经网络，比如深度结构化学习架构。
34.根据权利要求29至33中任一项所述的图像处理设备，其中，该处理单元直接可操作地连接到该图像捕获设备，并且被配置为接收该彩色图像并执行步骤a)和b)以创建适于计算机图像分析的图像。
35.根据权利要求34所述的图像处理设备，其中，该处理单元经由另一图像处理设备间接可操作地连接到该图像捕获设备，其中，所述图像处理设备被配置为从所述另一图像处理设备接收适于计算机图像分析的所述图像，所述另一图像处理设备被配置为接收该彩色图像并执行步骤a)和b)以创建适于计算机图像分析的图像。
36.一种用于显示由医疗设备的图像捕获设备获得的图像的显示单元，其中，所述显示单元包括根据权利要求15至34中任一项所述的图像处理设备。
37.一种内窥镜系统，包括内窥镜和根据权利要求15至34中任一项所述的图像处理设备，其中，所述内窥镜具有图像捕获设备，并且所述图像处理设备的所述处理单元可操作地连接到所述内窥镜的所述图像捕获设备。
38.根据权利要求37所述的内窥镜系统，其中，所述内窥镜系统进一步包括根据权利要求36所述的显示单元，其中，所述显示单元可操作地连接到所述内窥镜的所述图像捕获设备，并被配置为显示所述捕获的图像。
39.一种计算机程序产品，包括程序代码装置，当所述程序代码装置在数据处理系统上执行时，适于使该数据处理系统执行根据权利要求1至14中任一项所述的方法的步骤。
40.根据权利要求39所述的计算机程序产品，其中，所述计算机程序产品包括其上存储有该程序代码装置的非暂态计算机可读介质。
CN201980064180.0A 2018-09-07 2019-09-03 增强彩色图像中的血管可见性 Active CN112770660B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18193186.6 2018-09-07
EP18193186.6A EP3620098B1 (en) 2018-09-07 2018-09-07 Enhancing the visibility of blood vessels in colour images
PCT/EP2019/073483 WO2020048997A1 (en) 2018-09-07 2019-09-03 Enhancing the visibility of blood vessels in colour images

Publications (2)

Publication Number Publication Date
CN112770660A true CN112770660A (zh) 2021-05-07
CN112770660B CN112770660B (zh) 2022-07-12

Family

ID=63528603

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201980064180.0A Active CN112770660B (zh) 2018-09-07 2019-09-03 增强彩色图像中的血管可见性
CN202110251023.XA Pending CN113436082A (zh) 2018-09-07 2021-03-08 用于增强彩色图像中的血管可见性的方法以及可视化系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202110251023.XA Pending CN113436082A (zh) 2018-09-07 2021-03-08 用于增强彩色图像中的血管可见性的方法以及可视化系统

Country Status (4)

Country Link
US (3) US11205253B2 (zh)
EP (3) EP3620098B1 (zh)
CN (2) CN112770660B (zh)
WO (1) WO2020048997A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3620098B1 (en) 2018-09-07 2021-11-03 Ambu A/S Enhancing the visibility of blood vessels in colour images
GB201908517D0 (en) * 2019-06-13 2019-07-31 Spectral Edge Ltd 3D digital imagenoise reduction system and method
WO2021249684A1 (en) 2020-06-10 2021-12-16 Huawei Technologies Co., Ltd. Adaptive image enhancement using inter-channel correlation information
CN112017174B (zh) * 2020-09-03 2024-05-31 湖南省华芯医疗器械有限公司 图像处理方法、装置、电子设备及存储介质
WO2022066601A1 (en) * 2020-09-25 2022-03-31 Boston Scientific Scimed, Inc. Color extrapolation from monochrome image sensor
JP2022180108A (ja) * 2021-05-24 2022-12-06 富士フイルム株式会社 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法
CN113947553B (zh) * 2021-12-20 2022-03-18 山东信通电子股份有限公司 一种图像亮度增强方法及设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102186401A (zh) * 2008-10-17 2011-09-14 奥林巴斯株式会社 图像生成装置、内窥镜系统以及图像生成方法
CN102727158A (zh) * 2011-04-01 2012-10-17 富士胶片株式会社 内窥镜系统以及校准方法
CN103654686A (zh) * 2012-09-07 2014-03-26 富士胶片株式会社 内窥镜系统及其处理器装置、内窥镜图像的显示控制方法及胶囊内窥镜系统
CN104023618A (zh) * 2012-01-25 2014-09-03 富士胶片株式会社 内窥镜系统、内窥镜系统的处理器装置以及图像处理方法
CN104899876A (zh) * 2015-05-18 2015-09-09 天津工业大学 一种基于自适应高斯差分的眼底图像血管分割方法
CN105705075A (zh) * 2013-10-28 2016-06-22 富士胶片株式会社 图像处理装置及其工作方法
JP2016174836A (ja) * 2015-03-20 2016-10-06 富士フイルム株式会社 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び内視鏡システムの作動方法
CN106388756A (zh) * 2015-07-28 2017-02-15 富士胶片株式会社 图像处理装置及其工作方法以及内窥镜系统
US20180068437A1 (en) * 2016-09-07 2018-03-08 International Business Machines Corporation Multi-step vessel segmentation and analysis

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4583027A (en) 1982-12-27 1986-04-15 Hitachi Metals International, Ltd. Moving magnet linear motor
US5942817A (en) 1998-02-26 1999-08-24 Anorad Corporation Linear motor having automatic armature windings switching at minimum current points
US6956602B2 (en) 2001-09-27 2005-10-18 Fujinon Corporation Electronic endoscope for highlighting blood vessel
US7042488B2 (en) 2001-09-27 2006-05-09 Fujinon Corporation Electronic endoscope for highlighting blood vessel
US8090177B2 (en) * 2008-08-01 2012-01-03 Sti Medical Systems, Llc Methods for detection and characterization of atypical vessels in cervical imagery
US9179831B2 (en) 2009-11-30 2015-11-10 King Systems Corporation Visualization instrument
JP5159904B2 (ja) * 2011-01-11 2013-03-13 富士フイルム株式会社 内視鏡診断装置
DK2611356T3 (en) 2011-07-11 2015-03-23 Etview Ltd ENDOBRONCIAL HOSE
EP2754378B1 (en) * 2011-09-05 2023-03-22 FUJIFILM Corporation ENDOSCOPE SYSTEM and PROCESSOR DEVICE THEREOF
WO2014106511A1 (en) 2013-01-07 2014-07-10 Ambu A/S An articulated tip part for an endoscope
JP6128888B2 (ja) * 2013-02-27 2017-05-17 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
EP3127469B1 (en) 2014-03-31 2019-09-04 Fujifilm Corporation Endoscope system
JP2016193107A (ja) * 2015-04-01 2016-11-17 Hoya株式会社 画像処理装置
US10478054B2 (en) 2016-02-12 2019-11-19 Ambu A/S Endotracheal tube with visualization capabilities and a laryngeal mask
US10835360B2 (en) * 2016-04-01 2020-11-17 Research and Development International Corporation Advanced periodontal endoscope and methods
US10706533B2 (en) 2016-05-13 2020-07-07 National Jewish Health Systems and methods for automatic detection and quantification of pathology using dynamic feature classification
EP3756530B1 (en) 2016-09-28 2023-01-11 Ambu A/S Endoscope adapted for facilitating bal procedures
US20180303351A1 (en) * 2017-04-20 2018-10-25 General Electric Company Systems and methods for optimizing photoplethysmograph data
WO2018235178A1 (ja) * 2017-06-21 2018-12-27 オリンパス株式会社 画像処理装置、内視鏡装置、画像処理装置の作動方法及び画像処理プログラム
WO2018235179A1 (ja) * 2017-06-21 2018-12-27 オリンパス株式会社 画像処理装置、内視鏡装置、画像処理装置の作動方法及び画像処理プログラム
CN111936031B (zh) 2018-04-11 2023-12-15 富士胶片株式会社 医疗图像处理装置
EP3620098B1 (en) 2018-09-07 2021-11-03 Ambu A/S Enhancing the visibility of blood vessels in colour images

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102186401A (zh) * 2008-10-17 2011-09-14 奥林巴斯株式会社 图像生成装置、内窥镜系统以及图像生成方法
CN102727158A (zh) * 2011-04-01 2012-10-17 富士胶片株式会社 内窥镜系统以及校准方法
CN104023618A (zh) * 2012-01-25 2014-09-03 富士胶片株式会社 内窥镜系统、内窥镜系统的处理器装置以及图像处理方法
CN103654686A (zh) * 2012-09-07 2014-03-26 富士胶片株式会社 内窥镜系统及其处理器装置、内窥镜图像的显示控制方法及胶囊内窥镜系统
CN105705075A (zh) * 2013-10-28 2016-06-22 富士胶片株式会社 图像处理装置及其工作方法
CN108109134A (zh) * 2013-10-28 2018-06-01 富士胶片株式会社 图像处理装置及其工作方法
JP2016174836A (ja) * 2015-03-20 2016-10-06 富士フイルム株式会社 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び内視鏡システムの作動方法
CN104899876A (zh) * 2015-05-18 2015-09-09 天津工业大学 一种基于自适应高斯差分的眼底图像血管分割方法
CN106388756A (zh) * 2015-07-28 2017-02-15 富士胶片株式会社 图像处理装置及其工作方法以及内窥镜系统
US20180068437A1 (en) * 2016-09-07 2018-03-08 International Business Machines Corporation Multi-step vessel segmentation and analysis

Also Published As

Publication number Publication date
WO2020048997A1 (en) 2020-03-12
EP3876186A1 (en) 2021-09-08
US20220058799A1 (en) 2022-02-24
US11978184B2 (en) 2024-05-07
EP3846672B1 (en) 2024-06-19
US11074690B2 (en) 2021-07-27
EP3846672A1 (en) 2021-07-14
CN113436082A (zh) 2021-09-24
EP3620098A1 (en) 2020-03-11
US11205253B2 (en) 2021-12-21
US20200211190A1 (en) 2020-07-02
US20210342985A1 (en) 2021-11-04
EP3620098B1 (en) 2021-11-03
CN112770660B (zh) 2022-07-12

Similar Documents

Publication Publication Date Title
CN112770660B (zh) 增强彩色图像中的血管可见性
JP6890184B2 (ja) 医療画像処理装置及び医療画像処理プログラム
US10653295B2 (en) Image processing apparatus, endoscope system, and image processing method
US10426318B2 (en) Image processing apparatus, endoscope system, and image processing method
EP3357403B1 (en) Image processing device, endoscope system, and image processing method
CN112367896A (zh) 医用图像处理装置、医用图像处理系统、医用图像处理方法及程序
JP6368870B2 (ja) 画像解析装置、画像解析システム、及び画像解析装置の作動方法
EP4091532A1 (en) Medical image processing device, endoscope system, diagnosis assistance method, and program
JP6640866B2 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
EP3838108A1 (en) Endoscope system
WO2020054543A1 (ja) 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
CN110913746A (zh) 诊断辅助装置、诊断辅助方法及程序
EP3875021A1 (en) Medical image processing apparatus, medical image processing method and program, and diagnosis assisting apparatus
JP2021045337A (ja) 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理方法、及びプログラム
WO2020184257A1 (ja) 医用画像処理装置及び方法
CN110769730A (zh) 非线性缩放模型处理图像数据的方法及医学视觉辅助系统
JPWO2019138772A1 (ja) 画像処理装置、プロセッサ装置、画像処理方法、及びプログラム
CN106714652A (zh) 图像分析装置、图像分析系统、图像分析装置的动作方法
JP7289241B2 (ja) ファイリング装置、ファイリング方法及びプログラム
JP2013048646A (ja) 診断システム
CN112739250B (zh) 医用图像处理装置、处理器装置及医用图像处理方法
EP4190271A1 (en) Endoscope image processing device
EP4190270A1 (en) Endoscope image processing device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant