CN113436082A - 用于增强彩色图像中的血管可见性的方法以及可视化系统 - Google Patents

用于增强彩色图像中的血管可见性的方法以及可视化系统 Download PDF

Info

Publication number
CN113436082A
CN113436082A CN202110251023.XA CN202110251023A CN113436082A CN 113436082 A CN113436082 A CN 113436082A CN 202110251023 A CN202110251023 A CN 202110251023A CN 113436082 A CN113436082 A CN 113436082A
Authority
CN
China
Prior art keywords
image
value
parameter
color
intensity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110251023.XA
Other languages
English (en)
Inventor
安德烈亚斯·赫尔斯泰特·约恩森
芬恩·索尼伯格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anbu Co ltd
Ambu AS
Original Assignee
Anbu Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anbu Co ltd filed Critical Anbu Co ltd
Publication of CN113436082A publication Critical patent/CN113436082A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/0002—Operational features of endoscopes provided with data storages
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/044—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for absorption imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0684—Endoscope light sources using light emitting diodes [LED]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3137—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for examination of the interior of blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4887—Locating particular structures in or on the body
    • A61B5/489—Blood vessels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Vascular Medicine (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

一种增强由医疗设备的图像捕获设备捕获的彩色图像中的血管可见性的方法，包括针对该图像的至少一些像素的以下步骤：(a)处理从第一颜色通道获得的数据以及从第二颜色通道获得的数据以确定指示相对于所述像素的总强度的红色光谱中的强度的第一参数的值；(b)使用所述第一参数的所述值和用户参数的第一值来修改所述像素以生成增强图像的像素，该用户参数的第一值基于用户输入，并且其中，该修改的强度取决于所述第一参数的值和所述用户参数的第一值两者。

Description

用于增强彩色图像中的血管可见性的方法以及可视化系统
技术领域
本披露涉及可视化系统，该可视化系统包括具有图像传感器以捕获患者的图像的视频内窥镜。更具体地，本披露涉及一种增强由图像传感器捕获的彩色图像中的血管可见性的方法、一种用于识别血管结构的方法以及一种用于实施该方法的可视化系统。
背景技术
医疗视频内窥镜包括内窥镜、结肠镜、耳鼻喉镜、十二指肠镜、以及具有被配置为获得患者的视图的图像的图像传感器的任何其他医疗设备。本文中的术语“患者”包括人和动物。便携式医疗监视器可以通信地耦合到医疗视频内窥镜以从其接收图像数据，并且在监视器的显示模块上呈现与图像数据相对应的图像。
视频内窥镜是为各种程序而制造的，并且可能会基于设备的使用年限或其他原因而具有适合于其被设计用于执行的程序的不同技术特性。内窥镜是一种类型的视频内窥镜。图1是视频内窥镜的透视图，例如内窥镜1，其包括带有铰接杆4的手柄2和具有近端3a和远端3b的插入管3。具有图像传感器6的铰接管5布置在远端3b处。图像传感器捕获光学图像，并且经由电缆12将与图像相对应的图像数据传输至连接器13。连接器13可插入监视器的连接器端口中，以利用监视器的显示模块呈现与光学图像相对应的图形图像。铰接杆4的移动使图像传感器6的视场重新定向。
在共同拥有的美国专利申请号2019/0223694中描述的另一种内窥镜具有带有内部工作通道的插入管和位于手柄处的适于附接注射器的连接器。凹陷适于当注射器附接至连接器时容纳该注射器的圆柱形本体。内窥镜适于执行支气管肺泡灌洗，这是一种用于通过工作通道从患者的肺段中获得有机物质的样品的程序。
如共同拥有的美国专利号10,321,804和10,406,309中所描述的，视频内窥镜还可以包括具有图像传感器的支气管内管。支气管内管包括具有壁的管、第一可充气套环、具有敞开的远端的第二内腔、第二可充气套环、壁中的专用图像传感器内腔、图像传感器以及在支气管内管的远端处位于专用图像传感器内腔内的照明源。支气管内管可以包括嵌入在管壁中的专用清洁喷嘴装置。
如共同拥有的美国专利号10,478,054中所描述的，视频内窥镜还可以包括具有图像传感器的气管内导管。气管内导管包括具有限定通气内腔的壁的管、图像传感器以及在气管内导管的远端处位于专用图像传感器内腔内的照明源。
如共同拥有的美国专利号9,854,962中所描述的，视频内窥镜还可以包括视频喉镜，称为King VisionTMaBlade视频喉镜。该视频喉镜包括壳体、电池盒和窥视片，该壳体包括显示屏。窥视片包括敞开的通道，该敞开的通道被设置用于引导气管内导管的插入。图像传感器定位在窥视片的远端。图像传感器可以是窥视片的一部分，或者可以连接到壳体并被引入一次性窥视片的腔中。
视频内窥镜可以用于引导比如气管内导管和用于收集组织或液体的样品的工具等其他医疗设备的插入。内科医生也可以利用通过视频内窥镜获得的图像来分析组织和身体结构。例如，内部空腔的血管结构的变化可能指示多种疾病，比如自身免疫性疾病和癌症。然而，由于血管可能与周围的组织类型融合在一起，因此医务人员可能难以正确且精确地分析血管结构。
可以通过向医疗设备提供附加光源来改善血管的可见性，该光源发射具有窄波长的光，这种光被选择为使血管相对于周围组织具有高的光吸收率。然而，这将增加医疗设备的成本，并且还会改变所产生的图像的颜色。颜色的变化可能使医务人员更难于导航医疗设备，此外，检查内部空腔的其他组织类型的变化(可能指示病理状况)也更加困难。
美国专利号6,956,602披露了一种装置，该装置包括：电平调整电路，其增加从颜色转换电路输出的G(或B)信号的增益；二值化电路，其从该G信号形成二值化图像；以及边缘检测电路，其基于该二值化信号通过边缘检测来提取血管位置信号。然后，该装置通过使用上述血管位置信号提取构成血管图像的RGB颜色信号，增加这些血管颜色信号的增益，并且然后将血管颜色信号与原始图像的颜色信号相加。然而，可能难以精确地确定图像中的血管位置。因此，可能没有增强源自血管的图像区域，反而可能增强了并非源自血管的图像区域。
因此，提供一种用于增强由视频内窥镜的图像传感器记录的彩色图像中的期望可分辨颜色的结构(比如血管)的可见性的改进方法/设备/系统仍然是一个问题。
发明内容
根据第一方面，本披露涉及一种增强由医疗设备的图像捕获设备捕获的彩色图像中的血管可见性的方法，所述彩色图像具有多个颜色通道并且具有多个像素，其中，所述方法包括针对所述多个像素中的至少一些像素执行以下步骤：(a)处理从第一颜色通道获得的数据以及从第二颜色通道获得的数据以确定指示相对于所述像素的总强度的红色光谱中的强度的第一参数的值；以及(b)使用所述第一参数的所述值和用户参数的第一值来修改所述像素，该用户参数的第一值基于用户输入，并且其中，该修改的强度取决于所述第一参数的值和所述用户参数的第一值两者。
因此，用户可以控制增强的强度以使增强适应于特定情况。此外，通过使用来自至少两个颜色通道的信息，可以使用彩色图像中的更多信息来估计血管的位置，从而可以进行更精确的估计。
在一些实施例中，该用户参数具有至少三个可能的值，例如，用户可以选择‘低’增强、‘中’增强和‘高’增强。该用户参数可以具有多于三个可能值，由此用户可以在滑动标尺上选择增强的强度，其中，在标尺的一端为‘低’增强，而在标尺的另一端为‘高’增强。
该用户输入可以是来自与医疗设备相关地提供的一个或多个按钮的输入，例如，如果医疗设备是内窥镜，则用户输入可以来自与内窥镜手柄相关地布置(例如在内窥镜柄上)的一个或多个按钮。作为示例，内窥镜手柄可以设置有用于增加增强的强度的第一按钮和用于减小增强的强度的第二按钮。可替代地，内窥镜手柄可以设置有用于选择增强的强度的单个按钮，例如，按钮的第一次激活可以选择‘低’增强，第二次激活可以选择‘中’增强，第三次激活可以选择‘高’增强，并且第四激活可以再次选择‘低’增强，依此类推。该一个或多个按钮中的按钮可以用于激活/停用增强，例如，如果仅提供单个按钮，则该单个按钮也可以激活/停用增强。
该用户输入可以可替代地/附加地是来自与用于显示由图像捕获设备获得的图像的监视器相关地提供的一个或多个按钮的输入。该一个或多个按钮可以布置在监视器的屏幕附近，例如在显示器框处。
附加地/可替代地，监视器的屏幕可以是触摸屏，由此用户输入可以是来自触摸屏(例如，触摸屏上的虚拟按钮和/或其上的滑块)的输入。监视器可以被配置为处于第一状态和第二状态，其中当监视器处于第一状态时，触摸屏显示第一用户界面，从而允许用户开启增强和/或改变增强的强度，并且当监视器处于第二状态时，显示第二用户界面，从而允许用户修改其他成像参数和/或使用显示器表面的较大部分来显示实时图像。
在一些实施例中，每当激活该增强时，比如符号或图标等视觉标识符就被插入到该增强图像中以示出该图像已经被增强。
在一些实施例中，该方法进一步包括存储第一增强图像；存储原始未增强图像或能够基于所存储的增强图像来重新创建该原始未增强图像的图像数据；基于用户输入获得该用户参数的第二值；以及基于该原始未增强图像和该用户参数的第二值创建第二增强图像，该第二增强图像以与该第一增强图像不同的强度被增强。
因此，用户可以关闭对所捕获和存储的图像的增强和/或改变增强的强度。
可以从医疗设备和/或监视器上的一个或多个按钮接收该用户输入。可以响应于例如在医疗设备或监视器上的快门释放按钮的激活来存储该第一增强图像和该原始未增强图像。能够重新创建该原始未增强图像的图像数据可以是例如通过从原始图像中减去增强图像而获得的差图像、和/或压缩图像。
在一些实施例中，所述第一参数具有至少三个可能的值。
因此，通过使用非二值值来确定修改的程度，提供了一种更稳健的方法来创建更逼真的图像。
该医疗设备可以是适于被引入到体腔(比如消化系统的体腔或气道的体腔)中的医疗设备。该医疗设备可以是长形的刚性或柔性内窥镜、胶囊式内窥镜或喉镜。该医疗设备可以包括被配置为发出基本上白光的一个或多个光源。该医疗设备可以是一次性使用的长形柔性内窥镜。该图像捕获设备可以布置在内窥镜的远端部分处，例如在内窥镜的尖端处。该图像捕获设备可以可操作地连接到被配置为处理图像数据的图像处理器。可替代地/附加地，该医疗设备可以包括被配置为处理图像数据的图像处理器。可以在比如RGB型颜色空间或YCbCr型颜色空间等任何颜色空间中对彩色图像进行编码。彩色图像可以包括至少三个颜色通道。该方法的步骤(例如步骤(a)和步骤(b))可以对彩色图像的像素并行执行，例如步骤(a)可以对图像中的所有像素上执行，然后随后的步骤(b)可以对图像中的所有像素执行。可替代地，该方法的步骤可以顺序执行，例如步骤(a)和步骤(b)可以对彩色图像的像素顺序执行，例如步骤(a)和(b)可以对第一像素执行，然后随后的步骤(a)和(b)可以对第二像素执行，依此类推。估计指示相对于总强度的红色光谱中的强度的第一参数的值已被证明是血管的良好指标。如果使用来自所有颜色通道的信息，则该值可以是相对于总强度的红色光谱中的强度的更精确指标，然而，该值也可以仅使用来自某些颜色通道(例如，三个颜色通道中的两个颜色通道)的信息来确定。
在一些实施例中，步骤(a)包括：处理从第一颜色通道获得的数据和从第二颜色通道获得的数据以及从第三颜色通道获得的数据，以确定所述第一参数的值。
因此，通过使用更多的数据，可以提供对血管位置的更精确的估计。
在一些实施例中，将从该第一颜色通道获得的所述数据与从该第二颜色通道获得的所述数据一起处理以创建第一子参数的值，将从所述第一颜色通道获得的所述数据与从所述第三颜色通道获得的所述数据一起进行处理以创建第二子参数的值，并且其中，将所述第一子参数的所述值与所述第二子参数的所述值一起处理以创建所述第一参数的所述值。
在一些实施例中，通过计算该第一子参数的所述值和该第二子参数的值的平均值来创建所述第一参数的所述值。
该平均值可以是加权平均值或未加权平均值。
在一些实施例中，步骤(a)包括从该第一颜色通道获得的所述数据减去从该第二颜色通道获得的所述数据。
作为示例，如果该第一颜色通道表示红色并且该第二颜色通道表示绿色，则当像素的红色分量明显高于绿色分量时，将产生大的输出。
因此，提供了一种确定指示相对于像素的总强度的红色光谱中的强度的参数的值的简单方法。
在一些实施例中，第一参数可以具有至少8个可能值、16个可能值或32个可能值。
因此，可以在不引入不自然的高频元素的情况下有效地完成对图像的修改。
在一些实施例中，所述第一子参数的所述值和所述第二子参数的所述值均指示相对于所述像素的总强度的红色光谱中的强度。
在一些实施例中，通过从该第一颜色通道获得的所述数据减去从该第二颜色通道获得的所述数据来创建所述第一子参数的所述值，并且其中，通过从该第一颜色通道获得的所述数据减去从该第三颜色通道获得的所述数据来创建所述第二子参数的所述值。
作为示例，如果第一颜色通道表示红色、第二颜色通道表示绿色并且第三颜色通道表示蓝色，则当像素的红色分量明显高于绿色分量和蓝色分量时，第一子参数和第二子参数的值都将为大。
也可以通过计算从该第一颜色通道获得的数据与从该第一颜色通道、该第二颜色通道和/或该第三颜色通道获得的数据之和之间的比率(例如通过将从该第一颜色通道获得的数据除以从该第一颜色通道、该第二颜色通道和/或该第三颜色通道获得的数据之和)来确定该第一参数的值。
在一些实施例中，不具有血管的彩色图像的部分基本上未修改并且以正常颜色显示。
在一些实施例中，步骤(b)包括：从所述彩色图像的多个颜色通道中的至少一个颜色通道的值减去或加上修改参数的值，其中，该修改参数的值与该第一参数的值有关。
该修改参数的值可以简单地是该第一参数的值。可以从所述彩色图像的所有颜色通道中减去该修改参数。
在一些实施例中，所述方法进一步包括确定指示所述像素的强度的第二参数的值，并且其中，所述第一参数的所述值与所述第二参数的所述值一起用于修改所述像素。
这可以允许该方法减小彩色图像的暗区域中的修改强度，在该暗区域中，噪声可能使得难以精确地确定血管位置。
在一些实施例中，在对所述多个颜色通道一起进行处理之前对其进行归一化。
在一些实施例中，针对所述多个颜色通道中的每一个创建指示每个像素的局部平均值的低通滤波图像，并且其中，使用每个颜色通道的低通滤波图像来对每个颜色通道进行归一化。
在一些实施例中，所述彩色图像是RGB彩色图像，所述第一颜色通道是红色通道，并且所述第二颜色通道是绿色或蓝色通道。
在一些实施例中，所述医疗设备被配置为被插入到体腔中并且在记录所述彩色图像时用白光照射所述体腔。
在一些实施例中，所述医疗设备是内窥镜。
在一些实施例中，该第一参数的高值指示相对于所述像素的总强度的红色光谱中的高强度，并且该第一参数的低值指示相对于所述像素的总强度的红色光谱中的低强度。
在一些实施例中，在所有可能值的最高50％之中的第一参数的值导致的修改比由在所有可能值的最低50％之中的第一参数的值导致的修改更显著。
在一些实施例中，对于所述第一参数的至少50％的可能值，该第一参数的值的增加导致修改强度的增加。
在一些实施例中，所述像素的修改与绿色光谱相对于蓝色光谱中的强度无关。
根据第二方面，本披露涉及一种用于增强彩色图像中的血管可见性的图像处理器，所述图像处理器包括可操作地连接到医疗设备的图像捕获设备的处理单元，其中，所述处理单元被配置为从所述图像捕获设备接收具有多个颜色通道的彩色图像，所述彩色图像具有多个像素，并且所述处理单元进一步被配置为针对所述多个像素中的至少一些像素进行以下操作：(a)处理从第一颜色通道获得的数据以及从第二颜色通道获得的数据以确定指示相对于所述像素的总强度的红色光谱中的强度的第一参数的值；以及(b)使用所述第一参数的所述值和用户参数的第一值来修改所述像素，该用户参数的第一值基于用户输入，并且其中，该修改的强度取决于所述第一参数的值和所述用户参数的第一值两者。
在一些实施例中，该用户参数具有至少三个可能的值，例如，用户可以选择‘低’增强、‘中’增强和‘高’增强。该用户参数可以具有多于三个可能值，由此用户可以在滑动标尺上选择增强的强度，其中，在标尺的一端为‘低’增强，而在标尺的另一端为‘高’增强。
该用户输入可以是来自与医疗设备相关地提供的、可操作地连接到该处理单元的一个或多个按钮的输入，例如，如果医疗设备是内窥镜，则用户输入可以来自与内窥镜手柄相关地布置(例如在内窥镜柄上)的一个或多个按钮。作为示例，内窥镜手柄可以设置有用于增加增强的强度的第一按钮和用于减小增强的强度的第二按钮。可替代地，内窥镜手柄可以设置有用于选择增强的强度的单个按钮，例如，按钮的第一次激活可以选择‘低’增强，第二次激活可以选择‘中’增强，第三次激活可以选择‘高’增强，并且第四激活可以再次选择‘低’增强，依此类推。该一个或多个按钮中的按钮可以用于激活/停用增强，例如，如果仅提供单个按钮，则该单个按钮也可以激活/停用增强。
该用户输入可以可替代地/附加地是来自与用于显示由图像捕获设备获得的图像的监视器相关地提供的、可操作地连接到该处理单元的一个或多个按钮的输入。该图像处理器可以是监视器的一部分，或者可连接到监视器。该一个或多个按钮可以布置在监视器的屏幕附近，例如在显示器框处。
可替代地/附加地，监视器的屏幕可以是可操作地连接到该处理单元的触摸屏，由此用户输入可以是来自触摸屏(例如，触摸屏上的虚拟按钮和/或触摸屏上的滑块等)的输入。监视器可以被配置为设置在第一状态和第二状态，其中当监视器处于第一状态时，触摸屏显示第一用户界面，从而允许用户开启增强和/或改变增强的强度，并且当监视器处于第二状态时，显示第二用户界面，从而允许用户修改其他成像参数和/或使用显示器表面的较大部分来显示实时图像。
在一些实施例中，该处理单元进一步被配置为在增强图像中插入比如符号或图标等视觉标识符，以在显示增强图像时向用户示出该图像已经被增强。
在一些实施例中，该处理单元可操作地连接到存储单元，并且进一步被配置为：将第一增强图像存储在该存储单元上；将原始未增强图像或能够基于所存储的增强图像来重新创建该原始未增强图像的图像数据存储在该存储单元上；基于用户输入获得用户参数的第二值；并且基于该原始未增强图像和该用户参数的第二值创建第二增强图像，该第二增强图像以与该第一增强图像不同的强度被增强。
因此，用户可以改变所记录的图像上的增强强度。
可以从医疗设备和/或监视器上的可操作地连接到该处理单元的一个或多个按钮接收该用户输入。该处理单元可以被配置为响应于例如在医疗设备或监视器上的快门释放按钮的激活来存储该第一增强图像和该原始未增强图像。该处理单元可以可操作地连接到监视器，并且被配置为允许用户控制该监视器以显示该第一增强图像、该第二增强图像或该原始未增强图像。能够重新创建该原始未增强图像的图像数据可以是通过从原始图像中减去增强图像(反之亦然)而获得的差异图像、和/或压缩图像。
在一些实施例中，所述第一参数具有至少三个可能的值。
在一些实施例中，步骤(a)包括：处理从第一颜色通道获得的数据和从第二颜色通道获得的数据以及从第三颜色通道获得的数据，以确定所述第一参数的值。
在一些实施例中，将从该第一颜色通道获得的所述数据与从该第二颜色通道获得的所述数据一起处理以创建第一子参数的值，将从所述第一颜色通道获得的所述数据与从所述第三颜色通道获得的所述数据一起进行处理以创建第二子参数的值，并且其中，将所述第一子参数的所述值与所述第二子参数的所述值一起处理以创建所述第一参数的所述值。
在一些实施例中，通过计算该第一子参数的所述值和该第二子参数的值的平均值来创建所述第一参数的所述值。
在一些实施例中，步骤(a)包括从该第一颜色通道获得的所述数据减去从该第二颜色通道获得的所述数据。
在一些实施例中，第一参数可以具有至少8个可能值、16个可能值或32个可能值。
在一些实施例中，所述第一子参数的所述值和所述第二子参数的所述值均指示相对于所述像素的总强度的红色光谱中的强度。
在一些实施例中，通过从该第一颜色通道获得的所述数据减去从该第二颜色通道获得的所述数据来创建所述第一子参数的所述值，并且其中，通过从该第一颜色通道获得的所述数据减去从该第三颜色通道获得的所述数据来创建所述第二子参数的所述值。
在一些实施例中，不具有血管的彩色图像的部分基本上未修改并且以正常颜色显示。
在一些实施例中，步骤(b)包括：从所述彩色图像的多个颜色通道中的至少一个颜色通道的值减去或加上修改参数的值，其中，该修改参数的值与该第一参数的值有关。
在一些实施例中，所述处理单元进一步被配置为：确定指示所述像素的强度的第二参数的值，并且其中，所述第一参数的所述值与所述第二参数的所述值一起用于修改所述像素。
在一些实施例中，在对所述多个颜色通道一起进行处理之前对其进行归一化。
在一些实施例中，针对所述多个颜色通道中的每一个创建指示每个像素的局部平均值的低通滤波图像，并且其中，使用每个颜色通道的低通滤波图像来对每个颜色通道进行归一化。
在一些实施例中，通过从该第一颜色通道获得的所述数据减去从该第二颜色通道获得的所述数据来创建所述第一子参数的所述值，并且其中，通过从该第一颜色通道获得的所述数据减去从该第三颜色通道获得的所述数据来创建所述第二子参数的所述值。
在一些实施例中，所述彩色图像是RGB彩色图像，所述第一颜色通道是红色通道，并且所述第二颜色通道是绿色或蓝色通道。
在一些实施例中，所述医疗设备被配置为被插入到体腔中并且在记录所述彩色图像时用白光照射所述体腔。
在一些实施例中，所述医疗设备是内窥镜。
在一些实施例中，该第一参数的高值指示相对于所述像素的总强度的红色光谱中的高强度，并且该第一参数的低值指示相对于所述像素的总强度的红色光谱中的低强度。
在一些实施例中，在所有可能值的最高50％之中的第一参数的值导致的修改比由在所有可能值的最低50％之中的第一参数的值导致的修改更显著。
在一些实施例中，对于所述第一参数的至少50％的可能值，该第一参数的值的增加导致修改强度的增加。
在一些实施例中，所述像素的修改与绿色光谱相对于蓝色光谱的强度无关。
根据第三方面，本披露涉及一种用于识别潜在的病理性血管结构的图像处理器，所述图像处理器包括可操作地连接到医疗设备的图像捕获设备的处理单元，其中，所述处理单元被配置为使用被训练用于识别适于计算机图像分析的图像中的潜在病理性血管结构的机器学习数据架构来处理这种图像，其中，适于计算机分析的所述图像是通过处理由所述图像捕获设备记录的具有多个颜色通道的彩色图像生成的，所述彩色图像具有多个像素，其中，所述彩色图像的处理包括针对所述多个像素中的至少一些像素进行以下操作：(a)处理从第一颜色通道获得的数据以及从第二颜色通道获得的数据以确定指示相对于所述像素的总强度的红色光谱中的强度的第一参数的值；以及(b)使用所述第一参数的所述值来创建适于计算机图像分析的图像的像素值。
因此，通过使用步骤a)和b)预处理彩色图像，可以增强血管结构，从而使机器学习数据架构更容易识别潜在的病理性血管结构。这可以使机器学习数据架构能够识别更多潜在的病理性血管结构并更快地执行其处理，即使用更少的计算资源实现机器学习数据架构的实时分析。
在一些实施例中，所述机器学习数据架构是有监督的机器学习架构并通过向其提供由步骤a)和b)创建的图像的训练数据集来进行训练，其中，所述训练数据集的图像的第一子集示出病理性血管结构，并且所述训练数据集的图像的第二子集示出健康的血管结构。
在一些实施例中，该训练数据集包括示出肿瘤的血管结构的多个图像。
可以通过比如内窥镜等医疗设备的图像捕获设备来记录多个图像。
在一些实施例中，适于计算机图像分析的图像的像素值对应于第一参数的值可选地乘以从所述彩色图像得出的权重值；或者适于计算机图像分析的图像的像素值是来自使用所述第一参数的值修改的所述彩色图像的修改像素，并且其中，该修改的强度取决于所述第一参数的值。
在一些实施例中，将从该第一颜色通道获得的所述数据与从该第二颜色通道获得的所述数据一起处理以创建第一子参数的值，将从所述第一颜色通道获得的所述数据与从所述第三颜色通道获得的所述数据一起进行处理以创建第二子参数的值，并且其中，将所述第一子参数的所述值与所述第二子参数的所述值一起处理以创建所述第一参数的所述值。
在一些实施例中，通过计算该第一子参数的所述值和该第二子参数的值的平均值来创建所述第一参数的所述值。
在一些实施例中，步骤(a)包括从该第一颜色通道获得的所述数据减去从该第二颜色通道获得的所述数据。
在一些实施例中，第一参数可以具有至少8个可能值、16个可能值或32个可能值。
在一些实施例中，所述第一子参数的所述值和所述第二子参数的所述值均指示相对于所述像素的总强度的红色光谱中的强度。
在一些实施例中，通过从该第一颜色通道获得的所述数据减去从该第二颜色通道获得的所述数据来创建所述第一子参数的所述值，并且其中，通过从该第一颜色通道获得的所述数据减去从该第三颜色通道获得的所述数据来创建所述第二子参数的所述值。
在一些实施例中，所述处理单元进一步被配置为：确定指示所述像素的强度的第二参数的值，并且其中，所述第一参数的所述值与所述第二参数的所述值一起用于创建适于计算机图像分析的图像的所述像素值。
在一些实施例中，在对所述多个颜色通道一起进行处理之前对其进行归一化。
在一些实施例中，针对所述多个颜色通道中的每一个创建指示每个像素的局部平均值的低通滤波图像，并且其中，使用每个颜色通道的低通滤波图像来对每个颜色通道进行归一化。
在一些实施例中，通过从该第一颜色通道获得的所述数据减去从该第二颜色通道获得的所述数据来创建所述第一子参数的所述值，并且其中，通过从该第一颜色通道获得的所述数据减去从该第三颜色通道获得的所述数据来创建所述第二子参数的所述值。
在一些实施例中，所述彩色图像是RGB彩色图像，所述第一颜色通道是红色通道，并且所述第二颜色通道是绿色或蓝色通道。
在一些实施例中，该第一参数的高值指示相对于所述像素的总强度的红色光谱中的高强度，并且该第一参数的低值指示相对于所述像素的总强度的红色光谱中的低强度。
在一些实施例中，在所有可能值的最高50％之中的第一参数的值导致的修改比由在所有可能值的最低50％之中的第一参数的值导致的修改更显著。
在一些实施例中，对于所述第一参数的至少50％的可能值，该第一参数的值的增加导致修改强度的增加。
在一些实施例中，所述像素的修改与绿色光谱相对于蓝色光谱的强度无关。
在一些实施例中，该机器学习数据架构是人工神经网络，比如深度结构化学习架构。
在一些实施例中，该处理单元直接可操作地连接到该图像捕获设备，并且被配置为接收该彩色图像并执行步骤a)和b)以创建适于计算机图像分析的图像。
在一些实施例中，该处理单元经由另一图像处理器间接可操作地连接到该图像捕获设备。
在一些实施例中，所述图像处理器被配置为从所述另一图像处理器接收适于计算机图像分析的所述图像，所述另一图像处理器被配置为接收该彩色图像并执行步骤a)和b)以创建适于计算机图像分析的图像。
根据第四方面，本披露涉及一种用于显示由医疗设备的图像捕获设备获得的图像的监视器，其中，所述监视器包括如关于本披露的第二方面或本披露的第三方面所披露的图像处理器。
根据第五方面，本披露涉及一种内窥镜系统，该内窥镜系统包括如关于本披露的第二方面或本披露的第三方面所披露的内窥镜和图像处理器，其中，所述内窥镜具有图像捕获设备，并且所述图像处理器的所述处理单元可操作地连接到所述内窥镜的所述图像捕获设备。
在一些实施例中，该内窥镜系统进一步包括如关于本披露的第四方面所披露的监视器，其中，所述监视器可操作地连接到所述内窥镜的所述图像捕获设备，并且被配置为显示所述捕获的图像。
根据第六方面，本披露涉及一种计算机程序产品，该计算机程序产品包括程序代码装置，当所述程序代码装置在数据处理系统上执行时，适于使该数据处理系统执行关于本披露的第一方面所披露的方法的步骤。
在一些实施例中，所述计算机程序产品包括其上存储有该程序代码装置的非暂态计算机可读介质。
根据第七方面，本披露涉及一种数据处理系统，该数据处理系统被配置为执行关于本披露的第一方面所披露的方法。
可以以不同方式实施本披露的不同方面，包括如以上和以下描述的方法、图像处理器、监视器、内窥镜系统和计算机程序产品，各自产生结合以上描述的至少一个方面描述的一个或多个益处和优点，并且各自具有一个或多个优选的实施例，这些实施例与结合以上描述的和/或从属权利要求中披露的至少一个方面描述的优选实施例相对应。此外，应理解的是，结合本文所描述的方面之一所描述的实施例可以等同地应用于其他方面。
附图说明
将通过以下参照附图对本披露实施例进行的说明性且非限制性的详细说明进一步阐述本披露的上述和/或附加的目的、特征和优点，在附图中：
图1示出了内窥镜的示例；
图2示出了可以连接到图1所示的内窥镜的监视器的示例；
图3示出了根据本披露实施例的增强由医疗设备的图像捕获设备捕获的彩色图像中的血管可见性的方法的流程图；
图4示出了根据本披露实施例的内窥镜系统的示意图；
图5示出了根据本披露实施例的内窥镜系统的示意图；
图6示出了根据本披露实施例的增强由医疗设备的图像捕获设备捕获的彩色图像中的血管可见性的方法的流程图；
图7示出了根据本披露实施例的增强由医疗设备的图像捕获设备捕获的彩色图像中的血管可见性的方法的流程图；
图8a示出了在增强血管可见性之前的内部空腔的彩色图像，并且图8b示出了根据本披露实施例的在增强了血管可见性之后的彩色图像；
图9示出了根据本披露实施例的可视化系统的示意图；
图10展示了根据本披露实施例的可以如何使用触摸屏来控制增强的强度；
图11示出了根据本披露实施例的增强由医疗设备的图像捕获设备捕获的彩色图像中的血管可见性的方法的流程图；以及
图12示出了根据本披露的实施例的方法的流程图。
在附图中，贯穿几个视图，相应的附图标记表示相应的部件、功能和特征。附图不一定按比例绘制，并且某些特征可能被夸大以便更好地示出和解释所披露的实施例。
具体实施方式
在以下描述中，参考了附图，这些附图通过图示的方式示出了可以如何实践本披露的实施例。
由于血液对光的吸收光谱，血管在RGB图像的绿色分量和蓝色分量中比在红色分量中更明显。当期望突出显示血管时，可以使用血管的这一特性从基础图像创建差异化物质图像(例如第一参数图像)，在该图像中，与血管或其他感兴趣结构有关的像素相对于其余像素而言比较突出。然后将差异化物质图像与基础图像组合以产生增强图像，在该增强图像中，血管相对于图像的其余部分变暗。
可以通过处理彩色图像的红色分量和绿色分量、红色分量和蓝色分量、或红色分量、绿色分量和蓝色分量来生成差异化物质图像。处理所有三个分量是优选的，因为绿色分量和蓝色分量提供了有关血管的不同信息。应当理解，术语“物质(mass)”是指可区分颜色的物质。血管是可区分颜色的物质的一个示例。其他示例包括骨骼、疤痕组织、器官、异物等。创建差异化物质图像的步骤可能取决于可区分颜色的物质的颜色特性而有所不同。因此，以下参考血管进行的描述是为了说明所披露的图像处理方法，这些方法通常适用于其他类型的物质。
基础图像可以是原始图像或以传统方式处理以改善对比度、白平衡等的原始图像。原始图像可以由包括拜耳滤波器的图像传感器生成，众所周知，其中的滤波模式为50％绿色、25％红色和25％蓝色。
可以采取各种附加步骤来进一步改善血管的显示。在一个示例中，减小了红色像素的影响。该减小可以通过归一化颜色分量、通过减小红色像素的强度或以其他合适的方式来实现。可以通过低通滤波以创建低通滤波的图像并且然后将图像除以低通滤波的图像来实现归一化。减小强度可以通过对红色像素应用负增益或从红色像素减去恒定值来实现。可以在生成差异化物质图像之前执行红色影响的减小。
在另一个示例中，减小了包含很少信息或不包含信息的像素的影响。该减小可以通过将具有高(过度曝光)强度或低(曝光不足)强度的像素的强度设置为0来实现。曝光不足的像素可能反映了远离内窥镜尖端的组织，因此照明不佳。曝光过度的像素可能反映了内窥镜的光附近的组织。减小影响的一种方式是通过对像素进行二值化来创建掩模图像。向具有期望范围内的强度的像素指派值1，并且向不期望范围内的像素指派值0。当掩模图像与另一个图像相乘时，值为0的像素强度将移除由曝光不足和曝光过度的像素提供的噪声。如果像素强度的范围在-1到+1之间(例如，如在差异化物质图像中一样)，则具有负强度的像素反映了图像的暗区，并通过使用正强度像素创建掩模来减小其影响。可以在创建差异化物质图像之前或之后减小过度/曝光不足的影响。
在另一个示例中，用户可以确定增强级别。用户可以使用增强级别选择器来选择级别，然后可以应用用户选择的增强量。应用用户选择的增强量的一种方式是将增益值应用于图像。该图像可以是在应用掩模之前或之后的差异化物质图像。增益值将所有像素的强度乘以增益量。增益可以在0到1之间的范围内，其中0指示没有增益，并且0到1之间的值指示增强的增加，最多到可以基于特定的视频内窥镜的或预设的最大值。
在以下附图中，提供了描绘增强图像的生成以突出显示可区分颜色的物质的详细实施例。图1、图2、图4、图5和图9描绘了被配置为实施图像增强方法的可视化系统的实施例。图3、图6和图7披露了图像增强方法的详细实施例。图8a和图8b将未增强图像与增强图像进行了对比。图10将未增强图像与以由用户选择的低增强级别、中增强级别和高增强级别增强的图像进行了对比。图11和图12披露了利用增强图像来识别感兴趣的物质或结构的方法的实施例。
图1展示了内窥镜100的示例。这个内窥镜可以适于一次性使用。内窥镜100设置有手柄102，该手柄被附接到设置有弯曲区段106的插入管104。插入管104以及弯曲区段106可以设置有一个或若干个工作通道，使得比如夹持设备等器械可以经由内窥镜被插入人体中。该一个或若干个通道的一个或多个出口孔可以被设置在内窥镜100的尖端部或帽108中。除了出口孔之外，相机109和一个或若干个光源(比如发光二极管(LED)、光纤或任何其他发光设备)可以放置在尖端部分108中。相机可以包括图像传感器，比如CMOS传感器或任何其他图像捕获设备、以及一个或多个限定相机的视场的透镜。
弯曲区段106可以相对于插入管104在不同的方向上弯曲，以使操作者可以改变相机的方向并获得不同的视图。操作者可以通过放置在手柄102上的旋钮110来控制弯曲区段106。手柄被设计成使得旋钮110可以由操作者的拇指来致动，但是用于定向相机的视场的其他致动设计也是可能的。按钮112可以用于控制夹持设备或经由工作通道提供的其他设备。手柄被设计成使得按钮112可以通过握住手柄的操作者的手指来致动，但是其他工具致动器设计也是可能的。
由相机捕获的图像数据以及可选地由其他传感器捕获的其他数据可以经由具有连接器116的电缆114传送到图2所示的监视器200。尽管展示了基于有线的数据传输，但通过使用内窥镜所支持的无线收发器来传送图像数据是同样可能的。
增强级别选择器118的实施例以示意形式示出在手柄102上。将参考图4和图5更详细地描述增强级别选择器。通常，增强级别选择器是虚拟的或物理的致动器，可由用户操作以生成指示期望的物质增强级别的信号。在一个变体中，增强级别选择器包括被配置为使用户能够选择视频增强级别的一个或多个按钮。在一个示例中，位于手柄中的增强级别选择器可以包括电位计，该电位计可由用户操作以改变指示用户期望的增强级别的电阻。在另一示例中，定位在手柄中的增强级别选择器可以包括：电位计，其可由用户操作以改变指示用户期望的增强级别的电阻；以及I2C从节点电路，其包括ADC并经由现有的I2C通道向监视器传输相应值，其中，I2C主设备将用户参数的值传送给GUI。
图2展示了便携式监视器200的示例，该便携式监视器包括显示屏202和通信端口204，该通信端口可操作以接收内窥镜100的连接器116以在便携式监视器200与内窥镜100之间建立通信。监视器200被配置为基于显示屏202来显示由内窥镜100的相机109捕获的图像数据的图像。内窥镜100的操作者能够看到并分析人体的内部，以例如定位用于进行采样的位置。此外，由于通过相机109和监视器200可获得的视觉反馈，操作者将能够以精确的方式控制器械。进一步地，由于一些疾病或健康问题可能导致自然色或其他视觉症状方面的偏移，因此视觉反馈向操作者提供了用于基于经由相机传感器和监视器提供的图像数据进行诊断的有价值的输入。
监视器200优选地是可重复使用的设备。通过具有一次性使用的设备和可重复使用的另一个设备，大部分数据处理能力可以被放置在可重复使用的设备中，以便在从健康角度来看在使用安全的同时达到成本效益水平。一次性使用的设备不需进行消毒，并且设计考虑因素包括低成本和一次性。
监视器200可以包括如关于本披露的第二方面和/或本披露的第三方面所解释的图像处理器。监视器200可以设置有参考图4更详细地描述的增强级别选择器206。增强级别选择器206可以包括图形用户界面(GUI)的图标，用户可以致动该图标以选择期望的增强级别。在其他变体中，增强级别选择器206可以包括一个或多个物理按钮，该一个或多个物理按钮位于显示屏周围的边缘上或在监视器的侧面上、被配置为使用户能够选择增强级别。
如上所述，视频增强突出显示了特定颜色的物质或结构。图3示出了用于增强彩色图像中的血管可见性的方法的实施例的流程图。应当理解，在这种情况下，彩色图像由与颜色通道或分量相对应的数据组成。当从彩色图像分离每个颜色通道时，该数据可以称为红色图像、绿色图像或蓝色图像，由包括像素数据的阵列表示，该像素数据包括相应的颜色信息。该方法包括针对该多个像素中的至少一些像素进行以下操作：在301处，处理从第一颜色通道获得的数据以及从第二颜色通道获得的数据以确定指示相对于像素的总强度的红色光谱中的强度的第一参数的值。在302处，该方法继续通过使用第一参数的值来增强像素。第一参数具有至少三个可能的值，并且增强的强度取决于第一参数的值。
这些像素的第一参数形成第一图像，该第一图像可以是差异化物质图像。处理从第一颜色通道获得的数据以及从第二颜色通道获得的数据以确定第一参数的值可以包括获得红色通道与绿色通道之间的差、红色通道与蓝色通道之间的差、或红/绿通道之差和红/蓝通道之差两者。如上所述，处理还可以包括在生成第一图像或差异化物质图像之前减小红色像素的影响，并中和过渡曝光像素和曝光不足像素的影响。如果应用了用户选择的增强级别，则处理还可以包括例如在减小红色像素的影响时考虑所选择的增强级别，例如通过取决于所选择的增强级别来或多或少地减小影响。可以调整处理后的图像的强度以完成增强图像，因此相对于绿色像素的强度、或蓝色像素的强度、或绿色像素和蓝色像素的强度两者来改变红色像素的相对强度将改变血管的明暗程度。
图4示出了由附图标记401表示的内窥镜系统的实施例的示意图，该内窥镜系统包括通信地耦合到监视器410的内窥镜402。内窥镜402包括相机403和增强级别选择器404。监视器410包括如关于本披露的第二方面和/或本披露的第三方面所披露的图像处理器412，以及增强级别选择器414。相机403可操作地连接到图像处理器412，该图像处理器被配置为接收由于增强级别选择器的致动而产生的视频增强信号，并基于该信号来增强视频。在该实施例中，图像处理器412集成在监视器410中，该监视器包括被配置为显示增强图像的显示屏。视频增强信号表示用于控制增强强度的用户参数或第二参数的值。这些增强级别选择器中的一个或另一个可以省略。增强级别选择器404可以与增强级别选择器118相同，并且增强级别选择器414可以与增强级别选择器206相同。
图5示出了由附图标记501表示的内窥镜系统的另一实施例，该内窥镜系统包括关于本披露的第二方面和/或本披露的第三方面所披露的内窥镜402和图像处理器412。内窥镜系统501与内窥镜系统401的不同之处在于，图像处理器412未与由附图标记510表示的监视器集成在一起。相反，图像处理器412包含在壳体502中。图像处理器412可以包括处理指令(说明性地为图像处理逻辑504)以及可选地在下面进一步描述的用于接收指示增强级别的用户输入的硬件。壳体502包括通信端口以接收来自内窥镜402的连接器，并且包括视频输出端口以输出视频信号从而利用监视器510的显示屏512显示图像。视频输出端口可以是HDMI端口。
GUI可以由GUI逻辑提供。GUI逻辑可以包括用于生成增强级别控制(例如，用户参数的值的选择器)的指令。在监视器(比如具有触摸屏的便携式监视器)的显示屏中显示图像的情况下，用户可以通过触摸来启用GUI。GUI可以在显示屏的第一面板中呈现由第一视频内窥镜提供的实时图像的小版本，而在第二面板中可以呈现由第二视频内窥镜提供的实时图像的大版本。可以提供第三面板，在该面板中，GUI可以呈现与用户可使用上述用户输入设备中的任何一个选择的操作相对应的各种图标/控制对象，例如用于存储实时图像的副本、存储与实时图像相对应的视频的一部分、反转视图、开启和关闭增强特征以及选择增强级别。
例如，在不包括显示屏的图像处理器中显示图像的情况下，图像处理器可以包括用户界面，比如可操作用于接收经由鼠标、键盘或其他物理用户输入设备的用户输入的无线接口。示例无线接口包括蓝牙和Zigbee控制器。用户界面还可以包括USB端口，以接收包括无线接口的USB连接器或有线用户输入设备的USB连接器。因此，图像处理器在接收经由各种用户输入设备的用户输入方面提供了灵活性，而不管显示屏是否与其集成在一起。本文所使用的术语“逻辑”包括在一个或多个可编程处理设备、专用集成电路、现场可编程门阵列、数字信号处理器、硬连线逻辑或其组合上执行的软件和/或固件。因此，根据实施例，各种逻辑可以以任何适当的方式实施，并且将保持与本文披露的实施例一致。逻辑可以包括嵌入在非暂态机器可读介质(例如，存储器)中的处理指令。
图像处理器包括医疗设备接口，该医疗设备接口包括连接器，该连接器可操作用于接收视频内窥镜的电缆的插头并从其接收图像数据，如以上参考图4和图5所披露的。如果图像数据基本上是从视频内窥镜实时接收的，则可以将它们称为“实时图像”或“实时视频”。实时视频包括多个帧，每个帧可以称为“图像”。图像处理器还包括被配置为实施本文描述的图像增强方法的GUI逻辑和处理逻辑。
图6示出了增强由视频内窥镜(比如内窥镜100、402)的相机捕获的彩色图像中的血管可见性的方法的实施例的流程图。该方法可以由图像处理器的处理逻辑来执行。示出了具有多个颜色通道的一个彩色图像601。在该实施例中，彩色图像601以RGB颜色空间来编码。在第一步中，将彩色图像601分离为红色通道602、绿色通道603和蓝色通道604。可以如下所述对颜色通道602、603、604中的一个或多个进行归一化。优选地，至少对红色通道进行归一化。接下来针对每个像素，通过从红色通道602获得的数据(例如红色强度值)减去605从绿色通道603获得的数据(例如绿色强度值)来创建第一子参数的值。这产生第一子参数图像607。相应地，针对每个像素，通过从红色通道602获得的数据(例如红色强度值)减去从蓝色通道604获得的数据(例如蓝色强度值)606来创建第二子参数的值。这产生第二子参数图像608。然后，针对每个像素，通过计算该第一子参数的值和该第二子参数的值的平均值609来创建第一参数的值。这产生第一参数图像610。该第一参数具有至少三个可能的值，例如至少8、16、32、64、128、256个可能的值。第一参数图像610示出了彩色图像601中的相对于总强度的红色光谱中的强度高的区域。这已被示出为是血管的可靠指标，因为由于血管对蓝色和绿色的吸收较高，所以血管区域中的总强度低于周围区域。最终，从基础图像中减去第一参数图像610以修改611彩色图像601，从而创建修改或增强的图像612，其中，修改的强度取决于第一参数的值。可选地，可以使用用户参数613的值来控制修改的强度，即，使得修改的强度取决于第一参数的值和用户参数的值。
作为示例，针对每个像素，可以从彩色图像601中的每个颜色通道的值中减去第一参数的值。这将具有以下效果：血管将变得更暗，图像的其余部分将基本保持不变或变得稍暗。然而，颜色将基本上不受影响。可以调整修改的图像612的整体强度，使得修改的图像612中的没有血管的区域的强度将具有与原始彩色图像601中的相应区域的强度基本匹配的强度。例如，与第一图像的平均强度有较小差异的像素(校准像素)可以被认为没有血管，并且基础图像中这些像素的平均强度可以用来校准修改的图像的强度，使得修改的图像的强度被改变，直到修改的图像中的校准像素的平均强度与基础图像中的平均值相匹配为止。用户参数的值可以是0到1之间的值，该值用于缩放第一参数图像，例如通过将第一参数图像与用户参数的值相乘，然后使用缩放后的第一参数图像来从如上所述的彩色图像601中的每个颜色通道的值中减去。
图7示出了增强由医疗设备(例如，视频内窥镜)的图像捕获设备捕获的彩色图像中的血管可见性的方法的另一实施例的流程图。该方法可以由图像处理器的处理逻辑来执行。该方法可以由图像处理器的处理逻辑来执行。示出了具有多个颜色通道的单个彩色图像701。在该实施例中，彩色图像701以RGB颜色空间来编码。在第一步中，将彩色图像701分离为红色通道702、绿色通道703和蓝色通道704。接下来，对红色通道702进行低通滤波705以创建低通滤波的红色通道708，对绿色通道703进行低通滤波706以创建低通滤波的绿色通道709，并且对蓝色通道进行低通滤波707以创建低通滤波的蓝色通道710。低通滤波的颜色通道708至710示出了每个像素的局部平均值。接下来，使用低通滤波的红色通道708来对红色通道702进行归一化711以创建归一化的红色通道714，使用低通滤波的绿色通道709来对绿色通道703进行归一化712以创建归一化的绿色通道715，并且使用低通滤波的蓝色通道710来对蓝色通道704进行归一化714以创建归一化的蓝色通道716。可以通过将颜色通道除以相应的低通滤波的颜色通道来执行归一化。例如，将红色分量图像除以经红通滤波的红色分量图像。
然后，将归一化的颜色通道714至716一起进行处理718以创建指示相对于总强度的红色光谱中的强度的第一参数图像720。可以以与一起处理图6中的颜色通道602至604以创建第一参数图像610相同的方式来一起处理718归一化的颜色通道714至716以创建第一参数图像720。接下来，将红色通道、绿色通道和蓝色通道702至704一起处理(例如通过将红色通道、绿色通道和蓝色通道702至704相加)以确定指示每个像素的强度的第二参数的值，从而创建第二参数图像719。接下来，将第一参数图像720和第二参数图像719一起处理721以创建修改参数图像722。这可以通过每个像素将第一参数图像720与第二参数图像719相乘来完成。最后，使用修改参数图像722来修改723彩色图像701，以创建修改或增强的图像724，其中，修改的强度取决于修改参数图像722的值。在一个变体中，修改包括从彩色图像701的至少一个颜色通道(优选地红色通道)中减去修改参数图像722，以创建修改或增强的图像724。在另一个变体中，修改包括从彩色图像701的所有三个颜色通道中减去修改参数图像722，以创建修改或增强的图像724。
图8a示出了在增强血管可见性之前的内部空腔的彩色图像，并且图8b示出了根据本披露实施例的在增强了血管可见性之后的彩色图像。可以看出，在图8b的图像中血管更清晰，而其他组织类型的呈现基本不变。这将使医务人员能够有效地检查血管结构和内部空腔的其他区域是否存在病理变化。
图9示出了根据本披露的实施例的内窥镜系统901的示意图。内窥镜系统901包括内窥镜902、第一图像处理器904和第二图像处理器906，其中，第一图像处理器904和第二图像处理器906均具有处理单元。内窥镜902具有图像捕获设备903，并且第一图像处理器904的处理单元可操作地连接到内窥镜903的图像捕获设备。在该实施例中，第一图像处理器904集成在监视器905中，并且第二图像处理器906的处理单元直接可操作地连接到第一图像处理器904的处理单元，并且经由第一图像处理器904间接可操作地连接到内窥镜903的图像捕获设备。在该实施例中，第一图像处理器904的处理单元被配置为通过处理由图像捕获设备903记录的具有多个颜色通道的彩色图像来生成适于计算机图像分析的图像，该彩色图像具有多个像素，其中，该彩色图像的处理包括针对所述多个像素中的至少一些像素执行以下步骤：(a)处理从第一颜色通道获得的数据以及从第二颜色通道获得的数据以确定指示相对于所述像素的总强度的红色光谱中的强度的第一参数的值；(b)使用所述第一参数的所述值来创建适于计算机图像分析的图像的像素值。
适于计算机图像分析的图像被转发到第二图像处理器906，在该第二图像处理器中，使用被训练用于识别适于计算机图像分析的图像中的潜在病理性血管结构的机器学习数据架构来处理这种图像。通过将图像特性与训练图像中识别的特性库进行比较来识别病理性血管结构的识别。
第二图像处理单元906可以布置在第一图像处理器904附近，其中，第一图像处理器904和第二图像处理器906直接通信或经由本地网络通信。可替代地，第二图像处理器可以被布置为远离第一图像处理器，并且经由WAN(比如互联网)进行通信。来自机器学习数据架构的输出可以是提供给第一图像处理器904的通知。该通知可以仅仅指定已经识别出潜在的病理性血管结构。然而，该通知还可以指示病理类型和/或图像中的位置。如果该通知指定了潜在病理的位置，则监视器905可以被配置为突出显示已经识别出潜在病理的图像部分。适于计算机分析的图像可以更清楚地示出血管结构(与原始彩色图像相比)，从而使机器学习数据架构更容易识别潜在的病理性血管结构。适于计算机分析的图像的示例是(参考图7的实施例)修改的图像724、第一参数图像720和修改参数图像722。
图10展示了根据实施例的可以如何使用触摸屏来控制增强的强度。图10的a示出了由图像捕获设备(例如内窥镜的图像捕获设备)记录的图像1001。图像1001中的血管1002未被增强。可以处理图像1001以改善其整体质量，例如校正颜色、设置对比度、亮度等。触摸屏的一部分用于显示用户界面，该用户界面被配置为开启血管的增强并控制增强的强度。用户界面可以包括按钮1003，该按钮被配置为允许用户开启/关闭血管的增强。用户界面可以包括一个或多个增强级别选择器，例如按钮1004、1005，其被配置为允许用户控制增强的强度。用户界面可以包括用于指示所选择的增强强度的增强指示符1006。增强指示符1006可以进一步用作增强级别选择器，例如滑块，由此用户可以将指示符1006滑动到期望位置以选择增强的特定强度。图10的a示出了未增强图像，图10的b示出了以中等强度增强的图像，图10的c示出了以高强度增强的图像，并且图10的d示出了以低强度增强的图像。可以将比如符号或图标等视觉标识符1007插入到增强图像中，以向用户示出该图像已经被增强。触摸屏可以示出实时图像，其中，用户界面被配置为开启血管的增强并控制实时图像上的增强强度。触摸屏还可以示出一个或多个记录的图像，其中，用户界面被配置为开启/关闭血管的增强并控制该一个或多个记录的图像上的增强强度。
图11示出了增强彩色图像中的血管可见性的方法的另一实施例的流程图。该彩色图像具有多个颜色通道和多个像素，其中，该方法包括针对多个像素中的至少一些像素执行以下步骤：1101处理从第一颜色通道获得的数据以及从第二颜色通道获得的数据以确定指示相对于像素的总强度的红色光谱中的强度的第一参数的值；1102接收包括用户参数的第一值的用户输入；以及1103使用所述第一参数的所述值和用户参数的所述第一值来修改所述像素，该用户参数的第一值基于用户输入，并且其中，该修改的强度取决于所述第一参数的值和所述用户参数的第一值两者。
图12示出了根据本披露实施例的改变记录的增强图像的增强的方法的流程图。该方法包括：1201在存储单元上存储第一增强图像；1202将原始未增强图像或能够基于所存储的增强图像来重新创建该原始未增强图像的图像数据存储在该存储单元上；1203基于用户输入获得用户参数的第二值；以及1204基于该原始未增强图像和该用户参数的第二值创建第二增强图像，该第二增强图像以与该第一增强图像不同的强度被增强。
还可以通过保存在对基础图像进行处理以获得第一增强图像期间获得的中间图像来创建第二增强图像。使用中间图像可以节省处理步骤，因为不必重复进行归一化和其他处理。中间图像是那些足以在使用用户参数的值之前创建增强图像的图像。这些图像包括例如第一参数图像、第一强度差图像、经LP滤波的彩色图像或归一化彩色图像。如果使用基础彩色图像，则附加处理可能简单使用第一参数图像与用户值来创建第二增强图像。这减少了处理，但代价是保存附加的图像。如果保存了第一增强图像，则进一步的处理包括撤消第一增强，然后应用第二用户值。
附加/替代实施例：参照内窥镜或血管描述了以上实施例中、以下实施例中的一些实施例以及所附权利要求中的一些所附权利要求。然而，应当理解，所披露的特征适用于任何视频内窥镜以检测图像中的有色物质，并且提及血管是为了说明本发明的特别有用的应用，而不是将本发明限制于包括血管的图像的增强。
1.一种增强由医疗设备的图像捕获设备捕获的彩色图像中的血管可见性的方法，所述彩色图像具有多个颜色通道并且具有多个像素，其中，所述方法包括针对所述多个像素中的至少一些像素执行以下步骤：
(a)处理从第一颜色通道获得的数据以及从第二颜色通道获得的数据以确定指示相对于所述像素的总强度的该第一颜色通道的强度的第一参数的值；
(b)使用所述第一参数的所述值来修改所述像素，
其中，所述第一参数具有至少三个可能的值，并且其中，该修改的强度取决于所述第一参数的值。
2.根据实施例1所述的方法，其中，步骤(a)包括：处理从第一颜色通道获得的数据和从第二颜色通道获得的数据以及从第三颜色通道获得的数据，以确定所述第一参数的值。
3.根据实施例2所述的方法，其中，将从该第一颜色通道获得的所述数据与从该第二颜色通道获得的所述数据一起处理以创建第一子参数的值，将从所述第一颜色通道获得的所述数据与从所述第三颜色通道获得的所述数据一起进行处理以创建第二子参数的值，并且其中，将所述第一子参数的所述值与所述第二子参数的所述值一起处理以创建所述第一参数的所述值。
4.根据实施例3所述的方法，其中，所述第一子参数的所述值和所述第二子参数的所述值均指示相对于所述像素的总强度的该第一颜色通道的强度。
5.根据实施例1至4中任一项所述的方法，其中，步骤(a)包括从该第一颜色通道获得的所述数据减去从该第二颜色通道获得的所述数据。
6.根据实施例1至5中任一项所述的方法，其中，不具有血管的彩色图像的部分基本上未修改并且以正常颜色显示。
7.根据实施例1至6中任一项所述的方法，其中，所述方法进一步包括：确定指示所述像素的强度的第二参数的值，并且其中，所述第一参数的所述值与所述第二参数的所述值一起用于修改所述像素。
8.根据实施例1至7中任一项所述的方法，其中，在对所述多个颜色通道一起进行处理之前对其进行归一化。
9.根据实施例8所述的方法，其中，针对所述多个颜色通道中的每一个创建指示每个像素的局部平均值的低通滤波图像，并且其中，使用每个颜色通道的低通滤波图像来对每个颜色通道进行归一化。
10.根据实施例1至9中任一项所述的方法，其中，基于用户输入来创建第三参数的值，并且其中，所述修改取决于所述第一参数的所述值和所述第三参数的所述值，由此该用户可以控制该修改的强度。
11.根据实施例1至10中任一项所述的方法，其中，该第一参数的高值指示相对于所述像素的总强度的该第一颜色通道的高强度，并且该第一参数的低值指示相对于所述像素的总强度的该第一颜色通道的低强度。
12.根据实施例11所述的方法，其中，在所有可能值的最高50％之中的第一参数的值导致的修改比由在所有可能值的最低50％之中的第一参数的值导致的修改更显著。
13.根据实施例11或12所述的方法，其中，对于所述第一参数的至少50％的可能值，该第一参数的值的增加导致修改强度的增加。
14.根据实施例1至13中任一项所述的方法，其中，所述像素的修改与绿色光谱相对于蓝色光谱的强度无关。
根据实施例1至14中任一项所述的方法，其中，该第一颜色通道对应于红色光谱。
15.一种用于增强彩色图像中的血管可见性的图像处理设备，所述图像处理设备包括可操作地连接到医疗设备的图像捕获设备的处理单元，其中，所述处理单元被配置为从所述图像捕获设备接收具有多个颜色通道的彩色图像，所述彩色图像具有多个像素，并且其中，所述处理单元进一步被配置为针对所述多个像素中的至少一些像素执行以下步骤：
(a)处理从第一颜色通道获得的数据以及从第二颜色通道获得的数据以确定指示相对于所述像素的总强度的该第一颜色通道的强度的第一参数的值；
(b)使用所述第一参数的所述值来修改所述像素，
其中，所述第一参数具有至少三个可能的值，并且其中，该修改的强度取决于所述第一参数的值。
16.根据实施例15所述的图像处理设备，其中，步骤(a)包括：处理从第一颜色通道获得的数据和从第二颜色通道获得的数据以及从第三颜色通道获得的数据，以确定所述第一参数的值。
17.根据实施例16所述的图像处理设备，其中，将从该第一颜色通道获得的所述数据与从该第二颜色通道获得的所述数据一起处理以创建第一子参数的值，将从所述第一颜色通道获得的所述数据与从所述第三颜色通道获得的所述数据一起进行处理以创建第二子参数的值，并且其中，将所述第一子参数的所述值与所述第二子参数的所述值一起处理以创建所述第一参数的所述值。
18.根据实施例17所述的图像处理设备，其中，所述第一子参数的所述值和所述第二子参数的所述值均指示相对于所述像素的总强度的该第一颜色通道的强度。
19.根据实施例16至18中任一项所述的图像处理设备，其中，步骤(a)包括从该第一颜色通道获得的所述数据减去从该第二颜色通道获得的所述数据。
20.根据实施例15至19中任一项所述的图像处理设备，其中，不具有血管的彩色图像的部分基本上未修改并且以正常颜色显示。
21.根据实施例15至20中任一项所述的图像处理设备，其中，该处理单元进一步被配置为执行以下步骤：
确定指示所述像素的强度的第二参数的值，并且其中，所述第一参数的所述值与所述第二参数的所述值一起用于修改所述像素。
22.根据实施例15至21中任一项所述的图像处理设备，其中，在对所述多个颜色通道一起进行处理之前对其进行归一化。
23.根据实施例22所述的图像处理设备，其中，针对所述多个颜色通道中的每一个创建指示每个像素的局部平均值的低通滤波图像，并且其中，使用每个颜色通道的低通滤波图像来对每个颜色通道进行归一化。
24.根据实施例15至23中任一项所述的图像处理设备，其中，所述图像处理设备可操作地连接到用于接收用户输入的输入单元，并且进一步被配置为从所述输入单元接收用户选择的第三参数的值，并且其中，该修改取决于所述第一参数的所述值和所述第三参数的所述值，由此该用户可以控制该修改的强度。
25.根据实施例15至24中任一项所述的图像处理设备，其中，该第一参数的高值指示相对于所述像素的总强度的该第一颜色通道的高强度，并且该第一参数的低值指示相对于所述像素的总强度的该第一颜色通道的低强度。
26.根据实施例25所述的图像处理设备，其中，在所有可能值的最高50％之中的第一参数的值导致的修改比由在所有可能值的最低50％之中的第一参数的值导致的修改更显著。
27.根据实施例25或26所述的图像处理设备，其中，对于所述第一参数的至少50％的可能值，该第一参数的值的增加导致修改强度的增加。
28.根据实施例15至27中任一项所述的图像处理设备，其中，该第一颜色通道与红色光谱相对应，并且其中，所述像素的修改与绿色光谱相对于蓝色光谱的强度无关。
29.一种用于识别潜在的病理性血管结构的图像处理设备，所述图像处理设备包括可操作地连接到医疗设备的图像捕获设备的处理单元，其中，所述处理单元被配置为使用被训练用于识别适于计算机图像分析的图像中的潜在病理性血管结构的机器学习数据架构来处理这种图像，其中，适于计算机分析的所述图像是通过处理由所述图像捕获设备记录的具有多个颜色通道的彩色图像生成的，所述彩色图像具有多个像素，其中，所述彩色图像的处理包括针对所述多个像素中的至少一些像素执行以下步骤：
(a)处理从第一颜色通道获得的数据以及从第二颜色通道获得的数据以确定指示相对于所述像素的总强度的该第一颜色通道的强度的第一参数的值；
(b)使用所述第一参数的所述值来创建适于计算机图像分析的图像的像素值。
30.根据实施例29所述的图像处理设备，其中，所述机器学习数据架构是有监督的机器学习架构并被提供由步骤a)和b)创建的图像的训练数据集，其中，所述训练数据集的图像的第一子集示出病理性血管结构，并且所述训练数据集的图像的第二子集示出健康的血管结构。
31.根据实施例30所述的图像处理设备，其中，该训练数据集包括示出肿瘤的血管结构的多个图像。
32.根据实施例29至31中任一项所述的图像处理设备，其中，适于计算机图像分析的图像的像素值对应于第一参数的值可选地乘以从所述彩色图像得出的权重值；或者适于计算机图像分析的图像的像素值是来自使用所述第一参数的值修改的所述彩色图像的修改像素，并且其中，该修改的强度取决于所述第一参数的值。
33.根据实施例29至32中任一项所述的图像处理设备，其中，该机器学习数据架构是人工神经网络，比如深度结构化学习架构。
34.根据实施例29至33中任一项所述的图像处理设备，其中，该处理单元直接可操作地连接到该图像捕获设备，并且被配置为接收该彩色图像并执行步骤a)和b)以创建适于计算机图像分析的图像。
35.根据实施例34所述的图像处理设备，其中，该处理单元经由另一图像处理设备间接可操作地连接到该图像捕获设备，其中，所述图像处理设备被配置为从所述另一图像处理设备接收适于计算机图像分析的所述图像，所述另一图像处理设备被配置为接收该彩色图像并执行步骤a)和b)以创建适于计算机图像分析的图像。
36.根据实施例15至35中任一项所述的图像处理设备，其中，该第一颜色通道对应于红色光谱。
37.一种用于显示由医疗设备的图像捕获设备获得的图像的显示单元，其中，所述显示单元包括根据实施例15至36中任一项所述的图像处理设备。
38.一种内窥镜系统，包括内窥镜和根据实施例15至36中的任一项所述的图像处理设备，其中，所述内窥镜具有图像捕获设备，并且所述图像处理设备的所述处理单元可操作地连接到所述内窥镜的所述图像捕获设备。
39.根据实施例38所述的内窥镜系统，其中，所述内窥镜系统进一步包括根据实施例37所述的显示单元，其中，所述显示单元可操作地连接到所述内窥镜的所述图像捕获设备，并被配置为显示所述捕获的图像。
40.一种计算机程序产品，包括程序代码装置，当所述程序代码装置在数据处理系统上执行时，适于使该数据处理系统执行根据实施例1至14中任一项所述的方法的步骤。
41.根据实施例40所述的计算机产品，其中，该第一颜色通道与红色光谱相对应。
42.根据实施例40或41所述的计算机程序产品，其中，所述计算机程序产品包括其上存储有该程序代码装置的非暂态计算机可读介质。
虽然已经详细描述并示出了一些实施例，但是本发明不局限于此、还可以以落入所附权利要求中所限定的主题范围的其他方式来实施。具体而言，应理解的是，在不脱离本发明的范围的情况下可以利用其他实施例并且可以做出结构和功能改变。
在列举了若干装置的设备权利要求中，这些装置中的若干装置可以由同一件硬件来实施。在相互不同的从属权利要求中引用的或在不同实施例中描述的某些措施的这种单纯事实并不指示不能有利地使用这些措施的组合。
应强调的是，当在本说明书中使用时，术语“包括(comprises/comprising)”被用于指定所陈述的特征、整体、步骤或部件的存在，但不排除存在或添加一个或多个其他特征、整体、步骤、部件或其群组。
提及“一个实施例”、“实施例”、“示例实施例”等指示所描述的实施例可以包括特定的特征、结构或特性，但是每个实施例可以不必包括特定的特征、结构或特性。而且，这样的短语不一定指代相同的实施例。
本发明的范围仅受所附权利要求的限制，其中除非明确说明，否则提及单数形式的要素并不旨在意味着“有且仅有一个”，而是“一个或多个”。而且，在权利要求中使用类似于“A、B或C中的至少一个”的短语时，意图将该短语解释为是指在实施例中可以单独存在A，在实施例中可以单独存在B，在实施例中可以单独存在C，或者在单个实施例中可以存在要素A、B或C的任何组合；例如A和B、A和C、B和C或A和B和C。

Claims (15)

1.一种增强由医疗设备的图像捕获设备捕获的彩色图像中的血管可见性的方法，所述彩色图像具有多个颜色通道并且具有多个像素，其中，所述方法包括针对所述多个像素中的至少一些像素的以下步骤：
(a)处理从第一颜色通道获得的数据以及从第二颜色通道获得的数据以确定指示相对于所述像素的总强度的红色光谱中的强度的第一参数的值；以及
(b)使用所述第一参数的所述值和用户参数的第一值来修改所述像素以生成增强图像的像素，该用户参数的第一值基于用户输入并且具有至少三个可能值，并且其中，该修改的强度取决于所述第一参数的值和所述用户参数的第一值两者。
2.根据权利要求1所述的方法，其中，每当激活该增强并且生成该增强图像时，比如符号或图标的视觉标识符就被插入到该增强图像中以示出该图像已经被增强。
3.根据权利要求1或2所述的方法，其中，该方法进一步包括以下步骤：
存储第一增强图像；
存储原始未增强图像或能够基于所存储的增强图像来重新创建该原始未增强图像的图像数据；
基于用户输入获得该用户参数的第二值；以及
基于该原始未增强图像和该用户参数的第二值创建第二增强图像，该第二增强图像以与该第一增强图像不同的强度被增强。
4.根据权利要求1或2所述的方法，其中，步骤(a)包括：处理从第一颜色通道获得的数据和从第二颜色通道获得的数据以及从第三颜色通道获得的数据，以确定所述第一参数的值。
5.根据权利要求4所述的方法，其中，将从该第一颜色通道获得的所述数据与从该第二颜色通道获得的所述数据一起处理以创建第一子参数的值，将从所述第一颜色通道获得的所述数据与从所述第三颜色通道获得的所述数据一起进行处理以创建第二子参数的值，并且其中，将所述第一子参数的所述值与所述第二子参数的所述值一起处理以创建所述第一参数的所述值。
6.根据权利要求5所述的方法，其中，所述第一子参数的所述值和所述第二子参数的所述值均指示相对于所述像素的总强度的红色光谱中的强度。
7.根据权利要求1或5所述的方法，其中，步骤(a)包括从该第一颜色通道获得的所述数据减去从该第二颜色通道获得的所述数据。
8.根据权利要求1或5所述的方法，其中，所述方法进一步包括：
确定指示所述像素的强度的第二参数的值，并且其中，所述第一参数的所述值与所述第二参数的所述值一起用于修改所述像素。
9.根据权利要求1或5所述的方法，其中，该第一参数的高值指示相对于所述像素的总强度的红色光谱中的高强度，并且该第一参数的低值指示相对于所述像素的总强度的红色光谱中的低强度。
10.一种用于增强彩色图像中的血管可见性的图像处理设备，所述图像处理设备包括可操作地连接到医疗设备的图像捕获设备的处理单元，其中，所述处理单元被配置为从所述图像捕获设备接收具有多个颜色通道的彩色图像，所述彩色图像具有多个像素，并且其中，所述处理单元进一步被配置为针对所述多个像素中的至少一些像素执行以下步骤：
(a)处理从第一颜色通道获得的数据以及从第二颜色通道获得的数据以确定指示相对于所述像素的总强度的红色光谱中的强度的第一参数的值；以及
(b)使用所述第一参数的所述值和用户参数的第一值来修改所述像素以生成增强图像的像素，该用户参数的第一值基于用户输入并且具有至少三个可能值，并且其中，该修改的强度取决于所述第一参数的值和所述用户参数的第一值两者。
11.一种用于显示由医疗设备的图像捕获设备获得的图像的显示单元，其中，所述显示单元包括根据权利要求10所述的图像处理设备。
12.一种内窥镜系统，包括内窥镜和根据权利要求10所述的图像处理设备，其中，所述内窥镜具有图像捕获设备，并且所述图像处理设备的所述处理单元可操作地连接到所述内窥镜的所述图像捕获设备。
13.根据权利要求12所述的内窥镜系统，其中，所述内窥镜系统进一步包括根据权利要求11所述的显示单元，其中，所述显示单元可操作地连接到所述内窥镜的所述图像捕获设备，并被配置为显示所述捕获的图像。
14.一种计算机程序产品，包括程序代码装置，当所述程序代码装置在数据处理系统上执行时，适于使该数据处理系统执行根据权利要求1至9中任一项所述的方法的步骤。
15.根据权利要求14所述的计算机程序产品，其中，所述计算机程序产品包括其上存储有该程序代码装置的非暂态计算机可读介质。
CN202110251023.XA 2018-09-07 2021-03-08 用于增强彩色图像中的血管可见性的方法以及可视化系统 Pending CN113436082A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18193186.6A EP3620098B1 (en) 2018-09-07 2018-09-07 Enhancing the visibility of blood vessels in colour images
US16/811,927 2020-03-06
US16/811,927 US11074690B2 (en) 2018-09-07 2020-03-06 Method for enhancing the visibility of blood vessels in color images and visualization systems implementing the method

Publications (1)

Publication Number Publication Date
CN113436082A true CN113436082A (zh) 2021-09-24

Family

ID=63528603

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201980064180.0A Active CN112770660B (zh) 2018-09-07 2019-09-03 增强彩色图像中的血管可见性
CN202110251023.XA Pending CN113436082A (zh) 2018-09-07 2021-03-08 用于增强彩色图像中的血管可见性的方法以及可视化系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201980064180.0A Active CN112770660B (zh) 2018-09-07 2019-09-03 增强彩色图像中的血管可见性

Country Status (4)

Country Link
US (3) US11205253B2 (zh)
EP (3) EP3620098B1 (zh)
CN (2) CN112770660B (zh)
WO (1) WO2020048997A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3620098B1 (en) 2018-09-07 2021-11-03 Ambu A/S Enhancing the visibility of blood vessels in colour images
GB201908517D0 (en) * 2019-06-13 2019-07-31 Spectral Edge Ltd 3D digital imagenoise reduction system and method
WO2021249684A1 (en) 2020-06-10 2021-12-16 Huawei Technologies Co., Ltd. Adaptive image enhancement using inter-channel correlation information
CN112017174B (zh) * 2020-09-03 2024-05-31 湖南省华芯医疗器械有限公司 图像处理方法、装置、电子设备及存储介质
WO2022066601A1 (en) * 2020-09-25 2022-03-31 Boston Scientific Scimed, Inc. Color extrapolation from monochrome image sensor
JP2022180108A (ja) * 2021-05-24 2022-12-06 富士フイルム株式会社 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法
CN113947553B (zh) * 2021-12-20 2022-03-18 山东信通电子股份有限公司 一种图像亮度增强方法及设备

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4583027A (en) 1982-12-27 1986-04-15 Hitachi Metals International, Ltd. Moving magnet linear motor
US5942817A (en) 1998-02-26 1999-08-24 Anorad Corporation Linear motor having automatic armature windings switching at minimum current points
US6956602B2 (en) 2001-09-27 2005-10-18 Fujinon Corporation Electronic endoscope for highlighting blood vessel
US7042488B2 (en) 2001-09-27 2006-05-09 Fujinon Corporation Electronic endoscope for highlighting blood vessel
US8090177B2 (en) * 2008-08-01 2012-01-03 Sti Medical Systems, Llc Methods for detection and characterization of atypical vessels in cervical imagery
WO2010044446A1 (ja) * 2008-10-17 2010-04-22 オリンパス株式会社 画像生成装置、内視鏡システム、および画像生成方法
US9179831B2 (en) 2009-11-30 2015-11-10 King Systems Corporation Visualization instrument
JP5159904B2 (ja) * 2011-01-11 2013-03-13 富士フイルム株式会社 内視鏡診断装置
JP5451802B2 (ja) 2011-04-01 2014-03-26 富士フイルム株式会社 電子内視鏡システム及び電子内視鏡システムの校正方法
DK2611356T3 (en) 2011-07-11 2015-03-23 Etview Ltd ENDOBRONCIAL HOSE
EP2754378B1 (en) * 2011-09-05 2023-03-22 FUJIFILM Corporation ENDOSCOPE SYSTEM and PROCESSOR DEVICE THEREOF
JP5815426B2 (ja) * 2012-01-25 2015-11-17 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像処理方法
JP5690788B2 (ja) * 2012-09-07 2015-03-25 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、及びカプセル内視鏡システム
WO2014106511A1 (en) 2013-01-07 2014-07-10 Ambu A/S An articulated tip part for an endoscope
JP6128888B2 (ja) * 2013-02-27 2017-05-17 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
EP3072439B1 (en) * 2013-10-28 2018-09-05 Fujifilm Corporation Image processing device and operation method therefor
EP3127469B1 (en) 2014-03-31 2019-09-04 Fujifilm Corporation Endoscope system
JP6285383B2 (ja) * 2015-03-20 2018-02-28 富士フイルム株式会社 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び内視鏡システムの作動方法
JP2016193107A (ja) * 2015-04-01 2016-11-17 Hoya株式会社 画像処理装置
CN104899876B (zh) * 2015-05-18 2018-04-06 天津工业大学 一种基于自适应高斯差分的眼底图像血管分割方法
JP6461739B2 (ja) * 2015-07-28 2019-01-30 富士フイルム株式会社 画像処理装置及び内視鏡システム並びに画像処理装置の作動方法
US10478054B2 (en) 2016-02-12 2019-11-19 Ambu A/S Endotracheal tube with visualization capabilities and a laryngeal mask
US10835360B2 (en) * 2016-04-01 2020-11-17 Research and Development International Corporation Advanced periodontal endoscope and methods
US10706533B2 (en) 2016-05-13 2020-07-07 National Jewish Health Systems and methods for automatic detection and quantification of pathology using dynamic feature classification
US10083504B2 (en) 2016-09-07 2018-09-25 International Business Machines Corporation Multi-step vessel segmentation and analysis
EP3756530B1 (en) 2016-09-28 2023-01-11 Ambu A/S Endoscope adapted for facilitating bal procedures
US20180303351A1 (en) * 2017-04-20 2018-10-25 General Electric Company Systems and methods for optimizing photoplethysmograph data
WO2018235178A1 (ja) * 2017-06-21 2018-12-27 オリンパス株式会社 画像処理装置、内視鏡装置、画像処理装置の作動方法及び画像処理プログラム
WO2018235179A1 (ja) * 2017-06-21 2018-12-27 オリンパス株式会社 画像処理装置、内視鏡装置、画像処理装置の作動方法及び画像処理プログラム
CN111936031B (zh) 2018-04-11 2023-12-15 富士胶片株式会社 医疗图像处理装置
EP3620098B1 (en) 2018-09-07 2021-11-03 Ambu A/S Enhancing the visibility of blood vessels in colour images

Also Published As

Publication number Publication date
WO2020048997A1 (en) 2020-03-12
EP3876186A1 (en) 2021-09-08
US20220058799A1 (en) 2022-02-24
US11978184B2 (en) 2024-05-07
EP3846672B1 (en) 2024-06-19
US11074690B2 (en) 2021-07-27
EP3846672A1 (en) 2021-07-14
EP3620098A1 (en) 2020-03-11
US11205253B2 (en) 2021-12-21
CN112770660A (zh) 2021-05-07
US20200211190A1 (en) 2020-07-02
US20210342985A1 (en) 2021-11-04
EP3620098B1 (en) 2021-11-03
CN112770660B (zh) 2022-07-12

Similar Documents

Publication Publication Date Title
US11978184B2 (en) Method for enhancing the visibility of blood vessels in color images and visualization systems implementing the method
JP7270626B2 (ja) 医用画像処理装置、医用画像処理システム、医用画像処理装置の作動方法、プログラム、及び記憶媒体
JP7166430B2 (ja) 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム
JP5771757B2 (ja) 内視鏡システム及び内視鏡システムの作動方法
JP7143504B2 (ja) 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム
US12035879B2 (en) Medical image processing apparatus, endoscope system, and medical image processing method
JP7289373B2 (ja) 医療画像処理装置、内視鏡システム、診断支援方法及びプログラム
JP7387859B2 (ja) 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム
JP7335157B2 (ja) 学習データ作成装置、学習データ作成装置の作動方法及び学習データ作成プログラム並びに医療画像認識装置
JP7374280B2 (ja) 内視鏡装置、内視鏡プロセッサ、及び内視鏡装置の作動方法
CN110769730A (zh) 非线性缩放模型处理图像数据的方法及医学视觉辅助系统
WO2020184257A1 (ja) 医用画像処理装置及び方法
US20230206445A1 (en) Learning apparatus, learning method, program, trained model, and endoscope system
US20230410304A1 (en) Medical image processing apparatus, medical image processing method, and program
EP4190270A1 (en) Endoscope image processing device
JP2005137680A (ja) 器官色計測システムおよびプログラム
JP2023521057A (ja) 画像処理システム及びその使用方法
CN112739250A (zh) 医用图像处理装置、处理器装置、医用图像处理方法及程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination