CN112488926A - 用于基于神经网络的色彩还原的系统和方法 - Google Patents

用于基于神经网络的色彩还原的系统和方法 Download PDF

Info

Publication number
CN112488926A
CN112488926A CN202010951360.5A CN202010951360A CN112488926A CN 112488926 A CN112488926 A CN 112488926A CN 202010951360 A CN202010951360 A CN 202010951360A CN 112488926 A CN112488926 A CN 112488926A
Authority
CN
China
Prior art keywords
image
hsv
rgb
dataset
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010951360.5A
Other languages
English (en)
Inventor
甘小方
陆臻陶
X·李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Covidien LP
Original Assignee
Covidien LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Covidien LP filed Critical Covidien LP
Publication of CN112488926A publication Critical patent/CN112488926A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/85—Camera processing pipelines; Components thereof for processing colour signals for matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/86—Camera processing pipelines; Components thereof for processing colour signals for controlling the colour saturation of colour signals, e.g. automatic chroma control circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

一种用于图像中的色彩还原的方法包含存取对象的图像并且基于图像处理操作来处理所述图像以提供处理后的图像，其中所述图像处理影响所述对象的色彩。所述方法进一步包含：使用训练后的神经网络来确定色彩调节参数，其中对所述训练后的神经网络的输入是基于所述图像和所述处理后的图像，基于所述色彩调节参数还原所述处理后的图像中的色彩以产生还原色彩后的图像，以及在显示装置上显示所述还原色彩后的图像。

Description

用于基于神经网络的色彩还原的系统和方法
技术领域
本公开涉及用于图像中的色彩还原的装置、系统和方法，且更具体地，涉及外科手术程序期间去雾后的图像中的色彩还原。
背景技术
通过切口或天然的人体孔口引入内窥镜，以观察人体的内部特征。常规内窥镜用于内窥镜或腹腔镜外科手术程序期间的可视化。在电外科手术程序期间，当使用外科手术器械例如在外科手术期间用电外科手术能量处理组织时，可能会产生雾。因此，通过内窥镜获取的图像可能包含这种雾。雾可能会使外科手术部位的特征模糊不清，并且在外科医生等待雾清除干净的时候延迟外科手术程序。其它程序可能会遇到类似的问题，其中在捕获图像时会存在烟尘。因此，有兴趣改进成像技术。
发明内容
本公开涉及用于图像中的色彩还原的装置、系统和方法。根据本公开的方面，一种用于图像中的色彩还原的方法包含存取对象的图像并且基于图像处理操作来处理图像以提供处理后的图像，其中图像处理影响对象的色彩。所述方法进一步包含：使用训练后的神经网络来确定色彩调节参数，其中对训练后的神经网络的输入是基于图像和处理后的图像，基于色彩调节参数还原处理后的图像中的色彩以产生还原色彩后的图像，以及在显示装置上显示还原色彩后的图像。本文所描述的色彩还原技术还可以应用于去雾之外的图像处理所产生的图像。
在本公开的一方面，图像处理操作可包含对图像进行去雾的去雾操作。去雾操作包含：确定图像的暗通道矩阵，估计图像的大气光分量，基于大气光分量和暗通道矩阵来确定透射图，以及基于透射图对图像进行去雾以提供处理后的图像。
在本公开的另一方面，图像可为RGB图像，并且处理后的图像可为RGB处理后的图像。
在本公开的一方面，确定色彩调节参数可包含：将RGB图像转换为HSV图像，将RGB处理后的图像转换为HSV处理后的图像，从HSV处理后的图像中减去HSV图像以提供HSV差分图像，将HSV差分图像输入到训练后的神经网络，以及获得HSV调节图像作为训练后的神经网络的输出，所述HSV调节图像包含色彩调节参数。还原处理后的图像中的色彩可包含：将HSV调节图像的色调通道和饱和度通道添加到HSV处理后的图像以提供HSV还原色彩后的图像，将HSV还原色彩后的图像转换为RGB以提供还原色彩后的图像。
在本公开的又一方面，所述方法可进一步包含训练神经网络。训练包含：存取具有无雾图像的RGB无雾图像数据集，存取在深色背景上具有有雾图像的RGB有雾数据集，将RGB无雾图像数据集与RGB有雾数据集组合以提供RGB有雾图像数据集，对RGB有雾图像数据集中的图像进行去雾以提供RGB去雾后的图像数据集，将RGB去雾后的图像数据集、RGB有雾图像数据集和RGB无雾图像数据集从RGB图像转换为HSV图像，以分别提供HSV去雾后的图像数据集、HSV有雾图像数据集和HSV无雾图像数据集，确定HSV去雾后的图像数据集中的图像与HSV有雾图像数据集中的对应图像之间的差以提供HSV差分图像数据集，以及将HSV差分图像数据集作为训练输入提供给神经网络。
在本公开的另一方面，训练神经网络可进一步包含减少损失函数。损失函数可基于HSV差分图像数据集的至少一部分。
在本公开的一方面，损失函数进一步基于真实数据，所述真实数据基于HSV无雾图像数据集的图像与HSV有雾图像数据集的对应图像之间的差。
在本公开的另一方面，所述方法可进一步包含通过使用以下公式确定加权组合来将RGB无雾图像数据集与RGB有雾数据集组合：RGB有雾数据集中的图像*系数+RGB无雾图像数据集中的图像*(1-系数)。所述系数是介于0与1之间的值。
在本公开的又一方面，神经网络可包含卷积神经网络和/或全连接神经网络。
在本公开的另一方面，卷积神经网络可包含：具有输出的第一卷积层。卷积神经网络进一步包含：配置成接收第一卷积层的输出的第一整流线性单元，配置成接收第一整流线性单元的输出的中间卷积层，配置成接收中间卷积层的输出的中间整流线性单元，配置成接收中间整流线性单元的输出的最终卷积层，以及配置成接收最终卷积层的输出的最终整流线性单元。中间卷积层和中间整流线性单元配置成进行多次迭代。
根据本公开的方面，一种用于图像中的色彩还原的系统包含显示装置、处理器和存储指令的存储器。指令在由处理器实行时使系统进行以下操作：存取对象的图像，基于图像处理操作来处理图像以提供处理后的图像，其中图像处理影响对象的色彩，以及使用训练后的神经网络来确定色彩调节参数。对训练后的神经网络的输入是基于图像和处理后的图像。指令进一步使系统进行以下操作：基于色彩调节参数还原处理后的图像中的色彩以产生还原色彩后的图像，以及在显示装置上显示还原色彩后的图像。
在本公开的又一方面，图像处理操作可包含对图像进行去雾的去雾操作。在执行去雾操作时指令进一步使系统进行以下操作：确定图像的暗通道矩阵，估计图像的大气光分量，基于大气光分量和暗通道矩阵来确定透射图，以及基于透射图对图像进行去雾以提供处理后的图像。
在本公开的又一方面，图像可为RGB图像，并且处理后的图像可为RGB处理后的图像。
在本公开的另一方面，在确定色彩调节参数时指令可进一步使系统进行以下操作：将RGB图像转换为HSV图像，将RGB处理后的图像转换为HSV处理后的图像，从HSV处理后的图像中减去HSV图像以提供HSV差分图像，将HSV差分图像输入到训练后的神经网络，以及获得HSV调节图像作为训练后的神经网络的输出，所述HSV调节图像包含色彩调节参数。还原处理后的图像中的色彩包含：将HSV调节图像的色调通道和饱和度通道添加到HSV处理后的图像以提供HSV还原色彩后的图像，以及将HSV还原色彩后的图像转换为RGB以提供还原色彩后的图像。
在本公开的又一方面，在训练神经网络时指令可进一步使系统进行以下操作：存取具有无雾图像的RGB无雾图像数据集，存取在深色背景上具有有雾图像的RGB有雾数据集，将RGB无雾图像数据集与RGB有雾数据集组合以提供RGB有雾图像数据集，对RGB有雾图像数据集中的图像进行去雾以提供RGB去雾后的图像数据集，将RGB去雾后的图像数据集、RGB有雾图像数据集和RGB无雾图像数据集从RGB图像转换为HSV图像，以分别提供HSV去雾后的图像数据集、HSV有雾图像数据集和HSV无雾图像数据集，确定HSV去雾后的图像数据集中的图像与HSV有雾图像数据集中的对应图像之间的差以提供HSV差分图像数据集，以及将HSV差分图像数据集作为训练输入提供给神经网络。
在本公开的又一方面，训练神经网络可进一步包含减少损失函数，所述损失函数基于HSV差分图像数据集的至少一部分。
在本公开的另一方面，损失函数可进一步基于真实数据，所述真实数据基于HSV无雾图像数据集的图像与HSV有雾图像数据集的对应图像之间的差。
在本公开的一方面，将RGB无雾图像数据集与RGB有雾数据集组合包含使用以下公式确定加权组合：RGB有雾数据集中的图像*系数+RGB无雾图像数据集中的图像*(1-系数)。所述系数是介于0与1之间的值。
在本公开的另一方面，神经网络可包含卷积神经网络和/或全连接神经网络。
在本公开的另一方面，卷积神经网络可包含：具有输出的第一卷积层，配置成接收第一卷积层的输出的第一整流线性单元，配置成接收第一整流线性单元的输出的中间卷积层，配置成接收中间卷积层的输出的中间整流线性单元，配置成接收中间整流线性单元的输出的最终卷积层，以及配置成接收最终卷积层的输出的最终整流线性单元。中间卷积层和中间整流线性单元可循环二十次。
下文参考附图更详细地描述了本公开的各种实施例的另外的细节和方面。
附图说明
专利或申请文件含有至少一个彩色附图。专利局将根据请求和必要费用支付，提供带彩色附图的本专利或专利申请公开的副本。
在本文中参考附图描述本公开的实施例，其中：
图1是根据本公开的示例性可视化或内窥镜系统的图；
图2是图1的可视化或内窥镜系统的示意性配置；
图3是示出图1系统的光学系统的另一示意性配置的图；
图4是根据本公开的实施例的可视化或内窥镜系统的框图；
图5是根据本公开的用于色彩还原的方法的流程图；
图6是根据本公开的包含像素区域的示例性输入图像；
图7是根据本公开的用于还原色彩的方法的流程图；
图8是根据本公开的用于执行神经网络训练的方法的流程图；
图9是根据本公开的用于色彩还原的方法的框图；
图10是根据本公开的用于色彩还原的方法的框图；以及
图11是根据本公开的示例性神经网络结构。
下文参考附图更详细地描述了本公开的示例性实施例的另外的细节和方面。在不脱离本公开范围的情况下，可组合本公开的以上方面和实施例中的任一个。
具体实施方式
参考附图详细地描述了当前所公开的装置、系统和治疗方法的实施例，其中在若干视图中的每一个中，相同附图标记指代相同或对应的元素。如本文所用，术语“远端”是指距使用者较远的结构的那部分，而术语“近端”是指距使用者较近的结构的那部分。术语“临床医生”是指医生、护士或其它护理提供者并且可包含支持人员。
本公开可适用于捕获外科手术部位的图像的情况。提供内窥镜系统作为实例，但将理解，这样的描述是示例性的，并且不限制本公开的范围和对其它系统和程序的适用性。
首先参考图1-3，根据本公开的方面，内窥镜系统1包含内窥镜10、光源20、视频系统30和显示装置40。经由光纤引导件22将例如LED光源/氙光源之类的光源20连接到内窥镜10，所述光纤引导件可操作地联接到光源20，且可操作地联接到设置在内窥镜10的手柄18上或邻近于所述手柄设置的内联接器16。光纤引导件22包含例如光纤电缆，所述光纤电缆延伸通过内窥镜10的细长主体12并且在内窥镜10的远端14处终止。因此，光从光源20传输通过光纤引导件22，并且从内窥镜10的远端14朝向患者体内的例如组织或器官的目标内部特征发射。由于这样的配置中的光传输路径可能相对较长(例如，光纤引导件22的长度可为约1.0m到约1.5m)，所以从光源20所发射的光通量的仅约15％(或更少)可从内窥镜10的远端14输出。
参考图2和图3，视频系统30可操作地连接到图像传感器32，所述图像传感器经由数据电缆34安装到内窥镜10的手柄18上或设置在所述手柄内。物镜36设置在内窥镜10的细长主体12的远端14处，并且一系列间隔开的中继透镜38，例如棒状透镜，沿着细长主体12的长度安放在物镜36与图像传感器32之间。由物镜36所捕获的图像经由中继透镜38通过内窥镜10的细长主体12转递到图像传感器32，然后传送给视频系统30进行处理并且经由电缆39输出到显示装置40。图像传感器32定位在内窥镜10的手柄18内或安装到所述手柄，所述手柄到内窥镜10的远端14的距离可以长达约30cm。
以下描述现将参考各种流程图和框图，包含以有序顺序描述的各种框。然而，本领域技术人员将理解，可在不脱离本公开的范围的情况下以不同的顺序执行、重复和/或省略流程图或框图的一个或多个框。对流程图的以下描述涉及由一个或多个视频系统30执行的各种动作或任务，但本领域技术人员将理解，视频系统30是示例性的。在各种实施例中，所公开的操作可以由另一部件、装置或系统来执行。在各种实施例中，视频系统30或其它部件/装置经由在处理器上实行的一个或多个软件应用来执行动作或任务。在各种实施例中，至少一些操作可以由固件、可编程逻辑装置和/或硬件电路系统来实施。本公开的范围内还预期其它实现方式。
参考图4，示出了系统的框图，所述系统可为图1的内窥镜系统，或可为不同类型的系统(例如，可视化系统等)。根据本公开的方面，系统包含成像装置410、光源420、视频系统430和显示装置440。光源420配置成经由光纤引导件422通过成像装置410向外科手术部位提供光。成像装置410的远端414包含用于捕获外科手术部位处的图像的物镜436。物镜436将图像转递到图像传感器432。然后将图像传送给视频系统430进行处理。视频系统430包含用于控制内窥镜和处理图像的成像装置控制器450。成像装置控制器450包含连接到计算机可读存储介质或存储器454的处理器452，所述存储介质或存储器可为例如RAM的易失性类型的存储器，或者例如闪存介质、磁盘介质的非易失性类型的存储器，或者其它类型的存储器。在各种实施例中，处理器452可为另一类型的处理器，例如但不限于数字信号处理器、微处理器、ASIC，图形处理单元(GPU)、现场可编程门阵列(FPGA)或中央处理单元(CPU)。
在各种实施例中，存储器454可为随机存取存储器、只读存储器、磁盘存储器、固态存储器、光盘存储器和/或另外类型的存储器。在各种实施例中，存储器454可以与成像装置控制器450分离，并且可以通过电路板的通信总线和/或通过例如串行ATA电缆或其它类型的电缆的通信电缆与处理器452通信。存储器454包含可由处理器452执行以操作成像装置控制器450的计算机可读指令。在各种实施例中，成像装置控制器450可包含网络接口540以与其它计算机或服务器通信。
在图1-4的系统中，当使用电外科手术器械例如在外科手术期间用电外科手术能量治疗组织时，可能会产生雾。因此，所获取的图像可能包含这种雾。雾可能会使外科手术部位的特征模糊不清，并且在外科医生等待雾清除干净的时候延迟外科手术程序。以下将描述对图像进行去雾的同时还保留外科手术部位的色彩的操作。
现在参考图5，示出了用于图像中的去雾和色彩还原的操作。在各种实施例中，可以通过本文以上所描述的内窥镜系统1来执行图5的操作。在各种实施例中，可以由另一类型的系统和/或在另一类型的程序期间执行图5的操作。以下描述将参考内窥镜系统，但将理解，这样的描述是示例性的，并且不限制本公开的范围和对其它系统和程序的适用性。以下描述将参考RGB(红色、绿色、蓝色)图像或RGB色彩模型，但将理解，这样的描述是示例性的，并且不限制本公开的范围和对其它类型的图像或色彩模型(例如CMYK(青、品红、黄、定位套版色)、CIELAB或CIEXYZ)的适用性。图像传感器32可捕获原始数据。原始数据的格式可为RGGB、RGBG、GRGB或BGGR。视频系统30可使用去马赛克算法将原始数据转换为RGB。去马赛克算法是一种数字图像处理，用于从覆盖有滤色器阵列(CFA)的图像传感器输出的不完整色彩样本中重建全彩色图像。其也被称为CFA插值或色彩重建。可由视频系统30将RGB图像进一步转换为另一色彩模型，例如CMYK、CIELAB或CIEXYZ。
最初，在步骤502，所述操作存取外科手术部位的图像。可以经由物镜36捕获图像并且将其转递到内窥镜系统1的图像传感器32。如本文所使用的术语“图像”可包含静态图像或动态图像(例如，视频)。在各种实施例中，所捕获的图像被传送到视频系统30进行处理。例如，在内窥镜手术程序期间，外科医生可用电外科手术器械切割组织。在此切割期间，可能会产生例如烟尘或烟雾之类的雾。在捕获图像时，图像可能会包含雾。雾一般是大气中的混浊介质(例如颗粒、水滴)，所述大气可以是患者体腔中的封闭气氛。物镜36从场景点所接收的辐照度被视线衰减。入射光与例如烟尘的大气颗粒反射到视线中的环境光(空气光)混合。这种雾降低了图像质量，使其失去对比度和色彩保真度。
在步骤504，所述操作对图像进行去雾以减少图像中的雾。将结合图6和7更详细地描述去雾操作。在步骤506，所述操作基于预先训练的神经网络对图像还原色彩。将结合图8和11更详细地描述神经网络，并且将结合图9和10更详细地描述应用神经网络还原色彩。在步骤508，在显示装置上显示去雾和色彩还原操作所产生的图像。如本文以上所述，本文所述的色彩还原技术还可以应用于去雾操作之外的图像处理所产生的图像。尽管本文中使用去雾作为实例，但是可以想到，本公开的范围内还预期用于其它类型的图像处理的色彩还原。
现在参考图6，示出了在步骤502存取的图像的示例性像素表示。在各种实施例中，在捕获过程期间或在捕获过程之后，可处理或可不处理所捕获的图像。在各种实施例中，图像600包含多个像素，并且图像600的尺寸常常表示为X乘Y格式的像素量，例如500×500像素。根据本公开的方面，并且如本文稍后将更详细解释的，可基于以图像600中的每个像素为中心的在本文中也将被称为色块的像素区域602、610来处理所述像素。在各种实施例中，图像的每个色块/像素区域可以大小相同。在各种实施例中，不同的像素区域或色块可以大小不同。每个像素区域或色块可以标示为Ω(x)，其为具有特定像素“x”作为其中心像素的像素区域/色块。在图6的说明性实例中，像素区域602的大小为3×3像素并且以特定像素x1606为中心，且像素区域610的大小为3×3像素并且以特定像素x2 608为中心。如果图像为18乘18像素，则色块大小可为3×3像素。所示的图像大小和色块大小是示例性的，并且本公开的范围内还预期其它图像大小和色块大小。对于色块的中心像素在图像边缘或边缘附近的情况，仅使用图像中色块的一部分。
继续参考图6，图像600中的每个像素601可具有例如红色、绿色和蓝色的色彩分量612的组合，色彩分量在本文中也被称为色彩通道。Ic(y)在本文中用于标示图像600中特定像素y的色彩分量c的强度值。对于像素601，色彩分量612中的每一个具有表示所述色彩分量的明度强度的强度值。例如，对于24位RGB图像，色彩分量612中的每一个具有8个位，这对应于每个色彩分量具有256个可能的强度值。
根据本公开的方面，图像600可能包含雾，并且视频系统30(图2)可以对图像600进行去雾以减少图像中的雾。在Kaiming He等人出版于2011年12月的《IEEE模式分析与机器智能汇刊》(IEEE Transactions On Pattern Analysis And Machine Intelligence)第33卷、第12期的“使用暗通道先验的单图像去雾(Single Image Haze Removal Using DarkChannel Prior)”中，描述了示例性的去雾操作，其全部内容以引用的方式合并于本文中。将在本文以下内容中描述这样的去雾操作，但是预期这样的去雾操作是示例性的，并且本公开的范围内还预期其它去雾技术。在各种实施例中，去雾可包含：确定图像的暗通道矩阵，估计图像的大气光分量，以及基于大气光分量和暗通道矩阵来确定透射图，这将在下面并且也会在稍后结合图7进行解释。
继续参考图6，在各种实施例中，去雾操作可基于在本文中被称为的“暗通道矩阵”。在各种实施例中，视频系统30(图2)可以确定图像600的暗通道矩阵。如本文所用，短语像素的“暗通道”是指以特定像素x为中心的色块Ω(x)602的所有像素中最低的色彩分量强度值。如本文所用，术语图像的“暗通道矩阵”是指图像的每个像素的暗通道的矩阵。像素x的暗通道将标示为I_DARK(x)。在各种实施例中，视频系统30如下计算像素的暗通道：
I_DARK(x)＝min(min(Ic(y)))，，对于所有c∈{r，g，b}y∈Ω(x)
其中y标示色块Ω(x)的像素，c标示色彩分量，以及Ic(y)标示像素y的色彩分量c的强度值。因此，像素的暗通道是跨两个变量c和y的两次最小运算的结果，所述两个变量共同确定了色块的所有像素中最低的色彩分量强度值。在各种实施例中，视频系统30可以通过获取色块Ω(x)中每个像素的最低色彩分量强度值，然后在所有那些值中找到最小值来计算像素x的暗通道。
例如，参考图6，图像600的高度和宽度可为18×18像素，并且像素区域(色块)的大小可为3×3像素。例如，以x1 606为中心的3×3像素区域Ω(x1)602对于色块中9个像素中的每一个的R、G和B分量可具有以下强度：
Figure BDA0002677062030000111
在此实例中，对于像素区域Ω(x1)602中的左上像素，R分量的强度可为1，G分量的强度可为3，并且B分量的强度可为6。在此实例中，R分量具有所述像素的RGB分量的最小强度值(值为1)。
将确定每个像素的最小色彩分量强度值。在上述实例中，对于以x1为中心的3×3像素区域Ω(x1)602，像素区域Ω(x1)602中的像素中的每一个的最小色彩分量强度值是：
Figure BDA0002677062030000112
因此，对于以x1为中心的此示例性3×3像素区域Ω(x1)602，像素的暗通道的强度值将为0。以这种方式，可以为图像600的每个像素确定暗通道，并且所有像素的暗通道形成图像600的暗通道矩阵。
在各种实施例中，去雾操作涉及估计在本文中被称为的图像的“大气光分量”。所估计的图像的大气光分量在本文中将被标示为A。在各种实施例中，去雾操作可根据图像中最模糊最不透明的像素来估计大气光分量。在各种实施例中，可以基于找到图像600中每个像素的最低色彩分量强度值来确定大气光分量A，例如图像600中的每个像素“x”的min(IR(x),IG(x),IB(x))，然后在这些最低色彩分量强度值中找到最大值。
在各种实施例中，去雾操作确定在本文中被称为的透射图T。透射图包含每个像素x的透射分量T(x)。基于像素x的暗通道以及大气光分量A来确定像素x的透射图值T(x)，如下所示：
Figure BDA0002677062030000121
其中ω是值介于0与1之间的参数，例如0.85。实际上，即使在清晰的图像中，也会有一些颗粒。因此，当观察远处的对象时，会存在一些雾。雾的存在是人类对深度的感知的提示。如果去除了所有雾，则可能会失去深度感。因此，为了保留一些雾，引入参数ω(0<ω<＝1)。在各种实施例中，ω的值可以基于特定应用而变化。因此，像素的透射图等于1减去ω乘以像素的暗通道(I-DARK(x))除以图像600的大气光分量值。在Kaiming He等人出版于2011年12月的《IEEE模式分析与机器智能汇刊》(IEEE Transactions On PatternAnalysis And Machine Intelligence)第33卷、第12期的“使用暗通道先验的单图像去雾(Single Image Haze Removal Using Dark Channel Prior)”中，描述了在去雾过程中使用透射图，其全部内容此前以引用的方式合并于本文中。上面结合图6所描述的去雾操作是示例性的，并且本公开的范围内还预期其它去雾技术。另外，即使本公开使用去雾作为图像处理的实例，也可应用其它类型的图像处理。
参考图7，描述了色彩还原操作。所示的操作假定初始图像是RGB图像。所述操作尝试还原处理后的图像的初始色彩。在还原色彩的过程中，所述操作将RGB图像转换为HSV图像，本领域技术人员将将其理解为色调饱和度值色彩模型。一般地，可将色调理解为指定特定的理想色彩。可将饱和度理解为使所述色彩的“丰满度”发生变化，使得零饱和度会产生白色，并且增加饱和度会接近理想色彩。可将“值”参数理解为指定明度，使得零明度会产生黑色，并且增加值会接近理想色彩。
最初，在步骤702，视频系统30将RGB有雾图像600转换为标示为I_HSV的HSV有雾图像。接下来，在步骤704，视频系统30将在步骤504中去雾后的图像转换为标示为J_HSV的HSV去雾后的图像。
接下来，在步骤706，视频系统30从HSV去雾后的图像J_HSV中减去HSV有雾图像I_HSV，以提供HSV差分图像D_HSV，如下所示：
D_HSV＝J_HSV-I_HSV
HSV去雾后的图像J_HSV一般比初始HSV有雾图像I_HSV暗，因为雾一般看起来更亮。在HSV色彩空间中，较暗对应于较高的饱和度值，而较亮对应于较低的饱和度值。因此，HSV差分图像J_HSV中的饱和度值一般将为正值。但是，对于其它类型的图像处理，差分图像中的饱和度值可能为负。另外，取决于色彩改变的方向和/或图像处理的类型，差分图像的色调值可能为正或负。一般地，HSV差分图像D_HSV反映与图像处理有关的色调和饱和度的改变，在以上实例中，这与图像去雾处理有关。
接下来，在步骤708，视频系统30将HSV差分图像D_HSV输入到训练后的神经网络，并且输出HSV调节图像F_HSV。将结合图9和11来描述神经网络的方面。根据本公开的方面，训练后的神经网络将HSV差分图像D_HSV转换为可以用于调节去雾后的图像J_HSV的色彩的色调和饱和度调节值。因此，HSV调节图像F_HSV包含色调和饱和度调节值。
接下来，在步骤710，视频系统30将调节图像F_HSV的色调和饱和度调节值添加到HSV去雾后的图像J_HSV，并且输出HSV还原后的图像R_HSV，如下所示：
R_HSV的色调＝J_HSV的色调+F_HSV的色调
R_HSV的饱和度＝J_HSV的饱和度+F_HSV的饱和度
R_HSV的值＝J_HSV的值
接下来，在步骤712，视频系统30将HSV还原后的图像R_HSV转换为RGB还原后的图像R_RGB。
最后，在步骤714，视频系统30可在显示器上显示RGB还原后的图像。在各种实施例中，视频系统30可在显示装置40上传达所得的RGB去雾后的和还原色彩后的图像，和/或将其保存到存储器或外部存储装置中，以供随后重新调用或进一步处理。尽管相对于RGB图像描述了图7的操作，但是应理解，所公开的操作也可以应用于其它色彩空间。另外，图7的色彩还原操作可以应用于除图像去雾处理之外的图像处理，并且可以进行操作以还原由这种其它图像处理产生的图像中的色彩。
参考图8，示出了根据本公开的方面的产生用来训练神经网络的训练数据的方法。可以想到，可在与图1-4的系统分离的系统上执行训练，包含例如在GPU服务器上、模拟等执行训练，然后将训练后的网络部署在视频系统30中。
最初，在步骤802，训练操作获取包含无雾图像的RGB无雾图像数据集C_S。在各种实施例中，图像集可包含至少数千个用腹腔镜拍摄的干净、无雾的图像。接下来，在步骤804，训练操作获取包含深色背景上的有雾图像的RGB有雾数据集N_S。在RGB空间中，黑色背景的R、G和B色彩分量的值为零。
接下来，在步骤806，训练操作可将RGB有雾数据集N_S的雾与RGB无雾图像数据集C_S的图像结合，以提供有雾图像的RGB有雾图像数据集I_S。在各种实施例中，可以以各种方式来组合图像。例如，所组合的图像可为各个图像的加权和，例如：
I_S中的图像＝(N_S中的图像)*系数+(C_S中的图像)*(1-系数)，
其中系数是介于0与1之间的值。
接下来，在步骤808，训练操作对RGB有雾图像数据集I_S的有雾图像进行去雾，以在RGB去雾后的图像数据集J_S中提供去雾后的图像。可以想到，可使用各种去雾算法，包含以上结合图6所描述的去雾操作。接下来，在步骤810，训练操作将RGB去雾后的图像数据集J_S、RGB有雾图像数据集I_S和RGB无雾图像数据集C_S从RGB图像转换为HSV图像，以提供HSV去雾后的图像数据集J_S_HSV、HSV有雾图像数据集I_S_HSV和HSV无雾图像数据集C_S_HSV。
接下来，在步骤812，训练操作确定HSV去雾后的图像数据集J_S_HSV的去雾后的图像与HSV有雾图像数据集I_S_HSV的对应有雾图像之间的差，以提供HSV差分图像数据集D_S_HSV的差分图像。最后，在步骤814，训练操作将HSV差分图像数据集D_S_HSV的差分图像作为训练输入数据提供给神经网络。如下所述，神经网络的输出是色调和饱和度调节值，应将其添加到HSV去雾后的图像中以还原色彩。
在各种实施例中，训练操作提供训练的真实数据，作为HSV无雾图像数据集C_S_HSV与HSV有雾图像数据集I_S_HSV之间的差。在各种实施例中，损失函数可包含均方误差，并且神经网络对色调和饱和度调节值的预测的误差可以以高水平表示为：
(J_S_HSV的图像-I_S_HSV的图像+神经网络输出)
-(C_S_HSV的图像-I_S_HSV的图像)。
本领域技术人员将认识到用于最小化损失函数以提高神经网络的预测精确度的技术。在各种实施例中，神经网络对色调和饱和度调节值的预测的误差可以表示为：
神经网络输出-(C_S_HSV的图像-J_S_HSV的图像)，
使得训练的真实数据可以基于HSV无雾图像数据集C_S_HSV与HSV去雾后的图像数据集J_S_HSV之间的差。将结合图11描述特定的神经网络结构。
图9和10示出了在先前章节中所描述的用于色彩还原的方法的示例性框图。图10示出了在使用内窥镜系统1的外科手术程序期间所捕获到的带有雾的图像902。例如，在内窥镜手术程序期间，外科医生可用电外科手术器械1002切割组织1004。在此切割期间，可能会产生雾1006。所述雾1006将被捕获在图像902中。
图10示出了去雾后的图像904，其中图像902已经被去雾。去雾后的图像904可包含电外科手术器械1002和组织1004。通过从HSV有雾图像902中减去HSV去雾后的图像904来创建差分图像908。RGB还原色彩后的图像906是使用图7的方法进行色彩还原的，如本文所述。RGB还原色彩后的图像906可包含电外科手术器械1002和组织1004。
所述操作可从外科手术程序期间对图9-10的图像902的存取开始。接下来，如步骤504中，所述操作对图像进行去雾。
如图7的步骤702中，所述操作将初始有雾图像902从RGB图像转换为HSV图像。如图7的步骤704中，所述操作还将去雾后的图像904从RGB图像转换为HSV图像。如步骤706中，所述操作通过从HSV有雾图像902中减去HSV去雾后的图像904来创建差分图像908(图10)，并且如图7中的步骤708，将此差分图像馈入预先训练的神经网络910中，以提供HSV调节图像，其含有用于调节HSV去雾后的图像904的色调和饱和度调节值912。
接下来，如步骤710中，所述操作将HSV调节图像的色调和饱和度值添加到HSV去雾后的图像中，以提供HSV还原后的图像906。然后，如步骤712中，所述操作将还原后的图像906从HSV转换为RGB。
参考图11，示出了根据本公开的方面的神经网络结构1100。在各种实施例中，神经网络结构1100可包含多个卷积层，其中每个卷积层包含多个输入和输出。例如，第一卷积层1104可包含3个输入通道和16个输出通道，并且可以具有下表中的内核、跨距和填充特征。可以想到，在训练过程期间，神经网络将找到内核的实际值。本领域技术人员将理解卷积神经网络及其中的卷积层的操作。例如，本领域技术人员将理解，内核/滤光器与每个通道的输入部分进行卷积以提供输出矩阵/特征图，其中滤光器基于跨距在整个输入上移动并基于填充而应用于边缘。可以想到，对于不同的应用，可以使用不同大小的内核/滤光器，例如3×3、5×5、7×7或9×9。卷积神经网络的其它方面在本文中未明确描述，但本领域技术人员将理解所述其它方面，例如合并。
输入图像大小 1920*1080
输入通道 3
输出图像大小 1920*1080
输出通道 16
内核大小 5
跨距 1
填充 2
表1.第一卷积层
在各种实施例中，将HSV差分图像D_HSV 1102输入到神经网络结构1100的第一卷积层1104。例如，HSV差分图像D_HSV 1102的大小可为1920×1080像素，每个像素具有3个参数-色调、饱和度和值。因此，对第一卷积层的三个输入对应于色调、饱和度和值参数，并且每个输入都是此类值的1920×1080的集。本领域技术人员将认识到用于将这种输入输入到卷积神经网络的技术。
在各种实施例中，本领域技术人员将理解，第一卷积层1104的输出包含16个输出，其被输入到整流线性单元(ReLU)1106激活函数中。总而言之，每个ReLU单元都将输出中的负值转换为零，但保持非负值不变。在各种实施例中，将ReLU 1106的输出输入到中间卷积层1108，其可以接收16个输入并提供16个输出。每个输入将为从第一卷积层产生的特征图。在所示的实施例中，中间卷积层1108可执行迭代卷积1109和ReLU 1110，如图11所示，并且具有以下内核(例如5×5)、跨距和填充参数。在各种实施例中，激活函数可包含ReLU函数、双曲正切函数和/或S型函数。在各种实施例中，迭代次数可以是二十次迭代或可以是另外的迭代次数。
输入图像大小 1920*1080
输入通道 16
输出图像大小 1920*1080
输出通道 16
内核大小 5
跨距 1
填充 2
表2.中间卷积层
在各种实施例中，可将中间卷积层1108的输出输入到最终卷积层1112中。例如，最终卷积层可包含16个输入通道，并且包含对应于色调、饱和度和值参数的3个输出通道，并且可以根据下表中的配置进行操作。在各种实施例中，可将最终卷积输入到ReLU 1114中，从而产生饱和度和色调调节图像F_HSV1116。
输入图像大小 1920*1080
输入通道 16
输出图像大小 1920*1080
输出通道 3
内核大小 5
跨距 1
填充 2
表3.最终卷积层
因此，本文描述了用于训练和应用与色彩还原有关的神经网络的系统和方法。尽管本文使用去雾为例，但是色彩变化可以由其它类型的图像处理引起，并且本文所述的色彩还原方面也可以应用于其它类型的图像处理。另外，即使本文所描述的色彩还原利用HSV色彩空间来确定色调和饱和度调节，但也可以使用其它色彩空间，并且可以使用其它类型的参数进行色彩调节。另外，本文所公开的卷积神经网络是示例性的，并且不限制本公开的范围。预期本公开的范围内还预期其它配置和其它类型的神经网络。
本文所公开的实施例是本公开的实例，并且可以各种形式来体现。例如，尽管本文的某些实施例被描述为独立的实施例，但本文的实施例中的每一个可与本文的其它实施例中的一个或多个组合。本文所公开的具体结构和功能的细节不应被理解为具有限制性，而仅仅是作为权利要求的基础，并且是作为用于教导本领域技术人员以几乎任何适当的详细结构来采用本公开的代表性基础。在关于图式的整个描述中，相同的附图标记可指代类似或相同的元素。
短语“在实施例中”、“在一些实施例中”或“在其它实施例中”可各自指代根据本公开的相同或不同实施例中的一个或多个。“A或B”形式的短语表示“(A)、(B)或(A和B)”。“A、B或C中的至少一个”形式的短语表示“(A)；(B)；(C)；(A和B)；(A和C)；(B和C)；或(A、B和C)”。术语“临床医生”可指代临床医生或执行医疗程序的任何医疗专业人员，例如医生、护士、技术人员、医疗助手等。
本文所描述的系统还可利用一个或多个控制器来接收各种信息并转换所接收的信息以产生输出。控制器可包含任何类型的计算装置、计算电路，或能够实行存储在存储器中的一系列指令的任何类型的处理器或处理电路。控制器可包含多个处理器和/或多核中央处理单元(CPU)，并且可包含任何类型的处理器，例如微处理器、数字信号处理器、微控制器、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)等。控制器还可包含用于存储数据和/或指令的存储器，所述数据和/或指令当由一个或多个处理器实行时使所述一个或多个处理器执行一个或多个方法和/或算法。
本文所描述的方法、程序、算法或代码中的任一个可转换为编程语言或计算机程序，或者以编程语言或计算机程序表达。如本文所用，术语“编程语言”和“计算机程序”各自包含用于指定计算机指令的任何语言，并且包含(但不限于)以下语言及其衍生物：汇编程序、Basic程序设计语言、批处理文件、BCPL、C、C+、C++、Delphi、Fortran、Java、JavaScript、机器代码、操作系统命令语言、Pascal、Perl、PL1、脚本语言、Visual Basic程序设计语言、元语言这些自己指定程序的语言，以及所有第一代、第二代、第三代、第四代、第五代或更高代的计算机语言。还包含数据库和其它数据模式以及任何其它元语言。解译、编译或同时使用编译和解译方法的语言之间没有区别。程序的编译版本与源版本之间没有区别。因此，对其中编程语言可以以多于一种的状态(例如源、编译、对象或链接)存在的程序的引用是对任何和所有这种状态的引用。对程序的引用可涵盖实际指令和/或那些指令的目的。
本文所描述的方法、程序、算法或代码中的任一者可以包含在一个或多个机器可读介质或存储器上。术语“存储器”可包含以例如处理器、计算机或数字处理装置的机器可读的形式提供(例如，存储和/或传输)信息的机构。例如，存储器可包含只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光学存储介质、快闪存储器装置，或任何其它易失性或非易失性存储器存储装置。包含在其上的代码或指令可以由载波信号、红外信号、数字信号和其它类似信号表示。
应理解，前文的描述仅仅是对本公开的例示。在不脱离本公开的情况下，本领域技术人员可以设计出各种替代方案和修改。因此，本公开意在涵盖所有这样的替代方案、修改和变型。参考附图描述的实施例仅是为了展现本公开的某些实例。与上文所述和/或所附权利要求中稍微不同的其它元素、步骤、方法和技术也旨在落入本公开的范围内。

Claims (20)

1.一种用于图像中的色彩还原的方法，其包括：
存取对象的图像；
基于图像处理操作来处理所述图像以提供处理后的图像，其中所述图像处理影响所述对象的色彩；
使用训练后的神经网络来确定色彩调节参数，其中对所述训练后的神经网络的输入是基于所述图像和所述处理后的图像；
基于所述色彩调节参数还原所述处理后的图像中的色彩以产生还原色彩后的图像；以及
在显示装置上显示所述还原色彩后的图像。
2.根据权利要求1所述的方法，其中，所述图像处理操作包含对所述图像进行去雾的去雾操作，其中，所述去雾操作包含：
确定所述图像的暗通道矩阵；
估计所述图像的大气光分量；
基于所述大气光分量和所述暗通道矩阵来确定透射图；以及
基于所述透射图对所述图像进行去雾以提供所述处理后的图像。
3.根据权利要求1所述的方法，其中，所述图像是RGB图像，并且其中，所述处理后的图像是RGB处理后的图像。
4.根据权利要求3所述的方法，
其中，确定所述色彩调节参数包含：
将所述RGB图像转换为HSV图像，
将所述RGB处理后的图像转换为HSV处理后的图像，
从所述HSV处理后的图像中减去所述HSV图像以提供HSV差分图像，
将所述HSV差分图像输入到所述训练后的神经网络，以及
获得HSV调节图像作为所述训练后的神经网络的输出，所述HSV调节图像包含所述色彩调节参数，并且
其中，还原所述处理后的图像中的色彩包含：
将所述HSV调节图像的色调通道和饱和度通道添加到所述HSV处理后的图像以提供HSV还原色彩后的图像；
将所述HSV还原色彩后的图像转换为RGB以提供所述还原色彩后的图像。
5.根据权利要求3所述的方法，其进一步包括训练所述神经网络，所述训练包含：
存取具有无雾图像的RGB无雾图像数据集；
存取在深色背景上具有有雾图像的RGB有雾数据集；
将所述RGB无雾图像数据集与所述RGB有雾数据集组合以提供RGB有雾图像数据集；
对所述RGB有雾图像数据集中的图像进行去雾以提供RGB去雾后的图像数据集；
将所述RGB去雾后的图像数据集、所述RGB有雾图像数据集和所述RGB无雾图像数据集从RGB图像转换为HSV图像，以分别提供HSV去雾后的图像数据集、HSV有雾图像数据集和HSV无雾图像数据集；
确定所述HSV去雾后的图像数据集中的图像与所述HSV有雾图像数据集中的对应图像之间的差以提供HSV差分图像数据集；以及
将所述HSV差分图像数据集作为训练输入提供给所述神经网络。
6.根据权利要求5所述的方法，其中，训练所述神经网络进一步包含减少损失函数，所述损失函数基于所述HSV差分图像数据集的至少一部分。
7.根据权利要求6所述的方法，其中，所述损失函数进一步基于真实数据，所述真实数据基于所述HSV无雾图像数据集的图像与所述HSV有雾图像数据集的对应图像之间的差。
8.根据权利要求5所述的方法，其中，将所述RGB无雾图像数据集与所述RGB有雾数据集组合包含通过以下公式确定加权组合：
所述RGB有雾数据集中的图像*系数+所述RGB无雾图像数据集中的图像*(1-系数)，
其中，所述系数是介于0与1之间的值。
9.根据权利要求5所述的方法，其中，所述神经网络包含卷积神经网络或完全连接的神经网络中的至少一个。
10.根据权利要求9所述的方法，其中，所述卷积神经网络包含：
具有输出的第一卷积层；
第一整流线性单元，其配置成接收所述第一卷积层的输出；
中间卷积层，其配置成接收所述第一整流线性单元的输出；
中间整流线性单元，其配置成接收所述中间卷积层的输出；
最终卷积层，其配置成接收所述中间整流线性单元的输出；以及
最终整流线性单元，其配置成接收所述最终卷积层的输出，
其中，所述中间卷积层和所述中间整流线性单元配置成进行多次迭代。
11.一种用于图像中的色彩还原的系统，其包括：
显示装置；
处理器；以及
存储指令的存储器，所述指令在由所述处理器实行时使所述系统进行以下操作：
存取对象的图像；
基于图像处理操作来处理所述图像以提供处理后的图像，其中所述图像处理影响所述对象的色彩；
使用训练后的神经网络来确定色彩调节参数，其中对所述训练后的神经网络的输入是基于所述图像和所述处理后的图像；
基于所述色彩调节参数还原所述处理后的图像中的色彩以产生还原色彩后的图像；以及
在显示装置上显示所述还原色彩后的图像。
12.根据权利要求11所述的系统，其中，所述图像处理操作包含对所述图像进行去雾的去雾操作，其中，在执行所述去雾操作时所述指令进一步使所述系统进行以下操作：
确定所述图像的暗通道矩阵；
估计所述图像的大气光分量；
基于所述大气光分量和所述暗通道矩阵来确定透射图；以及
基于所述透射图对所述图像进行去雾以提供所述处理后的图像。
13.根据权利要求11所述的系统，其中，所述图像是RGB图像，并且其中，所述处理后的图像是RGB处理后的图像。
14.根据权利要求13所述的系统，其中，在确定所述色彩调节参数时所述指令进一步使所述系统进行以下操作：
将所述RGB图像转换为HSV图像，
将所述RGB处理后的图像转换为HSV处理后的图像，
从所述HSV处理后的图像中减去所述HSV图像以提供HSV差分图像，
将所述HSV差分图像输入到所述训练后的神经网络，以及
获得HSV调节图像作为所述训练后的神经网络的输出，所述HSV调节图像包含所述色彩调节参数，并且
其中，还原所述处理后的图像中的色彩包含：
将所述HSV调节图像的色调通道和饱和度通道添加到所述HSV处理后的图像以提供HSV还原色彩后的图像，以及
将所述HSV还原色彩后的图像转换为RGB以提供所述还原色彩后的图像。
15.根据权利要求13所述的系统，其中，在训练所述神经网络时所述指令进一步使所述系统进行以下操作：
存取具有无雾图像的RGB无雾图像数据集；
存取在深色背景上具有有雾图像的RGB有雾数据集；
将所述RGB无雾图像数据集与所述RGB有雾数据集组合以提供RGB有雾图像数据集；
对所述RGB有雾图像数据集中的图像进行去雾以提供RGB去雾后的图像数据集；
将所述RGB去雾后的图像数据集、所述RGB有雾图像数据集和所述RGB无雾图像数据集从RGB图像转换为HSV图像，以分别提供HSV去雾后的图像数据集、HSV有雾图像数据集和HSV无雾图像数据集；
确定所述HSV去雾后的图像数据集中的图像与所述HSV有雾图像数据集中的对应图像之间的差以提供HSV差分图像数据集；以及
将所述HSV差分图像数据集作为训练输入提供给所述神经网络。
16.根据权利要求15所述的系统，其中，训练所述神经网络进一步包含减少损失函数，所述损失函数基于所述HSV差分图像数据集的至少一部分。
17.根据权利要求16所述的系统，其中，所述损失函数进一步基于真实数据，所述真实数据基于所述HSV无雾图像数据集的图像与所述HSV有雾图像数据集的对应图像之间的差。
18.根据权利要求15所述的系统，其中，将所述RGB无雾图像数据集与所述RGB有雾数据集组合包含使用以下公式确定加权组合：
所述RGB有雾数据集中的图像*系数+所述RGB无雾图像数据集中的图像*(1-系数)，
其中，所述系数是介于0与1之间的值。
19.根据权利要求11所述的系统，其中，所述神经网络包含卷积神经网络或全连接神经网络中的至少一个。
20.根据权利要求19所述的系统，其中，所述卷积神经网络包含：
具有输出的第一卷积层；
第一整流线性单元，其配置成接收所述第一卷积层的输出；
中间卷积层，其配置成接收所述第一整流线性单元的输出；
中间整流线性单元，其配置成接收所述中间卷积层的输出；
最终卷积层，其配置成接收所述中间整流线性单元的输出；以及
最终整流线性单元，其配置成接收所述最终卷积层的输出，
其中，所述中间卷积层和所述中间整流线性单元配置成进行多次迭代。
CN202010951360.5A 2019-09-11 2020-09-11 用于基于神经网络的色彩还原的系统和方法 Pending CN112488926A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
PCT/CN2019/105368 WO2021046752A1 (en) 2019-09-11 2019-09-11 Systems and methods for neural-network based color restoration
CNPCT/CN2019/105368 2019-09-11

Publications (1)

Publication Number Publication Date
CN112488926A true CN112488926A (zh) 2021-03-12

Family

ID=74867158

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010951360.5A Pending CN112488926A (zh) 2019-09-11 2020-09-11 用于基于神经网络的色彩还原的系统和方法

Country Status (4)

Country Link
US (1) US20240046415A1 (zh)
EP (1) EP4028985A4 (zh)
CN (1) CN112488926A (zh)
WO (1) WO2021046752A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113329173A (zh) * 2021-05-19 2021-08-31 Tcl通讯（宁波）有限公司 一种影像优化方法、装置、存储介质及终端设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117218033B (zh) * 2023-09-27 2024-03-12 仲恺农业工程学院 一种水下图像复原方法、装置、设备及介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8290294B2 (en) * 2008-09-16 2012-10-16 Microsoft Corporation Dehazing an image using a three-dimensional reference model
CN104217404B (zh) * 2014-08-27 2017-06-20 华南农业大学 雾霾天视频图像清晰化处理方法及其装置
CN105303532B (zh) * 2015-10-21 2018-06-01 北京工业大学 一种小波域Retinex图像去雾方法
CN105741248B (zh) * 2016-02-02 2019-02-22 深圳市未来媒体技术研究院 一种消除图像阴霾的方法
CN106127702B (zh) * 2016-06-17 2018-08-14 兰州理工大学 一种基于深度学习的图像去雾方法
CN110136057B (zh) * 2018-02-08 2023-06-09 杭州海康威视数字技术股份有限公司 一种图像超分辨率重建方法、装置及电子设备
US10643311B2 (en) * 2018-03-22 2020-05-05 Hiwin Technologies Corp. Method for correcting dehazed medical image

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113329173A (zh) * 2021-05-19 2021-08-31 Tcl通讯（宁波）有限公司 一种影像优化方法、装置、存储介质及终端设备

Also Published As

Publication number Publication date
EP4028985A1 (en) 2022-07-20
WO2021046752A1 (en) 2021-03-18
EP4028985A4 (en) 2023-06-07
US20240046415A1 (en) 2024-02-08

Similar Documents

Publication Publication Date Title
CN110505459B (zh) 适用于内窥镜的图像颜色校正方法、装置和存储介质
US11089278B2 (en) Image-processing device, fluorescence observation device and method for emulating a first type of fluorescence observation device on a second type of fluorescence observation device
CN112488926A (zh) 用于基于神经网络的色彩还原的系统和方法
WO2020017213A1 (ja) 内視鏡画像認識装置、内視鏡画像学習装置、内視鏡画像学習方法及びプログラム
CN113543694A (zh) 医用图像处理装置、处理器装置、内窥镜系统、医用图像处理方法、及程序
CN111784596A (zh) 基于生成对抗神经网络的通用内窥镜图像增强方法及装置
WO2020194693A1 (ja) 内視鏡用プロセッサ、情報処理装置、内視鏡システム、プログラム及び情報処理方法
CN106780384A (zh) 一种适用冷光源腹腔影像参数自适应的实时去烟雾方法
JP2022159496A (ja) 内視鏡システム、内視鏡画像学習方法及びプログラム
Wang et al. Endoscopic image luminance enhancement based on the inverse square law for illuminance and retinex
JP7122328B2 (ja) 画像処理装置、プロセッサ装置、画像処理方法、及びプログラム
CN112508797A (zh) 用于图像中实时去雾的系统和方法
CN112488925A (zh) 用于减少图像中的烟雾的系统和方法
CN114663293A (zh) 一种图像增强方法、装置、电子设备及内窥镜系统
US11361406B2 (en) Image processing apparatus, image processing method, and non-transitory computer readable recording medium
US20230122835A1 (en) Methods and systems for generating clarified and enhanced intraoperative imaging data
WO2020017211A1 (ja) 医用画像学習装置、医用画像学習方法、及びプログラム
CN114027765B (zh) 荧光内窥镜系统、控制方法和存储介质
JP7137629B2 (ja) 医用画像処理装置、プロセッサ装置、医用画像処理装置の作動方法、及びプログラム
KR102272979B1 (ko) 레티넥스 내시경 영상 처리 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체
CN115587942A (zh) 内窥镜图像的去雾方法及装置
CN116612043B (zh) 一种图像处理方法、装置、设备和存储介质
CN116309114A (zh) 一种基于图像结构相似约束的CycleGAN内窥镜图像去雾方法
CN113469959A (zh) 基于质量缺陷成像模型的对抗训练优化方法及装置
CN116523763A (zh) 用于实时内窥镜成像的图像去雾方法及内窥镜系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination