CN116309258A - 一种基于cmos成像的内窥镜图像处理方法、装置和电子设备 - Google Patents

一种基于cmos成像的内窥镜图像处理方法、装置和电子设备 Download PDF

Info

Publication number
CN116309258A
CN116309258A CN202211108109.8A CN202211108109A CN116309258A CN 116309258 A CN116309258 A CN 116309258A CN 202211108109 A CN202211108109 A CN 202211108109A CN 116309258 A CN116309258 A CN 116309258A
Authority
CN
China
Prior art keywords
image
illumination
enhancement
reflection
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211108109.8A
Other languages
English (en)
Other versions
CN116309258B (zh
Inventor
申晖
陈兴旺
李有森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hanmei Information Technology Shanghai Co ltd
Original Assignee
Hanmei Information Technology Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hanmei Information Technology Shanghai Co ltd filed Critical Hanmei Information Technology Shanghai Co ltd
Priority to CN202211108109.8A priority Critical patent/CN116309258B/zh
Publication of CN116309258A publication Critical patent/CN116309258A/zh
Application granted granted Critical
Publication of CN116309258B publication Critical patent/CN116309258B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本说明书实施例提供一种基于CMOS成像的内窥镜图像处理方法，通过内窥镜中的CMOS传感器采集原始图像数据，传输至FPGA以对所述原始图像数据进行处理，将所述原始图像数据转换成YUV格式，用增强函数对Y通道的数据进行曲线增强，并进行去雾处理，去雾后进行时频域滤波去噪处理，对去噪后的图像进行图像分割，得到光照图像和反射图像，分别对光照图像和反射图像进行增强，并用增强后的光照图像和反射图像合成结果图像。通过对原始图像进行曲线增强、去雾、滤波，分别对光照图像和反射图像进行增强再合成，提高了图像的视觉效果。

Description

一种基于CMOS成像的内窥镜图像处理方法、装置和电子设备
技术领域
本申请涉及计算机领域，尤其涉及一种基于CMOS成像的内窥镜图像处理方法、装置和电子设备。
背景技术
传统内窥镜系统一般使用CCD成像传感器，由于CCD成本较高导致内窥镜系统成本居高不下。随着CMOS成像传感器在各行业中的广泛使用，制程成本大幅度下降，性能指标和市场占有率大幅度提升，在绝大部分应用中已经完全取代CCD产品，而CMOS传感器图像的动态范围比CCD窄，成像机理有所差异，因此，有必要提供一种新的方法，提高图像视觉效果。
发明内容
本说明书实施例提供一种基于CMOS成像的内窥镜图像处理方法、装置和电子设备，用以提高视觉效果。
本说明书实施例提供一种基于CMOS成像的内窥镜图像处理方法，包括：
通过内窥镜中的CMOS传感器采集原始图像数据，传输至FPGA以对所述原始图像数据进行处理；
将所述原始图像数据转换成YUV格式，用增强函数对Y通道的数据进行曲线增强，并进行去雾处理，去雾后进行时频域滤波去噪处理；
对滤波后的图像进行图像分割，得到光照图像和反射图像；
分别对光照图像和反射图像进行增强，并用增强后的光照图像和反射图像合成结果图像。
可选地，所述进行去雾处理，包括：
用曲线增强后的图像的Y通道图像减去Y通道去雾特征图像，得到去雾后的图像。
可选地，所述进行时频域滤波去噪处理，包括：
计算当前图像和前一帧Y通道图像像素值的差值及对应的加权平均系数；
用当前的待处理图像的像素值加上前一帧Y通道图像像素值的差值与加权平均系数的乘积，进行时域滤波；
通过保边滤波对时域滤波后的图像进行空域滤波。
可选地，所述分别对光照图像和反射图像进行增强，包括：
分别对光照图像和反射图像进行Gamma增强。
可选地，所述分别对光照图像和反射图像进行细节增强，包括：
将反射图像乘以大于1的比例因子进行比例增强；
利用卷积算子对反射图像进行一阶增强和二阶增强。
可选地，所述用增强后的光照图像和反射图像合成图像，包括：
用依次进行比例增强、一阶增强和二阶增强后的反射图像和Gamma增强后的光照图像合成图像，得到处理后的图像。
可选地，还包括：
对合成的图像进行比例转化得到动态范围正常的YUV通道图像并最终由YUV图像转换为RGB图像，从而获得结果图像。
本说明书实施例还提供一种基于CMOS成像的内窥镜图像处理装置，包括：
带手柄的内窥镜、连接线和主机，所述内窥镜与所述主机电性连接；
所述内窥镜中具有LED照明单元和图像传感器，所述图像传感器为CMOS传感器，用于采集原始图像数据，传输至主机中的图像处理器以对所述原始图像数据进行处理，所述图像处理器为FPGA；
连接线中具有光源控制器，用于根据主机中图像处理器反馈的分析信息对LED照明单元和图像传感器进行控制，以进行曝光、增益和感光度调节；
所述主机包括：视频输入接口、图像处理器和视频输出单元；
所述图像处理器用于，将所述原始图像数据转换成YUV格式，用增强函数对Y通道的数据进行曲线增强，并进行去雾处理，去雾后进行时频域滤波去噪处理；
对滤波后的图像进行图像分割，得到光照图像和反射图像；
分别对光照图像和反射图像进行增强，并用增强后的光照图像和反射图像合成结果图像；
所述视频输出单元用于将结果图像显示到显示器上。
本说明书实施例还提供一种电子设备，其中，该电子设备包括：
处理器；以及，
存储计算机可执行程序的存储器，所述可执行程序在被执行时使所述处理器执行上述任一项方法。
本说明书实施例还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现上述任一项方法。
本说明书实施例提供的各种技术方案通过内窥镜中的CMOS传感器采集原始图像数据，传输至FPGA以对所述原始图像数据进行处理，将所述原始图像数据转换成YUV格式，用增强函数对Y通道的数据进行曲线增强，并进行去雾处理，去雾后进行时频域滤波去噪处理，对滤波后的图像进行图像分割，得到光照图像和反射图像，分别对光照图像和反射图像进行增强，并用增强后的光照图像和反射图像合成结果图像。通过对原始图像进行曲线增强、去雾、滤波，分别对光照图像和反射图像进行增强再合成，提高了图像的视觉效果。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本说明书实施例提供的一种基于CMOS成像的内窥镜图像处理方法的原理示意图；
图2为本说明书实施例提供的一种基于CMOS成像的内窥镜图像处理方法的流程示意图；
图3为本说明书实施例提供的一种基于CMOS成像的内窥镜图像处理装置的结构示意图；
图4为本说明书实施例提供的一种电子设备的结构示意图；
图5为本说明书实施例提供的一种计算机可读介质的原理示意图。
具体实施方式
现在将参考附图更全面地描述本发明的示例性实施例。然而，示例性实施例能够以多种形式实施，且不应被理解为本发明仅限于在此阐述的实施例。相反，提供这些示例性实施例能够使得本发明更加全面和完整，更加便于将发明构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的元件、组件或部分，因而将省略对它们的重复描述。
在符合本发明的技术构思的前提下，在某个特定的实施例中描述的特征、结构、特性或其他细节不排除可以以合适的方式结合在一个或更多其他的实施例中。
在对于具体实施例的描述中，本发明描述的特征、结构、特性或其他细节是为了使本领域的技术人员对实施例进行充分理解。但是，并不排除本领域技术人员可以实践本发明的技术方案而没有特定特征、结构、特性或其他细节的一个或更多。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
术语“和/或”或者“及/或”包括相关联的列出项目中的任一个或多者的所有组合。
图1为本说明书实施例提供的一种基于CMOS成像的内窥镜图像处理方法的原理示意图，该方法可以包括：
S101：通过内窥镜中的CMOS传感器采集原始图像数据，传输至FPGA以对所述原始图像数据进行处理。
S102：将所述原始图像数据转换成YUV格式，用增强函数对Y通道的数据进行曲线增强，并进行去雾处理，去雾后进行时频域滤波去噪处理。
在本说明书实施例中，所述进行去雾处理，包括：
用曲线增强后的图像的Y通道图像减去Y通道去雾特征图像，得到去雾后的图像。
在本说明书实施例中，所述进行滤波处理，包括：
计算当前图像和前一帧Y通道图像像素值的差值及对应的加权平均系数；
用当前的待处理图像的像素值加上前一帧Y通道图像像素值的差值与加权平均系数的乘积，进行时域滤波；
通过保边滤波对时域滤波后的图像进行空域滤波。
S103：对滤波后的图像进行图像分割，得到光照图像和反射图像。
S104：分别对光照图像和反射图像进行增强，并用增强后的光照图像和反射图像合成结果图像。
通过内窥镜中的CMOS传感器采集原始图像数据，传输至FPGA以对所述原始图像数据进行处理，将所述原始图像数据转换成YUV格式，用增强函数对Y通道的数据进行曲线增强，并进行去雾处理，去雾后进行滤波处理，对滤波后的图像进行图像分割，得到光照图像和反射图像，分别对光照图像和反射图像进行增强，并用增强后的光照图像和反射图像合成结果图像。通过对原始图像进行曲线增强、去雾、滤波，分别对光照图像和反射图像进行增强再合成，提高了图像的视觉效果。
在本说明书实施例中，所述分别对光照图像和反射图像进行增强，包括：
分别对光照图像和反射图像进行Gamma增强。
在本说明书实施例中，所述分别对光照图像和反射图像进行增强，包括：
将反射图像乘以大于1的比例因子进行比例增强；
利用卷积算子对反射图像进行一阶增强和二阶增强。
在本说明书实施例中，所述用增强后的光照图像和反射图像合成图像，包括：
用依次进行比例增强、一阶增强和二阶增强后的反射图像和Gamma增强后的光照图像合成图像，得到处理后的图像。
在本说明书实施例中，还包括：
对合成的图像进行比例转化得到动态范围正常的YUV通道图像并最终由YUV图像转换为RGB图像，从而获得结果图像。
图2为本说明书实施例提供的一种基于CMOS成像的内窥镜图像处理方法的流程示意图，具体可以包括：
输入图像为RawData格式，现将其转换为RGB图像格式，再将RGB图像格式转换为YUV图像格式。
转换为YUV图像格式后，图像处理器会分析Y通道强度信息，进而将此信息传递至连接线光源控制器，对LED的点亮强度和图像传感器的相关参数进行调整。之后，对Y通道的数据进行曲线调节以增强图片的动态范围，此曲线调节操作可由下式表示：GVe＝Fcurve(GV)。
上式中，GV表示原始的Y通道强度值，Fcurve表示曲线增强函数，GVe表示增强后强度值。Fcurve为一一对应的单调递增函数。原图Y通道和增强后Y通道最小值与最大值一致，其余对应关系由Fcurve确定。
曲线增强后，对Y通道进行去雾处理，此过程可由下式概述：
Idefog＝I-Ifog。
上式中，I表示去雾前图像，Ifog表示雾特征图像，Idefog表示去雾后图像。本算法根据雾的无色彩特性以及灰度较低的特性先从图像中识别雾特征图Ifog，而后将雾特征图与原图相减获得去雾后的Y通道图像。
去雾后，本算法会对图像进行滤波操作以抑制图像内的噪声。具体来说，滤波可分为时域滤波和空域滤波两部分。在时域滤波中，当前图像会与前一帧的处理图像进行对比，按照差异值对像素进行加权平均。此过程可由以下公式概述：
ICF＝IC+(G*ΔI)*ΔI；
上式中，IC为当前Y通道图像像素值，ΔI为当前图像和前一帧Y通道图像像素值的差值。G*ΔI为与两帧像素值差相关的加权平均系数。平均系数与ΔI有关，当ΔI较大时，平均系数G*ΔI接近于0，则时域滤波结果与当前图像像素值近似，而ΔI较小时，G*ΔI接近于1，则时域滤波结果与前一帧图像像素值近似，这样可以消除图像在时域序列上因随机波动产生的较大变化。
时域滤波后，本算法会进行空域滤波进一步消除噪音。空域滤波主要通过保边滤波的方式，消除图像高频图像中的噪音成分。其可以通过以下公式概述：
ICF＝Flowpass(IC)+ICcontour；
上式中，Flowpass(IC)表示当前图像的低通滤波结果，ICcontour表示当前图像的边缘信息。这一过程可以视为保边滤波过程。
滤波后的图像会根据Retinex理论进行图像分割，这一过程可由以下几式表示：
Lc＝GF(Lc)；log(Ic)-log(Lc)＝log(Rc)；Rc＝explog(IC)-log(LC)＝IC/LC。
以上几式中，Ic表示滤波后图像，Lc表示图像中的光照信息，Rc表示图像中的反射信息，GF代表高斯滤波。根据Retinex理论通过以上过程，可以将图像分割为光照与反射图像，它们可以分别代表成像物体的背景光照和表面纹理情况。
经过分割后，光照图像和反射图像会分别进一步进行Gamma增强，从而相应增大图像的对比度与动态范围,这一过程可以大致概括为以下公式：
LCE＝(Lc/TLc)G,RCE＝(Rc/TRc)G。
上式中，Lc,Rc表示原始的光照与反射图像，LCE,RCE表示Gamma增强后的光照与反射图像，TLc,TRc表示归一化参数，G表示Gamma增强系数。
Gamma增强后，反射图像会进一步进行比例增强、一阶增强和二阶增强等操作。具体来说，比例增强是将反射图像乘以一个大于1的比例因子，即如下公式：
LCE＝RcIC；
上式中，IC表示Gamma增强后的反射信息图像，Rc表示增强比例因子，一般大于1.0。
一阶增强即图像与Sobel、Prewitt、Robert等算子进行卷积，从而获取图像一阶梯度图像进而实现增强的方法。二阶增强即图像与Laplacian算子进行卷积实现的增强。
以上增强结果与Gamma增强后的光照信息图像一起，用以下公式恢复增强结果：
RCE＝RRE+RdiffE+RsecondE；ICE＝RCELCE；
上式中，RRE、RdiffE和RsecondE，分别表示反射图的比例、一阶、二阶增强结果，ICE表示增强反射和光照恢复的增强Y通道图像。由于增强会改变Y通道图像的动态范围，为了恢复图像的动态范围，本算法采用以下公式对图像进行比例化转换：
IFE＝ICE/max(ICE)*GVmax；
上式中，IFE表示比例化后的结果图像，max(ICE)表示增强Y通道图像中最大的像素值，GVmax表示预设动态范围内最大的灰度值。经过比例化后，将YUV通道图像转化为RGB通道图像从而完成整个图像处理算法流程。
图3为本说明书实施例提供的一种基于CMOS成像的内窥镜图像处理装置的结构示意图，该装置可以包括：
带手柄的内窥镜、连接线和主机，所述内窥镜与所述主机电性连接；
所述内窥镜中具有LED照明单元和图像传感器，LED照明单元为成像场景提供光照，所述图像传感器为CMOS传感器，用于采集原始图像数据，传输至主机中的图像处理器以对所述原始图像数据进行处理，所述图像处理器为FPGA；
连接线中具有光源控制器，用于根据主机中图像处理器反馈的分析信息对LED照明单元和图像传感器进行控制，以进行曝光、增益和感光度调节；
所述主机包括：视频输入接口、图像处理器和视频输出单元；
所述图像处理器用于，将所述原始图像数据转换成YUV格式，用增强函数对Y通道的数据进行曲线增强，并进行去雾处理，去雾后进行时频域滤波去噪处理；
对滤波后的图像进行图像分割，得到光照图像和反射图像；
分别对光照图像和反射图像进行增强，并用增强后的光照图像和反射图像合成结果图像；
所述视频输出单元用于将结果图像显示到显示器上。
其他模块用于实现存储、电源控制。
实施例中的图像处理器主要由FPGA构成。本专利所述的图像处理算法架构配置在FPGA上，通过其电路逻辑实现相应功能。
该装置通过内窥镜中的CMOS传感器采集原始图像数据，传输至FPGA以对所述原始图像数据进行处理，将所述原始图像数据转换成YUV格式，用增强函数对Y通道的数据进行曲线增强，并进行去雾处理，去雾后进行时频域滤波去噪处理，对滤波后的图像进行图像分割，得到光照图像和反射图像，分别对光照图像和反射图像进行增强，并用增强后的光照图像和反射图像合成图像。通过对原始图像进行曲线增强、去雾、滤波，分别对光照图像和反射图像进行增强再合成，提高了图像的视觉效果。
基于同一发明构思，本说明书实施例还提供一种电子设备。
下面描述本发明的电子设备实施例，该电子设备可以视为对于上述本发明的方法和装置实施例的具体实体实施方式。对于本发明电子设备实施例中描述的细节，应视为对于上述方法或装置实施例的补充；对于在本发明电子设备实施例中未披露的细节，可以参照上述方法或装置实施例来实现。
图4为本说明书实施例提供的一种电子设备的结构示意图。下面参照图4来描述根据本发明该实施例的电子设备400。图4显示的电子设备400仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示，电子设备400的组件可以包括但不限于：至少一个处理单元410、至少一个存储单元420、连接不同系统组件(包括存储单元420和处理单元410)的总线430、显示单元440等。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元410执行，使得所述处理单元410执行本说明书上述处理方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元410可以执行如图1所示的步骤。
所述存储单元420可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)4201和/或高速缓存存储单元4202，还可以进一步包括只读存储单元(ROM)4203。
所述存储单元420还可以包括具有一组(至少一个)程序模块4205的程序/实用工具4204，这样的程序模块4205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线430可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备400也可以与一个或多个外部设备500(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备400交互的设备通信，和/或与使得该电子设备400能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口450进行。并且，电子设备400还可以通过网络适配器460与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器460可以通过总线430与电子设备400的其它模块通信。应当明白，尽管图4中未示出，可以结合电子设备400使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，本发明描述的实施例可通过软件，通过软件结合必要的硬件，或只依靠硬件电路逻辑的方式进行实现。因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个计算机可读的存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本发明的上述方法。当所述计算机程序被一个数据处理设备执行时，使得该计算机可读介质能够实现本发明的上述方法，即：如图1所示的方法。或者通过配置的方式在FPGA和CPLD实现本专利所述图像处理架构的电路逻辑功能。进而由系统搭载的软件调用该功能实现本发明的上述方法。或者仅依靠FPGA和CPLD上配置的逻辑电路实现本发明的上述方法。
图5为本说明书实施例提供的一种计算机可读介质的原理示意图。
实现图1所示方法的计算机程序可以存储于一个或多个计算机可读介质上。计算机可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
所述计算机可读存储介质可以包括在FPGA、CPLD等可编程逻辑电路中的电路配置逻辑。其他应用硬件电路逻辑实现的本专利所述图像处理架构，亦应被视为计算机可读存储介质的一部分，
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言，也可是用于逻辑电路配置的verilog和VHDL语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行，或者配置逻辑电路以其电路构成执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
综上所述，本发明可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)等通用数据处理设备来实现根据本发明实施例中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，本发明不与任何特定计算机、虚拟装置或者电子设备固有相关，各种通用装置也可以实现本发明。以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种基于CMOS成像的内窥镜图像处理方法，其特征在于，包括：
通过内窥镜中的CMOS传感器采集原始图像数据，传输至FPGA以对所述原始图像数据进行处理；
将所述原始图像数据转换成YUV格式，用增强函数对Y通道的数据进行曲线增强，并进行去雾处理，去雾后进行时频域滤波去噪处理；
对滤波后的图像进行图像分割，得到光照图像和反射图像；
分别对光照图像和反射图像进行增强，并用增强后的光照图像和反射图像合成结果图像。
2.根据权利要求1所述的方法，其特征在于，所述进行去雾处理，包括：
用曲线增强后的图像的Y通道图像减去Y通道去雾特征图像，得到去雾后的图像。
3.根据权利要求2所述的方法，其特征在于，所述进行时频域滤波去噪处理，包括：
计算当前图像和前一帧Y通道图像像素值的差值及对应的加权平均系数；
用当前的待处理图像的像素值加上前一帧Y通道图像像素值的差值与加权平均系数的乘积，进行时域滤波；
通过保边滤波对时域滤波后的图像进行空域滤波。
4.根据权利要求1所述的方法，其特征在于，所述分别对光照图像和反射图像进行增强，包括：
分别对光照图像和反射图像进行Gamma增强。
5.根据权利要求4所述的方法，其特征在于，所述分别对光照图像和反射图像进行细节增强，包括：
将反射图像乘以大于1的比例因子进行比例增强；
利用卷积算子对反射图像进行一阶增强和二阶增强。
6.根据权利要求4所述的方法，其特征在于，所述用增强后的光照图像和反射图像合成图像，包括：
用依次进行比例增强、一阶增强和二阶增强后的反射图像和Gamma增强后的光照图像合成图像，得到处理后的图像。
7.根据权利要求1所述的方法，其特征在于，还包括：
对合成的图像进行比例转化得到动态范围正常的YUV通道图像并最终由YUV图像转换为RGB图像，从而获得结果图像。
8.一种基于CMOS成像的内窥镜图像处理装置，其特征在于，包括：
带手柄的内窥镜、连接线和主机，所述内窥镜与所述主机电性连接；
所述内窥镜中具有LED照明单元和图像传感器，所述图像传感器为CMOS传感器，用于采集原始图像数据，传输至主机中的图像处理器以对所述原始图像数据进行处理，所述图像处理器为FPGA；
连接线中具有光源控制器，用于根据主机中图像处理器反馈的分析信息对LED照明单元和图像传感器进行控制，以进行曝光、增益和感光度调节；
所述主机包括：视频输入接口、图像处理器和视频输出单元；
所述图像处理器用于，将所述原始图像数据转换成YUV格式，用增强函数对Y通道的数据进行曲线增强，并进行去雾处理，去雾后进行时频域滤波去噪处理；
对滤波后的图像进行图像分割，得到光照图像和反射图像；
分别对光照图像和反射图像进行增强，并用增强后的光照图像和反射图像合成结果图像；
所述视频输出单元用于将结果图像显示到显示器上。
9.一种电子设备，其中，该电子设备包括：
处理器；以及，
存储计算机可执行程序的存储器，所述可执行程序在被执行时使所述处理器执行根据权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现权利要求1-7中任一项所述的方法。
CN202211108109.8A 2022-09-13 2022-09-13 一种基于cmos成像的内窥镜图像处理方法、装置和电子设备 Active CN116309258B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211108109.8A CN116309258B (zh) 2022-09-13 2022-09-13 一种基于cmos成像的内窥镜图像处理方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211108109.8A CN116309258B (zh) 2022-09-13 2022-09-13 一种基于cmos成像的内窥镜图像处理方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN116309258A true CN116309258A (zh) 2023-06-23
CN116309258B CN116309258B (zh) 2023-11-24

Family

ID=86792904

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211108109.8A Active CN116309258B (zh) 2022-09-13 2022-09-13 一种基于cmos成像的内窥镜图像处理方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN116309258B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106504281A (zh) * 2016-12-02 2017-03-15 中国电子科技集团公司第四十四研究所 应用于cmos图像传感器的图像画质增强和滤波方法
CN107194900A (zh) * 2017-07-27 2017-09-22 广东欧珀移动通信有限公司 图像处理方法、装置、计算机可读存储介质和移动终端
CN107358586A (zh) * 2017-07-06 2017-11-17 中山大学 一种图像增强方法、装置及设备
WO2021051239A1 (en) * 2019-09-16 2021-03-25 Covidien Lp Systems and methods for real-time de-hazing in images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106504281A (zh) * 2016-12-02 2017-03-15 中国电子科技集团公司第四十四研究所 应用于cmos图像传感器的图像画质增强和滤波方法
CN107358586A (zh) * 2017-07-06 2017-11-17 中山大学 一种图像增强方法、装置及设备
CN107194900A (zh) * 2017-07-27 2017-09-22 广东欧珀移动通信有限公司 图像处理方法、装置、计算机可读存储介质和移动终端
WO2021051239A1 (en) * 2019-09-16 2021-03-25 Covidien Lp Systems and methods for real-time de-hazing in images

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
席志红 等: "《高动态范围图像增强算法》", 《计算机应用与软件》, vol. 31, no. 05, pages 202 - 205 *

Also Published As

Publication number Publication date
CN116309258B (zh) 2023-11-24

Similar Documents

Publication Publication Date Title
US10529066B2 (en) Assessing quality of images or videos using a two-stage quality assessment
Simon Chane et al. Event-based tone mapping for asynchronous time-based image sensor
JP6039763B2 (ja) 局所トーンマッピングのための方法、装置及び記憶媒体
CN107278314B (zh) 用于非局部均值图像去噪的装置、移动计算平台和方法
KR101573974B1 (ko) 비디오의 노이즈 감소를 위한 방법 및 장치
US8237868B2 (en) Systems and methods for adaptive spatio-temporal filtering for image and video upscaling, denoising and sharpening
JP6054585B2 (ja) 動的カラーシェーディング補正
JP6542194B2 (ja) ノイズ認識のエッジ強調
Dong et al. Underwater image enhancement via integrated RGB and LAB color models
KR20080046015A (ko) 영상 잡음 제거 방법 및 장치
JP6391680B2 (ja) 符号化する方法及び復号する方法並びに対応する符号器及び復号器
US11017511B2 (en) Method and system of haze reduction for image processing
CN109214996B (zh) 一种图像处理方法及装置
Rahman et al. Structure revealing of low-light images using wavelet transform based on fractional-order denoising and multiscale decomposition
CN110889809B9 (zh) 图像处理方法及装置、电子设备、存储介质
WO2013085538A1 (en) Control of video processing algorithms based on measured perceptual quality characteristics
Sevcenco et al. A wavelet based method for image reconstruction from gradient data with applications
Nnolim Single image de-hazing using adaptive dynamic stochastic resonance and wavelet-based fusion
CN110958363B (zh) 图像处理方法及装置、计算机可读介质和电子设备
US10043252B2 (en) Adaptive filtering with weight analysis
CN108885790A (zh) 基于所生成的运动数据处理图像
CN116309258B (zh) 一种基于cmos成像的内窥镜图像处理方法、装置和电子设备
CN114202476A (zh) 一种红外图像增强方法、装置、设备及计算机可读介质
CN113256506A (zh) 使用先前帧统计信息经由卷积神经网络来处理视频帧
JP2005176350A (ja) ノイズの入った圧縮画像の印刷処理

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant