CN116843582A - 基于深度学习的2cmos相机的去噪增强系统及方法 - Google Patents

基于深度学习的2cmos相机的去噪增强系统及方法 Download PDF

Info

Publication number
CN116843582A
CN116843582A CN202311109010.4A CN202311109010A CN116843582A CN 116843582 A CN116843582 A CN 116843582A CN 202311109010 A CN202311109010 A CN 202311109010A CN 116843582 A CN116843582 A CN 116843582A
Authority
CN
China
Prior art keywords
image
heart
denoising
enhancement
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311109010.4A
Other languages
English (en)
Other versions
CN116843582B (zh
Inventor
蔡惠明
李长流
朱淳
潘洁
胡学山
卢露
倪轲娜
王玉叶
张岩
陈平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Nuoyuan Medical Devices Co Ltd
Original Assignee
Nanjing Nuoyuan Medical Devices Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Nuoyuan Medical Devices Co Ltd filed Critical Nanjing Nuoyuan Medical Devices Co Ltd
Priority to CN202311109010.4A priority Critical patent/CN116843582B/zh
Publication of CN116843582A publication Critical patent/CN116843582A/zh
Application granted granted Critical
Publication of CN116843582B publication Critical patent/CN116843582B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了基于深度学习的2CMOS相机的去噪增强系统及方法,属于去噪增强技术领域,其具体包括:利用2CMOS相机采集患者心脏部位的含噪图像,并对心脏部位的图像进行预处理,利用神经网络模型对心脏部位的图像进行去噪处理,将去噪心脏部位的图像的RGB颜色空间转换为HSV空间,对心脏部位的图像进行增强处理,将增强后的去噪心脏部位的图像进行重组,去噪时考虑到CMOS相机噪声、心电波噪声和心脏颤动噪声,有效解决以往去噪算法需要合成噪声、进行噪声估计、噪声去除不干净的问题,使得去噪效果更加精确和稳定,并且通过图像增强,同时保持了图像细节的完整性和准确性。

Description

基于深度学习的2CMOS相机的去噪增强系统及方法
技术领域
本发明属于去噪增强技术领域,具体的说是基于深度学习的2CMOS相机的去噪增强系统及方法。
背景技术
传统的图像去噪方法往往会在消除噪声的同时也会损失部分图像细节,特别是在低光照或高噪声环境下的相机拍摄的图像中,这种情况更加明显。此外,对于不同种类的噪声,如高斯噪声、胡椒噪声等,传统的方法也往往需要特定的参数设置和处理流程,难以通用化处理各类噪声。另外,对于高分辨率的图像处理,传统的方法也会面临计算量过大、运行速度慢等问题。
近年来,对于图像去噪的研究有很多,但以往研究通常将去噪问题简化为原始清晰图像加上加性的噪声两个部分,通过在被噪声污染的图像上减去加性噪声实现去噪。而CMOS传感器获得图像噪声成分不仅和电路以及相机管道有关,也和患者心脏环境、光照也有关联,心脏的跳动会产生心电波噪声和颤动噪声,并且随着光照的降低,噪声会越来越明显,噪声成分更为复杂,单一的去噪算法不能完全满足低光CMOS相机的去噪需求。
如申请公开号为CN113658068A的中国专利公开了一种基于深度学习的CMOS相机的去噪增强系统及方法,该去噪增强系统包括:获取单元,通过搭建低照度环境模拟和采集系统,收集成对的低照度图像和相应正常光照下的参考图像作为训练的数据集;训练单元,通过将获取单元获取的数据集进行图像预处理后成对地输入卷积神经网络,通过优化损失函数进行模型训练;测试单元,通过将待测试图像输入已经训练好的模型中,得到去噪增强后的图像,并后续进行其他图像处理操作。该发明对CMOS相机在仅含有微弱可见光和红外光的暗环境下拍摄图片进行去噪和增强,解决以往去噪算法需要合成噪声、进行噪声估计、噪声去除不干净或导致图像细节过度平滑等问题。
如授权公告号为CN109410127B的中国专利公开了一种基于深度学习与多尺度图像增强的图像去噪方法,包括:对待处理的原始图像进行多尺度图像信息增强,得到增强后图像;利用图像去噪卷积神经网络模型对所述增强后图像进行处理,得到去噪后图像。该图像去噪方法增加了多尺度增强信息的预处理过程,提升了图像像素之间的对比度,图像灰度级变得均衡,且图像的灰度级范围变宽,从而能够得到图像的重要细节和纹理,将该增强图像输入到后续的卷积神经网络模型中,能够实现去噪图像视觉效果的增强。
以上专利均存在以下问题:未考虑在采集患者心脏图像时,心脏部位产生的心电波噪声和颤动噪声,导致去噪效果差。
发明内容
针对现有技术的不足,本发明提出了基于深度学习的2CMOS相机的去噪增强系统及方法,利用2CMOS相机采集患者心脏部位的含噪图像,并对心脏部位的图像进行预处理,利用神经网络模型对心脏部位的图像进行去噪处理,对心脏部位的图像进行增强处理,将去噪心脏部位的图像的RGB颜色空间转换为HSV空间,进行增强补偿,将增强后的去噪心脏部位的图像进行重组,去噪时考虑到CMOS相机噪声、心电波噪声和心脏颤动噪声,有效解决以往去噪算法需要合成噪声、进行噪声估计、噪声去除不干净的问题,使得去噪效果更加精确和稳定,并且通过图像增强,同时保持了图像细节的完整性和准确性。
为实现上述目的,本发明提供如下技术方案:
基于深度学习的2CMOS相机的去噪增强方法,包括:
步骤S1:利用2CMOS相机采集患者心脏部位的含噪图像,并对心脏部位的图像进行预处理;
步骤S2:利用神经网络模型对心脏部位的图像进行去噪处理;
步骤S3:将去噪心脏部位的图像的RGB颜色空间转换为HSV空间,对心脏部位的图像进行增强处理;
步骤S4:将增强后的去噪心脏部位的图像进行重组。
具体的,所述步骤S1中所述的预处理包括:归一化处理和灰度化,灰度化处理公式为:,/>表示灰度化后的患者心脏部位的含噪图像,G表示患者心脏部位的含噪图像绿色通道的数值,R表示患者心脏部位的含噪图像红色通道的数值,B表示患者心脏部位的含噪图像蓝色通道的数值,归一化处理公式为:,/>表示归一化后的患者心脏部位的含噪灰度图像。
具体的,所述步骤S1中含噪图像的噪声包括:CMOS相机噪声、心电波噪声和心脏颤动噪声。
具体的,所述步骤S2的具体步骤为:
步骤S201:设定预处理后的患者心脏部位的含噪图像为和/>
步骤S202:预处理后的患者心脏部位的含噪图像和/>作为训练好的神经网络模型的输入,获得去噪后的患者心脏部位的图像/>和/>
具体的,所述步骤S202中神经网络模型的训练方式为:
步骤S2021:使用清晰的心脏部位图像和含噪的心脏部位图像,作为所述神经网络模型的输入;
步骤S2022:设置卷积滤波器的大小为3*3,将CMOS相机噪声水平设置为,将心电波噪声水平设置为/>,并将心脏颤动噪声水平设置为/>,将神经网络深度设置为20,选择损失函数对清晰的心脏部位图像进行训练;
步骤S2023:将含噪的心脏部位图像输入神经网络模型中进行去噪和评价,去噪效果的评价值P计算公式为:
,其中,/>表示清晰图像坐标为/>的灰度值,M表示图像/>和/>的宽度像素值,N表示图像和/>的长度像素值,对神经网络模型进行训练,直至去噪效果的评价值收敛不变时,停止训练。
所述神经网络模型为卷积神经网络中的任意一种。
具体的,所述步骤S2022中的损失函数为:
其中,E表示输入的清晰的心脏部位图像数量,表示第k个清晰的心脏部位图像中坐标为/>预测的灰度值,/>表示第k个清晰的心脏部位图像中坐标为/>的原灰度值。
具体的,所述步骤S3的具体步骤为:
步骤S301:将去噪后的心脏部位图像RGB颜色空间转换为HSV颜色空间;
步骤S302:分别对H、S和V进行增强补偿;
步骤S305:将增强补偿后的HSV颜色空间转换为RGB颜色空间,实现对去噪后的心脏部位图像的增强。
具体的,所述步骤S302中对H、S和V进行增强补偿的具体步骤为:
步骤S3021:对亮度V的增强补偿计算公式为:,其中,/>表示增强补偿后去噪后的心脏部位图像的亮度值,/>表示增强补偿前去噪的心脏部位图像的亮度值,表示增强补偿前去噪的心脏部位图像的最大亮度值,/>表示增强补偿因子,/>,/>表示提取的光照分量,/>表示光照校正参数,/>表示光照分量的亮度均值,/>,/>表示坐标/>的光照分量的亮度均值,/>为常数,/>表示调节参数,/>表示坐标/>相邻1个像素的区域亮度平均值;
步骤S3022:对饱和度S进行增强补偿,增强补偿公式为:,其中,/>增强补偿后去噪后的心脏部位图像的饱和度,增强补偿前去噪后的心脏部位图像的饱和度,/>表示饱和度调节因子,,i为常数,表示饱和度增量;
步骤S3023:对色调H进行增强补偿,增强补偿计算公式为:
,其中,/>表示增强后的去噪后的心脏部位图像红色通道值,/>表示增强后的去噪后的心脏部位图像绿色通道值,/>表示去噪后的心脏部位图像红色通道值,/>表示去噪后的心脏部位图像绿色通道值,/>表示去噪后的心脏部位图像蓝色通道值,/>去噪后的心脏部位图像蓝色通道均值,/>去噪后的心脏部位图像红色通道均值,/>去噪后的心脏部位图像绿色通道均值。
基于深度学习的2CMOS相机的去噪增强系统,包括:
2CMOS相机,用于采集患者心脏部位的图像;
图像预处理模块,用于对患者心脏部位的图像进行归一化和灰度化处理;
图像去噪模块,用于对患者心脏部位的图像进行去噪;
图像增强模块,用于对去噪后的患者心脏部位图像进行增强处理;
图像显示模块,用于显示去噪增强前和去噪增强后的患者心脏部位图像。
具体的,所述2CMOS相机包括2台CMOS相机。
具体的,一种电子设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现基于深度学习的2CMOS相机的去噪增强方法的步骤。
具体的,一种计算机可读存储介质,其特征在于,其上存储有计算机指令,当计算机指令运行时执行基于深度学习的2CMOS相机的去噪增强方法的步骤。
与现有技术相比,本发明的有益效果是:
1.本发明提出基于深度学习的2CMOS相机的去噪增强系统,并进行了架构、运行步骤和流程上的优化改进,系统具备流程简单,投资运行费用低廉,生产工作成本低的优点,在原有图像去噪增强系统的基础上提高了去噪增强效果。
2.本发明提出基于深度学习的2CMOS相机的去噪增强方法,利用2CMOS相机采集患者心脏部位的含噪图像,并对心脏部位的图像进行预处理,利用神经网络模型对心脏部位的图像进行去噪处理,去噪时考虑到CMOS相机噪声、心电波噪声和心脏颤动噪声,有效解决以往去噪算法需要合成噪声、进行噪声估计、噪声去除不干净的问题,使得去噪效果更加精确和稳定。
3.本发明提出基于深度学习的2CMOS相机的去噪增强方法,对心脏部位的图像进行增强处理,将去噪心脏部位的图像的RGB颜色空间转换为HSV空间,进行增强补偿,将增强后的去噪心脏部位的图像进行重组,通过图像增强,保持了图像细节的完整性和准确性。
附图说明
图1为本发明基于深度学习的2CMOS相机的去噪增强方法流程图;
图2为本发明基于深度学习的2CMOS相机的去噪增强方法去噪流程图;
图3为本发明基于深度学习的2CMOS相机的去噪增强方法增强流程图;
图4为本发明基于深度学习的2CMOS相机的去噪增强系统架构图;
图5位本发明基于深度学习的2CMOS相机的去噪增强方法及系统的电子设备图。
具体实施方式
为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解,在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“一号”、“二号”、“三号”仅用于描述目的,而不能理解为指示或暗示相对重要性。下面结合具体实施方式,进一步阐述本发明。
实施例1
请参阅图1-图3,本发明提供的一种实施例:基于深度学习的2CMOS相机的去噪增强方法,包括:
步骤S1:利用2CMOS相机采集患者心脏部位的含噪图像,并对心脏部位的图像进行预处理;
步骤S2:利用神经网络模型对心脏部位的图像进行去噪处理;
步骤S3:将去噪心脏部位的图像的RGB颜色空间转换为HSV空间,对心脏部位的图像进行增强处理;
步骤S4:将增强后的去噪心脏部位的图像进行重组。
步骤S1中所述的预处理包括:归一化处理和灰度化,灰度化处理公式为:,/>表示灰度化后的患者心脏部位的含噪图像,G表示患者心脏部位的含噪图像绿色通道的数值,R表示患者心脏部位的含噪图像红色通道的数值,B表示患者心脏部位的含噪图像蓝色通道的数值,归一化处理公式为:,/>表示归一化后的患者心脏部位的含噪灰度图像。
归一化是一种数据预处理技术,将不同量纲的数据转换为统一的尺度范围,通常是将数据映射到0和1之间或者-1和1之间。归一化的目的是消除不同特征之间的量纲差异,使得各个特征在模型中具有相同的权重,避免某些特征对模型训练产生过大的影响。常用的归一化方法包括:1.最小-最大归一化(Min-MaxScaling):也称为离差标准化,通过将数据线性映射到指定的范围(通常是0和1之间);2.Z-Score标准化(Standardization):也称为零均值归一化,通过将数据转换为均值为0,标准差为1的分布;3.小数定标标准化(DecimalScaling):将数据除以某个固定的基数(比如10的幂)使其数值范围在-1和1之间,基数的选取可根据数据具体情况确定。归一化可以应用于各种领域的数据处理,包括机器学习、数据挖掘、图像处理等。在机器学习中,归一化通常是对输入特征进行处理,以便于模型更好地学习和泛化。
在深度学习中,通常在模型训练前都会对图像进行归一化处理,而对图像进行归一化处理是将特征值大小调整到相近的范围,不归一化处理时,如果特征值较大时,梯度值也会较大,特征值较小时,梯度值也会较小。在模型反向传播时,梯度值更新与学习率一样,当学习率较小时,梯度值较小会导致更新缓慢,当学习率较大时,梯度值较大会导致模型不易收敛,因此为了使模型训练收敛平稳,对图像进行归一化操作,把不同维度的特征值调整到相近的范围内,就可以采用统一的学习率加速模型训练。
灰度图像中灰度值和亮度值的关系为:在灰度图像中,像素的亮度值等于该像素的灰度值。
步骤S1中含噪图像的噪声包括:CMOS相机噪声、心电波噪声和心脏颤动噪声。
步骤S2的具体步骤为:
步骤S201:设定预处理后的患者心脏部位的含噪图像为和/>
步骤S202:预处理后的患者心脏部位的含噪图像和/>作为训练好的神经网络模型的输入,获得去噪后的患者心脏部位的图像/>和/>
步骤S202中神经网络模型的训练方式为:
步骤S2021:使用清晰的心脏部位图像和含噪的心脏部位图像,作为所述神经网络模型的输入;
步骤S2022:设置卷积滤波器的大小为3*3,将CMOS相机噪声水平设置为,将心电波噪声水平设置为/>,并将心脏颤动噪声水平设置为/>,将神经网络深度设置为20,选择损失函数对清晰的心脏部位图像进行训练;
设置CMOS相机噪声水平、心电波噪声水平和心脏颤动噪声水平的好处是:在神经网络的层层训练中,可以对CMOS相机噪声水平、心电波噪声水平和心脏颤动噪声水平进行调节,能够有效的分辨出三种噪声的平均水平,在后续的去除这三种噪声的过程中,能够有效的识别出CMOS相机噪声、心电波噪声和心脏颤动噪声,并对去进行去除,提高了去噪的效果。
步骤S2023:将含噪的心脏部位图像输入神经网络模型中进行去噪和评价,去噪效果的评价值P计算公式为:
,其中,/>表示清晰图像坐标为/>的灰度值,M表示图像/>和/>的宽度像素值,N表示图像和/>的长度像素值,对神经网络模型进行训练,直至去噪效果的评价值收敛不变时,停止训练。
所述神经网络模型为卷积神经网络中的任意一种。
批规一化与残差学习:在卷积神经网络的训练过程中,内部协变量移位(InternalCovariateShift)直接影响了训练的性能,深层网络的激活输入值的分布会随着网络层数的加深而偏移,导致低层的神经网络出现梯度消失的情况,减低了收敛的速度。批规一化(BatchNormalization,BN)的提出缓解了这一问题,将激活输入值拉回到标准的分布,损失函数在输入变化较小时也有大的改变,有效避免梯度消失的问题,加快训练速度。DnCNN去噪算法的另一项关键技术就是残差学习的使用。在ResNet块结构中,ResNet模块每间隔两层就会加入一个跳跃连接,而DnCNN去噪算法与此不同,算法将网络输出直接设定为残差图片,网络结构只含有一个模块。残差学习的应用解决了网络层数深时容易出现梯度消失的问题,使得网络可以更快收敛,有助于对网络训练速度的提升。
步骤S2022中的损失函数为:
其中,E表示输入的清晰的心脏部位图像数量,表示第k个清晰的心脏部位图像中坐标为/>预测的灰度值,/>表示第k个清晰的心脏部位图像中坐标为/>的原灰度值。
步骤S3的具体步骤为:
步骤S301:将去噪后的心脏部位图像RGB颜色空间转换为HSV颜色空间;
步骤S302:分别对H、S和V进行增强补偿;
步骤S305:将增强补偿后的HSV颜色空间转换为RGB颜色空间,实现对去噪后的心脏部位图像的增强。
步骤S302中对H、S和V进行增强补偿的具体步骤为:
步骤S3021:对亮度V的增强补偿计算公式为:,其中,/>表示增强补偿后去噪后的心脏部位图像的亮度值,/>表示增强补偿前去噪的心脏部位图像的亮度值,表示增强补偿前去噪的心脏部位图像的最大亮度值,/>表示增强补偿因子,/>,/>表示提取的光照分量,/>表示光照校正参数,/>表示光照分量的亮度均值,/>,/>表示坐标/>的光照分量的亮度均值,/>为常数,/>表示调节参数,/>表示坐标/>相邻1个像素的区域亮度平均值;
亮度分量提取的方法:目前,已经提出的光照处理方法有多种,比如有基于高斯滤波的方法、基于双边滤波的方法和基于线性引导滤波的方法等。高斯滤波的方法的边缘保持性差,提取出来的光照分量的边缘模糊、细节表现力较差;引导滤波器与双边滤波器一样具有良好的边缘保持平滑特性,但不会受到梯度反转伪影的影响。另一方面,双边滤波器的运算复杂度过高,运算速度较慢,而引导滤波器是目前最快的边缘滤波器之一,因此选择引导滤波的方法来提取光照不均匀图像的光照分量。
步骤S3022:对饱和度S进行增强补偿,增强补偿公式为:,其中,/>增强补偿后去噪后的心脏部位图像的饱和度,增强补偿前去噪后的心脏部位图像的饱和度,/>表示饱和度调节因子,,i为常数,表示饱和度增量;
步骤S3023:对色调H进行增强补偿,增强补偿计算公式为:
,其中,/>表示增强后的去噪后的心脏部位图像红色通道值,/>表示增强后的去噪后的心脏部位图像绿色通道值,/>表示去噪后的心脏部位图像红色通道值,/>表示去噪后的心脏部位图像绿色通道值,/>表示去噪后的心脏部位图像蓝色通道值,/>去噪后的心脏部位图像蓝色通道均值,/>去噪后的心脏部位图像红色通道均值,/>去噪后的心脏部位图像绿色通道均值。
在对图像进行处理时,默认在RGB颜色空间下处理,常用的颜色空间包括RGB、HSI、HSV等。在对图像进行增强时,会针对某个分量进行增强,其余分量保持不变。在对彩色图像进行增强时,色调分量需要保持不变。在对彩色图像进行处理时,可以选择在HSI或HSV颜色空间下进行处理,只需要将RGB空间转换到对应的颜色空间。HSV颜色空间是常用的颜色空间,因为它比较符合人眼的视觉特性,在进行图像处理时,需要保持色调不变,可以选择对强度和饱和度进行处理,此时,可以将RGB图像转换到HSV颜色空间进行处理,最后再转换到RGB颜色空间进行显示。
RGB与HSV颜色空间之间的转换可以用公式表示:
,/>
max和min函数代表RGB模型中的最大值和最小值。红(R)、绿(G)、蓝(B)是三原色,其他有颜色的物体都是由三原色按照不同的比例构成的。
日常生活中的图像是以RGB颜色模型进行展示的,在HSV颜色空间下对图像处理完后,需要将图像再进行一次转换,从HSV颜色空间到RGB颜色空间的转换可以用公式表示为:
其中,,/>,/>,/>
图像增强的另一种方法:由此制定算法步骤如下:S1:输入RGB彩色图像,转为浮点型;S2:将RGB彩色图像转换至HSV色彩空间,并提取亮度V分量;S3:计算由S2所得图像灰度均值,并判断该均值是否大于阈值,若大于/>则取反,小于/>则保持不变,由此得到均值受限的灰度图像/>;S4:对灰度图像/>执行三种运算:S41:第一种运算是进行对数变换,并对变换后图像F进行两种互补的二值化操作,融合得到包含纹理边缘的二值图,再对其进行结合形态学的区域分割;S42:第二种运算是进行8邻域均值滤波,获得每个像素点的邻域信息;S43:第三种运算是对其进行引导滤波得到光照图/>;S5:在S41划分的不同区域内,依据原图像的亮度均值、最小值以及由S42所得图像均值和中值构造每个区域的目标均值/>;S6:利用目标均值矩阵M和由S43提取的光照分量/>,自适应地构造伽马指数,并对由S41获得的初步增强图像F进行伽马校正,得到图像/>;S7:若S3执行了取反变换,则对图像/>取反还原得到/>,反之不变;S8:可选操作:对图像/>进行引导滤波去噪得到去噪后的/>;S9:对/>进行对比度受限的直方图均衡并与/>加权融合得到校正完成的/>;S10:结合H、S分量重组到HSV色彩空间并转换到RGB色彩空间,输出光照校正增强后的图像。
实施例2
请参阅图4,本发明提供的另一种实施例:基于深度学习的2CMOS相机的去噪增强系统,包括:
2CMOS相机,用于采集患者心脏部位的图像;
图像预处理模块,用于对患者心脏部位的图像进行归一化和灰度化处理;
图像去噪模块,用于对患者心脏部位的图像进行去噪;
图像增强模块,用于对去噪后的患者心脏部位图像进行增强处理;
图像显示模块,用于显示去噪增强前和去噪增强后的患者心脏部位图像。
2CMOS相机包括2台CMOS相机。
CMOS的优点由于:1)设计单一感光器感光器连接放大器;2)灵敏度同样面积下高感光开口小,灵敏度低;3)成本线路品质影响程度高,成本高CMOS整合集成,成本低;4)解析度连接复杂度低,解析度高低,新技术高;5)噪点比单一放大,噪点低百万放大,噪点高;6)功耗比需外加电压,功耗高直接放大,功耗低。
实施例3
请参阅图5,一种电子设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现基于深度学习的2CMOS相机的去噪增强方法的步骤。
一种计算机可读存储介质,其特征在于,其上存储有计算机指令,当计算机指令运行时执行基于深度学习的2CMOS相机的去噪增强方法的步骤。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,这些均属于本发明的保护之内。

Claims (12)

1.基于深度学习的2CMOS相机的去噪增强方法,其特征在于,包括:
步骤S1:利用2CMOS相机采集患者心脏部位的含噪图像,并对心脏部位的图像进行预处理;
步骤S2:利用神经网络模型对心脏部位的图像进行去噪处理;
步骤S3:将去噪心脏部位的图像的RGB颜色空间转换为HSV空间,对心脏部位的图像进行增强处理;
步骤S4:将增强后的去噪心脏部位的图像进行重组。
2.如权利要求1所述的基于深度学习的2CMOS相机的去噪增强方法,其特征在于,所述步骤S1中所述的预处理包括:归一化处理和灰度化,灰度化处理公式为:,/>表示灰度化后的患者心脏部位的含噪图像,G表示患者心脏部位的含噪图像绿色通道的数值,R表示患者心脏部位的含噪图像红色通道的数值,B表示患者心脏部位的含噪图像蓝色通道的数值,归一化处理公式为:,/>表示归一化后的患者心脏部位的含噪灰度图像。
3.如权利要求2所述的基于深度学习的2CMOS相机的去噪增强方法,其特征在于,所述步骤S1中含噪图像的噪声包括:CMOS相机噪声、心电波噪声和心脏颤动噪声。
4.如权利要求3所述的基于深度学习的2CMOS相机的去噪增强方法,其特征在于,所述步骤S2的具体步骤为:
步骤S201:设定预处理后的患者心脏部位的含噪图像为和/>
步骤S202:预处理后的患者心脏部位的含噪图像和/>作为训练好的神经网络模型的输入,获得去噪后的患者心脏部位的图像/>和/>
5.如权利要求4所述的基于深度学习的2CMOS相机的去噪增强方法,其特征在于,所述步骤S202中神经网络模型的训练方式为:
步骤S2021:使用清晰的心脏部位图像和含噪的心脏部位图像,作为所述神经网络模型的输入;
步骤S2022:设置卷积滤波器的大小为3*3,将CMOS相机噪声水平设置为,将心电波噪声水平设置为/>,并将心脏颤动噪声水平设置为/>,将神经网络深度设置为20,选择损失函数对清晰的心脏部位图像进行训练;
步骤S2023:将含噪的心脏部位图像输入神经网络模型中进行去噪和评价,去噪效果的评价值P计算公式为:
,其中,/>表示清晰图像坐标为的灰度值,M表示图像/>和/>的宽度像素值,N表示图像和/>的长度像素值,对神经网络模型进行训练,直至去噪效果的评价值收敛不变时,停止训练;
所述神经网络模型为卷积神经网络中的任意一种。
6.如权利要求5所述的基于深度学习的2CMOS相机的去噪增强方法,其特征在于,所述步骤S2022中的损失函数为:
其中,E表示输入的清晰的心脏部位图像数量,表示第k个清晰的心脏部位图像中坐标为/>预测的灰度值,/>表示第k个清晰的心脏部位图像中坐标为的原灰度值。
7.如权利要求6所述的基于深度学习的2CMOS相机的去噪增强方法,其特征在于,所述步骤S3的具体步骤为:
步骤S301:将去噪后的心脏部位图像RGB颜色空间转换为HSV颜色空间;
步骤S302:分别对H、S和V进行增强补偿;
步骤S305:将增强补偿后的HSV颜色空间转换为RGB颜色空间,实现对去噪后的心脏部位图像的增强。
8.如权利要求7所述的基于深度学习的2CMOS相机的去噪增强方法,其特征在于,所述步骤S302中对H、S和V进行增强补偿的具体步骤为:
步骤S3021:对亮度V的增强补偿计算公式为:,其中,/>表示增强补偿后去噪后的心脏部位图像的亮度值,/>表示增强补偿前去噪的心脏部位图像的亮度值,表示增强补偿前去噪的心脏部位图像的最大亮度值,/>表示增强补偿因子,/>,/>表示提取的光照分量,/>表示光照校正参数,/>表示光照分量的亮度均值,/>,/>表示坐标/>的光照分量的亮度均值,/>为常数,/>表示调节参数,/>表示坐标/>相邻1个像素的区域亮度平均值;
步骤S3022:对饱和度S进行增强补偿,增强补偿公式为:,其中,/>增强补偿后去噪后的心脏部位图像的饱和度,/>增强补偿前去噪后的心脏部位图像的饱和度,/>表示饱和度调节因子,/>,i为常数,表示饱和度增量;
步骤S3023:对色调H进行增强补偿,增强补偿计算公式为:
,其中,/>表示增强后的去噪后的心脏部位图像红色通道值,/>表示增强后的去噪后的心脏部位图像绿色通道值,/>表示去噪后的心脏部位图像红色通道值,/>表示去噪后的心脏部位图像绿色通道值,/>表示去噪后的心脏部位图像蓝色通道值,/>去噪后的心脏部位图像蓝色通道均值,/>去噪后的心脏部位图像红色通道均值,/>去噪后的心脏部位图像绿色通道均值。
9.基于深度学习的2CMOS相机的去噪增强系统,其特征在于,包括:
2CMOS相机,用于采集患者心脏部位的图像;
图像预处理模块,用于对患者心脏部位的图像进行归一化和灰度化处理;
图像去噪模块,用于对患者心脏部位的图像进行去噪;
图像增强模块,用于对去噪后的患者心脏部位图像进行增强处理;
图像显示模块,用于显示去噪增强前和去噪增强后的患者心脏部位图像。
10.如权利要求8所述的基于深度学习的2CMOS相机的去噪增强系统,其特征在于,所述2CMOS相机包括2台CMOS相机。
11.一种电子设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1-8中任一项所述的基于深度学习的2CMOS相机的去噪增强方法的步骤。
12.一种计算机可读存储介质,其特征在于,其上存储有计算机指令,当计算机指令运行时执行权利要求1-8中任一项所述的基于深度学习的2CMOS相机的去噪增强方法的步骤。
CN202311109010.4A 2023-08-31 2023-08-31 基于深度学习的2cmos相机的去噪增强系统及方法 Active CN116843582B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311109010.4A CN116843582B (zh) 2023-08-31 2023-08-31 基于深度学习的2cmos相机的去噪增强系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311109010.4A CN116843582B (zh) 2023-08-31 2023-08-31 基于深度学习的2cmos相机的去噪增强系统及方法

Publications (2)

Publication Number Publication Date
CN116843582A true CN116843582A (zh) 2023-10-03
CN116843582B CN116843582B (zh) 2023-11-03

Family

ID=88172851

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311109010.4A Active CN116843582B (zh) 2023-08-31 2023-08-31 基于深度学习的2cmos相机的去噪增强系统及方法

Country Status (1)

Country Link
CN (1) CN116843582B (zh)

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107248144A (zh) * 2017-04-27 2017-10-13 东南大学 一种基于压缩型卷积神经网络的图像去噪方法
CN109035163A (zh) * 2018-07-09 2018-12-18 南京信息工程大学 一种基于深度学习的自适应图像去噪方法
CN109410127A (zh) * 2018-09-17 2019-03-01 西安电子科技大学 一种基于深度学习与多尺度图像增强的图像去噪方法
CN110033005A (zh) * 2019-04-08 2019-07-19 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN110136088A (zh) * 2019-05-23 2019-08-16 大连理工大学 一种人类胚胎心脏超声图像去噪方法
CN110163825A (zh) * 2019-05-23 2019-08-23 大连理工大学 一种人类胚胎心脏超声图像去噪和增强方法
CN110772286A (zh) * 2019-11-05 2020-02-11 王宁 一种基于超声造影识别肝脏局灶性病变的系统
CN111563858A (zh) * 2020-05-14 2020-08-21 大连理工大学 基于深度卷积神经网络的人类胚胎心脏超声图像的去噪方法
US20200405148A1 (en) * 2019-06-27 2020-12-31 Bao Tran Medical analysis system
CN113592725A (zh) * 2021-06-29 2021-11-02 南京诺源医疗器械有限公司 一种医疗光学成像噪声消除方法
CN113658068A (zh) * 2021-08-09 2021-11-16 复旦大学 基于深度学习的cmos相机的去噪增强系统及方法
US20220036517A1 (en) * 2020-08-03 2022-02-03 The Board Of Trustees Of The Leland Stanford Junior University Deep learning based denoising and artifact reduction in cardiac CT cine imaging
US20220059221A1 (en) * 2020-08-24 2022-02-24 Nvidia Corporation Machine-learning techniques for oxygen therapy prediction using medical imaging data and clinical metadata
US20220108430A1 (en) * 2019-01-31 2022-04-07 University Of Southern California Hyperspectral imaging system
CN114463198A (zh) * 2021-12-30 2022-05-10 南京诺源医疗器械有限公司 一种提高荧光成像清晰度的方法
CN114764771A (zh) * 2021-01-11 2022-07-19 Oppo广东移动通信有限公司 一种图像质量评价方法、装置、设备、芯片及存储介质
CN115281688A (zh) * 2022-07-05 2022-11-04 华中科技大学 一种基于多模态深度学习的心脏肥大多标签检测系统
WO2022261550A1 (en) * 2021-06-11 2022-12-15 Trustees Of Tufts College Method and apparatus for image processing
CN115908155A (zh) * 2022-09-24 2023-04-04 福州大学 Nsst域结合gan及尺度相关系数的低照度图像增强及去噪方法
CN116184401A (zh) * 2023-04-25 2023-05-30 南京六的平方信息技术有限公司 一种用于工程质量检验的系统及方法
CN116188325A (zh) * 2023-03-31 2023-05-30 东北大学 一种基于深度学习和图像颜色空间特性的图像去噪方法

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107248144A (zh) * 2017-04-27 2017-10-13 东南大学 一种基于压缩型卷积神经网络的图像去噪方法
CN109035163A (zh) * 2018-07-09 2018-12-18 南京信息工程大学 一种基于深度学习的自适应图像去噪方法
CN109410127A (zh) * 2018-09-17 2019-03-01 西安电子科技大学 一种基于深度学习与多尺度图像增强的图像去噪方法
US20220108430A1 (en) * 2019-01-31 2022-04-07 University Of Southern California Hyperspectral imaging system
CN110033005A (zh) * 2019-04-08 2019-07-19 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN110136088A (zh) * 2019-05-23 2019-08-16 大连理工大学 一种人类胚胎心脏超声图像去噪方法
CN110163825A (zh) * 2019-05-23 2019-08-23 大连理工大学 一种人类胚胎心脏超声图像去噪和增强方法
US20200405148A1 (en) * 2019-06-27 2020-12-31 Bao Tran Medical analysis system
CN110772286A (zh) * 2019-11-05 2020-02-11 王宁 一种基于超声造影识别肝脏局灶性病变的系统
CN111563858A (zh) * 2020-05-14 2020-08-21 大连理工大学 基于深度卷积神经网络的人类胚胎心脏超声图像的去噪方法
US20220036517A1 (en) * 2020-08-03 2022-02-03 The Board Of Trustees Of The Leland Stanford Junior University Deep learning based denoising and artifact reduction in cardiac CT cine imaging
US20220059221A1 (en) * 2020-08-24 2022-02-24 Nvidia Corporation Machine-learning techniques for oxygen therapy prediction using medical imaging data and clinical metadata
CN114764771A (zh) * 2021-01-11 2022-07-19 Oppo广东移动通信有限公司 一种图像质量评价方法、装置、设备、芯片及存储介质
WO2022261550A1 (en) * 2021-06-11 2022-12-15 Trustees Of Tufts College Method and apparatus for image processing
CN113592725A (zh) * 2021-06-29 2021-11-02 南京诺源医疗器械有限公司 一种医疗光学成像噪声消除方法
CN113658068A (zh) * 2021-08-09 2021-11-16 复旦大学 基于深度学习的cmos相机的去噪增强系统及方法
CN114463198A (zh) * 2021-12-30 2022-05-10 南京诺源医疗器械有限公司 一种提高荧光成像清晰度的方法
CN115281688A (zh) * 2022-07-05 2022-11-04 华中科技大学 一种基于多模态深度学习的心脏肥大多标签检测系统
CN115908155A (zh) * 2022-09-24 2023-04-04 福州大学 Nsst域结合gan及尺度相关系数的低照度图像增强及去噪方法
CN116188325A (zh) * 2023-03-31 2023-05-30 东北大学 一种基于深度学习和图像颜色空间特性的图像去噪方法
CN116184401A (zh) * 2023-04-25 2023-05-30 南京六的平方信息技术有限公司 一种用于工程质量检验的系统及方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
KAI ZHANG等: "Beyond a Gaussian Denoiser: Residual Learning of Deep CNN for Image Denoising", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》, vol. 26, no. 7, pages 3142 - 3155, XP011649039, DOI: 10.1109/TIP.2017.2662206 *
孙林等: "矿井智能监控目标识别的图像增强方法与应用", 《煤炭学报》, pages 1 - 13 *
张微微: "基于图像融合的低照度水下图像增强", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 07, pages 138 - 278 *
李重仪: "水下图像清晰化算法研究", 《中国博士学位论文全文数据库 信息科技辑》, no. 02, pages 138 - 173 *
钟国舜等: "基于图像传感器的图像画质增强算法研究", 《基于图像传感器的图像画质增强算法研究》, vol. 38, no. 4, pages 580 - 584 *
陈刚等: "低照度环境下的彩色图像亮度均衡算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 02, pages 138 - 3158 *
陈辉等: "基于多尺度特征融合生成对抗网络的水下图像增强", 《计算机工程与应用》, pages 1 - 13 *

Also Published As

Publication number Publication date
CN116843582B (zh) 2023-11-03

Similar Documents

Publication Publication Date Title
Zhou et al. Underwater image enhancement method via multi-feature prior fusion
Hou et al. An efficient nonlocal variational method with application to underwater image restoration
CN110570360B (zh) 一种基于Retinex的鲁棒和全面的低质量光照图像增强方法
CN112561804A (zh) 基于多尺度细节增强的低光照水下图像增强方法
Cao et al. Enhancement of blurry retinal image based on non-uniform contrast stretching and intensity transfer
CN110473152B (zh) 基于改进Retinex算法的图像增强方法
CN111882489A (zh) 用于水下图像同时增强的超分辨率图形恢复方法
Wang et al. Low-light image joint enhancement optimization algorithm based on frame accumulation and multi-scale Retinex
CN104318529A (zh) 处理在恶劣环境中所拍摄低照度图像的方法
Peng et al. Multi-algorithm fusion of RGB and HSV color spaces for image enhancement
CN111415304A (zh) 基于级联深度网络的水下视觉增强方法和装置
Zhou et al. A multifeature fusion method for the color distortion and low contrast of underwater images
CN111223110A (zh) 一种显微图像增强方法、装置及计算机设备
CN111260641A (zh) 一种基于人工智能的掌上超声成像系统及其方法
CN109087310A (zh) 睑板腺纹理区域的分割方法、系统、存储介质及智能终端
Liang et al. Underwater image quality improvement via color, detail, and contrast restoration
CN107945128B (zh) 一种基于Retinex的彩色图像增强方法
CN116843582B (zh) 基于深度学习的2cmos相机的去噪增强系统及方法
CN110706180B (zh) 一种极暗图像视觉质量提升方法、系统、设备及介质
CN116071259A (zh) 一种基于二次引导滤波的红外图像增强方法
Fang et al. Color Endoscopic Image Enhancement Technology Based on Nonlinear Unsharp Mask and CLAHE
CN115760630A (zh) 一种低照度图像增强方法
CN113012067B (zh) 基于Retinex理论和端到端深度网络的水下图像复原方法
Can-Fei et al. A new speckle reducing anisotropic diffusion for ultrasonic speckle
Chang et al. An image enhancement algorithm based on Gaussian weighted bilateral filtering and retinex theory

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant