CN110942427A - 一种图像降噪的方法及装置、设备、存储介质 - Google Patents

一种图像降噪的方法及装置、设备、存储介质 Download PDF

Info

Publication number
CN110942427A
CN110942427A CN201811110728.4A CN201811110728A CN110942427A CN 110942427 A CN110942427 A CN 110942427A CN 201811110728 A CN201811110728 A CN 201811110728A CN 110942427 A CN110942427 A CN 110942427A
Authority
CN
China
Prior art keywords
image
noise reduction
boundary
depth
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811110728.4A
Other languages
English (en)
Inventor
钮晨霄
易长明
李晶
姜万泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Zhongxing New Software Co Ltd
Original Assignee
Xian Zhongxing New Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Zhongxing New Software Co Ltd filed Critical Xian Zhongxing New Software Co Ltd
Priority to CN201811110728.4A priority Critical patent/CN110942427A/zh
Priority to US17/276,961 priority patent/US11948277B2/en
Priority to EP19862828.1A priority patent/EP3839878A4/en
Priority to PCT/CN2019/097354 priority patent/WO2020057248A1/zh
Publication of CN110942427A publication Critical patent/CN110942427A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了一种图像降噪的方法及装置、设备及存储介质。该方法包括:对颜色图像进行边缘检测,得到预处理图像;获取与所述颜色图像具有相同场景的深度图像;根据所述深度图像对所述预处理图像进行第一降噪处理,得到第一图像。

Description

一种图像降噪的方法及装置、设备、存储介质
技术领域
本发明实施例涉及图像处理领域,涉及但不限于一种图像降噪的方法及装置、设备、存储介质。
背景技术
随着数字化多媒体技术的不断发展,人们越来越追求图像的高清晰度和高分辨率。然而,图像在数字化和传输过程中的常常受到成像设备与外部环境的噪声干扰影响,从而降低图像的清晰度。减少图像中的噪声的过程被称为图像降噪(Image Denoising)。现有常见的降噪方式主要通过各种滤波器进行信号的滤波,实现分区降噪,但是这种降噪方法无法避免降噪时,物体边界出现模糊的现象。而相关技术中,采用多帧降噪技术可以保证细节或轮廓线的清晰,但是需要在拍摄后连续抓取多张照片进行处理,在拍摄时会锁定快门,处理时间较长,影响连续拍摄的效果。
发明内容
有鉴于此,本发明实施例为解决现有技术中存在的至少一个问题而提供一种图像降噪的方法及装置、设备、存储介质。
本发明实施例提供一种图像降噪的方法,该方法包括:
对颜色图像进行边缘检测,得到预处理图像;
获取与所述颜色图像具有相同场景的深度图像;
根据所述深度图像对所述预处理图像进行第一降噪处理,得到第一图像。
本发明实施例还提供一种图像降噪的装置,该装置包括:
检测单元,配置为对颜色图像进行边缘检测,得到预处理图像;
获取单元,配置为获取与所述颜色图像具有相同场景的深度图像;
第一降噪单元,配置为根据所述深度图像对所述预处理图像进行第一降噪处理,得到第一图像。
本发明实施例还提供一种图像降噪的设备,该终端包括:存储器、处理器,所述存储器存储有可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述图像降噪的方法。
本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机可执行指令,该计算机可执行指令配置为执行上述图像降噪的方法。
通过本发明实施例所提供的技术方案,能够在对图像进行降噪处理的时候保留大部分边缘信息,保留细节,防止边缘和细节模糊。并且不需要获取多帧图像,提高了处理效率。
附图说明
图1为本发明实施例的图像降噪的方法实现流程示意图;
图2为本发明实施例的图像降噪的又一方法流程示意图;
图3A为本发明实施例的图像降噪的又一方法流程示意图;
图3B为本发明实施例的图像降噪的又一方法流程示意图;
图3C为本发明实施例中的原始图像示意图;
图3D为本发明实施例中经过锐化处理的图像示意图;
图3E为本发明实施例中图像对应的深度图;
图3F为本发明实施例中经过边缘检测处理的图像示意图;
图3G为本发明实施例中对图像进行降噪处理的示意图;
图3H为本发明实施例中对图像边界点进行降噪处理的示意图;
图3I为本发明实施例中对图像边界点附近的点进行降噪处理的示意图;
图4为本发明实施例中图像降噪的装置的组成结构示意图;
图5为本发明实施例中图像降噪的设备的一种硬件实体示意图。
具体实施方式
为了更好地理解本发明的各实施例,现对以下名词进行做出如下解释:
图像噪声(Image Noise)是图像中一种亮度或颜色信息的随机变化(被拍摄物体本身并没有),通常是电子噪声的表现。它一般是由扫描仪或数码相机的传感器和电路产生的,也可能是受胶片颗粒或者理想光电探测器中不可避免的散粒噪声影响产生的。图像噪声是图像拍摄过程中不希望存在的副产品,给图像带来了错误和额外的信息。
噪点:图像噪声的像素点。
图像降噪(Image Denoising):现实中的数字图像在数字化和传输过程中常受到成像设备与外部环境噪声干扰等影响,称为含噪图像或噪声图像。减少数字图像中噪声的过程称为图像降噪。
纹理特征:纹理是一种反映图像中同质现象的视觉特征,它体现了物体表面的具有缓慢变化或者周期性变化的表面结构组织排列属性。纹理具有三大标志:某种局部序列性不断重复、非随机排列、纹理区域内大致为均匀的统一体。
图像前后景:前景是镜头中靠近前沿或位于主体前面的人或物;后景是镜头中靠近后边或位于主体后面的人或物。前后景是摄影构图的基本层次,它们可以使画面富于层次感、纵深感。
多帧降噪技术:多帧降噪就是在夜景或者暗光环境下,相机在按快门到成像的时候会采集多张/多帧照片或者影像,在不同的帧数下找到不同的带有噪点性质的像素点,通过加权合成后得到一张较为干净纯净的夜景或者暗光照片。
边缘图像是对原始图像进行边缘提取后得到的图像。图像最基本的特征是边缘,边缘是区域属性发生突变的地方,是图像中不确定性最大的地方,也是图像信息最集中的地方,图像的边缘包含着丰富的信息。
边缘检测技术是在图像中通过计算提取出边缘的像素点,得到边缘图像。
深度图(Depth Map)是包含与场景对象的表面的距离有关的信息的图像或图像通道。深度图类似于灰度图像,只是它的每个像素值是传感器距离物体的实际距离。
连通区域:如果在复平面上的一个区域中任意地画一条简单闭曲线,而该简单闭曲线的内部总属于这一区域,就称这一区域为单连通区域。
图像锐化(Image Sharpening)是补偿图像的轮廓,增强图像的边缘及灰度跳变的部分,使图像变得清晰的处理,分为空域处理和频域处理两类。图像锐化是为了突出图像上地物的边缘、轮廓,或某些线性目标要素的特征。这种滤波方法提高了地物边缘与周围像元之间的反差,因此也被称为边缘增强。
双摄:通过双摄像头进行拍摄。双摄像头可以测距,拍摄并通过运算得到深度图。
灰度值:灰度使用黑色调表示物体,即用黑色为基准色,不同的饱和度的黑色来显示图像。每个灰度对象都具有从0%(白色)到100%(黑色)的亮度值。
在目前的图像处理领域,通常都会对拍摄的图像进行降噪处理。但是在夜间或者光线较弱的环境下,降噪效果会显著下降。一般来说,对噪声的处理会影响细节的显示。相关技术依然不能满足在光线较弱的情况下进行降噪的同时保证细节的清晰度。尤其是对物体与物体之间边界的处理,在降噪的同时,常常会导致边界的模糊。
在一些相关技术中,对图像降噪采用分区降噪的方法。其基本原理是以图片中心为圆心画同心圆,距离中心越近的像素点,降噪系数越小,距离中心越远,降噪系数越大。这里的降噪系数可以理解为降噪的程度,降噪系数越小,降噪的程度越弱。根据一般相机的成像原理,拍摄的图像会出现中心亮、四周暗的情况。这时,较暗的区域的噪声可能会大于中心较亮的区域,因此,采用上述分区降噪的方法,可以有效进行全图降噪。但是,这种方法依然无法在降噪时,避免物体与物体之间边界模糊的问题,也就是对图像边缘的处理效果不佳。
在另一些相关技术中,对图像降噪时利用纹理特征将拍摄的图像进行前后景的分离,再分别对前后景进行降噪处理,处理后再合成。这种方法需要对前后景的纹理特征进行训练区分,处理较为复杂。虽然这种方法保留了前后景之间的清晰边界,但是前景内和后景中的物体之间轮廓线依然会受到降噪的影响而变得模糊。
在其他相关技术中,对图像的降噪还可以采用多帧降噪技术。该方法通过对多帧的图像数据进行合成,降噪的同时保证细节和边界的清晰。但是,该方法在实际应用中,需要在拍摄时连续抓取多张图像进行处理,在拍摄时,会锁定相机快门,处理时间较长,不适用于连续的动态拍摄,影响拍摄效果。
下面结合实施例来进行说明:
实施例一
本发明实施例提供一种图像降噪的方法,该方法用于图像处理设备中,该设备在执行该方法的时候能够在降噪处理后,依然保留大部分边缘信息,保留细节信息,并且不需要获取多帧图像,不会锁定快门,提升用户体验。该方法所实现的功能可以通过图像处理设备中的处理器调用程序代码来实现,当然程序代码可以保存在计算机存储介质中,可见,该图像处理设备至少包括处理器和存储介质。
图1为本发明实施例的图像降噪的方法实现流程示意图,如图1所示,该方法包括:
步骤S101、对颜色图像进行边缘检测,得到预处理图像;
这里的颜色图像可以是拍摄设备直接抓取的图像,也可以是需要进行处理的其他图像,可以仅包含灰度的灰度图像,也可以是彩色图像。边缘检测是在图像中通过计算提取出边缘的像素点,得到边缘图像。这里的预处理图像就是指经过边缘检测得到的边缘图像。由于边缘检测是通过检测带有高频特性的像素点来实现的,所以在这一预处理图像中含有噪点,并且噪点会分布在边缘附近的区域,也会分布在非边缘的连通区域。在光线较暗的情况下获取的图像,可能存在更多的噪点。
步骤S102、获取与所述颜色图像具有相同场景的深度图像;
这里,通过采用如双摄功能等能够获取具有深度信息的设备获取与颜色图像具有相同场景的深度图像,该深度图像具有深度信息,能够区分出连通深度的区域。在实际应用中,深度图像与颜色图像可以是不同的装置采集的,也可以是同一装置采集的;可以分别采集,也可以同时采集;此外,颜色图像本身也可以是带有深度信息的深度图像。无论通过何种方式采集,只要保证颜色图像与深度图像所对应的场景完全相同即可。
深度信息可以反映图像中物体到相机的距离,可以通过双摄相机等拍摄设备的测距传感器来获取。根据图像的深度信息可以生成原始图像对应的深度图像,在深度图像中,每个像素的像素值反映的是场景中物体到相机的距离。通过深度图像,可以更好地区分出不同的物体以及物体的每个面与其他面之间的边界。
步骤S103、根据所述深度图像对所述预处理图像进行第一降噪处理,得到第一图像;
结合经过边缘提取的预处理图像与深度图像,就可以通过深度图像来找到预处理图像中的深度连通区域,在深度连通区域中的高频点即为噪点;而在深度变化的区域与预处理图像重合的部分就是边缘,通过第一降噪处理将高频噪点去除,就可以得到包括清晰边缘的第一图像。
在其他实施例中,所述根据所述深度图像对所述预处理图像进行第一降噪处理,得到第一图像,包括:
根据所述深度图像中每一连续深度的连通区域,对所述预处理图像进行所述第一降噪处理,得到所述第一图像。
这里,结合深度图像,可以区分出每一连续深度的连通区域,也就是各个边缘所包围的区域。对这些连通区域分别进行第一降噪处理,就可以将每一连通区域内的零碎噪点去除,以保证第一图像中的带有高频信息的像素点中绝大部分都是边界点。
在其他实施例中,所述根据所述深度图像中每一连续深度的连通区域,对所述预处理图像进行所述第一降噪处理,得到所述第一图像,包括:
根据所述深度图像中每一连通深度的连通区域,确定所述连通区域内的高频噪点;
根据所述第一降噪处理,去除所述高频噪点,得到所述第一图像。
这里的第一降噪处理是对上述连续深度的区域进行降噪,将带有高频特性的孤立噪点剔除,而尽可能少地造成边缘的模糊,以提高后续降噪处理的准确性。这里第一降噪处理可以通过多种降噪方式来实现,例如,取高频噪点附近的一个点,将该高频噪点的灰度值修改为选取的该附近的点的灰度值;或者,取高频噪点附近一个区域的所有点,求这些附近的点的平均值,将该高频噪点的灰度值修改为该平均值;又或者,求该连通区域的所有点的灰度值的平均值,将这个连通区域内的所有高频噪点的灰度值修改为该平均值。
在其他实施例中,所述对所述颜色图像进行边缘检测,得到预处理图像,包括:
步骤S11、对所述颜色图像进行锐化处理,得到锐化图像;
这里终端设备首先对颜色图像进行锐化处理,锐化处理会使边缘更加明显,便于后续的图像边缘检测。锐化处理会使细节放大,同时也会将噪声放大。
步骤S12、对所述锐化图像进行边缘检测,得到所述预处理图像。
这里对颜色图像经过锐化处理后,得到的锐化图像进行边缘检测,会更加准确地检测出图像的边缘,当然也会将被锐化放大的噪点检测出来,也就形成了带有大量零碎噪点的预处理图像。这些零碎的噪点需要经过本实施例中的步骤S104进行降噪处理。
实施例二
本发明实施例还提供一种图像降噪的方法,如图2所示,该方法包括:
步骤S201、对颜色图像进行边缘检测,得到预处理图像;
步骤S202、获取与所述颜色图像具有相同场景的深度图像;
步骤S203、根据所述深度图像对所述预处理图像进行第一降噪处理,得到第一图像;
上述步骤S201至步骤S203与实施例一中的步骤S101至步骤S103相同,这里不再赘述。
步骤S204、提取所述第一图像中的边界点;
这里,通过终端设备来提取作为后续步骤处理的输入的第一图像中的边界点。边界点是指,组成图像中边缘的像素点,包括物体与物体之间的界线,以及物体自身的边缘上的像素点。这里可以直接在第一图像中提取与步骤S204中边缘图像对应的边界点。在不同的图像中,边缘的表现形式可能是不同的。比如,在一副图像中,物体与物体之间的界线是黑色的,表现出来是黑色的边缘线,而某物体上的边缘由于光线的照射,显示出白色;也可能通过物体与物体之间的颜色变化能够区分出边缘。在实际的应用中,可以通过像素点的亮度值、灰度值或色彩的突变来识别出边缘,也就是具有高频特性的像素点。
这里的终端设备可以是获取原始图像的拍摄设备,例如手机、数码相机、摄像机等;也可以是进行后期处理的相关计算机设备。
步骤S205、将所述第一图像中的边界点的初始参数值进行修改,得到第二图像;
这里终端设备将提取出的边界点的参数值进行修改,为的是实现去边缘化,也就是将边缘的像素点的参数值,比如将边界点的亮度值或灰度值等,修改为不带有高频特征的像素点的值。因为在后续的降噪过程中,一般是选取一个区域,并对这个区域进行降噪处理。例如,选n×n个像素的区域(n为大于1的自然数),对这个区域中的像素点的参数值取平均值,来达到一个去处高频点的效果。而由于噪点通常与边缘上的边界点具有类似的高频特性,在进行这种降噪处理的过程中,不仅噪点的高频特性会被去除,边界点的高频特征也一起被去除。这样,在降噪的同时,也会造成边缘的模糊。
这里先对边界点的参数值进行修改,使其不具有高频特性,为的是在对图像进行降噪处理时,边界点的参数值不会对其附近的像素点造成影响,同时边界点的原始数值先保存下来,也不会受到降噪的影响。这样,边缘附近的点一级边缘上的边界点都不会因为降噪而变得模糊。
步骤S206、对所述第二图像进行第二降噪处理,得到第三图像;
这里,终端设备对经过步骤S102中的去边缘化处理后的第二图像进行降噪处理,得到降噪后的第三图像。由于这里的第二图像经过了去边缘化处理,在降噪的过程中不会受到边缘等细节处的高频点的影响,因此,可以在这一步骤采用程度较强的降噪处理,如,选用较高的降噪系数。这样,可以将图像中的轻微噪点也一并去除,达到较好的降噪处理。
步骤S207、将所述第三图像中的边界点的参数值修改为初始参数值,得到第四图像。
经过步骤S206的降噪处理后的图像,是不具有边缘和细节信息的图像。这里需要在降噪处理后恢复图像中原本的边缘和细节信息。终端设备将储存的边界点的初始参数值调用出来,将经过降噪处理的图像中的边界点的参数值修改回初始参数值,得到具有边缘和细节信息并且完成了降噪处理的第四图像。
在其他实施例中,将所述第一图像中的边界点的初始参数值进行修改,得到第二图像,包括:
步骤S21、为所述边界点确定参考像素点;
步骤S22、确定所述参考像素点的参数值;
步骤S23、将所述第一图像中的边界点的初始参数值修改为所述参考像素点的参数值,得到第二图像。
在本实施例中对边界点的初始参数值进行修改,是基于参考点的。也就是说,在对边界点的初始参数值进行修改是将选定的参考点的参数值替换边界点的初始参数值。这里的参考点是相对于图像中的其他点不具有高频特性的点,可以是第一图像中,每一边界点附近的点,也可以是统一设定的点。
在其他实施例中,所述为所述边界点确定参考像素点,包括:将距离所述边界点在预设的距离范围内的像素点确定为参考像素点;
所述确定所述参考像素点的参数值,包括:如果所述参考像素点的个数大于1,将所述参考像素点的平均亮度值确定为所述参考像素点的参数值。
这里是将边界点附近的点作为参考像素点,参考像素点的个数可以是一个,也可以是多个。如果在预设的距离范围内的像素点的个数大于1,那么可以将这些像素点的平均亮度值参考点的参数值,并将对应边界点的初始参数值修改为这一参考点的参数值。
在本实施例中,采用亮度值作为参数值,在实际应用中,也可以采用灰度值、色彩值等图像像素点的各种特征值作为参数值,可以根据实际图像的特点来确定。在其他实施例中,上述任意一种方法还包括以下步骤:
步骤S24、对所述边界点进行第三降噪处理,得到第五图像;其中,所述第三降噪处理的降噪程度弱于所述第二降噪处理的降噪程度。
由于边缘上的边界点本身就是具有高频特性的点,如果对边界点的降噪程度过强,就会造成边缘的模糊。因此这里对边界点进行降噪时,需要采用较弱的降噪处理。例如,将降噪系数调整到第二降噪处理中降噪系数的一半,以剔除边界点中的噪点。
通过上述方法中的各步骤,就可以实现对全图的降噪,并且保留了尽可能多的细节和边缘信息。
实施例三
本发明实施例提供一种图像降噪的方法,如图3A所示,该方法包括:
步骤S301、利用边缘检测技术,将低照度高噪声的图像进行处理,获取高频滤波后的边缘图像。
这里是处理低照度高噪声的图像,也就是在光线较暗的情况下拍摄的含有较多噪点的图像。利用边缘检测技术进行高频滤波后,能够将图像中的灰度值突变点筛选出来,也就得到了边缘图像。而噪点也是灰度值的突变点,因此这一边缘图像中不仅包含边缘的像素点,还包括连通区域内的噪点。
步骤S302、结合深度图,对同一深度的连通区域内的独立的高噪点剔除,提高物体的边界准确度,获得边界图;
这里结合深度图,可以区分出每一个连通区域的深度,也就可以对每一相同深度的连通区域内的噪点进行单独处理。独立的高噪点是不具有连续性的高频噪点,也就是相对明显的噪点。
步骤S303、基于边界图,对边界点选用低降噪系数进行处理;
这里仅对边界图中的边界点进行降噪处理,选用低降噪系数,也就是进行较弱的降噪处理。目的是将边界中的噪点剔除,使边界更加清晰,并且保留了更多的细节。
步骤S304、利用代偿剔除的方法对边界点附近的点进行降噪;
这里的代偿剔除的方法是指,将边界点替换成边界点附近的点,也就是附近的进行降噪处理的点。替换完成后,再对边界点附近的点进行降噪处理。这样在对边界点附近的点进行降噪处理的时候,就可以避免边界点造成的影响,放置边界点附近模糊。
步骤S305、处理完边界点附近的点后,将边界点替换回边界图中的边界点;
步骤S306、对同一边界包围的连通区域,选用较大的降噪系数进行降噪处理。
由于这里的连通区域内不会被边界干扰,选用较大的降噪系数也就是进行较强的降噪处理,将连通区域内的低频噪点,也就是较弱的不明显的噪点,也一并去除,保证降噪的效果。
在其他实施例中提供的图像降噪的方法如图3B所示,该方法包括如下步骤:
步骤S311、终端设备通过摄像头模组,对场景进行拍摄,获取图像,并将图像传输至中央处理芯片中。
这里的中央处理芯片可以是CPU(中央处理器)也可以是GPU(图像处理器)。
步骤S312、处理芯片在接收到数字图像数据后,对图像进行锐化处理;
通过锐化处理可以将细节突出,使得细节更加清晰,边界更加明显,便于后续的边缘检测。通过相关技术中的锐化的滤波方式即可实现。
步骤S313、对锐化后的图像利用边缘检测技术,获取边缘图像;
锐化处理会使图像中的噪声一并被放大,而低照度也就是光线较暗的情况下,这一问题会更为突出。假设一个环境下有三个物体前后堆叠摆放,如图3C为原始图像,图3D为经过锐化处理后进行边缘检测后得到的图像,由于对高频的像素点进行过锐化处理,所以边缘图像中存在大量的零碎噪点。
步骤S314、结合深度图,对同一深度的连通区域内的零碎噪点剔除,提高物体的边界准确度,获得边界图;
为了解决这些零碎噪点的问题,通过双摄功能获取场景的深度图,如图3E所示,对落在同一深度的连通区域内的单独的高频点进行剔除,得到最终的边缘图,如图3F所示。由于简单的双摄功能只能区分前后景深,同一深度的两个物体无法直接区分,它们之间的边界在降噪处理中会受到清晰度的影响。因此,这里先利用边缘检测技术获取边缘图像,然后再结合深度图来获得边界图。
步骤S315、基于边界图,对边界点选用低降噪系数进行处理;
获取边界图后,对全幅图像进行分区的降噪处理。对图像降噪采用矩阵模板进行乘积计算。如图3G所示,每个方格代表一个像素,每个像素内部的数字代表这一像素点的亮度值或灰度值,黑色像素点31是物体与物体之间的一段边界连续的点,两侧是图像中的两个物体,它们具有不同的亮度值或灰度值。
一般会根据3乘3的矩阵32对矩阵32中心的一个像素点33进行处理,这时可能会把边界的亮度值或灰度值计算进去,将边界的差异变小,也就造成了边界的模糊。而在本实施例中,提前获取边界点构成的边界图,对边界图首先单独进行降噪处理,例如,将降噪系数调整到正常降噪系数的一半,如图3H所示的情况,对边界点31进行降噪处理。
步骤S316、利用代偿剔除的方法对边界点附近的点进行降噪;
在对边界点附近的点34进行降噪处理时,将边界点31剔除,替换成边界点附近的点34,如图3I所示。替换后,再对边界点附近的点34进行降噪处理。
步骤S317、处理完边界点附近的点后,将边界点替换回边界图中的边界点;
完成对边界点附近的点34的降噪处理后,将被替换的边界点31替换回来,恢复边界点的数值。完成整个边界以及边界点附近的点的降噪处理。
步骤S318、对同一边界包围的连通区域,选用较大的降噪系数进行降噪处理。
由于这里的连通区域内不会被边界干扰,选用较大的降噪系数也就是进行较强的降噪处理,将连通区域内的低频噪点也一并去除,保证降噪的效果。
在其他实施例中,在进行边缘检测时,除了结合深度图,还可以通过结合纹理特征或者颜色分布等区分边缘,并提取边界点。
在本实施例中,将上述方法实际应用于终端时,可以在终端的拍摄应用程序的界面上提示“正在智能降噪中”,在取景器界面可以提供一个开关控件来打开或者关闭上述智能降噪的功能。
通过上述方法的处理,可以保留大部分边界信息,保留细节。并且不需要获取多帧图像,提高了处理效率。并且可以应用于普通拍摄画质的提升,也可以应用于视频监控等的细节优化。
实施例四
基于前述的实施例,本发明实施例提供一种图像降噪的装置,该装置包括所包括的各单元、以及各单元所包括的各模块,可以通过终端中的处理器来实现;当然也可通过具体的逻辑电路实现;在实施的过程中,处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)等。
本实施例提供的一种图像降噪的装置400,如图4所示,该装置包括:
检测单元401,配置为对颜色图像进行边缘检测,得到预处理图像;
获取单元402,配置为获取与所述颜色图像具有相同场景的深度图像;
第一降噪单元403,配置为根据所述深度图像对所述预处理图像进行第一降噪处理,得到第一图像。
在其他实施例中,所述检测单元包括:
锐化模块,配置为对所述颜色图像进行锐化处理,得到锐化图像;
检测模块,配置为对所述锐化图像进行边缘检测,得到所述预处理图像。
在其他实施例中,所述第一降噪单元还配置为:
根据所述深度图像中每一连续深度的连通区域,对所述预处理图像进行所述第一降噪处理,得到所述第一图像。
在其他实施例中,所述第一降噪单元,包括:
第一确定模块,配置为根据所述深度图像中每一连通深度的连通区域,确定所述连通区域内的高频噪点;
降噪模块,配置为根据所述第一降噪处理,去除所述高频噪点,得到所述第一图像。
在其他实施例中,所述装置还包括:
提取单元,配置为提取所述第一图像中的边界点;
第一修改单元,配置为将所述第一图像中的边界点的初始参数值进行修改,得到第二图像;
第二降噪单元,配置为对所述第二图像进行第二降噪处理,得到第三图像;
第二修改单元,配置为将所述第三图像中的边界点的参数值修改为初始参数值,得到第四图像;
第三降噪单元,配置为对所述第四图像中的所述边界点进行第三降噪处理,得到第五图像;其中,所述第三降噪处理的降噪程度弱于所述第二降噪处理的降噪程度。
在其他实施例中,所述第一修改单元,包括:
第二确定模块,配置为为所述边界点确定参考像素点;
第三确定模块,配置为确定所述参考像素点的参数值;
修改模块,配置为将所述第一图像中的边界点的初始参数值修改为所述参考像素点的参数值,得到第二图像。
在其他实施例中,所述第二确定模块,还配置为将距离所述边界点在预设的距离范围内的像素点确定为参考像素点;
所述第三确定模块,还配置为如果所述参考像素点的个数大于1,将所述参考像素点的平均亮度值确定为所述参考像素点的参数值。
以上装置实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本发明装置实施例中未披露的技术细节,请参照本发明方法实施例的描述而理解。
需要说明的是,本发明实施例中,如果以软件功能模块的形式实现上述图像降噪的方法,并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、摄影机、照相机、移动终端、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样,本发明实施例不限制于任何特定的硬件和软件结合。
对应地,本发明实施例提供一种图像降噪的设备,包括存储器和处理器,所述存储器存储有可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述实施例提供的图像降噪的方法中的步骤。
对应地,本发明实施例提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述实施例提供的图像降噪的方法中的步骤。
这里需要指出的是:以上存储介质和设备实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本发明存储介质和设备实施例中未披露的技术细节,请参照本发明方法实施例的描述而理解。
需要说明的是,图5为本发明实施例中图像降噪的设备(例如终端设备)的一种硬件实体示意图,如图5所示,该图像降噪的设备500的硬件实体包括:处理器501、通信接口502和存储器503,其中
处理器501通常控制图像降噪的设备500的总体操作。
通信接口502可以使图像降噪的设备通过网络与其他终端或服务器通信。
存储器503配置为存储由处理器501可执行的指令和应用,还可以缓存待处理器501以及图像降噪的500中各模块待处理或已经处理的数据(例如,图像数据、音频数据、语音通信数据和视频通信数据),可以通过闪存(FLASH)或随机访问存储器(Random AccessMemory,RAM)实现。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在实施例中”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解,在本发明的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元;既可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本发明各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(Read Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台终端设备(可以是个人计算机、手机、照相机、摄影机等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种图像降噪的方法,其特征在于,所述方法包括:
对颜色图像进行边缘检测,得到预处理图像;
获取与所述颜色图像具有相同场景的深度图像;
根据所述深度图像对所述预处理图像进行第一降噪处理,得到第一图像。
2.根据权利要求1所述的方法,其特征在于,所述对颜色图像进行边缘检测,得到预处理图像,包括:
对所述颜色图像进行锐化处理,得到锐化图像;
对所述锐化图像进行边缘检测,得到所述预处理图像。
3.根据权利要求2所述的方法,其特征在于,所述根据所述深度图像对所述预处理图像进行第一降噪处理,得到第一图像,包括:
根据所述深度图像中每一连续深度的连通区域,对所述预处理图像进行所述第一降噪处理,得到所述第一图像。
4.根据权利要求3所述的方法,其特征在于,所述根据所述深度图像中每一连续深度的连通区域,对所述预处理图像进行所述第一降噪处理,得到所述第一图像,包括:
根据所述深度图像中每一连通深度的连通区域,确定所述连通区域内的高频噪点;
根据所述第一降噪处理,去除所述高频噪点,得到所述第一图像。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
提取所述第一图像中的边界点;
将所述第一图像中的边界点的初始参数值进行修改,得到第二图像;
对所述第二图像进行第二降噪处理,得到第三图像;
将所述第三图像中的边界点的参数值修改为初始参数值,得到第四图像;
对所述第四图像中的所述边界点进行第三降噪处理,得到第五图像;其中,所述第三降噪处理的降噪程度弱于所述第二降噪处理的降噪程度。
6.根据权利要求5所述的方法,其特征在于,将所述第一图像中的边界点的初始参数值进行修改,得到第二图像,包括:
为所述边界点确定参考像素点;
确定所述参考像素点的参数值;
将所述第一图像中的边界点的初始参数值修改为所述参考像素点的参数值,得到第二图像。
7.根据权利要求6所述的方法,其特征在于,所述为所述边界点确定参考像素点,包括:将距离所述边界点在预设的距离范围内的像素点确定为参考像素点;
所述确定所述参考像素点的参数值,包括:如果所述参考像素点的个数大于1,将所述参考像素点的平均亮度值确定为所述参考像素点的参数值。
8.一种图像降噪的装置,其特征在于,所述装置包括:
检测单元,配置为对颜色图像进行边缘检测,得到预处理图像;
获取单元,配置为获取与所述颜色图像具有相同场景的深度图像;
第一降噪单元,配置为根据所述深度图像对所述预处理图像进行第一降噪处理,得到第一图像。
9.一种图像降噪的设备,其特征在于,所述终端包括:存储器、处理器,所述存储器存储有可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述权利要求1至7任一项提供的图像降噪的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机可执行指令,该计算机可执行指令配置为执行上述权利要求1至7任一项提供的图像降噪的方法。
CN201811110728.4A 2018-09-21 2018-09-21 一种图像降噪的方法及装置、设备、存储介质 Pending CN110942427A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201811110728.4A CN110942427A (zh) 2018-09-21 2018-09-21 一种图像降噪的方法及装置、设备、存储介质
US17/276,961 US11948277B2 (en) 2018-09-21 2019-07-23 Image denoising method and device, apparatus, and storage medium
EP19862828.1A EP3839878A4 (en) 2018-09-21 2019-07-23 IMAGE DENOISSING METHOD AND APPARATUS, DEVICE AND STORAGE MEDIA
PCT/CN2019/097354 WO2020057248A1 (zh) 2018-09-21 2019-07-23 一种图像降噪的方法及装置、设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811110728.4A CN110942427A (zh) 2018-09-21 2018-09-21 一种图像降噪的方法及装置、设备、存储介质

Publications (1)

Publication Number Publication Date
CN110942427A true CN110942427A (zh) 2020-03-31

Family

ID=69888233

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811110728.4A Pending CN110942427A (zh) 2018-09-21 2018-09-21 一种图像降噪的方法及装置、设备、存储介质

Country Status (4)

Country Link
US (1) US11948277B2 (zh)
EP (1) EP3839878A4 (zh)
CN (1) CN110942427A (zh)
WO (1) WO2020057248A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476741B (zh) * 2020-04-28 2024-02-02 北京金山云网络技术有限公司 图像的去噪方法、装置、电子设备和计算机可读介质
CN111667436A (zh) * 2020-05-08 2020-09-15 武汉中观自动化科技有限公司 一种用于无线三维扫描仪的图像传输方法及装置
US20220327665A1 (en) * 2021-04-08 2022-10-13 Canon Medical Systems Corporation Neural network for improved performance of medical imaging systems
CN113112432A (zh) * 2021-05-13 2021-07-13 广州道一科学技术有限公司 自动识别图像条带的方法
CN115330784B (zh) * 2022-10-13 2022-12-23 南通金百福纺织品有限公司 一种布匹表面缺陷检测方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5031227A (en) * 1990-09-27 1991-07-09 Loral Aerospace Corp. Edge enhancement and smoothing in digital images
US7587099B2 (en) * 2006-01-27 2009-09-08 Microsoft Corporation Region-based image denoising
US9681154B2 (en) * 2012-12-06 2017-06-13 Patent Capital Group System and method for depth-guided filtering in a video conference environment
CN105719254B (zh) 2016-01-23 2020-02-21 深圳市云之梦科技有限公司 一种图像降噪方法及系统
JP6503308B2 (ja) * 2016-02-18 2019-04-17 富士通フロンテック株式会社 画像処理装置及び画像処理方法
CN107292826B (zh) 2016-03-31 2021-01-22 富士通株式会社 图像处理设备、图像处理方法以及图像处理装置
WO2018000427A1 (en) * 2016-07-01 2018-01-04 Intel Corporation Enhancement of edges in images using depth information
CN106408524B (zh) 2016-08-17 2020-04-28 南京理工大学 基于二维图像辅助的深度图像增强方法
CN108399610A (zh) * 2018-03-20 2018-08-14 上海应用技术大学 一种融合rgb图像信息的深度图像增强方法
US11508049B2 (en) * 2018-09-13 2022-11-22 Nvidia Corporation Deep neural network processing for sensor blindness detection in autonomous machine applications
CN109584204B (zh) * 2018-10-15 2021-01-26 上海途擎微电子有限公司 一种图像噪声强度估计方法、存储介质、处理及识别装置
US11941787B2 (en) * 2021-08-23 2024-03-26 Microsoft Technology Licensing, Llc Denoising depth data of low-signal pixels
US20230081137A1 (en) * 2021-08-24 2023-03-16 Microsoft Technology Licensing, Llc Spatial metrics for denoising depth image data
US20230134806A1 (en) * 2021-10-29 2023-05-04 Microsoft Technology Licensing, Llc Denoising depth image data using neural networks

Also Published As

Publication number Publication date
WO2020057248A1 (zh) 2020-03-26
EP3839878A4 (en) 2022-05-18
EP3839878A1 (en) 2021-06-23
US11948277B2 (en) 2024-04-02
US20220036514A1 (en) 2022-02-03

Similar Documents

Publication Publication Date Title
EP2852152B1 (en) Image processing method, apparatus and shooting terminal
CN108335279B (zh) 图像融合和hdr成像
CN110942427A (zh) 一种图像降噪的方法及装置、设备、存储介质
US8559744B2 (en) Method for processing a digital object and related system
EP2987134B1 (en) Generation of ghost-free high dynamic range images
KR102266649B1 (ko) 이미지 처리 방법 및 장치
KR101662846B1 (ko) 아웃 포커싱 촬영에서 빛망울 효과를 생성하기 위한 장치 및 방법
CN110766621B (zh) 图像处理方法、装置、存储介质及电子设备
CN110033418B (zh) 图像处理方法、装置、存储介质及电子设备
JP6545670B2 (ja) デジタルカメラに対する単一フレームベースのスーパー解像度補間のためのシステムおよび方法
KR20120016476A (ko) 영상 처리 방법 및 영상 처리 장치
WO2014093048A1 (en) Determining an image capture payload burst structure
WO2023273868A1 (zh) 图像降噪方法、装置、终端、存储介质
CN110740266B (zh) 图像选帧方法、装置、存储介质及电子设备
CN114418879A (zh) 图像处理方法、装置、电子设备及存储介质
CN112822413B (zh) 拍摄预览方法、装置、终端和计算机可读存储介质
CN111953893B (zh) 一种高动态范围图像生成方法、终端设备及存储介质
Wu et al. Reflectance-guided, contrast-accumulated histogram equalization
WO2013109192A1 (en) Method and device for image processing
KR102183518B1 (ko) 이미지 신호로부터 계단 아티팩트들을 감소시키는 이미지 프로세싱 장치
KR101651889B1 (ko) 극저조도 영상의 화질 개선 장치 및 방법
CN110992284A (zh) 图像处理方法、图像处理装置、电子设备和计算机可读存储介质
Vanmali et al. Multi-exposure image fusion for dynamic scenes without ghost effect
CN115578273A (zh) 图像多帧融合的方法、装置、电子设备及存储介质
US10552970B2 (en) Efficient guide filter for depth refinement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination