CN105791635B - 基于gpu的视频增强去噪方法及装置 - Google Patents
基于gpu的视频增强去噪方法及装置 Download PDFInfo
- Publication number
- CN105791635B CN105791635B CN201610143267.5A CN201610143267A CN105791635B CN 105791635 B CN105791635 B CN 105791635B CN 201610143267 A CN201610143267 A CN 201610143267A CN 105791635 B CN105791635 B CN 105791635B
- Authority
- CN
- China
- Prior art keywords
- pixel
- image
- intensity threshold
- intensity
- gpu
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000001914 filtration Methods 0.000 claims abstract description 93
- 238000012545 processing Methods 0.000 claims abstract description 29
- 230000002708 enhancing effect Effects 0.000 claims abstract description 28
- 238000011946 reduction process Methods 0.000 claims abstract description 15
- 230000002093 peripheral effect Effects 0.000 claims description 26
- 230000000694 effects Effects 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 239000002245 particle Substances 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000003707 image sharpening Methods 0.000 description 1
- 238000003706 image smoothing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于GPU的视频增强去噪方法，包括以下步骤：S1、将视频图像输入到GPU；S2、获取视频图像中每个像素点的亮度值，根据预设的滤波模板，计算每个像素点的亮度与滤波模板对应的能量强度；S3、根据步骤S2计算出的能量强度与预设的阈值，获取视频图像中的边界像素、平滑像素和噪声像素；S4、对噪声像素进行降噪处理；S5、对边界像素、平滑像素进行增强处理。本发明在对图像增强的同时增加对噪声数据的处理，得到更好的画质，从整体提高处理后的图像效果，从而提高用户体验。同时对算法进行调整，使得该算法可以很好地运行在GPU上，充分利用GPU上富裕的运算能力和总线资源。
Description
技术领域
本发明涉及计算机图像处理领域，尤其涉及基于GPU的视频增强去噪方法及装置。
背景技术
视频图像增强是按特定的需要突出一幅图像中的某些信息，同时削弱或去除某些不需要的信息的处理方法，也是提高图像质量的过程。图像增强的目的是使图像的某些特性方面更加鲜明、突出，使处理后的图像更适合人眼视觉特性或机器分析，以便于实现对图像的更高级的处理和分析。
图像增强的方法是通过一定手段对原图像附加一些信息或变换数据，有选择地突出图像中感兴趣的特征或者抑制(掩盖)图像中某些不需要的特征，使图像与视觉响应特性相匹配。
在图像增强过程中，不分析图像降质的原因，处理后的图像不一定逼近原始图像。图像增强技术根据增强处理过程所在的空间不同，可分为基于空域的算法和基于频域的算法两大类。基于空域的算法处理时直接对图像灰度级做运算基于频域的算法是在图像的某种变换域内对图像的变换系数值进行某种修正，是一种间接增强的算法。
基于空域的算法分为点运算算法和邻域去噪算法。点运算算法即灰度级校正、灰度变换和直方图修正等，目的或使图像成像均匀，或扩大图像动态范围，扩展对比度。邻域增强算法分为图像平滑和锐化两种。平滑一般用于消除图像噪声，但是也容易引起边缘的模糊。常用算法有均值滤波、中值滤波。锐化的目的在于突出物体的边缘轮廓，便于目标识别。常用算法有梯度法、算子、高通滤波、掩模匹配法、统计差值法等。
GPU(Graphics Processing Unit)，图形处理器，又称显示核心、视觉处理器、显示芯片，是一种专门在个人电脑、工作站、游戏机和一些移动设备(如平板电脑、智能手机等)上图像运算工作的微处理器。
GPU的核数远超CPU，被称为众核(NVIDIA Fermi有512个核)。每个核拥有的缓存大小相对小，数字逻辑运算单元也少而简单(GPU初始时在浮点计算上一直弱于CPU)。从结果上导致CPU擅长处理具有复杂计算步骤和复杂数据依赖的计算任务，如分布式计算，数据压缩，人工智能，物理模拟，以及其他很多很多计算任务等。GPU常常出现的一类操作是对海量数据进行相同的操作，如：对每一个顶点进行同样的坐标变换，对每一个顶点按照同样的光照模型计算颜色值。GPU的众核架构非常适合把同样的指令流并行发送到众核上，采用不同的输入数据执行。在2003-2004年左右，图形学之外的领域专家开始注意到GPU与众不同的计算能力，开始尝试把GPU用于通用计算(即GPGPU)。之后NVIDIA发布了CUDA，AMD和Apple等公司也发布了OpenCL，GPU开始在通用计算领域得到广泛应用，包括：数值分析，海量数据处理(排序，Map-Reduce等)，金融分析等等。
现有技术中对视频增强时，存在以下问题：
1、从单一的画质增强处理，缺少针对画质增强后所带来的噪声数据的处理，导致画面有提升，但是画面颗粒感严重。
2、传统的视频增强算法执行在CPU上，应用在视频播放过冲中，由于视频资源占用较大的CPU，并且视频资源庞大，占用大量的CPU以及总线资源。
3、传统的去噪算法消除噪声数据时会对图像画质产生损失，造成边缘模糊，同时算法对待高强度和颗粒化的噪声效果不是很明显。
发明内容
为了对传统视频增强算法进行改进，本发明在对图像增强的同时增加对噪声数据的处理，同时对算法进行调整，使得该算法可以很好地运行在GPU上，充分利用GPU上富裕的运算能力和总线资源。
本发明提供了一种基于GPU的视频增强去噪方法，包括以下步骤：
S1、将视频图像输入到GPU；
S2、获取所述视频图像中每个像素点的亮度值，根据预设的滤波模板，计算每个像素点的亮度与所述滤波模板对应的能量强度；
S3、根据步骤S2计算出的能量强度与预设的阈值，获取所述视频图像中的边界像素、平滑像素和噪声像素；
S4、对所述噪声像素进行降噪处理；
S5、对所述边界像素、平滑像素进行增强处理。
进一步地，步骤S2进一步包括以下步骤：
S201、获取所述视频图像中每个像素点的亮度值；
S202、设置多个滤波模板，每个滤波模板包括N*M个单元，N、M为自然数；每个模板用于计算对应像素点的亮度在一个方向的能量强度；
S203、分别用每个滤波模板对所述视频图像中的N*M个像素进行扫描运算，得到每个像素与每个滤波模板对应的能量强度。
其中，扫描运算是指分别将每个滤波模板与包含目标像素的N*M个像素进行卷积运算，得到目标像素与每个滤波模板对应的能量强度。
进一步地，步骤S3进一步包括以下步骤：
S301、设置第一强度阈值H和第二强度阈值L；
S302、若目标像素的所有能量强度均小于所述第二强度阈值L，则判定该目标像素为平滑像素；
若目标像素的至少一个能量强度大于所述第一强度阈值H，且至少存在一个所述目标像素的周边像素点的一个能量强度大于所述第一强度阈值H，则判定所述目标像素为强边界像素；其中，周边像素点为与目标像素在预定的距离内的像素；
若目标像素的至少一个能量强度大于所述第二强度阈值L且小于所述第一强度阈值H，且至少存在一个所述目标像素的周边像素点的一个能量强度小于所述第二强度阈值L，则判定该目标像素为噪声像素；
若目标像素的至少一个能量强度大于所述第二强度阈值L且小于所述第一强度阈值H，且所述目标像素的周边像素点的能量强度均不小于所述第二强度阈值L，则判定该目标像素为弱边界像素。
进一步地，步骤S4中对噪声像素进行降噪处理的方法为均值滤波方法。
进一步地，步骤S5进一步包括：
对强边界像素，采用下式处理：p1(x,y)＝f(x,y)+(G1+G2+···+Gn)/4，其中，(x,y)为像素的坐标，f(x,y)为像素的亮度，n为滤波模板数量，G1、G2、···Gn为像素分别与每个滤波模板对应的能量强度，p1(x,y)为强边界像素增强后的亮度值；
对弱边界像素，采用下式处理：p2(x,y)＝f(x,y)+1.2*(G1+G2+···+Gn)/4，其中，(x,y)为像素的坐标，f(x,y)为像素的亮度，n为滤波模板数量，G1、G2、···Gn为像素分别与每个滤波模板对应的能量强度，p2(x,y)为弱边界像素增强后的亮度值；
对平滑像素，利用直方图拉伸和直方图均衡化方法增强对比度。
进一步地，步骤S5之后还包括：
S6、获取所述视频图像中每个像素点的色度值，根据每个像素点的色度值对所述视频图像中的边界像素、平滑像素进行增强处理，对所述视频图像中的噪声像素进行降噪处理。
本发明还提供了一种基于GPU的视频增强去噪装置，包括：
图像输入模块，用于将视频图像输入到GPU；
能量强度计算模块，用于获取所述视频图像中每个像素点的亮度值，根据预设的滤波模板，计算每个像素点的亮度与所述滤波模板对应的能量强度；
判断模块，用于根据能量计算模块计算出的能量强度与预设的阈值，获取所述视频图像中的边界像素、平滑像素和噪声像素；
噪声处理模块，用于对所述噪声像素进行降噪处理；
图像增强模块，用于对所述边界像素、平滑像素进行增强处理。
进一步地，所述能量强度计算模块进一步包括：
亮度获取单元，用于获取所述视频图像中每个像素点的亮度值；
模板设置单元，用于设置多个滤波模板，每个滤波模板包括N*M个单元，N、M为自然数；
计算单元，用于分别用每个滤波模板对所述视频图像中的N*M个像素进行扫描运算，得到每个像素与每个滤波模板对应的能量强度。
进一步地，所述判断模块进一步包括：
阈值设置单元，用于设置第一强度阈值H和第二强度阈值L；
判断单元，用于若目标像素的所有能量强度均小于所述第二强度阈值L，则判定该目标像素为平滑像素；
若目标像素的至少一个能量强度大于所述第一强度阈值H，且至少存在一个所述目标像素的周边像素点的一个能量强度大于所述第一强度阈值H，则判定所述目标像素为强边界像素；其中，周边像素点为与目标像素在预定的距离内的像素；
若目标像素的至少一个能量强度大于所述第二强度阈值L且小于所述第一强度阈值H，且至少存在一个所述目标像素的周边像素点的一个能量强度小于所述第二强度阈值L，则判定该目标像素为噪声像素；
若目标像素的至少一个能量强度大于所述第二强度阈值L且小于所述第一强度阈值H，且所述目标像素的周边像素点的能量强度均不小于所述第二强度阈值L，则判定该目标像素为弱边界像素。
进一步地，图像增强模块进一步包括：
强边界增强单元，用于对强边界像素，采用下式处理：p1(x,y)＝f(x,y)+(G1+G2+···+Gn)/4，其中，(x,y)为像素的坐标，f(x,y)为像素的亮度，n为滤波模板数量，G1、G2、···Gn为像素分别与每个滤波模板对应的能量强度，p1(x,y)为强边界像素增强后的亮度值；
弱边界增强单元，用于对弱边界像素，采用下式处理：p2(x,y)＝f(x,y)+1.2*(G1+G2+···+Gn)/4，其中，(x,y)为像素的坐标，f(x,y)为像素的亮度，n为滤波模板数量，G1、G2、···Gn为像素分别与每个滤波模板对应的能量强度，p2(x,y)为弱边界像素增强后的亮度值；
平滑增强单元，用于对平滑像素，利用直方图拉伸和直方图均衡化方法增强对比度。
进一步地，步骤S1中的所述视频图像为YUV格式。若获取的视频图像不是YUV图像，则将获取的图像转换至YUV格式，获得所述视频图像的亮度分量Y、第一色度分量U和第二色度分量V。
进一步地，所述噪声处理模块对噪声像素进行降噪处理的方法为均值滤波方法。
进一步地，所述装置还包括色度增强模块，用于获取所述视频图像中每个像素点的色度值，根据每个像素点的色度值对所述视频图像中的边界像素、平滑像素进行增强处理，对所述视频图像中的噪声像素进行降噪处理。
实施本发明，具有如下有益效果：
(1)本发明克服了传统的视频增强算法在CPU端进行处理所带来的CPU运算压力大，处理速度慢的问题，对视频增强算法改进，使得该算法可以很好地运行在GPU上，充分利用GPU上富裕的运算能力和总线资源，有效地减轻了CPU的压力，采用多线程的GPU对视频图像进行增强和去噪运算能够有效提高图像处理速度。
(2)本发明采用多个滤波模板计算出像素多个方向的能量强度，并根据能量强度与预设的阈值找到所述视频图像中的边界像素、平滑像素和噪声像素，本发明分别设置了高强度阈值和第二强度阈值，通过给出的比较算法，能够准确地判定视频图像中的像素的类型，为后续图像处理提供了依据。
(3)本发明针对强边界像素、弱边界像素、平滑像素分别给出了判定标准和增强算法，使处理后的图像增强效果更佳；另外，本发明在图像增强的同时，对于噪声像素进行降噪处理，提高了图像降噪能力，解决了现有技术中增强图像遗留的画面颗粒感严重以及传统的去噪算法在消除噪声数据时带来的图像画质损失、边缘模糊问题，视频图像增强与降噪同时处理，得到更好的画质，从整体提高处理后的图像效果，从而提高用户体验。
(4)本发明根据判定的强边界像素、弱边界像素、平滑像素和噪声像素位置，对图像的色度进行相应的增强和去噪处理，使图像更加绚丽，从而增强画质和用户体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1是本发明实施例一所述的方法实现的流程图；
图2是本发明实施例一所述的第一模板的示意图；
图3是本发明实施例一所述的第二模板的示意图；
图4是本发明实施例一所述的第三模板的示意图；
图5是本发明实施例一所述的第四模板的示意图；
图6是本发明实施例二所述的装置的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一：
请参见图1-图5，本发明实施例提供了一种基于GPU的视频增强去噪方法，包括以下步骤：
S1、将视频图像输入到GPU；
需要说明的是，步骤S1中的所述视频图像为YUV格式。若获取的视频图像不是YUV图像，则将获取的图像转换至YUV格式，获得所述视频图像的亮度分量Y、第一色度分量U和第二色度分量V，为简化书写，本发明中将亮度分量Y称为亮度，第一色度分量称为第一色度，第二色度分量称为第一色度。
S2、获取所述视频图像中每个像素点的亮度，根据预设的滤波模板，计算每个像素点的亮度与所述滤波模板对应的能量强度；
步骤S2进一步包括以下步骤：
S201、获取所述视频图像中每个像素点的亮度；
S202、设置多个滤波模板，每个滤波模板包括N*M个单元，N、M为自然数；每个模板用于计算对应像素点的亮度在一个方向的能量强度，比如横向、纵向、对角等；
S203、分别用每个滤波模板对所述视频图像中的N*M个像素进行扫描运算，得到每个像素与每个滤波模板对应的能量强度。
其中，扫描运算是指分别将每个滤波模板与包含目标像素的N*M个像素进行卷积运算，得到目标像素与每个滤波模板对应的能量强度。
为了解释本发明的算法，以四个滤波模板为例进行说明。四个模板的具体形式如图2-图5所示。本领域技术人员应该知晓，模板的数量可以是多个，本发明不做具体限定。
步骤S202中，每个滤波模板包括N*M个单元。其中，N和M是指滤波模板或滤波窗口包含的行数和列数。利用滑动窗口对图像进行扫描运算是本领域常用的图像处理方法，本发明对此不再赘述。本发明给出的四个模板为5*5窗口，也就是说，是五行五列，本领域技术人员应该知晓，其他大小的窗口也可以应用于本发明，例如3*3，7*7，或其他大小的窗口均适用于本发明。滤波模板要保证目标像素对应的单元值与其他位置的数值加和为0.
将滤波模板对图像扫描运算时，首先确定滤波模板中与目标像素对应的位置，将该位置称为标记位置，然后将标记位置与目标像素对准，将滤波模板中每个位置的数值与图片中相应的像素相乘，然后将得到的结果相加就得到该目标像素与该滤波模板对应的能量强度，当滤波模板为多个时，目标像素与每个滤波模板均对应一个能量强度。当然，此时计算所用的目标像素的值为亮度值。扫描过程则为对用滤波模板对图像中所有的像素一一求取能量强度。
本发明将四个模板分别称为第一模板、第二模板、第三模板、第四模板。
如图2所示，其中，第一模板为纵向滤波模板，第一模板的纵向数值均不为0，所有单元数值加和为0，该模板中，取最中心的单元为与图像中目标像素对应的单元。当然，这只是一种可选的方案，与图像中目标像素对应的单元可以在模板中的任何位置，不一定在最中心，例如，可以是在边角或其他位置，本发明不做具体限定。为了方便判别像素的类别，与目标像素对应的单元的数值与其他单元的数值符号相反，例如，本例中，与目标像素对应的单元值也就是中心位置的数值为-6，其他非0数值为正值，其他位置数值加和为6，中心值与其他值加和为0.
为增强图像中像素的检测精度，本发明的第一模板在不为0的纵向方向，附近设置的单元数值可以有不为0的数值，例如，本实施例中，在第一行和最后一行靠近中心位置均有两个不为0的数值，其余位置均为0.
第一模板中的数值除中心位置外，其余非0数值的选择范围可以在图中给出的数值上增加或减少0.2，例如，纵向除中心(与目标像素对应的单元)外，其余值为0.8-1.2，第一行与第一列除中心一列外，选值范围为0.3-0.7.但最终要保证目标像素对应的单元值与其他位置的数值加和为0.
第二模板和第四模板分别为对角线，或将第一模板的数值单元沿不同方向旋转45度得到。第二模板和第三模板的数值范围和取值规律与第一模板相同，最终要保证目标像素对应的单元值与其他位置的数值加和为0.只是第二模板和第三模板不为0的数值分布于模板的对角线上。除对角线外的其他位置数值可以全部为0，当然，如图3、图4所示，为增强图像中像素的检测精度，也可以在对角线的边角周围设置不为0的数值，其原理与第一模板类型，不再赘述。
第三模板为横向模板，其设置方法与第一模板相似，可以看做将第一模板旋转90度得到。
值得注意的是，本发明的滤波模板大小选择，由图像的尺寸以及GPU性能综合确定。其中，GPU的性能是指其线程数目或者核的数目。
S3、根据步骤S2计算出的能量强度与预设的阈值，获取所述视频图像中的边界像素、平滑像素和噪声像素；
进一步地，步骤S3进一步包括以下步骤：
S301、设置第一强度阈值H和第二强度阈值L；
具体来说，第一强度阈值H对应高强度阈值，第二强度阈值L对应低强度阈值。
S302、若目标像素的所有能量强度均小于所述第二强度阈值L，则判定该目标像素为平滑像素；
若目标像素的至少一个能量强度大于所述第一强度阈值H，且至少存在一个所述目标像素的周边像素点的一个能量强度大于所述第一强度阈值H，则判定所述目标像素为强边界像素；其中，周边像素点为与目标像素在预定的距离内的像素；
若目标像素的至少一个能量强度大于所述第二强度阈值L且小于所述第一强度阈值H，且至少存在一个所述目标像素的周边像素点的一个能量强度小于所述第二强度阈值L，则判定该目标像素为噪声像素；
若目标像素的至少一个能量强度大于所述第二强度阈值L且小于所述第一强度阈值H，且所述目标像素的周边像素点的能量强度均不小于所述第二强度阈值L，则判定该目标像素为弱边界像素。
设n为滤波模板数量，G1、G2、···Gn为像素分别与每个滤波模板对应的能量强度，设NX为目标像素周边像素点的能量强度。所述周边像素点是指以目标像素为中心，周围的像素点，例如，目标像素周围3*3、5*5、7*7等单元内的像素点。
在本例中，具体来说，滤波模板的数量为四个，则n＝4，当然，滤波模板数量不同，n可以为其他值。n＝4时，每个像素对应的滤波模板分别为G1、G2、G3、G4。
若目标像素满足下列条件：G1<L&G2<L&G3<L&G4<L，则判定该像素为平滑像素；
若目标像素满足下列条件：(G1>H||G2>H||G3>H||G4>H)&(存在NX>H)则该像素标记为边界像素；
若目标像素满足下列条件：存在(L<G1-G4<H)的可能，并且NX<L，则该像素为噪声像素；
若目标像素满足下列条件：存在(L<G1-G4<H)的可能，并且不满足NX<L，则该像素为弱边界像素。
S4、对所述噪声像素进行降噪处理；
对噪声像素进行降噪处理的具体方法可以采用均值滤波、中值滤波或其他的滤波方法。
S5、对所述边界像素、平滑像素进行增强处理。
步骤S5进一步包括：
对强边界像素，采用下式处理：p1(x,y)＝f(x,y)+(G1+G2+···+Gn)/4，其中，(x,y)为像素的坐标，f(x,y)为像素的亮度，n为滤波模板数量，G1、G2、···Gn为像素分别与每个滤波模板对应的能量强度，p1(x,y)为强边界像素增强后的亮度；
对弱边界像素，采用下式处理：p2(x,y)＝f(x,y)+1.2*(G1+G2+···+Gn)/4，其中，(x,y)为像素的坐标，f(x,y)为像素的亮度，n为滤波模板数量，G1、G2、···Gn为像素分别与每个滤波模板对应的能量强度，p2(x,y)为弱边界像素增强后的亮度；
对平滑像素，利用直方图拉伸和直方图均衡化方法增强对比度。
对平滑像素，还可以采用直方图匹配或直方图规定化来处理。
进一步地，步骤S5之后还包括：
S6、获取所述视频图像中每个像素点的色度值，根据每个像素点的色度值对所述视频图像中的边界像素、平滑像素进行增强处理，对所述视频图像中的噪声像素进行降噪处理。
本发明所述的色度值，是指视频图像中与YUV分量中的第一色度U和第二色度V，其处理方法类似，以下仅以第一色度U为例说明。
获取所述视频图像中每个像素点的第一色度U后，由于已经通过亮度判断出图像中的边界像素、平滑像素和噪声像素，因此，在对色度像素处理时不必进行判定步骤，直接对判定好的边界像素、平滑像素和噪声像素分别处理。
步骤S6进一步包括：
对强边界像素，采用下式处理：q1(x,y)＝h(x,y)+(J1+J2+···+Jn)/4，其中，(x,y)为像素的坐标，h(x,y)为像素的第一色度，n为滤波模板数量，J1、J2、···Jn为像素的第一色度分别与每个滤波模板对应的能量强度，q1(x,y)为强边界像素增强后的第一色度；
对弱边界像素，采用下式处理：q2(x,y)＝h(x,y)+1.2*(J1+J2+···+Jn)/4，其中，(x,y)为像素的坐标，h(x,y)为像素的第一色度，n为滤波模板数量，J1、J2、···Jn为像素的第一色度分别与每个滤波模板对应的能量强度，q2(x,y)为弱边界像素增强后的第一色度；
对平滑像素，利用直方图拉伸和直方图均衡化方法增强对比度。
对平滑像素，还可以采用直方图匹配或直方图规定化来处理。
当然，在对图像处理完成后，最后输出到显示Buffer中。
实施例二：
请参见图6，本发明提供了一种基于GPU的视频增强去噪装置，包括：
图像输入模块，用于将视频图像输入到GPU；
能量强度计算模块，用于获取所述视频图像中每个像素点的亮度，根据预设的滤波模板，计算每个像素点的亮度与所述滤波模板对应的能量强度；
判断模块，用于根据能量计算模块计算出的能量强度与预设的阈值，获取所述视频图像中的边界像素、平滑像素和噪声像素；
噪声处理模块，用于对所述噪声像素进行降噪处理；
图像增强模块，用于对所述边界像素、平滑像素进行增强处理。
进一步地，所述能量强度计算模块进一步包括：
亮度获取单元，用于获取所述视频图像中每个像素点的亮度；
模板设置单元，用于设置多个滤波模板，每个滤波模板包括N*M个单元，N、M为自然数；
计算单元，用于分别用每个滤波模板对所述视频图像中的N*M个像素进行扫描运算，得到每个像素与每个滤波模板对应的能量强度。
进一步地，所述判断模块进一步包括：
阈值设置单元，用于设置第一强度阈值H和第二强度阈值L；
判断单元，用于若目标像素的所有能量强度均小于所述第二强度阈值L，则判定该目标像素为平滑像素；
若目标像素的至少一个能量强度大于所述第一强度阈值H，且至少存在一个所述目标像素的周边像素点的一个能量强度大于所述第一强度阈值H，则判定所述目标像素为强边界像素；其中，周边像素点为与目标像素在预定的距离内的像素；
若目标像素的至少一个能量强度大于所述第二强度阈值L且小于所述第一强度阈值H，且至少存在一个所述目标像素的周边像素点的一个能量强度小于所述第二强度阈值L，则判定该目标像素为噪声像素；
若目标像素的至少一个能量强度大于所述第二强度阈值L且小于所述第一强度阈值H，且所述目标像素的周边像素点的能量强度均不小于所述第二强度阈值L，则判定该目标像素为弱边界像素。
进一步地，图像增强模块进一步包括：
强边界增强单元，用于对强边界像素，采用下式处理：p1(x,y)＝f(x,y)+(G1+G2+···+Gn)/4，其中，(x,y)为像素的坐标，f(x,y)为像素的亮度，n为滤波模板数量，G1、G2、···Gn为像素分别与每个滤波模板对应的能量强度，p1(x,y)为强边界像素增强后的亮度；
弱边界增强单元，用于对弱边界像素，采用下式处理：p2(x,y)＝f(x,y)+1.2*(G1+G2+···+Gn)/4，其中，(x,y)为像素的坐标，f(x,y)为像素的亮度，n为滤波模板数量，G1、G2、···Gn为像素分别与每个滤波模板对应的能量强度，p2(x,y)为弱边界像素增强后的亮度；
平滑增强单元，用于对平滑像素，利用直方图拉伸和直方图均衡化方法增强对比度。
进一步地，所述噪声处理模块对噪声像素进行降噪处理的方法为均值滤波方法。
进一步地，所述装置还包括色度增强模块，用于获取所述视频图像中每个像素点的色度值，根据每个像素点的色度值对所述视频图像中的边界像素、平滑像素进行增强处理，对所述视频图像中的噪声像素进行降噪处理。
实施本发明，具有如下有益效果：
(1)本发明克服了传统的视频增强算法在CPU端进行处理所带来的CPU运算压力大，处理速度慢的问题，对视频增强算法改进，使得该算法可以很好地运行在GPU上，充分利用GPU上富裕的运算能力和总线资源，有效地减轻了CPU的压力，采用多线程的GPU对视频图像进行增强和去噪运算能够有效提高图像处理速度。
(2)本发明采用多个滤波模板计算出像素多个方向的能量强度，并根据能量强度与预设的阈值找到所述视频图像中的边界像素、平滑像素和噪声像素，本发明分别设置了高强度阈值和第二强度阈值，通过给出的比较算法，能够准确地判定视频图像中的像素的类型，为后续图像处理提供了依据。
(3)本发明针对强边界像素、弱边界像素、平滑像素分别给出了判定标准和增强算法，使处理后的图像增强效果更佳；另外，本发明在图像增强的同时，对于噪声像素进行降噪处理，提高了图像降噪能力，解决了现有技术中增强图像遗留的画面颗粒感严重以及传统的去噪算法在消除噪声数据时带来的图像画质损失、边缘模糊问题，视频图像增强与降噪同时处理，得到更好的画质，从整体提高处理后的图像效果，从而提高用户体验。
(4)本发明根据判定的强边界像素、弱边界像素、平滑像素和噪声像素位置，对图像的色度进行相应的增强和去噪处理，使图像更加绚丽，从而增强画质和用户体验。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
Claims (8)
1.基于GPU的视频增强去噪方法，其特征在于，包括以下步骤：
S1、将视频图像输入到GPU；
S2、获取所述视频图像中每个像素点的亮度值，根据预设的滤波模板，计算每个像素点的亮度与所述滤波模板对应的能量强度；
S3、根据步骤S2计算出的能量强度与预设的阈值，获取所述视频图像中的边界像素、平滑像素和噪声像素；
S4、对所述噪声像素进行降噪处理；
S5、对所述边界像素、平滑像素进行增强处理；
步骤S3进一步包括以下步骤：
S301、设置第一强度阈值H和第二强度阈值L；
S302、若目标像素的所有能量强度均小于所述第二强度阈值L，则判定该目标像素为平滑像素；
若目标像素的至少一个能量强度大于所述第一强度阈值H，且至少存在一个所述目标像素的周边像素点的一个能量强度大于所述第一强度阈值H，则判定所述目标像素为强边界像素；其中，周边像素点为与目标像素在预定的距离内的像素；
若目标像素的至少一个能量强度大于所述第二强度阈值L且小于所述第一强度阈值H，且至少存在一个所述目标像素的周边像素点的一个能量强度小于所述第二强度阈值L，则判定该目标像素为噪声像素；
若目标像素的至少一个能量强度大于所述第二强度阈值L且小于所述第一强度阈值H，且所述目标像素的周边像素点的能量强度均不小于所述第二强度阈值L，则判定该目标像素为弱边界像素。
2.根据权利要求1所述的基于GPU的视频增强去噪方法，其特征在于，步骤S2进一步包括以下步骤：
S201、获取所述视频图像中每个像素点的亮度值；
S202、设置多个滤波模板，每个滤波模板包括N*M个单元，N、M为自然数；
S203、分别用每个滤波模板对所述视频图像中的N*M个像素进行扫描运算，得到每个像素与每个滤波模板对应的能量强度。
3.根据权利要求1所述的基于GPU的视频增强去噪方法，其特征在于，步骤S4中对噪声像素进行降噪处理的方法为均值滤波方法。
4.根据权利要求1所述的基于GPU的视频增强去噪方法，其特征在于，步骤S5进一步包括：
对强边界像素，采用下式处理：p1(x,y)＝f(x,y)+(G1+G2+···+Gn)/4，其中，(x,y)为像素的坐标，f(x,y)为像素的亮度，n为滤波模板数量，G1、G2、···Gn为像素分别与每个滤波模板对应的能量强度，p1(x,y)为强边界像素增强后的亮度值；
对弱边界像素，采用下式处理：p2(x,y)＝f(x,y)+1.2*(G1+G2+···+Gn)/4，其中，(x,y)为像素的坐标，f(x,y)为像素的亮度，n为滤波模板数量，G1、G2、···Gn为像素分别与每个滤波模板对应的能量强度，p2(x,y)为弱边界像素增强后的亮度值；
对平滑像素，利用直方图拉伸和直方图均衡化方法增强对比度。
5.根据权利要求1所述的基于GPU的视频增强去噪方法，其特征在于，步骤S5之后还包括：
S6、获取所述视频图像中每个像素点的色度值，根据每个像素点的色度值对所述视频图像中的边界像素、平滑像素进行增强处理，对所述视频图像中的噪声像素进行降噪处理。
6.基于GPU的视频增强去噪装置，其特征在于，包括：
图像输入模块，用于将视频图像输入到GPU；
能量强度计算模块，用于获取所述视频图像中每个像素点的亮度值，根据预设的滤波模板，计算每个像素点的亮度与所述滤波模板对应的能量强度；
判断模块，用于根据能量计算模块计算出的能量强度与预设的阈值，获取所述视频图像中的边界像素、平滑像素和噪声像素；
噪声处理模块，用于对所述噪声像素进行降噪处理；
图像增强模块，用于对所述边界像素、平滑像素进行增强处理；
所述判断模块进一步包括：
阈值设置单元，用于设置第一强度阈值H和第二强度阈值L；
判断单元，用于若目标像素的所有能量强度均小于所述第二强度阈值L，则判定该目标像素为平滑像素；
若目标像素的至少一个能量强度大于所述第一强度阈值H，且至少存在一个所述目标像素的周边像素点的一个能量强度大于所述第一强度阈值H，则判定所述目标像素为强边界像素；其中，周边像素点为与目标像素在预定的距离内的像素；
若目标像素的至少一个能量强度大于所述第二强度阈值L且小于所述第一强度阈值H，且至少存在一个所述目标像素的周边像素点的一个能量强度小于所述第二强度阈值L，则判定该目标像素为噪声像素；
若目标像素的至少一个能量强度大于所述第二强度阈值L且小于所述第一强度阈值H，且所述目标像素的周边像素点的能量强度均不小于所述第二强度阈值L，则判定该目标像素为弱边界像素。
7.根据权利要求6所述的基于GPU的视频增强去噪装置，其特征在于，所述能量强度计算模块进一步包括：
亮度获取单元，用于获取所述视频图像中每个像素点的亮度值；
模板设置单元，用于设置多个滤波模板，每个滤波模板包括N*M个单元，N、M为自然数；
计算单元，用于分别用每个滤波模板对所述视频图像中的N*M个像素进行扫描运算，得到每个像素与每个滤波模板对应的能量强度。
8.根据权利要求6所述的基于GPU的视频增强去噪装置，其特征在于，所述图像增强模块进一步包括：
强边界增强单元，用于对强边界像素，采用下式处理：p1(x,y)＝f(x,y)+(G1+G2+···+Gn)/4，其中，(x,y)为像素的坐标，f(x,y)为像素的亮度，n为滤波模板数量，G1、G2、···Gn为像素分别与每个滤波模板对应的能量强度，p1(x,y)为强边界像素增强后的亮度值；
弱边界增强单元，用于对弱边界像素，采用下式处理：p2(x,y)＝f(x,y)+1.2*(G1+G2+···+Gn)/4，其中，(x,y)为像素的坐标，f(x,y)为像素的亮度，n为滤波模板数量，G1、G2、···Gn为像素分别与每个滤波模板对应的能量强度，p2(x,y)为弱边界像素增强后的亮度值；
平滑增强单元，用于对平滑像素，利用直方图拉伸和直方图均衡化方法增强对比度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610143267.5A CN105791635B (zh) | 2016-03-14 | 2016-03-14 | 基于gpu的视频增强去噪方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610143267.5A CN105791635B (zh) | 2016-03-14 | 2016-03-14 | 基于gpu的视频增强去噪方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105791635A CN105791635A (zh) | 2016-07-20 |
| CN105791635B true CN105791635B (zh) | 2018-09-18 |
Family
ID=56393413
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610143267.5A Active CN105791635B (zh) | 2016-03-14 | 2016-03-14 | 基于gpu的视频增强去噪方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105791635B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108521575B (zh) * | 2018-04-06 | 2019-12-27 | 天津米步科技有限公司 | 图像噪声的降噪方法及装置 |
| WO2020009806A1 (en) * | 2018-07-05 | 2020-01-09 | Optimum Semiconductor Technologies Inc. | Object detection using multiple sensors and reduced complexity neural networks |
| CN109379628B (zh) | 2018-11-27 | 2021-02-02 | Oppo广东移动通信有限公司 | 视频处理方法、装置、电子设备及计算机可读介质 |
| CN111300061B (zh) * | 2020-02-20 | 2022-03-04 | 吉林建筑大学 | 一种热管生产装置、生产控制方法及计算机程序产品 |
| CN114066770A (zh) * | 2021-11-25 | 2022-02-18 | Oppo广东移动通信有限公司 | 视频处理方法及装置、计算机可读存储介质和电子设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN2838184Y (zh) * | 2005-10-19 | 2006-11-15 | 上海广电（集团）有限公司中央研究院 | 一种基于边界的直方图均衡装置 |
| CN104657941A (zh) * | 2013-11-25 | 2015-05-27 | 炬芯（珠海）科技有限公司 | 一种图像边缘自适应增强方法及装置 |
| CN105139343A (zh) * | 2014-05-30 | 2015-12-09 | 上海贝卓智能科技有限公司 | 一种图像处理方法、装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5067044B2 (ja) * | 2007-07-02 | 2012-11-07 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
| WO2009155130A1 (en) * | 2008-06-19 | 2009-12-23 | Marvell World Trade Ltd. | Split edge enhancement architecture |
-
2016
- 2016-03-14 CN CN201610143267.5A patent/CN105791635B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN2838184Y (zh) * | 2005-10-19 | 2006-11-15 | 上海广电（集团）有限公司中央研究院 | 一种基于边界的直方图均衡装置 |
| CN104657941A (zh) * | 2013-11-25 | 2015-05-27 | 炬芯（珠海）科技有限公司 | 一种图像边缘自适应增强方法及装置 |
| CN105139343A (zh) * | 2014-05-30 | 2015-12-09 | 上海贝卓智能科技有限公司 | 一种图像处理方法、装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105791635A (zh) | 2016-07-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105791635B (zh) | 基于gpu的视频增强去噪方法及装置 | |
| CN102800063B (zh) | 基于各向异性滤波的图像增强与抽象化方法 | |
| Yang et al. | Research and analysis of Image edge detection algorithm Based on the MATLAB | |
| CN104732490A (zh) | 基于cuda的快速双边滤波方法 | |
| CN111539238B (zh) | 二维码图像修复方法、装置、计算机设备和存储介质 | |
| Ganga et al. | Survey of texture based image processing and analysis with differential fractional calculus methods | |
| Abubakar | Image enhancement using histogram equalization and spatial filtering | |
| CN110866872A (zh) | 一种路面裂缝图片预处理智能选择方法、装置及电子设备 | |
| CN111489319A (zh) | 基于多尺度双边滤波和视觉显著性的红外图像增强方法 | |
| CN107844803A (zh) | 一种图片比对的方法和装置 | |
| CN103914677A (zh) | 一种动作识别方法及装置 | |
| CN106934815A (zh) | 基于混合区域的活动轮廓模型图像分割方法 | |
| CN113096231B (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| CN104200438A (zh) | 红外图像多级细节增强处理方法及其处理装置 | |
| Song et al. | Unsharp masking image enhancement the parallel algorithm based on cross-platform | |
| Miah et al. | Developing Riemann–Liouville-Fractional Masks for Image Enhancement | |
| CN107945186A (zh) | 分割图像的方法、装置、计算机可读存储介质和终端设备 | |
| CN114998282B (zh) | 图像检测方法、装置、电子设备及存储介质 | |
| CN111311610A (zh) | 图像分割的方法及终端设备 | |
| Ullah et al. | Experimental and numerical research of paved microcrack using histogram equalization for detection and segmentation | |
| CN112465028B (zh) | 一种感知视觉安全评估方法及系统 | |
| CN115294148A (zh) | 基于分水岭算法的颗粒物粒径分析方法、装置和存储介质 | |
| Xu et al. | CRetinex: A Progressive Color-Shift Aware Retinex Model for Low-Light Image Enhancement | |
| KR20210026176A (ko) | 딥 러닝을 위한 라벨링 이미지 생성 방법 | |
| CN116993637B (zh) | 用于车道线检测的图像数据处理方法、装置、设备和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20200518 Address after: 310052 room 508, floor 5, building 4, No. 699, Wangshang Road, Changhe street, Binjiang District, Hangzhou City, Zhejiang Province Patentee after: Alibaba (China) Co.,Ltd. Address before: 100029, B, 6 floor, World Trade Center, No. 36 East Third Ring Road, Dongcheng District, Beijing Patentee before: CHUANXIAN NETWORK TECHNOLOGY (SHANGHAI) Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240624 Address after: 101400 Room 201, 9 Fengxiang East Street, Yangsong Town, Huairou District, Beijing Patentee after: Youku Culture Technology (Beijing) Co.,Ltd. Country or region after: China Address before: 310052 room 508, 5th floor, building 4, No. 699 Wangshang Road, Changhe street, Binjiang District, Hangzhou City, Zhejiang Province Patentee before: Alibaba (China) Co.,Ltd. Country or region before: China |
|
| TR01 | Transfer of patent right |