CN109345490A - 一种移动播放端实时视频画质增强方法及系统 - Google Patents
一种移动播放端实时视频画质增强方法及系统 Download PDFInfo
- Publication number
- CN109345490A CN109345490A CN201811382363.0A CN201811382363A CN109345490A CN 109345490 A CN109345490 A CN 109345490A CN 201811382363 A CN201811382363 A CN 201811382363A CN 109345490 A CN109345490 A CN 109345490A
- Authority
- CN
- China
- Prior art keywords
- image
- pixel
- luma
- data
- adjusted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 230000002708 enhancing effect Effects 0.000 claims abstract description 62
- 238000012545 processing Methods 0.000 claims abstract description 24
- 239000011159 matrix material Substances 0.000 claims description 14
- 239000000203 mixture Substances 0.000 claims description 14
- 241000023320 Luma <angiosperm> Species 0.000 claims description 10
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 5
- 238000009415 formwork Methods 0.000 claims description 4
- 238000009416 shuttering Methods 0.000 claims description 4
- 239000013598 vector Substances 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 2
- 238000013316 zoning Methods 0.000 claims description 2
- 230000003014 reinforcing effect Effects 0.000 abstract description 11
- 230000007547 defect Effects 0.000 abstract description 8
- 230000006870 function Effects 0.000 description 10
- 230000000694 effects Effects 0.000 description 9
- 230000011218 segmentation Effects 0.000 description 7
- 230000033001 locomotion Effects 0.000 description 6
- 230000003321 amplification Effects 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 2
- 230000033228 biological regulation Effects 0.000 description 2
- 230000000149 penetrating effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 206010037660 Pyrexia Diseases 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Picture Signal Circuits (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
本发明公开了一种移动播放端实时视频画质增强方法及系统，解码视频流数据，得到RGB图像数据；对RGB图像数据进行图像分区，将图像分成四类区域：边缘区域且在保护区域内、非边缘区域且在保护区域内、边缘区域且在非保护区域内、非边缘区域且在非保护区域内，分别标记为P1、P2、P3、P4；对P1、P2、P3、P4采用不同的尺度进行细节增强处理，得到增强后的图像；对增强后的图像进行对比度调整，得到调整后的图像；对调整后的图像进行亮度调整，得到亮度调整后的图像。本发明综合考虑了多种因素对图像进行增强，在增强视频图像的同时，尽量避免对图像中画质缺陷放大，保护人眼的兴趣区域，达到了较好的图像画质增强效果。
Description
技术领域
本发明涉及播放器产品，特别是一种移动播放端实时视频画质增强方法及系统。
背景技术
随着手机等移动终端的普及，人们越来越习惯用手机等移动终端观看网络视频。人们观看视频时，视频画质主要受到下面的因素影响：1.受视频拍摄质量和后期制作的因素影响，其中包括拍摄器材的因素、拍摄环境的因素、有损的后期剪辑等；2.网络视频服务商会将原始视频(指只经拍摄和后期处理后的视频)转码成不同码率供用户选择，转码过程会对视频进行有损压缩，转码后的视频质量相比原始视频会有下降。
为了改进视频图象的质量，提升用户的播放观看体验，在播放端会对视频图像进行图像增强处理，常见的图像增强处理包括对比度调整、色彩调整、滤波、饱和度调整、细节增强、边缘增强等操作。在实际的增强处理中通常会综合上述多种算法，以达到更好的增强效果。但是图像增强算法都比较耗时，综合多种算法后，增强处理的实时性很难保证。
增强技术在对细节增强和对图像通透度上增加的同时，也会将图像本来的的画质缺陷放大。而当这种画质缺陷如果是出现在人眼敏感区域(比如字幕区域)，放大后会加重观看的不适感。
通常的增强算法都是放在服务器端，处理器的性能都比较好，容易满足实时性的要求，而手机等移动终端，处理器性能比较差，如何实时完成增强和播放是一个难题。
现有技术研究情况：
(1)CN 102811354 B，一种视频画质增强播放方法及点播终端。该方法属于一致性增强方法，即对整帧图像采用相同的增强方案，没有考虑增强带来的不利影响。处理流程包括RGB颜色增强、亮度信号Y的伽马校正、锐化处理，其中特别指出当分辨率小于1280*720时，才对视频帧进行画质增强。
(2)CN 106412383 A，视频图像的处理方法和装置。该图像增强方法，考虑了图像的亮度因素，当图像亮度小于预设亮度值才进行增强处理，其增强处理包括亮度增强、双边滤波降噪，主要目的是降噪，以及如何消除亮度增强对噪声的放大。该方案主要侧重于亮度因素上的考量，因素比较单一，无法达到比较好的图像质量增强效果。
(3)CN 106550244 A，视频图像的画质增强方法及装置。该方法采用多尺度增强方式，预先为不同类型的图像区域设置不同的增强尺度，使用时需要实时的识别图像中包含的预设类型区域(马赛克区域、直线边缘、人脸型区域)，增强时对不同预设类型区域的高频信息进行相应的预设尺度增强，最终将增强后的高频信息与相应低频信息叠加得到增强后图像。该方法需要检测预设类型区域，算法复杂度比较高，实时处理的难度比较大，同时增强的时候只考虑了高频信息(细节)，单一因素，增强效果相比多因素增强的综合方案要差。
(4)CN 105407296 A，实时视频增强方法和装置。该方法通过获取当前帧的平均亮度，判断平均亮度是否小于预设亮度阈值，决定是否需要增强。根据当前帧的平均亮度得到第一增强曲线，根据兴趣区域得到局部增强曲线，由局部增强曲线和第一增强曲线得到第二增强曲线，运用第二增强曲线对当前帧进行增强。该方法在增强的时候考虑了兴趣区域，但在增强效果上，只考虑了亮度这一因素，相比多因素增强的方案效果要差。
(5)CN 104202604 B，视频增强的方法和装置。该方法通过对当前帧确定反映运动状态或明暗信息的属性信息，以此来查找预设的映射关系，得到对应的增强强度控制参数，以所述控制参数对当前帧执行视频增强操作。该方法通过运动状态或者明暗信息，依此来确定不同帧，以及同一帧中的不同区域的增强强度。该方法中，采用运动状态对视频区域分类，运动状态这一因素不能和视频主观上有强的相关性，即不能根据运动的强弱判断是否应该用强的增强参数还是弱的增强参数。
(6)CN 102811353 B，提升视频图像清晰度的方法及系统。该方法对视频图像进行清晰度增强时，对YUV数据，利用高斯矩阵作为像素点的权重值，对每个像素点四周的预设个数的其他像素点进行纹理增强处理，以获得每个像素点进行纹理增强后的像素值，该方法不足是，对视频图像全局进行同一强度的纹理增强，没有考虑到视频图像自身的纹理信息，容易放大图像的缺陷(如噪声等)，增强后的图像连续播放时会有明显的闪烁现象。
(7)CN 104166967 B，提升视频图像清晰度的方法。该方法通过判断图像的分辨率和显示设备的分辨率，确定是否需要对图像进行插值，当图像分辨率小于显示设备的分辨率时进行插值处理。然后对图像进行纹理增强，纹理增强的时候通过sobel算子计算纹理强度，通过纹理强度来控制纹理增强的强度，最后修改视频图像的灰度直方图，增强图像的对比度。该方案的缺点，计算出的纹理强度仅能反映纹理的强弱，不能区分图像中的噪声，更不能反映人的主观关注点，所以既不能达到好的增强效果，也不能很好的保护图像的缺陷不被放大。
(8)CN 103281544 B，图像和视频的亮度、颜色和对比度的联合增强。该方案提供一种方法，可以一次性执行亮度、颜色和对比度增强视频处理。该方案的缺点是采用的是一致性增强的方法，无法避免会放大图像的缺陷，增强的同时带来了观看的不适感。
(9)CN 105488793 A，图像显示方法以及图像处理方法。该方法通过在图像的大尺度边缘处适当的增大边缘台阶如边缘亮度台阶，得到相对锐利的边缘轮廓，增加图像感知深度，进而提高显示图像的人眼感知对比度。该方法的缺点，只对图像中的大边缘进行增强，图像中很多细节并不能得到很好的增强，考虑的因素比较单一，难以达到很好的增强效果。
(10)CN 105744118 A，一种给予视频帧自适应的视频增强方法及应用其的视频增强系统。该方法通过视频帧的亮度直方图，自适应的调整对比度增强参数和饱和度调整参数。该方法的缺点，对比度的调整只能提升图像的通透度，饱和度的调整改变的是图像颜色，都不能提升图像细节，增强效果不够好。
(11)CN 102377913 B，一种对比度实时调节的方法。该方法可以实时的调节图像的对比度，缺点是考虑的因素单一，无法达到比较好的增强效果。
(12)CN 108259873 A，一种梯度域视频对比度增强方法。该方法采用梯度域增强方法逐帧增强待处理视频，同时利用视频相邻帧之间的低频分量关联特性，对梯度增强的视频帧进行滤波，克服视频增强导致的闪烁问题。该方法考虑的视频增强因素比较单一，无法达到比较好的增强效果。
(13)CN 105678717 A，动态视频图像清晰度强化方法及装置。该方法对当前YUV数据进行归一化处理，计算归一化后的Y分量的邻域模糊数据和纹理数据，使用Y分量的邻域模糊数据和纹理数据进行锐化增强，最后对锐化后的Y分量进行整体对比度调整，再将调整后的Y分量和当前像素的UV分量转化为RGB。该方案考虑了图像增强的多个因素，缺点是，增强的同时，会对图像缺陷放大，采用的是一致性增强方案。
由此可见，图像增强技术领域虽然研究比较多，提出的方案也很多。但是现有的方案都或多或少存在一些缺点，要么是采用的单一因素图像增强，增强效果不够理想；要么是采用一致性增强的方案，增强后容易带来观看的不适感；要么采用复杂的图像内容识别，不利于工程实现和实时处理。另外，现有方案大多适用于CPU通用处理器，直接用在移动终端上难以达到好的效果。
发明内容
本发明所要解决的技术问题是，针对现有技术不足，提供一种移动播放端实时视频画质增强方法及系统，综合考虑多种因素(对比度、亮度、锐化等)对图像进行增强，在增强视频图像的同时，尽量避免对图像中画质缺陷放大，保护人眼的兴趣区域，达到较好的图像画质增强效果。
为解决上述技术问题，本发明所采用的技术方案是：一种移动播放端实时视频画质增强方法，其特征在于，包括以下步骤：
1)解码视频流数据，得到RGB图像数据；
2)对RGB图像数据进行图像分区，将图像分成四类区域：边缘区域且在保护区域内、非边缘区域且在保护区域内、边缘区域且在非保护区域内、非边缘区域且在非保护区域内，分别标记为P1、P2、P3、P4；
3)对P1、P2、P3、P4采用不同的尺度进行细节增强处理，得到增强后的图像；
4)对增强后的图像进行对比度调整，得到调整后的图像；
5)对调整后的图像进行亮度调整，得到亮度调整后的图像。
步骤1)的具体实现过程包括：
1)解码视频流数据，将解码后的图像数据存储在图形处理器GPU访问的纹理缓存中；
2)将解码后的图像数据绑定到图像处理器GPU中着色器处理的纹理上，若解码出来的数据是YUV格式，则将YUV格式的图像数据转换到RGB格式的图像数据，转换公式为：
步骤2)的具体实现过程包括：
1)预先设置保护区域，将图像分成保护区域和非保护区域；
2)求取亮度矩阵Luma：
3)将亮度矩阵中的一个像素点，作为待增强的像素点，以该待增强像素点为中心，取大小为3x3像素大小的图像块，将该图像块与sobel算子模板进行卷积运算，sobel算子模板包括水平模板Gx和垂直模板Gy，具体模板如下：
4)计算待增强像素的梯度值，公式如下：
5)根据预设的梯度阈值Thm区分边缘区域和非边缘区域，具体操作是：如果G＞Thm，判定为边缘区域像素；否则，判定为非边缘区域像素，从而将图像分成四类区域：边缘区域且在保护区域内、非边缘区域且在保护区域内、边缘区域且在非保护区域内、非边缘区域且在非保护区域内，分别标记为P1、P2、P3、P4；m取值为0或者1，其中0表示保护区域，1表示非保护区域。
步骤3)的具体实现过程包括：
1)以当前待增强像素点为中心，选取邻域的N×N个像素，选取归一化后的N×N的高斯滤波模板，将邻域像素和高斯滤波模板做卷积，得到模糊数据Psum；其中N为奇数，且N大于1；所述模糊数据Psum包含R、G、B三个分量；
2)将当前待增强的像素点Porg与模糊数据Psum相减，得到细节数据Pdiff；计算公式如下：Pdiff＝Porg-Psum；
3)对当前待增强的像素进行细节增强处理，得到增强后的像素Pfix1：Pfix1＝Porg+Ratiow*(1.0-0.5*sign(Pdiff))*Pdiff；其中，Ratiow取值范围[0.0，20.0]，w取值为1,2,3,4之一；sign(x)是符号函数；
4)将细节增强后的Pfix1进行对比度调整，调整之后得到像素Pfix2：Pfix2＝Pfix1+(Pluma2-Pluma)；其中，Pluma＝Vec3(Luma,Luma,Luma)，Vec3表示3维浮点数向量；Pluma2＝mix(vec3(0.5,0.5,0.5),Pluma,Cratiow)，mix函数是GLSL中的内置函数；Cratiow取值范围为[0.0，2.0]；
5)将对比度调整后得到的像素值Pfix2进行亮度调整，得到调整后的像素值Pfix3：Pfix3＝mix(vec3(0.0,0.0,0.0),Pfix2,Lratio)；Lratio是预设的亮度调整系数。
相应地，本发明还提供了一种移动播放端实时视频画质增强系统，包括：
解码数据获取模块，用于解码视频流数据，得到RGB图像数据；
图像增强模块，用于对RGB图像数据进行图像分区，将图像分成四类区域：边缘区域且在保护区域内、非边缘区域且在保护区域内、边缘区域且在非保护区域内、非边缘区域且在非保护区域内，分别标记为P1、P2、P3、P4；对P1、P2、P3、P4采用不同的尺度进行细节增强处理，得到增强后的图像；对增强后的图像进行对比度调整，得到调整后的图像；对调整后的图像进行亮度调整，得到亮度调整后的图像。
还包括数据输出模块，用于输出亮度调整后的图像。
所述图像增强模块包括：
分区单元，用于对RGB图像数据进行图像分区，将图像分成四类区域：边缘区域且在保护区域内、非边缘区域且在保护区域内、边缘区域且在非保护区域内、非边缘区域且在非保护区域内，分别标记为P1、P2、P3、P4；
增强单元，用于对P1、P2、P3、P4采用不同的尺度进行细节增强处理，得到增强后的图像；
对比度调整单元，用于对增强后的图像进行对比度调整，得到调整后的图像；
亮度调整单元，用于对调整后的图像进行亮度调整，得到亮度调整后的图像。
与现有技术相比，本发明所具有的有益效果为：本发明综合考虑了多种因素(对比度、亮度、锐化等)对图像进行增强，在增强视频图像的同时，尽量避免对图像中画质缺陷放大，保护人眼的兴趣区域，达到了较好的图像画质增强效果；实时性好，能在播放端实时的完成视频图像增强功能，利用GPU处理，基本不增加CPU的占用率，不会带来播放卡顿和手机发热的不利影响；兼容性较好，常见的有GPU处理器并且操作系统版本支持的移动端(包括安卓和IOS系统)都能实施；
附图说明
图1本发明整体处理流程图；
图2本发明解码数据获取模块；
图3本发明播放端GPU图像增强流程；
图4传统的CPU图像增强流程；
图5基于GPU的图像增强流程；
图6为本发明实验效果图；左侧为增强前的图片，右侧为增强后的效果图。
具体实施方式
本发明主要流程如图1，包括解码数据获取模块、图像增强模块和数据输出模块。
解码数据获取模块(图2)，包括以下步骤：
(1)对视频码流数据进行解码，解码方式不做约定，可以是硬解码也可以是软解码；
(2)将解码后的图像数据存储在图形处理器GPU访问的纹理缓存中；
(3)将解码后的图像数据绑定到图像处理器GPU中着色器处理的纹理上，解码出来的数据通常是YUV格式，需要根据解码的方式及流程选择是否需要显示进行YUV格式到RGB格式的转换，显式格式转换(需要自己在着色器中去实现)执行步骤(4)，隐式格式转换(自动完成YUV到RGB的转换)走步骤(5)。
(4)根据格式转换公式，将YUV格式转换成RGB格式；使用的转换公式如下：
(5)数据格式已经是RGB格式，不需要做格式转换，执行后续的图像增强处理。需要说明的是，解码后的数据作为纹理交由图形处理器GPU，用于OpenGLES的着色器处理，所有的数据已经归一化为[0.0,1.0]。
图像增强模块(图3)，具体步骤如下：
(1)对RGB图像数据进行图像分区，图像分区包括图像粗分区和图像精细分区两个过程。
a.图像粗分区，用户可以预先设置保护区域，将图像分成保护区域和非保护区域。保护区域是指图像中的n个矩形区域(n≥1)(比如字幕区域、logo区域等)，用户可通过设置每个矩形左上角顶点TopLeftn(x,y)和右下角顶点DownRightn(x,y)确定保护区域位置。非保护区域是指图像中除保护区域之外的其他区域。
b.图像精细分区，在图像粗分区(分为保护区域和非保护区域)的基础上，对图像进行精细分区，分为边缘区域和非边缘区域。步骤如下：
b1.求取亮度矩阵Luma，求取的公式如下：
b2.在亮度矩阵中，将亮度矩阵中的一个像素点，作为待增强的像素点，以该待增强像素点为中心，取大小为3x3像素大小的图像块，将该图像块与sobel算子模板进行卷积运算，sobel算子模板包括水平模板Gx和垂直模板Gy，具体模板如下：
b3.计算待增强像素的梯度值，公式如下：
b4.根据预设的梯度阈值Thm(m取值为0或者1，其中0表示保护区域，1表示非保护区域)，Thm取值范围为[0.0，1.0]，用于区分边缘区域和非边缘区域，具体操作是：如果G＞Thm，判定为边缘区域像素；否则，判定为非边缘区域像素。
c.经过图像粗分区和图像精细分区后，将图像分成四类区域：边缘区域且在保护区域内、非边缘区域且在保护区域内、边缘区域且在非保护区域内、非边缘区域且在非保护区域内，分别标记为P1、P2、P3、P4。
(2)RGB图像细节增强处理，针对上述的四类区域(P1、P2、P3、P4)采用不同的尺度进行细节增强处理。具体步骤如下：
a.以当前待增强像素点为中心，选取邻域的N×N(其中N为奇数，且大于1)个像素，选取归一化后的N×N的高斯滤波模板，将邻域像素和高斯滤波模板做卷积，得到模糊数据Psum(包含R、G、B三个分量)。
b.求取细节数据。将当前待增强的像素点Porg与上述得到的模糊数据Psum相减，得到细节数据Pdiff。计算公式如下：
Pdiff＝Porg-Psum
c.细节增强处理。对当前待增强的像素进行细节增强处理，得到增强后的像素Pfix1。公式如下，其中Ratiow(w取值为1,2,3,4之一)，取值范围[0.0，20.0]，根据不同的图像分区可以预设不同的强度。
Pfix1＝Porg+Ratiow*(1.0-0.5*sign(Pdiff))*Pdiff
其中，sign(x)是符号函数，其功能是取某个数的符号，当x＞0,sign(x)＝1，当x＜0,sign(x)＝-1，当x＝0,sign(x)＝0。
(3)图像对比度调整。将细节增强后的Pfix1进行对比度调整，调整之后得到像素Pfix2(包含R、G、B三个分量)。具体步骤如下：
a.获取当前待增强像素的亮度值Luma(步骤(1)中已经求取过亮度矩阵，单一分量)，并扩展成RGB三分量的像素点Pluma。公式如下：
Pluma＝Vec3(Luma,Luma,Luma)
注：Vec3是GLSL(OpenGLES中Shading Language，Shading Language是用来在OpenGLES中给着色器编程的语言)中的数据类型，表示3维浮点数向量。
b.对像素点Pluma进行对比度调整，调整后得到像素点Pluma2，公式如下，其中Cratiow(w取值为1,2,3,4之一)是预设调整系数，取值范围[0.0，2.0]，可以根据不同的图像分区可以预设不同的强度：
Pluma2＝mix(vec3(0.5,0.5,0.5),Pluma,Cratiow)
注：mix函数是GLSL中的内置函数，mix(a,b,t)＝a*(1-t)+b*t。
c.计算对比度调整之后的像素值Pfix2，计算公式如下：
Pfix2＝Pfix1+(Pluma2-Pluma)
(4)图像亮度调整。将对比度调整后得到的像素值Pfix2进行亮度调整，得到调整后的像素值Pfix3。计算公式如下，其中Lratio是预设的亮度调整系数，取值范围[0.0，2.0]：
Pfix3＝mix(vec3(0.0,0.0,0.0),Pfix2,Lratio)
数据输出模块。用于将增强后的图像输出显示。
为了更好的描述整个过程，假定该方案是在Android手机(系统版本大于4.0)，视频解码采用硬解码的方式，硬解码采用解码到surface这种方式。
本发明示例提供了一种在移动播放端实时视频画质增强的方案，该方案综合考虑了画质增强的多个因素，可以达到比较好的增强效果，同时通过对待增强图像进行分区，有效避免了增强带来的负面效果，保护了兴趣区域的画质。另外，本方案借助移动端的图形处理器GPU，采用OpenGLES图形编程接口，在着色器中完成图像增强的过程，可以实时的实现视频图像增强，且基本不会额外增加CPU的性能消耗。
本发明实示例中的移动播放端视频画质增强方法的步骤如下：
(1)在创建解码器的时候将surface设置给硬解码器，获取包含解码之后的解码数据的纹理；
(2)将解码图像纹理绑定到扩展纹理GL_TEXTURE_EXTERNAL_OES上(该扩展纹理实现了YUV到RGB的自动转化)，用于OpenGLES处理过程中片段着色器处理，纹理的数据格式是RGB格式，并且所有的数据已经归一化为[0.0,1.0]。
(3)对图像进行粗分区，用户预先设置保护区域，将图像分成保护区域和非保护区域。保护区域是指图像中的n个矩形区域(n≥1)(比如字幕区域、logo区域等，字幕区域通常位于视频的下面区域)，用户可通过设置每个矩形左上角顶点TopLeftn(x,y)和右下角顶点DownRightn(x,y)确定保护区域位置。非保护区域是指图像中除保护区域之外的其他区域。
(4)图像精细分区，在图像粗分区(分为保护区域和非保护区域)的基础上，对图像进行精细分区，分为边缘区域和非边缘区域。包含如下步骤：
1)求取亮度矩阵Luma，求取的公式如下：
2)在亮度矩阵中，将亮度矩阵中的一个像素点，作为待增强的像素点，以该待增强像素点为中心，取大小为3x3像素大小的图像块，将该图像块与sobel算子模板进行卷积运算，sobel算子模板包括水平模板Gx和垂直模板Gy，具体模板如下：
3)计算待增强像素的梯度值，公式如下：
4)根据预设的梯度阈值Thm(m取值为0或者1，其中0表示保护区域，1表示非保护区域)，Thm取值范围为[0.0，1.0]，用于区分边缘区域和非边缘区域，具体操作是：如果G＞Thm，判定为边缘区域像素；否则，判定为非边缘区域像素。
5)经过图像粗分区和图像精细分区后，将图像分为四类区域：边缘区域且在保护区域内、非边缘区域且在保护区域内、边缘区域且在非保护区域内、非边缘区域且在非保护区域内，分别标记为P1、P2、P3、P4。
(5)RGB图像细节增强处理，针对上述的四类区域(P1、P2、P3、P4)采用不同的尺度进行细节增强处理。具体步骤如下：
1)以当前待增强像素点为中心，选取邻域的N×N(其中N为奇数，且大于1)个像素，选取归一化后的N×N的高斯滤波模板，将邻域像素和高斯滤波模板做卷积，得到模糊数据Psum(包含R、G、B三个分量)。
2)求取细节数据。将当前待增强的像素点Porg与上述得到的模糊数据Psum相减，得到细节数据Pdiff。计算公式如下：
Pdiff＝Porg-Psum
3)细节增强处理。对当前待增强的像素进行细节增强处理，得到增强后的像素Pfix1。公式如下，其中Ratiow(w取值为1,2,3,4之一)，取值范围[0.0，20.0]，根据不同的图像分区可以预设不同的强度。
Pfix1＝Porg+Ratiow*(1.0-0.5*sign(Pdiff))*Pdiff
(6)图像对比度调整。将细节增强后的Pfix1进行对比度调整，调整之后得到像素Pfix2。具体步骤如下：
1)获取当前待增强像素的亮度值Luma(步骤(1)中已经求取过亮度矩阵)，并扩展成RGB三分量的像素点Pluma。公式如下：
Pluma＝Vec3(Luma,Luma,Luma)
注：Vec3是GLSL(OpenGLES中Shading Language，Shading Language是用来在OpenGLES中给着色器编程的语言)中的数据类型，表示3维浮点数向量。
2)对像素点Pluma进行对比度调整，调整后得到像素点Pluma2，公式如下，其中Cratiow(w取值为1,2,3,4之一)是预设调整系数，取值范围[0.0，2.0]，可以根据不同的图像分区可以预设不同的强度：
Pluma2＝mix(vec3(0.5,0.5,0.5),Pluma,Cratiow)
注：mix函数是GLSL中的内置函数，mix(a,b,t)＝a*(1-t)+b*t。
3)计算对比度调整之后的像素值Pfix2，计算公式如下：
Pfix2＝Pfix1+(Pluma2-Pluma)
(7)图像亮度调整。将对比度调整后得到的像素值Pfix2进行亮度调整，得到调整后的像素值Pfix3。计算公式如下，其中Lratio是预设的亮度调整系数，取值范围[0.0，2.0]：
Pfix3＝mix(vec3(0.0,0.0,0.0),Pfix2,Lratio)
(8)将增强后的图像输出显示。增强后的图像数据存储在帧缓冲区中的后缓冲区中，当执行后缓冲区切换成前缓冲区时，增强后的图像就可以显示出来。
Claims (8)
1.一种移动播放端实时视频画质增强方法，其特征在于，包括以下步骤：
1)解码视频流数据，得到RGB图像数据；
2)对RGB图像数据进行图像分区，将图像分成四类区域：边缘区域且在保护区域内、非边缘区域且在保护区域内、边缘区域且在非保护区域内、非边缘区域且在非保护区域内，分别标记为P1、P2、P3、P4；
3)对P1、P2、P3、P4采用不同的尺度进行细节增强处理，得到增强后的图像；
4)对增强后的图像进行对比度调整，得到调整后的图像；
5)对调整后的图像进行亮度调整，得到亮度调整后的图像。
2.根据权利要求1所述的移动播放端实时视频画质增强方法，其特征在于，步骤1)的具体实现过程包括：
1)解码视频流数据，将解码后的图像数据存储在图形处理器GPU访问的纹理缓存中；
2)将解码后的图像数据绑定到图像处理器GPU中着色器处理的纹理上，若解码出来的数据是YUV格式，则将YUV格式的图像数据转换到RGB格式的图像数据，转换公式为：
3.根据权利要求1所述的移动播放端实时视频画质增强方法，其特征在于，步骤2)的具体实现过程包括：
1)预先设置保护区域，将图像分成保护区域和非保护区域；
2)求取亮度矩阵Luma：
3)将亮度矩阵中的一个像素点，作为待增强的像素点，以该待增强像素点为中心，取大小为3x3像素大小的图像块，将该图像块与sobel算子模板进行卷积运算，sobel算子模板包括水平模板Gx和垂直模板Gy，具体模板如下：
4)计算待增强像素的梯度值，公式如下：
5)根据预设的梯度阈值Thm区分边缘区域和非边缘区域，具体操作是：如果G＞Thm，判定为边缘区域像素；否则，判定为非边缘区域像素，从而将图像分成四类区域：边缘区域且在保护区域内、非边缘区域且在保护区域内、边缘区域且在非保护区域内、非边缘区域且在非保护区域内，分别标记为P1、P2、P3、P4；m取值为0或者1，其中0表示保护区域，1表示非保护区域。
4.根据权利要求3所述的移动播放端实时视频画质增强方法，其特征在于，Thm取值范围为[0.0，1.0]。
5.根据权利要求1所述的移动播放端实时视频画质增强方法，其特征在于，步骤3)的具体实现过程包括：
1)以当前待增强像素点为中心，选取邻域的N×N个像素，选取归一化后的N×N的高斯滤波模板，将邻域像素和高斯滤波模板做卷积，得到模糊数据Psum；其中N为奇数，且N大于1；所述模糊数据Psum包含R、G、B三个分量；
2)将当前待增强的像素点Porg与模糊数据Psum相减，得到细节数据Pdiff；计算公式如下：Pdiff＝Porg-Psum；
3)对当前待增强的像素进行细节增强处理，得到增强后的像素Pfix1：Pfix1＝Porg+Ratiow*(1.0-0.5*sign(Pdiff))*Pdiff；其中，Ratiow取值范围[0.0，20.0]，w取值为1,2,3,4之一；sign(x)是符号函数；
4)将细节增强后的Pfix1进行对比度调整，调整之后得到像素Pfix2：Pfix2＝Pfix1+(Pluma2-Pluma)；其中，Pluma＝Vec3(Luma,Luma,Luma)，Vec3表示3维浮点数向量；Pluma2＝mix(vec3(0.5,0.5,0.5),Pluma,Cratiow)，mix函数是GLSL中的内置函数；Cratiow取值范围为[0.0，2.0]；或者，将luma划分成i个子区间，即xi≤luma≤xi+1在,每个子区间中按如下公式计算Pluma2：Pluma2＝Vec3(Lumafix,Lumafix,Lumafix)，Lumafix＝ai+bi*(Luma-xi)+ci*(luma-xi)2+di*(luma-xi)3，其中ai、bi、ci、di是三次样条曲线的系数，根据预设的调整数据节点(xi,yi)，通过求解矩阵方程求得，其中yi是亮度值xi调整后的映射值；
5)将对比度调整后得到的像素值Pfix2进行亮度调整，得到调整后的像素值Pfix3：Pfix3＝mix(vec3(0.0,0.0,0.0),Pfix2,Lratio)；Lratio是预设的亮度调整系数。
6.一种移动播放端实时视频画质增强系统，其特征在于，包括：
解码数据获取模块，用于解码视频流数据，得到RGB图像数据；
图像增强模块，用于对RGB图像数据进行图像分区，将图像分成四类区域：边缘区域且在保护区域内、非边缘区域且在保护区域内、边缘区域且在非保护区域内、非边缘区域且在非保护区域内，分别标记为P1、P2、P3、P4；对P1、P2、P3、P4采用不同的尺度进行细节增强处理，得到增强后的图像；对增强后的图像进行对比度调整，得到调整后的图像；对调整后的图像进行亮度调整，得到亮度调整后的图像。
7.根据权利要求6所述的移动播放端实时视频画质增强系统，其特征在于，还包括数据输出模块，用于输出亮度调整后的图像。
8.根据权利要求6所述的移动播放端实时视频画质增强系统，其特征在于，所述图像增强模块包括：
分区单元，用于对RGB图像数据进行图像分区，将图像分成四类区域：边缘区域且在保护区域内、非边缘区域且在保护区域内、边缘区域且在非保护区域内、非边缘区域且在非保护区域内，分别标记为P1、P2、P3、P4；
增强单元，用于对P1、P2、P3、P4采用不同的尺度进行细节增强处理，得到增强后的图像；
对比度调整单元，用于对增强后的图像进行对比度调整，得到调整后的图像；
亮度调整单元，用于对调整后的图像进行亮度调整，得到亮度调整后的图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811382363.0A CN109345490B (zh) | 2018-11-20 | 2018-11-20 | 一种移动播放端实时视频画质增强方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811382363.0A CN109345490B (zh) | 2018-11-20 | 2018-11-20 | 一种移动播放端实时视频画质增强方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109345490A true CN109345490A (zh) | 2019-02-15 |
| CN109345490B CN109345490B (zh) | 2021-09-21 |
Family
ID=65316529
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811382363.0A Active CN109345490B (zh) | 2018-11-20 | 2018-11-20 | 一种移动播放端实时视频画质增强方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109345490B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110246093A (zh) * | 2019-05-05 | 2019-09-17 | 北京大学 | 一种解码图像增强方法 |
| CN110751600A (zh) * | 2019-09-03 | 2020-02-04 | 哈尔滨新光光电科技股份有限公司 | 一种小型化cameralink数字采集装置及系统 |
| CN111231667A (zh) * | 2019-03-22 | 2020-06-05 | 泰州三凯工程技术有限公司 | 可靠型安全行驶控制方法 |
| CN112929690A (zh) * | 2021-01-22 | 2021-06-08 | 中国人民解放军32181部队 | 一种视频分数阶微分算子增强系统及其实现方法 |
| CN116612122A (zh) * | 2023-07-20 | 2023-08-18 | 湖南快乐阳光互动娱乐传媒有限公司 | 图像显著性区域的检测方法及装置、存储介质及电子设备 |
| CN117408657A (zh) * | 2023-10-27 | 2024-01-16 | 杭州静嘉科技有限公司 | 一种基于人工智能的人力资源服务系统 |
| US11915058B2 (en) | 2020-09-30 | 2024-02-27 | Boe Technology Group Co., Ltd. | Video processing method and device, electronic equipment and storage medium |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102800063A (zh) * | 2012-07-12 | 2012-11-28 | 中国科学院软件研究所 | 基于各向异性滤波的图像增强与抽象化方法 |
| CN103295191A (zh) * | 2013-04-19 | 2013-09-11 | 北京航科威视光电信息技术有限公司 | 多尺度视觉自适应图像增强方法及评价方法 |
| CN106447614A (zh) * | 2016-11-25 | 2017-02-22 | 浙江师范大学 | 一种基于一致性区域的超分辨率方法 |
| CN106651938A (zh) * | 2017-01-17 | 2017-05-10 | 湖南优象科技有限公司 | 一种融合高分辨率彩色图像的深度图增强方法 |
| US20180114325A1 (en) * | 2016-10-26 | 2018-04-26 | Duke University | Systems and methods for determining quality metrics of an image or images based on an edge gradient profile and characterizing regions of interest in an image or images |
-
2018
- 2018-11-20 CN CN201811382363.0A patent/CN109345490B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102800063A (zh) * | 2012-07-12 | 2012-11-28 | 中国科学院软件研究所 | 基于各向异性滤波的图像增强与抽象化方法 |
| CN103295191A (zh) * | 2013-04-19 | 2013-09-11 | 北京航科威视光电信息技术有限公司 | 多尺度视觉自适应图像增强方法及评价方法 |
| US20180114325A1 (en) * | 2016-10-26 | 2018-04-26 | Duke University | Systems and methods for determining quality metrics of an image or images based on an edge gradient profile and characterizing regions of interest in an image or images |
| CN106447614A (zh) * | 2016-11-25 | 2017-02-22 | 浙江师范大学 | 一种基于一致性区域的超分辨率方法 |
| CN106651938A (zh) * | 2017-01-17 | 2017-05-10 | 湖南优象科技有限公司 | 一种融合高分辨率彩色图像的深度图增强方法 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111231667A (zh) * | 2019-03-22 | 2020-06-05 | 泰州三凯工程技术有限公司 | 可靠型安全行驶控制方法 |
| CN110246093A (zh) * | 2019-05-05 | 2019-09-17 | 北京大学 | 一种解码图像增强方法 |
| CN110246093B (zh) * | 2019-05-05 | 2021-05-04 | 北京大学 | 一种解码图像增强方法 |
| CN110751600A (zh) * | 2019-09-03 | 2020-02-04 | 哈尔滨新光光电科技股份有限公司 | 一种小型化cameralink数字采集装置及系统 |
| US11915058B2 (en) | 2020-09-30 | 2024-02-27 | Boe Technology Group Co., Ltd. | Video processing method and device, electronic equipment and storage medium |
| CN112929690A (zh) * | 2021-01-22 | 2021-06-08 | 中国人民解放军32181部队 | 一种视频分数阶微分算子增强系统及其实现方法 |
| CN112929690B (zh) * | 2021-01-22 | 2022-07-26 | 中国人民解放军32181部队 | 一种视频分数阶微分算子增强系统 |
| CN116612122A (zh) * | 2023-07-20 | 2023-08-18 | 湖南快乐阳光互动娱乐传媒有限公司 | 图像显著性区域的检测方法及装置、存储介质及电子设备 |
| CN116612122B (zh) * | 2023-07-20 | 2023-10-10 | 湖南快乐阳光互动娱乐传媒有限公司 | 图像显著性区域的检测方法及装置、存储介质及电子设备 |
| CN117408657A (zh) * | 2023-10-27 | 2024-01-16 | 杭州静嘉科技有限公司 | 一种基于人工智能的人力资源服务系统 |
| CN117408657B (zh) * | 2023-10-27 | 2024-05-17 | 杭州静嘉科技有限公司 | 一种基于人工智能的人力资源服务系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109345490B (zh) | 2021-09-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109345490A (zh) | 一种移动播放端实时视频画质增强方法及系统 | |
| US9495582B2 (en) | Digital makeup | |
| US10152781B2 (en) | Method for image processing using local statistics convolution | |
| US8059911B2 (en) | Depth-based image enhancement | |
| CN103778614B (zh) | 高动态范围显示设备 | |
| EP2748792B1 (en) | Image processing for hdr images | |
| KR101625362B1 (ko) | 입력 이미지 데이터를 출력 이미지 데이터로 변환하기 위한 방법, 입력 이미지 데이터를 출력 이미지 데이터로 변환하기 위한 이미지 변환 유닛, 이미지 프로세싱 장치, 디스플레이 디바이스 | |
| JP4558806B2 (ja) | 視覚処理装置、視覚処理方法、プログラム、表示装置および集積回路 | |
| CN106462955B (zh) | 具有时间平滑和用户超驰的自动视频质量增强 | |
| US20100239187A1 (en) | Method for Up-Sampling Depth Images | |
| US8218622B2 (en) | System and method for processing videos and images to a determined quality level | |
| JP4731100B2 (ja) | 鮮鋭度向上方法及び鮮鋭度向上装置 | |
| CN104335565A (zh) | 采用具有自适应滤芯的细节增强滤波器的图像处理方法 | |
| CN101626454B (zh) | 一种增强视频可视性的方法 | |
| JP2009093323A (ja) | 画像処理装置およびプログラム | |
| TW200808035A (en) | Filtered noise reduction in digital images | |
| CN109168065B (zh) | 视频增强方法、装置、电子设备及存储介质 | |
| US10868969B1 (en) | Method and apparatus for accelerated tonemapping and display | |
| CN107862672B (zh) | 图像去雾的方法及装置 | |
| JP2013041565A (ja) | 画像処理装置、画像表示装置、画像処理方法、コンピュータプログラム及び記憶媒体 | |
| EP1782383A1 (en) | Video processor comprising a sharpness enhancer | |
| US10762604B2 (en) | Chrominance and luminance enhancing systems and methods | |
| US11600026B2 (en) | Data processing systems | |
| US11024012B2 (en) | Directional scaling systems and methods | |
| US10475164B2 (en) | Artifact detection in a contrast enhanced output image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |