CN109345490B - 一种移动播放端实时视频画质增强方法及系统 - Google Patents

一种移动播放端实时视频画质增强方法及系统 Download PDF

Info

Publication number
CN109345490B
CN109345490B CN201811382363.0A CN201811382363A CN109345490B CN 109345490 B CN109345490 B CN 109345490B CN 201811382363 A CN201811382363 A CN 201811382363A CN 109345490 B CN109345490 B CN 109345490B
Authority
CN
China
Prior art keywords
image
luma
enhanced
data
brightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811382363.0A
Other languages
English (en)
Other versions
CN109345490A (zh
Inventor
黄志伟
谭嵩
罗准
冯斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan MgtvCom Interactive Entertainment Media Co Ltd
Original Assignee
Hunan MgtvCom Interactive Entertainment Media Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan MgtvCom Interactive Entertainment Media Co Ltd filed Critical Hunan MgtvCom Interactive Entertainment Media Co Ltd
Priority to CN201811382363.0A priority Critical patent/CN109345490B/zh
Publication of CN109345490A publication Critical patent/CN109345490A/zh
Application granted granted Critical
Publication of CN109345490B publication Critical patent/CN109345490B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

本发明公开了一种移动播放端实时视频画质增强方法及系统，解码视频流数据，得到RGB图像数据；对RGB图像数据进行图像分区，将图像分成四类区域：边缘区域且在保护区域内、非边缘区域且在保护区域内、边缘区域且在非保护区域内、非边缘区域且在非保护区域内，分别标记为P1、P2、P3、P4；对P1、P2、P3、P4采用不同的尺度进行细节增强处理，得到增强后的图像；对增强后的图像进行对比度调整，得到调整后的图像；对调整后的图像进行亮度调整，得到亮度调整后的图像。本发明综合考虑了多种因素对图像进行增强，在增强视频图像的同时，尽量避免对图像中画质缺陷放大，保护人眼的兴趣区域，达到了较好的图像画质增强效果。

Description

一种移动播放端实时视频画质增强方法及系统
技术领域
本发明涉及播放器产品，特别是一种移动播放端实时视频画质增强方法及系统。
背景技术
随着手机等移动终端的普及，人们越来越习惯用手机等移动终端观看网络视频。人们观看视频时，视频画质主要受到下面的因素影响：1.受视频拍摄质量和后期制作的因素影响，其中包括拍摄器材的因素、拍摄环境的因素、有损的后期剪辑等；2.网络视频服务商会将原始视频(指只经拍摄和后期处理后的视频)转码成不同码率供用户选择，转码过程会对视频进行有损压缩，转码后的视频质量相比原始视频会有下降。
为了改进视频图象的质量，提升用户的播放观看体验，在播放端会对视频图像进行图像增强处理，常见的图像增强处理包括对比度调整、色彩调整、滤波、饱和度调整、细节增强、边缘增强等操作。在实际的增强处理中通常会综合上述多种算法，以达到更好的增强效果。但是图像增强算法都比较耗时，综合多种算法后，增强处理的实时性很难保证。
增强技术在对细节增强和对图像通透度上增加的同时，也会将图像本来的的画质缺陷放大。而当这种画质缺陷如果是出现在人眼敏感区域(比如字幕区域)，放大后会加重观看的不适感。
通常的增强算法都是放在服务器端，处理器的性能都比较好，容易满足实时性的要求，而手机等移动终端，处理器性能比较差，如何实时完成增强和播放是一个难题。
现有技术研究情况：
(1)CN 102811354 B，一种视频画质增强播放方法及点播终端。该方法属于一致性增强方法，即对整帧图像采用相同的增强方案，没有考虑增强带来的不利影响。处理流程包括RGB颜色增强、亮度信号Y的伽马校正、锐化处理，其中特别指出当分辨率小于1280*720时，才对视频帧进行画质增强。
(2)CN 106412383 A，视频图像的处理方法和装置。该图像增强方法，考虑了图像的亮度因素，当图像亮度小于预设亮度值才进行增强处理，其增强处理包括亮度增强、双边滤波降噪，主要目的是降噪，以及如何消除亮度增强对噪声的放大。该方案主要侧重于亮度因素上的考量，因素比较单一，无法达到比较好的图像质量增强效果。
(3)CN 106550244 A，视频图像的画质增强方法及装置。该方法采用多尺度增强方式，预先为不同类型的图像区域设置不同的增强尺度，使用时需要实时的识别图像中包含的预设类型区域(马赛克区域、直线边缘、人脸型区域)，增强时对不同预设类型区域的高频信息进行相应的预设尺度增强，最终将增强后的高频信息与相应低频信息叠加得到增强后图像。该方法需要检测预设类型区域，算法复杂度比较高，实时处理的难度比较大，同时增强的时候只考虑了高频信息(细节)，单一因素，增强效果相比多因素增强的综合方案要差。
(4)CN 105407296 A，实时视频增强方法和装置。该方法通过获取当前帧的平均亮度，判断平均亮度是否小于预设亮度阈值，决定是否需要增强。根据当前帧的平均亮度得到第一增强曲线，根据兴趣区域得到局部增强曲线，由局部增强曲线和第一增强曲线得到第二增强曲线，运用第二增强曲线对当前帧进行增强。该方法在增强的时候考虑了兴趣区域，但在增强效果上，只考虑了亮度这一因素，相比多因素增强的方案效果要差。
(5)CN 104202604 B，视频增强的方法和装置。该方法通过对当前帧确定反映运动状态或明暗信息的属性信息，以此来查找预设的映射关系，得到对应的增强强度控制参数，以所述控制参数对当前帧执行视频增强操作。该方法通过运动状态或者明暗信息，依此来确定不同帧，以及同一帧中的不同区域的增强强度。该方法中，采用运动状态对视频区域分类，运动状态这一因素不能和视频主观上有强的相关性，即不能根据运动的强弱判断是否应该用强的增强参数还是弱的增强参数。
(6)CN 102811353 B，提升视频图像清晰度的方法及系统。该方法对视频图像进行清晰度增强时，对YUV数据，利用高斯矩阵作为像素点的权重值，对每个像素点四周的预设个数的其他像素点进行纹理增强处理，以获得每个像素点进行纹理增强后的像素值，该方法不足是，对视频图像全局进行同一强度的纹理增强，没有考虑到视频图像自身的纹理信息，容易放大图像的缺陷(如噪声等)，增强后的图像连续播放时会有明显的闪烁现象。
(7)CN 104166967 B，提升视频图像清晰度的方法。该方法通过判断图像的分辨率和显示设备的分辨率，确定是否需要对图像进行插值，当图像分辨率小于显示设备的分辨率时进行插值处理。然后对图像进行纹理增强，纹理增强的时候通过sobel算子计算纹理强度，通过纹理强度来控制纹理增强的强度，最后修改视频图像的灰度直方图，增强图像的对比度。该方案的缺点，计算出的纹理强度仅能反映纹理的强弱，不能区分图像中的噪声，更不能反映人的主观关注点，所以既不能达到好的增强效果，也不能很好的保护图像的缺陷不被放大。
(8)CN 103281544 B，图像和视频的亮度、颜色和对比度的联合增强。该方案提供一种方法，可以一次性执行亮度、颜色和对比度增强视频处理。该方案的缺点是采用的是一致性增强的方法，无法避免会放大图像的缺陷，增强的同时带来了观看的不适感。
(9)CN 105488793 A，图像显示方法以及图像处理方法。该方法通过在图像的大尺度边缘处适当的增大边缘台阶如边缘亮度台阶，得到相对锐利的边缘轮廓，增加图像感知深度，进而提高显示图像的人眼感知对比度。该方法的缺点，只对图像中的大边缘进行增强，图像中很多细节并不能得到很好的增强，考虑的因素比较单一，难以达到很好的增强效果。
(10)CN 105744118 A，一种给予视频帧自适应的视频增强方法及应用其的视频增强系统。该方法通过视频帧的亮度直方图，自适应的调整对比度增强参数和饱和度调整参数。该方法的缺点，对比度的调整只能提升图像的通透度，饱和度的调整改变的是图像颜色，都不能提升图像细节，增强效果不够好。
(11)CN 102377913 B，一种对比度实时调节的方法。该方法可以实时的调节图像的对比度，缺点是考虑的因素单一，无法达到比较好的增强效果。
(12)CN 108259873 A，一种梯度域视频对比度增强方法。该方法采用梯度域增强方法逐帧增强待处理视频，同时利用视频相邻帧之间的低频分量关联特性，对梯度增强的视频帧进行滤波，克服视频增强导致的闪烁问题。该方法考虑的视频增强因素比较单一，无法达到比较好的增强效果。
(13)CN 105678717 A，动态视频图像清晰度强化方法及装置。该方法对当前YUV数据进行归一化处理，计算归一化后的Y分量的邻域模糊数据和纹理数据，使用Y分量的邻域模糊数据和纹理数据进行锐化增强，最后对锐化后的Y分量进行整体对比度调整，再将调整后的Y分量和当前像素的UV分量转化为RGB。该方案考虑了图像增强的多个因素，缺点是，增强的同时，会对图像缺陷放大，采用的是一致性增强方案。
由此可见，图像增强技术领域虽然研究比较多，提出的方案也很多。但是现有的方案都或多或少存在一些缺点，要么是采用的单一因素图像增强，增强效果不够理想；要么是采用一致性增强的方案，增强后容易带来观看的不适感；要么采用复杂的图像内容识别，不利于工程实现和实时处理。另外，现有方案大多适用于CPU通用处理器，直接用在移动终端上难以达到好的效果。
发明内容
本发明所要解决的技术问题是，针对现有技术不足，提供一种移动播放端实时视频画质增强方法及系统，综合考虑多种因素(对比度、亮度、锐化等)对图像进行增强，在增强视频图像的同时，尽量避免对图像中画质缺陷放大，保护人眼的兴趣区域，达到较好的图像画质增强效果。
为解决上述技术问题，本发明所采用的技术方案是：一种移动播放端实时视频画质增强方法，其特征在于，包括以下步骤：
1)解码视频流数据，得到RGB图像数据；
2)对RGB图像数据进行图像分区，将图像分成四类区域：边缘区域且在保护区域内、非边缘区域且在保护区域内、边缘区域且在非保护区域内、非边缘区域且在非保护区域内，分别标记为P1、P2、P3、P4；
3)对P1、P2、P3、P4采用不同的尺度进行细节增强处理，得到增强后的图像；
4)对增强后的图像进行对比度调整，得到调整后的图像；
5)对调整后的图像进行亮度调整，得到亮度调整后的图像。
步骤1)的具体实现过程包括：
1)解码视频流数据，将解码后的图像数据存储在图形处理器GPU访问的纹理缓存中；
2)将解码后的图像数据绑定到图像处理器GPU中着色器处理的纹理上，若解码出来的数据是YUV格式，则将YUV格式的图像数据转换到RGB格式的图像数据，转换公式为：
Figure BDA0001872179980000051
步骤2)的具体实现过程包括：
1)预先设置保护区域，将图像分成保护区域和非保护区域；
2)求取亮度矩阵Luma：
Figure BDA0001872179980000052
3)将亮度矩阵中的一个像素点，作为待增强的像素点，以该待增强像素点为中心，取大小为3x3像素大小的图像块，将该图像块与sobel算子模板进行卷积运算，sobel算子模板包括水平模板Gx和垂直模板Gy，具体模板如下：
Figure BDA0001872179980000053
4)计算待增强像素的梯度值，公式如下：
Figure BDA0001872179980000054
5)根据预设的梯度阈值Thm区分边缘区域和非边缘区域，具体操作是：如果G＞Thm，判定为边缘区域像素；否则，判定为非边缘区域像素，从而将图像分成四类区域：边缘区域且在保护区域内、非边缘区域且在保护区域内、边缘区域且在非保护区域内、非边缘区域且在非保护区域内，分别标记为P1、P2、P3、P4；m取值为0或者1，其中0表示保护区域，1表示非保护区域。
步骤3)的具体实现过程包括：
1)以当前待增强像素点为中心，选取邻域的N×N个像素，选取归一化后的N×N的高斯滤波模板，将邻域像素和高斯滤波模板做卷积，得到模糊数据Psum；其中N为奇数，且N大于1；所述模糊数据Psum包含R、G、B三个分量；
2)将当前待增强的像素点Porg与模糊数据Psum相减，得到细节数据Pdiff；计算公式如下：Pdiff＝Porg-Psum；
3)对当前待增强的像素进行细节增强处理，得到增强后的像素Pfix1：Pfix1＝Porg+Ratiow*(1.0-0.5*sign(Pdiff))*Pdiff；其中，Ratiow取值范围[0.0，20.0]，w取值为1,2,3,4之一；sign(x)是符号函数；
4)将细节增强后的Pfix1进行对比度调整，调整之后得到像素Pfix2：Pfix2＝Pfix1+(Pluma2-Pluma)；其中，Pluma＝Vec3(Luma,Luma,Luma)，Vec3表示3维浮点数向量；Pluma2＝mix(vec3(0.5,0.5,0.5),Pluma,Cratiow)，mix函数是GLSL中的内置函数；Cratiow取值范围为[0.0，2.0]；
5)将对比度调整后得到的像素值Pfix2进行亮度调整，得到调整后的像素值Pfix3：Pfix3＝mix(vec3(0.0,0.0,0.0),Pfix2,Lratio)；Lratio是预设的亮度调整系数。
相应地，本发明还提供了一种移动播放端实时视频画质增强系统，包括：
解码数据获取模块，用于解码视频流数据，得到RGB图像数据；
图像增强模块，用于对RGB图像数据进行图像分区，将图像分成四类区域：边缘区域且在保护区域内、非边缘区域且在保护区域内、边缘区域且在非保护区域内、非边缘区域且在非保护区域内，分别标记为P1、P2、P3、P4；对P1、P2、P3、P4采用不同的尺度进行细节增强处理，得到增强后的图像；对增强后的图像进行对比度调整，得到调整后的图像；对调整后的图像进行亮度调整，得到亮度调整后的图像。
还包括数据输出模块，用于输出亮度调整后的图像。
所述图像增强模块包括：
分区单元，用于对RGB图像数据进行图像分区，将图像分成四类区域：边缘区域且在保护区域内、非边缘区域且在保护区域内、边缘区域且在非保护区域内、非边缘区域且在非保护区域内，分别标记为P1、P2、P3、P4；
增强单元，用于对P1、P2、P3、P4采用不同的尺度进行细节增强处理，得到增强后的图像；
对比度调整单元，用于对增强后的图像进行对比度调整，得到调整后的图像；
亮度调整单元，用于对调整后的图像进行亮度调整，得到亮度调整后的图像。
与现有技术相比，本发明所具有的有益效果为：本发明综合考虑了多种因素(对比度、亮度、锐化等)对图像进行增强，在增强视频图像的同时，尽量避免对图像中画质缺陷放大，保护人眼的兴趣区域，达到了较好的图像画质增强效果；实时性好，能在播放端实时的完成视频图像增强功能，利用GPU处理，基本不增加CPU的占用率，不会带来播放卡顿和手机发热的不利影响；兼容性较好，常见的有GPU处理器并且操作系统版本支持的移动端(包括安卓和IOS系统)都能实施；
附图说明
图1本发明整体处理流程图；
图2本发明解码数据获取模块；
图3本发明播放端GPU图像增强流程；
图4传统的CPU图像增强流程；
图5基于GPU的图像增强流程；
图6为本发明实验效果图；左侧为增强前的图片，右侧为增强后的效果图。
具体实施方式
本发明主要流程如图1，包括解码数据获取模块、图像增强模块和数据输出模块。
解码数据获取模块(图2)，包括以下步骤：
(1)对视频码流数据进行解码，解码方式不做约定，可以是硬解码也可以是软解码；
(2)将解码后的图像数据存储在图形处理器GPU访问的纹理缓存中；
(3)将解码后的图像数据绑定到图像处理器GPU中着色器处理的纹理上，解码出来的数据通常是YUV格式，需要根据解码的方式及流程选择是否需要显示进行YUV格式到RGB格式的转换，显式格式转换(需要自己在着色器中去实现)执行步骤(4)，隐式格式转换(自动完成YUV到RGB的转换)走步骤(5)。
(4)根据格式转换公式，将YUV格式转换成RGB格式；使用的转换公式如下：
Figure BDA0001872179980000081
(5)数据格式已经是RGB格式，不需要做格式转换，执行后续的图像增强处理。需要说明的是，解码后的数据作为纹理交由图形处理器GPU，用于OpenGLES的着色器处理，所有的数据已经归一化为[0.0,1.0]。
图像增强模块(图3)，具体步骤如下：
(1)对RGB图像数据进行图像分区，图像分区包括图像粗分区和图像精细分区两个过程。
a.图像粗分区，用户可以预先设置保护区域，将图像分成保护区域和非保护区域。保护区域是指图像中的n个矩形区域(n≥1)(比如字幕区域、logo区域等)，用户可通过设置每个矩形左上角顶点TopLeftn(x,y)和右下角顶点DownRightn(x,y)确定保护区域位置。非保护区域是指图像中除保护区域之外的其他区域。
b.图像精细分区，在图像粗分区(分为保护区域和非保护区域)的基础上，对图像进行精细分区，分为边缘区域和非边缘区域。步骤如下：
b1.求取亮度矩阵Luma，求取的公式如下：
Figure BDA0001872179980000082
b2.在亮度矩阵中，将亮度矩阵中的一个像素点，作为待增强的像素点，以该待增强像素点为中心，取大小为3x3像素大小的图像块，将该图像块与sobel算子模板进行卷积运算，sobel算子模板包括水平模板Gx和垂直模板Gy，具体模板如下：
Figure BDA0001872179980000091
b3.计算待增强像素的梯度值，公式如下：
Figure BDA0001872179980000092
b4.根据预设的梯度阈值Thm(m取值为0或者1，其中0表示保护区域，1表示非保护区域)，Thm取值范围为[0.0，1.0]，用于区分边缘区域和非边缘区域，具体操作是：如果G＞Thm，判定为边缘区域像素；否则，判定为非边缘区域像素。
c.经过图像粗分区和图像精细分区后，将图像分成四类区域：边缘区域且在保护区域内、非边缘区域且在保护区域内、边缘区域且在非保护区域内、非边缘区域且在非保护区域内，分别标记为P1、P2、P3、P4。
(2)RGB图像细节增强处理，针对上述的四类区域(P1、P2、P3、P4)采用不同的尺度进行细节增强处理。具体步骤如下：
a.以当前待增强像素点为中心，选取邻域的N×N(其中N为奇数，且大于1)个像素，选取归一化后的N×N的高斯滤波模板，将邻域像素和高斯滤波模板做卷积，得到模糊数据Psum(包含R、G、B三个分量)。
b.求取细节数据。将当前待增强的像素点Porg与上述得到的模糊数据Psum相减，得到细节数据Pdiff。计算公式如下：
Pdiff＝Porg-Psum
c.细节增强处理。对当前待增强的像素进行细节增强处理，得到增强后的像素Pfix1。公式如下，其中Ratiow(w取值为1,2,3,4之一)，取值范围[0.0，20.0]，根据不同的图像分区可以预设不同的强度。
Pfix1＝Porg+Ratiow*(1.0-0.5*sign(Pdiff))*Pdiff
其中，sign(x)是符号函数，其功能是取某个数的符号，当x＞0,sign(x)＝1，当x＜0,sign(x)＝-1，当x＝0,sign(x)＝0。
(3)图像对比度调整。将细节增强后的Pfix1进行对比度调整，调整之后得到像素Pfix2(包含R、G、B三个分量)。具体步骤如下：
a.获取当前待增强像素的亮度值Luma(步骤(1)中已经求取过亮度矩阵，单一分量)，并扩展成RGB三分量的像素点Pluma。公式如下：
Pluma＝Vec3(Luma,Luma,Luma)
注：Vec3是GLSL(OpenGLES中Shading Language，Shading Language是用来在OpenGLES中给着色器编程的语言)中的数据类型，表示3维浮点数向量。
b.对像素点Pluma进行对比度调整，调整后得到像素点Pluma2，公式如下，其中Cratiow(w取值为1,2,3,4之一)是预设调整系数，取值范围[0.0，2.0]，可以根据不同的图像分区可以预设不同的强度：
Pluma2＝mix(vec3(0.5,0.5,0.5),Pluma,Cratiow)
注：mix函数是GLSL中的内置函数，mix(a,b,t)＝a*(1-t)+b*t。
c.计算对比度调整之后的像素值Pfix2，计算公式如下：
Pfix2＝Pfix1+(Pluma2-Pluma)
(4)图像亮度调整。将对比度调整后得到的像素值Pfix2进行亮度调整，得到调整后的像素值Pfix3。计算公式如下，其中Lratio是预设的亮度调整系数，取值范围[0.0，2.0]：
Pfix3＝mix(vec3(0.0,0.0,0.0),Pfix2,Lratio)
数据输出模块。用于将增强后的图像输出显示。
为了更好的描述整个过程，假定该方案是在Android手机(系统版本大于4.0)，视频解码采用硬解码的方式，硬解码采用解码到surface这种方式。
本发明示例提供了一种在移动播放端实时视频画质增强的方案，该方案综合考虑了画质增强的多个因素，可以达到比较好的增强效果，同时通过对待增强图像进行分区，有效避免了增强带来的负面效果，保护了兴趣区域的画质。另外，本方案借助移动端的图形处理器GPU，采用OpenGLES图形编程接口，在着色器中完成图像增强的过程，可以实时的实现视频图像增强，且基本不会额外增加CPU的性能消耗。
本发明实示例中的移动播放端视频画质增强方法的步骤如下：
(1)在创建解码器的时候将surface设置给硬解码器，获取包含解码之后的解码数据的纹理；
(2)将解码图像纹理绑定到扩展纹理GL_TEXTURE_EXTERNAL_OES上(该扩展纹理实现了YUV到RGB的自动转化)，用于OpenGLES处理过程中片段着色器处理，纹理的数据格式是RGB格式，并且所有的数据已经归一化为[0.0,1.0]。
(3)对图像进行粗分区，用户预先设置保护区域，将图像分成保护区域和非保护区域。保护区域是指图像中的n个矩形区域(n≥1)(比如字幕区域、logo区域等，字幕区域通常位于视频的下面区域)，用户可通过设置每个矩形左上角顶点TopLeftn(x,y)和右下角顶点DownRightn(x,y)确定保护区域位置。非保护区域是指图像中除保护区域之外的其他区域。
(4)图像精细分区，在图像粗分区(分为保护区域和非保护区域)的基础上，对图像进行精细分区，分为边缘区域和非边缘区域。包含如下步骤：
1)求取亮度矩阵Luma，求取的公式如下：
Figure BDA0001872179980000111
2)在亮度矩阵中，将亮度矩阵中的一个像素点，作为待增强的像素点，以该待增强像素点为中心，取大小为3x3像素大小的图像块，将该图像块与sobel算子模板进行卷积运算，sobel算子模板包括水平模板Gx和垂直模板Gy，具体模板如下：
Figure BDA0001872179980000112
3)计算待增强像素的梯度值，公式如下：
Figure BDA0001872179980000113
4)根据预设的梯度阈值Thm(m取值为0或者1，其中0表示保护区域，1表示非保护区域)，Thm取值范围为[0.0，1.0]，用于区分边缘区域和非边缘区域，具体操作是：如果G＞Thm，判定为边缘区域像素；否则，判定为非边缘区域像素。
5)经过图像粗分区和图像精细分区后，将图像分为四类区域：边缘区域且在保护区域内、非边缘区域且在保护区域内、边缘区域且在非保护区域内、非边缘区域且在非保护区域内，分别标记为P1、P2、P3、P4。
(5)RGB图像细节增强处理，针对上述的四类区域(P1、P2、P3、P4)采用不同的尺度进行细节增强处理。具体步骤如下：
1)以当前待增强像素点为中心，选取邻域的N×N(其中N为奇数，且大于1)个像素，选取归一化后的N×N的高斯滤波模板，将邻域像素和高斯滤波模板做卷积，得到模糊数据Psum(包含R、G、B三个分量)。
2)求取细节数据。将当前待增强的像素点Porg与上述得到的模糊数据Psum相减，得到细节数据Pdiff。计算公式如下：
Pdiff＝Porg-Psum
3)细节增强处理。对当前待增强的像素进行细节增强处理，得到增强后的像素Pfix1。公式如下，其中Ratiow(w取值为1,2,3,4之一)，取值范围[0.0，20.0]，根据不同的图像分区可以预设不同的强度。
Pfix1＝Porg+Ratiow*(1.0-0.5*sign(Pdiff))*Pdiff
(6)图像对比度调整。将细节增强后的Pfix1进行对比度调整，调整之后得到像素Pfix2。具体步骤如下：
1)获取当前待增强像素的亮度值Luma(步骤(1)中已经求取过亮度矩阵)，并扩展成RGB三分量的像素点Pluma。公式如下：
Pluma＝Vec3(Luma,Luma,Luma)
注：Vec3是GLSL(OpenGLES中Shading Language，Shading Language是用来在OpenGLES中给着色器编程的语言)中的数据类型，表示3维浮点数向量。
2)对像素点Pluma进行对比度调整，调整后得到像素点Pluma2，公式如下，其中Cratiow(w取值为1,2,3,4之一)是预设调整系数，取值范围[0.0，2.0]，可以根据不同的图像分区可以预设不同的强度：
Pluma2＝mix(vec3(0.5,0.5,0.5),Pluma,Cratiow)
注：mix函数是GLSL中的内置函数，mix(a,b,t)＝a*(1-t)+b*t。
3)计算对比度调整之后的像素值Pfix2，计算公式如下：
Pfix2＝Pfix1+(Pluma2-Pluma)
(7)图像亮度调整。将对比度调整后得到的像素值Pfix2进行亮度调整，得到调整后的像素值Pfix3。计算公式如下，其中Lratio是预设的亮度调整系数，取值范围[0.0，2.0]：
Pfix3＝mix(vec3(0.0,0.0,0.0),Pfix2,Lratio)
(8)将增强后的图像输出显示。增强后的图像数据存储在帧缓冲区中的后缓冲区中，当执行后缓冲区切换成前缓冲区时，增强后的图像就可以显示出来。

Claims (7)

1.一种移动播放端实时视频画质增强方法，其特征在于，包括以下步骤：
1)解码视频流数据，得到RGB图像数据；
2)对RGB图像数据进行图像分区，将图像分成四类区域：边缘区域且在保护区域内、非边缘区域且在保护区域内、边缘区域且在非保护区域内、非边缘区域且在非保护区域内，分别标记为P1、P2、P3、P4；
3)对P1、P2、P3、P4采用不同的尺度进行细节增强处理，得到增强后的图像；
具体实现过程包括：
A.以当前待增强像素点为中心，选取邻域的N×N个像素，选取归一化后的N×N的高斯滤波模板，将邻域像素和高斯滤波模板做卷积，得到模糊数据Psum；其中N为奇数，且N大于1；所述模糊数据Psum包含R、G、B三个分量；
B.将当前待增强的像素点Porg与模糊数据Psum相减，得到细节数据Pdiff；计算公式如下：Pdiff＝Porg-Psum；
C.对当前待增强的像素进行细节增强处理，得到增强后的像素Pfix1：Pfix1＝Porg+Ratiow*(1.0-0.5*sign(Pdiff))*Pdiff；其中，Ratiow取值范围[0.0，20.0]，w取值为1,2,3,4之一；sign(x)是符号函数；
D.将细节增强后的Pfix1进行对比度调整，调整之后得到像素Pfix2：Pfix2＝Pfix1+(Pluma2-Pluma)；其中，Pluma＝Vec3(Luma,Luma,Luma)，Vec3表示3维浮点数向量；Pluma2＝mix(vec3(0.5,0.5,0.5),Pluma,Cratiow)，mix函数是GLSL中的内置函数；Cratiow取值范围为[0.0，2.0]；或者，将luma划分成i个子区间，即xi≤luma≤xi+1在,每个子区间中按如下公式计算Pluma2：Pluma2＝Vec3(Lumafix,Lumafix,Lumafix)，Lumafix＝ai+bi*(Luma-xi)+ci*(luma-xi)2+di*(luma-xi)3，其中ai、bi、ci、di是三次样条曲线的系数，根据预设的调整数据节点(xi,yi)，通过求解矩阵方程求得，其中yi是亮度值xi调整后的映射值；
E.将对比度调整后得到的像素值Pfix2进行亮度调整，得到调整后的像素值Pfix3：Pfix3＝mix(vec3(0.0,0.0,0.0),Pfix2,Lratio)；Lratio是预设的亮度调整系数；
4)对增强后的图像进行对比度调整，得到调整后的图像；
5)对调整后的图像进行亮度调整，得到亮度调整后的图像。
2.根据权利要求1所述的移动播放端实时视频画质增强方法，其特征在于，步骤1)的具体实现过程包括：
1)解码视频流数据，将解码后的图像数据存储在图形处理器GPU访问的纹理缓存中；
2)将解码后的图像数据绑定到图像处理器GPU中着色器处理的纹理上，若解码出来的数据是YUV格式，则将YUV格式的图像数据转换到RGB格式的图像数据，转换公式为：
Figure FDA0003117626190000021
3.根据权利要求1所述的移动播放端实时视频画质增强方法，其特征在于，步骤2)的具体实现过程包括：
1)预先设置保护区域，将图像分成保护区域和非保护区域；
2)求取亮度矩阵Luma：
Figure FDA0003117626190000022
3)将亮度矩阵中的一个像素点，作为待增强的像素点，以该待增强像素点为中心，取大小为3x3像素大小的图像块，将该图像块与sobel算子模板进行卷积运算，sobel算子模板包括水平模板Gx和垂直模板Gy，具体模板如下：
Figure FDA0003117626190000031
4)计算待增强像素的梯度值，公式如下：
Figure FDA0003117626190000032
5)根据预设的梯度阈值Thm区分边缘区域和非边缘区域，具体操作是：如果G＞Thm，判定为边缘区域像素；否则，判定为非边缘区域像素，从而将图像分成四类区域：边缘区域且在保护区域内、非边缘区域且在保护区域内、边缘区域且在非保护区域内、非边缘区域且在非保护区域内，分别标记为P1、P2、P3、P4；m取值为0或者1，其中0表示保护区域，1表示非保护区域。
4.根据权利要求3所述的移动播放端实时视频画质增强方法，其特征在于，Thm取值范围为[0.0，1.0]。
5.一种移动播放端实时视频画质增强系统，其特征在于，包括：
解码数据获取模块，用于解码视频流数据，得到RGB图像数据；
图像增强模块，用于对RGB图像数据进行图像分区，将图像分成四类区域：边缘区域且在保护区域内、非边缘区域且在保护区域内、边缘区域且在非保护区域内、非边缘区域且在非保护区域内，分别标记为P1、P2、P3、P4；对P1、P2、P3、P4采用不同的尺度进行细节增强处理，得到增强后的图像；对增强后的图像进行对比度调整，得到调整后的图像；对调整后的图像进行亮度调整，得到亮度调整后的图像；
获取增强后的图像具体实现过程包括：
A.以当前待增强像素点为中心，选取邻域的N×N个像素，选取归一化后的N×N的高斯滤波模板，将邻域像素和高斯滤波模板做卷积，得到模糊数据Psum；其中N为奇数，且N大于1；所述模糊数据Psum包含R、G、B三个分量；
B.将当前待增强的像素点Porg与模糊数据Psum相减，得到细节数据Pdiff；
计算公式如下：Pdiff＝Porg-Psum；
C.对当前待增强的像素进行细节增强处理，得到增强后的像素Pfix1：Pfix1＝Porg+Ratiow*(1.0-0.5*sign(Pdiff))*Pdiff；其中，Ratiow取值范围[0.0，20.0]，w取值为1,2,3,4之一；sign(x)是符号函数；
D.将细节增强后的Pfix1进行对比度调整，调整之后得到像素Pfix2：Pfix2＝Pfix1+(Pluma2-Pluma)；其中，Pluma＝Vec3(Luma,Luma,Luma)，Vec3表示3维浮点数向量；Pluma2＝mix(vec3(0.5,0.5,0.5),Pluma,Cratiow)，mix函数是GLSL中的内置函数；Cratiow取值范围为[0.0，2.0]；或者，将luma划分成i个子区间，即xi≤luma≤xi+1在,每个子区间中按如下公式计算Pluma2：Pluma2＝Vec3(Lumafix,Lumafix,Lumafix)，Lumafix＝ai+bi*(Luma-xi)+ci*(luma-xi)2+di*(luma-xi)3，其中ai、bi、ci、di是三次样条曲线的系数，根据预设的调整数据节点(xi,yi)，通过求解矩阵方程求得，其中yi是亮度值xi调整后的映射值；
E.将对比度调整后得到的像素值Pfix2进行亮度调整，得到调整后的像素值Pfix3：Pfix3＝mix(vec3(0.0,0.0,0.0),Pfix2,Lratio)；Lratio是预设的亮度调整系数。
6.根据权利要求5所述的移动播放端实时视频画质增强系统，其特征在于，还包括数据输出模块，用于输出亮度调整后的图像。
7.根据权利要求5所述的移动播放端实时视频画质增强系统，其特征在于，所述图像增强模块包括：
分区单元，用于对RGB图像数据进行图像分区，将图像分成四类区域：边缘区域且在保护区域内、非边缘区域且在保护区域内、边缘区域且在非保护区域内、非边缘区域且在非保护区域内，分别标记为P1、P2、P3、P4；
增强单元，用于对P1、P2、P3、P4采用不同的尺度进行细节增强处理，得到增强后的图像；
对比度调整单元，用于对增强后的图像进行对比度调整，得到调整后的图像；
亮度调整单元，用于对调整后的图像进行亮度调整，得到亮度调整后的图像。
CN201811382363.0A 2018-11-20 2018-11-20 一种移动播放端实时视频画质增强方法及系统 Active CN109345490B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811382363.0A CN109345490B (zh) 2018-11-20 2018-11-20 一种移动播放端实时视频画质增强方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811382363.0A CN109345490B (zh) 2018-11-20 2018-11-20 一种移动播放端实时视频画质增强方法及系统

Publications (2)

Publication Number Publication Date
CN109345490A CN109345490A (zh) 2019-02-15
CN109345490B true CN109345490B (zh) 2021-09-21

Family

ID=65316529

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811382363.0A Active CN109345490B (zh) 2018-11-20 2018-11-20 一种移动播放端实时视频画质增强方法及系统

Country Status (1)

Country Link
CN (1) CN109345490B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111231667A (zh) * 2019-03-22 2020-06-05 泰州三凯工程技术有限公司 可靠型安全行驶控制方法
CN110246093B (zh) * 2019-05-05 2021-05-04 北京大学 一种解码图像增强方法
CN110751600B (zh) * 2019-09-03 2021-04-30 哈尔滨新光光电科技股份有限公司 一种小型化cameralink数字采集装置及系统
CN112181657B (zh) 2020-09-30 2024-05-07 京东方科技集团股份有限公司 视频处理方法、装置、电子设备及存储介质
CN112508818A (zh) * 2020-12-16 2021-03-16 广州佳帆计算机有限公司 一种基于高频信息的贴片图像识别方法及装置
CN112929690B (zh) * 2021-01-22 2022-07-26 中国人民解放军32181部队 一种视频分数阶微分算子增强系统
CN116612122B (zh) * 2023-07-20 2023-10-10 湖南快乐阳光互动娱乐传媒有限公司 图像显著性区域的检测方法及装置、存储介质及电子设备
CN117408657B (zh) * 2023-10-27 2024-05-17 杭州静嘉科技有限公司 一种基于人工智能的人力资源服务系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102800063A (zh) * 2012-07-12 2012-11-28 中国科学院软件研究所 基于各向异性滤波的图像增强与抽象化方法
CN103295191A (zh) * 2013-04-19 2013-09-11 北京航科威视光电信息技术有限公司 多尺度视觉自适应图像增强方法及评价方法
CN106447614A (zh) * 2016-11-25 2017-02-22 浙江师范大学 一种基于一致性区域的超分辨率方法
CN106651938A (zh) * 2017-01-17 2017-05-10 湖南优象科技有限公司 一种融合高分辨率彩色图像的深度图增强方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10902619B2 (en) * 2016-10-26 2021-01-26 Duke University Systems and methods for determining quality metrics of an image or images based on an edge gradient profile and characterizing regions of interest in an image or images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102800063A (zh) * 2012-07-12 2012-11-28 中国科学院软件研究所 基于各向异性滤波的图像增强与抽象化方法
CN103295191A (zh) * 2013-04-19 2013-09-11 北京航科威视光电信息技术有限公司 多尺度视觉自适应图像增强方法及评价方法
CN106447614A (zh) * 2016-11-25 2017-02-22 浙江师范大学 一种基于一致性区域的超分辨率方法
CN106651938A (zh) * 2017-01-17 2017-05-10 湖南优象科技有限公司 一种融合高分辨率彩色图像的深度图增强方法

Also Published As

Publication number Publication date
CN109345490A (zh) 2019-02-15

Similar Documents

Publication Publication Date Title
CN109345490B (zh) 一种移动播放端实时视频画质增强方法及系统
EP3087730B1 (en) Method for inverse tone mapping of an image
CN103778614B (zh) 高动态范围显示设备
US8860718B2 (en) Method for converting input image data into output image data, image conversion unit for converting input image data into output image data, image processing apparatus, display device
JP4558806B2 (ja) 視覚処理装置、視覚処理方法、プログラム、表示装置および集積回路
US9495582B2 (en) Digital makeup
EP2748792B1 (en) Image processing for hdr images
US8059911B2 (en) Depth-based image enhancement
US8401324B2 (en) Visual processing apparatus, visual processing method, program, recording medium, display device, and integrated circuit
KR20160040959A (ko) 영상 처리 장치 및 이의 영상 처리 방법
EP2791897B1 (en) Control of video processing algorithms based on measured perceptual quality characteristics
JP2007292804A (ja) 画像処理装置及び画像処理方法
CN109168065B (zh) 视频增强方法、装置、电子设备及存储介质
CN106550244A (zh) 视频图像的画质增强方法及装置
US10868969B1 (en) Method and apparatus for accelerated tonemapping and display
JP2013041565A (ja) 画像処理装置、画像表示装置、画像処理方法、コンピュータプログラム及び記憶媒体
US8098951B2 (en) Image sharpening technique
US20220351701A1 (en) Method and device for adjusting image quality, and readable storage medium
JP4528857B2 (ja) 画像処理装置及び画像処理方法
JP2013219462A (ja) 画像処理装置、画像表示装置、画像処理方法、コンピュータプログラム及び記録媒体
Jung et al. Detail-preserving tone mapping for low dynamic range displays with adaptive gamma correction
JP2024527025A (ja) 画像のダイナミックレンジ変換及び表示管理のためのニューラルネットワーク
CN118355404A (zh) 用于sdr到hdr局部整形的去噪

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant