CN102630043B - 一种基于对象的视频转码方法和装置 - Google Patents

一种基于对象的视频转码方法和装置 Download PDF

Info

Publication number
CN102630043B
CN102630043B CN201210093888.9A CN201210093888A CN102630043B CN 102630043 B CN102630043 B CN 102630043B CN 201210093888 A CN201210093888 A CN 201210093888A CN 102630043 B CN102630043 B CN 102630043B
Authority
CN
China
Prior art keywords
image
video
character area
region
parts
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201210093888.9A
Other languages
English (en)
Other versions
CN102630043A (zh
Inventor
肖炳珠
魏东亮
郝晔明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING JETSEN TECHNOLOGY Co Ltd
Original Assignee
BEIJING JETSEN TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING JETSEN TECHNOLOGY Co Ltd filed Critical BEIJING JETSEN TECHNOLOGY Co Ltd
Priority to CN201210093888.9A priority Critical patent/CN102630043B/zh
Publication of CN102630043A publication Critical patent/CN102630043A/zh
Application granted granted Critical
Publication of CN102630043B publication Critical patent/CN102630043B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

一种基于对象的视频转码方法,其特征在于包括如下步骤:步骤一、对输入视频流进行完全解码;步骤二、检测视频图像中文字区域并定位区域坐标;步骤三、利用坐标信息将整幅视频图像分为两个部分,一部分为文字区域,另一部分为非文字区域;步骤四、对于文字区域进行隔离,对于非文字区域,采用彩色图像锐化进行增强;步骤五、对于两部分区域分别进行编码,并对两部分进行图像融合产生重新转码之后的图像。本发明利用模式识别技术先定位容易产生蚊式噪声的文字区域,对区域内、外图像进行分类处理编码,这样做的结果既增强了图像质量,同时有效地避免了蚊式噪声的产生,提高了输出图像的视觉质量。

Description

一种基于对象的视频转码方法和装置
技术领域
本发明属于视频编码技术领域,尤其涉及一种基于对象的视频转码方法和装置,用于在视频转码中隔离蚊式噪声。
背景技术
视频技术和视频压缩标准的不断发展以及视频节目在不同应用环境中的需要,促使了视频转码研究的出现和不断发展。目前,视频转码技术已被人们广泛研究.具体来说,视频转码就是从一种视频编码流到另一种编码流的转换,目的是把输入的压缩流转换成符合接收端要求的压缩流。
在数字电视广播领域和IPTV系统中的视频服务器端,为了使不同带宽的用户能够收看视频点播,视频服务器端需要利用转码器将高码率视频转换为低码率视频,视频码流的下降直接导致了图像质量下降,通常都需要对图像进一步增强,常用的增强方式是利用一些模板算子进行锐化处理,其结果表现为图像细节得到增强,图像更加清晰,但也同时在文字区域产生了蚊式噪声,导致视频图像出现闪烁。
为了消除蚊式噪声,很多研究者从图像处理本身的角度开发了一系列技术解决相关问题,Anchor Bay研发了一个私有的不是很普遍的移除“蚊式噪音”以及其他压缩导致的伪影的方法,区别于那些通过移除太多细节或在动作画面引起混淆画面的方法来使得图像变得更差的降噪方法,VRS降噪的设计隔离了大多数令人讨厌的伪影。为了做到这点,Anchor Bay寻找到了画面中最有可能出现噪点的地方,并对其进行隔离和预示。另外,郑世宝等人提出一种利用边缘检测、运动检测和中值滤波去除蚊式噪声的方法,即先对图像进行帧内处理,然后对经过帧内处理的连续的三帧图像进行帧间处理。具体为:使用Lapalace算子对图像进行边缘检测,得到每个像素的边缘信息,如果某一像素为边缘像素或者它周围的四个像素中有两个以上的边缘像素,保留其值不变;否则,用一个中值滤波器对该像素进行滤波处理;进行运动检测,根据相邻帧之间的差异,判断当前帧中的像素是否运动,如果该像素是运动像素,则保留其值不变;如果是非运动像素,则将三帧中的对应点进行中值滤波的结果作为该像素的滤波结果。上述方法中的主要的缺陷是他们并不能从根本上解决消除纹式噪声,而且还增加了而外的计算开销。
发明内容
鉴于现有技术的缺陷,本发明提供一种基于对象的视频转码方法,其特征在于包括如下步骤:
步骤一、对输入视频流进行完全解码;
步骤二、检测视频图像中文字区域并定位区域坐标;
步骤三、利用坐标信息将整幅视频图像分为两个部分,一部分为文字区域,另一部分为非文字区域;
步骤四、对于文字区域进行隔离,对于非文字区域,采用彩色图像锐化进行增强;
步骤五、对于两部分区域分别进行编码,并对两部分进行图像融合产生重新转码之后的图像。
进一步,本发明所述的基于对象的视频转码方法,其特征在于步骤二具体为:先将待转码视频解码为YUV格式,对Y分量计算图像边缘,并计算整个图像的边缘密度,得到一幅边缘密度图像,利用otsu的方法对密度图进行分割并进行膨胀腐蚀操作,得到候选文字区域,然后利用事先训练好的SVM文字分类器进行识别,进而定位文字区域并得到区域坐标大小。
进一步,本发明所述的基于对象的视频转码方法,其特征在于步骤四中对图像进去增强的步骤具体包括:利用高斯滤波器对Y分量图像进行滤波得到滤波图像F,将图像Y和F做差得到差分图像,再将差分图像乘以一个放大系数,最后将差分图像叠加到滤波图像上就得到了最终的边缘增强图像。
进一步,本发明所述的基于对象的视频转码方法,其特征在于步骤五中对文字区域进行编码的具体步骤为:根据文字区域的位置信息,取得到相应的宏块的位置,然后对有文字的宏块进行单独的编码。
此外,本发明还提供一种基于对象的视频转码装置,其特征在于包括如下模块:
解码模块,用于对输入视频流进行完全解码;
文字区域定位模块,用于检测视频图像中文字区域并定位区域坐标;
图像分割模块,用于利用坐标信息将整副视频图像分为两个部分,一部分为文字区域,另一部分为非文字区域;
彩色图像增强模块,用于对于文字区域进行隔离,并对于非文字区域,采用彩色图像锐化进行增强;
编码模块,用于对于两部分区域分别进行编码,并对两部分进行图像融合产生重新转码之后的图像。
进一步,本发明所述的基于对象的视频转码装置,其特征在于文字区域定位模块:先将待转码视频解码为YUV格式,对Y分量计算图像边缘,并计算整个图像的边缘密度,得到一幅边缘密度图像,利用otsu的方法对密度图进行分割并进行膨胀腐蚀操作,得到候选文字区域,然后利用事先训练好的SVM文字分类器进行识别,即可比较准确的定位文字区域并得到区域坐标大小。
进一步,本发明所述的基于对象的视频转码装置,其特征在于彩色图像增强模块利用一个高斯滤波器对Y分量图像进行滤波得到滤波图像F,将图像Y和F做差得到差分图像,在将差分图像乘以一个放大系数,最后将差分图像叠加到滤波图像上就得到了最终的边缘增强图像。
进一步,本发明所述的基于对象的视频转码装置,其特征在于所述编码模块根据文字区域的位置信息,取得到相应的宏块的位置,然后对有文字的宏块进行单独的编码。
本发明所述的基于对象的视频转码方法和装置利用模式识别技术先定位容易产生蚊式噪声的文字区域,对区域内、外图像进行分类处理编码,这样做的结果既增强了图像质量,同时有效地避免了蚊式噪声的产生,提高了输出图像的视觉质量。
附图说明
图1是本发明基于对象的视频转码方法的示意图;
图2是本发明基于对象的视频转码方法的流程图。
具体实施方式
为使本发明的上述目的、特征和优点更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
在视频转码过程中,由于网络带宽对视频码流的限制导致图像质量下降,因此在二次编码前需要对视频图像进行一定的增强,而图像的文字区域在增强后产生了蚊式噪声,导致视频图像闪烁,本发明的目标就是通过一种自动识别文字区域,并对文字区域单独处理、编码的方式来防止蚊式噪声的产生。本发明在视频转码过程中采用全解全编结构,即由解码器和编码器串联而成,先对输入视频流进行完全解码,然后利用一个文字区域定位模块检测视频图像中文字区域并定位区域坐标,利用坐标信息将整副视频图像分为两个部分,一部分为文字区域,另一部分为非文字区域,对于文字区域进行隔离,对于非文字区域,采用一种彩色图像锐化方法进行增强,最后对于两部分区域分别进行编码,这样就可以增强图像细节的同时消除了蚊式噪声的影响。
图1是本发明基于对象的视频转码方法的示意图;具体过程如下:
1)先将待转码视频解码为YUV格式,利用《》说明的方法在Y分量上进行文字区域检测。
大致如下:对Y分量计算图像边缘,并计算整个图像的边缘密度,得到一幅边缘密度图像,利用otsu的方法对密度图进行分割并进行膨胀腐蚀操作,得到若干后选文字区域,此时利用一个事先训练好的SVM文字分类器进行识别,即可比较准确的定位文字区域并得到区域坐标大小。
2)对图像Y分量进行图像增强。图像增强如下:利用一个高斯滤波器对Y分量图像进行滤波得到滤波图像F,将图像Y和F做差得到差分图像,在将差分图像乘以一个放大系数,最后将差分图像叠加到滤波图像上就得到了最终的边缘增强图像,此时图像的细节信息得到明显增强,图像清晰度明显改善。
Fdst=Fsrc*Hguassian
D=(Fsrc-Fdst)□C
E=Fdst+D
Fsrc为Y分量图像,Fdst为滤波图像,Hguassian为一个高斯核函数,D是差分边缘图像,C为放大系数(1.5--5.0),E为最终得到的边缘增强图。
3)图像融合。利用1中提取到的文字区域坐标,将整副图像划分为两个部分,一个是文字区域,另一个是非文字区域,对于文字区域保留原始图像信息,有效地隔离了蚊式噪声,对于非文字区域,利用2)中得到的增强图像进行覆盖,这样就得到了一张融合后的增强图像。
4)对于文字区域和非文字区域进行单独编码。通过上面方法得到文字区域的位置信息,根据位置信息取得到相应的宏块的位置,然后对有文字的宏块进行单独的编码。一般取有文字的宏块的QP=20左右。其他宏块的QP值根据码率的大小重新计算,这样就保证了有文字区域的图像会很清晰,这样也就消除了蚊式噪声。
基于文字对象模型的编码方法,不仅可以将非文字区域进行有效地边缘增强,提高了图像的清晰度;同时对于文字区域进行隔离,有效避免了因为边缘增强带来的蚊式噪声。针对有文字信息的视频的区域做单独的编码处理来消除蚊式噪声,使有文字的区域更清晰。
图2是本发明基于对象的视频转码方法的流程图;其包括如下步骤:
步骤一、对输入视频流进行完全解码;
步骤二、检测视频图像中文字区域并定位区域坐标;
步骤三、利用坐标信息将整幅视频图像分为两个部分,一部分为文字区域,另一部分为非文字区域;
步骤四、对于文字区域进行隔离,对于非文字区域,采用彩色图像锐化进行增强;
步骤五、对于两部分区域分别进行编码,并对两部分进行图像融合产生重新转码之后的图像。
例如,要实现一个MPEG2的视频转成H264的视频,由于H264的压缩率很低,可以起到节约网络带宽的目的。这个转码算法是常用的一种情况。首先,对MPEG2的视频进行解码,解码成原始的视频流,如YUV。然后,对YUV的数据进行分析,把有文字信息的区域找到,得到区域的坐标信息,把有文字信息的区域进行锐化处理,把这个坐标信息转变成宏块对应的信息,得到文字信息在哪个宏块出现,对有文字信息的宏块进行单独的编码。也就是文字区域的宏块所计算出来QP用更小的QP,而对于其他的部分采用更大的QP。这样的到的图像中的文字信息会更清晰,整幅图像的质量也不会受到很大影响。
本发明利用模式识别技术先定位容易产生蚊式噪声的文字区域,对区域内、外图像进行分类处理编码,这样做的结果既增强了图像质量,同时有效地避免了蚊式噪声的产生,提高了输出图像的视觉质量。
最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制;尽管参照较佳实施例对本发明进行了详细的说明,所属领域的普通技术人员应当理解:依然可以对本发明的具体实施方式进行修改或者对部分技术特征进行等同替换;而不脱离本发明技术方案的精神,其均应涵盖在本发明请求保护的技术方案范围当中。

Claims (4)

1.一种基于对象的视频转码方法,其特征在于包括如下步骤:
步骤一、对输入视频流进行完全解码;
步骤二、检测视频图像中文字区域并定位区域坐标;
步骤三、利用坐标信息将整幅视频图像分为两个部分,一部分为文字区域,另一部分为非文字区域;
步骤四、对于文字区域进行隔离,对于非文字区域,采用彩色图像锐化进行增强,具体通过利用高斯滤波器对Y分量图像进行滤波得到滤波图像F,将图像Y和F做差得到差分图像,再将差分图像乘以一个放大系数,最后将差分图像叠加到滤波图像上得到最终的边缘增强图像;
步骤五、对于两部分区域分别进行编码,尤其是根据文字区域的位置信息,取得相应宏块的位置,然后对有文字的宏块进行单独的编码,其他宏块的QP值根据码率的大小重新计算,并对两部分进行图像融合产生重新转码之后的图像。
2.根据权利要求1所述的基于对象的视频转码方法,其特征在于步骤二具体为:先将待转码视频解码为YUV格式,对Y分量计算图像边缘,并计算整个图像的边缘密度,得到一幅边缘密度图像,利用otsu的方法对密度图进行分割并进行膨胀腐蚀操作,得到候选文字区域,然后,利用事先训练好的SVM文字分类器进行识别,进而定位文字区域并得到区域坐标大小。
3.一种基于对象的视频转码装置,其特征在于包括如下模块:
解码模块,用于对输入视频流进行完全解码;
文字区域定位模块,用于检测视频图像中文字区域并定位区域坐标;
图像分割模块,用于利用坐标信息将整幅视频图像分为两个部分,一部分为文字区域,另一部分为非文字区域;
彩色图像增强模块,用于对于文字区域进行隔离,并对于非文字区域,采用彩色图像锐化进行增强,具体通过利用高斯滤波器对Y分量图像进行滤波得到滤波图像F,将图像Y和F做差得到差分图像,再将差分图像乘以一个放大系数,最后将差分图像叠加到滤波图像上得到最终的边缘增强图像;
编码模块,用于对于两部分区域分别进行编码,尤其是根据文字区域的位置信息,取得相应宏块的位置,然后对有文字的宏块进行单独的编码,其他宏块的QP值根据码率的大小重新计算,并对两部分进行图像融合产生重新转码之后的图像。
4.根据权利要求3所述的基于对象的视频转码装置,其特征在于文字区域定位模块:先将待转码视频解码为YUV格式,对Y分量计算图像边缘,并计算整个图像的边缘密度,得到一幅边缘密度图像,利用otsu的方法对密度图进行分割并进行膨胀腐蚀操作,得到若干后选文字区域,然后利用事先训练好的SVM文字分类器进行识别,进而定位文字区域并得到区域坐标大小。
CN201210093888.9A 2012-04-01 2012-04-01 一种基于对象的视频转码方法和装置 Expired - Fee Related CN102630043B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210093888.9A CN102630043B (zh) 2012-04-01 2012-04-01 一种基于对象的视频转码方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210093888.9A CN102630043B (zh) 2012-04-01 2012-04-01 一种基于对象的视频转码方法和装置

Publications (2)

Publication Number Publication Date
CN102630043A CN102630043A (zh) 2012-08-08
CN102630043B true CN102630043B (zh) 2014-11-12

Family

ID=46588182

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210093888.9A Expired - Fee Related CN102630043B (zh) 2012-04-01 2012-04-01 一种基于对象的视频转码方法和装置

Country Status (1)

Country Link
CN (1) CN102630043B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103873877A (zh) * 2012-12-14 2014-06-18 华为技术有限公司 远程桌面的图像传输方法及装置
CN107231566B (zh) 2016-03-25 2020-12-18 阿里巴巴集团控股有限公司 一种视频转码方法、装置和系统
CN106303650A (zh) * 2016-08-31 2017-01-04 成都炫境科技有限公司 视频同步显示方法
CN108810537B (zh) * 2017-04-26 2023-04-07 腾讯科技(深圳)有限公司 一种图片转码方法、装置及图像处理设备
CN109497887B (zh) * 2018-11-06 2020-10-30 浙江义乌舒美佳科技股份有限公司 安全型桶式吸尘器
CN110009551A (zh) * 2019-04-09 2019-07-12 浙江大学 一种cpugpu协同处理的实时血管增强方法
CN112087660A (zh) * 2019-06-14 2020-12-15 华为技术有限公司 视频处理方法、装置及设备
CN110351564B (zh) * 2019-08-08 2021-06-04 上海纽菲斯信息科技有限公司 一种文字清晰的视频压缩传输方法及系统
CN111932531A (zh) * 2020-09-21 2020-11-13 广东利元亨智能装备股份有限公司 模型训练方法、焊点缺陷检测方法、装置及电子设备
CN112511860B (zh) * 2020-11-25 2022-05-24 湖南麒麟信安科技股份有限公司 一种文字区域清晰的画面传输方法
CN114615522B (zh) * 2022-05-11 2022-07-29 北京畅发科技有限公司 一种低时延的流媒体转码分发的处理方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1452388A (zh) * 2002-04-17 2003-10-29 佳能株式会社 图像压缩方法及装置、图像编码装置及图像编码方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101193261B (zh) * 2007-03-28 2010-07-21 腾讯科技(深圳)有限公司 一种视频通信系统及方法
CN100527156C (zh) * 2007-09-21 2009-08-12 北京大学 一种图片文字检测的方法
CN101527786B (zh) * 2009-03-31 2011-06-01 西安交通大学 一种增强网络视频中视觉重要区域清晰度的方法
JP2011030177A (ja) * 2009-06-29 2011-02-10 Sony Corp 復号装置、復号制御装置、復号方法およびそのプログラム
CN102281439B (zh) * 2011-06-16 2013-07-24 杭州米加科技有限公司 流媒体视频图像预处理方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1452388A (zh) * 2002-04-17 2003-10-29 佳能株式会社 图像压缩方法及装置、图像编码装置及图像编码方法

Also Published As

Publication number Publication date
CN102630043A (zh) 2012-08-08

Similar Documents

Publication Publication Date Title
CN102630043B (zh) 一种基于对象的视频转码方法和装置
CN102006475B (zh) 一种视频编解码装置和方法
CN102006473B (zh) 视频编码器和编码方法以及视频解码器和解码方法
US9679365B2 (en) Processing high dynamic range images
US9325993B2 (en) Encoding or decoding method and apparatus
US8208560B2 (en) Bit depth enhancement for scalable video coding
CN102484710B (zh) 用于像素内插的系统及方法
CN110505472B (zh) 一种h.265超高清视频质量评价方法
CN101491102B (zh) 将后处理视为在解码器中执行的视频编码
CA2793238A1 (en) Image processing apparatus and method
CN111445424B (zh) 图像处理和移动终端视频处理方法、装置、设备和介质
US9883200B2 (en) Method of acquiring neighboring disparity vectors for multi-texture and multi-depth video
CN102265611A (zh) 在混合视频编码中具有多个滤波器的本地环路内滤波
CN103402091B (zh) 云桌面图像分类与编码方法
CN106303521B (zh) 一种基于感知敏感度的hevc率失真优化方法
EP2192782A3 (en) Video decoding method
CN104202611A (zh) 基于视频解码器实现视频文件中花屏缺陷检测的方法
CN104113765A (zh) 一种视频编、解码方法和装置
CN108965887A (zh) 一种基于块间去耦合的视频信息隐藏方法和装置
CN103248830A (zh) 面向移动智能终端增强现实的实时视频合并方法
CN104871536A (zh) 减少数字视频流中的压缩噪声的方法和设备
JP2014146988A (ja) 動画像符号化装置
CN104243994A (zh) 一种实时运动感知图像增强的方法
CN103079029B (zh) 一种基于宏块边缘信息的数字电视马赛克识别方法
CN103561264B (zh) 一种基于云计算的媒体解码方法及解码器

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Object-based video transcoding method and device

Effective date of registration: 20200119

Granted publication date: 20141112

Pledgee: Huaxia Bank Limited by Share Ltd Zhongguancun Beijing branch

Pledgor: Beijing Jiecheng Century Science and Technology Co., Ltd.

Registration number: Y2020990000081

PE01 Entry into force of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20201116

Granted publication date: 20141112

Pledgee: Huaxia Bank Limited by Share Ltd. Zhongguancun Beijing branch

Pledgor: BEIJING JETSEN TECHNOLOGY Co.,Ltd.

Registration number: Y2020990000081

PC01 Cancellation of the registration of the contract for pledge of patent right
DD01 Delivery of document by public notice

Addressee: Patent of Beijing Jiecheng Century Technology Co.,Ltd. The person in charge

Document name: payment instructions

DD01 Delivery of document by public notice
DD01 Delivery of document by public notice

Addressee: Wang Zheng

Document name: Notice of termination of patent right

DD01 Delivery of document by public notice
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20141112

Termination date: 20210401

CF01 Termination of patent right due to non-payment of annual fee