CN105472392B - 基于渐进式文字块压缩的屏幕视频编解码方法及编解码器 - Google Patents
基于渐进式文字块压缩的屏幕视频编解码方法及编解码器 Download PDFInfo
- Publication number
- CN105472392B CN105472392B CN201510926203.8A CN201510926203A CN105472392B CN 105472392 B CN105472392 B CN 105472392B CN 201510926203 A CN201510926203 A CN 201510926203A CN 105472392 B CN105472392 B CN 105472392B
- Authority
- CN
- China
- Prior art keywords
- block
- code stream
- compression
- color
- text
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Color Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本发明公开了基于渐进式文字块压缩的屏幕视频编解码方法及其编解码器，包括：获取屏幕视频中的一帧,并将其分成M×N的宏块；按类型将每个宏块分为文字块或者图像块；将每个文字块按照主颜色和非主颜色分为多个文字压缩码流；对于主颜色使用索引表编码，对于非主颜色的逃逸色采用基于位平面的渐进式编码；将每个图像块采用基于小波变换的渐进式图像编码算法，分为多个图像编码质量层。按照不同的质量等级将码流传输到接收端；接收端对每个质量层的码流进行解码并显示。本发明针对传统文字编码器的局限和缺陷，实现多个质量层的渐进式文字编码技术，无需特殊设备支持，对所有需要对包含文字的屏幕图像进行压缩的场合都适用。
Description
【技术领域】
本发明涉及数据压缩技术领域，特别涉及一种基于渐进式文字块压缩的屏幕视频编解码方法及其编解码器，可用于计算机或移动终端屏幕视频的压缩和传输。
【背景技术】
随着多媒体技术和网络技术的发展，人们对计算机或移动终端屏幕图像在质量、大小和应用上提出了更高的要求，希望能够用有限带宽资源传输大幅图像，并根据实际需要，获得不同分辨率或质量的重构图像。这需要编码器先传输图像的轮廓，然后逐步传输数据，不断提高图像质量，以满足用户的需求，并最终可以实现无损压缩，也就是编码器需要具有渐进式的特性。目前针对图片的渐进式压缩算法已经出现了很多，并且取得了较好的压缩效果。但是针对文字的渐进压缩算法却很少有人研究。但是在屏幕视频压缩中，图片和文字常常混合在一起，它们都需要具有渐进的特性。
具体的存在以下缺点：
1)文字编码器只有一个质量层，不可满足不同应用需求。
2)网络环境较差时，只有一个质量层的文字编码码流的丢失导致整个文字块丢失。
3)一个质量层的文字编码往往采用有损量化方式，不能做到无损的在接收端显示。
【发明内容】
本发明的目的是提供基于渐进式文字块压缩的屏幕视频编解码方法及其编解码器，针对传统文字编码器的局限和缺陷，实现多个质量层的渐进式文字编码技术，无需特殊设备支持，对所有需要对屏幕中的文字部分进行压缩的场合都适用。
为达到上述目的，本发明采用以下技术手段：
一种基于渐进式文字块压缩的屏幕视频编解码方法，包括以下步骤：
获取屏幕视频中的一帧，并将其分成M×N的宏块；按宏块特性将每个宏块分为文字块或者图像块；
将每个文字块按照主颜色和非主颜色分为多个质量层的文字压缩码流；对于主颜色使用索引表编码，对于非主颜色的逃逸色采用基于位平面的渐进式编码；
将每个图像块采用基于小波变换的渐进式图像编码算法，分为多个图像编码质量层的图像压缩码流；
按照不同的质量等级将文字压缩码流和图像压缩码流传输到接收端；
接收端对每个质量层的码流进行解码并显示。
传输时先传优先级较高的质量层码流，解码时也先解码优先级较高的质量层码流。
文字块编码的具体步骤为：
将每个文字块按照多个主颜色和非主颜色记录对应的索引值，并用索引表a标记整个文字块；
扫描索引表a标记的每个像素的索引值，判断其与邻近像素索引值的相关性，与左边像素相似记为L，与正上方像素相似记为U，都不相似记为O，得到索引表b；将索引表b中水平的若干个像素为一组采用Huffman编码，并传输多个主颜色分量的值；
对索引表a中非主颜色的逃逸色传输像素值分量的值，采用基于位平面的编码方式从最高位平面到最低位平面依次传输各个颜色分量的值，得到文字渐进压缩码流。
屏幕视频中的一帧分成M×N的宏块；每个文字块4个主颜色记录索引值为0，1，2，3，非主颜色位置索引值记录为4。
一种基于渐进式文字块压缩的屏幕视频编解码器，包括：编码器和解码器，
所述的编码端包括：
宏块分类模块：用于将一帧屏幕视频分成M×N的宏块，并判断每个宏块的类型是文字块或者图像块；
文字编码模块：用于对文字块进行渐进式编码；
图像编码模块：用于对图像块进行渐进式编码；
分层码流组织模块：用于将文字块码流、图像块码流以及分类辅助信息按照码流格式合并；
发送模块：用于将合并后的码流通过网络发送到解码端；
所述的解码端用于接收端对每个质量层的码流进行解码并显示。
作为本发明的进一步改进，所述的解码端包括：
接收模块：用于接收编码器发送的码流；
码流拆分模块：用于将网络接受到的码流拆分成文字压缩码流和图像压缩码流；
文字解码模块：用于对文字压缩码流进行渐进式解码；
图像解码模块：用于对图像压缩码流进行渐进式解码；
帧显示模块：用于将解码的各个图像块利用辅助信息在解码段显示出来。
作为本发明的进一步改进，所述的文字编码模块对文字块进行渐进式编码具体指：
将每个文字块按照多个主颜色和非主颜色记录对应的索引值，并用索引表a标记整个文字块；
扫描索引表a标记的每个像素的索引值，判断其与邻近像素索引值的相关性，与左边像素相似记为L，与正上方像素相似记为U，都不相似记为O，得到索引表b；
将索引表b中水平的若干个像素为一组采用Huffman编码，并传输多个主颜色分量的值；
所述的文字编码模块对索引表a中的非主颜色的逃逸色传输像素值分量的值，采用基于位平面的编码方式从最高位平面到最低位平面依次传输各颜色分量的值，得到文字渐进压缩码流。
作为本发明的进一步改进，所述的码流发送模块传输时先传优先级较高的质量层码流，所述的解码端解码时先解码质量等级较高的质量层码流。
与现有技术相比，本发明具有以下有益的技术效果：
本发明就是针对屏幕视频压缩中的文字编码，设计了一种渐进式的压缩算法。可根据用户需求和网络的状况得到不同的文字恢复质量。当系统中只有一个编码器和多个不同用户的解码器且各个用户的解码器性能存在差异时，传统的屏幕视频压缩系统需要在编码器端耗费大量的时间产生满足各个用户需求的压缩码流，而本发明只需在编码器端产生一个渐进式的压缩码流，各个用户根据自己的能力，解码部分码流得到相应的恢复视频，从而大大简化了编码器的设计和编码延迟时间。当系统中只有一个用户，但网络传输环境不稳定时，编码器端产生的渐进式压缩码流可以在网络带宽较高时传输较多的质量层，从而使用户解码后得到较好的恢复视频质量；也可以在网络带宽较低时传输较少的质量层，也可以使用户解码后得到基本的恢复视频质量。而传统的屏幕压缩系统在网络环境不稳定时，由于丢包导致完全不可解码得到恢复视频。相对于传统文字编码器的局限和缺陷，实现多个质量层的渐进式文字块编码技术，无需特殊设备支持，对所有需要对屏幕中的文字部分进行压缩的场合都适用。
本发明基于渐进式文字块压缩的屏幕视频编解码器具有以下优点：
兼容性好：算法为软件实现可支持多类型移动终端，包括手机、pad等设备；
适应性广：算法为文字块编码器，凡是需要对包含文字的屏幕图像都可应用；
体验好：用户可根据自身需要设计质量等级的个数。传输显示效果好，用户体验好。
【附图说明】
图1屏幕视频编解码器的架构图；
图2屏幕视频编解码方法的流程图。
【具体实施方式】
下面结合附图和具体的实施例对本发明做进一步说明：
如图1所示，基于渐进式文字块压缩的屏幕视频编解码器的产品构成如下：
编码端包括：
宏块分类模块：用于将一帧屏幕视频分成M×N(如16×16)的宏块，并判断每个宏块的类型是文字块或者图像块；
文字编码模块：用于对文字块进行渐进式编码；
图像编码模块：用于对图像块进行渐进式编码；
分层码流组织模块：用于将文字块码流、图像块码流以及分类辅助信息按照码流格式合并；
发送模块：用于将合并后的码流通过网络发送到解码端；
解码端包括：
接收模块：用于接收编码器发送的码流；
码流拆分模块：用于将网络接受到的码流拆分成文字压缩码流和图像压缩码流；
文字解码模块：用于对文字压缩码流进行渐进式解码；
图像解码模块：用于对图像压缩码流进行渐进式解码；
帧显示模块：用于将解码的各个图像块利用辅助信息在解码段显示出来。
本发明的原理为：对于屏幕视频中的每一帧，将其分成M×N(如16×16)的宏块，利用文字和图像的不同特性，将每个宏块分成文字块或者图像块。对于每个文字块找到主颜色，并使用索引表编码。对于非主颜色的逃逸色采用基于位平面的渐进式编码，分为多个文字编码质量层。对于每个图像块采用基于小波变换的渐进式图像编码算法，也可分为多个图像编码质量层。传输时先传优先级较高的质量层，解码时也先解码优先级较高的质量层，从而实现桌面视频的渐进式压缩编码。
结合图2，本发明的操作步骤如下：
1)获取屏幕视频中的一帧,并将其分成M×N(如16×16)的宏块。
2)使用分类器将每个宏块分为文字块或者图像块。
3)对于每个文字块，找到其中的4个主颜色记录索引值为0，1，2，3，并使用索引表a标记整个文字块，非主颜色位置索引值记录为4。
4)光栅扫描每个块中像素的索引值，判断其与邻近像素索引值的相关性，与左边像素相似记为L，与正上方像素相似记为U，都不相似记为O，从而得到索引表b。
5)对于索引表b采用水平4个一组使用Huffman编码，同时还需要传输4个主颜色分量的RGB值。
6)对于索引表a中的4位置的像素值也需要传输各个颜色分量(如RGB)的值，在此采用基于位平面的编码方式从最高位平面到最低位平面依次传输各个颜色分量(如RGB)的值，得到分成的文字压缩码流。
7)对于每个图像块采用基于小波变换的渐进式图像编码算法，分为多个图像编码质量层。
8)按照不同的质量等级将码流传输到接收端。
9)解码端对每个质量层的码流进行解码并显示。
本发明方案将带来以下收益：
兼容性好：算法为软件实现可支持多类型移动终端，包括手机、pad等设备。
适应性广：算法为文字编码器，凡是包含文字的屏幕图像都可应用。
体验好：用户可根据自身需要设计质量等级的个数，传输显示效果好，用户体验好。
Claims (7)
1.一种基于渐进式文字块压缩的屏幕视频编解码方法，其特征在于，包括以下步骤：
获取屏幕视频中的一帧，并将其分成M×N的宏块；按照宏块特性将每个宏块分为文字块或者图像块；
将每个文字块按照主颜色和非主颜色分为多个质量层的文字压缩码流；对于主颜色使用索引表编码，具体步骤为：
将每个文字块按照多个主颜色和非主颜色记录对应的索引值，并用索引表a标记整个文字块；
扫描索引表a标记的每个像素的索引值，判断其与邻近像素索引值的相关性，与左边像素相似记为L，与正上方像素相似记为U，都不相似记为O，得到索引表b；其中L、U、O都不特指；
将索引表b中水平的若干个像素为一组采用Huffman编码，并传输多个主颜色分量的值；
对于非主颜色的逃逸色采用基于位平面的渐进式编码；
将每个图像块采用基于小波变换的渐进式图像编码算法，分为多个图像编码质量层的图像压缩码流；
按照不同的质量等级将文字压缩码流和图像压缩码流传输到接收端；
接收端对每个质量层的码流进行解码并显示。
2.根据权利要求1所述的一种基于渐进式文字块压缩的屏幕视频编解码方法，其特征在于，传输时先传优先级较高的质量层码流，解码时也先解码优先级较高的质量层码流。
3.根据权利要求1所述的一种基于渐进式文字块压缩的屏幕视频编解码方法，其特征在于，对索引表a中非主颜色的逃逸色传输像素值分量的值，采用基于位平面的编码方式从最高位平面到最低位平面依次传输各个颜色分量的值，得到文字渐进压缩码流。
4.根据权利要求3所述的一种基于渐进式文字块压缩的屏幕视频编解码方法，其特征在于，屏幕视频中的一帧分成M×N的宏块；对于每个属于文字的块，4个主颜色记录索引值为0，1，2，3，非主颜色位置索引值记录为4。
5.一种基于渐进式文字块压缩的屏幕视频编解码器，其特征在于，包括：编码器和解码器，
所述的编码端包括：
宏块分类模块：用于将一帧屏幕视频分成M×N的宏块，并判断每个宏块的类型是文字块或者图像块；
文字编码模块：用于对文字块进行渐进式编码；具体指：
将每个文字块按照多个主颜色和非主颜色记录对应的索引值，并用索引表a标记整个文字块；
扫描索引表a标记的每个像素的索引值，判断其与邻近像素索引值的相关性，与左边像素相似记为L，与正上方像素相似记为U，都不相似记为O，得到索引表b；
将索引表b中水平的若干个像素为一组采用Huffman编码，并传输多个主颜色分量的值；
所述的文字编码模块对索引表a中的非主颜色的逃逸色传输像素值分量的颜色分量值，采用基于位平面的编码方式从最高位平面到最低位平面依次传输各个颜色分量值的值，得到文字渐进压缩码流；
图像编码模块：用于对图像块进行渐进式编码；
分层码流组织模块：用于将文字块码流、图像块码流以及分类辅助信息按照码流格式合并；
发送模块：用于将合并后的码流通过网络发送到解码端；
所述的解码端用于接收端对每个质量层的码流进行解码并显示。
6.根据权利要求5所述的一种基于渐进式文字块压缩的屏幕视频编解码器，其特征在于，所述的解码端包括：
接收模块：用于接收编码端发送的码流；
码流拆分模块：用于将网络接收到的码流拆分成文字压缩码流和图像压缩码流；
文字解码模块：用于对文字压缩码流进行渐进式解码；
图像解码模块：用于对图像压缩码流进行渐进式解码；
帧显示模块：用于将解码的各个图像块利用辅助信息在解码端显示出来。
7.根据权利要求5所述的一种基于渐进式文字块压缩的屏幕视频编解码器，其特征在于，所述的码流发送模块传输时先传优先级较高的质量层码流，所述的解码端解码时也先解码优先级较高的质量层码流。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510926203.8A CN105472392B (zh) | 2015-12-11 | 2015-12-11 | 基于渐进式文字块压缩的屏幕视频编解码方法及编解码器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510926203.8A CN105472392B (zh) | 2015-12-11 | 2015-12-11 | 基于渐进式文字块压缩的屏幕视频编解码方法及编解码器 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105472392A CN105472392A (zh) | 2016-04-06 |
| CN105472392B true CN105472392B (zh) | 2018-11-20 |
Family
ID=55609608
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510926203.8A Active CN105472392B (zh) | 2015-12-11 | 2015-12-11 | 基于渐进式文字块压缩的屏幕视频编解码方法及编解码器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105472392B (zh) |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106686384B (zh) * | 2016-11-29 | 2019-05-24 | 西安万像电子科技有限公司 | 文字块的压缩方法和装置以及图像压缩方法和装置 |
| CN106604032B (zh) * | 2016-11-29 | 2020-02-04 | 西安万像电子科技有限公司 | 图像中文字块的压缩方法和装置及图像压缩方法和装置 |
| CN106713921B (zh) * | 2016-11-29 | 2019-07-23 | 西安万像电子科技有限公司 | 文字块的压缩方法和装置以及图像压缩方法和装置 |
| CN106851280B (zh) * | 2017-01-04 | 2018-04-13 | 西安万像电子科技有限公司 | 图像压缩的方法和装置 |
| CN106878728B (zh) * | 2017-01-19 | 2019-06-07 | 西安万像电子科技有限公司 | 图像的压缩方法和装置 |
| CN107147913B (zh) * | 2017-05-16 | 2019-11-19 | 西安万像电子科技有限公司 | 文字块的传输方法和装置 |
| CN107172430B (zh) * | 2017-06-06 | 2019-06-18 | 西安万像电子科技有限公司 | 文字块的编码方法和装置 |
| CN107222748B (zh) * | 2017-06-12 | 2019-05-24 | 西安万像电子科技有限公司 | 图像数据码率的处理方法和装置 |
| CN107203971B (zh) * | 2017-07-28 | 2021-03-12 | 彭志勇 | 采样图像渐进式加载方法 |
| CN107509079B (zh) * | 2017-08-16 | 2019-09-27 | 西安万像电子科技有限公司 | 文字块编码方法及装置 |
| CN107566842B (zh) * | 2017-08-31 | 2019-08-23 | 西安万像电子科技有限公司 | 图像编解码压缩的方法、装置和系统 |
| CN107749989B (zh) * | 2017-10-17 | 2019-11-05 | 西安万像电子科技有限公司 | 图像的编码方法和装置 |
| CN108391132B (zh) * | 2018-04-19 | 2020-09-25 | 西安万像电子科技有限公司 | 文字块编码方法及装置 |
| CN108881913B (zh) * | 2018-08-03 | 2020-09-22 | 西安万像电子科技有限公司 | 图像编码的方法和装置 |
| CN109582462A (zh) * | 2018-11-21 | 2019-04-05 | 西安万像电子科技有限公司 | 通信方法及系统 |
| CN114640855A (zh) * | 2019-04-09 | 2022-06-17 | 西安万像电子科技有限公司 | 数据处理方法及系统 |
| CN110401833B (zh) * | 2019-06-04 | 2021-06-04 | 西安万像电子科技有限公司 | 图像传输方法及装置 |
| CN113127637A (zh) * | 2019-12-31 | 2021-07-16 | 中兴通讯股份有限公司 | 一种字符的还原方法及装置、存储介质、电子装置 |
| CN111277829B (zh) * | 2020-02-25 | 2023-03-24 | 西安万像电子科技有限公司 | 编解码方法及装置 |
| CN111953983B (zh) * | 2020-07-17 | 2024-07-23 | 西安万像电子科技有限公司 | 视频编码方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5588072A (en) * | 1993-12-22 | 1996-12-24 | Canon Kabushiki Kaisha | Method and apparatus for selecting blocks of image data from image data having both horizontally- and vertically-oriented blocks |
| CN101098473A (zh) * | 2006-06-30 | 2008-01-02 | 联想(北京)有限公司 | 一种图像编码方法及装置 |
| JP2012109941A (ja) * | 2010-11-15 | 2012-06-07 | Konica Minolta Laboratory Usa Inc | ハーフトーンパターンで印刷されたグレーまたは淡色テキストを含む、スキャンされた文書画像を２値化するための方法 |
| CN102611888A (zh) * | 2011-11-18 | 2012-07-25 | 北京工业大学 | 一种对屏幕内容的编码方法 |
-
2015
- 2015-12-11 CN CN201510926203.8A patent/CN105472392B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5588072A (en) * | 1993-12-22 | 1996-12-24 | Canon Kabushiki Kaisha | Method and apparatus for selecting blocks of image data from image data having both horizontally- and vertically-oriented blocks |
| CN101098473A (zh) * | 2006-06-30 | 2008-01-02 | 联想(北京)有限公司 | 一种图像编码方法及装置 |
| JP2012109941A (ja) * | 2010-11-15 | 2012-06-07 | Konica Minolta Laboratory Usa Inc | ハーフトーンパターンで印刷されたグレーまたは淡色テキストを含む、スキャンされた文書画像を２値化するための方法 |
| CN102611888A (zh) * | 2011-11-18 | 2012-07-25 | 北京工业大学 | 一种对屏幕内容的编码方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105472392A (zh) | 2016-04-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105472392B (zh) | 基于渐进式文字块压缩的屏幕视频编解码方法及编解码器 | |
| CN100380980C (zh) | 用于在视频编码系统中指示量化器参数的方法与设备 | |
| JP4234607B2 (ja) | 画像／ビデオエンコーダおよび／またはデコーダにおける符号化変換係数 | |
| CN110933437B (zh) | 混合向后兼容的信号编码和解码方法 | |
| KR102120571B1 (ko) | 넌-4:4:4 크로마 서브-샘플링의 디스플레이 스트림 압축 (dsc) 을 위한 엔트로피 코딩 기법들 | |
| CN101577828B (zh) | 用于比特深度可分级的视频编解码器的色调映射 | |
| JP4510465B2 (ja) | イメージ／ビデオ符号器及び／又は復号器における変換係数の符号化 | |
| CN101889447B (zh) | 扩展avc标准以与视频串行地对高分辨率数字静止画面编码 | |
| US20160316215A1 (en) | Scalable video coding system with parameter signaling | |
| KR101266667B1 (ko) | 장치 내 제어기에서 프로그래밍되는 압축 방법 및 시스템 | |
| JP2008172599A5 (zh) | ||
| JP2008067395A (ja) | 適応可変長符号化 | |
| KR20170016849A (ko) | 디스플레이 스트림 압축 (dsc) 을 위한 엔트로피 코딩 기법들 | |
| CN100440975C (zh) | 提高压缩视频比特流中的平均图像刷新速率的方法和设备 | |
| TWI626841B (zh) | 具有減少色彩解析度的視訊流之自適應處理 | |
| CN112235606A (zh) | 一种多层视频处理方法、系统和可读存储介质 | |
| WO2011031592A2 (en) | Bitstream syntax for graphics-mode compression in wireless hd 1.1 | |
| GB2371434A (en) | Encoding and transmitting video data | |
| Ferrara et al. | The next frontier for MPEG-5 LCEVC: from HDR and immersive video to the metaverse | |
| Dong et al. | A demo of semantic communication: Rosefinch | |
| US11356683B2 (en) | Creating different video stream representations | |
| KR102312668B1 (ko) | 비디오 트랜스코딩 시스템 | |
| KR20060127344A (ko) | 컴퓨터 스크린 이미지 압축 장치 및 그 방법 | |
| EP3096520B1 (en) | A method for encoding/decoding a picture block | |
| KR20170032605A (ko) | 영상 칼라성분 샘플링 위치 정보 전송을 통한 비디오 신호 복호화 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C41 | Transfer of patent application or patent right or utility model | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20161110 Address after: 710065, D102, building 4, Maple new city, F District, Xi'an hi tech Zone, Shaanxi, China Applicant after: XI'AN WANXIANG ELECTRONIC TECHNOLOGY CO., LTD. Address before: 710000 hi tech Zone, hi tech Zone, Shaanxi, Xi'an Province, 20B1 Red Cross building, four Applicant before: Zhong Yanpei |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |