CN109831668B - 数据压缩方法及装置、数据编码/解码方法及装置 - Google Patents
数据压缩方法及装置、数据编码/解码方法及装置 Download PDFInfo
- Publication number
- CN109831668B CN109831668B CN201811630766.2A CN201811630766A CN109831668B CN 109831668 B CN109831668 B CN 109831668B CN 201811630766 A CN201811630766 A CN 201811630766A CN 109831668 B CN109831668 B CN 109831668B
- Authority
- CN
- China
- Prior art keywords
- block
- text
- data
- color
- background information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
Abstract
本申请公开了一种数据压缩方法及装置、数据编码/解码方法及装置，本申请数据编码方法，在编码前先对待处理的编码块进行分类，对于不同类型的待处理的编码块采用有损编码或无损编码，满足了降低传输带宽占用；而且，解码端利用色度信息对有损编码后的码流进行解码后的数据进行必要的色彩补偿，保证了传输后的数据的保真度。
Description
技术领域
本申请涉及但不限于视频处理技术，尤指一种数据压缩方法及装置、数据编码/解码方法及装置。
背景技术
随着云计算、虚拟桌面等技术的普及，大量的远端数据需要通过网络传输到用户端进行处理，基于现有的图像压缩技术已经满足不了窄带宽网络状况下桌面内容的传输，因此，基于屏幕内容的视频编码技术被广泛应用在虚拟桌面领域。
为了实现云桌面场景下画面质量的高保真，当前基于屏幕内容的视频编码方案大致分为两类，一类是采用色码表编码方案，另一类是采用有损压缩编码方案。其中，色码表编码方案大致包括：根据文字块的色彩分布，将相似颜色归类，生成同一色码表后，对该色码表使用无损压缩，并在解码端根据索引值完全恢复文字块内容。色码表编码方案适用于色彩分布相对单一的文字块，当色彩分布复杂，划分种类繁多时，色码表编码方案编码效率低下，通常会切换到JPEG算法。有损压缩编码方案大致包括：视频采样格式一般采用4:4:4的完整采样方式(也是一种无损压缩方式)，这使得屏幕内容的色度可以完整的保留，因此在编码过程中会消耗更多的编码位，并且为了保证人眼比较敏感的字体清晰度，一般对字体使用完全无损的压缩，但是，这样会导致传输带宽增加，编码效率降低。
发明内容
本申请提供一种数据压缩方法及装置、数据编码/解码方法及装置，能够在降低传输带宽占用的同时，确保数据传输的保真度。
本申请提供了一种数据压缩方法，包括：
根据像素分布信息确定待处理的编码块为图像块或文字块；
对于确定出的文字块，获取色度信息，根据色度信息确定文字块是否包含彩色背景信息；
对确定出的图像块进行有损压缩，对不包含彩色背景信息的文字块进行有损压缩，对包含彩色背景信息的文字块进行无损压缩。
本申请还提供了一种数据编码方法，包括：
根据像素分布信息确定待处理的编码块为图像块或文字块；
对于确定出的文字块，获取色度信息，根据色度信息确定文字块是否包含彩色背景信息；
对确定出的图像块进行有损压缩，对不包含彩色背景信息的文字块进行有损压缩，对包含彩色背景信息的文字块进行无损压缩；
对无损压缩后的信息进行无损编码、对有损压缩后的信息进行有损编码，对色度信息进行编码，以完成对待处理的编码块的编码。
本申请还提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行上述任一项所述的数据压缩方法，和/或上述任一项所述的数据编码方法。
本申请还提供了一种数据压缩装置，包括处理器、存储器；其中，存储器上存储有可在处理器上运行的计算机程序：用于执行上述任一项所述的数据压缩方法的步骤。
本申请又提供了一种数据编码装置，包括处理器、存储器；其中，存储器上存储有可在处理器上运行的计算机程序：用于执行上述任一项所述的数据编码方法的步骤。
本申请再提供了一种数据解码方法，包括：
获取待解码数据包，确定待解码数据包包括无损数据包或有损数据包；
对无损数据包解码后填入解码帧中，确定有损数据包为图像块或文字块；
对图像块进行解码后填入解码帧中；对文字块解码，并根据待解码数据包中的色度信息对解码后的文字块进行补偿后填入解码帧中。
本申请还提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行上述任一项所述的数据解码方法。
本申请又提供了一种数据解码装置，包括处理器、存储器；其中，存储器上存储有可在处理器上运行的计算机程序：用于执行上述任一项所述的数据解码方法的步骤。
本申请在编码前先对待处理的编码块进行分类，对于不同类型的待处理的编码块采用有损编码或无损编码，满足了降低传输带宽占用；而且，解码端利用色度信息对有损编码后的码流进行解码后的数据进行必要的色彩补偿，保证了传输后的数据的保真度。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本申请技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。
图1为本申请数据压缩方法的流程图；
图2为本申请数据压缩装置的组成结构示意图；
图3为本申请数据编码装置的组成结构示意图；
图4为本申请数据解码方法的流程图；
图5为本申请数据解码装置的组成结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚明白，下文中将结合附图对本申请的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
相关技术中，YUV4:2:2亚采样方式是一种有损压缩方式，是在保证亮度分量Y完整性的同时，在水平方向上每两组分量即色度分量cb和色度分量cr共用一组亮度分量Y取值进行编解码，使用这种采样方式会减少色度分量Y的传输，达到降低带宽占用的目的，但是，由于屏幕内容视频中含有大量细线条如字体、边框等，有些甚至是像素为1的单色线条，经过上述采样后会造成显示内容保真度的降低。本申请发明人通过分析发现，如果编码前，先对屏幕内容进行分类，而后对于不同类型的屏幕内容采取不同的编码策略，以实现满足降低传输带宽占用；同时，在解码时通过有损压缩的部分进行补偿，以确保显示内容的保真度。
图1为本申请数据压缩方法的流程图，如图1所示，包括：
步骤100：根据像素分布信息确定待处理的编码块为图像块或文字块。
在一种示例性实例中，本步骤可以包括：
根据待处理的编码块内部像素分布的梯度特征和色彩分布信息，从待处理的编码块中区分出图像块和文字块。
首先计算该区域的文理特征，利用文本较强边界与非文本区域的较大对比度，区分出图像场景和文字场景。
在一种示例性实例中，本步骤之前还可以包括：
针对原始屏幕数据中的变化区域，对原始屏幕数据的像素进行色彩空间转换，即对原始屏幕数据的像素进行RGB色彩空间到YUV色彩空间如YUV4:4:4色彩空间的色彩空间转换；
按照编码单元大小对原始屏幕数据进行块的划分以得到所述待处理的编码块。
其中，YUV是指亮度参量和色度参量分开表示的像素格式，Y表示明亮度(Luminance、Luma)，U和V表示色度(Chrominance、Chroma)。
YUV4:4:4采样，意味着亮度分量Y、色度分量U、色度分量V这三个分量的采样比例相同，因此，在生成的图像中，每个像素的三个分量信息完整，都是8比特bit即一个字节。
步骤101：获取色度信息，根据色度信息确定文字块是否包含彩色背景信息。
在一种示例性实例中，本步骤可以包括：
对单个编码单元如16X16的编码单元进行色彩种类的统计以获取色度信息；
当统计出的色彩种类超过(比如大于或等于)预先设置的第一阈值，那么，确定出文字块为彩色背景区域类，即该文字块包含彩色背景信息；当统计出的色彩种类低于(比如小于)预先设置的第一阈值，那么，确定出文字块为非彩色背景区域类，即该文字块不包含彩色背景信息。
这里，预先设置的第一阈值可以是根据实际应用场景和经验配置的。
可选地，在一种示例性实例中，当统计出的色彩种类低于预先设置的第一阈值，即该文字块不包含彩色背景信息，还可以包括：
如果文字块的大部分像素色度分布在预设值的预设误差范围内如128附近，那么，确定文字块为非彩色背景和彩色文字区域类，即该文字块不包含彩色背景信息但文字是彩色文字；
如果文字块的像素色度值均分布在预设值的预设误差范围内如128附近，那么，表明该文字块没有色彩信息，确定该文字块为非彩色背景和非彩色文字区域类，即该文字块不包含彩色背景信息且文字是非彩色文字。
在一种示例性实例中，本步骤中的获取色度信息，包括：
对于包含彩色背景信息的文字块，对文字块进行色彩种类的统计；当出现亮度分量Y相同，而色度分量相差大于预先设置的第一阈值时，采用亮度分量Y进行偏移处理，将亮度分量Y的值进行偏移后用来区分不同的色彩。
对于不包含彩色背景信息的文字块，如果该文字块不包含彩色背景信息但文字是彩色文字，对文字块进行色彩种类的统计；当出现亮度分量Y相同，而色度分量相差大于预先设置的第一阈值时，采用亮度分量Y进行偏移处理，将亮度分量Y的值进行偏移后用来区分不同的色彩。如果该文字块不包含彩色背景信息且文字是非彩色文字，则不对文字块进行色彩种类的统计。
这里，统计出的色度信息可以用于对有损编码后的码流进行解码后的数据进行必要的色彩补偿，以保证传输后的数据的保真度。
步骤102：对图像块进行有损压缩，对不包含彩色背景信息的文字块进行有损压缩，对包含彩色背景信息的文字块进行无损压缩。
在一种示例性实例中，对图像块进行亚采样以实现有损压缩。
在一种示例性实例中，对不包含彩色背景信息的文字块进行亚采样以实现有损压缩。
在一种示例性实例中，对包含彩色背景信息的文字块进行全采样以实现无损压缩。
在一种示例性实例中，亚采样可以包括但不限于如YUV4:2:2采样、YUV4:2:0等。其中，YUV 4:2:2采样，意味着色度分量U、色度分量V是亮度分量Y采样的一半，亮度分量Y和色度分量U、色度分量V按照2：1的比例采样。比如：如果水平方向有10个像素点，那么，采样10个亮度分量Y，只采样5个色度分量U、色度分量V。
在一种示例性实例中，全采样可以包括但不限于如YUV4:4:4采样等。
在一种示例性实例中，对包含彩色背景信息的文字块，对亮度分量Y进行全采样以实现无损压缩，对色度分量U、色度分量V进行亚采样以实现有损压缩。
可选地，在一种示例性实例中，如果将不包含彩色背景信息的文字块进一步区分为：不包含彩色背景信息但文字是彩色文字的文字块，以及不包含彩色背景信息且文字是非彩色文字的文字块；那么，本步骤中的对不包含彩色背景信息的文字块进行亚采样以实现有损压缩，包括：
对不包含彩色背景信息但文字是彩色文字的文字块进行亚采样以实现有损压缩；
对不包含彩色背景信息且文字是非彩色文字的文字块进行亚采样以实现有损压缩。
本申请数据压缩方法，在编码前先对待处理的编码块进行分类，对于不同类型的待处理的编码块采用不同的压缩方式进行采样，满足了降低传输带宽占用。
本申请还提供一种数据编码方法，在图1所示的数据压缩方法的基础上，还包括：
步骤103：对无损压缩后的信息进行无损编码、对有损压缩后的信息进行有损编码，对色度信息进行编码，以完成对待处理的编码块的编码。
在一种示例性实例中，可以调用无损编码器对无损压缩后的信息进行无损编码，可以调用有损编码器对有损压缩后的信息进行有损编码，可以调用无损编码器对色度信息进行编码。
在一种示例性实例中，无损编码器可以包括但不限于：ZLIB，GLZ等编码器。
在一种示例性实例中，有损编码器可以包括但不限于：X264，X265等编码器。
本申请数据编码方法，在编码前先对待处理的编码块进行分类，对于不同类型的待处理的编码块采用有损编码或无损编码，满足了降低传输带宽占用；而且，解码端利用色度信息对有损编码后的码流进行解码后的数据进行必要的色彩补偿，保证了传输后的数据的保真度。
这样，通过本申请数据编码方法得到有损编码数据包、无损编码数据包和色度编码数据包，整合得到的数据包后得到待解码数据包，整合后的码流会输出给接收端，接收端解码后可以恢复出编码前的原始信息，解码的具体实现请参见图4所示。
需要说明的是，本申请中不同类型的压缩块、不同类型的编码数据包、色度信息等均设置有不同的标识，以便接收端在采用不同解码策略是进行区分。
本申请兼容且不限于当前应用广泛的如H.264、H.265等视频传输协议，本申请中用于区分不同压缩类型、不同编码类型、色度信息等的标识信息，可以通过视频协议的NAL单元扩展字段来记录。以H.264或H.265数据帧以00 00 00 01或00 00 01为分隔符分割网络抽样层(NAL，Network Abstract Layer)单元为例，H.264中字段5代表即时解码刷新(IDR，Instantaneous Decoding Refresh)帧，字段7代表序列参数集(SPS，SequenceParameter Set)，自算8代表图像参数集(PPS，Picture Parameter Set)。本申请可以利用NAL保留字段16-18，分别保存上述标识信息等信息，以便在解码端解码时使用。
本发明实施例还提供一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行上述任一项所述的数据压缩方法和/或数据编码方法。
本发明实施例还提供一种数据压缩装置，包括处理器、存储器；其中，存储器上存储有可在处理器上运行的计算机程序：用于执行上述任一项数据压缩方法的步骤
本发明实施例又提供一种数据编码装置，包括处理器、存储器；其中，存储器上存储有可在处理器上运行的计算机程序：用于执行上述任一项数据编码方法的步骤。
图2为本申请数据压缩装置的组成结构示意图，如图2所示，至少包括：第一区分模块、第二区分模块、统计模块、有损压缩模块，以及无损压缩模块；其中，
第一区分模块，用于根据像素分布信息确定待处理的编码块为图像块或文字块；
第二区分模块，用于根据像素的色度确定文字块是否包含彩色背景信息；
统计模块，用于获取文字块的色度信息；
有损压缩模块，用于对图像块进行有损压缩，对不包含彩色背景信息的文字块进行有损压缩；
无损压缩模块，用于对包含彩色背景信息的文字块进行无损压缩。
可选地，在一种示例性实例中，本申请数据压缩装置还可以包括：
第三区分模块，用于根据色度分布情况确定不包含彩色背景信息的文字块为不包含彩色背景信息但文字是彩色文字的文字块，或为不包含彩色背景信息且文字是非彩色文字的文字块；此时，
统计模块具体用于：统计包含彩色背景信息的文字块的色度信息，统计不包含彩色背景信息但文字是彩色文字的文字块的色度信息。
在一种示例性实例中，第二区分模块具体用于：
当统计出的色彩种类超过(比如大于或等于)预先设置的第一阈值，那么，确定出文字块为彩色背景区域类，即该文字块包含彩色背景信息；当统计出的色彩种类低于(比如小于)预先设置的第一阈值，那么，确定出文字块为非彩色背景区域类，即该文字块不包含彩色背景信息。
在一种示例性实例中，第三区分模块具体用于：
如果文字块的大部分像素色度分布在预设值的预设误差范围内如128附近，那么，确定文字块为非彩色背景和彩色文字区域类，即该文字块不包含彩色背景信息但文字是彩色文字；如果文字块的像素色度值均分布在预设值的预设误差范围内如128附近，那么，表明该文字块没有色彩信息，确定该文字块为非彩色背景和非彩色文字区域类，即该文字块不包含彩色背景信息且文字是非彩色文字。
图3为本申请数据编码装置的组成结构示意图，如图3所示，至少包括：第一区分模块、第二区分模块、统计模块、有损压缩模块、无损压缩模块、有损编码器、无损编码器；其中，
第一区分模块，用于根据像素分布信息确定待处理的编码块为图像块或文字块；
第二区分模块，用于根据像素的色度确定文字块是否包含彩色背景信息；
统计模块，用于获取文字块的色度信息；
有损压缩模块，用于对图像块进行有损压缩，对不包含彩色背景信息的文字块进行有损压缩；
无损压缩模块，用于对包含彩色背景信息的文字块进行无损压缩；
有损编码器，用于对有损压缩后的信息进行有损编码；
无损编码器，用于对无损压缩后的信息进行无损编码；对色度信息进行编码。
图3中的第一区分模块、第二区分模块、统计模块、有损压缩模块和无损压缩模块的具体实现与图2中一致，这里不再赘述。
在一种示例性实例中，无损编码器可以包括但不限于：ZLIB，GLZ等编码器。
在一种示例性实例中，有损编码器可以包括但不限于：X264，X265等编码器。
图4为本申请数据解码方法的流程图，如图4所示，包括：
步骤400：获取待解码数据包，确定待解码数据包包括无损数据包或有损数据包。
在一种示例性实例中，待解码数据包中包括以下任一项或任意组合：有损编码数据包、无损编码数据包、色度编码数据包。
在一种示例性实例中，无损编码数据包包括：编码后的包含彩色背景信息的文字块；有损编码数据包包括：编码后的图像块、编码后的不包含彩色背景信息的文字块。
在一种示例性实例中，无损编码数据包包括：编码后的包含彩色背景信息的文字块中的亮度分量；有损编码数据包包括：编码后的图像块、编码后的包含彩色背景信息的文字块中的色度分量、不包含彩色背景信息但文字是彩色文字的文字块、不包含彩色背景信息且文字是非彩色文字的文字块。
步骤401：对无损数据包解码后填入解码帧中，确定有损数据包为图像块或文字块。
在一种示例性实例中，可以调用无损解码器对无损数据包进行解码。
在一种示例性实例中，无损解码器可以包括但不限于：ZLIB，GLZ等解码器。
在一种示例性实例中，解码帧可以是一种完全抽样的YUV4:4:4的数据帧。
步骤402：对图像块进行解码后填入解码帧中；对文字块解码，并根据待解码数据包中的色度信息对解码后的文字块进行补偿后填入解码帧中。
在一种示例性实例中，可以调用有损解码器对有损数据包进行解码。
在一种示例性实例中，有损解码器可以包括但不限于：X264，X265等解码器。
在一种示例性实例中，在对解码后的文字块进行补偿之前，还包括：
调用解码器，对待解码数据包中的色度编码数据包进行解码，得到色度信息。
在一种示例性实例中，解码器可以包括：有损解码器或无损解码器。
本步骤中的对解码后的文字块进行补偿的具体实现并不用于限定本申请的保护范围。
在一种实例性实例中，如果有损编码数据包包括：不包含彩色背景信息且文字是非彩色文字的文字块。那么，对解码出的不包含彩色背景信息且文字是非彩色文字的文字块的补偿，包括：
根据亮度分量Y值将色度值128回填至解码帧。也就是说，此时的色度信息不是来自待解码数据包中的色度信息。
本申请数据解码方法中，按照数据包的不同编码方式进行直接解码或补偿后解码的方式，既保证了处理效率，也保证了对某些信息如文字信息的保真度。
这样，将解码后得到的解码数据帧，从YUV色彩空间转换到显示需要的RGB色彩空间中,即可得到编码前的原始信息并显示。
本发明实施例还提供一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行上述任一项所述的数据解码方法。
本发明实施例还提供一种数据解码装置，包括处理器、存储器；其中，存储器上存储有可在处理器上运行的计算机程序：用于执行上述任一项数据解码方法的步骤。
图5为本申请数据解码装置的组成结构示意图，如图5所示，至少包括：第一处理模块、第二处理模块、第三处理模块、第四处理模块、有损解码器、解码器、无损解码器；其中，
第一处理模块，用于确定待解码数据包包括无损数据包或有损数据包；
第二处理模块，用于确定有损数据包为图像块或文字块；
有损解码器，用于对图像块进行解码后输出给第四处理模块；对文字块解码输出给第三处理模块；
解码器，用于对色度信息数据包进行解码得到色度信息；
无损解码器，用于对无损数据包解码后输出给第四处理模块；
第三处理模块，用于根据得到的色度信息对解码后的文字块进行补偿后输出给第四处理模块；
第四处理模块，用于将解码后的信息填入解码帧中。
在一种示例性实例中，无损编码数据包包括：编码后的包含彩色背景信息的文字块；有损编码数据包包括：编码后的图像块、编码后的不包含彩色背景信息的文字块。
在一种示例性实例中，无损编码数据包包括：编码后的包含彩色背景信息的文字块中的亮度分量；有损编码数据包包括：编码后的图像块、编码后的包含彩色背景信息的文字块中的色度分量、不包含彩色背景信息但文字是彩色文字的文字块、不包含彩色背景信息且文字是非彩色文字的文字块。
在一种实例性实例中，如果有损编码数据包包括：不包含彩色背景信息且文字是非彩色文字的文字块。那么，第三处理模块具体用于：根据亮度分量Y值将色度值128，对解码出的不包含彩色背景信息且文字是非彩色文字的文字块进行补偿。也就是说，此时的色度信息不是来自待解码数据包中的色度信息。
在一种示例性实例中，解码帧可以是一种完全抽样的YUV4:4:4的数据帧。
在一种实例性实例中，本申请解码端根据不同解码数据，进行不同程度的数据补偿，恢复处理完整的YUV4:4:4显示码流。
下面以云桌面场景下，对屏幕内容的传输为例，结合具体实施例对本申请获取网络拓扑的方法进行详细描述。
第一实施例，以待处理的编码块为图像块为例，包括：
首先，云桌面中的云服务器(server)从共享内存中获取原始桌面像素数据，将获得的原始桌面像素数据从RGB像素转换为YUV格式的像素，并按照编码单元大小对原始桌面数据进行块的划分以得到所述待处理的编码块；第一实施例中，假设根据当前待处理的编码块的像素梯度分布和色彩分布，判断出为图像块；
然后，对该图像块进行色度亚采样如YUV4:2:2采样，将像素格式由YUV4:4:4格式采样为YUV4:2:2格式，以实现对图像块的有损压缩；调用有损编码器对有损压缩后的信息进行有损编码得到有损编码数据包，并建立包括有损编码数据包的桌面传输码流；
之后，云终端在收到待解码数据包，并确定出有损编码数据包中包括的是图像块后，调用有损解码器对有损编码数据包进行解码；
最后，将解码后得到的像素进行空间转换，转换为最终显示需要的RGB像素并显示。
第二实施例，以待处理的编码块为包含彩色背景的文字块为例，包括：
首先，云桌面中的server从共享内存中获取原始桌面像素数据，将获得的原始桌面像素数据从RGB像素转换为YUV格式的像素，并按照编码单元大小对原始桌面数据进行块的划分以得到所述待处理的编码块；第二实施例中，假设根据当前待处理的编码块的像素梯度分布和色彩分布，判断出为文字块，并进一步根据色度信息确定出文字块是包含彩色背景的文字块；
这种情况下，需要对当前块进行色度统计以得到色度信息。当出现亮度分量Y相同，而色度分量相差大于预先设置的第一阈值时，采用亮度分量Y进行偏移处理，将亮度分量Y的值进行偏移后用来区分不同的色彩。
然后，对当前块的色度分量进行色度亚采样如YUV4:2:2采样，以实现有损压缩，并调用有损编码器编码；对当前块的亮度分量进行全采样如YUV4:4:4采样，以实现无损压缩，并调用无损编码器编码；调用编码器对色度信息进行编码。整合包括编码后的有损编码数据包、编码后的无损数据包和编码后的色度数据包，得到桌面传输码流；
之后，云终端在收到待解码数据包，调用无损解码器对无损编码数据包进行解码；调用有损解码器对有损编码数据包进行解码，并根据解码得到的色度信息对解码得到的色度分量进行补偿；
最后，将解码和补偿后得到的像素进行空间转换，转换为最终显示需要的RGB像素并显示。
第三实施例，以待处理的编码块为不包含彩色背景信息但文字是彩色文字的文字块为例，包括：
首先，云桌面中的server从共享内存中获取原始桌面像素数据，将获得的原始桌面像素数据从RGB像素转换为YUV格式的像素，并按照编码单元大小对原始桌面数据进行块的划分以得到所述待处理的编码块；第三实施例中，假设根据当前待处理的编码块的像素梯度分布和色彩分布，判断出为文字块，并进一步根据色度信息确定出文字块是办公场景下较为常见的：不包含彩色背景但文字是彩色文字的文字块；
这种情况下，需要对当前块进行色度统计以得到色度信息。当出现亮度分量Y相同，而色度分量相差大于预先设置的第一阈值时，采用亮度分量Y进行偏移处理，将亮度分量Y的值进行偏移后用来区分不同的色彩。
然后，对当前文字块进行色度亚采样如YUV4:2:2采样，以实现对文字块的有损压缩，并调用有损编码器编码；调用编码器对色度信息进行编码。整合包括编码后的有损编码数据包和编码后的色度数据包，得到桌面传输码流；
之后，云终端在收到待解码数据包，调用有损解码器对有损编码数据包进行解码，并根据解码得到的色度信息对解码得到的文字块的色度分量进行补偿；
最后，将解码和补偿后得到的像素进行空间转换，转换为最终显示需要的RGB像素并显示。
第四实施例，以待处理的编码块为不包含彩色背景信息且文字是非彩色文字的文字块为例，包括：
首先，云桌面中的server从共享内存中获取原始桌面像素数据，将获得的原始桌面像素数据从RGB像素转换为YUV格式的像素，并按照编码单元大小对原始桌面数据进行块的划分以得到所述待处理的编码块；第三实施例中，假设根据当前待处理的编码块的像素梯度分布和色彩分布，判断出为文字块，并进一步根据色度信息确定出文字块是办公场景下较为常见的：不包含彩色背景且文字是非彩色文字的文字块；
本实施例中，由于该文字块以黑白色为主，色度分量分布在128左右，所以可以省略对色度信息的统计，直接进行采样后调用有损编码器编码，因此，对当前文字块进行色度亚采样如YUV4:2:2采样，以实现对文字块的有损压缩，并调用有损编码器编码；调用编码器对色度信息进行编码。整合包括编码后的有损编码数据包和编码后的色度数据包，得到桌面传输码流；
之后，云终端在收到待解码数据包，调用有损解码器对有损编码数据包进行解码，并通过根据亮度分量Y值将色度值128的回填实现对解码得到的文字块的色度分量进行补偿；
最后，将解码和补偿后得到的像素进行空间转换，转换为最终显示需要的RGB像素并显示。
以上所述，仅为本发明的较佳实例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (29)
1.一种数据压缩方法，包括：
根据像素分布信息确定待处理的编码块为图像块或文字块；
对于确定出的文字块，获取色度信息，根据色度信息确定文字块是否包含彩色背景信息；
对确定出的图像块进行有损压缩，对不包含彩色背景信息的文字块进行有损压缩，对包含彩色背景信息的文字块进行无损压缩；
所述确定文字块是否包含彩色背景信息，包括：
对单个编码单元进行色彩种类的统计以获取色度信息；
当统计出的色彩种类超过预先设置的第一阈值，确定出所述包含彩色背景信息的文字块；当统计出的色彩种类低于预先设置的第一阈值，确定出所述文字块为不包含彩色背景信息的文字块。
2.根据权利要求1所述的数据压缩方法，所述方法还包括：
针对原始屏幕数据中的变化区域，对原始屏幕数据的像素进行色彩空间转换，得到YUV4：4：4色彩空间的全采样的原始屏幕数据；
按照编码单元大小对原始屏幕数据进行块的划分以得到所述待处理的编码块；
其中，YUV是亮度参量和色度参量分开表示的像素格式，Y表示明亮度，U和V表示色度。
3.根据权利要求1或2所述的数据压缩方法，其中，所述确定待处理的编码块为图像块或文字块，包括：
根据所述待处理的编码块内部像素分布的梯度特征和色彩分布信息，从所述待处理的编码块中区分出所述图像块和所述文字块。
4.根据权利要求1所述的数据压缩方法，当所述文字块为不包含彩色背景信息，所述方法还包括：
如果所述文字块的大部分像素色度分布在预设值的预设误差范围内，确定出所述文字块为不包含彩色背景信息但文字是彩色文字的文字块；
如果所述文字块的像素色度值均分布在预设值的预设误差范围内，确定出所述文字块为不包含彩色背景信息且文字是非彩色文字的文字块。
5.根据权利要求1所述的数据压缩方法，其中，所述对图像块进行有损压缩，包括：
对所述图像块进行亚采样。
6.根据权利要求1所述的数据压缩方法，其中，所述对不包含彩色背景信息的文字块进行有损压缩，包括：
对所述不包含彩色背景信息的文字块进行亚采样。
7.根据权利要求1所述的数据压缩方法，其中，所述对包含彩色背景信息的文字块进行无损压缩，包括：
对所述包含彩色背景信息的文字块进行全采样；
或者，针对所述包含彩色背景信息的文字块，对亮度分量进行全采样，对色度分量进行亚采样。
8.根据权利要求4所述的数据压缩方法，其中，所述对不包含彩色背景信息的文字块进行亚采样以实现有损压缩，包括：
对所述不包含彩色背景信息但文字是彩色文字的文字块进行亚采样；
对所述不包含彩色背景信息且文字是非彩色文字的文字块进行亚采样。
9.根据权利要求5～8任一项所述的数据压缩方法，其中，所述亚采样包括：YUV4:2:2采样或YUV4：2：0；全采样包括：YUV4:4:4采样。
10.一种数据编码方法，包括：
根据像素分布信息确定待处理的编码块为图像块或文字块；
对于确定出的文字块，获取色度信息，根据色度信息确定文字块是否包含彩色背景信息；
对确定出的图像块进行有损压缩，对不包含彩色背景信息的文字块进行有损压缩，对包含彩色背景信息的文字块进行无损压缩；
对无损压缩后的信息进行无损编码、对有损压缩后的信息进行有损编码，对色度信息进行编码，以完成对待处理的编码块的编码；
所述确定文字块是否包含彩色背景信息，包括：
对单个编码单元进行色彩种类的统计以获取色度信息；
当统计出的色彩种类超过预先设置的第一阈值，确定出所述包含彩色背景信息的文字块；当统计出的色彩种类低于预先设置的第一阈值，确定出所述文字块为不包含彩色背景信息的文字块。
11.根据权利要求10所述的数据编码方法，其中，所述确定待处理的编码块为图像块或文字块，包括：
根据所述待处理的编码块内部像素分布的梯度特征和色彩分布信息，从所述待处理的编码块中区分出所述图像块和所述文字块。
12.根据权利要求10所述的数据编码方法，当所述文字块为不包含彩色背景信息，所述方法还包括：
如果所述文字块的大部分像素色度分布在预设值的预设误差范围内，确定出所述文字块为不包含彩色背景信息但文字是彩色文字的文字块；
如果所述文字块的像素色度值均分布在预设值的预设误差范围内，确定出所述文字块为不包含彩色背景信息且文字是非彩色文字的文字块。
13.根据权利要求10所述的数据编码方法，其中，
所述对图像块进行有损压缩，包括：
对所述图像块进行亚采样；
所述对不包含彩色背景信息的文字块进行有损压缩，包括：
对所述不包含彩色背景信息的文字块进行亚采样；
所述对包含彩色背景信息的文字块进行无损压缩，包括：
对所述包含彩色背景信息的文字块进行全采样；或者，
针对所述包含彩色背景信息的文字块，对亮度分量进行全采样，对色度分量进行亚采样。
14.根据权利要求12所述的数据编码方法，其中，所述对不包含彩色背景信息的文字块进行亚采样以实现有损压缩，包括：
对所述不包含彩色背景信息但文字是彩色文字的文字块进行亚采样；
对所述不包含彩色背景信息且文字是非彩色文字的文字块进行亚采样。
15.根据权利要求13或14所述的数据编码方法，其中，所述亚采样包括：YUV4:2:2采样或YUV4：2：0；全采样包括：YUV4:4:4采样。
16.根据权利要求10所述的数据编码方法，其中，所述对无损压缩后的信息进行无损编码、对有损压缩后的信息进行有损编码，对色度信息进行编码，包括：
调用无损编码器对所述无损压缩后的信息进行所述无损编码，调用有损编码器对所述有损压缩后的信息进行所述有损编码，调用无损编码器对所述色度信息进行编码。
17.根据权利要求10所述的数据编码方法，所述方法还包括：
采用标识信息区分不同类型的所述压缩后的信息、不同类型的所述编码后的数据包、编码后的所述色度信息。
18.根据权利要求17所述的数据编码方法，其中，所述标识信息携带在网络抽样层NAL单元中。
19.一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行权利要求1～权利要求9任一项所述的数据压缩方法，和/或权利要求10～权利要求18任一项所述的数据编码方法。
20.一种数据压缩装置，包括处理器、存储器；其中，存储器上存储有可在处理器上运行的计算机程序：用于执行权利要求1～权利要求9任一项所述的数据压缩方法的步骤。
21.一种数据编码装置，包括处理器、存储器；其中，存储器上存储有可在处理器上运行的计算机程序：用于执行权利要求10～权利要求18任一项所述的数据编码方法的步骤。
22.一种数据解码方法，包括：
获取待解码数据包，确定待解码数据包包括无损编码数据包或有损编码数据包；
对无损数据包解码后填入解码帧中，确定有损数据包为图像块或文字块；
对图像块进行解码后填入解码帧中；对文字块解码，并根据待解码数据包中的色度信息对解码后的文字块进行补偿后填入解码帧中；
无损编码数据包包括：编码后的包含彩色背景信息的文字块；
有损编码数据包包括：编码后的图像块、编码后的不包含彩色背景信息的文字块。
23.根据权利要求22所述的数据解码方法，其中，所述待解码数据包中包括以下任一项或任意组合：有损编码数据包、无损编码数据包、色度编码数据包。
24.根据权利要求23所述的数据解码方法，其中，
所述无损编码数据包还包括：编码后的包含彩色背景信息的文字块中的亮度分量；
所述有损编码数据包还包括：编码后的图像块、编码后的包含彩色背景信息的文字块中的色度分量、不包含彩色背景信息但文字是彩色文字的文字块、不包含彩色背景信息且文字是非彩色文字的文字块。
25.根据权利要求22所述的数据解码方法，所述对解码后的文字块进行补偿之前，还包括：
调用解码器，对所述待解码数据包中的色度编码数据包进行解码，得到色度信息。
26.根据权利要求25所述的数据解码方法，其中，所述有损编码数据包包括不包含彩色背景信息且文字是非彩色文字的文字块；所述对解码后的文字块进行补偿，包括：
根据亮度分量Y值将色度值128回填至所述解码帧。
27.根据权利要求25所述的数据解码方法，其中，所述解码帧是完全抽样的YUV4:4:4的数据帧。
28.一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行权利要求22～权利要求27任一项所述的数据解码方法。
29.一种数据解码装置，包括处理器、存储器；其中，存储器上存储有可在处理器上运行的计算机程序：用于执行权利要求22～权利要求27任一项所述的数据解码方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811630766.2A CN109831668B (zh) | 2018-12-29 | 2018-12-29 | 数据压缩方法及装置、数据编码/解码方法及装置 |
| PCT/CN2019/127600 WO2020135357A1 (zh) | 2018-12-29 | 2019-12-23 | 数据压缩方法及装置、数据编码/解码方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811630766.2A CN109831668B (zh) | 2018-12-29 | 2018-12-29 | 数据压缩方法及装置、数据编码/解码方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109831668A CN109831668A (zh) | 2019-05-31 |
| CN109831668B true CN109831668B (zh) | 2022-06-24 |
Family
ID=66860002
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811630766.2A Active CN109831668B (zh) | 2018-12-29 | 2018-12-29 | 数据压缩方法及装置、数据编码/解码方法及装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN109831668B (zh) |
| WO (1) | WO2020135357A1 (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109831668B (zh) * | 2018-12-29 | 2022-06-24 | 中兴通讯股份有限公司 | 数据压缩方法及装置、数据编码/解码方法及装置 |
| CN110492888A (zh) * | 2019-08-26 | 2019-11-22 | 武汉和时利自动化系统工程有限公司 | 一种水处理系统的数据编码及解码系统及方法 |
| CN111200740A (zh) * | 2020-01-09 | 2020-05-26 | 西安万像电子科技有限公司 | 编码方法及编码器 |
| CN111447450A (zh) * | 2020-03-16 | 2020-07-24 | 西安万像电子科技有限公司 | 数据处理方法及设备 |
| CN113129395B (zh) * | 2021-05-08 | 2021-09-10 | 深圳市数存科技有限公司 | 一种数据压缩加密系统 |
| CN113676728A (zh) * | 2021-08-25 | 2021-11-19 | 国网吉林省电力有限公司长春供电公司 | 一种数字化台区非结构化数据压缩方法 |
| CN115208413B (zh) * | 2022-09-14 | 2023-01-17 | 北京四维纵横数据技术有限公司 | 链式编码压缩方法、装置、计算机设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1452388A (zh) * | 2002-04-17 | 2003-10-29 | 佳能株式会社 | 图像压缩方法及装置、图像编码装置及图像编码方法 |
| CN101217668A (zh) * | 2008-01-14 | 2008-07-09 | 浙江大学 | 基于块分类的混合图像压缩方法 |
| CN102098507A (zh) * | 2010-06-08 | 2011-06-15 | 同济大学 | 图像统合压缩方法及装置 |
| CN102164167A (zh) * | 2011-02-21 | 2011-08-24 | 北京奇虎科技有限公司 | 一种用于远程控制的分类传输方法和系统 |
| CN103873877A (zh) * | 2012-12-14 | 2014-06-18 | 华为技术有限公司 | 远程桌面的图像传输方法及装置 |
| CN103886623A (zh) * | 2012-12-19 | 2014-06-25 | 华为技术有限公司 | 一种图像压缩方法、设备及系统 |
| CN107483934A (zh) * | 2017-08-17 | 2017-12-15 | 西安万像电子科技有限公司 | 编解码方法、装置和系统 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6594385B2 (en) * | 1998-10-27 | 2003-07-15 | Hewlett-Packard Development Company, L.P. | Image compression of background and text tiles |
| US8442311B1 (en) * | 2005-06-30 | 2013-05-14 | Teradici Corporation | Apparatus and method for encoding an image generated in part by graphical commands |
| US7650039B2 (en) * | 2005-03-03 | 2010-01-19 | Canon Kabushiki Kaisha | Image encoding apparatus, image decoding apparatus, control method therefor, computer program, and computer-readable storage medium |
| US8326051B1 (en) * | 2008-02-22 | 2012-12-04 | Teradici Corporation | Method and apparatus for progressive encoding for text transmission |
| JP4538514B2 (ja) * | 2008-07-30 | 2010-09-08 | シャープ株式会社 | 画像圧縮方法、画像圧縮装置、画像形成装置、コンピュータプログラム及び記録媒体 |
| CN101651769B (zh) * | 2009-09-11 | 2012-01-18 | 南京大学 | 基于画质限制条件的颜色数和代表颜色值的决定方法 |
| GB2481870B (en) * | 2010-12-14 | 2012-06-13 | Realvnc Ltd | Method and system for remote computing |
| CN108184118A (zh) * | 2016-12-08 | 2018-06-19 | 中兴通讯股份有限公司 | 云桌面内容编码与解码方法及装置、系统 |
| CN107665128B (zh) * | 2017-09-13 | 2021-11-19 | 深信服科技股份有限公司 | 图像处理方法、系统、服务器及可读存储介质 |
| CN109831668B (zh) * | 2018-12-29 | 2022-06-24 | 中兴通讯股份有限公司 | 数据压缩方法及装置、数据编码/解码方法及装置 |
-
2018
- 2018-12-29 CN CN201811630766.2A patent/CN109831668B/zh active Active
-
2019
- 2019-12-23 WO PCT/CN2019/127600 patent/WO2020135357A1/zh active Application Filing
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1452388A (zh) * | 2002-04-17 | 2003-10-29 | 佳能株式会社 | 图像压缩方法及装置、图像编码装置及图像编码方法 |
| CN101217668A (zh) * | 2008-01-14 | 2008-07-09 | 浙江大学 | 基于块分类的混合图像压缩方法 |
| CN102098507A (zh) * | 2010-06-08 | 2011-06-15 | 同济大学 | 图像统合压缩方法及装置 |
| CN102164167A (zh) * | 2011-02-21 | 2011-08-24 | 北京奇虎科技有限公司 | 一种用于远程控制的分类传输方法和系统 |
| CN103873877A (zh) * | 2012-12-14 | 2014-06-18 | 华为技术有限公司 | 远程桌面的图像传输方法及装置 |
| CN103886623A (zh) * | 2012-12-19 | 2014-06-25 | 华为技术有限公司 | 一种图像压缩方法、设备及系统 |
| CN107483934A (zh) * | 2017-08-17 | 2017-12-15 | 西安万像电子科技有限公司 | 编解码方法、装置和系统 |
Non-Patent Citations (1)
| Title |
|---|
| Compression of compound images and video for enabling rich media in embedded systems;Said,A;《Conference on Visual Communications and Image Processing 2004》;20040122;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109831668A (zh) | 2019-05-31 |
| WO2020135357A1 (zh) | 2020-07-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109831668B (zh) | 数据压缩方法及装置、数据编码/解码方法及装置 | |
| WO2019210822A1 (zh) | 视频编解码方法、装置、系统及存储介质 | |
| RU2739251C2 (ru) | Способ и устройство для кодирования/декодирования элемента изображения, содержащего данные изображения, представленные каналом составляющей яркости и, по меньшей мере, одним каналом составляющей цветности | |
| JP6808725B2 (ja) | 改善された色再マッピング情報補足エンハンスメント情報メッセージ処理 | |
| RU2710291C2 (ru) | Способы и устройства для кодирования и декодирования цветного изображения hdr | |
| RU2710888C2 (ru) | Способ и устройство кодирования и декодирования цветной картинки | |
| WO2018184468A1 (zh) | 图片文件处理方法、设备及存储介质 | |
| CN107483934B (zh) | 编解码方法、装置和系统 | |
| US7852353B1 (en) | Encoding a transparency (alpha) channel in a video bitstream | |
| US20220103720A1 (en) | Method and device for color gamut mapping | |
| KR102523233B1 (ko) | 컬러 픽처를 디코딩하는 방법 및 디바이스 | |
| KR102509504B1 (ko) | 코딩 및 디코딩 방법과 대응하는 디바이스 | |
| CN110830804B (zh) | 用于用信号通知画面/视频格式的方法和设备 | |
| KR102593617B1 (ko) | 팔레트 코딩을 사용하는 인코딩 장치, 디코딩 장치 및 대응 방법 | |
| EP3609188A1 (en) | Picture file processing method and system, and storage medium | |
| CN105323583A (zh) | 编码方法、解码方法、编解码系统、编码器与解码器 | |
| CN114189691A (zh) | 用于对hdr图像和使用色彩映射函数的sdr图像两者进行编码的方法和设备 | |
| EP3586509A1 (en) | Method and device for decoding a high-dynamic range image | |
| WO2016183154A1 (en) | Improved color space compression | |
| EP3367684A1 (en) | Method and device for decoding a high-dynamic range image | |
| RU2705013C2 (ru) | Способ и устройство кодирования и декодирования цветного изображения | |
| CN114827620A (zh) | 图像处理方法、装置、设备与介质 | |
| CN110012307A (zh) | 视频传输方法、装置和主终端设备 | |
| WO2015041681A1 (en) | System and method for reducing visible artifacts in the display of compressed and decompressed digital images and video | |
| WO2023138491A1 (zh) | 一种图像采集方法、图像显示方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |