CN113163202A - 图像帧的压缩方法及装置 - Google Patents
图像帧的压缩方法及装置 Download PDFInfo
- Publication number
- CN113163202A CN113163202A CN202011492434.XA CN202011492434A CN113163202A CN 113163202 A CN113163202 A CN 113163202A CN 202011492434 A CN202011492434 A CN 202011492434A CN 113163202 A CN113163202 A CN 113163202A
- Authority
- CN
- China
- Prior art keywords
- image block
- image frame
- target
- color
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007906 compression Methods 0.000 title claims abstract description 91
- 230000006835 compression Effects 0.000 title claims abstract description 91
- 238000000034 method Methods 0.000 title claims abstract description 43
- 239000013598 vector Substances 0.000 claims description 74
- 230000000007 visual effect Effects 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 abstract description 26
- 239000003086 colorant Substances 0.000 description 19
- 238000010586 diagram Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 108091026890 Coding region Proteins 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- XEBWQGVWTUSTLN-UHFFFAOYSA-M phenylmercury acetate Chemical compound CC(=O)O[Hg]C1=CC=CC=C1 XEBWQGVWTUSTLN-UHFFFAOYSA-M 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Abstract
本公开提供一种图像帧的压缩方法及装置,涉及通信领域,能够解决对图像帧进行压缩时,导致数据传输量较大,或者图像帧显示不够清晰的问题。具体技术方案为:获取目标图像帧,目标图像帧包括至少一个图像块;确定目标图像帧中的视觉集中区域,视觉集中区域为目标图像帧向用户呈现时的关键区域;将目标图像帧中视觉集中区域的图像块进行无损压缩;将目标图像帧中其他区域的图像块进行有损压缩,其他区域为目标图像帧中除视觉集中区域之外的区域。本公开用于对图像帧进行压缩。
Description
本申请是基于201710476879.0的专利进行的分案申请。
技术领域
本公开涉及图像处理技术领域,尤其涉及图像帧的压缩方法及装置。
背景技术
视频是由多个图像帧组成的,在视频的传输过程中,要对视频帧进行压缩再传输,对视频帧进行压缩,能够保证视频适合网络传输的格式,而且能够减小视频的大小,从而减小传输过程中的数据量。
视频压缩分为有损压缩和无损压缩。无损压缩能够保证图像帧清晰完整地显示,但是数据压缩比较低,会导致数据传输量较大;而有损压缩会丢失一些数据,会产生压缩失真,图像帧显示的时候不如无损压缩那样清晰。因此,在对图像帧进行压缩时,可能会导致数据传输量较大,或者图像帧显示不够清晰。
发明内容
本公开实施例提供一种图像帧的压缩方法及装置,能够解决对图像帧进行压缩时,导致数据传输量较大,或者图像帧显示不够清晰的问题。所述技术方案如下:
根据本公开实施例的第一方面,提供一种图像帧的压缩方法,该方法包括:
获取目标图像帧,目标图像帧包括至少一个图像块;
确定目标图像帧中的视觉集中区域,视觉集中区域为目标图像帧向用户呈现时的关键区域;
将目标图像帧中视觉集中区域的图像块进行无损压缩;
将目标图像帧中其他区域的图像块进行有损压缩,其他区域为目标图像帧中除视觉集中区域之外的区域。
视觉集中区域是用户在观看目标图像帧时较为关键的区域,用户注意力会更多的停留在视觉集中区域,对视觉集中区域的图像块进行无损压缩,保证了视觉集中区域的图像块显示的时候清晰度不会降低,满足用户对于图像帧清晰度的要求;同时,对于除视觉集中区域之外的其他区域的图像块进行有损压缩,因为在播放目标图像帧时其他区域不是用户重点关注的区域,因此,清晰度即便降低也不会对用户观看造成较多影响,而对其他区域的图像块进行有损压缩减少了视频传输过程中的数据传输量,节省了占用的网络资源,保证了用户观看视频的流畅性。因此,本公开所提供的图像帧的压缩方法,在保证了图像帧显示具有较高的清晰度的同时,减少了视频传输过程中的数据传输量,节省了网络资源。
在一个实施例中,确定目标图像帧中的视觉集中区域,包括:
计算至少一个图像块中每一个图像块的颜色变化参数,至少一个图像块中目标图像块的颜色变化参数用于指示目标图像块的颜色变化的平滑情况;
将至少一个图像块中颜色变化参数大于预设阈值的图像块组成的区域确定为视觉集中区域。
颜色变化参数越大,图像块的颜色变化的平滑情况越差,也就是说,颜色变化参数越大,图像块中颜色变化越突兀,这样的图像块更能引起用户注意,在用户观看目标图像帧时,注意力更容易集中在颜色变化突兀的区域,因此,将颜色变化参数大于预设阈值的图像块组成的区域确定为视觉集中区域更能满足用户的需求。
在一个实施例中,计算至少一个图像块中每一个图像块的颜色变化参数,包括:
计算至少一个图像块中每个像素的梯度向量,一个图像块包含至少一个像素;
根据每个像素的梯度向量计算至少一个图像块中每一个图像块的结构张量;
将每一个图像块的结构张量中矩阵元素的方差值作为每一个图像块的颜色变化参数。
计算梯度向量,进而根据梯度向量计算结构张量,能够更加客观、准确地反映每一个图像块中颜色变化的情况。
在一个实施例中,计算至少一个图像块中每个像素的梯度向量,包括:
按照第一公式计算至少一个图像块中每个像素的梯度向量,第一公式为:
φx(i)表示目标像素的梯度向量的横向分量,φy(i)表示目标像素的梯度向量的纵向分量,Yx,y表示目标像素的色值分量,Yx±1,y表示目标像素横向相邻像素的色值分量,Yx,y±1表示目标像素纵向相邻像素的色值分量,目标像素是目标图像块中第x行第y列的像素。
分别计算梯度向量横向和纵向的分量值,更为全面的体现了相邻像素之间的颜色差异,更加准确地体现了图像块中像素的颜色变化情况。
在一个实施例中,根据每个像素的梯度向量计算至少一个图像块中每一个图像块的结构张量,包括:
根据每个像素的梯度向量按照第二公式计算至少一个图像块中每一个图像块的结构张量,第二公式为:
其中,T表示目标图像块的结构张量,φx(i)表示目标像素的梯度向量的横向分量,φy(i)表示目标像素的梯度向量的纵向分量,G为高斯算子。
根据第二公式计算的结构张量是一个矩阵,包含4个矩阵元素,更为全面、准确地体现了每一个图像块中像素的颜色变化情况。
在一个实施例中,获取目标图像帧,包括:
对原始图像帧进行初始化处理生成目标图像帧。
初始化处理后的目标图像帧便于确定视觉集中区域,而且减少了处理过程中的运算量。
在一个实施例中,对原始图像帧进行初始化处理生成目标图像帧,包括:
根据第三公式计算原始图像帧中目标像素与预设颜色的色值距离,第三公式为:
在目标像素与预设颜色的色值距离小于预设距离时,将目标像素的颜色替换为预设颜色并生成目标图像帧。
根据第三公示计算目标像素与预设颜色的色值距离,如果色值距离小于预设距离,说明目标像素的颜色和预设颜色相近,将目标像素的颜色替换为预设颜色,对于每个像素都进行这样的处理,能够使得颜色相近的像素都变成相同的颜色,使得颜色不相近的像素颜色差异更为明显,在确定视觉集中区域时更加准确便捷,同时,减少了图像帧中的颜色数量,在后续处理过程中,减少了运算量。
在一个实施例中,获取目标图像帧,包括:
获取待压缩视频中的I帧作为目标图像帧。
通常情况下,I帧是较为重要的帧,往往占用大量资源,对I帧利用本公开所提供的图像帧的压缩方法进行压缩,在保证图像帧清晰度的同时能够极大减少资源占用,而对于其他帧(例如P帧、B帧)可以不采取本公开所提供的图像帧的压缩方法,减小压缩时的运算量,提高处理效率。
根据本公开实施例的第二方面,提供一种图像帧的压缩装置,包括:获取模块、视觉集中模块、无损压缩模块和有损压缩模块;
获取模块,用于获取目标图像帧,目标图像帧包括至少一个图像块;
视觉集中模块,用于确定目标图像帧中的视觉集中区域,视觉集中区域为目标图像帧向用户呈现时的关键区域;
无损压缩模块,用于将目标图像帧中视觉集中区域的图像块进行无损压缩;
有损压缩模块,用于将目标图像帧中其他区域的图像块进行有损压缩,其他区域为目标图像帧中除视觉集中区域之外的区域。
在一个实施例中,视觉集中模块包括颜色变化参数子模块和阈值子模块;
颜色变化参数子模块,用于计算至少一个图像块中每一个图像块的颜色变化参数,至少一个图像块中目标图像块的颜色变化参数用于指示目标图像块的颜色变化的平滑情况;
阈值子模块,用于将至少一个图像块中颜色变化参数大于预设阈值的图像块组成的区域确定为视觉集中区域。
在一个实施例中,颜色变化参数子模块包括梯度向量单元、结构张量单元和方差单元;
梯度向量单元,用于将至少一个图像块中颜色变化参数大于预设阈值的图像块组成的区域确定为视觉集中区域。
结构张量单元,用于根据每个像素的梯度向量计算至少一个图像块中每一个图像块的结构张量;
方差单元,用于将每一个图像块的结构张量中矩阵元素的方差值作为每一个图像块的颜色变化参数。
在一个实施例中,梯度向量单元,用于按照第一公式计算至少一个图像块中每个像素的梯度向量,第一公式为:
φx(i)表示目标像素的梯度向量的横向分量,φy(i)表示目标像素的梯度向量的纵向分量,Yx,y表示目标像素的色值分量,Yx±1,y表示目标像素横向相邻像素的色值分量,Yx,y±1表示目标像素纵向相邻像素的色值分量,目标像素是目标图像块中第x行第y列的像素。
在一个实施例中,结构张量单元,用于根据每个像素的梯度向量按照第二公式计算至少一个图像块中每一个图像块的结构张量,第二公式为:
其中,T表示目标图像块的结构张量,φx(i)表示目标像素的梯度向量的横向分量,φy(i)表示目标像素的梯度向量的纵向分量,G为高斯算子。
在一个实施例中,获取模块包括初始化子模块;
初始化子模块,用于对原始图像帧进行初始化处理生成所述目标图像帧。
在一个实施例中,初始化子模块包括色值距离单元和替换单元;
色值距离单元,用于根据第三公式计算目标像素与预设颜色的色值距离,第三公式为:
替换单元,用于在目标像素与预设颜色的色值距离小于预设距离时,将目标像素的颜色替换为预设颜色并生成目标图像帧。
在一个实施例中,获取模块,还用于获取待压缩视频中的I帧作为目标图像帧。
根据本公开实施例的第三方面,提供一种计算机可读存储介质,其上存储有计算机指令,用于执行上述第一方面及第一方面的任意一个实施例所提供的图像帧的压缩方法,该指令被处理器执行时可以实现以下步骤:
获取目标图像帧,目标图像帧包括至少一个图像块;
确定目标图像帧中的视觉集中区域,视觉集中区域为目标图像帧向用户呈现时的关键区域;
将目标图像帧中视觉集中区域的图像块进行无损压缩;
将目标图像帧中其他区域的图像块进行有损压缩,其他区域为目标图像帧中除视觉集中区域之外的区域。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1是本公开实施例提供的一种图像帧的压缩方法的流程图;
图2是本公开实施例提供的一种视觉集中区域示意图;
图3是本公开实施例提供的另一种视觉集中区域示意图;
图4是本公开另一实施例提供的一种图像帧的压缩方法的流程图;
图5是本公开实施例提供的一种图像帧的压缩装置的结构图;
图6是本公开实施例提供的一种图像帧的压缩装置的结构图;
图7是本公开实施例提供的一种颜色变化参数子模块的结构图;
图8是本公开实施例提供的一种图像帧的压缩装置的结构图;
图9是本公开实施例提供的一种初始化子模块的结构图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本公开实施例提供一种图像帧的压缩方法,应用于图像帧的压缩装置,该图像帧的压缩装置可以是服务器或终端设备,终端设备可以是智能手机、平板电脑等,如图1所示,该图像帧的压缩方法包括以下步骤:
101、获取目标图像帧。
目标图像帧是任意一个图像帧,本公开以目标图像帧为例进行说明。目标图像帧包括至少一个图像块。每一个图像块可以包括至少一个像素,每一个像素可以包括至少一个子像素。通常情况下,一个像素包括三个子像素,三个子像素可以分别表示红绿蓝(英文:Red Green Blue,RGB)三种颜色,每个子像素的颜色用一个色值分量表示。需要说明的是,本公开所说的色值分量,可以是RGB色值的色值分量,也可以是YUV色值的色值分量,当然,也可以是其他方式定义的色值的色值分量,色值用于表示一种颜色,色值能够体现该颜色的色相、明度、彩度中的至少一项,对于色值的具体形式,本公开不做限制。
此处,以RGB色值为例,对像素和子像素颜色的构成进行说明:RGB色值通常用六位十六进制数表示,每两位十六进制数表示一个色值分量,比如RGB色值是“FF0000”表示红色,红色的色值分量为“FF”,转换为十进制就是255,表示红色的色彩亮度度达到最大,蓝色和绿色的色值分量均为“00”,表示蓝色和绿色的色彩亮度最低,即没有颜色,RGB三种颜色的子像素就形成了红色的像素。又如,RGB色值是“FFFFFF”表示白色,红绿蓝三种颜色的色值分量都是最大“FF”,RGB三个子像素的色值分量均为“FF”,三种颜色的子像素就形成了白色的像素。
当然,此处只是以RGB色值为例进行说明,也可以是红黄绿蓝四种子像素构成一个像素,本公开对此不做限制。
需要说明的是,可以直接获取原始图像帧作为目标图像帧进行处理,也可以在获取原始图像帧之后进行初始化处理生成目标图像帧。
以第二种实现方式为例,获取目标图像帧,包括:对原始图像帧进行初始化处理生成目标图像帧。
初始化处理后的目标图像帧便于确定视觉集中区域,而且减少了处理过程中的运算量。
具体的,对原始图像帧进行初始化处理生成目标图像帧,包括:
根据第三公式计算原始图像帧中目标像素与预设颜色的色值距离,第三公式为:
其中,S表示目标像素与预设颜色的色值距离,CYi、CUi、CVi分别表示目标像素的三个色值分量,CY0、CU0、CV0分别表示预设颜色的三个色值分量,此处,三个色值分量以YUV色值的三个分量为例,并不代表本公开局限于此;
在目标像素与预设颜色的色值距离小于预设距离时,将目标像素的颜色替换为预设颜色并生成目标图像帧。
根据第三公示计算目标像素与预设颜色的色值距离,如果色值距离小于预设距离,说明目标像素的颜色和预设颜色相近,将目标像素的颜色替换为预设颜色,对于每个像素都进行这样的处理,能够使得颜色相近的像素都变成相同的颜色,使得颜色不相近的像素颜色差异更为明显,在确定视觉集中区域时更加准确便捷,同时,减少了图像帧中的颜色数量,在后续处理过程中,减少了运算量。
在一个实施例中,获取目标图像帧,包括:获取待压缩视频中的I帧作为目标图像帧。
通常情况下,I帧是较为重要的帧,往往占用大量资源,对I帧利用本公开所提供的图像帧的压缩方法进行压缩,在保证图像帧清晰度的同时能够极大减少资源占用,而对于其他帧(例如P帧、B帧)可以不采取本公开所提供的图像帧的压缩方法,减小压缩时的运算量,提高处理效率。
102、确定目标图像帧中的视觉集中区域。
视觉集中区域为目标图像帧向用户呈现时的关键区域。对于如何确定视觉集中区域,可以有多种实现方式,此处列举两种具体的实现方式进行说明:
在第一种实现方式中,视觉集中区域可以是预设的区域,对于每一个图像帧来说,视觉集中区域都是相同的,如图2所示,图2是本公开实施例提供的一种视觉集中区域示意图,目标图像帧的视觉集中区域可以是目标图像帧中最中间的区域,因为在用户观看图像帧时,注意力通常集中在最中间的区域,将每个图像帧的预设的区域都作为视觉集中区域,不需要做太多处理,提高了处理效率。视觉集中区域可以包括若干个图像块,视觉集中区域的形状可以是圆形、矩形、或者其他形状的多边形等,本公开对此不做限制。
在第二种实现方式中,可以通过数学算法计算确定视觉集中区域。例如,确定目标图像帧中的视觉集中区域,包括:
计算至少一个图像块中每一个图像块的颜色变化参数,至少一个图像块中目标图像块的颜色变化参数用于指示目标图像块的颜色变化的平滑情况;将至少一个图像块中颜色变化参数大于预设阈值的图像块组成的区域确定为视觉集中区域。
颜色变化参数越大,图像块的颜色变化的平滑情况越差,也就是说,颜色变化参数越大,图像块中颜色变化越突兀,这样的图像块更能引起用户注意,在用户观看目标图像帧时,注意力更容易集中在颜色变化突兀的区域,因此,将颜色变化参数大于预设阈值的图像块组成的区域确定为视觉集中区域更能满足用户的需求。如图3所示,图3是本公开实施例提供的另一种视觉集中区域示意图。以目标图像帧包含人物为例,在用户图像帧时,注意力容易集中在图像帧中的人物身上,而对于目标图像帧而言,人物和背景之间的颜色变化通常较为突兀,将颜色变化突兀的区域确定为视觉集中区域,用户在观看目标图像帧时,能够更清晰地辨别出人物。
具体的,对于如何计算每一个图像块的颜色变化参数,此处列举一种具体的算法进行说明:
在一个实施例中,计算至少一个图像块中每一个图像块的颜色变化参数,包括:计算至少一个图像块中每个像素的梯度向量,一个图像块包含至少一个像素;根据每个像素的梯度向量计算至少一个图像块中每一个图像块的结构张量;将每一个图像块的结构张量中矩阵元素的方差值作为每一个图像块的颜色变化参数。
计算梯度向量,进而根据梯度向量计算结构张量,能够更加客观、准确地反映每一个图像块中颜色变化的情况。
进一步的,对于如何计算梯度向量和结构张量,此处列举两个示例进行说明:
在第一个示例中,计算至少一个图像块中每个像素的梯度向量,包括:
按照第一公式计算至少一个图像块中每个像素的梯度向量,第一公式为:
φx(i)表示目标像素的梯度向量的横向分量,φy(i)表示目标像素的梯度向量的纵向分量,Yx,y表示目标像素的色值分量,Yx±1,y表示目标像素横向相邻像素的色值分量,Yx,y±1表示目标像素纵向相邻像素的色值分量。目标像素是目标图像块中第x行第y列的像素,与目标像素横向相邻的像素可以是目标图像块中第x-1行第y列的像素或者第x+1行第y列的像素;与目标像素纵向相邻的像素可以是目标图像块中第x行第y-1列的像素或者第x行第y+1列的像素。
分别计算梯度向量横向和纵向的分量值,更为全面的体现了相邻像素之间的颜色差异,更加准确地体现了图像块中像素的颜色变化情况。
在第二个示例中,根据每个像素的梯度向量计算至少一个图像块中每一个图像块的结构张量,包括:
根据每个像素的梯度向量按照第二公式计算至少一个图像块中每一个图像块的结构张量,第二公式为:
其中,T表示目标图像块的结构张量,φx(i)表示目标像素的梯度向量的横向分量,φy(i)表示目标像素的梯度向量的纵向分量,G为高斯算子。
根据第二公式计算的结构张量是一个矩阵,包含4个矩阵元素,更为全面、准确地体现了每一个图像块中像素的颜色变化情况。
103、将目标图像帧中视觉集中区域的图像块进行无损压缩。
对视觉集中区域的图像块无损压缩后,能够在进行解压时完全恢复目标视觉集中区域的图像块而不引起失真,保证了视觉集中区域在显示时的清晰度较高,而视觉集中区域是用户观看目标图像帧时视觉停留时间较长,更容易引起用户关注的区域,保证其清晰度较高就保证了用户体验较高,满足了用户对于清晰度高的需求。
104、将目标图像帧中其他区域的图像块进行有损压缩。
其他区域为目标图像帧中除视觉集中区域之外的区域。
对其他区域的图像块有损压缩后,在解压时不能完全恢复其他区域的图像块,解压后的数据与其他区域的图像块非常相近,但有所不同,有损压缩的方式压缩比较高,在压缩后数据量大大降低,减少了传输过程的数据传输量。因为在播放目标图像帧时其他区域不是用户重点关注的区域,因此,清晰度即便降低也不会对用户观看造成较多影响,而对其他区域的图像块进行有损压缩减少了视频传输过程中的数据传输量,节省了占用的网络资源,保证了用户观看视频的流畅性。
需要说明的是,步骤103和步骤104可以没有先后顺序。
本公开实施例提供的图像帧的压缩方法,获取目标图像帧;确定目标图像帧中的视觉集中区域;将目标图像帧中视觉集中区域的图像块进行无损压缩;将目标图像帧中其他区域的图像块进行有损压缩。视觉集中区域是用户在观看目标图像帧时较为关键的区域,用户注意力会更多的停留在视觉集中区域,对视觉集中区域的图像块进行无损压缩,保证了视觉集中区域的图像块显示的时候清晰度不会降低,满足用户对于图像帧清晰度的要求;同时,对于除视觉集中区域之外的其他区域的图像块进行有损压缩,因为在播放目标图像帧时其他区域不是用户重点关注的区域,因此,清晰度即便降低也不会对用户观看造成较多影响,而对其他区域的图像块进行有损压缩减少了视频传输过程中的数据传输量,节省了占用的网络资源,保证了用户观看视频的流畅性。因此,本公开所提供的图像帧的压缩方法,在保证了图像帧显示具有较高的清晰度的同时,减少了视频传输过程中的数据传输量,节省了网络资源。
基于上述图1对应的实施例提供的图像帧的压缩方法,本公开另一实施例提供一种图像帧的压缩方法。本实施例以发送视频为例进行说明,参照图4所示,本实施例提供的图像帧的压缩方法包括以下步骤:
401、获取待压缩视频。
待压缩视频包括至少一个图像帧,图像帧可以是I帧、P帧、B帧等。获取待压缩视频之后,可以对待压缩视频中的图像帧逐一进行处理,也可以多个同时处理。
402、判断原始图像帧的类型是否为I帧。
此处以一个原始图像帧为例进行说明。如果原始图像帧不是I帧,则将该原始图像帧直接加入普通压缩编码的序列,进行普通压缩编码的处理,普通压缩编码可以是有损压缩编码;如果该原始图像帧是I帧,则执行步骤403。
403、对原始图像帧进行初始化处理生成目标图像帧。
对原始图像帧进行的初始化处理可以是色阶初始化处理,计算原始图像帧中目标像素与预设颜色的色值距离,在目标像素与预设颜色的色值距离小于预设距离时,将目标像素的颜色替换为预设颜色并生成目标图像帧。进行初始化处理后的目标图像帧替换了原来的原始图像帧,将颜色相近的像素统一变更为相同的颜色,减少目标图像帧的颜色数量,减少了处理过程中的运算量。
例如,可以设置10种预设颜色,以原始图像帧中的目标像素为例,目标像素是原始图像帧中的任意一个像素。10种预设颜色中,第2种预设颜色与目标像素的颜色最为相近,则可以计算目标像素与第2种预设颜色的色值距离,在目标像素与第2种预设颜色的色值距离小于预设距离时,将目标像素的颜色替换为第2种预设颜色。当然,也可以直接计算目标像素与每一种预设颜色的色值距离,将目标像素的颜色替换为与其色值距离最小的预设颜色。当然,10种预设颜色只是示例性说明,也可以有更多种,本公开对此不作限制。
404、计算目标图像帧内每个图像块中每个像素的梯度向量。
图像块的划分可以按照横纵两个方向进行均分,例如将目标图像帧划分为4×4的16个图像块,或者8×8的64个图像块,本公开对此不作限制。
具体的,以目标图像帧内目标图像块中的目标像素为例进行说明:
按照第一公式计算目标像素的梯度向量,第一公式为:
φx(i)表示目标像素的梯度向量的横向分量,φy(i)表示目标像素的梯度向量的纵向分量,Yx,y表示目标像素的色值分量,Yx±1,y表示目标像素横向相邻像素的色值分量,Yx,y±1表示目标像素纵向相邻像素的色值分量,目标像素是目标图像块中第x行第y列的像素。
如果以每一个像素的长宽作为单位长度,则第一公式其实就是对目标像素的色值分量进行求导,第一公式的形式也可以表示成如下形式:
其中,Y(i)=Yx,y(i),表示目标像素的色值分量,Yx±Δx,y(i)表示目标像素横向相邻像素的色值分量,Yx,y±Δy(i)表示目标像素纵向相邻像素的色值分量。本公开中以色值分量是YUV色值中的Y分量为例进行说明,并不代表本公开局限于此。在计算每个像素的梯度向量时,可以将每个像素不同色值分量的梯度向量都进行计算。
405、根据每个像素的梯度向量计算目标图像帧内每一个图像块的结构张量,并计算每一个图像块的结构张量的方差。
406、将目标图像帧内结构张量的方差大于预设阈值的图像块组成的区域确定为视觉集中区域。
此处将结构张量的方差作为颜色变化参数进行说明,并不代表本公开局限于此,颜色变化参数也可以是其他形式的参数。
407、将目标图像帧中视觉集中区域的图像块加入无损压缩编码的序列,将目标图像帧中其他区域的图像块加入普通压缩编码的序列。
408、对无损压缩编码的序列中的图像块进行无损压缩编码,对普通压缩编码的序列中的图像块进行有损压缩编码,并输出码流。
本公开实施例提供的图像帧的压缩方法,获取目标图像帧;确定目标图像帧中的视觉集中区域;将目标图像帧中视觉集中区域的图像块进行无损压缩;将目标图像帧中其他区域的图像块进行有损压缩。视觉集中区域是用户在观看目标图像帧时较为关键的区域,用户注意力会更多的停留在视觉集中区域,对视觉集中区域的图像块进行无损压缩,保证了视觉集中区域的图像块显示的时候清晰度不会降低,满足用户对于图像帧清晰度的要求;同时,对于除视觉集中区域之外的其他区域的图像块进行有损压缩,因为在播放目标图像帧时其他区域不是用户重点关注的区域,因此,清晰度即便降低也不会对用户观看造成较多影响,而对其他区域的图像块进行有损压缩减少了视频传输过程中的数据传输量,节省了占用的网络资源,保证了用户观看视频的流畅性。因此,本公开所提供的图像帧的压缩方法,在保证了图像帧显示具有较高的清晰度的同时,减少了视频传输过程中的数据传输量,节省了网络资源。
基于上述图1和图4对应的实施例中所描述的图像帧的压缩方法,下述为本公开装置实施例,可以用于执行本公开方法实施例。
本公开实施例提供一种图像帧的压缩装置,如图5所示,该图像帧的压缩装置50包括:获取模块501、视觉集中模块502、无损压缩模块503和有损压缩模块504;
获取模块501,用于获取目标图像帧,目标图像帧包括至少一个图像块;
视觉集中模块502,用于确定目标图像帧中的视觉集中区域,视觉集中区域为目标图像帧向用户呈现时的关键区域;
无损压缩模块503,用于将目标图像帧中视觉集中区域的图像块进行无损压缩;
有损压缩模块504,用于将目标图像帧中其他区域的图像块进行有损压缩,其他区域为目标图像帧中除视觉集中区域之外的区域。
在一个实施例中,如图6所示,视觉集中模块502包括颜色变化参数子模块5021和阈值子模块5022;
颜色变化参数子模块5021,用于计算至少一个图像块中每一个图像块的颜色变化参数,至少一个图像块中目标图像块的颜色变化参数用于指示目标图像块的颜色变化的平滑情况;
阈值子模块5022,用于将至少一个图像块中颜色变化参数大于预设阈值的图像块组成的区域确定为视觉集中区域。
在一个实施例中,如图7所示,颜色变化参数子模块5021包括梯度向量单元50211、结构张量单元50212和方差单元50213;
梯度向量单元50211,用于将至少一个图像块中颜色变化参数大于预设阈值的图像块组成的区域确定为视觉集中区域。
结构张量单元50212,用于根据每个像素的梯度向量计算至少一个图像块中每一个图像块的结构张量;
方差单元50213,用于将每一个图像块的结构张量中矩阵元素的方差值作为每一个图像块的颜色变化参数。
在一个实施例中,梯度向量单元50211,用于按照第一公式计算至少一个图像块中每个像素的梯度向量,第一公式为:
φx(i)表示目标像素的梯度向量的横向分量,φy(i)表示目标像素的梯度向量的纵向分量,Yx,y表示目标像素的色值分量,Yx±1,y表示目标像素横向相邻像素的色值分量,Yx,y±1表示目标像素纵向相邻像素的色值分量,目标像素是目标图像块中第x行第y列的像素。
在一个实施例中,结构张量单元50212,用于根据每个像素的梯度向量按照第二公式计算至少一个图像块中每一个图像块的结构张量,第二公式为:
其中,T表示目标图像块的结构张量,φx(i)表示目标像素的梯度向量的横向分量,φy(i)表示目标像素的梯度向量的纵向分量,G为高斯算子。
在一个实施例中,如图8所示,获取模块501包括初始化子模块5011;
初始化子模块5011,用于对原始图像帧进行初始化处理生成所述目标图像帧。
在一个实施例中,如图9所示,初始化子模块5011包括色值距离单元50111和替换单元50112;
色值距离单元50111,用于根据第三公式计算目标像素与预设颜色的色值距离,第三公式为:
替换单元50112,用于在目标像素与预设颜色的色值距离小于预设距离时,将目标像素的颜色替换为预设颜色并生成目标图像帧。
在一个实施例中,获取模块501,还用于获取待压缩视频中的I帧作为目标图像帧。
本公开实施例提供的图像帧的压缩装置,获取目标图像帧;确定目标图像帧中的视觉集中区域;将目标图像帧中视觉集中区域的图像块进行无损压缩;将目标图像帧中其他区域的图像块进行有损压缩。视觉集中区域是用户在观看目标图像帧时较为关键的区域,用户注意力会更多的停留在视觉集中区域,对视觉集中区域的图像块进行无损压缩,保证了视觉集中区域的图像块显示的时候清晰度不会降低,满足用户对于图像帧清晰度的要求;同时,对于除视觉集中区域之外的其他区域的图像块进行有损压缩,因为在播放目标图像帧时其他区域不是用户重点关注的区域,因此,清晰度即便降低也不会对用户观看造成较多影响,而对其他区域的图像块进行有损压缩减少了视频传输过程中的数据传输量,节省了占用的网络资源,保证了用户观看视频的流畅性。因此,本公开所提供的图像帧的压缩方法,在保证了图像帧显示具有较高的清晰度的同时,减少了视频传输过程中的数据传输量,节省了网络资源。
基于上述图1和图4对应的实施例中所描述的图像帧的压缩方法,本公开实施例还提供一种计算机可读存储介质,例如,非临时性计算机可读存储介质可以是只读存储器(英文:Read Only Memory,ROM)、随机存取存储器(英文:Random Access Memory,RAM)、CD-ROM、磁带、软盘和光数据存储装置等。该存储介质上存储有计算机指令,用于执行上述图1和图4对应的实施例中所描述的图像帧的压缩方法,此处不再赘述。
本领域技术人员在考虑说明书及实践这里公开的公开后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (12)
1.一种图像帧的压缩方法,其特征在于,所述方法包括:
获取待压缩视频,所述待压缩视频包括至少一个原始图像帧,所述原始图像帧包括至少一个图像块;
当所述原始图像帧为I帧时,对所述原始图像帧进行初始化处理生成目标图像帧;
确定所述目标图像帧中的视觉集中区域,所述视觉集中区域为所述目标图像帧向用户呈现时的关键区域,所述视觉集中区域根据颜色变化参数确定;
将所述目标图像帧中所述视觉集中区域的图像块进行无损压缩。
2.根据权利要求1所述的方法,其特征在于,确定所述目标图像帧中的视觉集中区域,包括:
计算所述至少一个图像块中每一个图像块的颜色变化参数,所述至少一个图像块中目标图像块的颜色变化参数用于指示所述目标图像块的颜色变化的平滑情况;
将所述至少一个图像块中颜色变化参数大于预设阈值的图像块组成的区域确定为所述视觉集中区域。
3.根据权利要求2所述的方法,其特征在于,计算所述至少一个图像块中每一个图像块的颜色变化参数,包括:
计算所述至少一个图像块中每个像素的梯度向量,一个图像块包含至少一个像素;
根据每个像素的梯度向量计算所述至少一个图像块中每一个图像块的结构张量;
将所述每一个图像块的结构张量中矩阵元素的方差值作为所述每一个图像块的颜色变化参数。
7.一种图像帧的压缩装置,其特征在于,包括:获取模块、视觉集中模块、无损压缩模块和有损压缩模块;
所述获取模块,用于获取待压缩视频,所述待压缩视频至少包括一个图像帧,所述原始图像帧包括至少一个图像块;
所述初始化模块,用于当所述原始图像帧为I帧时,对原始图像帧进行初始化处理生成目标图像帧;
所述视觉集中模块,用于确定所述目标图像帧中的视觉集中区域,所述视觉集中区域为所述目标图像帧向用户呈现时的关键区域,所述视觉集中区域根据颜色变化参数确定;
所述无损压缩模块,用于将所述目标图像帧中所述视觉集中区域的图像块进行无损压缩。
8.根据权利要求7所述的装置,其特征在于,所述视觉集中模块包括颜色变化参数子模块和阈值子模块;
所述颜色变化参数子模块,用于计算所述至少一个图像块中每一个图像块的颜色变化参数,所述至少一个图像块中目标图像块的颜色变化参数用于指示所述目标图像块的颜色变化的平滑情况;
所述阈值子模块,用于将所述至少一个图像块中颜色变化参数大于预设阈值的图像块组成的区域确定为所述视觉集中区域。
9.根据权利要求8所述的装置,其特征在于,所述颜色变化参数子模块包括梯度向量单元、结构张量单元和方差单元;
所述梯度向量单元,用于将所述至少一个图像块中颜色变化参数大于预设阈值的图像块组成的区域确定为所述视觉集中区域。
所述结构张量单元,用于根据每个像素的梯度向量计算所述至少一个图像块中每一个图像块的结构张量;
所述方差单元,用于将所述每一个图像块的结构张量中矩阵元素的方差值作为所述每一个图像块的颜色变化参数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011492434.XA CN113163202B (zh) | 2017-06-21 | 2017-06-21 | 图像帧的压缩方法及装置 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011492434.XA CN113163202B (zh) | 2017-06-21 | 2017-06-21 | 图像帧的压缩方法及装置 |
CN201710476879.0A CN107318023B (zh) | 2017-06-21 | 2017-06-21 | 图像帧的压缩方法及装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710476879.0A Division CN107318023B (zh) | 2017-06-21 | 2017-06-21 | 图像帧的压缩方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113163202A true CN113163202A (zh) | 2021-07-23 |
CN113163202B CN113163202B (zh) | 2022-10-18 |
Family
ID=60183820
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011492434.XA Active CN113163202B (zh) | 2017-06-21 | 2017-06-21 | 图像帧的压缩方法及装置 |
CN201710476879.0A Active CN107318023B (zh) | 2017-06-21 | 2017-06-21 | 图像帧的压缩方法及装置 |
CN202011492058.4A Active CN112954355B (zh) | 2017-06-21 | 2017-06-21 | 图像帧的处理方法及装置 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710476879.0A Active CN107318023B (zh) | 2017-06-21 | 2017-06-21 | 图像帧的压缩方法及装置 |
CN202011492058.4A Active CN112954355B (zh) | 2017-06-21 | 2017-06-21 | 图像帧的处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (3) | CN113163202B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110582019A (zh) * | 2019-09-02 | 2019-12-17 | 北京网聘咨询有限公司 | 基于手机端的视频简化处理系统 |
CN111464812B (zh) * | 2020-04-17 | 2022-06-10 | 重庆京像微电子有限公司 | 编码解码的方法、系统、装置、存储介质及处理器 |
CN114022790B (zh) * | 2022-01-10 | 2022-04-26 | 成都国星宇航科技有限公司 | 遥感图像中云层检测及图像压缩方法、装置和存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5892847A (en) * | 1994-07-14 | 1999-04-06 | Johnson-Grace | Method and apparatus for compressing images |
EP1126411A1 (en) * | 2000-02-17 | 2001-08-22 | BRITISH TELECOMMUNICATIONS public limited company | Visual attention location system |
CN103218832A (zh) * | 2012-10-15 | 2013-07-24 | 上海大学 | 基于图像中全局颜色对比度和空域分布的视觉显著性算法 |
CN104065962A (zh) * | 2013-10-28 | 2014-09-24 | 四川大学 | 基于视觉注意的宏块层比特分配优化方法 |
CN104105006A (zh) * | 2014-07-23 | 2014-10-15 | 北京永新视博信息技术有限公司 | 一种视频图像处理方法和系统 |
CN106568782A (zh) * | 2016-11-05 | 2017-04-19 | 上海大学 | 一种基于机器视觉对彩色瓶盖图像颜色量化的方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004034323A2 (en) * | 2002-10-07 | 2004-04-22 | Summus, Inc. | System for graphics compression and display |
CN103577993B (zh) * | 2012-08-07 | 2017-06-09 | 阿里巴巴集团控股有限公司 | 颜色选取方法及装置 |
CN103886623B (zh) * | 2012-12-19 | 2017-03-15 | 华为技术有限公司 | 一种图像压缩方法、设备及系统 |
CN103886622B (zh) * | 2012-12-21 | 2017-10-31 | 腾讯科技(深圳)有限公司 | 自动图像区域划分的实现方法及实现装置 |
CN103514580B (zh) * | 2013-09-26 | 2016-06-08 | 香港应用科技研究院有限公司 | 用于获得视觉体验优化的超分辨率图像的方法和系统 |
CN103700121A (zh) * | 2013-12-30 | 2014-04-02 | Tcl集团股份有限公司 | 一种复合图像的压缩方法及装置 |
CN104270638A (zh) * | 2014-07-29 | 2015-01-07 | 武汉飞脉科技有限责任公司 | 一种ct影像感兴趣区域压缩与质量评估方法 |
CN104933738B (zh) * | 2015-06-16 | 2017-09-15 | 中国人民解放军国防科学技术大学 | 一种基于局部结构检测和对比度的视觉显著图生成方法 |
-
2017
- 2017-06-21 CN CN202011492434.XA patent/CN113163202B/zh active Active
- 2017-06-21 CN CN201710476879.0A patent/CN107318023B/zh active Active
- 2017-06-21 CN CN202011492058.4A patent/CN112954355B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5892847A (en) * | 1994-07-14 | 1999-04-06 | Johnson-Grace | Method and apparatus for compressing images |
EP1126411A1 (en) * | 2000-02-17 | 2001-08-22 | BRITISH TELECOMMUNICATIONS public limited company | Visual attention location system |
CN103218832A (zh) * | 2012-10-15 | 2013-07-24 | 上海大学 | 基于图像中全局颜色对比度和空域分布的视觉显著性算法 |
CN104065962A (zh) * | 2013-10-28 | 2014-09-24 | 四川大学 | 基于视觉注意的宏块层比特分配优化方法 |
CN104105006A (zh) * | 2014-07-23 | 2014-10-15 | 北京永新视博信息技术有限公司 | 一种视频图像处理方法和系统 |
CN106568782A (zh) * | 2016-11-05 | 2017-04-19 | 上海大学 | 一种基于机器视觉对彩色瓶盖图像颜色量化的方法 |
Non-Patent Citations (3)
Title |
---|
FLORENTIN DORIAN VINTILA 等: "《Motion Estimation Using a General Purpose Neural Network Simulator for Visual Attention》", 《2007 IEEE WORKSHOP ON APPLICATIONS OF COMPUTER VISION (WACV "07)》 * |
孙夏等: "视觉显著性预测综述", 《电子设计工程》 * |
王仕民等: "基于多尺度张量空间的改进Itti视觉显著性检测", 《系统仿真学报》 * |
Also Published As
Publication number | Publication date |
---|---|
CN112954355A (zh) | 2021-06-11 |
CN113163202B (zh) | 2022-10-18 |
CN107318023B (zh) | 2020-12-22 |
CN112954355B (zh) | 2022-12-09 |
CN107318023A (zh) | 2017-11-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10242646B2 (en) | RGB to YUV format conversion and inverse conversion method and circuit for depth packing and depacking | |
WO2018082185A1 (zh) | 图像处理方法和装置 | |
CN111489346B (zh) | 一种全参考图像质量评价方法及系统 | |
CN107318023B (zh) | 图像帧的压缩方法及装置 | |
CN112866802B (zh) | 视频处理方法、装置、存储介质及计算机设备 | |
CN107465939B (zh) | 视频图像数据流的处理方法及装置 | |
US20210390659A1 (en) | Apparatus and method for performing artificial intelligence encoding and decoding on image by using low-complexity neural network | |
CN111429357B (zh) | 训练数据确定方法、视频处理方法、装置、设备及介质 | |
CN112132836A (zh) | 视频图像裁剪方法、装置、电子设备及存储介质 | |
Sandić-Stanković et al. | Fast blind quality assessment of DIBR-synthesized video based on high-high wavelet subband | |
CN105744275A (zh) | 一种视频数据输入、输出方法和装置 | |
US20170161875A1 (en) | Video resolution method and apparatus | |
CN112565887A (zh) | 一种视频处理方法、装置、终端及存储介质 | |
JP2013187723A (ja) | 色変換装置、カラーサブサンプリング装置およびこれらのプログラム | |
US9508025B2 (en) | Image processing device, image processing method and medium | |
CN107220934A (zh) | 图像重建方法及装置 | |
US20170244972A1 (en) | Methods and apparatus for mapping input image | |
CN114092359B (zh) | 花屏处理方法、装置和电子设备 | |
KR20140028516A (ko) | 학습방식의 부화소기반 영상축소방법 | |
US10438328B1 (en) | Chroma blurring reduction in video and images | |
TW201635796A (zh) | 影像處理裝置與方法 | |
CN110267043B (zh) | 解码方法、解码装置和电子设备 | |
Popowicz et al. | Isoline based image colorization | |
CN112862905A (zh) | 图像处理方法、装置、存储介质及计算机设备 | |
US10417994B2 (en) | RGB format adjustment and reconstruction method and circuit for depth frame packing and depacking |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: The compression method and device for image frames Granted publication date: 20221018 Pledgee: Pudong Development Bank of Shanghai Limited by Share Ltd. Xi'an branch Pledgor: XI'AN VANXVM ELECTRONICS TECHNOLOGY Co.,Ltd. Registration number: Y2024610000022 |
|
PE01 | Entry into force of the registration of the contract for pledge of patent right |