CN112954355B - 图像帧的处理方法及装置 - Google Patents

图像帧的处理方法及装置 Download PDF

Info

Publication number
CN112954355B
CN112954355B CN202011492058.4A CN202011492058A CN112954355B CN 112954355 B CN112954355 B CN 112954355B CN 202011492058 A CN202011492058 A CN 202011492058A CN 112954355 B CN112954355 B CN 112954355B
Authority
CN
China
Prior art keywords
target
image block
image
color
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011492058.4A
Other languages
English (en)
Other versions
CN112954355A (zh
Inventor
周姣
钟安彪
苏睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Wanxiang Electronics Technology Co Ltd
Original Assignee
Xian Wanxiang Electronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Wanxiang Electronics Technology Co Ltd filed Critical Xian Wanxiang Electronics Technology Co Ltd
Priority to CN202011492058.4A priority Critical patent/CN112954355B/zh
Publication of CN112954355A publication Critical patent/CN112954355A/zh
Application granted granted Critical
Publication of CN112954355B publication Critical patent/CN112954355B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供一种图像帧的处理方法及装置，涉及通信领域，能够解决对图像进行处理时，导致数据传输量较大，或者图像显示不够清晰的问题。具体技术方案为：获取目标图像，目标图像包括至少一个图像块；计算所述至少一个图像块中每一个图像块的颜色变化参数，根据每一个图像块的颜色变化参数，确定目标图像中的视觉集中区域，视觉集中区域为目标图像向用户呈现时的关键区域。本公开用于对图像进行处理。

Description

图像帧的处理方法及装置
本申请是基于201710476879.0的专利进行的分案申请。
技术领域
本公开涉及图像帧的压缩技术领域，尤其涉及图像帧的处理方法及装置。
背景技术
随着科技的快速发展，图像的应用愈来愈广泛，因此对图像压缩处理的需求也随之提高，现有技术在压缩处理图像时，先将图像划分未若干个图像块，再对图像中的每个图像块进行逐一处理，但是，每个图像块所包含的信息并不相同，如果统一压缩处理每个图像块，则会造成图象处理中的数据量很大，从而影响图像处理的效率。
发明内容
本公开实施例提供一种图像帧的处理方法及装置，能够解决对图像进行压缩时，数据处理效率低的问题。所述技术方案如下：
根据本公开实施例的第一方面，提供一种图像帧的处理方法，该方法包括：
获取目标图像，目标图像包括至少一个图像块；
确定目标图像中的视觉集中区域，视觉集中区域为目标图像向用户呈现时的关键区域；
将目标图像中视觉集中区域的图像块进行无损压缩；
将目标图像中其他区域的图像块进行有损压缩，其他区域为目标图像中除视觉集中区域之外的区域。
视觉集中区域是用户在观看目标图像时较为关键的区域，用户注意力会更多的停留在视觉集中区域，对视觉集中区域的图像块进行无损压缩，保证了视觉集中区域的图像块显示的时候清晰度不会降低，满足用户对于图像清晰度的要求；同时，对于除视觉集中区域之外的其他区域的图像块进行有损压缩，因为在播放目标图像时其他区域不是用户重点关注的区域，因此，清晰度即便降低也不会对用户观看造成较多影响，而对其他区域的图像块进行有损压缩减少了视频传输过程中的数据传输量，节省了占用的网络资源，保证了用户观看视频的流畅性。因此，本公开所提供的图像帧的处理方法，在保证了图像显示具有较高的清晰度的同时，减少了视频传输过程中的数据传输量，节省了网络资源。
在一个实施例中，确定目标图像中的视觉集中区域，包括：
计算至少一个图像块中每一个图像块的颜色变化参数，至少一个图像块中目标图像块的颜色变化参数用于指示目标图像块的颜色变化的平滑情况；
将至少一个图像块中颜色变化参数大于预设阈值的图像块组成的区域确定为视觉集中区域。
颜色变化参数越大，图像块的颜色变化的平滑情况越差，也就是说，颜色变化参数越大，图像块中颜色变化越突兀，这样的图像块更能引起用户注意，在用户观看目标图像时，注意力更容易集中在颜色变化突兀的区域，因此，将颜色变化参数大于预设阈值的图像块组成的区域确定为视觉集中区域更能满足用户的需求。
在一个实施例中，计算至少一个图像块中每一个图像块的颜色变化参数，包括：
计算至少一个图像块中每个像素的梯度向量，一个图像块包含至少一个像素；
根据每个像素的梯度向量计算至少一个图像块中每一个图像块的结构张量；
将每一个图像块的结构张量中矩阵元素的方差值作为每一个图像块的颜色变化参数。
计算梯度向量，进而根据梯度向量计算结构张量，能够更加客观、准确地反映每一个图像块中颜色变化的情况。
在一个实施例中，计算至少一个图像块中每个像素的梯度向量，包括：
按照第一公式计算至少一个图像块中每个像素的梯度向量，第一公式为：
Figure BDA0002841021730000031
φx(i)表示目标像素的梯度向量的横向分量，φy(i)表示目标像素的梯度向量的纵向分量，Yx，y表示目标像素的色值分量，Yx±1,y表示目标像素横向相邻像素的色值分量，Yx,y±1表示目标像素纵向相邻像素的色值分量，目标像素是目标图像块中第x行第y列的像素。
分别计算梯度向量横向和纵向的分量值，更为全面的体现了相邻像素之间的颜色差异，更加准确地体现了图像块中像素的颜色变化情况。
在一个实施例中，根据每个像素的梯度向量计算至少一个图像块中每一个图像块的结构张量，包括：
根据每个像素的梯度向量按照第二公式计算至少一个图像块中每一个图像块的结构张量，第二公式为：
Figure BDA0002841021730000032
其中，T表示目标图像块的结构张量，φx(i)表示目标像素的梯度向量的横向分量，φy(i)表示目标像素的梯度向量的纵向分量，G为高斯算子。
根据第二公式计算的结构张量是一个矩阵，包含4个矩阵元素，更为全面、准确地体现了每一个图像块中像素的颜色变化情况。
在一个实施例中，获取目标图像，包括：
对原始图像进行初始化处理生成目标图像。
初始化处理后的目标图像便于确定视觉集中区域，而且减少了处理过程中的运算量。
在一个实施例中，对原始图像进行初始化处理生成目标图像，包括：
根据第三公式计算原始图像中目标像素与预设颜色的色值距离，第三公式为：
Figure BDA0002841021730000041
其中，S表示目标像素与预设颜色的色值距离，CYi、CUi、CVi分别表示目标像素的三个色值分量，CY0、CU0、CV0分别表示预设颜色的三个色值分量；
在目标像素与预设颜色的色值距离小于预设距离时，将目标像素的颜色替换为预设颜色并生成目标图像。
根据第三公示计算目标像素与预设颜色的色值距离，如果色值距离小于预设距离，说明目标像素的颜色和预设颜色相近，将目标像素的颜色替换为预设颜色，对于每个像素都进行这样的处理，能够使得颜色相近的像素都变成相同的颜色，使得颜色不相近的像素颜色差异更为明显，在确定视觉集中区域时更加准确便捷，同时，减少了图像中的颜色数量，在后续处理过程中，减少了运算量。
根据本公开实施例的第二方面，提供一种图像的处理装置，包括：获取模块、视觉集中模块、无损压缩模块和有损压缩模块；
获取模块，用于获取目标图像，目标图像包括至少一个图像块；
视觉集中模块，用于确定目标图像中的视觉集中区域，视觉集中区域为目标图像向用户呈现时的关键区域；
无损压缩模块，用于将目标图像中视觉集中区域的图像块进行无损压缩；
有损压缩模块，用于将目标图像中其他区域的图像块进行有损压缩，其他区域为目标图像中除视觉集中区域之外的区域。
在一个实施例中，视觉集中模块包括颜色变化参数子模块和阈值子模块；
颜色变化参数子模块，用于计算至少一个图像块中每一个图像块的颜色变化参数，至少一个图像块中目标图像块的颜色变化参数用于指示目标图像块的颜色变化的平滑情况；
阈值子模块，用于将至少一个图像块中颜色变化参数大于预设阈值的图像块组成的区域确定为视觉集中区域。
在一个实施例中，颜色变化参数子模块包括梯度向量单元、结构张量单元和方差单元；
梯度向量单元，用于将至少一个图像块中颜色变化参数大于预设阈值的图像块组成的区域确定为视觉集中区域。
结构张量单元，用于根据每个像素的梯度向量计算至少一个图像块中每一个图像块的结构张量；
方差单元，用于将每一个图像块的结构张量中矩阵元素的方差值作为每一个图像块的颜色变化参数。
在一个实施例中，梯度向量单元，用于按照第一公式计算至少一个图像块中每个像素的梯度向量，第一公式为：
Figure BDA0002841021730000051
φx(i)表示目标像素的梯度向量的横向分量，φy(i)表示目标像素的梯度向量的纵向分量，Yx，y表示目标像素的色值分量，Yx±1,y表示目标像素横向相邻像素的色值分量，Yx,y±1表示目标像素纵向相邻像素的色值分量，目标像素是目标图像块中第x行第y列的像素。
在一个实施例中，结构张量单元，用于根据每个像素的梯度向量按照第二公式计算至少一个图像块中每一个图像块的结构张量，第二公式为：
Figure BDA0002841021730000052
其中，T表示目标图像块的结构张量，φx(i)表示目标像素的梯度向量的横向分量，φy(i)表示目标像素的梯度向量的纵向分量，G为高斯算子。
在一个实施例中，获取模块包括初始化子模块；
初始化子模块，用于对原始图像进行初始化处理生成所述目标图像。
在一个实施例中，初始化子模块包括色值距离单元和替换单元；
色值距离单元，用于根据第三公式计算目标像素与预设颜色的色值距离，第三公式为：
Figure BDA0002841021730000061
其中，S表示目标像素与预设颜色的色值距离，CYi、CUi、CVi分别表示目标像素的三个色值分量，CY0、CU0、CV0分别表示预设颜色的三个色值分量；
替换单元，用于在目标像素与预设颜色的色值距离小于预设距离时，将目标像素的颜色替换为预设颜色并生成目标图像。
在一个实施例中，获取模块，还用于获取待压缩视频中的I帧作为目标图像。
根据本公开实施例的第三方面，提供一种计算机可读存储介质，其上存储有计算机指令，用于执行上述第一方面及第一方面的任意一个实施例所提供的图像帧的处理方法，该指令被处理器执行时可以实现以下步骤：
获取目标图像，目标图像包括至少一个图像块；
确定目标图像中的视觉集中区域，视觉集中区域为目标图像向用户呈现时的关键区域；
将目标图像中视觉集中区域的图像块进行无损压缩；
将目标图像中其他区域的图像块进行有损压缩，其他区域为目标图像中除视觉集中区域之外的区域。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是本公开实施例提供的一种图像帧的处理方法的流程图；
图2是本公开实施例提供的一种视觉集中区域示意图；
图3是本公开实施例提供的另一种视觉集中区域示意图；
图4是本公开另一实施例提供的一种图像帧的处理方法的流程图；
图5是本公开实施例提供的一种图像帧的处理装置的结构图；
图6是本公开实施例提供的一种图像帧的处理装置的结构图；
图7是本公开实施例提供的一种颜色变化参数子模块的结构图；
图8是本公开实施例提供的一种图像帧的处理装置的结构图；
图9是本公开实施例提供的一种初始化子模块的结构图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本公开实施例提供一种图像帧的处理方法，应用于图像帧的处理装置，该图像帧的处理装置可以是服务器或终端设备，终端设备可以是智能手机、平板电脑等，如图1所示，该图像帧的处理方法包括以下步骤：
101、获取目标图像帧。
目标图像帧是任意一个图像帧，本公开以目标图像帧为例进行说明。目标图像帧包括至少一个图像块。每一个图像块可以包括至少一个像素，每一个像素可以包括至少一个子像素。通常情况下，一个像素包括三个子像素，三个子像素可以分别表示红绿蓝(英文：Red Green Blue，RGB)三种颜色，每个子像素的颜色用一个色值分量表示。需要说明的是，本公开所说的色值分量，可以是RGB色值的色值分量，也可以是YUV色值的色值分量，当然，也可以是其他方式定义的色值的色值分量，色值用于表示一种颜色，色值能够体现该颜色的色相、明度、彩度中的至少一项，对于色值的具体形式，本公开不做限制。
此处，以RGB色值为例，对像素和子像素颜色的构成进行说明：RGB色值通常用六位十六进制数表示，每两位十六进制数表示一个色值分量，比如RGB色值是“FF0000”表示红色，红色的色值分量为“FF”，转换为十进制就是255，表示红色的色彩亮度度达到最大，蓝色和绿色的色值分量均为“00”，表示蓝色和绿色的色彩亮度最低，即没有颜色，RGB三种颜色的子像素就形成了红色的像素。又如，RGB色值是“FFFFFF”表示白色，红绿蓝三种颜色的色值分量都是最大“FF”，RGB三个子像素的色值分量均为“FF”，三种颜色的子像素就形成了白色的像素。
当然，此处只是以RGB色值为例进行说明，也可以是红黄绿蓝四种子像素构成一个像素，本公开对此不做限制。
需要说明的是，可以直接获取原始图像帧作为目标图像帧进行处理，也可以在获取原始图像帧之后进行初始化处理生成目标图像帧。
以第二种实现方式为例，获取目标图像帧，包括：对原始图像帧进行初始化处理生成目标图像帧。
初始化处理后的目标图像帧便于确定视觉集中区域，而且减少了处理过程中的运算量。
具体的，对原始图像帧进行初始化处理生成目标图像帧，包括：
根据第三公式计算原始图像帧中目标像素与预设颜色的色值距离，第三公式为：
Figure BDA0002841021730000081
其中，S表示目标像素与预设颜色的色值距离，CYi、CUi、CVi分别表示目标像素的三个色值分量，CY0、CU0、CV0分别表示预设颜色的三个色值分量，此处，三个色值分量以YUV色值的三个分量为例，并不代表本公开局限于此；
在目标像素与预设颜色的色值距离小于预设距离时，将目标像素的颜色替换为预设颜色并生成目标图像帧。
根据第三公示计算目标像素与预设颜色的色值距离，如果色值距离小于预设距离，说明目标像素的颜色和预设颜色相近，将目标像素的颜色替换为预设颜色，对于每个像素都进行这样的处理，能够使得颜色相近的像素都变成相同的颜色，使得颜色不相近的像素颜色差异更为明显，在确定视觉集中区域时更加准确便捷，同时，减少了图像帧中的颜色数量，在后续处理过程中，减少了运算量。
在一个实施例中，获取目标图像帧，包括：获取待压缩视频中的I帧作为目标图像帧。
通常情况下，I帧是较为重要的帧，往往占用大量资源，对I帧利用本公开所提供的图像帧的处理方法进行压缩，在保证图像帧清晰度的同时能够极大减少资源占用，而对于其他帧(例如P帧、B帧)可以不采取本公开所提供的图像帧的处理方法，减小压缩时的运算量，提高处理效率。
102、确定目标图像帧中的视觉集中区域。
视觉集中区域为目标图像帧向用户呈现时的关键区域。对于如何确定视觉集中区域，可以有多种实现方式，此处列举两种具体的实现方式进行说明：
在第一种实现方式中，视觉集中区域可以是预设的区域，对于每一个图像帧来说，视觉集中区域都是相同的，如图2所示，图2是本公开实施例提供的一种视觉集中区域示意图，目标图像帧的视觉集中区域可以是目标图像帧中最中间的区域，因为在用户观看图像帧时，注意力通常集中在最中间的区域，将每个图像帧的预设的区域都作为视觉集中区域，不需要做太多处理，提高了处理效率。视觉集中区域可以包括若干个图像块，视觉集中区域的形状可以是圆形、矩形、或者其他形状的多边形等，本公开对此不做限制。
在第二种实现方式中，可以通过数学算法计算确定视觉集中区域。例如，确定目标图像帧中的视觉集中区域，包括：
计算至少一个图像块中每一个图像块的颜色变化参数，至少一个图像块中目标图像块的颜色变化参数用于指示目标图像块的颜色变化的平滑情况；将至少一个图像块中颜色变化参数大于预设阈值的图像块组成的区域确定为视觉集中区域。
颜色变化参数越大，图像块的颜色变化的平滑情况越差，也就是说，颜色变化参数越大，图像块中颜色变化越突兀，这样的图像块更能引起用户注意，在用户观看目标图像帧时，注意力更容易集中在颜色变化突兀的区域，因此，将颜色变化参数大于预设阈值的图像块组成的区域确定为视觉集中区域更能满足用户的需求。如图3所示，图3是本公开实施例提供的另一种视觉集中区域示意图。以目标图像帧包含人物为例，在用户图像帧时，注意力容易集中在图像帧中的人物身上，而对于目标图像帧而言，人物和背景之间的颜色变化通常较为突兀，将颜色变化突兀的区域确定为视觉集中区域，用户在观看目标图像帧时，能够更清晰地辨别出人物。
具体的，对于如何计算每一个图像块的颜色变化参数，此处列举一种具体的算法进行说明：
在一个实施例中，计算至少一个图像块中每一个图像块的颜色变化参数，包括：计算至少一个图像块中每个像素的梯度向量，一个图像块包含至少一个像素；根据每个像素的梯度向量计算至少一个图像块中每一个图像块的结构张量；将每一个图像块的结构张量中矩阵元素的方差值作为每一个图像块的颜色变化参数。
计算梯度向量，进而根据梯度向量计算结构张量，能够更加客观、准确地反映每一个图像块中颜色变化的情况。
进一步的，对于如何计算梯度向量和结构张量，此处列举两个示例进行说明：
在第一个示例中，计算至少一个图像块中每个像素的梯度向量，包括：
按照第一公式计算至少一个图像块中每个像素的梯度向量，第一公式为：
Figure BDA0002841021730000111
φx(i)表示目标像素的梯度向量的横向分量，φy(i)表示目标像素的梯度向量的纵向分量，Yx，y表示目标像素的色值分量，Yx±1,y表示目标像素横向相邻像素的色值分量，Yx,y±1表示目标像素纵向相邻像素的色值分量。目标像素是目标图像块中第x行第y列的像素，与目标像素横向相邻的像素可以是目标图像块中第x-1行第y列的像素或者第x+1行第y列的像素；与目标像素纵向相邻的像素可以是目标图像块中第x行第y-1列的像素或者第x行第y+1列的像素。
分别计算梯度向量横向和纵向的分量值，更为全面的体现了相邻像素之间的颜色差异，更加准确地体现了图像块中像素的颜色变化情况。
在第二个示例中，根据每个像素的梯度向量计算至少一个图像块中每一个图像块的结构张量，包括：
根据每个像素的梯度向量按照第二公式计算至少一个图像块中每一个图像块的结构张量，第二公式为：
Figure BDA0002841021730000112
其中，T表示目标图像块的结构张量，φx(i)表示目标像素的梯度向量的横向分量，φy(i)表示目标像素的梯度向量的纵向分量，G为高斯算子。
根据第二公式计算的结构张量是一个矩阵，包含4个矩阵元素，更为全面、准确地体现了每一个图像块中像素的颜色变化情况。
103、将目标图像帧中视觉集中区域的图像块进行无损压缩。
对视觉集中区域的图像块无损压缩后，能够在进行解压时完全恢复目标视觉集中区域的图像块而不引起失真，保证了视觉集中区域在显示时的清晰度较高，而视觉集中区域是用户观看目标图像帧时视觉停留时间较长，更容易引起用户关注的区域，保证其清晰度较高就保证了用户体验较高，满足了用户对于清晰度高的需求。
104、将目标图像帧中其他区域的图像块进行有损压缩。
其他区域为目标图像帧中除视觉集中区域之外的区域。
对其他区域的图像块有损压缩后，在解压时不能完全恢复其他区域的图像块，解压后的数据与其他区域的图像块非常相近，但有所不同，有损压缩的方式压缩比较高，在压缩后数据量大大降低，减少了传输过程的数据传输量。因为在播放目标图像帧时其他区域不是用户重点关注的区域，因此，清晰度即便降低也不会对用户观看造成较多影响，而对其他区域的图像块进行有损压缩减少了视频传输过程中的数据传输量，节省了占用的网络资源，保证了用户观看视频的流畅性。
需要说明的是，步骤103和步骤104可以没有先后顺序。
本公开实施例提供的图像帧的处理方法，获取目标图像帧；确定目标图像帧中的视觉集中区域；将目标图像帧中视觉集中区域的图像块进行无损压缩；将目标图像帧中其他区域的图像块进行有损压缩。视觉集中区域是用户在观看目标图像帧时较为关键的区域，用户注意力会更多的停留在视觉集中区域，对视觉集中区域的图像块进行无损压缩，保证了视觉集中区域的图像块显示的时候清晰度不会降低，满足用户对于图像帧清晰度的要求；同时，对于除视觉集中区域之外的其他区域的图像块进行有损压缩，因为在播放目标图像帧时其他区域不是用户重点关注的区域，因此，清晰度即便降低也不会对用户观看造成较多影响，而对其他区域的图像块进行有损压缩减少了视频传输过程中的数据传输量，节省了占用的网络资源，保证了用户观看视频的流畅性。因此，本公开所提供的图像帧的处理方法，在保证了图像帧显示具有较高的清晰度的同时，减少了视频传输过程中的数据传输量，节省了网络资源。
基于上述图1对应的实施例提供的图像帧的处理方法，本公开另一实施例提供一种图像帧的处理方法。本实施例以发送视频为例进行说明，参照图4所示，本实施例提供的图像帧的处理方法包括以下步骤：
401、获取待压缩视频。
待压缩视频包括至少一个图像帧，图像帧可以是I帧、P帧、B帧等。获取待压缩视频之后，可以对待压缩视频中的图像帧逐一进行处理，也可以多个同时处理。
402、判断原始图像帧的类型是否为I帧。
此处以一个原始图像帧为例进行说明。如果原始图像帧不是I帧，则将该原始图像帧直接加入普通压缩编码的序列，进行普通压缩编码的处理，普通压缩编码可以是有损压缩编码；如果该原始图像帧是I帧，则执行步骤403。
403、对原始图像帧进行初始化处理生成目标图像帧。
对原始图像帧进行的初始化处理可以是色阶初始化处理，计算原始图像帧中目标像素与预设颜色的色值距离，在目标像素与预设颜色的色值距离小于预设距离时，将目标像素的颜色替换为预设颜色并生成目标图像帧。进行初始化处理后的目标图像帧替换了原来的原始图像帧，将颜色相近的像素统一变更为相同的颜色，减少目标图像帧的颜色数量，减少了处理过程中的运算量。
例如，可以设置10种预设颜色，以原始图像帧中的目标像素为例，目标像素是原始图像帧中的任意一个像素。10种预设颜色中，第2种预设颜色与目标像素的颜色最为相近，则可以计算目标像素与第2种预设颜色的色值距离，在目标像素与第2种预设颜色的色值距离小于预设距离时，将目标像素的颜色替换为第2种预设颜色。当然，也可以直接计算目标像素与每一种预设颜色的色值距离，将目标像素的颜色替换为与其色值距离最小的预设颜色。当然，10种预设颜色只是示例性说明，也可以有更多种，本公开对此不作限制。
404、计算目标图像帧内每个图像块中每个像素的梯度向量。
图像块的划分可以按照横纵两个方向进行均分，例如将目标图像帧划分为4×4的16个图像块，或者8×8的64个图像块，本公开对此不作限制。
具体的，以目标图像帧内目标图像块中的目标像素为例进行说明：
按照第一公式计算目标像素的梯度向量，第一公式为：
Figure BDA0002841021730000141
φx(i)表示目标像素的梯度向量的横向分量，φy(i)表示目标像素的梯度向量的纵向分量，Yx，y表示目标像素的色值分量，Yx±1,y表示目标像素横向相邻像素的色值分量，Yx,y±1表示目标像素纵向相邻像素的色值分量，目标像素是目标图像块中第x行第y列的像素。
如果以每一个像素的长宽作为单位长度，则第一公式其实就是对目标像素的色值分量进行求导，第一公式的形式也可以表示成如下形式：
Figure BDA0002841021730000142
其中，Y(i)＝Yx,y(i)，表示目标像素的色值分量，Yx±Δx,y(i)表示目标像素横向相邻像素的色值分量，Yx,y±Δy(i)表示目标像素纵向相邻像素的色值分量。本公开中以色值分量是YUV色值中的Y分量为例进行说明，并不代表本公开局限于此。在计算每个像素的梯度向量时，可以将每个像素不同色值分量的梯度向量都进行计算。
405、根据每个像素的梯度向量计算目标图像帧内每一个图像块的结构张量，并计算每一个图像块的结构张量的方差。
406、将目标图像帧内结构张量的方差大于预设阈值的图像块组成的区域确定为视觉集中区域。
此处将结构张量的方差作为颜色变化参数进行说明，并不代表本公开局限于此，颜色变化参数也可以是其他形式的参数。
407、将目标图像帧中视觉集中区域的图像块加入无损压缩编码的序列，将目标图像帧中其他区域的图像块加入普通压缩编码的序列。
408、对无损压缩编码的序列中的图像块进行无损压缩编码，对普通压缩编码的序列中的图像块进行有损压缩编码，并输出码流。
本公开实施例提供的图像帧的处理方法，获取目标图像帧；确定目标图像帧中的视觉集中区域；将目标图像帧中视觉集中区域的图像块进行无损压缩；将目标图像帧中其他区域的图像块进行有损压缩。视觉集中区域是用户在观看目标图像帧时较为关键的区域，用户注意力会更多的停留在视觉集中区域，对视觉集中区域的图像块进行无损压缩，保证了视觉集中区域的图像块显示的时候清晰度不会降低，满足用户对于图像帧清晰度的要求；同时，对于除视觉集中区域之外的其他区域的图像块进行有损压缩，因为在播放目标图像帧时其他区域不是用户重点关注的区域，因此，清晰度即便降低也不会对用户观看造成较多影响，而对其他区域的图像块进行有损压缩减少了视频传输过程中的数据传输量，节省了占用的网络资源，保证了用户观看视频的流畅性。因此，本公开所提供的图像帧的处理方法，在保证了图像帧显示具有较高的清晰度的同时，减少了视频传输过程中的数据传输量，节省了网络资源。
基于上述图1和图4对应的实施例中所描述的图像帧的处理方法，下述为本公开装置实施例，可以用于执行本公开方法实施例。
本公开实施例提供一种图像帧的处理装置，如图5所示，该图像帧的压缩装置50包括：获取模块501、视觉集中模块502、无损压缩模块503和有损压缩模块504；
获取模块501，用于获取目标图像帧，目标图像帧包括至少一个图像块；
视觉集中模块502，用于确定目标图像帧中的视觉集中区域，视觉集中区域为目标图像帧向用户呈现时的关键区域；
无损压缩模块503，用于将目标图像帧中视觉集中区域的图像块进行无损压缩；
有损压缩模块504，用于将目标图像帧中其他区域的图像块进行有损压缩，其他区域为目标图像帧中除视觉集中区域之外的区域。
在一个实施例中，如图6所示，视觉集中模块502包括颜色变化参数子模块5021和阈值子模块5022；
颜色变化参数子模块5021，用于计算至少一个图像块中每一个图像块的颜色变化参数，至少一个图像块中目标图像块的颜色变化参数用于指示目标图像块的颜色变化的平滑情况；
阈值子模块5022，用于将至少一个图像块中颜色变化参数大于预设阈值的图像块组成的区域确定为视觉集中区域。
在一个实施例中，如图7所示，颜色变化参数子模块5021包括梯度向量单元50211、结构张量单元50212和方差单元50213；
梯度向量单元50211，用于将至少一个图像块中颜色变化参数大于预设阈值的图像块组成的区域确定为视觉集中区域。
结构张量单元50212，用于根据每个像素的梯度向量计算至少一个图像块中每一个图像块的结构张量；
方差单元50213，用于将每一个图像块的结构张量中矩阵元素的方差值作为每一个图像块的颜色变化参数。
在一个实施例中，梯度向量单元50211，用于按照第一公式计算至少一个图像块中每个像素的梯度向量，第一公式为：
Figure BDA0002841021730000161
φx(i)表示目标像素的梯度向量的横向分量，φy(i)表示目标像素的梯度向量的纵向分量，Yx，y表示目标像素的色值分量，Yx±1,y表示目标像素横向相邻像素的色值分量，Yx,y±1表示目标像素纵向相邻像素的色值分量，目标像素是目标图像块中第x行第y列的像素。
在一个实施例中，结构张量单元50212，用于根据每个像素的梯度向量按照第二公式计算至少一个图像块中每一个图像块的结构张量，第二公式为：
Figure BDA0002841021730000171
其中，T表示目标图像块的结构张量，φx(i)表示目标像素的梯度向量的横向分量，φy(i)表示目标像素的梯度向量的纵向分量，G为高斯算子。
在一个实施例中，如图8所示，获取模块501包括初始化子模块5011；
初始化子模块5011，用于对原始图像帧进行初始化处理生成所述目标图像帧。
在一个实施例中，如图9所示，初始化子模块5011包括色值距离单元50111和替换单元50112；
色值距离单元50111，用于根据第三公式计算目标像素与预设颜色的色值距离，第三公式为：
Figure BDA0002841021730000172
其中，S表示目标像素与预设颜色的色值距离，CYi、CUi、CVi分别表示目标像素的三个色值分量，CY0、CU0、CV0分别表示预设颜色的三个色值分量；
替换单元50112，用于在目标像素与预设颜色的色值距离小于预设距离时，将目标像素的颜色替换为预设颜色并生成目标图像帧。
在一个实施例中，获取模块501，还用于获取待压缩视频中的I帧作为目标图像帧。
本公开实施例提供的图像帧的处理装置，获取目标图像帧；确定目标图像帧中的视觉集中区域；将目标图像帧中视觉集中区域的图像块进行无损压缩；将目标图像帧中其他区域的图像块进行有损压缩。视觉集中区域是用户在观看目标图像帧时较为关键的区域，用户注意力会更多的停留在视觉集中区域，对视觉集中区域的图像块进行无损压缩，保证了视觉集中区域的图像块显示的时候清晰度不会降低，满足用户对于图像帧清晰度的要求；同时，对于除视觉集中区域之外的其他区域的图像块进行有损压缩，因为在播放目标图像帧时其他区域不是用户重点关注的区域，因此，清晰度即便降低也不会对用户观看造成较多影响，而对其他区域的图像块进行有损压缩减少了视频传输过程中的数据传输量，节省了占用的网络资源，保证了用户观看视频的流畅性。因此，本公开所提供的图像帧的处理方法，在保证了图像帧显示具有较高的清晰度的同时，减少了视频传输过程中的数据传输量，节省了网络资源。
基于上述图1和图4对应的实施例中所描述的图像帧的处理方法，本公开实施例还提供一种计算机可读存储介质，例如，非临时性计算机可读存储介质可以是只读存储器(英文：Read Only Memory，ROM)、随机存取存储器(英文：Random Access Memory，RAM)、CD-ROM、磁带、软盘和光数据存储装置等。该存储介质上存储有计算机指令，用于执行上述图1和图4对应的实施例中所描述的图像帧的处理方法，此处不再赘述。
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (12)

1.一种图像帧的处理方法，其特征在于，所述方法包括：
获取目标帧图像，所述目标帧图像包括至少一个图像块；
计算所述至少一个图像块中每一个图像块的颜色变化参数，所述至少一个图像块中目标图像块的颜色变化参数用于指示所述目标图像块的颜色变化的平滑情况；
根据所述每一个图像块的颜色变化参数，将所述至少一个图像块中颜色变化参数大于预设阈值的图像块组成的区域确定为所述目标帧图像中的视觉集中区域，所述视觉集中区域为所述目标帧图像向用户呈现时的关键区域；
其中，计算所述至少一个图像块中每一个图像块的颜色变化参数，包括：
计算所述至少一个图像块中每个像素的梯度向量，一个图像块包含至少一个像素；根据每个像素的梯度向量计算所述至少一个图像块中每一个图像块的结构张量；将所述每一个图像块的结构张量中矩阵元素的方差值作为所述每一个图像块的颜色变化参数。
2.根据权利要求1所述的方法，其特征在于，计算所述至少一个图像块中每个像素的梯度向量，包括：
按照第一公式计算所述至少一个图像块中每个像素的梯度向量，所述第一公式为：
φx(i)＝Yx，y-Yx±1,y
φy(i)＝Yx,y-Yx,y±1；
φx(i)表示目标像素的梯度向量的横向分量，φy(i)表示目标像素的梯度向量的纵向分量，Yx，y表示所述目标像素的色值分量，Yx±1,y表示所述目标像素横向相邻像素的色值分量，Yx,y±1表示所述目标像素纵向相邻像素的色值分量，所述目标像素是所述目标图像块中第x行第y列的像素。
3.根据权利要求1所述的方法，其特征在于，根据每个像素的梯度向量计算所述至少一个图像块中每一个图像块的结构张量，包括：
根据所述每个像素的梯度向量按照第二公式计算所述至少一个图像块中每一个图像块的结构张量，所述第二公式为：
Figure FDA0003896200800000021
其中，T表示目标图像块的结构张量，φx(i)表示目标像素的梯度向量的横向分量，φy(i)表示目标像素的梯度向量的纵向分量，G为高斯算子。
4.根据权利要求1所述的方法，其特征在于，所述获取目标图像帧，包括：
对原始图像帧进行初始化处理生成所述目标图像帧。
5.根据权利要求4所述的方法，其特征在于，对原始图像帧进行初始化处理生成所述目标图像帧，包括：
根据第三公式计算所述原始图像帧中目标像素与预设颜色的色值距离，所述第三公式为：
Figure FDA0003896200800000022
其中，S表示所述目标像素与所述预设颜色的色值距离，CYi、CUi、CVi分别表示所述目标像素的三个色值分量，CY0、CU0、CV0分别表示所述预设颜色的三个色值分量；
在所述目标像素与所述预设颜色的色值距离小于预设距离时，将所述目标像素的颜色替换为所述预设颜色并生成所述目标图像帧。
6.根据权利要求1-5任一项所述的方法，其特征在于，获取目标图像帧，包括：
获取待压缩视频中的I帧作为所述目标图像帧。
7.一种图像帧的处理装置，其特征在于，包括：获取模块、视觉集中模块，所述视觉集中模块包括颜色变化参数子模块和阈值子模块；
所述获取模块，用于获取目标帧图像，所述目标帧图像包括至少一个图像块；
所述颜色变化参数子模块，用于计算所述至少一个图像块中每一个图像块的颜色变化参数，所述至少一个图像块中目标图像块的颜色变化参数用于指示所述目标图像块的颜色变化的平滑情况；
所述阈值子模块，用于根据所述每一个图像块的颜色变化参数，将所述至少一个图像块中颜色变化参数大于预设阈值的图像块组成的区域确定为所述目标帧图像中的视觉集中区域，所述视觉集中区域为所述目标帧图像向用户呈现时的关键区域；
其中，所述颜色变化参数子模块包括：梯度向量单元、结构张量单元和方差单元；
所述梯度向量单元，用于计算所述至少一个图像块中每个像素的梯度向量，一个图像块包含至少一个像素；
所述结构张量单元，用于根据每个像素的梯度向量计算所述至少一个图像块中每一个图像块的结构张量；
所述方差单元，用于将所述每一个图像块的结构张量中矩阵元素的方差值作为所述每一个图像块的颜色变化参数。
8.根据权利要求7所述的装置，其特征在于，
所述梯度向量单元，用于按照第一公式计算所述至少一个图像块中每个像素的梯度向量，所述第一公式为：
Figure FDA0003896200800000031
φx(i)表示目标像素的梯度向量的横向分量，φy(i)表示目标像素的梯度向量的纵向分量，Yx，y表示所述目标像素的色值分量，Yx±1,y表示所述目标像素横向相邻像素的色值分量，Yx,y±1表示所述目标像素纵向相邻像素的色值分量，所述目标像素是所述目标图像块中第x行第y列的像素。
9.根据权利要求7所述的装置，其特征在于，
所述结构张量单元，用于根据所述每个像素的梯度向量按照第二公式计算所述至少一个图像块中每一个图像块的结构张量，所述第二公式为：
Figure FDA0003896200800000041
其中，T表示目标图像块的结构张量，φx(i)表示目标像素的梯度向量的横向分量，φy(i)表示目标像素的梯度向量的纵向分量，G为高斯算子。
10.根据权利要求7所述的装置，其特征在于，所述获取模块包括初始化子模块；
所述初始化子模块，用于对原始图像帧进行初始化处理生成所述目标图像帧。
11.根据权利要求10所述的装置，其特征在于，所述初始化子模块包括色值距离单元和替换单元；
所述色值距离单元，用于根据第三公式计算所述原始图像帧中目标像素与预设颜色的色值距离，所述第三公式为：
Figure FDA0003896200800000042
其中，S表示所述目标像素与所述预设颜色的色值距离，CYi、CUi、CVi分别表示所述目标像素的三个色值分量，CY0、CU0、CV0分别表示所述预设颜色的三个色值分量；
所述替换单元，用于在所述目标像素与所述预设颜色的色值距离小于预设距离时，将所述目标像素的颜色替换为所述预设颜色并生成所述目标图像帧。
12.根据权利要求7-11任一项所述的装置，其特征在于，
所述获取模块，还用于获取待压缩视频中的I帧作为所述目标图像帧。
CN202011492058.4A 2017-06-21 2017-06-21 图像帧的处理方法及装置 Active CN112954355B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011492058.4A CN112954355B (zh) 2017-06-21 2017-06-21 图像帧的处理方法及装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710476879.0A CN107318023B (zh) 2017-06-21 2017-06-21 图像帧的压缩方法及装置
CN202011492058.4A CN112954355B (zh) 2017-06-21 2017-06-21 图像帧的处理方法及装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201710476879.0A Division CN107318023B (zh) 2017-06-21 2017-06-21 图像帧的压缩方法及装置

Publications (2)

Publication Number Publication Date
CN112954355A CN112954355A (zh) 2021-06-11
CN112954355B true CN112954355B (zh) 2022-12-09

Family

ID=60183820

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202011492434.XA Active CN113163202B (zh) 2017-06-21 2017-06-21 图像帧的压缩方法及装置
CN201710476879.0A Active CN107318023B (zh) 2017-06-21 2017-06-21 图像帧的压缩方法及装置
CN202011492058.4A Active CN112954355B (zh) 2017-06-21 2017-06-21 图像帧的处理方法及装置

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN202011492434.XA Active CN113163202B (zh) 2017-06-21 2017-06-21 图像帧的压缩方法及装置
CN201710476879.0A Active CN107318023B (zh) 2017-06-21 2017-06-21 图像帧的压缩方法及装置

Country Status (1)

Country Link
CN (3) CN113163202B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110582019A (zh) * 2019-09-02 2019-12-17 北京网聘咨询有限公司 基于手机端的视频简化处理系统
CN111464812B (zh) * 2020-04-17 2022-06-10 重庆京像微电子有限公司 编码解码的方法、系统、装置、存储介质及处理器
CN114022790B (zh) * 2022-01-10 2022-04-26 成都国星宇航科技有限公司 遥感图像中云层检测及图像压缩方法、装置和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103218832A (zh) * 2012-10-15 2013-07-24 上海大学 基于图像中全局颜色对比度和空域分布的视觉显著性算法
CN104065962A (zh) * 2013-10-28 2014-09-24 四川大学 基于视觉注意的宏块层比特分配优化方法
CN104105006A (zh) * 2014-07-23 2014-10-15 北京永新视博信息技术有限公司 一种视频图像处理方法和系统
CN104933738A (zh) * 2015-06-16 2015-09-23 中国人民解放军国防科学技术大学 一种基于局部结构检测和对比度的视觉显著图生成方法
CN106568782A (zh) * 2016-11-05 2017-04-19 上海大学 一种基于机器视觉对彩色瓶盖图像颜色量化的方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996002895A1 (en) * 1994-07-14 1996-02-01 Johnson Grace Company Method and apparatus for compressing images
EP1126411A1 (en) * 2000-02-17 2001-08-22 BRITISH TELECOMMUNICATIONS public limited company Visual attention location system
WO2004034323A2 (en) * 2002-10-07 2004-04-22 Summus, Inc. System for graphics compression and display
CN103577993B (zh) * 2012-08-07 2017-06-09 阿里巴巴集团控股有限公司 颜色选取方法及装置
CN103886623B (zh) * 2012-12-19 2017-03-15 华为技术有限公司 一种图像压缩方法、设备及系统
CN103886622B (zh) * 2012-12-21 2017-10-31 腾讯科技（深圳）有限公司 自动图像区域划分的实现方法及实现装置
CN103514580B (zh) * 2013-09-26 2016-06-08 香港应用科技研究院有限公司 用于获得视觉体验优化的超分辨率图像的方法和系统
CN103700121A (zh) * 2013-12-30 2014-04-02 Tcl集团股份有限公司 一种复合图像的压缩方法及装置
CN104270638A (zh) * 2014-07-29 2015-01-07 武汉飞脉科技有限责任公司 一种ct影像感兴趣区域压缩与质量评估方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103218832A (zh) * 2012-10-15 2013-07-24 上海大学 基于图像中全局颜色对比度和空域分布的视觉显著性算法
CN104065962A (zh) * 2013-10-28 2014-09-24 四川大学 基于视觉注意的宏块层比特分配优化方法
CN104105006A (zh) * 2014-07-23 2014-10-15 北京永新视博信息技术有限公司 一种视频图像处理方法和系统
CN104933738A (zh) * 2015-06-16 2015-09-23 中国人民解放军国防科学技术大学 一种基于局部结构检测和对比度的视觉显著图生成方法
CN106568782A (zh) * 2016-11-05 2017-04-19 上海大学 一种基于机器视觉对彩色瓶盖图像颜色量化的方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
《Motion Estimation Using a General Purpose Neural Network Simulator for Visual Attention》;Florentin Dorian Vintila 等;《2007 IEEE Workshop on Applications of Computer Vision (WACV "07)》;20070305;全文 *
基于区域协方差的视频显著度局部空时优化模型;田畅等;《电子与信息学报》;20160406(第07期);全文 *
基于对比度和局部结构特征的显著性检测;曾祥鑫等;《重庆理工大学学报(自然科学)》;20150915(第09期);全文 *

Also Published As

Publication number Publication date
CN112954355A (zh) 2021-06-11
CN113163202B (zh) 2022-10-18
CN113163202A (zh) 2021-07-23
CN107318023B (zh) 2020-12-22
CN107318023A (zh) 2017-11-03

Similar Documents

Publication Publication Date Title
US10242646B2 (en) RGB to YUV format conversion and inverse conversion method and circuit for depth packing and depacking
US8780996B2 (en) System and method for encoding and decoding video data
CN111489346B (zh) 一种全参考图像质量评价方法及系统
CN112954355B (zh) 图像帧的处理方法及装置
CN112866802B (zh) 视频处理方法、装置、存储介质及计算机设备
KR20090071624A (ko) 이미지 개선
CN107801093B (zh) 视频渲染方法、装置、计算机设备和可读存储介质
CN110766637B (zh) 一种视频处理方法、处理装置、电子设备及存储介质
CN106550244A (zh) 视频图像的画质增强方法及装置
CN105744275A (zh) 一种视频数据输入、输出方法和装置
CN112330541A (zh) 直播视频处理方法、装置、电子设备和存储介质
US9858889B2 (en) Color compensation circuit, display apparatus, and color compensation method
US20170161875A1 (en) Video resolution method and apparatus
CN107220934B (zh) 图像重建方法及装置
US8693777B2 (en) Apparatus and method for estimating edge areas of digital image
KR101279576B1 (ko) 디지털 영상 처리 장치에서의 파노라마 영상 생성 방법
CN114092359B (zh) 花屏处理方法、装置和电子设备
Kalyan et al. A New Concatenated Method for Deep Curve Estimation Using Low Weight CNN for Low Light Image Enhancement
US20170244972A1 (en) Methods and apparatus for mapping input image
CN112862905B (zh) 图像处理方法、装置、存储介质及计算机设备
CN110267043B (zh) 解码方法、解码装置和电子设备
Popowicz et al. Isoline based image colorization
CN104981841B (zh) 3d图像数据分割的方法和装置
US11064210B2 (en) Pre-processing of HDR video involving chroma adjustment
CN111953986A (zh) 图像处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant