CN114422792A - 视频图像压缩方法、装置、设备及存储介质 - Google Patents

视频图像压缩方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114422792A
CN114422792A CN202111630149.4A CN202111630149A CN114422792A CN 114422792 A CN114422792 A CN 114422792A CN 202111630149 A CN202111630149 A CN 202111630149A CN 114422792 A CN114422792 A CN 114422792A
Authority
CN
China
Prior art keywords
frame
image
coding
frame rate
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111630149.4A
Other languages
English (en)
Other versions
CN114422792B (zh
Inventor
马子朋
米磊
单衍景
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING HUAXIA DENTSU TECHNOLOGY CO LTD
Original Assignee
BEIJING HUAXIA DENTSU TECHNOLOGY CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING HUAXIA DENTSU TECHNOLOGY CO LTD filed Critical BEIJING HUAXIA DENTSU TECHNOLOGY CO LTD
Priority to CN202111630149.4A priority Critical patent/CN114422792B/zh
Publication of CN114422792A publication Critical patent/CN114422792A/zh
Application granted granted Critical
Publication of CN114422792B publication Critical patent/CN114422792B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本说明书涉及视频图像压缩技术领域，提供了一种视频图像压缩方法、装置、设备及存储介质，该方法包括：获取一个图像帧；识别所述图像帧中的运动区域和非运动区域，将所述运动区域的编码质量设置为第一编码质量，并将所述非运动区域的编码质量设置为低于所述第一编码质量的第二编码质量；确定所述图像帧与基准帧的相似度，当所述相似度达到相似度阈值时，将所述图像帧的编码I帧标志设置为非I帧；根据所述编码质量和所述编码I帧标志进行图像帧编码。本说明书实施例可以实现在保证图像清晰度的前提下，提高图像压缩率。

Description

视频图像压缩方法、装置、设备及存储介质
技术领域
本说明书涉及图像压缩技术领域，尤其是涉及一种视频图像压缩方法、装置、设备及存储介质。
背景技术
随着计算机技术和网络通信技术的飞速发展，实时可视化通信、多媒体通信、网络电视、视频监控、视频直播等业务的应用越来越广泛。这些业务所涉及的视频图像的传输和存储中，都需要对视频图像进行压缩，以提高传输效率、减少存储资源占用。例如，以庭审为例，随着信息化的持续推进，庭审的录像文件越来越多，为存储这些录像文件，产生的存储成本越来越高。因此，需要对录像文件进行更高压缩率的压缩。但是，基于目前的图像压缩技术，提高压缩率需以牺牲图像清晰度为代价。因此如何在保证图像清晰度的前提下，提高图像压缩率，已成为目前亟待解决的技术问题。
发明内容
本说明书实施例的目的在于提供一种视频图像压缩方法、装置、设备及存储介质，以实现在保证图像清晰度的前提下，提高图像压缩率。
为达到上述目的，一方面，本说明书实施例提供了一种视频图像压缩方法，包括：
获取一个图像帧；
识别所述图像帧中的运动区域和非运动区域，将所述运动区域的编码质量设置为第一编码质量，并将所述非运动区域的编码质量设置为低于所述第一编码质量的第二编码质量；
确定所述图像帧与基准帧的相似度，当所述相似度达到相似度阈值时，将所述图像帧的编码I帧标志设置为非I帧；
根据所述编码质量和所述编码I帧标志进行图像帧编码。
本说明书实施例的视频图像压缩方法中，所述识别所述图像帧中的运动区域和非运动区域，包括：
识别所述图像帧中是否存在运动物体；
当所述图像帧中存在运动物体时，将所述运动物体对应的图像区域识别为运动区域，并将所述图像帧中的其余区域识别为非运动区域。
本说明书实施例的视频图像压缩方法中，在确定所述图像帧与基准帧的相似度之后，还包括：
当所述相似度未达到相似度阈值时，判断当前的连续非I帧数量是否达到帧数阈值；
在当前的连续非I帧数量达到帧数阈值时，将所述图像帧的编码I帧标志设置为I帧；
在当前的连续非I帧数量未达到帧数阈值时，将所述图像帧的编码I帧标志设置为非I帧。
本说明书实施例的视频图像压缩方法中，还包括：
确认当前检测周期内图像有变动的帧数占比是否大于比例上限；
当所述帧数占比大于比例上限时，增大当前帧率值。
本说明书实施例的视频图像压缩方法中，所述增大当前帧率值，包括：
确认当前帧率值是否达到帧率上限；
在当前帧率值未达到帧率上限时，增大当前帧率值；
在当前帧率值达到帧率上限时，保持当前帧率值不变。
本说明书实施例的视频图像压缩方法中，在判断当前检测周期内图像有变动的帧数占比是否大于比例上限之后，还包括：
当所述帧数占比不大于比例上限时，确认所述帧数占比是否小于比例下限；
当所述帧数占比小于比例上限时，减小当前帧率值；
当所述帧数占比不小于比例上限时，保持当前帧率值不变。
本说明书实施例的视频图像压缩方法中，所述减小当前帧率值，包括：
确认当前帧率值是否达到帧率下限；
在当前帧率值未达到帧率下限时，减小当前帧率值；
在当前帧率值达到帧率下限时，保持当前帧率值不变。
另一方面，本说明书实施例还提供了一种视频图像压缩装置，包括：
图像分析模块，用于获取一个图像帧；识别所述图像帧中的运动区域和非运动区域，并确定所述图像帧与基准帧的相似度；
参数设置模块，用于将所述运动区域的编码质量设置为第一编码质量，并将所述非运动区域的编码质量设置为低于所述第一编码质量的第二编码质量；以及当所述相似度达到相似度阈值时，将所述图像帧的编码I帧标志设置为非I帧；
图像编码模块，用于根据所述编码质量和所述编码I帧标志进行图像帧编码。
另一方面，本说明书实施例还提供了一种计算机设备，包括存储器、处理器、以及存储在所述存储器上的计算机程序，所述计算机程序被所述处理器运行时，执行上述方法的指令。
另一方面，本说明书实施例还提供了一种计算机存储介质，其上存储有计算机程序，所述计算机程序被计算机设备的处理器运行时，执行上述方法的指令。
由以上本说明书实施例提供的技术方案可见，本说明书实施例中，对于图像帧中的运动区域设置更高的编码质量，可以提高运动区域部分的图像清晰度，而对于图像帧中的非运动区域则设置更低的编码质量，可以提高非运动区域的图像压缩率；不仅如此，当图像帧与基准帧的相似度达到相似度阈值，表明图像画面变化很小，因此可以将图像帧的编码I帧标志设置为非I帧，以减少I帧的数量，从而可以进一步提高图像压缩率。如此，本说明书实施例不仅保证了图像清晰度，还提高了图像压缩率。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1示出了本说明书一些实施例中视频图像压缩应用场景示意图；
图2示出了本说明书一些实施例中视频图像压缩方法的流程图；
图3示出了图2所示方法中设置区域编码的流程图；
图4示出了图2所示方法中设置编码I帧标志的流程图；
图5示出了本说明书一实施例中连续非I帧的示意图；
图6示出了本说明书另一些实施例中视频图像压缩方法的流程图；
图7示出了图6所示方法中调整编码器帧率的流程图；
图8示出了本说明书一些实施例中视频图像压缩装置的结构框图；
图9示出了本说明书一些实施例中计算机设备的结构框图。
【附图标记说明】
1、视频生产端；
2、视频压缩端；
3、视频消费端；
81、图像分析模块；
82、参数设置模块；
83、图像编码模块；
902、计算机设备；
904、处理器；
906、存储器；
908、驱动机构；
910、输入/输出接口；
912、输入设备；
914、输出设备；
916、呈现设备；
918、图形用户接口；
920、网络接口；
922、通信链路；
924、通信总线。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。
本说明书实施例的视频图像压缩方法和装置等，可以应用于实时可视化通信、多媒体通信、网络电视、视频监控、视频直播等任何需要在保证图像清晰度的前提下，提高图像压缩率的场景。
图1中示出了本说明书一些实施例的视频图像压缩应用场景示意图，该应用场景可以包括视频生产端1、视频压缩端2和视频消费端3。视频压缩端2配置有视频编码器(以下简称编码器)，可以从视频生产端1获取图像帧，对图像帧进行压缩编码，并将编码后的图像帧提供给出视频消费端3。在一些实施例中，视频生产端1可以为流媒体服务器(可以提供音视频流)或存储有视频文件(例如MP4格式的视频文件等)的其他设备等。视频压缩端2可以为具有运算和网络交互功能的电子设备；也可以为运行于该电子设备中，为视频数据压缩处理和网络交互提供业务逻辑的软件。视频消费端3可以为视频播放器或存用于储视频文件的其他设备等。其中，流媒体服务器例如可以为基于实时消息传输协议(Real TimeMessaging Protocol，RTSP)等媒体流的播放软件。
本说明书实施例提供了一种视频图像压缩方法，可以应用于上述的视频压缩端。参考图2所示，在一些实施例中，所述视频图像压缩方法可以包括以下步骤：
步骤21、获取一个图像帧。
步骤22、识别所述图像帧中的运动区域和非运动区域，将所述运动区域的编码质量设置为第一编码质量，并将所述非运动区域的编码质量设置为低于所述第一编码质量的第二编码质量。
步骤23、确定所述图像帧与基准帧的相似度，当所述相似度达到相似度阈值时，将所述图像帧的编码I帧标志设置为非I帧。
步骤24、根据所述编码质量和所述编码I帧标志进行图像帧编码。
对于图像帧中的运动区域设置更高的编码质量，可以提高运动区域部分的图像清晰度，而对于图像帧中的非运动区域则设置更低的编码质量，可以提高非运动区域的图像压缩率；不仅如此，当图像帧与基准帧的相似度达到相似度阈值，表明图像画面变动很小，因此可以将图像帧的编码I帧标志设置为非I帧，以减少I帧的数量，从而可以进一步提高图像压缩率。如此，本说明书实施例不仅保证了图像清晰度，还提高了图像压缩率。
在一些实施例中，获取一个图像可以是指：从视频流或视频文件中读取一帧图像，并对其进行图像解码，以便于后续处理。
步骤22即为设置区域编码的过程，以通过区域编码达到既可以保证图像清晰度又可以兼顾图像压缩率的目的。参考图3所示，在一些实施例中，该过程可以包括如下步骤：
步骤221、判断图像帧中是否存在运动物体；如果存在运动物体，则执行步骤222，否则执行步骤225。
在一些实施例中，可以通过运动检测算法识别图像帧中是否存在运动物体；当所述图像帧中存在运动物体时，将所述运动物体对应的图像区域识别为运动区域，并将所述图像帧中的其余区域识别为非运动区域。其中，运动检测算法例如可以为帧差法、对称帧差法、平均算法、单高斯背景模型或混合高斯背景模型等。
应当指出，当图像帧中包含多个运动物体时，需要把每个运动物体对应的图像区域均识作为运动区域，以保证图像帧中所有运动物体的图像清晰度。
运动物体可以是指：当前图像帧中相对于前一个图像帧或前几个图像帧(具体可以根据实际需要设定)的均值发生了变化的物体。例如，若当前图像帧中某个“人像”相对于前一个图像帧或前几个图像帧的均值，由站立状态开始向下蹲状态转变，则可以认为当前图像帧中该“人像”为运动物体。
步骤222、将运动物体对应的图像区域识别为运动区域，并将图像帧中的其余区域识别为非运动区域。
本说明书实施例中，运动区域是指图像帧中运动物体对应的图像区域，而非运动区域则是指图像帧中运动区域之外的剩余图像区域。通过识别图像帧中的运动区域和非运动区域，可以确认图像帧中哪些区域应以保证图像清晰度为优先(即运动区域应以保证图像清晰度为优先)，哪些区域应以保证图像压缩率为优先(即非运动区域应以保证图像压缩率为优先)。
步骤223、根据区域编码规则，将运动区域和非运动区域转换为对应的编码区域。
在一些实施例中，在识别出图像帧中的运动区域和非运动区域后，可以将运动区域和非运动区域转换成对应的编码区域，以便于进行区域编码，即可以针对不同区域分别使用不同的编码参数进行图像编码。运动区域和非运动区域是图像帧的矩阵区域；进行区域编码涉及到宏块(Macroblock)分割问题，需要对画面的区域坐标做一些对齐调整等操作，因此，需要根据区域编码规则将运动区域和非运动区域转换成对应的编码区域。其中，区域编码规则可以是根据编码宏块大小，找到最近的宏块位置，将检测出的区域按照宏块进行对齐。
步骤224、将运动区域的编码质量设置为第一编码质量，并将非运动区域的编码质量设置为低于第一编码质量的第二编码质量。
在一些实施例中，编码质量例如可以为量化参数QP等。第一编码质量是符合图像清晰度要求的编码质量(具体数值可以根据图像清晰度要求等适当设置)。第二编码质量是符合图像压缩率要求的编码质量(具体数值可以根据图像压缩率要求等适当设置)，第一编码质量明显大于第二编码质量。
步骤225、将图像帧的编码质量设置为第二编码质量。
在一些情况下，可能会出现图像帧不包含任何运动物体的情况，此时，可以不再对图像帧进行区域编码，而可以对图像帧整体设置一个较低的编码质量，以保证压缩率，并有利于提高编码效率。
步骤23即为设置编码I帧标志的过程，以通过增减I帧数量达到既可以保证图像清晰度又可以兼顾图像压缩率的目的。其中，增减I帧可以提高图像清晰度，减小增减I帧可以提高图像压缩率。
参考图4所示，在一些实施例中，步骤23可以包括如下步骤：
步骤231、判断图像帧与基准帧的相似度是否达到相似度阈值；如果图像帧与基准帧的相似度未达到相似度阈值，则执行步骤232，否则执行步骤234。
在一些实施例中，可以通过任何合适的相似度算法计算图像帧与基准帧，并据此判断图像帧与基准帧的相似度是否到相似度阈值。其中，相似度算法例如可以包括但不限于欧氏距离、曼哈顿距离、切比雪夫距离、余弦距离、皮尔逊相关系数、汉明距离、杰卡德距离、马氏距离等。
基准帧可以是当前图像帧的前一个图像帧或前几个图像帧的均值。例如，在一示例性实施例中，基准帧可以为当前图像帧的前三个图像帧的均值(这里仅是示例性举例说明)。
相似度阈值可以根据实际需要适当选择。例如，在一实施例中，相似度阈值例如可以为90％、95％等。
步骤232、判断当前的连续非I帧数据量是否达到帧数阈值；如果当前的连续非I帧数据量达到帧数阈值，则执行步骤233，否则执行步骤234。
当图像帧与基准帧的相似度未达到相似度阈值时，表明二者的差异较大，即图像帧相对于基准帧发生了相对较大的变化。考虑到需满足最小I帧间隔(即帧数阈值)，可以判断当前的连续非I帧数据量是否达到帧数阈值。其中，连续非I帧即是指从上个编码的I帧开始，到现在已经编码的非I帧的帧数，是相邻两个I帧的间隔，即相邻两个I帧之间有多少个非I帧(例如图5所示)。例如，在一实施例中，帧数阈值可以为30。
I帧即为帧内编码图像帧，也称为关键帧，它是帧间压缩编码里的一个全帧压缩的编码帧；解码时仅用I帧的数据就可重构完整图像，而不需要参考其他画面而生成，从而有利于保证图像质量。非I帧可以包括B帧和P帧。P帧即为前向预测编码图像帧，表示的是这一帧与之前的一个关键帧(或P帧)的差别，解码时需要用之前缓存的画面叠加上本帧定义的差别，生成最终画面。也就是说是，P帧是差别帧，P帧没有完整画面数据，只有与前一帧的画面差别的数据。B帧即为双向预测编码图像帧，是一种双向差别帧，也就是B帧记录的是本帧与前后帧的差别(具体比较复杂，有4 种情况)，换言之，要解码B帧，不仅要取得之前的缓存画面，还要解码之后的画面，通过前后画面的与本帧数据的叠加取得最终的画面。因此，B帧压缩率高，但是解码时CPU资源开销较大。
步骤233、图像帧的编码I帧标志设置为I帧。
在当前的连续非I帧数量达到帧数阈值时，为了保证图像清晰度，可以将图像帧的编码I帧标志设置为I帧(即将图像帧的编码I帧标志设置为If＝true)。
步骤234、图像帧的编码I帧标志设置为非I帧。
当图像帧与基准帧的相似度达到相似度阈值，或者，当前的连续非I帧数量未达到帧数阈值时，表明图像帧与基准帧基本无变化或变化可以忽略，因此，为了提高图像压缩率，可以将图像帧的编码I帧标志设置为非I帧(即将图像帧的编码I帧标志设置为If＝false)。
本说明书实施例中，通过运动检测算法，找到物体运动的区域，使用区域编码技术，针对运动区域设置更高的编码质量，针对其他区域，设置较低的编码质量；如此，既可以保证运动物体的图像清晰也可以保证静态区域的低码率。然后通过相似度检测算法，计算当前帧图像和前面几帧图像的相似度，如果发现相似度较低时，可以通过编码I帧保证整体的画面质量，如果画面相似度较高，表示画面变动不大，减少I帧的数量，可以大幅的降低码率。最后通过对编码器进行质量控制，实现变码率编码，既可以保证图像清晰度又可以兼顾图像压缩率。例如，在法庭庭审视频场景下，大多数画面相对变动不大，码率都在较低的水平，与定码率相比平均码率明显降低，从而可以在保证图像清晰度的情况下，大幅提高图像压缩率。
步骤24中，根据编码质量和编码I帧标志进行图像帧编码，即为将上述设定的编码质量和编码I帧标志更新编码器的编码参数，并根据更新后的编码参数对当前图像帧或后续图像帧进行编码。
运动检测和相似度检测都需要一定的时间，图像帧的编码一般要30多毫秒就可以编码一帧，不能等待检测结果。因此，如果处理器的性能足够强大，可以根据更新后的编码参数对当前图像帧进行编码。而如果处理器的性能不够强大，鉴于图像帧都是连续的(甚至几十毫秒内运动距离不会太大)，上一帧画面的检测区域对本帧画面同样适用，可以则根据更新后的编码参数后续图像帧进行编码。
参考图6所示，在另一些实施例的视频图像压缩方法中，除了包含步骤21～步骤23之外，还可以包括如下步骤：
步骤24’、根据检测周期内的图像变动调整编码器帧率。
帧率是指单位时间(例如1秒钟)里传输的图像帧数。帧率影响画面流畅度，与画面流畅度成正比：帧率越大，画面越流畅；帧率越小，画面越有跳动感。由于人类眼睛的特殊生理结构，如果所看画面之帧率高于16的时候，就会认为是连贯的，此现象称之为视觉暂留。并且当帧率达到一定数值后，再增长的话，人眼也不容易察觉到有明显的流畅度提升了。
因此，为了保证画面流畅度并防止帧率波动太过频繁，可以根据检测周期内的图像变动调整编码器帧率，即分时间段统计图像变动情况，并据此确定是否调整帧率以及如何调整。例如，画面相对静止(即图像前后几乎无变化)的情况下，可适当合理的降低帧率，以有效地降低整体的平均码率。
步骤25、根据编码质量、编码I帧标志和编码器帧率进行图像帧编码。即将上述设定的编码质量、编码I帧标志和编码器帧率更新编码器的编码参数，并根据更新后的编码参数对当前图像帧或后续图像帧进行编码。
结合图7所示，步骤24’中根据检测周期内的图像变动调整编码器帧率可以包括如下步骤：
步骤241、判断是否到达时间阈值。如果未到达时间阈值，则继续检测统计图像变动情况，否则执行步骤242。
时间阈值可以按需设置。例如，在一示例性实施例中，时间阈值可以为3秒。
步骤242、统计当前检测周期内图像有变动的帧数占比。
图像有变动的帧数占比是指：一个检测周期内包含运动物体或与基准帧的相似度未达到相似度阈值的帧数，在该检测周期内的总帧数中所占的比例。例如，一个检测周期内有9个帧；其中，有2个帧包含运动物体，1个帧与基准帧的相似度未达到相似度阈值，则该检测周期图像有变动的帧数占比为0.3。
步骤243、确认当前检测周期内图像有变动的帧数占比是否大于比例上限。若帧数占比大于比例上限，则执行步骤244，否则执行步骤246。
比例上限可以根据实际需要适当选择。例如，在一实施例中，比例上限例如可以为0.5等。
步骤244、确认当前帧率值是否达到帧率上限。若未达到帧率上限，则执行步骤245，否则执行步骤249。
帧率上限可以根据实际需要适当选择。例如，在一实施例中，帧率上限例如可以为30等。
步骤245、增大当前帧率值，并跳转执行步骤241。
具体增大幅度可以根据需要设定，例如一次可“+1”。
步骤246、确认当前检测周期内图像有变动的帧数占比是否小于比例下限。若帧数占比小于比例下限，则执行步骤247，否则执行步骤249。
比例下限可以根据实际需要适当选择。例如，在一实施例中，比例下限例如可以为0.1等。
步骤247、确认当前帧率值是否达到帧率下限。若未达到帧率下限，则执行步骤248，否则执行步骤249。
帧率下限可以根据实际需要适当选择。例如，在一实施例中，帧率下限例如可以为15等。
步骤248、减小当前帧率值，并跳转执行步骤241。
具体减小幅度可以根据需要设定，例如一次可“-1”。
步骤249、保持当前帧率值不变。
虽然上文描述的过程流程包括以特定顺序出现的多个操作，但是，应当清楚了解，这些过程可以包括更多或更少的操作，这些操作可以顺序执行或并行执行(例如使用并行处理器或多线程环境)。
与上述的视频图像压缩方法对应，本说明书实施例还提供了一种视频图像压缩装置，其可以配置于上述的视频压缩端上。参考图8所示，在一些实施例中，所述视频图像压缩装置可以包括图像分析模块81、参数设置模块82和图像编码模块83。其中：
图像分析模块81，可以用于获取一个图像帧；识别所述图像帧中的运动区域和非运动区域，并确定所述图像帧与基准帧的相似度；
参数设置模块82，可以用于将所述运动区域的编码质量设置为第一编码质量，并将所述非运动区域的编码质量设置为低于所述第一编码质量的第二编码质量；以及当所述相似度达到相似度阈值时，将所述图像帧的编码I帧标志设置为非I帧；
图像编码模块83，可以用于根据所述编码质量和所述编码I帧标志进行图像帧编码。
在一些视频图像压缩装置实施例中，所述识别所述图像帧中的运动区域和非运动区域，包括：
识别所述图像帧中是否存在运动物体；
当所述图像帧中存在运动物体时，将所述运动物体对应的图像区域识别为运动区域，并将所述图像帧中的其余区域识别为非运动区域。
在一些视频图像压缩装置实施例中，所述参数设置模块还可以用于根据检测周期内的图像变动调整编码器帧率。
在一些视频图像压缩装置实施例中，所述根据检测周期内的图像变动调整编码器帧率包括：
当所述相似度未达到相似度阈值时，判断当前的连续非I帧数量是否达到帧数阈值；
在当前的连续非I帧数量达到帧数阈值时，将所述图像帧的编码I帧标志设置为I帧；
在当前的连续非I帧数量未达到帧数阈值时，将所述图像帧的编码I帧标志设置为非I帧。
在一些视频图像压缩装置实施例中，所述根据检测周期内的图像变动调整编码器帧率还包括：
确认当前检测周期内图像有变动的帧数占比是否大于比例上限；
当所述帧数占比大于比例上限时，增大当前帧率值。
在一些视频图像压缩装置实施例中，所述增大当前帧率值包括：
确认当前帧率值是否达到帧率上限；
在当前帧率值未达到帧率上限时，增大当前帧率值；
在当前帧率值达到帧率上限时，保持当前帧率值不变。
在一些视频图像压缩装置实施例中，所述根据检测周期内的图像变动调整编码器帧率还包括：
当所述帧数占比不大于比例上限时，确认所述帧数占比是否小于比例下限；
当所述帧数占比小于比例上限时，减小当前帧率值；
当所述帧数占比不小于比例上限时，保持当前帧率值不变。
在一些视频图像压缩装置实施例中，所述减小当前帧率值包括：
确认当前帧率值是否达到帧率下限；
在当前帧率值未达到帧率下限时，减小当前帧率值；
在当前帧率值达到帧率下限时，保持当前帧率值不变。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本说明书的实施例还提供一种计算机设备。如图9所示，在本说明书一些实施例中，所述计算机设备902可以包括一个或多个处理器904，诸如一个或多个中央处理单元(CPU)或图形处理器(GPU)，每个处理单元可以实现一个或多个硬件线程。计算机设备902还可以包括任何存储器906，其用于存储诸如代码、设置、数据等之类的任何种类的信息，一具体实施例中，存储器906上并可在处理器904上运行的计算机程序，所述计算机程序被所述处理器904运行时，可以执行上述任一实施例所述的视频图像压缩方法的指令。非限制性的，比如，存储器906可以包括以下任一项或多种组合：任何类型的RAM，任何类型的ROM，闪存设备，硬盘，光盘等。更一般地，任何存储器都可以使用任何技术来存储信息。进一步地，任何存储器可以提供信息的易失性或非易失性保留。进一步地，任何存储器可以表示计算机设备902的固定或可移除部件。在一种情况下，当处理器904执行被存储在任何存储器或存储器的组合中的相关联的指令时，计算机设备902可以执行相关联指令的任一操作。计算机设备 902还包括用于与任何存储器交互的一个或多个驱动机构908，诸如硬盘驱动机构、光盘驱动机构等。
计算机设备902还可以包括输入/输出接口910(I/O)，其用于接收各种输入(经由输入设备912)和用于提供各种输出(经由输出设备914)。一个具体输出机构可以包括呈现设备916和相关联的图形用户接口918(GUI)。在其他实施例中，还可以不包括输入/输出接口910(I/O)、输入设备912以及输出设备914，仅作为网络中的一台计算机设备。计算机设备902还可以包括一个或多个网络接口920，其用于经由一个或多个通信链路922与其他设备交换数据。一个或多个通信总线924将上文所描述的部件耦合在一起。
通信链路922可以以任何方式实现，例如，通过局域网、广域网(例如，因特网)、点对点连接等、或其任何组合。通信链路922可以包括由任何协议或协议组合支配的硬连线链路、无线链路、路由器、网关功能、名称服务器等的任何组合。
本申请是参照本说明书一些实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理器的处理器以产生一个机器，使得通过计算机或其他可编程数据处理器的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理器以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理器上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算机设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算机设备访问的信息。按照本说明书中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理器来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
还应理解，在本说明书实施例中，术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系。例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书实施例的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种视频图像压缩方法，其特征在于，包括：
获取一个图像帧；
识别所述图像帧中的运动区域和非运动区域，将所述运动区域的编码质量设置为第一编码质量，并将所述非运动区域的编码质量设置为低于所述第一编码质量的第二编码质量；
确定所述图像帧与基准帧的相似度，当所述相似度达到相似度阈值时，将所述图像帧的编码I帧标志设置为非I帧；
根据所述编码质量和所述编码I帧标志进行图像帧编码。
2.如权利要求1所述的视频图像压缩方法，其特征在于，所述识别所述图像帧中的运动区域和非运动区域，包括：
识别所述图像帧中是否存在运动物体；
当所述图像帧中存在运动物体时，将所述运动物体对应的图像区域识别为运动区域，并将所述图像帧中的其余区域识别为非运动区域。
3.如权利要求1所述的视频图像压缩方法，其特征在于，在确定所述图像帧与基准帧的相似度之后，还包括：
当所述相似度未达到相似度阈值时，判断当前的连续非I帧数量是否达到帧数阈值；
在当前的连续非I帧数量达到帧数阈值时，将所述图像帧的编码I帧标志设置为I帧；
在当前的连续非I帧数量未达到帧数阈值时，将所述图像帧的编码I帧标志设置为非I帧。
4.如权利要求1所述的视频图像压缩方法，其特征在于，还包括：
确认当前检测周期内图像有变动的帧数占比是否大于比例上限；
当所述帧数占比大于比例上限时，增大当前帧率值。
5.如权利要求4所述的视频图像压缩方法，其特征在于，所述增大当前帧率值，包括：
确认当前帧率值是否达到帧率上限；
在当前帧率值未达到帧率上限时，增大当前帧率值；
在当前帧率值达到帧率上限时，保持当前帧率值不变。
6.如权利要求4所述的视频图像压缩方法，其特征在于，在判断当前检测周期内图像有变动的帧数占比是否大于比例上限之后，还包括：
当所述帧数占比不大于比例上限时，确认所述帧数占比是否小于比例下限；
当所述帧数占比小于比例上限时，减小当前帧率值；
当所述帧数占比不小于比例上限时，保持当前帧率值不变。
7.如权利要求6所述的视频图像压缩方法，其特征在于，所述减小当前帧率值，包括：
确认当前帧率值是否达到帧率下限；
在当前帧率值未达到帧率下限时，减小当前帧率值；
在当前帧率值达到帧率下限时，保持当前帧率值不变。
8.一种视频图像压缩装置，其特征在于，包括：
图像分析模块，用于获取一个图像帧；识别所述图像帧中的运动区域和非运动区域，并确定所述图像帧与基准帧的相似度；
参数设置模块，用于将所述运动区域的编码质量设置为第一编码质量，并将所述非运动区域的编码质量设置为低于所述第一编码质量的第二编码质量；以及当所述相似度达到相似度阈值时，将所述图像帧的编码I帧标志设置为非I帧；
图像编码模块，用于根据所述编码质量和所述编码I帧标志进行图像帧编码。
9.一种计算机设备，包括存储器、处理器、以及存储在所述存储器上的计算机程序，其特征在于，所述计算机程序被所述处理器运行时，执行根据权利要求1-7任意一项所述方法的指令。
10.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被计算机设备的处理器运行时，执行根据权利要求1-7任意一项所述方法的指令。
CN202111630149.4A 2021-12-28 2021-12-28 视频图像压缩方法、装置、设备及存储介质 Active CN114422792B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111630149.4A CN114422792B (zh) 2021-12-28 2021-12-28 视频图像压缩方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111630149.4A CN114422792B (zh) 2021-12-28 2021-12-28 视频图像压缩方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN114422792A true CN114422792A (zh) 2022-04-29
CN114422792B CN114422792B (zh) 2023-06-09

Family

ID=81269018

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111630149.4A Active CN114422792B (zh) 2021-12-28 2021-12-28 视频图像压缩方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114422792B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117041597A (zh) * 2023-10-09 2023-11-10 中信建投证券股份有限公司 一种视频编码、解码方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016004721A1 (zh) * 2014-07-11 2016-01-14 中兴通讯股份有限公司 一种码率控制方法、装置及计算机存储介质
CN108737825A (zh) * 2017-04-13 2018-11-02 腾讯科技（深圳）有限公司 视频数据编码方法、装置、计算机设备和存储介质
CN112351280A (zh) * 2020-10-26 2021-02-09 杭州海康威视数字技术股份有限公司 视频编码方法、装置、电子设备及可读存储介质
CN113079376A (zh) * 2021-04-02 2021-07-06 北京数码视讯软件技术发展有限公司 对静止区域的视频编码方法和装置
CN113438468A (zh) * 2020-03-23 2021-09-24 浙江宇视科技有限公司 视频质量的动态控制方法、装置、存储介质及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016004721A1 (zh) * 2014-07-11 2016-01-14 中兴通讯股份有限公司 一种码率控制方法、装置及计算机存储介质
CN108737825A (zh) * 2017-04-13 2018-11-02 腾讯科技（深圳）有限公司 视频数据编码方法、装置、计算机设备和存储介质
CN113438468A (zh) * 2020-03-23 2021-09-24 浙江宇视科技有限公司 视频质量的动态控制方法、装置、存储介质及电子设备
CN112351280A (zh) * 2020-10-26 2021-02-09 杭州海康威视数字技术股份有限公司 视频编码方法、装置、电子设备及可读存储介质
CN113079376A (zh) * 2021-04-02 2021-07-06 北京数码视讯软件技术发展有限公司 对静止区域的视频编码方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117041597A (zh) * 2023-10-09 2023-11-10 中信建投证券股份有限公司 一种视频编码、解码方法、装置、电子设备及存储介质
CN117041597B (zh) * 2023-10-09 2024-01-19 中信建投证券股份有限公司 一种视频编码、解码方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN114422792B (zh) 2023-06-09

Similar Documents

Publication Publication Date Title
CA2742111C (en) Video conference rate matching
WO2021114846A1 (zh) 一种视频降噪处理方法、装置及存储介质
US10819994B2 (en) Image encoding and decoding methods and devices thereof
US20130223509A1 (en) Content network optimization utilizing source media characteristics
CN110662100A (zh) 一种信息处理方法、装置、系统和计算机可读存储介质
CN113115067A (zh) 直播系统、视频处理方法及相关装置
CN109688407B (zh) 编码单元的参考块选择方法、装置、电子设备及存储介质
CN111263243B (zh) 视频编码方法、装置、计算机可读介质及电子设备
DE102020108357A1 (de) Umkodieren vorhergesagter bilder in live-videostream-anwendungen
US20170142029A1 (en) Method for data rate adaption in online media services, electronic device, and non-transitory computer-readable storage medium
CN114363649B (zh) 视频处理方法、装置、设备及存储介质
CN111327950B (zh) 一种视频转码方法及装置
CN112866746A (zh) 一种多路串流云游戏控制方法、装置、设备及存储介质
US20160360220A1 (en) Selective packet and data dropping to reduce delay in real-time video communication
CN114422792B (zh) 视频图像压缩方法、装置、设备及存储介质
CN113286146B (zh) 媒体数据处理方法、装置、设备以及存储介质
US8681860B2 (en) Moving picture compression apparatus and method of controlling operation of same
CN110740316A (zh) 数据编码方法及装置
TWI411305B (zh) 動態參照訊框選擇方法和系統
Huang et al. A cloud computing based deep compression framework for UHD video delivery
CN114827617B (zh) 一种基于感知模型的视频编解码方法及系统
US10735773B2 (en) Video coding techniques for high quality coding of low motion content
WO2023071469A1 (zh) 视频处理方法、电子设备及存储介质
CN102577412B (zh) 一种图像编码方法和装置
US20160057431A1 (en) Method and device for transmitting a sequence of pictures, and corresponding method and device for reception, computer program and recording medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant