CN110418142A - 一种基于视频感兴趣区域的编码方法、装置、存储介质 - Google Patents

Abstract

本发明提供一种基于智能帧间运动检测的视频感兴趣区域视频编码优化提升的方法、装置与存储介质。通过对视频编码中的感兴趣区域ROI做出快速检测，基于视频运动区域的检测和分割，利用帧差分块的方法，迅速的做出决策，能够有效的针对视频编码，在较大的视频压缩噪声下提取出主观敏感的区域，并针对该主观敏感的区域进一步进行量化控制，本发明的运算简单快捷，且在同等的视频编码码率下能够获得更好的图像质量效果。

Description

一种基于视频感兴趣区域的编码方法、装置、存储介质

技术领域

本发明涉及视频编解码领域，尤其涉及一种智能帧间运动的视频感兴趣区域检测。

背景技术

随着技术的进步和视频应用需求发展的普遍性和多样性，人们对于视频画质的要求越来越高。人眼视觉系统对视频中的运动物体和静止背景的敏感程度不一样，感兴趣区域(ROI，Region Of Interest)的编码方法利用人眼的这一特性，能够在相同的码率条件下达到更好的主观视觉质量。

目前的视频编码方法对于感兴趣区域的划分和编码，存在复杂过高，无法满足通用的计算平台、场景或者无法达到精确划分及高效编码的问题。尤其在手机移动端平台上，简捷而有效的方法有比较强烈的需求。

发明内容

本发明提供了一种基于智能帧间运动检测的视频感兴趣区域视频编码优化提升的方法、装置与存储介质。

本发明的实施例提供了一种基于智能帧间运动检测的ROI视频编码优化提升的方法，包括：

步骤S101，将待编码原始图像序列的视频帧划分为多个编码块，计算当前视频帧和前一视频帧相同位置每个编码块的像素差值；

步骤S102，计算所述当前视频帧P和所述前一视频帧P’的帧差；

步骤S103，基于所述帧差判断是否对当前视频帧进行ROI编码，若是，进入步骤S104，若否，进入步骤S106；

步骤S104，选取当前视频帧中的ROI编码块，对ROI编码块进行标记；

步骤S105，对所述标记的ROI编码块进行码率控制优化，通过减少所述ROI编码块的QP值，保留所述ROI编码块的更多图像信息来使ROI编码块达到更好的视觉效果；

步骤S106，将非ROI编码块的roi_delta_qp取值设置为0；

步骤S107，将每个编码块的roi_delta_qp加上编码器码率控制模块计算出来的qp作为每个编码块最终的QP值，使用这个最终的QP值进行编码。

本发明的还提供了一种基于智能帧间运动检测的ROI视频编码优化提升的装置，其包括处理器和存储介质，所述存储介质上存储有计算机程序，所述计算机程序被所述处理器执行以实现基于智能帧间运动检测的ROI视频编码优化提升的方法。

本发明的还提供了一种基于智能帧间运动检测的ROI视频编码优化提升的存储介质，所述存储介质上存储有计算机程序，所述计算机程序被所述处理器执行以实现基于智能帧间运动检测的ROI视频编码优化提升的方法。

本发明通过对视频编码中的感兴趣区域ROI做出快速检测，基于视频运动区域的检测和分割，利用帧差分块的方法，迅速的做出决策，能够有效的针对视频编码，在较大的视频压缩噪声下提取出主观敏感的区域，并针对该主观敏感的区域进一步进行量化控制，本发明的运算简单快捷，且在同等的视频编码码率下能够获得更好的图像质量效果。

附图说明

为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本说明书实施例提供的一种智能帧间运动检测的视频感兴趣区域视频编码优化提升的方法流程图；

图2是本说明书实施例提供的视频序列中的一帧视频帧；

图3是基于本说明书实施例提供的一帧视频帧中ROI编码块的检测结果。

具体实施方式

为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。

以下结合附图，详细说明本说明书实施例提供的技术方案。

图1表示本发明实施例的基于智能帧间运动检测的ROI视频编码优化提升的方法的流程图。如图1所示的ROI视频编码优化提升的方法，具体包括如下步骤。

步骤S101，将待编码原始图像序列的视频帧划分为多个编码块，计算当前视频帧和前一视频帧相同位置每个编码块的像素差值。

其中，所述将视频帧划分为多个编码块，计算当前视频帧和前一视频帧相同位置每个编码块的像素差值具体包括如下子步骤。

步骤S1011，对于待编码的原始图像序列，提取待编码的当前视频帧P和所述当前视频帧P的前一帧视频帧P’；

步骤S1012，将所述当前视频帧P和所述前一视频帧P'划分为16x16的编码块，每个编码块表示为b(x,y)，其中x为编码块在视频帧的行位置坐标，y为编码块在视频帧中的列位置坐标。

步骤S102，计算所述当前视频帧P和所述前一视频帧P’的帧差，所述帧差可以由所述视频帧P和所述视频帧P’相同位置的每个编码块的SAD(x,y)表示。编码块的SAD的计算方式如下：

其中，p(i,j)和p’(i,j)表示当前视频帧和前一视频帧相同位置的编码块中(i,j)位置的像素的值；i表示像素在编码块中的行坐标位置，i＝0,1,...15；j表示像素在编码块中的列坐标位置，j＝0,1,...15。

步骤S103，基于所述帧差判断是否对当前视频帧进行ROI编码。

所述判断是否对当前视频帧进行ROI编码，具体包括如下子步骤：

步骤S1031，计算当前视频帧的SAD(x,y)的平均值avg(SAD(x,y))；

步骤S1032，将avg(SAD(x,y))与预设阈值roi_sad_ceiling相比较，若avg(SAD(x,y))<＝roi_sad_ceiling，则进入步骤S104，若avg(SAD(x,y))>roi_sad_ceiling，表明当前帧运动剧烈，视觉上对运动剧烈图像的感知更不敏感，此时进行ROI编码的工作无法达到更好的效果，将所述当前帧的所述编码块标记为非ROI编码块，进入步骤S106。

步骤S104，选取当前视频帧中的ROI编码块，对ROI编码块进行标记。

所述选取当前视频帧中的ROI编码块，对ROI编码块进行标记具体包括如下子步骤。

步骤S1041，对当前视频帧的各个编码块的SAD(x,y)进行排序；

步骤S1042，选取SAD值最大的前roi_rate比例的编码块，标记为ROI编码块，其余编码块标记为非ROI编码块，对于ROI编码块的处理进入步骤S105，非ROI编码块的处理进入步骤S106。其中roi_rate参数可配置，建议值5～10％。优选地，对于roi_rate参数和roi_sad_ceiling参数的配置可以使用机器学习的模型来训练和预测来获取合理的取值。

步骤S105，对所述标记的ROI编码块进行码率控制优化，通过减少所述ROI编码块的QP值，保留所述ROI编码块的更多图像信息来使ROI编码块达到更好的视觉效果。

其中，所述对所述标记的ROI编码块进行码率控制优化，具体包括如下子步骤：

步骤S1051，增加一个roi_delta_qp参数来调整ROI编码块的QP值；

步骤S1052，对于ROI编码块，roi_delta_qp取负值，进入步骤S107。

步骤S106，将非ROI编码块的roi_delta_qp取值设置为0。

步骤S107，将每个编码块的roi_delta_qp加上编码器码率控制模块计算出来的qp作为每个编码块最终的QP值，使用这个最终的QP值进行编码。

图2是本发明实施例中视频序列中的一帧视频帧，图3是基于图2的视频帧获得的ROI编码块的检测结果，基于图2、图3所示，智能帧间运动检测的视频ROI画质增强方法标记出的视频帧的ROI编码块的区域，其中图2视频中运动的人、变化的字幕都标识为ROI区域，这些区域正是视频编码比较关注的区域。智能帧间运动检测的视频编码ROI画质增强方法对于不同的视频场景，在这些编码感兴趣区域可以快速并且准确的标记。本发明的技术方案的计算复杂度极低，适用于通用的计算平台和场景，尤其在手机移动端可以迅速采用。

本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种基于智能帧间运动检测的视频感兴趣区域视频编码优化提升的方法，其特征在于，包括：

步骤1，将待编码原始图像序列的视频帧划分为多个编码块，计算当前视频帧和所述当前视频帧的前一视频帧相同位置每个所述编码块的像素差值；

步骤2，计算所述当前视频帧和所述前一视频帧的帧差；

步骤3，基于所述帧差判断是否对所述当前视频帧进行ROI编码，若是，进入步骤4，若否，将所述编码块标记为非ROI编码块，进入步骤6；

步骤4，选取所述当前视频帧中的ROI编码块，对ROI编码块进行标记；

步骤5，设置roi_delta_qp参数，所述roi_delta_qp参数为码率控制优化参数，对所述标记的ROI编码块进行码率控制优化；

步骤6，将所述非ROI编码块的所述roi_delta_qp参数取值设置为0；

步骤7，将每个所述编码块的所述roi_delta_qp参数值加上编码器码率控制模块计算出来的量化参数QP值作为每个所述编码块最终的QP值，使用所述最终的QP值对所述编码块进行编码。

2.根据权利要求1所述的方法，其特征在于，所述步骤1具体包括如下子步骤：

步骤1.1，对于所述待编码原始图像序列，提取待编码的所述当前视频帧和所述当前视频帧的所述前一视频帧；

步骤1.2，将所述当前视频帧和所述前一视频帧划分为16x16的编码块，每个编码块表示为b(x,y)，其中x为编码块在视频帧的行位置坐标，y为编码块在视频帧中的列位置坐标。

3.根据权利要求2所述的方法，其特征在于，所述步骤2具体为：所述帧差为所述当前视频帧和所述前一视频帧相同位置的每个所述编码块的SAD(x,y)，所述编码块b(x,y)的SAD(x,y)的计算方式如下：

其中，p(i,j)和p′(i,j)表示所述当前视频帧和所述前一视频帧相同位置的所述编码块b(x,y)中(i,j)位置的像素的值；i表示像素在编码块中的行坐标位置，i＝0,1,...15；j表示像素在编码块中的列坐标位置，j＝0,1,...15。

4.根据权利要求3所述的方法，其特征在于，所述基于所述帧差判断是否对当前视频帧进行ROI编码，具体包括如下子步骤：

步骤3.1，计算所述当前视频帧与所述前一视频帧的SAD(x,y)的平均值avg(SAD(x,y))；

步骤3.2，将所述avg(SAD(x,y))与预设阈值roi_sad_ceiling相比较，若avg(SAD(x,y))<＝roi_sad_ceiling，则进入步骤4，若avg(SAD(x,y))>roi_sad_ceiling，则进入步骤6。

5.根据权利要求4所述的方法，其特征在于，所述选取所述当前视频帧中的ROI编码块，对ROI编码块进行标记，具体包括如下步骤：

步骤4.1，对所述当前视频帧的各个所述编码块的所述SAD(x,y)进行排序；

步骤4.2，基于所述排序，选取大于或等于roi_rate比例的所述SAD值最大的所述编码块，标记为ROI编码块，将其余所述编码块标记为非ROI编码块，其中对于ROI编码块的处理进入步骤5，对于非ROI编码块的处理进入步骤6。

6.根据权利要求4或5所述的方法，其特征在于，所述roi_rate比例的参数值可配置，roi_rate比例为5～10％。

7.根据权利要求4或5所述的方法，其特征在于，所述roi_rate比例参数和所述roi_sad_ceiling参数的配置使用机器学习的模型进行训练和预测以获取合理的取值。

8.根据权利要求5-7任一项所述的方法，其特征在于，所述步骤5具体包括如下子步骤：

步骤5.1，增加一个roi_delta_qp参数来调整所述ROI编码块的QP值；

步骤5.2，对于所述ROI编码块，roi_delta_qp取负值，进入步骤7。

9.一种基于智能帧间运动检测的视频感兴趣区域视频编码优化提升的装置，其包括处理器和存储介质，所述存储介质上存储计算机程序，所述计算机程序被所述处理器执行以实现如权利要求1-8所述的步骤。

10.一种存储介质，所述存储介质上存储计算机程序，所述计算机程序被所述处理器执行以实现如权利要求1-8所述的步骤。