CN117061754A - 一种基于roi的编码方法 - Google Patents

一种基于roi的编码方法 Download PDF

Info

Publication number
CN117061754A
CN117061754A CN202311057221.8A CN202311057221A CN117061754A CN 117061754 A CN117061754 A CN 117061754A CN 202311057221 A CN202311057221 A CN 202311057221A CN 117061754 A CN117061754 A CN 117061754A
Authority
CN
China
Prior art keywords
roi
video
processed
quality adjustment
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311057221.8A
Other languages
English (en)
Inventor
朱运平
唐杰
杨天使
戴立言
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANGHAI WONDERTEK SOFTWARE CO Ltd
Original Assignee
SHANGHAI WONDERTEK SOFTWARE CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANGHAI WONDERTEK SOFTWARE CO Ltd filed Critical SHANGHAI WONDERTEK SOFTWARE CO Ltd
Priority to CN202311057221.8A priority Critical patent/CN117061754A/zh
Publication of CN117061754A publication Critical patent/CN117061754A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及数字视频编码技术领域，公开了一种基于RO I的编码方法，其方法包括：S1：获取待处理视频的ROI面积占比，根据待处理视频质量调整参数与码率变化关系，预先训练待处理视频质量参数曲线图；S2：把待处理视频的当前帧送入视觉显著性模型检测，得到ROI区域坐标和RO I区域面积占比；S3：根据预设的目标码率变化率和适用于当前帧的质量参数曲线图得到当前帧的ROI质量调整参数；S4：通过非RO I区域离ROI区域中心坐标的距离，获取非RO I区域质量调整参数；S5：设置当前帧的所述ROI区域坐标和非ROI区域，ROI区域和非ROI区域质量调整参数，送入编码器进行编码，解决ROI区域与周围非ROI区域因编码参数差异过大造成的方块效应和不协调的技术问题。

Description

一种基于ROI的编码方法
技术领域
本发明涉及数字视频编码技术领域，更具体地说，它涉及一种基于ROI的编码方法。
背景技术
近年来，随着视频技术和媒体传播技术的发展，用户对于视频质量提出了更高的要求，互联网视频平台为了提供更佳的视频播放体验，视频码率呈现成倍增长的趋势。
现有的ROI(感兴趣区域)码率控制方法中，其中一种是通过多个质量参数多次编码解码调整ROI的QP，另一种方法是对检测到的ROI设置QP Offset表，并在编码时依据QPOffset表对QP进行调整，大部分都采用分层的QP Offset设置来进行编码。
通过多个质量参数多次编码解码，这种方法增加的编码耗时会比较高，另外依据QP offset表这种分层的QP Offset在编码过程中是按经验值来设定且在编码过程中是不作改变的。
发明内容
本发明的目的在于提供一种基于ROI的编码方法，本发明提出的通过ROI区域面积占比，ROI区域QP offset与码率变化关系来确定ROI区域的QP offset，通过ROI区域与非ROI区域中心距离在非ROI区域设置一个过渡平滑区域，来解决ROI区域与周围非ROI区域因编码参数差异过大造成的方块效应和不协调。
为实现上述目的，本发明提供了一种基于ROI的编码方法，包括以下步骤：
S1：获取待处理视频的ROI面积占比，根据待处理视频质量调整参数与码率变化关系，预先训练一组曲线，所述曲线为待处理视频质量参数曲线图，反映不同的视觉感兴趣区域ROI面积占比情况；
S2：把所述待处理视频的当前帧送入视觉显著性模型进行检测，得到ROI区域坐标和ROI区域面积占比；
S3：根据预设的目标码率变化率和所述适用于当前帧的质量参数曲线图得到所述当前帧的ROI质量调整参数；
S4：通过非ROI区域离所述ROI区域中心坐标的距离，获取非ROI区域质量调整参数，防止所述ROI区域与所述非ROI区域的编码参数差异过大造成明显的方块效应；
S5：设置所述当前帧的所述ROI区域的坐标和所述ROI区域质量调整参数，以及所述当前帧的所述非ROI区域的坐标和所述非ROI区域质量调整参数，送入编码器进行编码。
较佳地，所述步骤S1，所述待处理视频质量调整参数曲线图，进一步包括：
预设待处理视频质量调整参数，计算所述待处理视频在不同所述待处理视频质量调整参数下的调整后码率，以及所述待处理视频在无所述待处理视频质量调整参数下的正常码率，从而确定每个所述待处理视频的码率变化率。
较佳地，所述步骤S1，所述待处理视频质量调整参数曲线图，进一步包括：
根据所述调整后码率和所述正常码率，整理所述待处理视频的所有所述码率变化率，对所述ROI面积占比、所述码率变化率和所述待处理视频质量调整参数进行匹配，并根据所述匹配结果构建所述待处理视频的所述ROI面积占比对应的所述质量参数曲线图。
较佳地，根据所述当前帧质量调整参数，得到用于当前帧的第一量化偏置量Qa，从而获取用于所述当前帧中的所述非ROI区域的第二量化偏置量Qb。
较佳地，待处理视频在不同质量调整参数下的后码率，进一步包括：
根据所述预设待处理视频质量调整参数的第一个质量调整参数为当前量化偏置量，根据所述当前量化偏置量确定待处理视频第一量化偏置量，根据所述待处理视频第一量化偏置量对所述待处理视频的ROI进行编码。
较佳地，待处理视频在不同质量调整参数下的后码率，进一步包括：
根据所述待处理视频的编码结果获取所述调整后码率，当所述待处理视频第一量化偏置量不是最后一个时，选取下一个所述待处理视频质量调整参数作为当前量化偏置量，并重新进行当前量化偏置量确定第一量化偏置量。
较佳地，所述第二量化偏置量Qb包括：
当所述当前帧的所述ROI区域中心点坐标为(Xa,Ya)时，所述非ROI区域中心点坐标为(Xb,Yb)，所述ROI区域中心点和所述非ROI区域中心点的距离为D，从而根据以下公式计算所述当前帧非ROI区域的第二量化偏置量Qb，其中第二量化偏置量Qb的计算公式如下：
D＝|Xa-Ya|+|Xb-Yb|
Qb＝Qa+Round(sigmoid(D)-0.5,1)。
较佳地，编码过程中通过所述质量调整参数控制所述第一量化偏置量Qa和所述第二量化偏置量Qb，从而达到控制所述待处理视频质量。
较佳地，所述控制待处理视频质量进一步包括：
所述量化偏置量越小，比特数越多，压缩率越低但视频质量越高，从而达到控制视频质量其中所述量化偏置量包括所述第一偏置量Qa和所述第二偏置量Qb。
一种计算机设备，包括存储器和一个或多个处理器，所述存储器中存储有计算机代码，所述计算机代码被所述一个或多个处理器执行时，使得所述处理器执行本发明一实施例中的一种ROI编码的步骤。
与现有技术相比，本发明提供了一种基于ROI的编码方法，本发明利用人眼存在感兴趣区域和非感兴趣区域的特点，将更多码率分配到主观感兴趣区域，从而达到同等码率提升主观质量或同等体验降低码率的目标，最终达到优化视频主观质量和节约码率的问题。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方案的目的，而并不认为是对本发明的限制。
图1为本发明一种基于ROI区域的整体流程图；
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明，应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。
本发明实施例涉及的技术术语定义如下：
1、ROI：人眼感兴趣区域(Region ofInterest简称ROI)；NROI：
2、质量调整参数：用于码率控制过程中，调整每个MB/CU的量化参数；
3、正常码率(NROI_bitrate)：是指含有ROI的视频在不用质量调整参数下进行编码后的码率；
4、码率变化率(bt_change_ratio)：是指视频在质量调整参数下的调整后码率ROI_bitrate与视频在无质量调整参数下的正常码率NROI_bitrate的比值，计算公式为bt_change_ratio＝(ROI_bitrate-NROI_bitrate)/NROI_bitrate*100；
5、ROI面积占比(ROI_ratio)：是指感兴趣面积比，ROI面积占比的范围为1％～100％；
6、宏块：是H.264视频编码标准中的基本编码单元。
第一实施例
如图1所示，本实施例提供了一种基于ROI的编码方法的具体实施例，具体过程如下：
S1：获取待处理视频的ROI面积占比，根据待处理视频质量调整参数与码率变化关系，预先训练一组曲线，曲线为待处理视频质量参数曲线图，反映不同的视觉感兴趣区域ROI面积占比情况；
S2：把待处理视频的当前帧送入视觉显著性模型进行检测，得到ROI区域坐标和ROI区域面积占比；
S3：根据预设的目标码率变化率和适用于当前帧的质量参数曲线图得到当前帧的ROI质量调整参数；
S4：通过非ROI区域离ROI区域中心坐标的距离，获取非ROI区域质量调整参数，防止ROI区域与非ROI区域的编码参数差异过大造成明显的方块效应；
S5：设置当前帧的ROI区域的坐标和ROI区域质量调整参数，以及当前帧的非ROI区域的坐标和非ROI区域质量调整参数，送入编码器进行编码。
较佳地，步骤S1，待处理视频质量调整参数曲线图，进一步包括：
预设待处理视频质量调整参数，计算待处理视频在不同待处理视频质量调整参数下的调整后码率，以及待处理视频在无待处理视频质量调整参数下的正常码率，从而确定每个待处理视频的码率变化率。
较佳地，步骤S1，待处理视频质量调整参数曲线图，进一步包括：
根据调整后码率和正常码率，整理待处理视频的所有码率变化率，对ROI面积占比、码率变化率和待处理视频质量调整参数进行匹配，并根据匹配结果构建待处理视频的ROI面积占比对应的质量参数曲线图。
较佳地，根据当前帧质量调整参数，得到用于当前帧的第一量化偏置量Qa，从而获取用于当前帧中的非ROI区域的第二量化偏置量Qb，具体地，在本实施例中，确定第i帧的感兴趣区域ROI，ROI区域包括至少一个宏块，提取至少一个ROI宏块的特征信息，特征信息包括至少一个宏块的位置坐标，确定至少一个ROI宏块中各ROI宏块对应的第一量化偏置量Qa。
较佳地，待处理视频在不同质量调整参数下的后码率，进一步包括：
根据预设待处理视频质量调整参数的第一个质量调整参数为当前量化偏置量，根据当前量化偏置量确定待处理视频第一量化偏置量，根据待处理视频第一量化偏置量对待处理视频的ROI进行编码。
较佳地，待处理视频在不同质量调整参数下的后码率，进一步包括：
根据待处理视频的编码结果获取调整后码率，当待处理视频第一量化偏置量不是最后一个时，选取下一个待处理视频质量调整参数作为当前量化偏置量，并重新进行当前量化偏置量确定第一量化偏置量。
较佳地，第二量化偏置量Qb包括：
当当前帧的ROI区域中心点坐标为(Xa,Ya)时，非ROI区域中心点坐标为(Xb,Yb)，ROI区域中心点和非ROI区域中心点的距离为D，从而根据以下公式计算当前帧非ROI区域的第二量化偏置量Qb，其中第二量化偏置量Qb的计算公式如下：
D＝|Xa-Ya|+|Xb-Yb|
Qb＝Qa+Round(sigmoid(D)-0.5,1)。
较佳地，编码过程中通过质量调整参数控制第一量化偏置量Qa和第二量化偏置量Qb，从而达到控制待处理视频质量。
较佳地，控制待处理视频质量进一步包括：
量化偏置量越小，比特数越多，压缩率越低但视频质量越高，从而达到控制视频质量其中量化偏置量包括第一偏置量Qa和第二偏置量Qb，具体地，在本实施例中，当前帧的码率是一定的，在增强ROI模式下，减小第一量化偏置量分配较多的比特数，对非ROI区域，增加第二量化偏置量的比特数达到提高ROI区域视频质量的目的。
一种计算机设备，包括存储器和一个或多个处理器，存储器中存储有计算机代码，计算机代码被一个或多个处理器执行时，使得处理器执行本发明一实施例中的一种ROI编码方法的步骤。
第二实施例
本实施例中，提出了一种计算机设备，包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行第一实施例中一种ROI编码方法的步骤。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明说记载的范围。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于ROI的编码方法，其特征在于，包括以下步骤：
S1：获取待处理视频的ROI面积占比，根据待处理视频质量调整参数与码率变化关系，预先训练一组曲线，所述曲线为待处理视频质量参数曲线图，反映不同的视觉感兴趣区域ROI面积占比情况；
S2：把所述待处理视频的当前帧送入视觉显著性模型进行检测，得到ROI区域坐标和ROI区域面积占比；
S3：根据预设的目标码率变化率和适用于当前帧的质量参数曲线图得到所述当前帧的ROI质量调整参数；
S4：通过非ROI区域离所述ROI区域中心坐标的距离，获取非ROI区域质量调整参数，防止所述ROI区域与所述非ROI区域的编码参数差异过大造成明显的方块效应；
S5：设置所述当前帧的所述ROI区域的坐标和所述ROI区域质量调整参数，以及所述当前帧的所述非ROI区域的坐标和所述非ROI区域质量调整参数，送入编码器进行编码。
2.根据权利要求1所述的一种基于ROI的编码方法，其特征在于，所述步骤S1，所述待处理视频质量调整参数曲线图，进一步包括：
预设待处理视频质量调整参数，计算所述待处理视频在不同所述待处理视频质量调整参数下的调整后码率，以及所述待处理视频在无所述待处理视频质量调整参数下的正常码率，从而确定每个所述待处理视频的码率变化率。
3.根据权利要求2所述的一种基于ROI的编码方法，其特征在于，所述步骤S1，所述待处理视频质量调整参数曲线图，进一步包括：
根据所述调整后码率和所述正常码率，整理所述待处理视频的所有所述码率变化率，对所述ROI面积占比、所述码率变化率和所述待处理视频质量调整参数进行匹配，并根据所述匹配结果构建所述待处理视频的所述ROI面积占比对应的所述质量参数曲线图。
4.根据权利要求1所述的一种基于感兴趣区域ROI的编码方法，其特征在于，根据所述当前帧质量调整参数，得到用于当前帧的第一量化偏置量Qa，从而获取用于所述当前帧中的所述非ROI区域的第二量化偏置量Qb。
5.根据权利要求3所述的一种基于ROI的编码方法，其特征在于，待处理视频在不同质量调整参数下的后码率，进一步包括：
根据所述预设待处理视频质量调整参数的第一个质量调整参数为当前量化偏置量，根据所述当前量化偏置量确定待处理视频第一量化偏置量，根据所述待处理视频第一量化偏置量对所述待处理视频的ROI进行编码。
6.根据权利要求5所述的一种基于ROI的编码方法，其特征在于，待处理视频在不同质量调整参数下的后码率，进一步包括：
根据所述待处理视频的编码结果获取所述调整后码率，当所述待处理视频第一量化偏置量不是最后一个时，选取下一个所述待处理视频质量调整参数作为当前量化偏置量，并重新进行当前量化偏置量确定第一量化偏置量。
7.根据权利要求4所述的一种基于ROI的编码方法，其特征在于，所述第二量化偏置量Qb包括：
当所述当前帧的所述ROI区域中心点坐标为(Xa,Ya)时，所述非ROI区域中心点坐标为(Xb,Yb)，所述ROI区域中心点和所述非ROI区域中心点的距离为D，从而根据以下公式计算所述当前帧非ROI区域的第二量化偏置量Qb，其中第二量化偏置量Qb的计算公式如下：
D＝|Xa-Ya|+|Xb-Yb|
Qb＝Qa+Round(sigmoid(D)-0.5,1)。
8.根据权利要求4所述的一种基于ROI的编码方法，其特征在于，编码过程中通过所述质量调整参数控制所述第一量化偏置量Qa和所述第二量化偏置量Qb，从而达到控制所述待处理视频质量。
9.根据权利要求8所述的一种基于ROI的编码方法，其特征在于，所述控制待处理视频质量进一步包括：
所述量化偏置量越小，比特数越多，压缩率越低但视频质量越高，从而达到控制视频质量其中所述量化偏置量包括所述第一偏置量Qa和所述第二偏置量Qb。
10.一种计算机设备，包括存储器和一个或多个处理器，所述存储器中存储有计算机代码，所述计算机代码被所述一个或多个处理器执行时，使得所述一个或多个处理器执行如权利要求1至9中任一项所述的方法。
CN202311057221.8A 2023-08-22 2023-08-22 一种基于roi的编码方法 Pending CN117061754A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311057221.8A CN117061754A (zh) 2023-08-22 2023-08-22 一种基于roi的编码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311057221.8A CN117061754A (zh) 2023-08-22 2023-08-22 一种基于roi的编码方法

Publications (1)

Publication Number Publication Date
CN117061754A true CN117061754A (zh) 2023-11-14

Family

ID=88653190

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311057221.8A Pending CN117061754A (zh) 2023-08-22 2023-08-22 一种基于roi的编码方法

Country Status (1)

Country Link
CN (1) CN117061754A (zh)

Similar Documents

Publication Publication Date Title
CN109862359B (zh) 基于分层b帧的码率控制方法、装置和电子设备
US11089305B2 (en) Video frame coding method during scene change, terminal and storage medium
CN110365983B (zh) 一种基于人眼视觉系统的宏块级码率控制方法及装置
JPH07322252A (ja) 画像符号化装置
CN107222748B (zh) 图像数据码率的处理方法和装置
CN114466189B (zh) 码率控制方法、电子设备及存储介质
CN110545418B (zh) 一种基于场景的自适应视频编码方法
US20170374361A1 (en) Method and System Of Controlling A Video Content System
CN111741300A (zh) 一种视频处理方法
CN112437301B (zh) 一种面向视觉分析的码率控制方法、装置、存储介质及终端
CN109218722B (zh) 一种视频编码方法、装置及设备
CN117956160A (zh) 码率控制方法、码率控制装置以及计算机存储介质
CN117061754A (zh) 一种基于roi的编码方法
CN111416978A (zh) 视频编解码方法及系统、计算机可读存储介质
CN115955564A (zh) 一种视频编码方法、装置、设备和介质
CN115914629A (zh) 视频编码方法、装置及电子设备
CN108737826B (zh) 一种视频编码的方法和装置
CN113630599B (zh) 一种基于roi的视频码率控制方法及系统
US9426474B2 (en) Transcoder
KR100543608B1 (ko) 오브젝트 기반 비트율 제어방법 및 장치
CN115442615A (zh) 一种视频编码方法、装置、电子设备及存储介质
CN103517067B (zh) 一种初始量化参数自适应调整方法及系统
Chi et al. Region-of-interest video coding by fuzzy control for H. 263+ standard
CN118055234B (zh) 视频帧编码方法、装置、设备、介质和计算机程序产品
US20240267528A1 (en) Encoder and associated signal processing method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination