CN114466189B - 码率控制方法、电子设备及存储介质 - Google Patents

码率控制方法、电子设备及存储介质 Download PDF

Info

Publication number
CN114466189B
CN114466189B CN202111614867.2A CN202111614867A CN114466189B CN 114466189 B CN114466189 B CN 114466189B CN 202111614867 A CN202111614867 A CN 202111614867A CN 114466189 B CN114466189 B CN 114466189B
Authority
CN
China
Prior art keywords
frame
encoded
weight
complexity
code rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111614867.2A
Other languages
English (en)
Other versions
CN114466189A (zh
Inventor
李曾
方瑞东
段光耀
林聚财
殷俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202111614867.2A priority Critical patent/CN114466189B/zh
Publication of CN114466189A publication Critical patent/CN114466189A/zh
Application granted granted Critical
Publication of CN114466189B publication Critical patent/CN114466189B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请公开了一种码率控制方法、电子设备及计算机可读存储介质。该方法包括:获取待编码帧的目标比特,待编码帧包括多个宏块;确定待编码帧所属待编码视频序列的目标码率等级;基于目标码率等级,确定多个宏块的第一权重;依据第一权重将待编码帧的目标比特分配至多个宏块;基于为多个宏块分配的目标比特计算多个宏块的量化参数。通过上述方式,能够提高宏块的目标比特分配方式与用户需求相适应的程度。

Description

码率控制方法、电子设备及存储介质
技术领域
本申请涉及视频编码技术领域,特别是涉及一种码率控制方法、电子设备及计算机可读存储介质。
背景技术
视频编解码的标准有H.264/AVC、H.265/HEVC、H.266/VVC、VP8、VP9、AV1、AVS等,其主要目的是将采集到的视频信号压缩成不同标准格式的数据,便于传输或存储。为了将视频编码技术应用于实际场景,码率控制技术在视频编码器中起着至关重要的作用,因为它可以在有限的通信带宽或存储空间的情况下调整编码器输出的目标码率,从而避免编码的视频帧出现过大或过小的情况。
码率控制技术依次对视频信号进行图片组级、帧级和宏块级的分配,得到图片组级、帧级和宏块级的目标比特。但是,目前的码率控制方法中,宏块级的目标比特方式与用户的需求相适应的程度不高。
发明内容
本申请提供一种码率控制方法、电子设备及计算机可读存储介质,能够解决目前的宏块级的目标比特方式与用户的需求相适应的程度不高的问题。
为解决上述技术问题,本申请采用的一个技术方案是:提供一种码率控制方法。该方法包括:获取待编码帧的目标比特,待编码帧包括多个宏块;确定待编码帧所属待编码视频序列的目标码率等级;基于目标码率等级,确定多个宏块的第一权重;依据第一权重将待编码帧的目标比特分配至多个宏块;基于为多个宏块分配的目标比特计算多个宏块的量化参数。
为解决上述技术问题,本申请采用的另一个技术方案是:提供一种电子设备,该电子设备包括处理器、与处理器连接的存储器,其中,存储器存储有程序指令;处理器用于执行存储器存储的程序指令以实现上述方法。
为解决上述技术问题,本申请采用的又一个技术方案是:提供一种计算机可读存储介质,存储有程序指令,该程序指令被执行时能够实现上述方法。
通过上述方式,本申请基于目标码率等级确定待编码帧中多个宏块的第一权重,依据第一权重将待编码帧的目标比特分配至多个宏块。因此将待编码帧的目标比特分配至多个宏块的方式不是固定的,而是可以根据目标码率等级灵活变化的。由于目标码率等级变相反映用户的需求,因此基于目标码率等级的宏块的目标比特分配方式与用户的需求相适应。从而,本申请提供的码率控制方法,增加了宏块的目标比特分配方式的灵活性,提高了宏块的目标比特分配方式与用户需求相适应的程度。
附图说明
图1是本申请码率控制方法一实施例的流程示意图;
图2是本申请码率控制方法另一实施例的流程示意图;
图3是本申请码率控制方法又一实施例的流程示意图;
图4是图3中S31的具体流程示意图;
图5是本申请码率控制方法又一实施例的流程示意图;
图6是本申请码率控制方法一具体实例的流程示意图;
图7是本申请码率控制方法又一实施例的流程示意图;
图8是图7中S51的具体流程示意图;
图9是本申请码率控制方法又一实施例的流程示意图;
图10是本申请码率控制方法又一实施例的流程示意图;
图11是本申请电子设备一实施例的结构示意图;
图12是本申请计算机可读存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请中的术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,在不冲突的情况下,本文所描述的实施例可以与其它实施例相结合。
在介绍本申请提供的方法之前,先对码率控制技术的原理说明:
码率控制技术一般会从三个层面对码率进行控制,分别为:图片组(Group ofPicture,GOP)级、帧级、宏块级。即,将待编码视频序列划分为连续的多个GOP,每个GOP中包含多个视频帧,每个视频帧包含多个宏块。相应地,对待编码视频序列的码率控制过程为,基于给定的目标码率,为GOP分配目标比特,再将GOP的目标比特分配至GOP中的每个视频帧,得到每个视频帧的目标比特;再将视频帧的目标比特分配至视频帧中的每个宏块,得到每个宏块的目标比特。后续编码过程中,基于宏块的目标比特的量化参数(Quantizationparameter,QP)对待编码视频序列进行编码。
如下对后面实施例涉及的宏块、待编码帧的时域复杂度、空域复杂度进行说明:
空域复杂度表征纹理复杂度,时域复杂度表征运动复杂度。
其中,空域复杂度的计算过程如下:
首先计算待编码帧中当前宏块的平均像素值:
其中,表示平均像素值,当前宏块大小为M×N,M表示宏块高度,N表示宏块高度,Pi,j表示第i行第j列的像素值。
再计算当前宏块中所有像素点的值与平均像素值的差值,并将当前宏块中所有像素点的差值累加再求平均,得到当前宏块的空域复杂度:
其中,BlkS表示当前宏块的空域复杂度。
最后将所有宏块的空域复杂度累加得到待编码帧的空域复杂度:
其中,n表示待编码帧中宏块的数量,textureS表示待编码帧的空域复杂度,BlkSk表示第k个宏块的空域复杂度。
时域复杂度的计算过程如下:
先根据当前宏块与参考帧中同位块的像素差值,计算当前宏块的时域复杂度,参考帧表示对待编码帧进行编码时所参考的视频帧:
其中,表示同位块中的第i行第j列的像素值,/>表示当前宏块中第i行第j列的像素值,BlkT表示当前宏块的时域复杂度。
再计算所有宏块的时域复杂度之和的均值,得到待编码帧的时域复杂度:
其中,textureT表示待编码帧的时域复杂度,BlkTk表示第k个宏块的时域复杂度。
如下介绍本申请提供的码率控制方法:
图1是本申请码率控制方法一实施例的流程示意图。需注意的是,若有实质上相同的结果,本实施例并不以图1所示的流程顺序为限。如图1所示,本实施例可以包括:
S11:获取待编码帧的目标比特。
待编码帧包括多个宏块。
在一些实施例中,可以根据待编码帧的特性为待编码帧分配目标比特。待编码帧的目标比特计算公式如下:
其中,表示待编码帧所属GOP中已编码帧消耗的比特,ωPicCurr为待编码帧的权重,ωPicCurr是根据不同编码配置时GOP的结构和每个像素占用的比特(bit perpixel,bpp)事先设定的固定值,∑wPic为所有待编码帧的权重之和。
在一些实施例中,可以根据待编码帧的时空域复杂度为待编码帧分配目标比特。
可以将待编码帧以固定尺寸M×N的像素块作为划分单元进行划分,得到待编码帧的多个宏块。M表示宏块宽度,N表示宏块高度。固定尺寸可以为16×16、32×32、64×64等等。
S12:确定待编码帧所属待编码视频序列的目标码率等级。
目标码率也可以称为比特率,表示每秒传输的比特(bit)数。待编码视频序列的目标码率是由用户根据需求设定的。
在一些实施例中,可以设定码率阈值,基于码率阈值划分多个码率范围,每个码率范围对应一等级。例如,设定第一码率阈值和第二码率阈值,第一码率阈值小于第二码率阈值,从而得到三个码率范围,分别是(码率下限值,第一码流阈值],(第一码流阈值,第二码流阈值]和(第二码流阈值,码流上限值]。(码率下限值,第一码流阈值]对应低等级,(第一码流阈值,第二码流阈值]对应中等级,(第二码流阈值,码流上限值]对应高等级。目标码率等级为目标码率所属的码流范围对应的等级。
在一些实施例中,可以获取待编码视频序列中每个像素占用的比特(bit perpixel,bpp);根据像素占用的比特的等级确定目标码率等级。
其中,bpp的计算公式如下:
其中,Rtar表示目标码率,f表示帧率,帧率表示每秒传输的视频帧数量,w表示待编码视频序列中每个待编码帧的宽度,h表示待编码视频序列中每个待编码帧的高度。
可以设置bpp阈值,基于bpp阈值划分得到多个bpp范围,每个bpp范围对应一等级。例如,设置第一bpp阈值和第二bpp阈值,第一bpp阈值小于第二bpp阈值,从而得到三个bpp范围,分别是(bpp下限值,第一bpp阈值]、(第一bpp阈值,第二bpp阈值]和(第二bpp阈值,bpp上限值]。(bpp下限值,第一bpp阈值]对应低等级,(第一bpp阈值,第二bpp阈值]对应中等级,(第二bpp阈值,bpp上限值]对应高等级。bpp的等级为bpp所属的bpp范围对应的等级。
S13:基于目标码率等级,确定多个宏块的第一权重。
考虑到不同的目标码率等级下,人眼主观关注的细节不同。例如,在高等级下,人眼比较关注人脸、车牌等纹理复杂的区域;在低等级下,人眼比较关注地板、墙壁等纹理简单的区域。因此,本步骤中,可以在不同的目标码率等级下,用不同的方式确定多个宏块的第一权重,以实现在不同的目标码率等级下对宏块采用不同的目标比特分配方式。本申请后文将人眼关注度高的区域视为重要程度高的区域。
确定多个宏块的第一权重的方式包括但不限于以下三种:
第一种是设置多个宏块的第一权重均相同,即宏块的第一权重等于1除以宏块的数量。
第二种是基于宏块在参考帧中的同位块的比特,确定宏块的第一权重,同位块的比特与第一权重正相关。在此方式下,宏块的同位块的比特越多,代表宏块的重要程度越高,宏块的第一权重越大,后续能够为宏块分配更多的目标比特。
第三种是基于宏块的空域复杂度确定宏块的第一权重,空域复杂度与第一权重正相关。在此方式下,宏块的空域复杂度越高,宏块的重要程度越高,宏块的第一权重越大,后续能够为宏块分配更多的目标比特。
如下列举基于目标码率等级确定多个宏块的第一权重的一些实施例:
在一些实施例中,目标码率等级为较低等级,采用第二种方式确定第一权重;目标码率等级为较高等级,采用第三种方式确定第一权重。
在一些实施例中,目标码率等级为较低等级,采用第一种方式确定第一权重;目标码率等级为较高等级,采用第二种或者第三种方式确定第二权重。
如下以一个例子的形式,对码率分为高、中、低三个等级的情况下,当前宏块的第一权重确定方式进行说明。其中高、中、低三个等级的划分请参考S12的相关介绍。
例子1:若目标码率等级为高等级,则基于当前宏块的空域复杂度确定当前宏块的第一权重,空域复杂度与第一权重正相关。
若目标码率等级为中等级,则基于当前宏块在参考帧中的同位宏块的比特,确定当前宏块的第一权重,同位宏块的比特与第一权重正相关。当前宏块的第一权重可以通过下式计算:
其中,ωmb表示当前宏块的第一权重,Qscaleframe表示待编码帧的量化参数(QP),与待编码帧的目标比特负相关,αmb和βmb表示可调参数,αmb和βmb是基于同位宏块的比特确定的。若待编码帧为关键帧,αmb和βmb的值是初始值。
若目标码率等级为低等级,则当前宏块的第一权重等于1除以宏块的数量。当前宏块的第一权重可以通过下式计算:
其中,n表示宏块的数量。
上述例子1中,考虑到在目标码率等级为较高等级(高等级、中等级)下,人眼对人脸、车牌等纹理复杂(空域复杂度高、同位块的比特多)的区域关注度高,重要程度高。因此,在目标码率允许的情况下,也即是在目标码率等级为较高等级的情况下,为重要程度高的区域宏块设置更大的第一权重,从而提高后续对重要程度较高的宏块的编码质量,进而提高人眼的主观感受。
S14:依据第一权重将待编码帧的目标比特分配至多个宏块。
将宏块的第一权重与待编码帧的目标比特相乘,得到为宏块分配的目标比特。
在上述例子1的基础上,继续对本步骤进行说明:
若目标码率等级为高等级,则将目标比特分配至当前宏块的计算公式可以如下:
其中,表示为当前宏块分配的目标比特,/>表示待编码帧的目标比特,/>表示当前宏块的第一权重,Gmb表示当前宏块的空域复杂度,∑G表示所有宏块的空域复杂度之和。
若目标码率等级为中等级,则将目标比特分配至当前宏块的计算公式可以如下:
其中,ωmb表示当前宏块的第一权重,∑ω表示所有宏块的第一权重之和。
若目标码率等级为低等级,则将目标比特平均分配至各个宏块,即将目标比特分配至当前宏块的计算公式可以如下:
S15:基于为多个宏块分配的目标比特计算多个宏块的量化参数。
宏块的量化参数QP与宏块的比特负相关。
通过本实施例的实施,本申请基于目标码率等级确定待编码帧中多个宏块的第一权重,依据第一权重将待编码帧的目标比特分配至多个宏块。因此将待编码帧的目标比特分配至多个宏块的方式不是固定的,而是可以根据目标码率等级灵活变化的。由于目标码率等级变相反映用户的需求(如人眼关注的区域),因此基于目标码率等级的宏块的目标比特分配方式与用户的需求相适应。从而,本申请提供的码率控制方法,增加了宏块的目标比特分配方式的灵活性,提高了宏块的目标比特分配方式与用户需求相适应的程度。并且,本申请提供的码率控制方法具有普适性,使用条件简单、成本低、独立性高,能整合进不同视频编码标准中去使用,同时也能融合进不同硬件芯片之中。
进一步地,在目标码率等级为低等级,当前宏块的第一权重等于1除以宏块的数量、为每个宏块分配相同比特的情况下,可能会出现为人眼关注度高的区域分配的比特过多、量化参数过小,人眼关注度低的区域分配的比特过少、量化参数过大的情况。为了提高低等级下人眼的主观感受,可以在S15之后,基于宏块的时域复杂度和空域复杂度对宏块的量化参数进行调整。具体可以如下:
图2是本申请码率控制方法另一实施例的流程示意图。需注意的是,若有实质上相同的结果,本实施例并不以图2所示的流程顺序为限。如图2所示,本实施例可以包括:
S21:判断当前宏块的时域复杂度和空域复杂度是否均大于或均小于对应的复杂度阈值。
时域复杂度对应的复杂度阈值可以是基于待编码帧中所有宏块的时域复杂度计算得到的,例如为所有宏块的时域复杂度的均值。空域复杂度对应的复杂度阈值可以是基于待编码帧中所有宏块的空域复杂度计算得到的,例如为所有宏块的空域复杂度的均值。
若是,则执行S22;否则执行S23。
S22:增大当前宏块的量化参数。
S23:减小当前宏块的量化参数。
可以理解的是,空域复杂度大于对应的复杂度阈值的区域,纹理简单,时域复杂度大于对应的复杂度阈值的区域,运动简单。
针对时域复杂度和空域复杂度均大于对应的复杂度阈值的区域(如光滑地板的区域),纹理简单、运动简单,人眼的关注度低,因此增大QP。针对时域复杂度和空域复杂度均小于对应的复杂度阈值的区域(如吹动的树叶区域),纹理复杂、运动复杂,人眼的关注度低,因此增大QP。
针对空域复杂度大于对应的复杂度阈值、时域复杂度不大于对应的复杂度阈值的区域(如运动速度小的人脸区域),纹理复杂、运动简单,人眼的关注度高,因此减小QP。针对空域复杂度不大于对应的复杂度阈值、时域复杂度大于对应的复杂度阈值的区域(如转动场景的天空、墙壁、马路,纹理简单的运动物体),纹理简单、运动复杂,人眼的关注度高,因此减小QP。
进一步地,在S11中根据待编码帧的时空域复杂度为待编码帧分配目标比特的情况下,可以对S11进一步扩展,具体如下:
图3是本申请码率控制方法又一实施例的流程示意图。需注意的是,若有实质上相同的结果,本实施例并不以图3所示的流程顺序为限。如图3所示,本实施例可以包括:
S31:计算待编码帧的时空域复杂度。
可以计算待编码帧的空域复杂度和时域复杂度;依据第三权重对待编码帧的空域复杂度和时域复杂度加权,得到时空域复杂度。例如,空域复杂度的第三权重为k1,时域复杂度的第三权重为k2,时空域复杂度textureST=k1·textureS+k2·textureT。
其中,待编码帧的空域复杂度和时域复杂度可以相同,也可以不同。在不同情况下,可以基于待编码帧的类型,确定空域复杂度和时域复杂度的第三权重。可以理解的是,待编码帧的类型,决定待编码帧的空域信息(对应空域复杂度)和时域信息(对应时域复杂度)相对于待编码帧的重要程度,因此基于编码值的类型确定第三权重,也即是基于空域复杂度和时域复杂度对应的重要程度确定第三权重。在此情况下,结合参阅图4,S31可以包括以下子步骤:
S311:计算待编码帧的空域复杂度和时域复杂度。
S312:基于待编码帧的类型,确定待编码帧的空域复杂度和时域复杂度的第三权重。
待编码帧的类型包括关键帧(I帧)和非关键帧(B帧、P帧)。
若待编码帧为关键帧,则确定空域复杂度的第三权重大于时域复杂度的第三权重,且时域复杂度的第三权重为0。关键帧的编码方式为帧内编码,只有空域信息才会对其产生影响,因此时域信息不会对其产生影响,因此设置时域复杂度的第三权重为0。例如,待编码帧为I帧,设置k1=100、k2=0。
若待编码帧为非关键帧且待编码帧的参考帧为关键帧,则时域复杂度的第三权重大于空域复杂度的第三权重。例如,待编码帧为P帧,且参考帧为I帧,设置k1=1.1、k2=0,或者设置k1=1.5、k2=1。
若待编码帧为非关键帧且待编码帧的参考帧为非关键帧,则时域复杂度的第三权重等于空域复杂度的第三权重。例如,待编码帧为P帧,且参考帧为P帧,设置k1=1,k2=1。
S313:依据第三权重对待编码帧的空域复杂度和时域复杂度加权,得到时空域复杂度。
S32:基于待编码帧的时空域复杂度,确定待编码帧的第二权重。
待编码帧的第二权重与时空域复杂度正相关。
待编码帧的第二权重通过下式计算得到:
其中,ωPic表示待编码帧的第二权重,textureSTPic表示待编码帧的时空域复杂度,∑textureST表示待编码帧所属GOP中所有待编码帧的时空域复杂度之和。
S33:依据第二权重将待编码帧所属图像组的剩余比特分配至待编码帧,得到待编码帧的目标比特。
待编码帧的目标比特可以通过下式计算得到:
其中,表示待编码帧的目标比特,/>表示待编码帧所属GOP的目标比特,表示待编码帧所属GOP中已编码帧消耗的比特。
图5是本申请码率控制方法又一实施例的流程示意图。需注意的是,若有实质上相同的结果,本实施例并不以图5所示的流程顺序为限。本实施例是对上述实施例的进一步扩展。如图5所示,在S11之后、S14之前,本实施例可以包括:
S41:判断待编码帧到下一个关键帧之间的帧数是否小于帧数阈值。
可以理解的是,GOP的第一个视频帧为关键帧。处于当前GOP中帧数最大的预设数量个非关键帧,也是距离下一GOP的第一个关键帧最近的预设数量个非关键帧(后文称为靠近关键帧的非关键帧),由于距离当前GOP中的关键帧远,相应对其分配的目标比特少、编码质量低。为了保证靠近关键帧的非关键帧的编码质量,使得非关键帧和关键帧之间的过度更加平滑,可以在获取其目标比特之后,对其目标比特进行调整。
帧数阈值即为该预设数量,从而限定本实施例的调整对象为靠近关键帧的非关键帧。下一个关键帧即为下一GOP中的第一个关键帧。
若小于,则执行S42~S45;否则执行S46。
S42:获取帧数与帧数阈值之间的比值。
比值大于0且小于1。
S43:计算比值与待编码帧的平均比特的第一乘积。
待编码帧的平均比特为待编码视频序列中平均每个视频帧可以的比特。待编码帧的平均比特计算公式如下:
其中,RPicAvg表示待编码帧的平均比特,Rtar表示待编码视频序列的目标码率,f表示待编码视频序列的帧率。
S44:计算待编码帧所属图像组的剩余比特与第一乘积之和。
S45:计算和与第二权重的第二乘积,并利用第二乘积更新待编码帧的目标比特。
S46:不调整待编码帧的目标比特。
其中,S41~S46的实现依据如下计算公式:
其中,SW表示帧数阈值,D表示帧数,表示比值,/>表示第一乘积,表示图像组GOP的剩余比特,/>表示第二乘积。
如下结合图6,以一个例子的形式,对本申请提供的码率控制方法进行详细说明:
例子2:1)计算待编码帧的空域复杂度。
2)计算待编码帧的时域复杂度。
2)基于待编码帧的空域复杂度和时域复杂度计算待编码帧的时空域复杂度。
3)基于待编码帧的时空域复杂度,将待编码帧所属图像组的目标比特分配至待编码帧,得到待编码帧的目标比特。
4)判断待编码帧距离下一个关键帧的帧数小于帧数阈值SW,若小于则进入5);否则进入6)。
5)对待编码帧的目标比特进行更新(再次计算待编码帧的目标比特)。
6)确定待编码帧所属待编码帧视频序列的目标码率等级,并基于目标码率等级将待编码帧的目标比特分配至宏块,得到宏块的目标比特。
7)根据宏块的目标比特求取宏块的量化参数QP。
8)判断目标码率等级是否为低等级,若是则进入9);否则结束对待编码帧的处理。
9)调整宏块的QP。执行完成之后结束对待编码帧的处理。
图7是本申请码率控制方法又一实施例的流程示意图。需注意的是,若有实质上相同的结果,本实施例并不以图7所示的流程顺序为限。如图7所示,本实施例可以包括:
S51:计算待编码帧的时空域复杂度。
可以计算待编码帧的空域复杂度和时域复杂度;依据第三权重对待编码帧的空域复杂度和时域复杂度加权,得到时空域复杂度。待编码帧的空域复杂度和时域复杂度可以相同,也可以不同。
在不同情况下,可以基于待编码帧的类型,确定空域复杂度和时域复杂度的第三权重。在此情况下,结合参阅图8,S51可以包括以下子步骤:
S511:计算待编码帧的空域复杂度和时域复杂度。
S512:基于待编码帧的类型,确定待编码帧的空域复杂度和时域复杂度的第三权重。
待编码帧的类型包括关键帧(I帧)和非关键帧(B帧、P帧)。
若待编码帧为关键帧,则确定空域复杂度的第三权重大于时域复杂度的第三权重,且时域复杂度的第三权重为0。
若待编码帧为非关键帧且待编码帧的参考帧为关键帧,则时域复杂度的第三权重大于空域复杂度的第三权重。
若待编码帧为非关键帧且待编码帧的参考帧为非关键帧,则时域复杂度的第三权重等于空域复杂度的第三权重。
S513:依据第三权重对待编码帧的空域复杂度和时域复杂度加权,得到时空域复杂度。
S52:基于待编码帧的时空域复杂度,确定待编码帧的第二权重。
待编码帧的第二权重与时空域复杂度正相关。
S53:依据第二权重将待编码帧所属图像组的剩余比特分配至待编码帧,得到待编码帧的目标比特。
本实施例的详细描述请参考前面的实施例,在此不赘述。
通过本实施例的实施,本申请在为待编码帧分配目标比特时,考虑了待编码帧的时空域复杂度,因此既考虑了时域信息又考虑了空域信息,能够更加准确地进行帧级比特分配。
进一步地,为了保证考虑关键帧的非关键帧质量,使得关键帧和非关键帧的过度更加平滑,可以在S53之后,对待编码帧的目标比特进行调整,具体可以如下:
图9是本申请码率控制方法又一实施例的流程示意图。需注意的是,若有实质上相同的结果,本实施例并不以图9所示的流程顺序为限。本实施例是S53之后可以包括的步骤,如图9所示,本实施例可以包括:
S61:判断待编码帧到下一个关键帧之间的帧数是否小于帧数阈值。
若小于,则执行S62~S65;否则执行S66。
S62:获取帧数与帧数阈值之间的比值。
S63:计算比值与待编码帧的平均比特的第一乘积。
S64:计算待编码帧所属图像组的剩余比特与第一乘积之和。
S65:计算和与第二权重的第二乘积,并利用第二乘积更新待编码帧的目标比特。
S66:不调整待编码帧的目标比特。
本实施例的详细描述请参考前面的实施例,在此不赘述。
进一步地,待编码帧包括多个宏块,在S53得到待编码帧的目标比特之后,还可以将待编码帧的目标比特分配至多个宏块。其中,可以基于宏块的属性(如时域复杂度、空域复杂度、同位块的比特等),确定宏块的比特分配方式。还可以基于待编码帧所属待编码视频序列的目标码率等级,确定宏块的比特分配方式。在基于目标码率等级分配的情况下,对上述实施例进一步扩展如下:
图10是本申请码率控制方法又一实施例的流程示意图。需注意的是,若有实质上相同的结果,本实施例并不以图10所示的流程顺序为限。本实施例是S53之后可以包括的步骤,如图10所示,本实施例可以包括:
S71:确定待编码帧所属待编码视频序列的目标码率等级。
S72:基于所述目标码率等级,确定多个宏块的第一权重。
S73:依据第一权重将待编码帧的目标比特分配至多个宏块。
S74:基于为多个宏块分配的目标比特计算多个宏块的量化参数。
本实施例的详细描述请参考前面的实施例,在此不赘述。
图11是本申请电子设备一实施例的结构示意图。如图11所示,该电子设备包括处理器21、与处理器21耦接的存储器22。
其中,存储器22存储有用于实现上述任一实施例的方法的程序指令;处理器21用于执行存储器22存储的程序指令以实现上述方法实施例的步骤。其中,处理器21还可以称为CPU(Central Processing Unit,中央处理单元)。处理器21可能是一种集成电路芯片,具有信号的处理能力。处理器21还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
图12是本申请计算机可读存储介质一实施例的结构示意图。如图12所示,本申请实施例的计算机可读存储介质30存储有程序指令31,该程序指令31被执行时实现本申请上述实施例提供的方法。其中,该程序指令31可以形成程序文件以软件产品的形式存储在上述计算机可读存储介质30中,以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的计算机可读存储介质30包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质,或者是计算机、服务器、手机、平板等终端设备。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。以上仅为本申请的实施方式,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。

Claims (14)

1.一种码率控制方法,其特征在于,包括:
获取待编码帧的目标比特,所述待编码帧包括多个宏块;
确定所述待编码帧所属待编码视频序列的目标码率等级;
基于所述目标码率等级,确定所述多个宏块的第一权重;若所述目标码率等级为高等级,则基于当前宏块的空域复杂度确定所述当前宏块的第一权重,所述空域复杂度与所述第一权重正相关;若所述目标码率等级为中等级,则基于所述当前宏块在参考帧中的同位宏块的比特,确定所述当前宏块的第一权重,所述同位宏块的比特与所述第一权重正相关;若所述目标码率等级为低等级,则所述当前宏块的第一权重等于1除以所述宏块的数量;
依据所述第一权重将所述待编码帧的目标比特分配至所述多个宏块;
基于为所述多个宏块分配的目标比特计算所述多个宏块的量化参数。
2.根据权利要求1所述的方法,其特征在于,所述目标码率的等级为低等级,在所述基于为所述多个宏块分配的目标比特计算所述多个宏块的量化参数之后,包括:
基于所述多个宏块的时域复杂度和空域复杂度,调整所述多个宏块的量化参数。
3.根据权利要求2所述的方法,其特征在于,所述基于所述多个宏块的时域复杂度和空域复杂度,调整所述多个宏块的量化参数,包括:
若所述当前宏块的时域复杂度和空域复杂度均大于或均小于对应的复杂度阈值,则增大所述当前宏块的量化参数;否则减小所述当前宏块的量化参数。
4.根据权利要求1所述的方法,其特征在于,所述确定所述待编码帧所属待编码视频序列的目标码率等级,包括:
获取所述待编码视频序列中每个像素占用的比特;
根据所述像素占用的比特等级确定所述目标码率等级。
5.根据权利要求1所述的方法,其特征在于,所述获取待编码帧的目标比特,包括:
计算所述待编码帧的时空域复杂度;
基于所述待编码帧的时空域复杂度,确定所述待编码帧的第二权重,所述待编码帧的第二权重与所述时空域复杂度正相关;
依据所述第二权重将所述待编码帧所属图像组的剩余比特分配至所述待编码帧,得到所述待编码帧的目标比特。
6.根据权利要求5所述的方法,其特征在于,所述计算所述待编码帧的时空域复杂度,包括:
计算所述待编码帧的空域复杂度和时域复杂度;
基于所述待编码帧的类型,确定所述待编码帧的空域复杂度和时域复杂度的第三权重;
依据所述第三权重对所述待编码帧的空域复杂度和时域复杂度加权,得到所述时空域复杂度。
7.根据权利要求6所述的方法,其特征在于,所述基于所述待编码帧的类型,确定所述待编码帧的空域复杂度和时域复杂度的第三权重,包括:
若所述待编码帧为关键帧,则确定所述空域复杂度的第三权重大于所述时域复杂度的第三权重,且所述时域复杂度的第三权重为0;
若所述待编码帧为非关键帧且所述待编码帧的参考帧为所述关键帧,则确定所述空域复杂度的第三权重大于所述时域复杂度的第三权重;
若所述待编码帧为非关键帧且所述待编码帧的参考帧为非关键帧,则确定所述空域复杂度的第三权重等于所述时域复杂度的第三权重。
8.根据权利要求5所述的方法,其特征在于,在所述依据所述第二权重将所述待编码帧所属图像组的剩余比特分配至所述待编码帧,得到所述待编码帧的目标比特之后,包括:
判断所述待编码帧到下一个关键帧之间的帧数是否小于帧数阈值;
若小于,则获取所述帧数与所述帧数阈值之间的比值;
计算所述比值与所述待编码帧的平均比特的第一乘积;
计算所述待编码帧所属图像组的剩余比特与所述第一乘积之和;
计算所述和与所述第二权重的第二乘积;
利用所述第二乘积更新所述待编码帧的目标比特。
9.一种码率控制方法,其特征在于,包括:
计算待编码帧的时空域复杂度;
基于所述待编码帧的时空域复杂度,确定所述待编码帧的第二权重,所述待编码帧的第二权重与所述时空域复杂度正相关;
依据所述第二权重将所述待编码帧所属图像组的剩余比特分配至所述待编码帧,得到所述待编码帧的目标比特;所述待编码帧的目标比特用于依据所述待编码帧包括的多个宏块的第一权重分配至所述多个宏块,所述多个宏块的第一权重基于所述待编码帧所属待编码视频序列的目标码率等级确定,基于所述目标码率等级确定所述多个宏块的第一权重的步骤包括:若所述目标码率等级为高等级,则基于当前宏块的空域复杂度确定所述当前宏块的第一权重,所述空域复杂度与所述第一权重正相关;若所述目标码率等级为中等级,则基于所述当前宏块在参考帧中的同位宏块的比特,确定所述当前宏块的第一权重,所述同位宏块的比特与所述第一权重正相关;若所述目标码率等级为低等级,则所述当前宏块的第一权重等于1除以所述宏块的数量。
10.根据权利要求9所述的方法,其特征在于,所述计算所述待编码帧的时空域复杂度,包括:
计算所述待编码帧的空域复杂度和时域复杂度;
基于所述待编码帧的类型,确定所述待编码帧的空域复杂度和时域复杂度的第三权重;
依据所述第三权重对所述待编码帧的空域复杂度和时域复杂度加权,得到所述时空域复杂度。
11.根据权利要求10所述的方法,其特征在于,所述基于所述待编码帧的类型,确定所述待编码帧的空域复杂度和时域复杂度的第三权重,包括:
若所述待编码帧为关键帧,则确定所述空域复杂度的第三权重大于所述时域复杂度的第三权重,且所述时域复杂度的第三权重为0;
若所述待编码帧为非关键帧且所述待编码帧的参考帧为所述关键帧,则确定所述空域复杂度的第三权重大于所述时域复杂度的第三权重;
若所述待编码帧为非关键帧且所述待编码帧的参考帧为非关键帧,则确定所述空域复杂度的第三权重等于所述时域复杂度的第三权重。
12.根据权利要求9所述的方法,其特征在于,在所述依据所述第二权重将所述待编码帧所属图像组的剩余比特分配至所述待编码帧,得到所述待编码帧的目标比特之后,包括:
判断所述待编码帧到下一个关键帧之间的帧数是否小于帧数阈值;
若小于,则获取所述帧数与所述帧数阈值之间的比值;
计算所述比值与所述待编码帧的平均比特的第一乘积;
计算所述待编码帧所属图像组的剩余比特与所述第一乘积之和;
计算所述和与所述第二权重的第二乘积;
利用所述第二乘积更新所述待编码帧的目标比特。
13.一种电子设备,其特征在于,包括处理器、与所述处理器连接的存储器,其中,
所述存储器存储有程序指令;
所述处理器用于执行所述存储器存储的所述程序指令以实现权利要求1-12中任一项所述的方法。
14.一种计算机可读存储介质,其特征在于,所述存储介质存储程序指令,所述程序指令被执行时实现如权利要求1-12中任一项所述的方法。
CN202111614867.2A 2021-12-27 2021-12-27 码率控制方法、电子设备及存储介质 Active CN114466189B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111614867.2A CN114466189B (zh) 2021-12-27 2021-12-27 码率控制方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111614867.2A CN114466189B (zh) 2021-12-27 2021-12-27 码率控制方法、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN114466189A CN114466189A (zh) 2022-05-10
CN114466189B true CN114466189B (zh) 2024-05-28

Family

ID=81407877

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111614867.2A Active CN114466189B (zh) 2021-12-27 2021-12-27 码率控制方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114466189B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116095319A (zh) * 2022-07-26 2023-05-09 杭州海康威视数字技术股份有限公司 一种视频译码方法、装置及存储介质
CN115580723B (zh) * 2022-12-09 2023-06-09 中南大学 一种屏幕内容图像的编码优化方法、系统、设备及介质
CN116527922B (zh) * 2023-07-03 2023-10-27 浙江大华技术股份有限公司 图像编码方法及其相关装置

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1767653A (zh) * 2005-11-08 2006-05-03 上海广电(集团)有限公司中央研究院 一种码率控制方法
CN101534436A (zh) * 2008-03-11 2009-09-16 深圳市融合视讯科技有限公司 一种视频图像宏块级自适应码率分配方法
CN103024387A (zh) * 2012-12-17 2013-04-03 宁波大学 一种基于感知的多视点视频码率控制方法
CN103561266A (zh) * 2013-11-06 2014-02-05 北京牡丹电子集团有限责任公司数字电视技术中心 基于对数r-q模型和层次化比特分配的码率控制方法
CN103634601A (zh) * 2013-12-02 2014-03-12 国家广播电影电视总局广播科学研究院 基于结构相似度的高效视频编码感知码率控制优化方法
CN105681793A (zh) * 2016-01-06 2016-06-15 四川大学 基于视频内容复杂度自适应的极低延迟高性能视频编码帧内码率控制方法
CN106412611A (zh) * 2016-09-26 2017-02-15 宁波大学 一种高效视频编码的复杂度控制方法
CN106791848A (zh) * 2016-12-20 2017-05-31 河南省电力勘测设计院 一种基于HEVC的Two‑Pass码率控制方法
CN106937118A (zh) * 2017-03-13 2017-07-07 西安电子科技大学 一种基于主观感兴趣区域和时空域相结合的码率控制方法
CN108810530A (zh) * 2018-07-12 2018-11-13 珠海亿智电子科技有限公司 一种基于人眼视觉系统的avc码率控制方法
CN110769254A (zh) * 2019-10-10 2020-02-07 网宿科技股份有限公司 一种视频帧的码率配置方法、系统及设备
CN111447446A (zh) * 2020-05-15 2020-07-24 西北民族大学 一种基于人眼视觉区域重要性分析的hevc码率控制方法
CN112188208A (zh) * 2020-09-18 2021-01-05 浙江大华技术股份有限公司 一种宏块级码率控制方法及相关装置
CN113691814A (zh) * 2021-07-26 2021-11-23 浙江大华技术股份有限公司 视频编码方法、装置、电子装置和存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10264268B2 (en) * 2015-04-07 2019-04-16 Shenzhen Boyan Technology Ltd. Pre-encoding for high efficiency video coding
CN113453020B (zh) * 2020-03-26 2023-12-19 瑞昱半导体股份有限公司 位元率控制方法与视频处理装置

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1767653A (zh) * 2005-11-08 2006-05-03 上海广电(集团)有限公司中央研究院 一种码率控制方法
CN101534436A (zh) * 2008-03-11 2009-09-16 深圳市融合视讯科技有限公司 一种视频图像宏块级自适应码率分配方法
CN103024387A (zh) * 2012-12-17 2013-04-03 宁波大学 一种基于感知的多视点视频码率控制方法
CN103561266A (zh) * 2013-11-06 2014-02-05 北京牡丹电子集团有限责任公司数字电视技术中心 基于对数r-q模型和层次化比特分配的码率控制方法
CN103634601A (zh) * 2013-12-02 2014-03-12 国家广播电影电视总局广播科学研究院 基于结构相似度的高效视频编码感知码率控制优化方法
CN105681793A (zh) * 2016-01-06 2016-06-15 四川大学 基于视频内容复杂度自适应的极低延迟高性能视频编码帧内码率控制方法
CN106412611A (zh) * 2016-09-26 2017-02-15 宁波大学 一种高效视频编码的复杂度控制方法
CN106791848A (zh) * 2016-12-20 2017-05-31 河南省电力勘测设计院 一种基于HEVC的Two‑Pass码率控制方法
CN106937118A (zh) * 2017-03-13 2017-07-07 西安电子科技大学 一种基于主观感兴趣区域和时空域相结合的码率控制方法
CN108810530A (zh) * 2018-07-12 2018-11-13 珠海亿智电子科技有限公司 一种基于人眼视觉系统的avc码率控制方法
CN110769254A (zh) * 2019-10-10 2020-02-07 网宿科技股份有限公司 一种视频帧的码率配置方法、系统及设备
CN111447446A (zh) * 2020-05-15 2020-07-24 西北民族大学 一种基于人眼视觉区域重要性分析的hevc码率控制方法
CN112188208A (zh) * 2020-09-18 2021-01-05 浙江大华技术股份有限公司 一种宏块级码率控制方法及相关装置
CN113691814A (zh) * 2021-07-26 2021-11-23 浙江大华技术股份有限公司 视频编码方法、装置、电子装置和存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
An Optimized Algorithm at CTU-level for Rate Control;Zeng Li, et al;《Proceedings of the 2021 13th International Conference on Bioinformatics and Biomedical Technology》;第20-25页、附图1 *
An Optimized Rate Control for Low-Delay H.265/HEVC;Zhenzhong Chen, et al;《 IEEE Transactions on Image Processing ( Volume: 28, Issue: 9, September 2019)》;全文 *
Zeng Li, et al.An Optimized Algorithm at CTU-level for Rate Control.《Proceedings of the 2021 13th International Conference on Bioinformatics and Biomedical Technology》.2021,第20-25页、附图1. *
基于视觉感知特性的HEVC CTU层码率控制算法研究;张梦男;《中国优秀硕士学位论文全文数据库 (信息科技辑)》;全文 *

Also Published As

Publication number Publication date
CN114466189A (zh) 2022-05-10

Similar Documents

Publication Publication Date Title
CN114466189B (zh) 码率控制方法、电子设备及存储介质
US6873654B1 (en) Method and system for predictive control for live streaming video/audio media
CN113766226A (zh) 图像编码方法、装置、设备及存储介质
CN100571365C (zh) 用于在双通道编码中选择扫描模式的方法与设备
CN108012163B (zh) 视频编码的码率控制方法及装置
CN110365983B (zh) 一种基于人眼视觉系统的宏块级码率控制方法及装置
CN112188208B (zh) 一种宏块级码率控制方法及相关装置
CN111787318A (zh) 一种视频码率控制方法、装置、设备以及存储装置
CN111131831A (zh) 数据传输方法及装置
CN111556315A (zh) 数据传输方法及装置
CN101931800B (zh) 利用有限可变比特率控制的感兴趣区域编码方法与系统
CN102263943A (zh) 视频位率控制装置与方法
CN111479113A (zh) 码率控制方法和装置、存储介质和电子设备
JP2018113671A (ja) ビデオエンコーディングのための方法及びエンコーダ
CN117956160A (zh) 码率控制方法、码率控制装置以及计算机存储介质
CN115733981A (zh) 一种码流控制方法、装置及电子设备
CN112584143B (zh) 一种视频编码方法、装置、系统及计算机可读存储介质
CN106231303B (zh) 一种hevc编码中使用预测模式进行复杂度控制的方法
CN101977317B (zh) 帧内预测方法及装置
CN116827921A (zh) 一种流媒体的音视频处理方法、装置及设备
KR100543608B1 (ko) 오브젝트 기반 비트율 제어방법 및 장치
CN109451309B (zh) Hevc全i帧编码基于显著性的ctu层码率分配方法
CN115914629A (zh) 视频编码方法、装置及电子设备
CN111757112A (zh) 一种基于恰可察觉失真的hevc感知码率控制方法
JP4857243B2 (ja) 画像符号化装置及びその制御方法、コンピュータプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant