CN107333133A - 一种码流接收设备的码流编码的方法及装置 - Google Patents

一种码流接收设备的码流编码的方法及装置 Download PDF

Info

Publication number
CN107333133A
CN107333133A CN201610277699.5A CN201610277699A CN107333133A CN 107333133 A CN107333133 A CN 107333133A CN 201610277699 A CN201610277699 A CN 201610277699A CN 107333133 A CN107333133 A CN 107333133A
Authority
CN
China
Prior art keywords
bit stream
frame
data
stream data
idr
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610277699.5A
Other languages
English (en)
Other versions
CN107333133B (zh
Inventor
朱江明
陆金刚
姚卫忠
方伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN201610277699.5A priority Critical patent/CN107333133B/zh
Publication of CN107333133A publication Critical patent/CN107333133A/zh
Application granted granted Critical
Publication of CN107333133B publication Critical patent/CN107333133B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及视频编码领域,尤其涉及一种码流接收设备的码流编码的方法及装置,该方法为,接收到外部输入的原始码流,将原始码流中的每一个IDR帧的码流数据进行解码,选取一个IDR帧作为当前长期参考帧,计算IDR帧解码后的YUV数据与当前长期参考帧解码后的YUV数据之间的第一PSNR,当大于第一门限值时,将IDR帧解码后的YUV数据以当前长期参考帧为参考进行P帧编码,将P帧码流数据替换对应IDR帧的码流数据,这样,得到长期参考编码码流,过程简单,在保证图像质量的同时能有效降低编码码率,且无需修改硬件,能无缝应用于当前码流接收设备中。

Description

一种码流接收设备的码流编码的方法及装置
技术领域
本发明涉及视频编码领域,尤其涉及一种码流接收设备的码流编码的方法及装置。
背景技术
目前,主流安防监控设备的编码码流格式均采用如图1.a所示的IDRpp...ppIDRpp...pp的编码码流格式。但由于安防场景基本为静态,而在静态场景下,为保持相同的图像编码效果,即时解码刷新(Instantaneous DecodingRefresh,IDR)帧的码流大小往往为P帧码流大小的几倍甚至几十倍。因此在动态比特率(Variable Bit Rate,VBR)编码条件下,采用如图1.b所示的单IDR全P帧编码码流格式,能有效的降低码流大小,节省存储设备空间。
上述单IDR全P格式虽能有效节省码流,但存在如下两个缺陷:1)随着P帧的延续,由于物体运动或者噪声的引入,图像画质会逐渐变差;2)中间的某一P帧码流数据出现错误,将导致此P帧后面所有P帧解码失败。
为避免上述问题出现,如图1.c所示的长期参考编码方式是较为理想的实现模型:将IDR帧作为长期参考背景帧,一定间隔的P帧(上图中的P_L1)以IDR帧为参考,其余的P帧(上图中的P_L0)则以相邻的前一P帧为参考。由于P_L1以背景帧为参考,因此在P_L1时能对图像质量进行刷新,保证后续P帧的画质不会变差;同时,由于P_L1以背景帧为参考,如果中间某一P帧码流数据出错,也只会导致两个P_L1之间的P帧码流数据解码不成功,而不会影响其他P帧的解码。
由此可见,上述长期参考编码方式的优势比较明显,符合用户的需求,现有技术下,为了应用上述长期参考编码方式,主要采用了以下方法:需要修改编码器本身来支持长期参考帧的选取和使用。
这是因为,目前,主流安防码流生成设备(如网络摄像机(IP CAMERA,IPC)、硬盘录像机(Digital Video Recorder,DVR)等)均不支持长期参考功能,编码方案一般采用图1.a所示的IDRpp...ppIDRpp...pp编码方式,而没有采用上述图1.c所示的IDRpp...ppPpp...pp长期参考编码方式。
但是,由于码流生成设备中的编码器已硬核化,用户通过修改编码器本身来支持长期参考功能比较困难。而且,长期参考方式需要两帧参考,对芯片复杂度、成本也是一个挑战。
,发明内容
本发明实施例提供一种码流接收设备的码流编码的方法及装置,以解决现有技术中不能有效地使用长期参考编码方式的问题。
本发明实施例提供的具体技术方案如下:
一种码流接收设备的码流编码方法,包括:
在接收到外部输入的原始码流后,从上述原始码流中依次提取出每一个即时解码刷新IDR帧的码流数据,并获得每一个IDR帧的码流数据解码后的YUV数据;
选取一个IDR帧作为当前长期参考帧,依次针对除当前长期参考帧之外的其他每一个IDR帧,计算上述IDR帧的码流数据解码后的YUV数据与当前长期参考帧的码流数据解码后的YUV数据之间的第一峰值信噪比PSNR,当确定上述第一PSNR大于预设的第一门限值时,将上述IDR帧的码流数据解码后的YUV数据,基于当前长期参考帧进行P帧编码,并获得P帧码流数据和相应的重建YUV数据;
将上述P帧码流数据替换对应的IDR帧的码流数据。
本发明实施例中,在接收到外部输入的原始码流后,从上述原始码流中依次提取出每一个即时解码刷新IDR帧的码流数据,并获得每一个IDR帧的码流数据解码后的YUV数据;选取一个IDR帧作为当前长期参考帧,依次针对除当前长期参考帧之外的其他每一个IDR帧,计算上述IDR帧的码流数据解码后的YUV数据与当前长期参考帧的码流数据解码后的YUV数据之间的第一峰值信噪比PSNR,当确定上述第一PSNR大于预设的第一门限值时,将上述IDR帧的码流数据解码后的YUV数据,基于当前长期参考帧进行P帧编码,并获得P帧码流数据和相应的重建YUV数据;将上述P帧码流数据替换对应的IDR帧的码流数据,这样,可以将现有IDRpp...ppIDRpp...pp单参考编码方式转换成IDRpp...ppPpp...pp长期参考编码方式,过程简单、高效,不用占用过多的系统资源,在保证图像质量的同时能有效降低编码码率,而且该方法不需要对目前的码流接收设备做任何硬件改动,能无缝应用于当前主流的安防码流接收设备中,同时也不需要修改编解码协议,能应用到目前主流的编解码标准中。
较佳的,获得P帧码流数据和相应的重建YUV数据之后,将上述P帧码流数据替换对应的IDR帧的码流数据之前,进一步包括:
计算上述重建YUV数据与对应的IDR帧的码流数据解码后的YUV数据之间的第二PSNR,并确定上述第二PSNR大于预设的第二门限值。
较佳的,进一步包括:
当确定上述第一PSNR不大于预设的第一门限值时,上述第一PSNR对应的IDR帧不进行P帧码流数据的替换;或,
在确定上述第二PSNR不大于预设的第二门限值时,上述第二PSNR对应的IDR帧不进行P帧码流数据的替换。
较佳的,选取一个IDR帧作为当前长期参考帧,具体包括:
将第一个提取出的IDR帧作为当前长期参考帧;或,
当确定上述第一PSNR不大于预设的第一门限值时,将上述第一PSNR对应的IDR帧作为当前长期参考帧;或,
在确定上述第二PSNR不大于预设的第二门限值时,将上述第二PSNR对应的IDR帧作为当前长期参考帧。
较佳的,若上述解码为硬解码,则获得每一个IDR帧的码流数据解码后的YUV数据时,具体包括:
分别对提取出的每一个IDR帧码流数据进行硬解码,获得每一个IDR帧的码流数据解码后的YUV数据;
获得P帧码流数据和相应的重建YUV数据时,具体包括:
将上述第一PSNR对应的IDR帧的码流数据解码后的YUV数据,基于当前长期参考帧进行P帧硬编码,获得P帧码流数据和相应的重建YUV数据。
较佳的,基于当前长期参考帧进行P帧硬编码之后,获得P帧码流数据和相应的重建YUV数据之前,进一步包括:
将硬编码后P帧码流数据的语法元素替换为长期参考方式。
较佳的,若上述解码为软解码,则获得每一个IDR帧的码流数据解码后的YUV数据时,具体包括:
分别对提取出的每一个IDR帧码流数据进行软解码,获得每一个IDR帧的码流数据解码后的YUV数据;
获得P帧码流数据和相应的重建YUV数据时,具体包括:
将上述第一PSNR对应的IDR帧的码流数据解码后的YUV数据,基于当前长期参考帧进行P帧软编码,获得P帧码流数据和相应的重建YUV数据。
一种码流接收设备的码流编码装置,包括:
解码单元,用于在接收到外部输入的原始码流后,从上述原始码流中依次提取出每一个即时解码刷新IDR帧的码流数据,并获得每一个IDR帧的码流数据解码后的YUV数据;
第一计算单元,用于选取一个IDR帧作为当前长期参考帧,依次针对除当前长期参考帧之外的其他每一个IDR帧,计算上述IDR帧的码流数据解码后的YUV数据与当前长期参考帧的码流数据解码后的YUV数据之间的第一峰值信噪比PSNR;
编码单元,用于当确定上述第一PSNR大于预设的第一门限值时,将上述IDR帧的码流数据解码后的YUV数据,基于当前长期参考帧进行P帧编码,并获得P帧码流数据和相应的重建YUV数据;
处理单元,用于将上述P帧码流数据替换对应的IDR帧的码流数据。
本发明实施例中,在接收到外部输入的原始码流后,从上述原始码流中依次提取出每一个即时解码刷新IDR帧的码流数据,并获得每一个IDR帧的码流数据解码后的YUV数据;选取一个IDR帧作为当前长期参考帧,依次针对除当前长期参考帧之外的其他每一个IDR帧,计算上述IDR帧的码流数据解码后的YUV数据与当前长期参考帧的码流数据解码后的YUV数据之间的第一峰值信噪比PSNR,当确定上述第一PSNR大于预设的第一门限值时,将上述IDR帧的码流数据解码后的YUV数据,基于当前长期参考帧进行P帧编码,并获得P帧码流数据和相应的重建YUV数据;将上述P帧码流数据替换对应的IDR帧的码流数据,这样,可以将现有IDRpp...ppIDRpp...pp单参考编码方式转换成IDRpp...ppPpp...pp长期参考编码方式,过程简单、高效,不用占用过多的系统资源,在保证图像质量的同时能有效降低编码码率,而且该方法不需要对目前的码流接收设备做任何硬件改动,能无缝应用于当前主流的安防码流接收设备中,同时也不需要修改编解码协议,能应用到目前主流的编解码标准中。
较佳的,获得P帧码流数据和相应的重建YUV数据之后,将上述P帧码流数据替换对应的IDR帧的码流数据之前,进一步包括:
第二计算单元,用于计算上述重建YUV数据与对应的IDR帧的码流数据解码后的YUV数据之间的第二PSNR,并确定上述第二PSNR大于预设的第二门限值。
较佳的,处理单元进一步用于:
当确定上述第一PSNR不大于预设的第一门限值时,上述第一PSNR对应的IDR帧不进行P帧码流数据的替换;或,
在确定上述第二PSNR不大于预设的第二门限值时,上述第二PSNR对应的IDR帧不进行P帧码流数据的替换。
较佳的,选取一个IDR帧作为当前长期参考帧时,第一计算单元具体用于:
将第一个提取出的IDR帧作为当前长期参考帧;或,
当确定上述第一PSNR不大于预设的第一门限值时,将上述第一PSNR对应的IDR帧作为当前长期参考帧;或,
在确定上述第二PSNR不大于预设的第二门限值时,将上述第二PSNR对应的IDR帧作为当前长期参考帧。
较佳的,若上述解码为硬解码,则获得每一个IDR帧的码流数据解码后的YUV数据时,解码单元具体用于:
分别对提取出的每一个IDR帧码流数据进行硬解码,获得每一个IDR帧的码流数据解码后的YUV数据;
获得P帧码流数据和相应的重建YUV数据时,编码单元具体用于:
将上述第一PSNR对应的IDR帧的码流数据解码后的YUV数据,基于当前长期参考帧进行P帧硬编码,获得P帧码流数据和相应的重建YUV数据。
较佳的,基于当前长期参考帧进行P帧硬编码之后,获得P帧码流数据和相应的重建YUV数据之前,编码单元进一步用于:
将硬编码后P帧码流数据的语法元素替换为长期参考方式。
较佳的,若上述解码为软解码,则获得每一个IDR帧的码流数据解码后的YUV数据时,解码单元具体用于:
分别对提取出的每一个IDR帧码流数据进行软解码,获得每一个IDR帧的码流数据解码后的YUV数据;
获得P帧码流数据和相应的重建YUV数据时,编码单元具体用于:
将上述第一PSNR对应的IDR帧的码流数据解码后的YUV数据,基于当前长期参考帧进行P帧软编码,获得P帧码流数据和相应的重建YUV数据。
附图说明
图1.a为现有技术中,IDR pp...ppIDRpp...pp的编码码流格式示意图;
图1.b为现有技术中,单IDR全P帧编码码流格式示意图;
图1.c为现有技术中,长期参考编码码流格式示意图;
图2为本发明实施例中,NVR设备的数据流结构示意图;
图3为本发明实施例中,码流接收设备的码流编码的方法概述流程图;
图4为本发明实施例中,码流接收设备的码流编码的方法详细流程图;
图5为本发明实施例中,码流接收设备的码流编码效果示意图;
图6为本发明实施例中,码流接收设备的码流编码的装置结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,并不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了解决在码流接收设备中不能有效地使用长期参考编码方式的问题,本发明实施例中,接收到外部输入的原始码流后,仅将原始码流中的每一个IDR帧的码流数据进行解码,选取一个IDR帧作为当前长期参考帧,通过计算IDR帧解码后的YUV数据与当前长期参考帧解码后的YUV数据之间的第一PSNR,当大于预设第一门限值时,将IDR帧解码后的YUV数据以当前长期参考帧为参考进行P帧编码,并比较P帧编码前后的YUV数据之间的第二PSNR,当大于预设门限值时,将P帧码流数据替换对应的IDR帧的码流数据,否则,不进行码流替换。
下面通过具体实施例对本发明方案进行详细描述,当然,本发明并不限于以下实施例。
实际中,码流接收设备(例如网络硬盘录像机(Network Video Recorder,NVR)设备、云存储),会接收码流生成设备(例如IPC、DVR)发送的已编码码流,由于目前码流生成设备均不支持长期参考编码方式,因此,码流接收设备接收到的一般为IDRpp…ppIDRpp…pp编码格式的编码码流,以NVR设备为例,参见图2所示,为NVR设备的数据流结构示意图,码流接收模块会接收IDRpp…ppIDRpp…pp编码格式的原始的已编码码流,然后将接收到的编码码流先缓存到双倍速率同步动态随机存储器(Double Data Rate,DDR)中,最后再存储到本地存储设备中。为支持本地显示和网络预览等应用功能,NVR设备一般提供硬核的解码和编码功能。本发明实施例中,为了在码流接收设备中应用长期参考编码方式,将接收到的单参考编码格式的码流转换为长期参考编码格式的码流。
参阅图3所示,本发明实施例中,码流接收设备的码流编码方法的具体流程如下:
步骤100:在接收到外部输入的原始码流后,从上述原始码流中依次提取出每一个IDR帧的码流数据,并获得每一个IDR帧的码流数据解码后的YUV数据。
值得说明的是,执行步骤100时,接收到的外部输入的原始码流一般为IDRpp…ppIDRpp…pp码流,即单参考编码格式的码流,如果码流接收设备接收到的原始码流本身就是采用长期参考编码方式的码流,则就不用再进行转换了。
其中,对IDR帧的码流数据进行解码,可以为硬解码或软解码方式,具体根据码流接收设备本身的功能而定,例如,NVR设备为硬解码方式,云存储为软解码方式。硬解码一般指由集成解码功能的专用芯片来完成的相应解码,没有操作系统和软件的参与的解码方案,软解码通常由中央处理器(CentralProcessing Unit,CPU)完成,是需要操作系统的支持且有软件的参与的解码方案。硬解码和软解码的具体实现过程可以采用现有技术中的码流接收设备的实现方法,具体就不再进行详述了。
由于IDR帧的码流数据解码是无需参考帧的自解码方式,而且,目前的主流安防设备应用,几秒钟才出现一个IDR帧,因此对解码器复杂度(只需IDR解码功能即可)、解码速度方面要求很低,即使没有硬解码功能的码流接收设备也能非常容易采用软解码方式满足上述应用。
步骤110:选取一个IDR帧作为当前长期参考帧,依次计算除当前长期参考帧之外的其他每一个IDR帧的码流数据解码后的YUV数据,与当前长期参考帧的码流数据解码后的YUV数据之间的第一PSNR。
执行步骤110时,具体包括:
首先,选取一个IDR帧作为当前长期参考帧。
在最开始时,将第一个提取出的IDR帧作为当前长期参考帧,在进行后续的操作时,根据判断条件,选取当前长期参考帧。
然后,依次计算除当前长期参考帧之外的其他每一个IDR帧的码流数据解码后的YUV数据,与当前长期参考帧的码流数据解码后的YUV数据之间的第一峰值信噪比(Peak Signal to Noise Ratio,PSNR)。
其中,计算第一PSNR的方法,可以采用现有技术中的计算方法,本发明实施例中并不进行限制,例如,PSNR=10*log10((2^n-1)^2/MSE),MSE是当前长期参考帧与除当前长期参考帧之外的任意一个IDR帧之间均方误差,n是每个采样值的比特数。
本发明实施例中,计算PSNR,目的是为了度量YUV数据对应的图像之间差异的大小,但也可以采用其他的方法来达到此目的,例如,计算结构相似性(Structural Similarity,SSIM)方法,因此采用任何达到此目的的方法,也都属于本发明实施例的保护范围内。
步骤120:当确定上述第一PSNR大于预设的第一门限值时,将上述IDR帧的码流数据解码后的YUV数据,基于当前长期参考帧进行P帧编码,并获得P帧码流数据和相应的重建YUV数据。
执行步骤120时,当第一PSNR大于预设的第一门限值时,说明画面一致性较好,才基于当前长期参考帧进行P帧编码,获取编码后的P帧码流数据,且在进行P帧编码的过程中可以获取到P帧码流数据对应的解码后的重建YUV数据。
其中,和上述解码有硬解码和软解码相同,进行P帧编码方式可以为硬编码或软编码方式,具体根据码流接收设备本身的功能而定。硬编码和软编码的区别是,软编码可以在运行时确定、修改,而硬编码是不能够改变的,在时频编码领域中,硬编码指所有的编码工作由专用集成电路(Application SpecificIntegrated Circuit,ASIC)芯片完成,没有操作系统和软件的参与的编码方案,软编码指编码器需要操作系统的支持且有软件的参与的编码方案。硬编码和软编码的具体实现过程可以采用现有技术中的码流接收设备的实现方法,具体就不再进行详述了。
(1)具备硬核编码功能的设备
由于目前主流接收设备的硬核编码器只能编码IDRpp…ppIDRpp…pp码流格式,不支持长期参考编码,生成的P帧码流数据仍是按IDRp短参考方式的,因此需要将此码流数据按长期参考编码方式进行转码。
由于此转码过程只涉及将IDRp短期参考(即单帧参考)的语法元素替换成长期参考编码方式,以H.264编码标准为例,长期参考编码的相关语法元素只涉及到片头(SLICE_HEADER)这一层,而没有涉及到宏块层的相关语法元素,而不需要像通常的转码方式一样进行先解码后编码,因此对设备的性能要求不高,普通的码流接收设备能非常容易满足上述应用。
(2)不具备硬核编码功能的设备
此时需采用软编码方案,则将软编码器做成支持长期参考编码方式的编码器,直接进行长期参考编码,不需要再进行语法元素头替换。由于只是单帧参考编码,而且几秒钟才编码一帧,因此对设备的性能要求不高,普通的码流接收设备能非常容易满足上述应用。
进一步地,当确定任意一个第一PSNR不大于预设的第一门限值时,将上述第一PSNR对应的IDR帧作为当前长期参考帧,并且不进行码流数据的替换,这是因为,虽然安防监控场景从长期来看是静止不动的,但很有可能在某一时间段由于外部物体的引入、或者监控视角发现变化而导致画面出现突变,因此突变前的IDR帧已不再适用于做长期参考帧,此时再用变化前的IDR帧做长期参考帧将导致编码码流变大,甚至于达不到节省码流的效果。
步骤130:将上述P帧码流数据替换对应的IDR帧的码流数据。
进一步地,在执行步骤130之前,包括:
首先,计算上述重建YUV数据与对应的IDR帧的码流数据解码后的YUV数据之间的第二PSNR,即计算进行P帧编码前后的YUV数据的第二PSNR,
然后,确定所述第二PSNR大于预设的第二门限值。
也就是,判断第二PSNR是否大于预设的第二门限值,当确定大于时,才会将将上述P帧码流数据替换对应的IDR帧的码流数据。
这是为了,进一步保证解码码流的图像效果,P帧码流数据所对应的解码后的重建YUV数据与IDR帧码流数据所对应的解码后的YUV数据误差应尽可能小,不会影响图像画质。
进一步地,当确定第二PSNR不大于预设的第二门限值,说明生成的P帧码流数据与原始IDR码流数据差异较大,有可能会影响图像画质,则不允许进行替换,而且需要将上述第二PSNR对应的IDR帧作为当前长期参考帧。
下面采用一个具体的应用场景对上述实施例作出进一步详细说明。具体参阅图4所示,本发明实施例中,码流接收设备的码流编码方法的执行过程具体如下:
步骤200:接收外部输入的IDRpp…ppIDRpp...pp码流(原始码流)。
步骤201:提取原始码流中的IDR帧码流数据。
步骤202:对IDR帧码流数据进行解码,获取解码后的YUV数据,其中:对当前长期参考的IDR帧解码的YUV数据标记为IDR_L_YUV,非当前长期参考的IDR帧解码的YUV数据标记为IDR_YUV。
步骤203:计算IDR_L_YUV与IDR_YUV的第一PSNR值(例如,将第一PSNR记为PSNR_IDR)。
步骤204:判断第一PSNR是否大于预设的第一门限值(例如为PSNR_TH0),即判断PSNR_IDR>PSNR_TH0,若是,则执行步骤205,否则,执行步骤209。
步骤205:以IDR_L_YUV为长期参考,进行IDR_YUV的P帧编码,并获取P帧码流数据和重建P帧编码的重建YUV数据(记为P_YUV)。
步骤206:计算IDR_YUV与P_YUV的第二PSNR值(例如,将第二PSNR记为PSNR_P)。
步骤207:判断第二PSNR是否大于预设的第二门限值(例如为PSNR_TH1),即判断PSNR_P>PSNR_TH1,若是,则执行步骤208,否则,执行步骤209。
步骤208:用新生成的P帧码流数据替换对应的IDR帧码流数据,形成最终需要的长期参考编码码流。
步骤209:将当前位置的IDR帧作为长期参考帧,不进行码流替换。其中,当前位置的IDR帧即为,PSNR_IDR<=PSNR_TH0时对应的IDR帧,或PSNR_P<=PSNR_TH1时对应的IDR帧。
参阅图5所示,以当前长期参考帧一直为第一个(最左边)IDR帧为例,码流接收设备的码流编码效果示意图。
码流接收设备接收到外部输入的原始码流,原始码流为IDRpp…ppIDRpp…pp编码格式的编码码流。
首先,将第一个IDR帧作为当前长期参考帧,计算第二个IDR帧解码后的YUV数据与当前长期参考帧解码后的YUV数据的第一PSNR_21,判断得到第一PSNR_21大于第一门限值。
然后,将第二个IDR帧解码后的YUV数据以当前长期参考帧为参考进行P帧编码,得到P帧码流数据P0,计算P0解码后的YUV数据与第二个IDR帧解码后的YUV数据之间的第二PSNR_22。
最后,判断得到第二PSNR_22大于第二门限值,则将P帧码流数据P0替换第二IDR帧码流数据。
相同地,依次进行IDR帧码流数据的替换,即第三个IDR帧解码后的YUV数据以第一个IDR帧为参考进行P帧编码,得到P帧码流数据P1,将P帧码流数据P1替换第三个IDR帧码流数据;第四个IDR帧解码后的YUV数据以第一个IDR帧为参考进行P帧编码,得到P帧码流数据P2,将P帧码流数据P1替换第四个IDR帧码流数据,具体过程就不再一一进行赘述了,直至最后一个IDR帧,最终得到长期参考编码格式的码流。
值得说明的是,图5给出的为判断得到当前长期参考帧一直为第一个IDR帧的示意图,如果计算的第一PSNR_21小于第一门限值,则第二个IDR帧不进行P帧码流替换,并且将第二个IDR帧作为当前长期参考帧,这样,在进行第三个IDR帧的替换时,计算的是第三个IDR帧解码后的YUV数据与第二个IDR帧解码后的YUV数据的第一PSNR_32。
基于上述实施例,参阅图6所示,本发明实施例中,码流接收设备的码流编码的装置,具体包括:
解码单元30,用于在接收到外部输入的原始码流后,从上述原始码流中依次提取出每一个即时解码刷新IDR帧的码流数据,并获得每一个IDR帧的码流数据解码后的YUV数据;
第一计算单元31,用于选取一个IDR帧作为当前长期参考帧,依次针对除当前长期参考帧之外的其他每一个IDR帧,计算上述IDR帧的码流数据解码后的YUV数据与当前长期参考帧的码流数据解码后的YUV数据之间的第一峰值信噪比PSNR;
编码单元32,用于当确定上述第一PSNR大于预设的第一门限值时,将上述IDR帧的码流数据解码后的YUV数据,基于当前长期参考帧进行P帧编码,并获得P帧码流数据和相应的重建YUV数据;
处理单元33,用于将上述P帧码流数据替换对应的IDR帧的码流数据。
较佳的,获得P帧码流数据和相应的重建YUV数据之后,将上述P帧码流数据替换对应的IDR帧的码流数据之前,进一步包括:
第二计算单元34,用于计算上述重建YUV数据与对应的IDR帧的码流数据解码后的YUV数据之间的第二PSNR,并确定上述第二PSNR大于预设的第二门限值。
较佳的,处理单元33进一步用于:
当确定上述第一PSNR不大于预设的第一门限值时,上述第一PSNR对应的IDR帧不进行P帧码流数据的替换;或,
在确定上述第二PSNR不大于预设的第二门限值时,上述第二PSNR对应的IDR帧不进行P帧码流数据的替换。
较佳的,选取一个IDR帧作为当前长期参考帧时,第一计算单元31具体用于:
将第一个提取出的IDR帧作为当前长期参考帧;或,
当确定上述第一PSNR不大于预设的第一门限值时,将上述第一PSNR对应的IDR帧作为当前长期参考帧;或,
在确定上述第二PSNR不大于预设的第二门限值时,将上述第二PSNR对应的IDR帧作为当前长期参考帧。
较佳的,若上述解码为硬解码,则获得每一个IDR帧的码流数据解码后的YUV数据时,解码单元30具体用于:
分别对提取出的每一个IDR帧码流数据进行硬解码,获得每一个IDR帧的码流数据解码后的YUV数据;
获得P帧码流数据和相应的重建YUV数据时,编码单元32具体用于:
将上述第一PSNR对应的IDR帧的码流数据解码后的YUV数据,基于当前长期参考帧进行P帧硬编码,获得P帧码流数据和相应的重建YUV数据。
较佳的,基于当前长期参考帧进行P帧硬编码之后,获得P帧码流数据和相应的重建YUV数据之前,编码单元32进一步用于:
将硬编码后P帧码流数据的语法元素替换为长期参考方式。
较佳的,若上述解码为软解码,则获得每一个IDR帧的码流数据解码后的YUV数据时,解码单元30具体用于:
分别对提取出的每一个IDR帧码流数据进行软解码,获得每一个IDR帧的码流数据解码后的YUV数据;
获得P帧码流数据和相应的重建YUV数据时,编码单元32具体用于:
将上述第一PSNR对应的IDR帧的码流数据解码后的YUV数据,基于当前长期参考帧进行P帧软编码,获得P帧码流数据和相应的重建YUV数据。
综上所述,本发明实施例中,在接收到外部输入的原始码流后,从上述原始码流中依次提取出每一个即时解码刷新IDR帧的码流数据,并获得每一个IDR帧的码流数据解码后的YUV数据;选取一个IDR帧作为当前长期参考帧,依次针对除当前长期参考帧之外的其他每一个IDR帧,计算上述IDR帧的码流数据解码后的YUV数据与当前长期参考帧的码流数据解码后的YUV数据之间的第一峰值信噪比PSNR,当确定上述第一PSNR大于预设的第一门限值时,将上述IDR帧的码流数据解码后的YUV数据,基于当前长期参考帧进行P帧编码,并获得P帧码流数据和相应的重建YUV数据;将上述P帧码流数据替换对应的IDR帧的码流数据,这样,可以将现有IDRpp...ppIDRpp...pp单参考编码方式转换成IDRpp...ppPpp...pp长期参考编码方式,过程简单、高效,不用占用过多的系统资源,在保证图像质量的同时能有效降低编码码率,而且该方法不需要对目前的码流接收设备做任何硬件改动,能无缝应用于当前主流的安防码流接收设备中,同时也不需要修改编解码协议,能应用到目前主流的编解码标准中。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样,倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (14)

1.一种码流接收设备的码流编码方法,其特征在于,包括:
在接收到外部输入的原始码流后,从所述原始码流中依次提取出每一个即时解码刷新IDR帧的码流数据,并获得每一个IDR帧的码流数据解码后的YUV数据;
选取一个IDR帧作为当前长期参考帧,依次针对除当前长期参考帧之外的其他每一个IDR帧,计算所述IDR帧的码流数据解码后的YUV数据与当前长期参考帧的码流数据解码后的YUV数据之间的第一峰值信噪比PSNR,当确定所述第一PSNR大于预设的第一门限值时,将所述IDR帧的码流数据解码后的YUV数据,基于当前长期参考帧进行P帧编码,并获得P帧码流数据和相应的重建YUV数据;
将所述P帧码流数据替换对应的IDR帧的码流数据。
2.如权利要求1所述的方法,其特征在于,获得P帧码流数据和相应的重建YUV数据之后,将所述P帧码流数据替换对应的IDR帧的码流数据之前,进一步包括:
计算所述重建YUV数据与对应的IDR帧的码流数据解码后的YUV数据之间的第二PSNR,并确定所述第二PSNR大于预设的第二门限值。
3.如权利要求2所述的方法,其特征在于,进一步包括:
当确定所述第一PSNR不大于预设的第一门限值时,所述第一PSNR对应的IDR帧不进行P帧码流数据的替换;或,
在确定所述第二PSNR不大于预设的第二门限值时,所述第二PSNR对应的IDR帧不进行P帧码流数据的替换。
4.如权利要求2所述的方法,其特征在于,选取一个IDR帧作为当前长期参考帧,具体包括:
将第一个提取出的IDR帧作为当前长期参考帧;或,
当确定所述第一PSNR不大于预设的第一门限值时,将所述第一PSNR对应的IDR帧作为当前长期参考帧;或,
在确定所述第二PSNR不大于预设的第二门限值时,将所述第二PSNR对应的IDR帧作为当前长期参考帧。
5.如权利要求1-4任一项所述的方法,其特征在于,若所述解码为硬解码,则获得每一个IDR帧的码流数据解码后的YUV数据时,具体包括:
分别对提取出的每一个IDR帧码流数据进行硬解码,获得每一个IDR帧的码流数据解码后的YUV数据;
获得P帧码流数据和相应的重建YUV数据时,具体包括:
将所述第一PSNR对应的IDR帧的码流数据解码后的YUV数据,基于当前长期参考帧进行P帧硬编码,获得P帧码流数据和相应的重建YUV数据。
6.如权利要求5所述的方法,其特征在于,基于当前长期参考帧进行P帧硬编码之后,获得P帧码流数据和相应的重建YUV数据之前,进一步包括:
将硬编码后P帧码流数据的语法元素替换为长期参考方式。
7.如权利要求1-4任一项所述的方法,其特征在于,若所述解码为软解码,则获得每一个IDR帧的码流数据解码后的YUV数据时,具体包括:
分别对提取出的每一个IDR帧码流数据进行软解码,获得每一个IDR帧的码流数据解码后的YUV数据;
获得P帧码流数据和相应的重建YUV数据时,具体包括:
将所述第一PSNR对应的IDR帧的码流数据解码后的YUV数据,基于当前长期参考帧进行P帧软编码,获得P帧码流数据和相应的重建YUV数据。
8.一种码流接收设备的码流编码装置,其特征在于,包括:
解码单元,用于在接收到外部输入的原始码流后,从所述原始码流中依次提取出每一个即时解码刷新IDR帧的码流数据,并获得每一个IDR帧的码流数据解码后的YUV数据;
第一计算单元,用于选取一个IDR帧作为当前长期参考帧,依次针对除当前长期参考帧之外的其他每一个IDR帧,计算所述IDR帧的码流数据解码后的YUV数据与当前长期参考帧的码流数据解码后的YUV数据之间的第一峰值信噪比PSNR;
编码单元,用于当确定所述第一PSNR大于预设的第一门限值时,将所述IDR帧的码流数据解码后的YUV数据,基于当前长期参考帧进行P帧编码,并获得P帧码流数据和相应的重建YUV数据;
处理单元,用于将所述P帧码流数据替换对应的IDR帧的码流数据。
9.如权利要求8所述的装置,其特征在于,获得P帧码流数据和相应的重建YUV数据之后,将所述P帧码流数据替换对应的IDR帧的码流数据之前,进一步包括:
第二计算单元,用于计算所述重建YUV数据与对应的IDR帧的码流数据解码后的YUV数据之间的第二PSNR,并确定所述第二PSNR大于预设的第二门限值。
10.如权利要求9所述的装置,其特征在于,处理单元进一步用于:
当确定所述第一PSNR不大于预设的第一门限值时,所述第一PSNR对应的IDR帧不进行P帧码流数据的替换;或,
在确定所述第二PSNR不大于预设的第二门限值时,所述第二PSNR对应的IDR帧不进行P帧码流数据的替换。
11.如权利要求9所述的装置,其特征在于,选取一个IDR帧作为当前长期参考帧时,第一计算单元具体用于:
将第一个提取出的IDR帧作为当前长期参考帧;或,
当确定所述第一PSNR不大于预设的第一门限值时,将所述第一PSNR对应的IDR帧作为当前长期参考帧;或,
在确定所述第二PSNR不大于预设的第二门限值时,将所述第二PSNR对应的IDR帧作为当前长期参考帧。
12.如权利要求8-11任一项所述的装置,其特征在于,若所述解码为硬解码,则获得每一个IDR帧的码流数据解码后的YUV数据时,解码单元具体用于:
分别对提取出的每一个IDR帧码流数据进行硬解码,获得每一个IDR帧的码流数据解码后的YUV数据;
获得P帧码流数据和相应的重建YUV数据时,编码单元具体用于:
将所述第一PSNR对应的IDR帧的码流数据解码后的YUV数据,基于当前长期参考帧进行P帧硬编码,获得P帧码流数据和相应的重建YUV数据。
13.如权利要求12所述的装置,其特征在于,基于当前长期参考帧进行P帧硬编码之后,获得P帧码流数据和相应的重建YUV数据之前,编码单元进一步用于:
将硬编码后P帧码流数据的语法元素替换为长期参考方式。
14.如权利要求8-11任一项所述的装置,其特征在于,若所述解码为软解码,则获得每一个IDR帧的码流数据解码后的YUV数据时,解码单元具体用于:
分别对提取出的每一个IDR帧码流数据进行软解码,获得每一个IDR帧的码流数据解码后的YUV数据;
获得P帧码流数据和相应的重建YUV数据时,编码单元具体用于:
将所述第一PSNR对应的IDR帧的码流数据解码后的YUV数据,基于当前长期参考帧进行P帧软编码,获得P帧码流数据和相应的重建YUV数据。
CN201610277699.5A 2016-04-28 2016-04-28 一种码流接收设备的码流编码的方法及装置 Active CN107333133B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610277699.5A CN107333133B (zh) 2016-04-28 2016-04-28 一种码流接收设备的码流编码的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610277699.5A CN107333133B (zh) 2016-04-28 2016-04-28 一种码流接收设备的码流编码的方法及装置

Publications (2)

Publication Number Publication Date
CN107333133A true CN107333133A (zh) 2017-11-07
CN107333133B CN107333133B (zh) 2019-07-16

Family

ID=60192229

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610277699.5A Active CN107333133B (zh) 2016-04-28 2016-04-28 一种码流接收设备的码流编码的方法及装置

Country Status (1)

Country Link
CN (1) CN107333133B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019101089A1 (zh) * 2017-11-21 2019-05-31 广州市百果园信息技术有限公司 视频发送、接收方法和装置及终端
CN110366851A (zh) * 2018-06-01 2019-10-22 深圳市大疆创新科技有限公司 编码、解码方法及编码、解码设备
CN110708569A (zh) * 2019-09-12 2020-01-17 北京达佳互联信息技术有限公司 一种视频处理方法、装置、电子设备及存储介质
WO2020062184A1 (zh) * 2018-09-29 2020-04-02 深圳市大疆创新科技有限公司 一种图像处理方法、装置、可移动平台及存储介质
WO2021102903A1 (zh) * 2019-11-29 2021-06-03 深圳市大疆创新科技有限公司 图像传输方法、设备、可移动平台、系统和存储介质
CN116684610A (zh) * 2023-05-17 2023-09-01 北京百度网讯科技有限公司 确定长期参考帧的参考状态的方法、装置及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101356822A (zh) * 2006-01-10 2009-01-28 汤姆逊许可公司 用于构造可伸缩视频的参考图像列表的方法和设备
CN101411192A (zh) * 2006-03-29 2009-04-15 高通股份有限公司 具有可缩放性的视频处理
US20100254458A1 (en) * 2007-10-15 2010-10-07 Peter Amon Method and device for establishing a coded output video stream from at least two coded input video streams and use of the device and coded input video stream
CN103227926A (zh) * 2013-05-27 2013-07-31 合肥优尔电子科技有限公司 适用于低带宽无线通信信道的视频编码装置及其编码方法
US20150373343A1 (en) * 2014-06-20 2015-12-24 Qualcomm Incorporated Representation format update in multi-layer codecs

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101356822A (zh) * 2006-01-10 2009-01-28 汤姆逊许可公司 用于构造可伸缩视频的参考图像列表的方法和设备
CN101411192A (zh) * 2006-03-29 2009-04-15 高通股份有限公司 具有可缩放性的视频处理
US20100254458A1 (en) * 2007-10-15 2010-10-07 Peter Amon Method and device for establishing a coded output video stream from at least two coded input video streams and use of the device and coded input video stream
CN103227926A (zh) * 2013-05-27 2013-07-31 合肥优尔电子科技有限公司 适用于低带宽无线通信信道的视频编码装置及其编码方法
US20150373343A1 (en) * 2014-06-20 2015-12-24 Qualcomm Incorporated Representation format update in multi-layer codecs

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019101089A1 (zh) * 2017-11-21 2019-05-31 广州市百果园信息技术有限公司 视频发送、接收方法和装置及终端
EP3697088A4 (en) * 2017-11-21 2020-08-19 Guangzhou Baiguoyuan Information Technology Co., Ltd. VIDEO SEND AND RECEIVE METHOD, DEVICE AND TERMINAL
US11172227B2 (en) 2017-11-21 2021-11-09 Bigo Technology Pte. Ltd. Video sending and receiving method, apparatus, and terminal thereof
CN110366851A (zh) * 2018-06-01 2019-10-22 深圳市大疆创新科技有限公司 编码、解码方法及编码、解码设备
WO2019227491A1 (zh) * 2018-06-01 2019-12-05 深圳市大疆创新科技有限公司 编码、解码方法及编码、解码设备
WO2020062184A1 (zh) * 2018-09-29 2020-04-02 深圳市大疆创新科技有限公司 一种图像处理方法、装置、可移动平台及存储介质
CN110708569A (zh) * 2019-09-12 2020-01-17 北京达佳互联信息技术有限公司 一种视频处理方法、装置、电子设备及存储介质
CN110708569B (zh) * 2019-09-12 2021-08-13 北京达佳互联信息技术有限公司 一种视频处理方法、装置、电子设备及存储介质
WO2021102903A1 (zh) * 2019-11-29 2021-06-03 深圳市大疆创新科技有限公司 图像传输方法、设备、可移动平台、系统和存储介质
CN116684610A (zh) * 2023-05-17 2023-09-01 北京百度网讯科技有限公司 确定长期参考帧的参考状态的方法、装置及电子设备

Also Published As

Publication number Publication date
CN107333133B (zh) 2019-07-16

Similar Documents

Publication Publication Date Title
CN107333133A (zh) 一种码流接收设备的码流编码的方法及装置
US10819994B2 (en) Image encoding and decoding methods and devices thereof
CN102802039B (zh) 多路视频混合解码输出方法及装置
CA2903898A1 (en) Decoding and display delay error correction in a spliced video when pictures have been discarded
TW201501075A (zh) 經由遠端圖形處理服務串流顯像內容的圖形伺服器以及方法
CN101557512A (zh) 视频终端接收视频数据延时的处理方法
CN107770538A (zh) 一种检测场景切换帧的方法、装置和系统
CN103763556B (zh) 视频图像编解码装置及其方法、传输系统及其方法
CN109348309A (zh) 一种适用于帧率上变换的分布式视频转码方法
CN113748683A (zh) 用于在压缩视频文件中保存带内元数据的系统和方法
CN106791850A (zh) 视频编码方法及装置
CN105898373A (zh) 视频切片方法和装置
CN104424010B (zh) 一种文本文档乱码检测及修复方法和系统
CN107820095A (zh) 一种长期参考图像选择方法及装置
EP3874749A1 (en) Content adaptive quantization strength and bitrate modeling
CN111818295A (zh) 一种图像获取方法及装置
CN102223539A (zh) 图像编码丢帧花屏的处理方法
WO2017162015A1 (zh) 一种数据处理方法及装置、存储介质
CN107124610A (zh) 一种视频编码方法及装置
CN101288314A (zh) 动态图像编码装置、动态图像解码装置、动态图像编码方法、动态图像解码方法、动态图像编码程序以及动态图像解码程序
CN105635715A (zh) 视频格式识别方法及装置
US11323701B2 (en) Systems and methods for group of pictures encoding
CN104363454A (zh) 一种高码率图像的视频编、解码方法及系统
CN104168482B (zh) 一种视频编解码方法及装置
CN104935923B (zh) 信号编码方法及系统、信号解码方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant