CN108347607A - 固定码率且基于行的嵌入式视频压缩方法和图像处理设备 - Google Patents

固定码率且基于行的嵌入式视频压缩方法和图像处理设备 Download PDF

Info

Publication number
CN108347607A
CN108347607A CN201710061166.8A CN201710061166A CN108347607A CN 108347607 A CN108347607 A CN 108347607A CN 201710061166 A CN201710061166 A CN 201710061166A CN 108347607 A CN108347607 A CN 108347607A
Authority
CN
China
Prior art keywords
row section
pixel row
current pixel
section
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710061166.8A
Other languages
English (en)
Other versions
CN108347607B (zh
Inventor
卜晓明
陈建文
胡博钦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Novatek Microelectronics Corp
Original Assignee
Novatek Microelectronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Novatek Microelectronics Corp filed Critical Novatek Microelectronics Corp
Priority to CN201710061166.8A priority Critical patent/CN108347607B/zh
Priority to US15/432,938 priority patent/US10491896B2/en
Publication of CN108347607A publication Critical patent/CN108347607A/zh
Application granted granted Critical
Publication of CN108347607B publication Critical patent/CN108347607B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/112Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N11/00Colour television systems
    • H04N11/04Colour television systems using pulse code modulation
    • H04N11/042Codec means
    • H04N11/046DPCM
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/15Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

固定码率且基于行的嵌入式视频压缩方法和图像处理设备。所述方法至少包含以下步骤。接收当前编码帧。在逐行基础上对当前编码帧中的像素进行分组,且将已分组像素封装到像素行段中。根据当前像素行段中的像素和其相邻像素计算当前像素行段的复杂度信息。根据量化参数分别以差分脉冲编码调制(differential pulse‑coding modulation,DPCM)模式和截断模式对当前像素行段进行编码,以产生DPCM码流和截断码流。根据复杂度信息选择且输出DPCM码流或截断码流中的一个。反馈当前像素行段使用的码流量以计算对应于待处理的下一像素行段的新QP。

Description

固定码率且基于行的嵌入式视频压缩方法和图像处理设备
技术领域
本发明涉及一种固定码率且基于行的嵌入式视频压缩方法和一种使用所述方法的图像处理设备。
背景技术
随着计算机、网络和数字成像技术的快速发展,海量的视频数据已广泛的应用于数字视频记录器、高清电视、家庭影院计算机、视频会议装置、智能手机等数字重放装置中。然而,存储和传输如此大量的视频内容需要极大的内存带宽和处理能力。尽管目前已经开发出多种嵌入式压缩方法和系统以减小此类负担,但在视觉无损性能的情况下无法保证恒定码率。
发明内容
因此,本发明是针对一种固定码率且基于行的嵌入式视频压缩方法和一种使用所述方法的图像处理设备。
根据示例性实施例之一,本发明提出一种固定码率且基于行的嵌入式视频压缩方法。所述方法至少包含以下步骤。首先,接收当前编码帧。在逐行的基础上对当前编码帧中的像素进行分组,且将已分组像素封装到包含当前像素行段的像素行段中。根据当前像素行段中的像素和其相邻像素计算当前像素行段的复杂度信息。根据量化参数(quantization parameter,QP)分别以差分脉冲编码调制(differential pulse-codingmodulation,DPCM)模式和截断模式对当前像素行段进行编码,以产生DPCM码流和截断码流。根据复杂度信息选择且输出DPCM码流或截断码流中的一个。反馈当前像素行段利用的所使用码流量以计算对应于所述像素行段中的下一像素行段的新QP。
在示例性实施例之一中,本发明是针对一种图像处理设备,其包含但不限于存储介质和耦合到所述存储介质的处理器。所述处理器至少经配置以进行以下操作:接收输入帧序列中的当前编码帧;在逐行基础上对当前编码帧中的像素进行分组,且将已分组像素封装到包含当前像素行段的像素行段中;分别以DPCM模式和截断模式对当前像素行段进行编码,以根据QP产生DPCM码流和截断码流;根据复杂度信息选择且输出DPCM码流或截断码流中的一个;以及反馈当前像素行段利用的所使用码流量以计算对应于所述像素行段中的下一像素行段的QP。
为了使得本发明的前述特征和优点便于理解,下文将详细描述伴有附图的优选实施例。应理解,前文总体描述和以下详细描述都是示例性的,并且是希望提供对所主张的本发明的进一步解释。
然而,应理解,此概述可以不含有本发明的所有方面和实施例,且因此不希望以任何方式为限制性的或约束性的。而且,本发明将包含对于所属领域的技术人员来说显而易见的改进和修改。
附图说明
包含随附附图是为了更深入理解本发明,随附附图结合在本说明书中并且构成本说明书的一部分。附图说明本发明的实施例,并且连同所述描述一起用来解释本发明的原理。
图1A从硬件角度说明根据本发明的示例性实施例之一的示例性图像处理设备,其利用所提出的固定码率且基于行的嵌入式视频压缩方法。
图1B更详细地说明根据本发明的示例性实施例之一的图像处理设备的处理器。
图2说明根据本发明的示例性实施例之一的固定码率且基于行的嵌入式视频压缩方法的流程图。
图3说明根据本发明的示例性实施例之一的当前像素行段以及其相邻像素的示意图。
图4说明根据本发明的示例性实施例之一的运动估计的示意图。
图5说明根据本发明的示例性实施例之一的熵编码的示意图。
图6A说明根据本发明的示例性实施例之一的全局位分配的示意图。
图6B说明根据本发明的示例性实施例之一的局部位调整的示意图。
图6C说明根据本发明的示例性实施例之一的局部量化参数计算的示意图。
为了使申请案的以上特征和优势更好理解,如下详细地描述伴有图式的若干实施例。
元件符号说明
100:图像处理设备
110:处理器
111:输入模块
112:分析模块
113:预测模块
114:DPCM模块
115:截断模块
116:数据选择器模块
117:码率控制模块
118:输出模块
120:存储介质
S202~S218:步骤
S502~S506:步骤
具体实施方式
现将在下文参考随附附图更充分地描述本发明的一些实施例,所述随附附图中描绘本申请案中的一些而非全部实施例。实际上,本发明的各种实施例可以多种不同形式体现且不应被解释为受限于本文中阐述的实施例;确切地说,提供这些实施例使得本发明将满足适用的法律要求。类似参考标号通篇指代类似元件。
图1A从硬件角度说明根据本发明的示例性实施例之一的示例性图像处理设备,其利用所提出的固定码率且基于行的嵌入式视频压缩方法。
参看图1,示例性图像处理设备100将包含但不限于处理器110和存储介质120。图像处理设备100可为例如个人计算机、笔记本计算机、平板计算机、数码相机、数字便携式摄像机、智能手机、事件数据记录器、车载音频和视频系统等的电子装置。
处理器110将经配置以实施所提出的固定码率且基于行的嵌入式视频压缩方法以及后续公开内容中的示例性实施例的功能元件。可通过使用一或多个可编程单元来实施处理器110的功能,所述一或多个可编程单元例如现场可编程阵列(field programmablearray,FPGA)、可编程逻辑装置(programmable logic device,PLD)、专用集成电路(application specific integrated circuit,ASIC)、中央处理单元(centralprocessing unit,CPU)、可编程通用微处理器或可编程专用微处理器、微控制器、数字信号处理器(digital signal processor,DSP)、可编程逻辑装置(programmable logicdevice,PLD)、其它类似装置或电路,或其组合。也可用独立的电子装置或集成电路(integrated circuit,IC)来实施处理器110的功能,并且也可用硬件或软件或两者的组合来实施处理器110的功能。
存储介质120将耦合到处理器110以存储编程码、装置配置、查找表、缓冲数据或永久性数据等。存储介质120可为易失性存储器或永久性存储器,例如静态或移动随机存取存储器(random access memory,RAM)、只读存储器(read-only memory,ROM)、快闪存储器、硬盘驱动器或其它类似装置或电路。
图像处理设备100可视情况包含图像捕获装置、接口、图像显示装置和通信单元。图像捕获装置可为捕获视频或运动图像的相机或便携式摄像机。接口可为允许图像处理设备100接收图像数据和输出经处理图像数据的输入/输出接口。图像显示装置可为用于显示经处理图像数据的任何显示器。通信单元可为用于通过无线连接或电缆连接从外部源获得图像数据的调制解调器或无线收发器。在一些情况下,通信单元也可将经处理图像数据发射到其它装置或平台。
图1B更详细地说明根据本发明的示例性实施例之一的图像处理设备100的处理器110。
参看图1B,处理器110可被视为图像处理设备100中的编码器,且可包含但不限于输入模块111、分析模块112、预测模块113、DPCM模块114、截断模块115、数据选择器模块116、码率控制模块117和输出模块118。这些模块可经实施为硬件模块(例如独立的硬件IC)、软件模块或硬件模块和软件模块两者的组合。图1A和图1B的细节在后续公开内容中进一步阐明。
图2说明根据本发明的示例性实施例之一的固定码率且基于行的嵌入式视频压缩方法的流程图。图2的步骤可通过如图1A和图1B中所示的所提出图像捕获设备100实施。
参看图2以及图1A和图1B,处理器110的输入模块111将接收输入帧序列(步骤S202)。换句话说,输入模块111将接收原始视频帧序列的输入。在此所提出方法可建构于例如在大多数数字视频应用中兼容的RGB、YUV、YCbCr等任何颜色空间中。输入输入帧中的每一像素的颜色元素使用三个颜色通道值表示强度和颜色。简单起见,将仅说明输入帧中的一个(被称作“当前编码帧”),且其它输入帧可以类似方式进行推论。
输入模块111将进一步在逐行的基础上对当前编码帧中的像素进行分组,且将已分组像素封装到像素行段中(步骤S204)。作为预处理步骤,当前编码帧中的像素将以行(逐行或逐列)来进行分组,且由行段来进行封装以作为在此所提出方法的输入。每一行段可例如由64个像素组成且将作为用于分析的基本单元。简单起见,将仅说明像素行段中的一个(被称作“当前像素行段”),且其它像素行段可以类似方式进行推论。
作为一实例,图3说明根据本发明的示例性实施例之一的当前像素行段以及其相邻像素。参看图3,帧F1中的像素行段S1包含64个像素P0至P63且被视为待处理的当前像素行段。像素U0至U67为同一帧F1内像素行段S1上方且可为已编码和重构的像素,且像素L0至L1和像素R0至R1分别为像素行段S1左侧和右侧的像素。
返回参看图2,分析模块112将随后根据当前像素行段的相邻像素计算所述当前像素行段中的像素的复杂度信息(步骤S206)。复杂度信息可为当前像素行段中的像素变化程度。在示例性实施例中,可在各局部邻域中单独地检测复杂度,且总体复杂度可表示当前像素行段的复杂度信息。
详细地说,分析模块112可先将当前像素行段中的像素指派到多个局部区域。所述局部区域中的每一个将具有例如2×2像素的大小,且因此将由当前像素行段中的一部分像素和当前像素行段的至少一个相邻像素所组成。作为图3中的一实例,像素P0、像素P1、像素U2和像素U3可形成一个局部区域。分析模块112将随后计算局部区域中每一个中的像素的方差以确定对应的局部复杂度。当一局部区域内的像素的方差超过方差阈值时,将此区域的局部复杂度分类到“复杂”中。当一局部区域内的像素的方差未超过方差阈值时,将此区域的局部复杂度分类到“均匀(homogeneous)”中。分析模块122将根据各局部区域的局部复杂度,通过例如均匀局部区域和复杂局部区域的总计数来评估当前像素行段的复杂度信息。当复杂局部区域的数目大于均匀局部区域的数目时,当前像素行段的复杂度信息将被评估为“复杂”。当复杂局部区域的数目小于均匀局部区域的数目时,当前像素行段的复杂度信息将被评估为“均匀”。然而,本发明在此方面不受限制。
在视频编码过程方面,帧内(intra-frame)DPCM编码模式将作为编码方法中的一种,所述编码模式通过各种预测方法得以取得相邻像素中的空间冗余(spatialredundancy)。此方法具有计算简单和最小感知图像质量耗损的优点,然而将无法保证位预算。另一方面,以统计方式截断特定像素的截断编码模式可确保位预算约束条件,然而在较高压缩比率下将可能牺牲视觉质量。因此,在此将基于当前像素行段的复杂度信息来执行自适应压缩模式选择以在位预算约束条件下将视频质量维持在视觉无损程度。应注意,视频编码高度地取决于量化参数(quantization parameter,QP),其中量化参数可决定空间细节的保留程度。当量化参数的值较小时,大部分的空间细节将被保留。随着量化参数的值增加,较多的细节将被保留使得位码率下降,但是将以一定失真增加和一定质量耗损作为代价。
详细地说,DPCM模块114将根据对应于当前像素行段的QP以DPCM模式编码当前像素行段以产生DPCM码流(步骤S208)。这个步骤涉及运动估计和熵编码,如图4和图5中分别所说明。首先应注意,两种模式中的QP可不同。稍后将描述更多细节。
参看图4以及图1A和图1B,预测模块113将先对当前像素行段CPS执行空间预测运动估计。在本发明的示例性实施例中,预测模块113将根据最大似然原理计算最佳匹配运动向量。首先,将计算当前像素行段CPS和每一候选像素行段Sm至Sn中的像素之间的绝对差总和SAD[m]至SAD[n],且MVm至MVn表示候选运动向量。候选像素行段可为与当前像素行段紧邻或相邻的像素行段,其中候选像素行段的数目是可事先预设的。随后,具有最小SAD值的运动向量将为最佳匹配运动向量。
参看图5以及图1A和图1B,DPCM模块114将基于由预测模块113获得的最佳匹配运动向量和量化参数执行熵编码。针对当前像素行段中的每一像素Ix,将根据最佳匹配运动向量计算其对应的预测像素Px。将计算每一像素Ix与其对应的预测像素Px之间的残余(即,差值)(步骤S502)。接着,将通过QP将所有差值Diff量化成量化差值Q_Diff(步骤S504),并且将通过熵编码压缩量化差值Q_Diff(步骤S506)以产生DPCM码流。
再回到图2,作为另一种编码方式,截断模块115还将根据对应于当前像素行段的QP以截断模式编码当前像素行段以产生截断码流(步骤S210)。在这个编码方式中,截断模块115将基于特定舍入规则(rounding rules)舍弃当前像素行段中具有最低有效位(leastsignificant bits)的一些像素以产生截断码流。
数据选择器模块116将根据复杂度信息选择DPCM码流或截断码流中的一个(步骤S212),且输出模块118将输出所选择的码流(步骤S214)。数据选择器模块116将确保当前输入帧中每一行的位预算是固定的。根据在步骤S206中产生的每一像素行段的复杂度信息将合适的位预算分配到每一像素行段。在相同QP的情况下,DPCM编码模式提供最小的感知图像质量耗损,而位预算相比于截断编码模式将相对不稳定。输入帧将不仅通过从输出码流移除冗余信息进行压缩,而且还将以意图最低限度可察觉的方式作出较小质量妥协。由于人眼对高频率改变较不敏感,因此数据选择器模块116将在复杂度信息指示当前像素行段为复杂时选择截断码流。另一方面,数据选择器模块116将在复杂度信息指示当前像素行段为均匀时选择DPCM码流。输出模块117可将所选择的码流输出到存储介质102中的编码缓冲器,准备好被传送和解码。
在针对当前像素行段完成编码之后,数据选择器模块116将把当前像素行段所使用的码流量反馈到码率控制模块117(步骤S216),且码率控制模块117将计算对应于所述像素行段的下一像素行段的新QP(步骤S218)。码率控制模块117用以控制每一像素行段的量化参数。如先前所阐明,QP具有两个需要考虑的因素。第一个是控管消耗位不超过每行的给定位预算。第二个是将视频质量维持在视觉无损程度。步骤S216和步骤S218中的码率控制过程将由三部分组成:全局位分配、局部位调整和局部量化参数计算。
详细地说,图6A、图6B和图6C分别说明根据本发明的示例性实施例之一的全局位分配、局部位调整和局部量化参数计算的示意图。
参看图6A以及图1A和图1B,就基于行的全局位分配来说,针对每行给定的位预算BBPL,在处理每一行之前,码率控制模块117将基于复杂度信息保留用于保护一些特定模式的保留位预算RBS,其中保留位预算RBS可通过默认设定或用户设定预设。控制模块117将平分剩下的位预算,以将平均位预算ABB分配到每一像素行段。举例来说,假定当前像素行段所位于的行被称作“当前行”。初始分配到当前像素行段的位预算可通过以下表达:
参看图6B以及图1A和图1B,就局部位调整来说,数据选择器模块116将通过参考由分析模块112获得的每一像素行段的复杂度信息而自适应地调整已计算出的位预算。在本实施例中,平均位预算ABB将进一步被划分成行段基本位SBB和行段额外位SEB。为了视频质量一致,具有不同复杂度的像素行段将需要不同的位预算分配。分配到均匀的像素行段的位预算大于分配到复杂的像素行段的位预算。在本发明的示例性实施例中,当复杂度信息指示当前像素行段为复杂时,所述当前像素行段的位预算将被调整到仅段基本位SBB。另一方面,当复杂度信息指示当前像素行段为均匀时,所述当前像素行段的位预算将为段基本位SBB和段额外位SEB(即,初始分配的平均位预算)以达到视觉无损的质量。应注意,当段额外位SEB对于当前像素行段而言是不足够时,数据选择器模块116还将从保留位预算请求分发额外消耗。当段额外位SEB未完全用于当前像素行段时,数据选择器模块116还将把任何剩下的、未使用的位累加到保留位预算。因此,数据选择器模块116将进一步把局部位调整结论作为反馈结果报告给码率控制模块117,以便更新保留位预算以用于计算待处理的下一像素行段的新QP。
也就是说,参看图6C,就局部量化参数计算来说,数据选择器模块116将根据来自分析模块112的当前像素行段的复杂度信息CI,从截断模块115获得段基本位SBB的信息或从DPCM模块114获得段基本位SBB以及行额外位LEB(即,目前更新的保留位预算)的信息作为局部位调整结论LBAC,且码率控制模块117将相应地在QP估计步骤中计算新QP以产生用于DPCM模块114和截断模块115的新Qp,其中所属领域的技术人员可利用已知的任何现有算法中导出所述新QP。
DPCM模块114将进一步在局部基础上修正待处理的下一像素行段中的新QP,以保持整个图像的视角质量相同且均衡。换句话说,就下一个处理的像素行段来说,DPCM模块114将调整新QP以使得下一像素行段使用的位将在其位预算的约束下。另一方面,截断模块115将更改新QP以充分使用逐个像素的所分配段位预算。从另一角度来说,再回到图2,在步骤S208和步骤S210中,本文中的QP是从已在先前迭代中自处理过的先前像素行段所获得。在步骤S208和步骤210中,DPCM模块114和截断模块115还将以类似方式局部地修正QP。
基于前述描述,本发明提供一种固定码率且基于行的嵌入式视频压缩技术可基于每一像素行段的复杂度自适应地编码每一像素行段,以在特定位预算约束条件下将视频质量维持于视觉无损程度。
本领域技术人员将明白,在不脱离本发明的范围或精神的情况下,可对所公开的实施例的结构进行各种修改和变化。考虑到前述内容,期望本发明涵盖落入以下权利要求书及其等效物的范围内的本发明的修改及变化。
对于所属领域的技术人员将显而易见的是,在不脱离本发明的范围或精神的情况下,可以对本发明的结构进行各种修改和变化。考虑到前述内容,期望本发明涵盖落入所附权利要求书及其等效物的范围内的本发明的修改及变化。

Claims (22)

1.一种固定码率且基于行的嵌入式视频压缩方法,其特征在于,适用于图像处理设备,其中所述方法包括以下步骤:
接收输入帧序列中的当前编码帧;
在逐行基础上对所述当前编码帧中的多个像素进行分组,且将已分组的像素封装到包括当前像素行段的多个像素行段中;
根据所述当前像素行段中的像素和其多个相邻像素计算所述当前像素行段的复杂度信息;
根据量化参数QP分别以差分脉冲编码调制DPCM模式和截断模式对所述当前像素行段进行编码以产生DPCM码流和截断码流;
根据所述复杂度信息选择且输出所述DPCM码流或所述截断码流中的一个;以及
反馈所述当前像素行段使用的码流量以计算对应于所述像素行段的下一像素行段的新QP。
2.根据权利要求1所述的固定码率且基于行的嵌入式视频压缩方法,其特征在于,根据所述当前像素行段中的所述像素和其相邻像素计算所述当前像素行段的所述复杂度信息的步骤包括:
将所述当前像素行段中的所述像素指定到多个局部区域,其中所述局部区域中的每一个由一部分的所述像素和所述相邻像素中的至少一个组成;
计算所述局部区域中每一个中的像素的方差,以判断所述局部区域中每一个的局部复杂度,其中所述方差大于方差阈值时对应的所述局部复杂度为复杂,且其中所述方差不大于所述方差阈值时对应的所述局部复杂度为均匀;以及
根据所述局部区域中每一个的所述局部复杂度,判断所述当前像素行段的复杂度信息,其中当所述局部区域为复杂的数目大于所述局部区域为均匀的数目时,所述复杂度信息为复杂,且其中当所述局部区域为复杂的数目不大于所述局部区域为均匀的数目时,所述复杂度信息为均匀。
3.根据权利要求1所述的固定码率且基于行的嵌入式视频压缩方法,其特征在于,根据所述量化参数以所述DPCM模式对所述当前像素行段进行编码以产生所述DPCM码流的步骤包括:
对所述当前像素行段执行运动估计以在多个候选运动向量中产生已选择的运动向量;
根据所述已选择的运动向量获得分别对应于所述当前像素行段中的每一像素的多个预测像素;
计算所述预测像素中的每一个与所述当前像素行段中其对应的像素之间的差值;
根据所述QP量化所述差值以获得多个量化差值;以及
通过熵编码压缩所述量化差值以产生所述DPCM码流。
4.根据权利要求1所述的固定码率且基于行的嵌入式视频压缩方法,其特征在于,根据所述量化参数以所述截断模式对所述当前像素行段进行编码以产生所述截断码流的步骤包括:
根据所述量化参数截断所述当前像素行段中具有最低有效位的一部分像素以产生所述截断码流。
5.根据权利要求2所述的固定码率且基于行的嵌入式视频压缩方法,其特征在于,根据所述复杂度信息选择所述DPCM码流或所述截断码流中的一个的步骤包括:
当所述复杂度信息为均匀时,选择所述DPCM码流;以及
当所述复杂度信息为复杂时,选择所述截断码流。
6.根据权利要求1所述的固定码率且基于行的嵌入式视频压缩方法,其特征在于,在逐行基础上对所述当前编码帧中的所述像素进行分组的步骤之后,所述方法进一步包括:
获得包括所述当前像素行段的当前行的给定位预算;
设定所述当前行的保留位预算;
平分像素行段所述给定位预算与所述保留位预算之间的差值到所述当前行中的所述像素行段中每一个,以获得所述像素行段的平均位预算;以及
将所述平均位预算分配到所述当前像素行段作为其位预算。
7.根据权利要求6所述的固定码率且基于行的嵌入式视频压缩方法,其特征在于,所述平均位预算包括行段基本位和行段额外位,且其中所述方法进一步包括:
当所述当前像素行段是以所述DPCM模式进行编码时,设定所述平均位预算作为所述当前像素行段的位预算,或通过将由所述保留位预算获得的潜在位添加到所述当前像素行段的位预算中来调整所述当前像素行段的位预算;以及
当所述当前像素行段是以所述经截断模式进行编码时,通过从所述当前像素行段的位预算减去所述段额外位来调整所述当前像素行段的位预算。
8.根据权利要求7所述的固定码率且基于行的嵌入式视频压缩方法,其特征在于,反馈所述当前像素行段利用的所使用码流量以计算对应于所述像素行段的所述下一像素行段的所述新QP的步骤包括:
产生包括已调整的位预算的反馈结果;
根据所述反馈结果更新所述保留位预算;以及
根据所述反馈结果执行QP估计以产生所述新QP。
9.根据权利要求1所述的固定码率且基于行的嵌入式视频压缩方法,其特征在于,在根据所述QP分别以所述DPCM模式和所述截断模式对所述当前像素行段进行编码以产生所述DPCM码流和所述截断码流的步骤之前,所述方法进一步包括:
根据分配于所述当前像素行段的位预算分别调整所述DPCM模式和所述经截断模式中的所述QP。
10.根据权利要求1所述的固定码率且基于行的嵌入式视频压缩方法,其特征在于,分配到所述当前编码帧中的每一行的位预算是固定的。
11.根据权利要求1所述的固定码率且基于行的嵌入式视频压缩方法,其特征在于,分配到均匀的当前像素行段的位预算大于分配到复杂的当前像素行段的位预算。
12.一种图像处理设备,其特征在于,包括:
存储介质;以及
处理器,耦接到所述存储介质,其中所述处理器经配置至少用于:
接收输入帧序列中的当前编码帧;
在逐行基础上对所述当前编码帧中的多个像素进行分组,且将已分组像素封装到包括当前像素行段的多个像素行段中;
根据所述当前像素行段中的像素和其多个相邻像素计算所述当前像素行段的复杂度信息;
根据量化参数QP分别以差分脉冲编码调制DPCM模式和截断模式对所述当前像素行段进行编码以产生DPCM码流和截断码流;
根据所述复杂度信息选择且输出所述DPCM码流或所述截断码流中的一个;以及
反馈所述当前像素行段使用的码流量以计算对应于所述像素行段的下一像素行段的新QP。
13.根据权利要求12所述的图像处理设备,其特征在于,所述处理器被配置成用于根据所述当前像素行段中的所述像素和其相邻像素计算所述当前像素行段的所述复杂度信息,包括:
将所述当前像素行段中的所述像素指定到多个局部区域,其中所述局部区域中的每一个由一部分的所述像素和所述相邻像素中的至少一个组成;
计算所述局部区域中每一个中的像素的方差,以判断所述局部区域中每一个的局部复杂度,其中所述方差大于方差阈值时对应的所述局部复杂度为复杂,且其中所述方差不大于所述方差阈值时对应的所述局部复杂度为均匀;以及
根据所述局部区域中每一个的所述局部复杂度,判断所述当前像素行段的复杂度信息,其中当所述局部区域为复杂的数目大于所述局部区域为均匀的数目时,所述复杂度信息为复杂,且其中当所述局部区域为复杂的数目不大于所述局部区域为均匀的数目时,所述复杂度信息为均匀。
14.根据权利要求12所述的图像处理设备,其特征在于,所述处理器被配置成用于根据所述量化参数以所述DPCM模式对所述当前像素行段进行编码以产生所述DPCM码流,包括:
对所述当前像素行段执行运动估计以在多个候选运动向量中产生已选择的运动向量;
根据所述已选择的运动向量获得分别对应于所述当前像素行段中的每一像素的多个预测像素;
计算所述预测像素中的每一个与所述当前像素行段中其对应的像素之间的差值;
根据所述QP量化所述差值以获得多个量化差值;以及
通过熵编码压缩所述量化差值以产生所述DPCM码流。
15.根据权利要求12所述的图像处理设备,其特征在于,所述处理器被配置成用于根据所述量化参数以所述截断模式对所述当前像素行段进行编码以产生所述截断码流,包括:
根据所述量化参数截断所述当前像素行段中具有最低有效位的一部分像素以产生所述截断码流。
16.根据权利要求13所述的图像处理设备,其特征在于,所述处理器被配置成用于根据所述复杂度信息选择所述DPCM码流或所述截断码流中的一个,包括:
当所述复杂度信息为均匀时,选择所述DPCM码流;以及
当所述复杂度信息为复杂时,选择所述截断码流。
17.根据权利要求16所述的图像处理设备,其特征在于,所述处理器进一步被配置成用于:
获得包括所述当前像素行段的当前行的给定位预算;
设定所述当前行的保留位预算;
平分像素行段所述给定位预算与所述保留位预算之间的差值到所述当前行中的所述像素行段中每一个,以获得所述像素行段的平均位预算;以及
将所述平均位预算分配到所述当前像素行段作为其位预算。
18.根据权利要求17所述的图像处理设备,其特征在于,所述平均位预算包括行段基本位和行段额外位,且其中所述处理器进一步被配置成用于:
当所述当前像素行段是以所述DPCM模式进行编码时,设定所述平均位预算作为所述当前像素行段的位预算,或通过将由所述保留位预算获得的潜在位添加到所述当前像素行段的位预算中来调整所述当前像素行段的位预算;以及
当所述当前像素行段是以所述经截断模式进行编码时,通过从所述当前像素行段的位预算减去所述段额外位来调整所述当前像素行段的位预算。
19.根据权利要求18所述的图像处理设备,其特征在于,所述处理器被配置成用于反馈所述当前像素行段利用的所使用码流量以计算对应于所述像素行段的所述下一像素行段的所述新QP,包括:
产生包括已调整的位预算的反馈结果;
根据所述反馈结果更新所述保留位预算;以及
根据所述反馈结果执行QP估计以产生所述新QP。
20.根据权利要求12所述的图像处理设备,其特征在于,所述处理器进一步被配置成用于根据分配于所述当前像素行段的位预算分别调整所述DPCM模式和所述经截断模式中的所述QP。
21.根据权利要求12所述的图像处理设备,其特征在于,分配到所述当前编码帧中的每一行的位预算是固定的。
22.根据权利要求12所述的图像处理设备,其特征在于,分配到均匀的当前像素行段的位预算大于分配到复杂的当前像素行段的位预算。
CN201710061166.8A 2017-01-25 2017-01-25 固定码率且基于行的嵌入式视频压缩方法和图像处理设备 Active CN108347607B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710061166.8A CN108347607B (zh) 2017-01-25 2017-01-25 固定码率且基于行的嵌入式视频压缩方法和图像处理设备
US15/432,938 US10491896B2 (en) 2017-01-25 2017-02-15 Method of fixed-rate line-based embedded video compression and image processing apparatus using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710061166.8A CN108347607B (zh) 2017-01-25 2017-01-25 固定码率且基于行的嵌入式视频压缩方法和图像处理设备

Publications (2)

Publication Number Publication Date
CN108347607A true CN108347607A (zh) 2018-07-31
CN108347607B CN108347607B (zh) 2020-08-18

Family

ID=62907413

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710061166.8A Active CN108347607B (zh) 2017-01-25 2017-01-25 固定码率且基于行的嵌入式视频压缩方法和图像处理设备

Country Status (2)

Country Link
US (1) US10491896B2 (zh)
CN (1) CN108347607B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109379590A (zh) * 2018-10-18 2019-02-22 北京大学 一种脉冲序列压缩方法及系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109348244B (zh) * 2018-11-20 2021-05-18 浙江齐聚科技有限公司 视频编码参数的配置方法、装置、设备和存储介质
DE102021117397A1 (de) * 2020-07-16 2022-01-20 Samsung Electronics Co., Ltd. Bildsensormodul, bildverarbeitungssystem und bildkomprimierverfahren

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102647586A (zh) * 2011-02-16 2012-08-22 富士通株式会社 用在视频编码系统中的码率控制方法和装置
CN102656886A (zh) * 2009-12-14 2012-09-05 汤姆逊许可证公司 知晓对象的视频编码策略
US20140294089A1 (en) * 2012-10-03 2014-10-02 Broadcom Corporation Hybrid Transform-Based Compression

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7986731B2 (en) * 2004-02-06 2011-07-26 Apple Inc. H.264/AVC coder incorporating rate and quality controller
US9978156B2 (en) * 2012-10-03 2018-05-22 Avago Technologies General Ip (Singapore) Pte. Ltd. High-throughput image and video compression
US20150365703A1 (en) * 2014-06-13 2015-12-17 Atul Puri System and method for highly content adaptive quality restoration filtering for video coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102656886A (zh) * 2009-12-14 2012-09-05 汤姆逊许可证公司 知晓对象的视频编码策略
CN102647586A (zh) * 2011-02-16 2012-08-22 富士通株式会社 用在视频编码系统中的码率控制方法和装置
US20140294089A1 (en) * 2012-10-03 2014-10-02 Broadcom Corporation Hybrid Transform-Based Compression

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109379590A (zh) * 2018-10-18 2019-02-22 北京大学 一种脉冲序列压缩方法及系统
CN109379590B (zh) * 2018-10-18 2020-05-29 北京大学 一种脉冲序列压缩方法及系统

Also Published As

Publication number Publication date
CN108347607B (zh) 2020-08-18
US20180213228A1 (en) 2018-07-26
US10491896B2 (en) 2019-11-26

Similar Documents

Publication Publication Date Title
KR102361987B1 (ko) 신경망 매핑을 사용하는 hdr 이미지 표현
US9805442B2 (en) Fine-grained bit-rate control
US9883180B2 (en) Bounded rate near-lossless and lossless image compression
CN114503573A (zh) 低复杂性增强视频编码
TWI605703B (zh) 樣本可調適之偏移控制
ES2966479T3 (es) Un codificador, un decodificador y métodos correspondientes para la intrapredicción
CN107771392B (zh) 用于高动态范围图像的实时内容自适应感知量化器
US20140092960A1 (en) Bounded Rate Compression With Rate Control For Slices
EP3510772A1 (en) Coding of high dynamic range video using segment-based reshaping
US20130107956A1 (en) Generation of high dynamic range images from low dynamic range images
US10542265B2 (en) Self-adaptive prediction method for multi-layer codec
CN114788283A (zh) 用于向后兼容的分级改进的嵌入式信令以及超分辨率信令的用途
CN108702513B (zh) 用于在显示流压缩中量化参数的适应性计算的设备及方法
US10812832B2 (en) Efficient still image coding with video compression techniques
CN112738516B (zh) 编码方法、装置、存储介质及电子设备
EP2904796A1 (en) Bounded rate compression with rate control for slices
EP3868098A1 (en) Method and apparatus of local illumination compensation for predictive coding
CN108347607A (zh) 固定码率且基于行的嵌入式视频压缩方法和图像处理设备
CN117121480A (zh) 用于在媒体比特流内用信号通知神经网络的高级语法
WO2018049335A1 (en) Coding of high dynamic range video using segment-based reshaping
EP4268463A1 (en) Switchable dense motion vector field interpolation
WO2022269415A1 (en) Method, apparatus and computer program product for providng an attention block for neural network-based image and video compression
US20230186054A1 (en) Task-dependent selection of decoder-side neural network
US20230412806A1 (en) Apparatus, method and computer program product for quantizing neural networks
Cai et al. A high-performance and low-complexity video transcoding scheme for video streaming over wireless links

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant