CN102256124A

CN102256124A - 一种图像分层编码方法和装置

Info

Publication number: CN102256124A
Application number: CN2011101895068A
Authority: CN
Inventors: 俞海; 贾永华
Original assignee: Hangzhou Hikvision Software Co Ltd
Current assignee: Hangzhou Hikvision Digital Technology Co Ltd
Priority date: 2011-06-30
Filing date: 2011-06-30
Publication date: 2011-11-23
Anticipated expiration: 2031-06-30
Also published as: CN102256124B

Abstract

本发明公开了一种图像分层编码方法，包括：针对获取到每个场图像，分别确定其所属类别和优先级，所属类别包括I场图像和P场图像，并依据优先级确定每个P场图像的参考图像；根据确定结果对每个场图像进行编码。本发明同时公开了一种图像分层编码装置。应用本发明所述的方法和装置，能够降低实现复杂度。

Description

一种图像分层编码方法和装置

技术领域

本发明涉及视频处理技术，特别涉及一种图像分层编码方法和装置。

背景技术

随着视频采集和处理技术的发展，视频监控系统中采用的分辨率越来越大，尤其是随着1080P/1080I等大分辨率的高清设备的应用，压缩码率越来越高，这给图像存储带来了很大的负担。另外，在将压缩后的图像进行传输时，希望传输的数据量能够与传输带宽的大小相适应，如当传输带宽较大时，传输大分辨率、高帧率、高码率图像，当传输带宽中等时，传输中等分辨率、中等帧率、中等码率图像，当传输带宽较小时，传输小分辨率、低帧率、低码率图像。

为解决上述问题，现有技术中提出了一种图像分层编码技术，具体实现方式可为：采用不同的参数分别对同一图像进行编码，从而生成多个彼此独立的码流，即编码后的图像数据；图1为现有编码后得到的多个码流的示意图，如图1所示，假设共得到两个码流，分别为高分辨率码流和低分辨率码流，当进行存储时，短期内可存储全部的码流，一定时间如一周后，可删除高分辨率的码流，即依据时效性调整数据密度，以节省存储空间，当进行传输时，可根据传输带宽确定传输哪个码流。

但是，上述方式在实际应用中也会存在一定问题，即由于需要生成多个码流，因此实现复杂度较高。

发明内容

有鉴于此，本发明的主要目的在于提供一种图像分层编码方法，能够降低实现复杂度。

本发明的另一目的在于提供一种图像分层编码装置，能够降低实现复杂度。

为达到上述目的，本发明的技术方案是这样实现的：

一种图像分层编码方法，包括：

A、针对获取到每个场图像，分别确定其所属类别和优先级，所属类别包括I场图像和P场图像，并依据优先级确定每个P场图像的参考图像；

B、根据确定结果对每个场图像进行编码。

一种图像分层编码装置，包括：

分层模块，用于针对获取到每个场图像，分别确定其所属类别和优先级，所属类别包括I场图像和P场图像，并依据优先级确定每个P场图像的参考图像；

编码模块，用于根据分层模块的确定结果对每个场图像进行编码。

可见，采用本发明的技术方案，无需对图像进行多次编码，从而降低了实现复杂度，便于普及和推广。

附图说明

图1为现有编码后得到的多个码流的示意图。

图2为本发明图像分层编码方法实施例的流程图。

图3为本发明中X＝2时按照方式一确定出的各场图像的优先级及参考图像的示意图。

图4为本发明中X＝4时按照方式一确定出的各场图像的优先级及参考图像的示意图。

图5为本发明中X＝2时按照方式二确定出的各场图像的优先级及参考图像的示意图。

图6为本发明中X＝4时按照方式二确定出的各场图像的优先级及参考图像的示意图。

图7为本发明中按照抽取规则一对编码后的场图像进行抽取后的示意图。

图8为本发明中按照抽取规则二对编码后的场图像进行抽取后的示意图。

图9为本发明中按照抽取规则三对编码后的场图像进行抽取后的示意图。

图10为本发明中按照抽取规则四对编码后的场图像进行抽取后的示意图。

图11为本发明中按照抽取规则五对编码后的场图像进行抽取后的示意图。

图12为本发明中按照抽取规则六对编码后的场图像进行抽取后的示意图。

图13为本发明中将场图像扩展为帧图像的一过程示意图。

图14为本发明中将场图像扩展为帧图像的另一过程示意图。

图15为本发明图像分层编码装置实施例的组成结构示意图。

具体实施方式

针对现有技术中存在的问题，本发明中提出一种改进后的图像分层编码方案，能够降低实现复杂度。

为使本发明的技术方案更加清楚、明白，以下参照附图并举实施例，对本发明所述方案作进一步地详细说明。

图2为本发明图像分层编码方法实施例的流程图。如图2所示，包括以下步骤：

步骤21：针对获取到每个场图像，分别确定其所属类别和优先级，所属类别包括I场图像和P场图像，并依据优先级确定每个P场图像的参考图像。

如果视频采集设备在采集图像时采用的是逐行采集方式，那么首先将采集到的每个帧图像分别进行隔行抽取，得到每个帧图像对应的场图像，然后执行步骤21，这样，原始数据量将减少一半，从而便于后续处理；如果视频采集设备在采集图像时采用的是隔行采集方式，则无需进行隔行抽取处理，直接执行步骤21即可。

其中，隔行抽取的方式可以为：对于奇数帧图像，抽取其中的奇数行组成一个场图像，对于偶数帧图像，抽取其中的偶数行组成一个场图像；或者，对于奇数帧图像，抽取其中的偶数行组成一个场图像，对于偶数帧图像，抽取其中的奇数行组成一个场图像；当然，在实际应用中，也可以采用其它本领域技术人员公知的抽取方式。

之后，针对获取到每个场图像，依据特定规则，分别确定其所属类别和优先级，所属类别包括I场图像和P场图像，所述优先级至少包括两级，并依据优先级确定每个P场图像的参考图像，具体实现方式包括以下两种，在实际应用中，具体采用哪种可根据实际需要而定。

1)方式一

该方式中，两种极性的场图像，即奇场图像和偶场图像中，只有一个极性的场图像中会出现I场图像。其中，奇场图像是指由抽取出的奇数行组成的场图像，偶场图像是指由抽取出的偶数行组成的场图像。奇场图像和偶场图像相继出现，且两个相邻的场图像之间的时间间隔相等。

将获取到的第一个场图像设置为I场图像，并每隔M个场图像设置一个I场图像，I场图像的优先级最高，M为正偶数；M的具体取值可由用户进行设置，或者，如果用户未设置，可使用系统默认值，如50或200等，即每隔50个场图像或每隔200个场图像设置一个I场图像。某些情况下，可能需要强制生成I场图像，那么将从该I场图像开始重新确定下一个I场图像的位置。

I场图像是指使用帧内编码方式的场图像，与之对应，P场图像是指全部或部分区域使用帧间编码方式的场图像。在视频压缩算法中，由于邻近时刻的图像可能存在大量相似的区域，其中一个图像能够以另一个或几个图像作为参考，压缩前者时只需要处理其与后者之间的差异部分即可，以减少运算量，这种编码方式称为帧间编码方式；如果编码时的数据不采用时间维度上的其它数据作为参考，则称为帧内编码方式。

I场图像由于使用帧内编码方式，因此没有参考图像，而P场图像则必须要有参考图像。

从每个I场图像开始，每隔X个场图像设置一个优先级等于或低于I场图像的P场图像，X为正偶数，具体取值可由系统固化配置，并可根据实际情况如图像运动剧烈程度等进行动态调整，X的取值要小于M；将其余场图像均设置为P场图像，且优先级低于之前所设置的P场图像的优先级。

针对每个P场图像，将上一个同极性的优先级等于或高于自身的P场图像或I场图像作为其参考图像；如果一P场图像到上一个异极性的优先级等于或高于自身的I场图像之间不存在同极性的优先级等于或高于自身优先级的P场图像或I场图像，则将上一个异极性的优先级等于或高于自身的I场图像作为参考图像。

举例说明：

假设优先级的级数为3，将获取到的第一个场图像设置为I场图像，并每隔M个场图像设置一个I场图像，I场图像的优先级为3。

从每个I场图像开始，每隔X个场图像设置一个优先级为3的P场图像，每个优先级为3的P场图像均以上一个同极性的优先级为3的P场图像或上一个同极性的I场图像作为参考图像，如果不存在上一个同极性的优先级为3的P场图像或上一个同极性的I场图像，则将上一个异极性的I场图像作为参考图像。

将每个优先级为3的P场图像和I场图像的下一个同极性的场图像设置为优先级为2的P场图像，每个优先级为2的P场图像均以上一个同极性的优先级为3的P场图像或上一个同极性的I场图像作为参考图像。

将每个优先级为2的P场图像到下一个同极性的优先级为3的P场图像之间出现的所有与优先级为2的P场图像同极性的场图像设置为优先级为1的P场图像，每个优先级为1的P场图像均以上一个同极性的优先级为2的P场图像或上一个同极性的优先级为1的P场图像作为参考图像。

对于不符合上述任一情况的场图像，将其设置为优先级为1的P场图像，并且，如果存在上一个同极性的优先级为1的P场图像，则将该同极性的优先级为1的P场图像作为其参考图像，否则，将上一个异极性的I场图像作为其参考图像。

2)方式二

该方式中，两种极性的场图像中均会出现I场图像。

将获取到的第一个场图像设置为I场图像，并将与该I场图像相隔X个场图像的异极性的场图像也设置为I场图像，X为正偶数，针对这两个I场图像，每隔M个同极性的场图像设置一个I场图像，I场图像的优先级最高，M为正偶数，M的取值大于X；从每个I场图像开始，每隔X个同极性的场图像设置一个优先级等于或低于I场图像的P场图像；将其余场图像均设置为P场图像，且优先级低于之前所设置的P场图像的优先级；针对每个P场图像，将上一个同极性的优先级等于或高于自身的P场图像或I场图像作为其参考图像；如果一P场图像到上一个异极性的优先级等于或高于自身的I场图像之间不存在同极性的优先级等于或高于自身优先级的P场图像或I场图像，可将上一个异极性的优先级等于或高于自身的I场图像作为参考图像。

举例说明：

仍假设优先级级数为3，将获取到第一个场图像设置为I场图像，并将与该I场图像相隔X个场图像的异极性的场图像也设置为I场图像(之所以要相隔X个场图像，是为了使优先级为3的场图像均匀出现，后续显示更为流畅)，针对这两个I场图像，每隔M个同极性的场图像设置一个I场图像，I场图像的优先级为3。

从每个I场图像开始，每隔X个同极性的场图像设置一个优先级为3的P场图像，每个优先级为3的P场图像均以上一个同极性的优先级为3的P场图像或上一个同极性的I场图像作为参考图像。

图3为本发明中X＝2时按照方式一确定出的各场图像的优先级及参考图像的示意图；图4为本发明中X＝4时按照方式一确定出的各场图像的优先级及参考图像的示意图；图5为本发明中X＝2时按照方式二确定出的各场图像的优先级及参考图像的示意图；图6为本发明中X＝4时按照方式二确定出的各场图像的优先级及参考图像的示意图。

如图3～6所示，均假设优先级级数为3，用I3表示优先级为3的I场图像，用P3表示优先级为3的P场图像，用P2表示优先级为2的P场图像，用P1表示优先级为1的P场图像；并假设获取到的第一个场图像为奇场图像，从0开始编号，那么奇场图像的编号将为偶数，而偶场图像的编号将为奇数，即f2表示奇场图像，而f3表示偶场图像；箭头所指向的场图像以箭头尾部对应的场图像作为参考图像。

图3中，将场图像f0设置为I场图像，并每隔2个场图像设置一个优先级为3的P场图像，如场图像f3、f6、f9、f12、f15，将场图像f3、f6、f9、f12、f15、f0之后出现的下一个同极性的场图像，即场图像f2、f5、f8、f11、f14、f17设置为优先级为2的P场图像，将f2、f5、f8、f11、f14之后出现的同极性的场图像，即场图像f4、f7、f10、f13、f16设置为优先级为1的P场图像，对于剩下的场图像f1，将其设置为优先级为1的P场图像，并且，由于场图像f1为第一个偶场图像，不存在上一个同极性的优先级为1的P场图像，因此，将上一个异极性的I场图像即场图像f0作为其参考图像；而图4中，由于场图像f3存在上一个同极性的优先级为1的P场图像即场图像f1，因此可将场图像f1作为其参考图像；图5和6中，场图像f1可以以场图像f0作为参考图像，同时，由于在两个极性的场图像中均出现了I场图像，也可以直接将场图像f1作为I场图像进行处理，更为灵活。

步骤22：根据步骤21的确定结果对每个场图像进行编码。

由于H.264/AVC视频压缩标准已经比较成熟和完善，因此本步骤中，可基于此标准来对各场图像进行编码；当然，如果采用其它编码方式，只要能够达到同样的目的，也是可以的。

编码后的场图像可直接进行存储和传输，也可根据分层结果(优先级)等进行抽取，即根据抽取规则，抽取出符合要求的编码后的场图像，并进行存储和传输。所述抽取规则可以有多种，举例如下：

A)抽取出优先级大于和等于Z的编码后的场图像；Z为正整数，取值范围为：最低优先级＜Z≤最高优先级；

B)抽取出编码后的I场图像；

C)当一极性的场图像均以同极性的场图像作为参考图像时，抽取出所有该极性的编码后的场图像；

D)当一极性的场图像均以同极性的场图像作为参考图像时，抽取出该极性的优先级大于和等于Z的编码后的场图像。

如果最低优先级为1，最高优先级为3，那么Z的取值就可以是2或3，这样，上述4条抽取规则将可进一步扩展为以下6条抽取规则：

1)抽取规则一：抽取出优先级大于和等于2的的编码后的场图像；

图7为本发明中按照抽取规则一对编码后的场图像进行抽取后的示意图，假设针对图4进行的抽取；

2)抽取规则二：抽取出优先级等于3的编码后的场图像；

图8为本发明中按照抽取规则二对编码后的场图像进行抽取后的示意图，同样是针对图4进行的抽取；

3)抽取规则三：抽取出编码后的I场图像；

图9为本发明中按照抽取规则三对编码后的场图像进行抽取后的示意图，同样是针对图4进行的抽取；

4)抽取规则四：当一极性的场图像均以同极性的场图像作为参考图像时，抽取出所有该极性的编码后的场图像；

图10为本发明中按照抽取规则四对编码后的场图像进行抽取后的示意图，同样是针对图4进行的抽取，由于所有的奇场图像均以同极性的奇场图像作为参考图像，因此可抽取出所有编码后的奇场图像；

5)抽取规则五：当一极性的场图像均以同极性的场图像作为参考图像时，抽取出该极性的优先级大于和等于2的编码后的场图像；

图11为本发明中按照抽取规则五对编码后的场图像进行抽取后的示意图，同样是针对图4进行的抽取；

6)抽取规则六：当一极性的场图像均以同极性的场图像作为参考图像时，抽取出该极性的优先级等于3的编码后的场图像；

图12为本发明中按照抽取规则六对编码后的场图像进行抽取后的示意图，同样是针对图4进行的抽取。

具体采用上述哪种抽取方式可根据实际需要而定，比如当传输带宽较小时，可按照图12所示方式进行抽取，当传输带宽有一定增大时，可改用图11所示方式进行抽取。在实际应用中，也可采用其它抽取方式，以上仅为举例说明。

可以看出，本发明所述方案不但可以进行时域抽取，而且可以进行空域抽取，抽取方式非常灵活。

后续，如果要对各编码后的场图像进行显示，那么需要首先对其进行解码，如何进行解码为现有技术。

如果显示设备为隔行显示设备，那么直接显示各解码后的场图像即可，但如果显示设备为逐行显示设备，则需要先将各解码后的场图像分别扩展为帧图像，即进行去隔行处理，然后再将各帧图像进行显示，如果不进行去隔行处理，则可能无法正常显示，如可能出现锯齿等。

本发明中，可采用运动判决、时域插值和空域插值相结合的扩展方式，扩展得到帧图像，该扩展方式属于比较成熟的技术，采用该技术后，将会使显示效果更为流畅。其实现原理大致为：使用时间域上两个或两个以上场图像进行运动判决，对于静止区域采用时域插值，对于运动区域采用空域插值；用于空域插值的场图像需要与扩展后的帧图像在时刻上是一致的，且扩展后的帧图像中包括该用于空域插值的场图像，用于进行运动判决和时域插值的场图像至少包括距离上述用于空域插值的场图像时间上最接近的前一个和后一个异极性场图像。

图13为本发明中将场图像扩展为帧图像的一过程示意图。如图13所示，由于场图像f0和f2无法按照本发明所述扩展方式进行处理，因此可按照普通扩展方式将其分别扩展为帧图像F0和F1；对于场图像f5，可使用场图像f2和f10(时间上距离场图像f5最接近的前一个和后一个异极性场图像)来进行运动判决和时域插值，并使用场图像f5进行空域插值，从而得到帧图像F2；对于场图像f12，可使用场图像f7和f15来进行运动判决和时域插值，并使用场图像f12进行空域插值，从而得到帧图像F5，其它不再一一赘述。

图14为本发明中将场图像扩展为帧图像的另一过程示意图。如图14所示，由于场图像f0无法按照本发明所述扩展方式进行处理，因此可按照普通扩展方式将其扩展为帧图像F0；对于场图像f5，可使用场图像f0和f10来进行运动判决和时域插值，并使用场图像f5进行空域插值，从而得到帧图像F1；对于场图像f10，可使用场图像f5和f15来进行运动判决和时域插值，并使用场图像f10进行空域插值，从而得到帧图像F2，其它不再一一赘述。

至此，即完成了关于本发明方法实施例的介绍。

基于上述介绍，图15为本发明图像分层编码装置实施例的组成结构示意图。如图15所示，包括：

分层模块151，用于针对获取到每个场图像，分别确定其所属类别和优先级，所属类别包括I场图像和P场图像，并依据优先级确定每个P场图像的参考图像；

编码模块152，用于根据分层模块151的确定结果对每个场图像进行编码。

图15所示装置中可进一步包括：

隔行抽取模块150，用于当视频采集设备采用逐行采集方式进行图像采集时，将采集到的每个帧图像分别进行隔行抽取，得到每个帧图像对应的场图像，发送给分层模块151。

其中，所述优先级至少包括两级，分层模块151中可具体包括(为简化附图，未图示)：

第一处理单元，用于将获取到的第一个场图像设置为I场图像，并每隔M个场图像设置一个I场图像，I场图像的优先级最高，M为正偶数；从每个I场图像开始，每隔X个场图像设置一个优先级等于或低于I场图像的P场图像，X为正偶数，X的取值小于M；将其余场图像均设置为P场图像，且优先级低于之前所设置的P场图像的优先级；针对每个P场图像，将上一个同极性的优先级等于或高于自身的P场图像或I场图像作为其参考图像；

或者，

第二处理单元，用于将获取到的第一个场图像设置为I场图像，并将与该I场图像相隔X个场图像的异极性的场图像也设置为I场图像，X为正偶数，针对这两个I场图像，每隔M个同极性的场图像设置一个I场图像，I场图像的优先级最高，M为正偶数，M的取值大于X；从每个I场图像开始，每隔X个同极性的场图像设置一个优先级等于或低于I场图像的P场图像；将其余场图像均设置为P场图像，且优先级低于之前所设置的P场图像的优先级；针对每个P场图像，将上一个同极性的优先级等于或高于自身的P场图像或I场图像作为其参考图像。

图15所示装置中还可进一步包括：

抽取模块153，用于根据抽取规则，抽取出符合要求的编码后的场图像；

解码模块154，用于对各编码后的场图像进行解码，如果显示设备为隔行显示设备，则直接将各解码后的场图像发送给显示设备进行显示，如果显示设备为逐行显示设备，则将各解码后的场图像发送给去隔行模块155；

去隔行模块155，用于将各解码后的场图像分别扩展为帧图像，将各帧图像发送给显示设备进行显示。

所述扩展方式包括：运动判决、时域插值和空域插值相结合的方式。

图15所示装置实施例的具体工作流程请参照图2所示方法实施例中的相应说明，此处不再赘述。另外，在实际应用中，本领域技术人员可基于自身需求对上述各模块的功能进行合并或拆分等处理。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims

1.一种图像分层编码方法，其特征在于，包括：

B、根据确定结果对每个场图像进行编码。

2.根据权利要求1所述的方法，其特征在于，所述步骤A之前，进一步包括：

如果视频采集设备在采集图像时采用的是逐行采集方式，则将采集到的每个帧图像分别进行隔行抽取，得到每个帧图像对应的场图像，然后执行步骤A。

3.根据权利要求2所述的方法，其特征在于，所述将采集到的每个帧图像分别进行隔行抽取，得到每个帧图像对应的场图像包括：

对于奇数帧图像，抽取其中的奇数行组成一个场图像，对于偶数帧图像，抽取其中的偶数行组成一个场图像；

或者，对于奇数帧图像，抽取其中的偶数行组成一个场图像，对于偶数帧图像，抽取其中的奇数行组成一个场图像。

4.根据权利要求1所述的方法，其特征在于，所述优先级至少包括两级；所述步骤A包括：

将获取到的第一个场图像设置为I场图像，并每隔M个场图像设置一个I场图像，I场图像的优先级最高，M为正偶数；

从每个I场图像开始，每隔X个场图像设置一个优先级等于或低于I场图像的P场图像，X为正偶数，X的取值小于M；

将其余场图像均设置为P场图像，且优先级低于之前所设置的P场图像的优先级；

针对每个P场图像，将上一个同极性的优先级等于或高于自身的P场图像或I场图像作为其参考图像。

5.根据权利要求1所述的方法，其特征在于，所述优先级至少包括两级；所述步骤A包括：

将获取到的第一个场图像设置为I场图像，并将与该I场图像相隔X个场图像的异极性的场图像也设置为I场图像，X为正偶数，针对这两个I场图像，每隔M个同极性的场图像设置一个I场图像，I场图像的优先级最高，M为正偶数，M的取值大于X；

从每个I场图像开始，每隔X个同极性的场图像设置一个优先级等于或低于I场图像的P场图像；

6.根据权利要求4或5所述的方法，其特征在于，所述步骤A进一步包括：

如果一P场图像到上一个异极性的优先级等于或高于自身的I场图像之间不存在同极性的优先级等于或高于自身的P场图像或I场图像，则将上一个异极性的优先级等于或高于自身的I场图像作为参考图像。

7.根据权利要求6所述的方法，其特征在于，所述步骤B之后，进一步包括：根据抽取规则，抽取出符合要求的编码后的场图像；

所述抽取规则包括：

抽取出优先级大于和等于Z的编码后的场图像；Z为正整数，取值范围为：最低优先级＜Z≤最高优先级

抽取出编码后的I场图像；

当一极性的场图像均以同极性的场图像作为参考图像时，抽取出所有该极性的编码后的场图像；

当一极性的场图像均以同极性的场图像作为参考图像时，抽取出该极性的优先级大于和等于Z的编码后的场图像。

8.根据权利要求1、2、4或5所述的方法，其特征在于，所述步骤B之后，进一步包括：

对各编码后的场图像进行解码，并确定显示设备为逐行显示设备还是隔行显示设备，如果是隔行显示设备，则直接显示各解码后的场图像，如果是逐行显示设备，则首先将各解码后的场图像分别扩展为帧图像，然后显示各帧图像。

9.一种图像分层编码装置，其特征在于，包括：

10.根据权利要求9所述的装置，其特征在于，该装置中进一步包括：

隔行抽取模块，用于当视频采集设备采用逐行采集方式进行图像采集时，将采集到的每个帧图像分别进行隔行抽取，得到每个帧图像对应的场图像，发送给分层模块。

11.根据权利要求9所述的装置，其特征在于，所述优先级至少包括两级；所述分层模块包括：

或者，

12.根据权利要求9所述的装置，其特征在于，该装置中进一步包括：

抽取模块，用于根据抽取规则，抽取出符合要求的编码后的场图像。

13.根据权利要求9、10或12所述的装置，其特征在于，该装置中进一步包括：

解码模块，用于对各编码后的场图像进行解码，如果显示设备为隔行显示设备，则直接将各解码后的场图像发送给显示设备进行显示，如果显示设备为逐行显示设备，则将各解码后的场图像发送给去隔行模块；

去隔行模块，用于将各解码后的场图像分别扩展为帧图像，将各帧图像发送给显示设备进行显示。