CN105847793A - 视频编解码方法及其装置 - Google Patents

视频编解码方法及其装置 Download PDF

Info

Publication number
CN105847793A
CN105847793A CN201510024059.9A CN201510024059A CN105847793A CN 105847793 A CN105847793 A CN 105847793A CN 201510024059 A CN201510024059 A CN 201510024059A CN 105847793 A CN105847793 A CN 105847793A
Authority
CN
China
Prior art keywords
image
background
frame
frames
confidence level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510024059.9A
Other languages
English (en)
Other versions
CN105847793B (zh
Inventor
沈林杰
浦世亮
武晓阳
苏辉
俞海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201510024059.9A priority Critical patent/CN105847793B/zh
Priority to US14/995,243 priority patent/US10567796B2/en
Priority to EP16154510.8A priority patent/EP3094090B1/en
Publication of CN105847793A publication Critical patent/CN105847793A/zh
Application granted granted Critical
Publication of CN105847793B publication Critical patent/CN105847793B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/507—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction using conditional replenishment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及视频压缩领域，公开一种视频编解码方法及装置。编码方法包括：对至少一幅输入图像分析并选择一幅作为背景图像进行帧内预测编码得到背景帧，解码得到背景帧重建图；获取输入图像作为第一图像，根据其相对于背景帧重建图的差异，至少局部地采用帧间预测编码为刷新帧；获取输入图像作为第二图像，根据其相对于背景帧重建图和相邻前一帧重建图的差异，或相对于相邻前一帧重建图的差异，至少局部地采用帧间预测编码为普通帧；根据背景帧、刷新帧和普通帧生成视频码流。根据输入图像相对于背景帧重建图和/或相邻前一帧重建图的差异，至少局部地采用帧间预测编码，对于存在大量冗余背景信息的场景，可以更低码率获得同等的图像质量。

Description

视频编解码方法及其装置
技术领域
本发明涉及视频压缩领域，特别涉及一种视频编解码技术。
背景技术
随着社会的发展，视频监控系统越来越广泛的应用于生活之中，来解决日益增长的安全需求。但同时，高质量的视频数据需要占用大量的存储资源，所以视频压缩技术一直在不断的发展，以节省存储成本。但现有的视频压缩标准都不是针对监控场景制定的，其压缩技术对于视频监控这种大部分都是静止不动的场景还存在较大的信息冗余。所以本发明提供一种编码方法，针对监控场景，可以以更低的码率获得同等的图像质量，从而降低视频存储成本。
在视频编码系统中，编码器可以采用多种不同的编码技术对视频数据进行压缩，其中一种常用的技术是预测编码。如图1所示为现有技术中的编码示意图。在视频流中，有些帧是仅采用空域预测编码技术，可独立编码，称为I帧；有些帧是采用时域预测编码技术，需要利用其它帧做参考来编码，称为P帧。P帧可以参考单个先前的编码帧来编码，也可以参考先前的多个编码帧来编码，这些被P帧用于参考的帧称为参考帧。在编码P帧时，选择合适的参考帧可以获得更好的编码质量或更低的编码码率。但现有的编码方法为了降低编码复杂度，节省内存开销，一般都只存储一帧参考帧，所以在很多情况下都无法搜索到合适的匹配块，比如物体移动之后新露出的背景。
另外，通常情况下，采用时域预测编码技术的P帧的压缩效率要远高于仅采用空域预测编码技术的I帧,所以若单从压缩效率来考虑，应该尽量采用P帧进行编码，而减少I帧编码。但是在视频的编码中，我们还是需要每隔一段时间就编码一个I帧，主要原因有两点：第一是为了能够在回放时随机定位到某一帧时能快速响应；第二是为了防止预测量化而导致的误差累积和扩散。
本发明的发明人发现，针对视频监控系统大多数都是静止不动的场景，现有的做法每次I帧编码都编码了大量背景冗余信息，监控视频的压缩效率还有进一步提升的空间。
发明内容
本发明的目的在于提供一种视频编解码方法及其装置，可以以更低的码率获得同等的图像质量，从而降低视频存储成本和传输成本。
为解决上述技术问题，本发明的实施方式公开了一种视频编码方法，该方法包括以下步骤：
对至少一幅输入图像进行分析，从中选择一幅输入图像作为背景图像，采用帧内预测的编码方式对该背景图像进行编码得到背景帧，对已编码的背景帧解码得到背景帧重建图；
获取一幅输入图像作为第一图像，根据该第一图像相对于背景帧重建图的差异，至少局部地采用帧间预测的编码方式对第一图像进行编码得到刷新帧；
获取一幅输入图像作为第二图像，根据该第二图像相对于背景帧重建图和相邻前一帧的重建图的差异，或相对于相邻前一帧重建图的差异，至少局部地采用帧间预测的编码方式对第二图像进行编码得到普通帧；
根据背景帧、刷新帧和普通帧生成视频码流。
本发明的实施方式还公开了一种视频解码方法，该方法包括以下步骤：
对所获取的视频码流进行解析，得到背景帧，刷新帧和普通帧；
对背景帧码流进行基于帧内预测的解码得到用于显示输出的背景帧重建图；
根据背景帧重建图对刷新帧的至少一部分进行基于帧间预测的解码，得到用于显示输出的刷新帧重建图；
根据背景帧重建图和相邻前一帧的重建图，或者根据相邻前一帧的重建图，对普通帧的至少一部分进行基于帧间预测的解码，得到用于显示输出的普通帧重建图。
本发明的实施方式还公开了一种视频编码装置，该方法包括以下模块：
背景图像获取模块，用于对至少一幅输入图像进行分析，从中选择一幅输入图像作为背景图像；
背景帧编码模块，用于采用帧内预测的编码方式对该背景图像进行编码得到背景帧，对已编码的背景帧解码得到背景帧重建图；
刷新帧编码模块，用于获取一幅输入图像作为第一图像，根据该第一图像相对于背景帧重建图的差异，至少局部地采用帧间预测的编码方式对第一图像进行编码得到刷新帧；
普通帧编码模块，用于获取一幅输入图像作为第二图像，根据该第二图像相对于背景帧重建图和相邻前一帧的重建图的差异，或相对于相邻前一帧重建图的差异，至少局部地采用帧间预测的编码方式对第二图像进行编码得到普通帧；
码流生成模块，用于根据背景帧、刷新帧和普通帧生成视频码流。
本发明的实施方式还公开了一种视频解码装置，该方法包括以下模块：
码流解析模块，用于对所获取的视频码流进行解析，得到背景帧，刷新帧和普通帧；
背景帧解码模块，用于对背景帧码流进行基于帧内预测的解码得到用于显示输出的背景帧重建图；
刷新帧解码模块，用于根据背景帧重建图对刷新帧的至少一部分进行基于帧间预测的解码，得到用于显示输出的刷新帧重建图；
普通帧解码模块，用于根据背景帧重建图和相邻前一帧的重建图，或者根据相邻前一帧的重建图，对普通帧的至少一部分进行基于帧间预测的解码，得到用于显示输出的普通帧重建图。
本发明实施方式与现有技术相比，主要区别及其效果在于：
根据输入图像相对于背景帧重建图或者相对于背景帧重建图和相邻的前一输入图像的差异，至少局部地采用帧间预测的方式编码，相对于全部采用帧内预测方式编码节省了大量编码比特，对于存在大量冗余背景信息的场景，可以以更低的码率获得同等的图像质量，从而降低视频存储成本。此外，选择原始输入图像作为背景图像，此背景图像可直接用于显示，相比于用虚拟的一幅图像作为背景图像，对于现有系统的兼容性更好。
随机访问时，只要先解码背景帧，然后再解码刷新帧，接着顺序解码普通帧即可获得随机访问的图像，能够对随机定位进行快速响应。
进一步地，将前景置信度最低的输入图像作为背景图像，能够更好地区分图像中的背景部分和前景部分。
进一步地，通过背景图像标记将对应的输入图像作为背景图像，此背景图像可直接用于显示。
进一步地，将输入图像划分为前景部分和背景部分，仅对前景部分采用帧内预测的编码方式，而背景部分则以获取的背景帧重建图作为参考图像采用帧间预测的编码方式，相较于传统的将整帧都采用帧内预测的编码方式，节省了背景部分大量的编码比特，同时又防止因预测量化引起的误差累积和扩散，平衡了编码效率和误差控制。
进一步地，普通帧的编码相对于现有的P帧编码增加了背景帧重建图作为参考图像，在编码时可获得更好的匹配块，在节省编码比特的同时能够提高编码质量。
进一步地，整合后的前景置信度适合编码以决定刷新帧和普通帧的编码方式。
附图说明
图1是现有技术中视频编码方法的示意图；
图2是本发明第一实施方式中一种视频编码方法的流程示意图；
图3是本发明第三实施方式优选例中一种视频编码方法的流程图；
图4是本发明第三实施方式优选例中一种视频编码结果的示意图；
图5是本发明第三实施方式优选例中一种视频编码结果的示意图；
图6是本发明第三实施方式优选例中背景帧编码模块的编码输入输出示意图；
图7是本发明第三实施方式优选例中刷新帧编码模块的编码输入输出示意图；
图8和图9是本发明第三实施方式优选例中普通帧编码模块的编码输入输出示意图；
图10是不同时刻输入图像的差异对比图；
图11是本发明第四实施方式中一种视频解码方法的流程示意图；
图12是本发明第四实施方式优选例中解码器解码流程图；
图13是本发明第四实施方式优选例中码流解析模块的码流解析流程图；
图14是本发明第五实施方式中一种视频编码装置的结构示意图；
图15是本发明第八实施方式中一种视频解码装置的结构示意图。
具体实施方式
在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请各权利要求所要求保护的技术方案。
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。
本发明第一实施方式涉及一种视频编码方法，图2是该视频编码方法的流程示意图。
具体地说，如图2所示，该视频编码方法该方法包括以下步骤：
步骤101，对至少一幅输入图像进行分析，从中选择一幅输入图像作为背景图像，采用帧内预测的编码方式对该背景图像进行编码得到背景帧，对已编码的背景帧解码得到背景帧重建图。
背景未发生改变时，获取的背景图像都是一样的，只有当背景发生改变时，获取的背景图像才会更新。监控场景中，通常背景会保持长时间没有发生变化，所以两个背景帧之间的时间间隔很长，比如为1分钟。
步骤102，获取一幅输入图像作为第一图像，根据该第一图像相对于背景帧重建图的差异，至少局部地采用帧间预测的编码方式对第一图像进行编码得到刷新帧。
可以理解，输入图像是指视频采集模块采集，经过ISP处理之后的图像，也可以是解码之后的图像。
值得注意的是，重建图是将编码后的帧按解码端的解码算法进行解码后得到的图像，因为编码的过程可能会有一些细节损失，所以重建图与输入图像(或称原始图像)可能会有些不同。使用重建图进行编码可以防止误差的累积。
步骤103，获取一幅输入图像作为第二图像，根据该第二图像相对于背景帧重建图和相邻前一帧的重建图的差异，或相对于相邻前一帧重建图的差异，至少局部地采用帧间预测的编码方式对第二图像进行编码得到普通帧。
此外，可以理解，一般而言，多个刷新帧和基于这些刷新帧的各普通帧使用同一个背景帧重建图进行编码。
步骤104，根据背景帧、刷新帧和普通帧生成视频码流。
本实施方式根据输入图像相对于背景帧重建图或者相对于背景帧重建图和相邻的前一输入图像的差异，至少局部地采用帧间预测的方式编码，相对于全部采用帧内预测方式编码节省了大量编码比特，对于存在大量冗余背景信息的场景，可以以更低的码率获得同等的图像质量，从而降低视频存储成本。此外，选择原始输入图像作为背景图像，此背景图像可直接用于显示，相比于用虚拟的一幅图像作为背景图像，对于现有系统的兼容性更好。
本发明第二实施方式涉及一种视频编码方法，第二实施方式在第一实施方式的基础上进行了改进，主要改进之处在于：将前景置信度最低的输入图像作为背景图像，能够更好地区分图像中的背景部分和前景部分；通过背景图像标记将对应的输入图像作为背景图像，此背景图像可直接用于显示。具体地说：
在步骤101中获取背景图像时，包括以下子步骤：
计算连续多幅输入图像像素的前景置信度信息；
将前景置信度最低的一幅输入图像作为背景图像。
其中，置信度也称为可靠度，或置信水平，即对某个判断确信的程度。前景置信度则表示判断当前像素为真实运动目标的确信程度，前景置信度越高表示当前像素为真实运动目标的可能性越大，前景置信度越低表示当前像素为真实背景的可能性越大。
通常，前景置信度可以通过对每个像素建立单高斯模型或者混合高斯模型分析获得。
通过计算前景置信度信息以选取背景图像时，可以计算连续多幅输入图像中每个像素的前景置信度信息；也可以先对多幅输入的图像进行下采样，然后计算连续多幅输入的下采样图像中的每个像素的前景置信度信息，将前景置信度最低的一幅下采样图像对应的原始输入图像作为背景图像。
上述通过前景置信度获取背景图像的步骤中：
1、可以是只要该像素的前景置信度低于一定阈值，就把该像素值作为
背景像素值替换原先的背景像素值；
2、可以是统计一段时间内低于一定前景置信度阈值的像素值出现的
概率，把出现概率最高的像素值作为背景像素值；
3、可以是把一段时间内低于一定前景置信度阈值的像素进行加权平均，得到最终的背景像素值；
把上述方法得到的背景像素值组合在一起，获得背景图像。
所以这里的前景置信度只是一种概念，不是具体的方法，通过这个概念来区分前景和背景。
此外，可以理解，在本发明的其它实施方式中，也可以通过其它方式获得背景图像，例如，而不局限于通过分析前景置信度来获取。
优选地，在上述“计算连续多幅输入图像像素的前景置信度信息”的步骤中，包括子步骤：
根据连续多幅输入图像的前景置信度信息输出背景图像标记，背景图像标记用于指定对应的输入图像为背景图像。
相应优选地，在步骤101“采用帧内预测的编码方式对该背景图像进行编码得到背景帧”时，包括子步骤：
根据上述输出的背景图像标记将对应的输入图像作为背景图像，采用帧内预测的编码方式编码得到背景帧。
此外，可以理解，在本发明的其它实施方式中，也可以通过其它方式选取相应的输入图像作为背景图像，而不局限于此。
本发明第三实施方式涉及一种视频编码方法，第三实施方式在第一实施方式的基础上进行了改进，主要改进之处在于：将输入图像划分为前景部分和背景部分，仅对前景部分采用帧内预测的编码方式，而背景部分则以获取的背景帧重建图作为参考图像采用帧间预测的编码方式，相较于传统的将整帧都采用帧内预测的编码方式，节省了背景部分大量的编码比特，同时又防止因预测量化引起的误差累积和扩散，平衡了编码效率和误差控制；普通帧的编码相对于现有的P帧编码增加了背景帧重建图作为参考图像，在编码时可获得更好的匹配块，在节省编码比特的同时能够提高编码质量。整合后的前景置信度适合编码以决定刷新帧和普通帧的编码方式。具体地说：
在步骤102中，包括以下子步骤：
获取第一图像中每个像素的前景置信度；
根据前景置信度与阈值比较，将第一图像划分为第一前景部分和第一背景部分；
第一前景部分采用帧内预测的方式进行编码，第一背景部分将背景帧重建图作为参考图像采用帧间预测的方式进行编码。
将输入图像划分为前景部分和背景部分，仅对前景部分采用帧内预测的编码方式，而背景部分则以获取的背景帧重建图作为参考图像采用帧间预测的编码方式，相较于传统的将整帧都采用帧内预测的编码方式，节省了背景部分大量的编码比特，同时又防止因预测量化引起的误差累积和扩散，平衡了编码效率和误差控制。
优选地，在步骤103中，包括以下子步骤：
获取第二图像中每个像素的前景置信度；
根据前景置信度与阈值比较，将第二图像划分为第二前景部分和第二背景部分；
第二前景部分中至少有一部分将相邻前一帧的重建图作为参考图像采用帧间预测的方式进行编码，第二背景部分将背景帧重建图和/或相邻前一帧的重建图作为参考图像采用帧间预测的方式进行编码。
第二背景可以参考相邻前一帧的重建图，也可以参考背景帧重建图，最佳实施方式是新露出的背景参考背景帧重建图，其余背景部分参考前一帧重建图。
普通帧的编码相对于现有的P帧编码增加了背景帧重建图作为参考图像，在编码时可获得更好的匹配块，在节省编码比特的同时能够提高编码质量。整合后的前景置信度适合编码以决定刷新帧和普通帧的编码方式。
此外，可以理解，第二前景部分可以是全部以相邻前一帧的重建图作为参考图像采用帧间预测的方式进行编码。也可以是其中的一部分以相邻前一帧的重建图作为参考图像采用帧间预测的方式进行编码，另一部分采用帧内编码的方式进行编码。
此外，最优的实施方式时采用两帧参考，一帧是相邻的前一帧，另一帧是背景帧。由于受到实现平台的限制，也可以采用次优的实施方式，仅采用相邻的前一帧作为参考帧，在实现复杂度和压缩率之间平衡。
优选地，在上述获取每个像素的前景置信度的之后，包括对获取的每个像素的前景置信度进行整合的步骤，该整合步骤可以通过以下方式来实现：
对输入图像的块内多个像素的前景置信度进行统计求平均，并将平均值作为该块的前景置信度；或
将输入图像的块内出现概率最高的前景置信度作为该块的前景置信度；或
计算缩小的输入图像的每个像素的前景置信度，将每个像素的前景置信度作为缩小前输入图像的对应块的前景置信度。
作为本实施方式的优选例，如图3所示为编码方法的流程图，下面对此流程的每个模块进行详细描述。
视频输入模块：给背景分析模块和编码模块提供输入原始图像，一般情况下，此原始图像是指视频采集模块采集，经过ISP处理之后的图像，但也可以是解码之后的图像。
背景分析模块：此模块对输入的每帧图像进行分析，得到当前图像中每个像素的前景置信度信息。前景置信度越高表示当前像素为真实运动目标的可能性越大，前景置信度越低表示当前像素为真实背景的可能性越大。同时通过连续的多帧图像分析，可以获取一帧前景置信度相对较低的原始图像作为背景图像。通常，前景置信度可以通过对每个像素建立单高斯模型或者混合高斯模型分析获得。
获取前景置信度：获取由背景分析模块输出的每个像素的前景置信度信息，并进行适当的整合以更适合编码。整合时可以对16x16块内的前景置信度进行统计求平均，作为这个块的前景置信度，或者以16x16块内出现概率最高的前景置信度作为这个块的前景置信度，或者或对输入图像进行缩小处理，对缩小后的图像进行背景分析，获取缩小后的图像每个像素的前景置信度，然后把每个像素的置信度对应为输入图像的块的前景置信度(比如输入图像分辨率为1600x1200，缩小为200x150进行背景分析，获得200x150图像每个像素的前景置信度，则相应可获得该像素几何对应1600x1200图像上8x8块的前景置信度，其中缩小的方法不做限制)等等。整合后适合编码的前景置信度用于指导刷新帧和普通帧的编码参考。
获取背景图像标记：获取由背景分析模块输出的背景图像标记，作为编码模块的输入，指定对应的图像为背景图像。
编码模块：对输入的每一帧原始图像进行编码，输出不同类型的码流。
编码结果如图4和图5所示，因为只有当背景发生改变时，获取的背景图像才会更新，因此相应的背景帧间隔很长，刷新帧可以每隔2s更新一次。图4和图5的区别在于普通帧的参考帧(或者说参考帧重建图)是不同的，具体地说：图4中，刷新帧仅参考背景帧(箭头指向背景帧)，刷新帧后的第一个普通帧参考该刷新帧和背景帧，刷新帧后的其它普通帧参考其相邻的前一帧和背景帧；而图5中，刷新帧仅参考背景帧，刷新帧后的第一个普通帧和其它普通帧仅参考其相邻的前一帧。
不同的时刻输出不同的编码帧码流，如图4和图5所示，每隔1分钟输出一次背景帧码流，每个2s输出一次刷新帧码流，其余时刻输出普通帧码流。
编码的具体流程如下所述：
图6所示为背景帧编码模块的编码输入输出示意图，如图6所示，对于输入的背景图像，输入到背景帧编码模块，输出背景帧码流和背景帧重建图像。背景帧采用I帧方式进行编码，且仅采用I帧方式编码。背景帧仅当背景发生变化时才进行更新，通常情况下是不需要更新的。监控场景中，通常背景会保持长时间没有发生变化，所以两个背景帧之间的时间间隔会很长，如图4和图5所示，两个背景帧之间的时间间隔为1分钟。此外，两个背景帧之间的时间间隔可根据背景变化情况来进行相应调整，例如当背景变化频率并不高时，可以设置为10分钟。
如图7所示为刷新帧编码模块的输入输出示意图，如图7所示，刷新帧编码模块中输入原始图像和背景帧重建图像，输出刷新帧重建图像和刷新帧编码码流。
其中，刷新帧编码仅参考背景帧重建图像，如图4所示，刷新帧仅参考背景帧。
此外，背景分析模块输出的前景置信度信息经过整合后用于指导刷新帧编码的模式选择，前景置信度越低，则越倾向于从背景帧中获得的匹配块，前景置信度越高，则越倾向于用帧内预测得到的匹配块。两个刷新帧之间的时间间隔一般都较短，比如可以是1s或者2s。根据上述的模式选择原则，一般情况下刷新帧的前景部分是采用I帧的编码方式，背景部分采用P帧的编码方式，相比于标准的编码方法整帧都采用I帧的编码方式，可以节省大量编码比特。比如，当前帧的前景比例为10％，则采用上述方法后，编码比特约可以降为原先的10％。
同时由于对刷新帧中的前景置信度高的块倾向于采用帧内预测的方式进行编码，所以可以防止因预测量化引起的误差累积和扩散，达到了原先I帧的作用。
如图8和图9所示为普通帧编码模块的输入输出示意图。其中，
如图8所示，对于刷新帧之后的第一个普通帧，该模块输入原始图像，背景帧重建图像，刷新帧重建图像，输出普通帧重建图像，普通帧编码码流；如图9所示，对于其它时刻的普通帧，该模块输入原始图像，背景帧重建图像，普通帧重建图像，输出普通帧重建图像，普通帧编码码流。
普通帧采用P帧方式编码，刷新帧之后的第一个普通帧，能参考背景帧重建图像和刷新帧重建图像，其它的普通帧能参考背景帧重建图像和前一帧普通帧重建图像。如图4所示，普通帧可以参考背景帧以及刷新帧或者普通帧。
背景分析模块输出的前景置信度信息整合后用于指导普通帧编码的模式选择，前景置信度越低，则越倾向于从背景帧中获得的匹配块，前景置信度越高，则越倾向于从前一帧中获得的匹配块。
该优选例中普通帧的编码相对于现有编码方法的P帧编码仅增加了一帧参考帧，但是获得了整个图像序列不同时间段的背景信息做参考，所以在编码时可以获得更好的匹配块，特别是对于由于物体移动而新露出的背景，可以节省很大部分的编码比特，且获得更好的编码质量。如图10所示为不同时刻输入图像的差异对比图，如图所示，灰色部分是当前时刻的输入图像相对于前一时刻的图像新露出的背景，若采用标准的编码方法，仅能参考前一帧，但是前一帧里背景部分是被物体挡住的，找不到合适的匹配块，所以只能采用帧内预测的方式进行编码；若采用上述优选例的方法，此部分背景在很大程度上能在背景帧中找到合适的匹配块，可以采用帧间预测的方式进行编码，不仅节省编码比特且能提高编码质量。
对于普通帧的编码，最优的实施方式是采用两帧参考，一帧是前一帧，另一帧是背景帧。由于受到实现平台的限制，也可以采用次优的实施方式，即仅采用前一帧作为参考帧，在实现复杂度和压缩率之间做一个平衡。
本发明第四实施方式涉及一种视频解码方法，图11是该视频解码方法的流程示意图。
具体地说，如图11所示，该视频解码方法该方法包括以下步骤：
步骤201，对所获取的视频码流进行解析，得到背景帧，刷新帧和普通帧。
步骤202，对背景帧码流进行基于帧内预测的解码得到用于显示输出的背景帧重建图。
步骤203，根据背景帧重建图对刷新帧的至少一部分进行基于帧间预测的解码，得到用于显示输出的刷新帧重建图。
步骤204，根据背景帧重建图和相邻前一帧的重建图，或者仅根据相邻前一帧的重建图，对普通帧的至少一部分进行基于帧间预测的解码，得到用于显示输出的普通帧重建图。
此外，可以理解，背景帧是采用帧内预测的编码方式对背景图像进行编码得到的视频帧。刷新帧是根据一幅输入图像相对于背景帧重建图的差异，至少局部地采用帧间预测的编码方式对该输入图像进行编码得到的视频帧。普通帧是根据一幅输入图像相对于背景帧重建图和相邻前一帧的重建图的差异，至少局部地采用帧间预测的编码方式对该输入图像进行编码得到的视频帧。
在本实施方式中，随机访问时，只要先解码背景帧，然后再解码刷新帧，接着顺序解码普通帧即可获得随机访问的图像，能够对随机定位进行快速响应。
作为本实施方式的优选例，如图12所示为解码器流程图，如图所示，解码端在接收到输入码流之后进行解析，分别获取到背景帧码流，刷新帧码流和普通帧码流，若是接收到背景帧编码码流，则解码输出的重建图并进行显示输出，若是接收到刷新帧编码码流或者是普通帧编码码流，则解码输出的重建图进行显示输出。其中，码流解析模块的码流解析流程图如图13所示，其输入背景帧码流，刷新帧码流和普通帧码流，并将上述码流输出给解码模块。
该本发明的各方法实施方式均可以以软件、硬件、固件等方式实现。不管本发明是以软件、硬件、还是固件方式实现，指令代码都可以存储在任何类型的计算机可访问的存储器中(例如永久的或者可修改的，易失性的或者非易失性的，固态的或者非固态的，固定的或者可更换的介质等等)。同样，存储器可以例如是可编程阵列逻辑(Programmable Array Logic，简称“PAL”)、随机存取存储器(Random Access Memory，简称“RAM”)、可编程只读存储器(Programmable Read Only Memory，简称“PROM”)、只读存储器(Read-Only Memory，简称“ROM”)、电可擦除可编程只读存储器(Electrically Erasable Programmable ROM，简称“EEPROM”)、磁盘、光盘、数字通用光盘(Digital Versatile Disc，简称“DVD”)等等。
本发明第五实施方式涉及一种视频编码装置，图14是该视频编码装置的结构示意图。
具体地说，如图14所示，该装置包括：
背景图像获取模块，用于对至少一幅输入图像进行分析，从中选择一幅输入图像作为背景图像。
背景帧编码模块，用于采用帧内预测的编码方式对该背景图像进行编码得到背景帧，对已编码的背景帧解码得到背景帧重建图。
刷新帧编码模块，用于获取一幅输入图像作为第一图像，根据该第一图像相对于背景帧重建图的差异，至少局部地采用帧间预测的编码方式对第一图像进行编码得到刷新帧。
普通帧编码模块，用于获取一幅输入图像作为第二图像，根据该第二图像相对于背景帧重建图和相邻前一帧的重建图的差异，或相对于相邻前一帧重建图的差异，至少局部地采用帧间预测的编码方式对第二图像进行编码得到普通帧。
码流生成模块，用于根据背景帧、刷新帧和普通帧生成视频码流。
此外，可以理解，一般而言，多个刷新帧和基于这些刷新帧的各普通帧使用同一个背景帧重建图进行编码。其中，重建图是将编码后的帧按解码端的解码算法进行解码后得到的图像，因为编码的过程可能会有一些细节损失，所以重建图与输入图像(或称原始图像)可能会有些不同。使用重建图进行编码可以防止误差的累积。
本实施方式根据输入图像相对于背景帧重建图或者相对于背景帧重建图和相邻的前一输入图像的差异，至少局部地采用帧间预测的方式编码，相对于全部采用帧内预测方式编码节省了大量编码比特，对于存在大量冗余背景信息的场景，可以以更低的码率获得同等的图像质量，从而降低视频存储成本。此外，选择原始输入图像作为背景图像，此背景图像可直接用于显示，相比于用虚拟的一幅图像作为背景图像，对于现有系统的兼容性更好。
第一实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。
本发明第六实施方式涉及一种视频编码装置，第六实施方式在第五实施方式的基础上进行了改进，主要改进之处在于：将前景置信度最低的输入图像作为背景图像，能够更好地区分图像中的背景部分和前景部分；通过背景图像标记将对应的输入图像作为背景图像，此背景图像可直接用于显示。具体地说：
在背景图像获取模块中，包括以下子模块：
背景分析子模块，用于计算连续多幅输入图像像素的前景置信度信息；
背景获取子模块，用于将前景置信度最低的一幅输入图像作为背景图像。
优选地，在背景分析子模块中，还包括子模块：
背景图像标记输出子模块，用于根据连续多幅输入图像的前景置信度信息输出背景图像标记，背景图像标记用于指定对应的输入图像为背景图像。
相应优选地，在背景帧编码模块中，根据背景图像标记将对应的输入图像作为背景图像，采用帧内预测的编码方式对输入图像编码得到背景帧。
第二实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第二实施方式互相配合实施。第二实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第二实施方式中。
本发明第七实施方式涉及一种视频编码装置，第七实施方式在第五实施方式的基础上进行了改进，主要改进之处在于：将输入图像划分为前景部分和背景部分，仅对前景部分采用帧内预测的编码方式，而背景部分则以获取的背景帧重建图作为参考图像采用帧间预测的编码方式，相较于传统的将整帧都采用帧内预测的编码方式，节省了背景部分大量的编码比特，同时又防止因预测量化引起的误差累积和扩散，平衡了编码效率和误差控制；普通帧的编码相对于现有的P帧编码增加了背景帧重建图作为参考图像，在编码时可获得更好的匹配块，在节省编码比特的同时能够提高编码质量。具体地说：
优选地，在刷新帧编码模块中，包括以下子模块：
第一前景置信度获取子模块，用于获取第一图像中每个像素的前景置信度；
第一图像划分子模块，用于根据前景置信度与阈值比较，将第一图像划分为第一前景部分和第一背景部分；
刷新帧编码子模块，用于将第一前景部分采用帧内预测的方式进行编码，第一背景部分将背景帧重建图作为参考图像采用帧间预测的方式进行编码。
优选地，在普通帧编码模块中，包括以下子模块：
第二前景置信度获取子模块，用于获取第二图像中每个像素的前景置信度；
第二图像划分子模块，用于根据前景置信度与阈值比较，将第二图像划分为第二前景部分和第二背景部分；
普通帧编码子模块，用于将第二前景部分中至少有一部分将相邻前一帧的重建图作为参考图像采用帧间预测的方式进行编码，第二背景部分将背景帧重建图和/或相邻前一帧的重建图作为参考图像采用帧间预测的方式进行编码。
优选地，还包括置信度整合模块，用于对获取的每个像素的前景置信度进行整合。
该模块通过以下方式对前景置信度进行整合：
对输入图像的块内多个像素的前景置信度进行统计求平均，并将平均值作为该块的前景置信度；或
将输入图像的块内出现概率最高的前景置信度作为该块的前景置信度；或
计算缩小的输入图像的每个像素的前景置信度，将每个像素的前景置信度作为缩小前输入图像的对应块的前景置信度。
第三实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第三实施方式互相配合实施。第三实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第三实施方式中。
本发明第八实施方式涉及一种视频解码装置，图15是该视频解码装置的结构示意图。
该视频解码装置该方法包括以下模块：
码流解析模块，用于对所获取的视频码流进行解析，得到背景帧，刷新帧和普通帧；
背景帧解码模块，用于对背景帧码流进行基于帧内预测的解码得到用于显示输出的背景帧重建图；
刷新帧解码模块，用于根据背景帧重建图对刷新帧的至少一部分进行基于帧间预测的解码，得到用于显示输出的刷新帧重建图；
普通帧解码模块，用于根据背景帧重建图和相邻前一帧的重建图，或者仅根据相邻前一帧的重建图，对普通帧的至少一部分进行基于帧间预测的解码，得到用于显示输出的普通帧重建图。
此外，可以理解，背景帧是采用帧内预测的编码方式对背景图像进行编码得到的视频帧。刷新帧是根据一幅输入图像相对于背景帧重建图的差异，至少局部地采用帧间预测的编码方式对该输入图像进行编码得到的视频帧。普通帧是根据一幅输入图像相对于背景帧重建图和相邻前一帧的重建图的差异，至少局部地采用帧间预测的编码方式对该输入图像进行编码得到的视频帧。
本实施方式在随机访问时，只要先解码背景帧，然后再解码刷新帧，接着顺序解码普通帧即可获得随机访问的图像，能够对随机定位进行快速响应。
第四实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第四实施方式互相配合实施。第四实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第四实施方式中。
本申请创新点主要体现在：
1、获取并编码背景帧、刷新帧和普通帧；
2、刷新帧编码仅参考背景帧，普通帧编码可参考背景帧和前一帧；
3、刷新帧和普通帧依据前景置信度编码；
4、刷新帧和普通帧中编码块的前景置信度越高，被更快地更新的可能性越大；
本申请有益效果主要体现在：
1、分析获取并编码背景帧，背景帧的前景置信度相对较低。这样，以P帧编码方式编码的帧仅增加一帧编码参考帧，即可更加容易搜索到更好的匹配块，降低编码码率。
2、编码刷新帧，刷新帧仅参考背景帧，平衡了编码效率和随机访问。因为刷新帧中的块，前景置信度越低，则越倾向于从背景帧中获得的匹配块，前景置信度越高，则越倾向于用帧内预测得到的匹配块，相对于全部采用I帧方式编码节省了大量的编码比特，而随机访问时，只要先解码背景帧，然后再解码刷新帧，接着顺序解码后面的普通帧即可获得随机访问的图像，相对于现有的方法仅增加了一帧的解码代价。
需要说明的是，本发明各设备实施方式中提到的各模块都是逻辑模块，在物理上，一个逻辑模块可以是一个物理模块，也可以是一个物理模块的一部分，还可以以多个物理模块的组合实现，这些逻辑模块本身的物理实现方式并不是最重要的，这些逻辑模块所实现的功能的组合才是解决本发明所提出的技术问题的关键。此外，为了突出本发明的创新部分，本发明上述各设备实施方式并没有将与解决本发明所提出的技术问题关系不太密切的模块引入，这并不表明上述设备实施方式并不存在其它的模块。
需要说明的是，在本专利的权利要求和说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
虽然通过参照本发明的某些优选实施方式，已经对本发明进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (14)

1.一种视频编码方法，其特征在于，该方法包括以下步骤：
对至少一幅输入图像进行分析，从中选择一幅输入图像作为背景图像，采用帧内预测的编码方式对该背景图像进行编码得到背景帧，对已编码的背景帧解码得到背景帧重建图；
获取一幅输入图像作为第一图像，根据该第一图像相对于背景帧重建图的差异，至少局部地采用帧间预测的编码方式对第一图像进行编码得到刷新帧；
获取一幅输入图像作为第二图像，根据该第二图像相对于背景帧重建图和相邻前一帧的重建图的差异，或相对于相邻前一帧重建图的差异，至少局部地采用帧间预测的编码方式对第二图像进行编码得到普通帧；
根据所述背景帧、刷新帧和普通帧生成视频码流。
2.根据权利要求1所述的视频编码方法，其特征在于，在所述获取背景图像的步骤中，包括以下子步骤：
计算连续多幅输入图像像素的前景置信度信息；
将前景置信度最低的一幅输入图像作为背景图像。
3.根据权利要求2所述的视频编码方法，其特征在于，在所述“计算连续多幅输入图像像素的前景置信度信息”的步骤中，包括子步骤：
根据所述连续多幅输入图像的前景置信度信息输出背景图像标记，所述背景图像标记用于指定对应的输入图像为背景图像；
在所述“采用帧内预测的编码方式对该背景图像进行编码得到背景帧”的步骤中，包括子步骤：
根据所述背景图像标记将对应的输入图像作为背景图像，采用帧内预测的编码方式编码得到背景帧。
4.根据权利要求1所述的视频编码方法，其特征在于，在所述“获取一幅输入图像作为第一图像，根据该第一图像相对于背景帧重建图的差异，至少局部地采用帧间预测的编码方式对第一图像进行编码得到刷新帧”的步骤中，包括以下子步骤：
获取所述第一图像中每个像素的前景置信度；
根据所述前景置信度与阈值比较，将所述第一图像划分为第一前景部分和第一背景部分；
所述第一前景部分采用帧内预测的方式进行编码，所述第一背景部分将所述背景帧重建图作为参考图像采用帧间预测的方式进行编码。
5.根据权利要求1所述的视频编码方法，其特征在于，在所述“获取一幅输入图像作为第二图像，根据该第二图像相对于背景帧重建图和相邻前一帧的重建图的差异，或相对于相邻前一帧重建图的差异，至少局部地采用帧间预测的编码方式对第二图像进行编码得到普通帧”的步骤中，包括以下子步骤：
获取所述第二图像中每个像素的前景置信度；
根据所述前景置信度与阈值比较，将所述第二图像划分为第二前景部分和第二背景部分；
所述第二前景部分中至少有一部分将相邻前一帧的重建图作为参考图像采用帧间预测的方式进行编码，所述第二背景部分将所述背景帧重建图和/或相邻前一帧的重建图作为参考图像采用帧间预测的方式进行编码。
6.根据权利要求4或5所述的视频编码方法，其特征在于，在所述获取每个像素的前景置信度的步骤之后，包括步骤：
对所述获取的每个像素的前景置信度进行整合，该步骤包括以下子步骤：
对输入图像的宏块内多个像素的前景置信度进行统计求平均，并将平均值作为该块的前景置信度；或
将输入图像的宏块内出现概率最高的前景置信度作为该块的前景置信度；
或
计算缩小的输入图像的每个像素的前景置信度，将每个像素的前景置信度作为缩小前输入图像的对应宏块的前景置信度。
7.一种视频解码方法，其特征在于，该方法包括以下步骤：
对所获取的视频码流进行解析，得到背景帧，刷新帧和普通帧；
对所述背景帧码流进行基于帧内预测的解码得到背景帧重建图；
根据所述背景帧重建图对所述刷新帧的至少一部分进行基于帧间预测的解码，得到用于显示输出的刷新帧重建图；
根据所述背景帧重建图和相邻前一帧的重建图，或者根据相邻前一帧的重建图，对所述普通帧的至少一部分进行基于帧间预测的解码，得到用于显示输出的普通帧重建图。
8.一种视频编码装置，其特征在于，该方法包括以下模块：
背景图像获取模块，用于对至少一幅输入图像进行分析，从中选择一幅输入图像作为背景图像；
背景帧编码模块，用于采用帧内预测的编码方式对该背景图像进行编码得到背景帧，对已编码的背景帧解码得到背景帧重建图；
刷新帧编码模块，用于获取一幅输入图像作为第一图像，根据该第一图像相对于背景帧重建图的差异，至少局部地采用帧间预测的编码方式对第一图像进行编码得到刷新帧；
普通帧编码模块，用于获取一幅输入图像作为第二图像，根据该第二图像相对于背景帧重建图和相邻前一帧的重建图的差异，或者相对于相邻前一帧的重建图的差异，至少局部地采用帧间预测的编码方式对第二图像进行编码得到普通帧；
码流生成模块，用于根据所述背景帧、刷新帧和普通帧生成视频码流。
9.根据权利要求8所述的视频编码装置，其特征在于，在所述背景图像获取模块中，包括以下子模块：
背景分析子模块，用于计算连续多幅输入图像像素的前景置信度信息；
背景获取子模块，用于将前景置信度最低的一幅输入图像作为背景图像。
10.根据权利要求9所述的视频编码装置，其特征在于，在所述背景分析子模块中，还包括子模块：
背景图像标记输出子模块，用于根据所述连续多幅输入图像的前景置信度信息输出背景图像标记，所述背景图像标记用于指定对应的输入图像为背景图像；
在所述背景帧编码模块中，根据所述背景图像标记将对应的输入图像作为背景图像，采用帧内预测的编码方式对所述输入图像编码得到背景帧。
11.根据权利要求8所述的视频编码装置，其特征在于，在所述刷新帧编码模块中，包括以下子模块：
第一前景置信度获取子模块，用于获取所述第一图像中每个像素的前景置信度；
第一图像划分子模块，用于根据所述前景置信度与阈值比较的结果，将所述第一图像划分为第一前景部分和第一背景部分；
刷新帧编码子模块，用于将所述第一前景部分采用帧内预测的方式进行编码，所述第一背景部分将所述背景帧重建图作为参考图像采用帧间预测的方式进行编码。
12.根据权利要求8所述的视频编码装置，其特征在于，在所述普通帧编码模块中，包括以下子模块：
第二前景置信度获取子模块，用于获取所述第二图像中每个像素的前景置信度；
第二图像划分子模块，用于根据所述前景置信度与阈值比较的结果，将所述第二图像划分为第二前景部分和第二背景部分；
普通帧编码子模块，用于将所述第二前景部分中至少有一部分将相邻前一帧的重建图作为参考图像采用帧间预测的方式进行编码，所述第二背景部分以所述背景帧重建图和/或相邻前一帧的重建图作为参考图像采用帧间预测的方式进行编码。
13.根据权利要求11或12所述的视频编码装置，其特征在于，还包括：
置信度整合模块，用于对所述获取的每个像素的前景置信度进行整合；
该模块通过以下方式对前景置信度进行整合：
对输入图像的宏块内多个像素的前景置信度进行统计求平均，并将平均值作为该块的前景置信度；或
将输入图像的宏块内出现概率最高的前景置信度作为该块的前景置信度；
或
计算缩小的输入图像的每个像素的前景置信度，将每个像素的前景置信度作为缩小前输入图像的对应宏块的前景置信度。
14.一种视频解码装置，其特征在于，该方法包括以下模块：
码流解析模块，用于对所获取的视频码流进行解析，得到背景帧，刷新帧和普通帧；
背景帧解码模块，用于对所述背景帧码流进行基于帧内预测的解码得到背景帧重建图；
刷新帧解码模块，用于根据所述背景帧重建图对所述刷新帧的至少一部分进行基于帧间预测的解码，得到用于显示输出的刷新帧重建图；
普通帧解码模块，用于根据所述背景帧重建图和相邻前一帧的重建图，或者根据相邻前一帧的重建图，对所述普通帧的至少一部分进行基于帧间预测的解码，得到用于显示输出的普通帧重建图。
CN201510024059.9A 2015-01-16 2015-01-16 视频编解码方法及其装置 Active CN105847793B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201510024059.9A CN105847793B (zh) 2015-01-16 2015-01-16 视频编解码方法及其装置
US14/995,243 US10567796B2 (en) 2015-01-16 2016-01-14 Systems, devices and methods for video encoding and decoding
EP16154510.8A EP3094090B1 (en) 2015-01-16 2016-02-05 Systems, devices and methods for video encoding and decoding

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510024059.9A CN105847793B (zh) 2015-01-16 2015-01-16 视频编解码方法及其装置

Publications (2)

Publication Number Publication Date
CN105847793A true CN105847793A (zh) 2016-08-10
CN105847793B CN105847793B (zh) 2019-10-22

Family

ID=55361339

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510024059.9A Active CN105847793B (zh) 2015-01-16 2015-01-16 视频编解码方法及其装置

Country Status (3)

Country Link
US (1) US10567796B2 (zh)
EP (1) EP3094090B1 (zh)
CN (1) CN105847793B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108600755A (zh) * 2018-04-19 2018-09-28 西安万像电子科技有限公司 图像帧编码方法及装置
CN109495749A (zh) * 2018-12-24 2019-03-19 上海国茂数字技术有限公司 一种视频编解码、检索方法及装置
CN111669600A (zh) * 2020-06-05 2020-09-15 浙江大华技术股份有限公司 视频编码方法、装置、编码器及存储装置
CN112714322A (zh) * 2020-12-28 2021-04-27 福州大学 一种面向游戏视频的帧间参考优化方法
CN113055670A (zh) * 2021-03-08 2021-06-29 杭州裕瀚科技有限公司 一种基于hevc/h.265的视频编码的方法及系统
CN113556551A (zh) * 2020-04-23 2021-10-26 上海高德威智能交通系统有限公司 一种编码、解码方法、装置及设备
CN114245145A (zh) * 2021-12-18 2022-03-25 杭州视洞科技有限公司 一种基于背景帧的监控设备视频压缩方法
CN116744015A (zh) * 2022-03-02 2023-09-12 格兰菲智能科技有限公司 场景帧处理方法及其装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106034237B (zh) 2015-03-10 2020-07-03 杭州海康威视数字技术股份有限公司 一种基于编码切换的混合编码方法和系统
CN109587507A (zh) * 2018-10-26 2019-04-05 西安科锐盛创新科技有限公司 基于视频监控系统的视频数据处理方法及其设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6999620B1 (en) * 2001-12-10 2006-02-14 Hewlett-Packard Development Company, L.P. Segmenting video input using high-level feedback
US20080247469A1 (en) * 2007-04-04 2008-10-09 Sarat Chandra Vadapalli Method and device for tracking error propagation and refreshing a video stream
CN101742321A (zh) * 2010-01-12 2010-06-16 浙江大学 基于图层分解的视频编、解码方法及装置
CN101883284A (zh) * 2010-06-21 2010-11-10 北京大学 基于背景建模和可选差分模式的视频编/解码方法及系统
US20120169923A1 (en) * 2010-12-30 2012-07-05 Pelco Inc. Video coding
CN104053006A (zh) * 2014-06-18 2014-09-17 上海理工大学 基于帧间差分背景图像的视频图像压缩感知重构方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6546052B1 (en) * 1998-05-29 2003-04-08 Canon Kabushiki Kaisha Image processing apparatus and method, and computer-readable memory
JP2003018604A (ja) 2001-07-04 2003-01-17 Matsushita Electric Ind Co Ltd 画像信号符号化方法、画像信号符号化装置および記録媒体
WO2003084235A1 (en) 2002-03-28 2003-10-09 British Telecommunications Public Limited Company Video pre-processing
IES20060559A2 (en) 2006-02-14 2006-11-01 Fotonation Vision Ltd Automatic detection and correction of non-red flash eye defects
CN101729902B (zh) 2008-10-15 2012-09-05 深圳市融创天下科技股份有限公司 一种视频压缩方法
US9232233B2 (en) 2011-07-01 2016-01-05 Apple Inc. Adaptive configuration of reference frame buffer based on camera and background motion
CN103179402A (zh) 2013-03-19 2013-06-26 中国科学院半导体研究所 一种视频压缩编码与解码方法及其装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6999620B1 (en) * 2001-12-10 2006-02-14 Hewlett-Packard Development Company, L.P. Segmenting video input using high-level feedback
US20080247469A1 (en) * 2007-04-04 2008-10-09 Sarat Chandra Vadapalli Method and device for tracking error propagation and refreshing a video stream
CN101742321A (zh) * 2010-01-12 2010-06-16 浙江大学 基于图层分解的视频编、解码方法及装置
CN101883284A (zh) * 2010-06-21 2010-11-10 北京大学 基于背景建模和可选差分模式的视频编/解码方法及系统
US20120169923A1 (en) * 2010-12-30 2012-07-05 Pelco Inc. Video coding
CN104053006A (zh) * 2014-06-18 2014-09-17 上海理工大学 基于帧间差分背景图像的视频图像压缩感知重构方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108600755A (zh) * 2018-04-19 2018-09-28 西安万像电子科技有限公司 图像帧编码方法及装置
CN108600755B (zh) * 2018-04-19 2021-04-02 西安万像电子科技有限公司 图像帧编码方法及装置
CN109495749A (zh) * 2018-12-24 2019-03-19 上海国茂数字技术有限公司 一种视频编解码、检索方法及装置
CN113556551A (zh) * 2020-04-23 2021-10-26 上海高德威智能交通系统有限公司 一种编码、解码方法、装置及设备
CN111669600A (zh) * 2020-06-05 2020-09-15 浙江大华技术股份有限公司 视频编码方法、装置、编码器及存储装置
CN111669600B (zh) * 2020-06-05 2024-03-29 浙江大华技术股份有限公司 视频编码方法、装置、编码器及存储装置
CN112714322A (zh) * 2020-12-28 2021-04-27 福州大学 一种面向游戏视频的帧间参考优化方法
CN112714322B (zh) * 2020-12-28 2023-08-01 福州大学 一种面向游戏视频的帧间参考优化方法
CN113055670A (zh) * 2021-03-08 2021-06-29 杭州裕瀚科技有限公司 一种基于hevc/h.265的视频编码的方法及系统
CN113055670B (zh) * 2021-03-08 2024-03-19 浙江裕瀚科技有限公司 一种基于hevc/h.265的视频编码的方法及系统
CN114245145A (zh) * 2021-12-18 2022-03-25 杭州视洞科技有限公司 一种基于背景帧的监控设备视频压缩方法
CN116744015A (zh) * 2022-03-02 2023-09-12 格兰菲智能科技有限公司 场景帧处理方法及其装置

Also Published As

Publication number Publication date
EP3094090B1 (en) 2021-08-18
US20160212444A1 (en) 2016-07-21
US10567796B2 (en) 2020-02-18
EP3094090A1 (en) 2016-11-16
CN105847793B (zh) 2019-10-22

Similar Documents

Publication Publication Date Title
CN105847793A (zh) 视频编解码方法及其装置
CN105847871A (zh) 视频编解码方法及其装置
CN107770524B (zh) 一种视频编解码处理方法及装置
CN100518315C (zh) 采用清晰度增强技术的空间可缩放的压缩方案的编解码器及方法
US7362907B2 (en) Image coding apparatus, image coding method, image decoding apparatus and image decoding method
CN101346719B (zh) 从视频帧中选择关键帧
US20130208795A1 (en) Encoding motion vectors for video compression
US8902994B1 (en) Deblocking filtering
CN101472181B (zh) 用于视频编码的可配置性能运动估计的方法、装置和系统
CN102576411A (zh) 场景改变检测
CN102075756B (zh) 视频多帧预测编解码方法和装置
KR100922510B1 (ko) 영상의 부호화 및 복호화 방법, 장치 및 그 애플리케이션
CN102036067A (zh) 运动图像编码设备及其控制方法
CN102282851A (zh) 图像处理装置、解码方法、帧内解码装置、帧内解码方法以及帧内编码装置
KR20090100279A (ko) 이미지 데이터 스트림의 생성을 위한 방법 및 디바이스, 현재의 이미지를 이미지 데이터 스트림으로부터 재구성하기위한 방법 및 디바이스, 이미지 데이터 스트림 및 이미지 데이터 스트림을 지니는 저장 매체
CN101569198A (zh) 解码装置以及解码方法
KR102453803B1 (ko) 이미지 처리 방법 및 장치
US9509991B2 (en) Processing and reproduction of frames
CN113055676B (zh) 基于深度网络视频编解码的后处理优化方法
US9172970B1 (en) Inter frame candidate selection for a video encoder
WO2014202830A1 (en) Processing and reproduction of frames
CN103227921A (zh) 高效视频编码帧内预测方法及装置
CN103248885B (zh) 帧内图像预测编解码方法及视频编解码器
CN109862207B (zh) 一种基于压缩域的kvm视频内容变化检测方法
CN107911705B (zh) 分析avs 2.0关键参数和查看解码后错误帧的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant