CN105872556B - 视频编码方法和装置 - Google Patents
视频编码方法和装置 Download PDFInfo
- Publication number
- CN105872556B CN105872556B CN201610222405.9A CN201610222405A CN105872556B CN 105872556 B CN105872556 B CN 105872556B CN 201610222405 A CN201610222405 A CN 201610222405A CN 105872556 B CN105872556 B CN 105872556B
- Authority
- CN
- China
- Prior art keywords
- frame
- background
- quality
- value
- background frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种视频编码方法和装置，属于视频编码技术领域。该方法包括：判断至少一个备选背景帧中每个备选背景帧是否满足预设规则，至少一个备选背景帧是通过预设的背景帧获取方式得到的背景帧；当至少一个备选背景帧中存在满足预设规则的备选背景帧时，在满足预设规则的备选背景帧中确定目标背景帧；将目标背景帧作为待编码视频序列中的帧间编码帧的参考帧插入待编码视频序列中进行视频编码，本发明解决了在无背景场景中插入背景帧时降低编码效率的问题，提高了视频编码的效率。
Description
技术领域
本发明涉及视频编码技术领域，特别涉及一种视频编码方法和装置。
背景技术
在视频录制场景中，为了减少视频的存储空间，需要进行视频编码，视频编码是指通过特定的压缩技术，将某个视频格式的文件转换成另一种视频格式文件的方式。为了进行视频编码，需要根据摄像装置(如监控摄像机)拍摄的视频确定参考帧，该参考帧为帧间编码帧(Inter frame)编码时所需参考的帧。
现有技术中主要通过背景建模方式或背景帧选取方式来确定参考帧，背景建模方式的具体过程为：先获取一段时间内输入到编码器的至少一个图像，再得到该至少一个图像中每个图像的背景区域图像，然后对所有图像的背景区域图像进行重新组合，通过建模方式得到一副完整的背景帧，接着将该背景帧插入到待编码视频序列中，且将该背景帧作为参考帧，以被该背景帧之后的帧间编码帧编码时所参考。参考帧包括长期参考帧和短期参考帧。该背景帧会被一直作为参考帧直到新的背景帧插入到待编码视频序列中。此外，可以将该背景帧作为待编码视频序列中的瞬时解码刷新(英文：Instantaneous DecodingRefresh；简称：IDR)帧，即首个帧内编码帧(帧内编码帧又称I帧)，并使用较低量化参数进行编码。背景帧选取方式的具体过程为：先获取一段时间内输入到编码器的至少一个图像，再评估该至少一个图像中每个图像的背景区域所占比例，然后选取背景区域比例最高的图像作为背景帧，插入到待编码视频序列中，并将选取的背景帧作为参考帧。
上述方式能够在静止场景(如摄像装置始终处于静止状态)或视频的前景物体较少时，得到质量较好的背景帧，进而得到质量较好的参考帧，但由于实际视频录制场景中，摄像装置所处背景的稳定程度或视频的前景物体的多少是无法预知的，所以当存在频繁进行动静切换(如摄像装置时而静止时而抖动)的场景或视频的前景物体较多时，上述方式得到的背景图像包含的背景区域较少或者较为模糊，背景帧的质量较差，最终得到的参考帧的质量较差，而如果继续将质量较差的背景帧插入待编码视频序列中，会降低编码效率。
发明内容
为了解决现有技术中视频编码过程中，在无背景场景中(例如存在频繁进行动静切换或视频的前景物体较多时)插入背景帧时降低编码效率的问题，本发明实施例提供了一种视频编码方法和装置。所述技术方案如下：
第一方面，提供了一种视频编码方法，该方法包括：
判断至少一个备选背景帧中每个备选背景帧是否满足预设规则，至少一个备选背景帧是通过预设的背景帧获取方式得到的背景帧；
当至少一个备选背景帧中存在满足预设规则的备选背景帧时，在满足预设规则的备选背景帧中确定目标背景帧；
将目标背景帧作为待编码视频序列中的帧间编码帧的参考帧插入待编码视频序列中，以进行视频编码。
该视频编码能够在至少一个备选背景帧中存在满足预设规则的备选背景帧时，在满足预设规则的备选背景帧中确定目标背景帧，并将目标背景帧作为待编码视频序列中的帧间编码帧的参考帧插入待编码视频序列中，该过程避免了将质量较差的背景帧插入待编码视频序列中占用码率，从而提高了视频编码的效率。
可选的，预设规则为：背景帧的质量指标参数满足预设的质量要求，该质量指标参数为用于衡量背景帧质量的参数。
可选的，当至少一个备选背景帧中满足预设规则的备选背景帧为一个背景帧时，则直接将该备选背景帧确定为目标背景帧。
可选的，背景帧获取方式可以为背景建模方式，也可以为背景帧选取方式，还可以为其他任一背景帧获取方式，如帧像素平均值方式或混合高斯建模方式等，背景帧获取方式还可以为上述多种背景帧获取方式的各种组合。每一种背景帧获取方式得到一个背景帧。
可选的，质量指标参数为第一质量指标，第一质量指标的值等于备选背景帧与待编码视频序列中当前时刻待编码的帧间编码帧的相似度，质量要求为：质量指标参数的值大于预设的质量阈值，质量指标参数的值大于质量阈值的备选背景帧包括至少两个背景帧，在满足预设规则的备选背景帧中确定目标背景帧，包括：
在质量指标参数的值大于质量阈值的备选背景帧中选择质量指标参数的值最大的背景帧作为目标背景帧；
或，在质量指标参数的值大于质量阈值的备选背景帧中随机选择一个背景帧作为目标背景帧。
可选的，质量要求还可以为：质量指标参数的值大于视频编码过程中产生的随机值。
该视频编码方法能够通过质量指标参数决定将至少两种背景帧获取方式中的哪一种背景帧获取方式获取的备选背景帧作为待编码视频序列中的帧间编码帧的参考帧，提高了插入背景帧的灵活度和视频编码的效率。
可选的，质量指标参数为第三质量指标，第三质量指标的值等于1-P，P为备选背景帧与待编码视频序列中当前时刻待编码的帧间编码帧的相似度，质量要求为：质量指标参数的值小于预设的质量阈值，质量指标参数的值小于质量阈值的备选背景帧包括至少两个背景帧，在满足预设规则的备选背景帧中确定目标背景帧，包括：
在质量指标参数的值小于质量阈值的备选背景帧中选择质量指标参数的值最小的背景帧作为目标背景帧；
或，在质量指标参数的值小于质量阈值的备选背景帧中随机选择一个背景帧作为目标背景帧。
可选的，质量要求还可以为：质量指标参数的值小于视频编码过程中产生的随机值。
该视频编码方法能够通过质量指标参数决定将至少两种背景帧获取方式中的哪一种背景帧获取方式获取的备选背景帧作为待编码视频序列中的帧间编码帧的参考帧，提高了插入背景帧的灵活度和视频编码的效率。
可选的，质量指标参数为第二质量指标，第二质量指标的值由第一质量指标的值迭代得到，第一质量指标的值等于备选背景帧与待编码视频序列中当前时刻待编码的帧间编码帧的相似度，质量要求为：质量指标参数的值大于预设的质量阈值，质量指标参数的值大于质量阈值的备选背景帧包括至少两个背景帧，在判断至少一个备选背景帧中每个备选背景帧是否满足预设规则之前，该方法还包括：
根据每个备选背景帧的第一质量指标的值确定每个备选背景帧的第二质量指标的值；
在满足预设规则的备选背景帧中确定目标背景帧，包括：
在质量指标参数的值大于质量阈值的备选背景帧中选择质量指标参数的值最大的背景帧作为目标背景帧。
该视频编码方法中的质量指标参数可以为第一质量指标，也可以为第二质量指标，还可以为第三质量指标，还可以为其他任一用于衡量背景帧质量的参数。该视频编码方法能够通过质量指标参数决定将至少两种背景帧获取方式中的哪一种背景帧获取方式获取的备选背景帧作为待编码视频序列中的帧间编码帧的参考帧，提高了插入背景帧的灵活度和视频编码的效率。该视频编码方法还可以在视频编码过程中，不断更新质量指标参数的值，从而能够准确判断是否插入背景帧。
可选的，根据每个备选背景帧的第一质量指标的值确定每个备选背景帧的第二质量指标的值，包括：
根据每个备选背景帧的第一质量指标的值D(t)按照质量计算公式确定每个备选背景帧的第二质量指标的值C(t)，并且计算第二质量指标的值C(t)的质量计算公式为：
其中，a为权重系数，且0≤a≤1，t表示帧数。
可选的，每个备选背景帧和当前时刻待编码的帧间编码帧分别包括至少一个背景块，计算每个备选背景帧与当前时刻待编码的帧间编码帧的相似度，包括：
判断当前时刻待编码的帧间编码帧的第一背景块的像素与每个备选背景帧的第二背景块的像素的差值是否小于预设的差值阈值，第一背景块在当前时刻待编码的帧间编码帧上的位置与第二背景块在每个备选背景帧上的位置相对应；
对于每个备选背景帧，当第一背景块的像素与第二背景块的像素的差值小于差值阈值时，将第二背景块作为目标背景块，
确定备选背景帧上的目标背景块的个数，
将备选背景帧上的目标背景块的个数与背景块的总数的比值作为相似度。
该视频编码方法能够通过备选背景帧与待编码视频序列中当前时刻待编码的帧间编码帧的相似度，确定备选背景帧的质量指标参数的值，从而判断至少一个备选背景帧中每个备选背景帧是否满足预设规则。
可选的，在判断至少一个备选背景帧中每个备选背景帧是否满足预设规则之后，该方法还包括：
当至少一个备选背景帧中所有备选背景帧均不满足预设规则时，将待编码视频序列中的已有帧按照预设画面组(英文：Group of Picture；简称：GOP)结构所定义的参考关系进行视频编码。
可选的，当至少一个备选背景帧中所有备选背景帧均不满足预设规则时，还可以按照其他预设方式进行视频编码，如按照帧的间隔等参数进行视频编码。
该视频编码方法能够在至少一个备选背景帧中所有备选背景帧均不满足预设规则时，则不插入背景帧，将待编码视频序列中的已有帧按照预设GOP结构所定义的参考关系或其他预设方式进行视频编码，相较于现有技术，提高了插入背景帧的灵活度。
可选的，预设GOP结构包括IPPP结构和IBBBP结构中的任意一种。
可选的，背景帧获取方式可以包括背景建模方式和背景帧选取方式。
可选的，在将目标背景帧作为待编码视频序列中的帧间编码帧的参考帧插入待编码视频序列中之后，该方法还包括：
对插入了目标背景帧的待编码视频序列中的编码帧进行编码，该插入了目标背景帧的编码帧包括目标背景帧和帧间编码帧，其中，目标背景帧采用帧内编码模式进行编码，帧间编码帧采用帧间编码模式参考目标背景帧进行编码。
为了提高视频质量，可以采用帧内编码模式按照预设的量化步长对目标背景帧进行编码，采用帧内编码模式按照较小的量化步长对目标背景帧进行编码，不仅实现了提高目标背景帧和待编码视频序列中的帧间编码帧的质量的效果，还实现了消耗较小码率的效果。
可选的，参考帧包括长期参考帧和短期参考帧中的任意一种。
该视频编码方法中的目标背景帧不限于仅以长期参考帧的方式被待编码视频序列中的帧间编码帧所参考，在待编码视频序列的帧数不多，或者对额外占用码率的要求不高的情况下，目标背景帧可以以短期参考帧的方式被待编码视频序列中的帧间编码帧所参考。
可选的，在将目标背景帧作为待编码视频序列中的帧间编码帧的参考帧插入待编码视频序列中之后，该方法还包括：
在待编码视频序列中的帧间编码帧的参数集内添加目标背景帧的语法元素，语法元素用于指示目标背景帧作为长期参考帧的使用方式。
在待编码视频序列中的帧间编码帧的参数集内添加目标背景帧的语法元素，以对待编码视频序列中的帧间编码帧进行编码。
可选的，在待编码视频序列中的帧间编码帧的参数集内添加目标背景帧的语法元素之后，该方法还包括：
在待编码视频序列中的帧间编码帧的参数集内添加待编码视频序列中的至少一个帧间编码帧的语法元素。
待编码视频序列中的帧间编码帧可以参考目标背景帧，同时还可以参考其他一个或多个帧间编码帧，其他一个或多个帧间编码帧可以作为长期参考帧被待编码视频序列中的帧间编码帧所参考，也可以作为短期参考帧被待编码视频序列中的帧间编码帧所参考。
可选的，参数集包括序列参数集和参考图像集。
该视频编码方法还可以不直接评估背景帧的质量，而是通过其它一些信号来决定是否插入背景帧。如在摄像装置处于抖动状态的情况下，或者，在光照强度处于快速变化状态的情况下，或者，在视频图像的噪音强度大于预设噪音强度值的情况下等等都可以决定不插入背景帧。其中，用于指示摄像装置的抖动状态的信号、用于指示光照强度的信号及用于指示视频图像的噪音强度的信号均可以由感应装置获得。
该视频编码方法除了通过直接评估背景帧的质量，或通过其它一些信号来决定是否插入背景帧，还可以按照其它方式决定是否插入背景帧，如：在第一预设时间段内插入背景帧，同时跟踪记录第一预设时间段内的视频编码消耗的码率和视频图像的重构帧的质量，在第一预设时间段之后的第二预设时间段内不插入背景帧，同时跟踪记录第二预设时间段内的视频编码消耗的码率和视频图像的重构帧的质量，然后比较两次记录的码率和重构帧的质量，当第一预设时间段内的码率更小，且重构帧的质量更好时，在以后的视频编码过程中选择插入背景帧的方式进行视频编码；当第二预设时间段内的码率更小，且重构帧的质量更好时，在以后的视频编码过程中选择不插入背景帧的方式进行视频编码。
第二方面，提供了一种视频编码装置，该装置包括：
第一判断单元，用于判断至少一个备选背景帧中每个备选背景帧是否满足预设规则，至少一个备选背景帧是通过预设的背景帧获取方式得到的背景帧；
第一确定单元，用于当至少一个备选背景帧中存在满足预设规则的备选背景帧时，在满足预设规则的备选背景帧中确定目标背景帧；
插入单元，用于将目标背景帧作为待编码视频序列中的帧间编码帧的参考帧插入待编码视频序列中，以进行视频编码。
可选的，预设规则为：背景帧的质量指标参数满足预设的质量要求，质量指标参数为用于衡量背景帧质量的参数。
可选的，第一确定单元用于当至少一个备选背景帧中满足预设规则的备选背景帧为一个背景帧时，则直接将该备选背景帧确定为目标背景帧。
可选的，背景帧获取方式可以为背景建模方式，也可以为背景帧选取方式，还可以为其他任一背景帧获取方式，如帧像素平均值方式或混合高斯建模方式等，背景帧获取方式还可以为上述多种背景帧获取方式的各种组合。每一种背景帧获取方式得到一个背景帧。
可选的，质量指标参数为第一质量指标，第一质量指标的值等于备选背景帧与待编码视频序列中当前时刻待编码的帧间编码帧的相似度，质量要求为：质量指标参数的值大于预设的质量阈值，质量指标参数的值大于质量阈值的备选背景帧包括至少两个背景帧，第一确定单元，包括：
第一选择模块，用于在质量指标参数的值大于质量阈值的备选背景帧中选择质量指标参数的值最大的背景帧作为目标背景帧；
或，第二选择模块，用于在质量指标参数的值大于质量阈值的备选背景帧中随机选择一个背景帧作为目标背景帧。
可选的，质量指标参数为第一质量指标时，质量要求还可以为：质量指标参数的值大于视频编码过程中产生的随机值。
可选的，质量指标参数为第三质量指标，第三质量指标的值等于1-P，P为备选背景帧与待编码视频序列中当前时刻待编码的帧间编码帧的相似度，质量要求为：质量指标参数的值小于预设的质量阈值，质量指标参数的值小于质量阈值的备选背景帧包括至少两个背景帧，第一确定单元，包括：
第四选择模块，用于在质量指标参数的值小于质量阈值的备选背景帧中选择质量指标参数的值最小的背景帧作为目标背景帧；
或，第五选择模块，用于在质量指标参数的值小于质量阈值的备选背景帧中随机选择一个背景帧作为目标背景帧。
可选的，质量指标参数为第三质量指标时，质量要求还可以为：质量指标参数的值小于视频编码过程中产生的随机值。
可选的，质量指标参数为第二质量指标，第二质量指标的值由第一质量指标的值迭代得到，第一质量指标的值等于备选背景帧与待编码视频序列中当前时刻待编码的帧间编码帧的相似度，质量要求为：质量指标参数的值大于预设的质量阈值，质量指标参数的值大于质量阈值的备选背景帧包括至少两个背景帧，该装置还包括：
第二确定单元，用于根据每个备选背景帧的第一质量指标的值确定每个备选背景帧的第二质量指标的值；
第一确定单元，包括：
第三选择模块，用于在质量指标参数的值大于质量阈值的备选背景帧中选择质量指标参数的值最大的背景帧作为目标背景帧。
可选的，第二确定单元，包括：
确定模块，用于根据每个备选背景帧的第一质量指标的值D(t)按照质量计算公式计算每个备选背景帧的第二质量指标的值C(t)，并且计算第二质量指标的值C(t)的质量计算公式为：
其中，a为权重系数，且0≤a≤1，t表示帧数。
可选的，每个备选背景帧和当前时刻待编码的帧间编码帧分别包括至少一个背景块，该装置还包括：
第二判断单元，用于判断当前时刻待编码的帧间编码帧的第一背景块的像素与每个备选背景帧的第二背景块的像素的差值是否小于预设的差值阈值，第一背景块在当前时刻待编码的帧间编码帧上的位置与第二背景块在每个备选背景帧上的位置相对应；
第一处理单元，用于对于每个备选背景帧，当第一背景块的像素与第二背景块的像素的差值小于差值阈值时，将第二背景块作为目标背景块，
第三确定单元，用于确定备选背景帧上的目标背景块的个数，
第二处理单元，用于将备选背景帧上的目标背景块的个数与背景块的总数的比值作为相似度。
可选的，该装置还包括：
第三处理单元，用于当至少一个备选背景帧中所有备选背景帧均不满足预设规则时，将待编码视频序列中的已有帧按照预设GOP结构所定义的参考关系进行视频编码。
可选的，第三处理单元，还用于当至少一个备选背景帧中所有备选背景帧均不满足预设规则时，按照其他预设方式进行视频编码，如按照帧的间隔等参数进行视频编码。
可选的，预设GOP结构包括IPPP结构和IBBBP结构中的任意一种。
可选的，背景帧获取方式可以包括背景建模方式和背景帧选取方式。
可选的，该装置还包括：
编码单元，用于对插入了目标背景帧的待编码视频序列中的编码帧进行编码，插入了目标背景帧的编码帧包括目标背景帧和帧间编码帧，其中，目标背景帧采用帧内编码模式进行编码，帧间编码帧采用帧间编码模式参考目标背景帧进行编码。
可选的，参考帧包括长期参考帧和短期参考帧中的任意一种。
可选的，该装置还包括：
第一添加单元，用于在待编码视频序列中的帧间编码帧的参数集内添加目标背景帧的语法元素，语法元素用于指示目标背景帧作为长期参考帧的使用方式。
可选的，该装置还包括：
第二添加单元，用于在待编码视频序列中的帧间编码帧的参数集内添加待编码视频序列中的至少一个帧间编码帧的语法元素。
可选的，参数集包括序列参数集和参考图像集。
第三方面，提供了一种视频编码装置，该装置包括：处理器、存储器、网络接口和总线。其中，总线用于连接处理器、存储器和网络接口，处理器用于执行存储器中存储的程序。处理器可以执行该程序来实现编码器，并使得该编码器执行下述视频编码方法：
判断至少一个备选背景帧中每个备选背景帧是否满足预设规则，至少一个备选背景帧是通过预设的背景帧获取方式得到的背景帧；
当至少一个备选背景帧中存在满足预设规则的备选背景帧时，在满足预设规则的备选背景帧中确定目标背景帧；
将目标背景帧作为待编码视频序列中的帧间编码帧的参考帧插入待编码视频序列中，以进行视频编码。
可选的，预设规则为：背景帧的质量指标参数满足预设的质量要求，质量指标参数为用于衡量背景帧质量的参数。
可选的，当至少一个备选背景帧中满足预设规则的备选背景帧为一个背景帧时，则直接将该备选背景帧确定为目标背景帧。
可选的，背景帧获取方式可以为背景建模方式，也可以为背景帧选取方式，还可以为其他任一背景帧获取方式，如帧像素平均值方式或混合高斯建模方式等，背景帧获取方式还可以为上述多种背景帧获取方式的各种组合。每一种背景帧获取方式得到一个背景帧。
可选的，质量指标参数为第一质量指标，第一质量指标的值等于备选背景帧与待编码视频序列中当前时刻待编码的帧间编码帧的相似度，质量要求为：质量指标参数的值大于预设的质量阈值，质量指标参数的值大于质量阈值的备选背景帧包括至少两个背景帧，在满足预设规则的备选背景帧中确定目标背景帧，包括：
在质量指标参数的值大于质量阈值的备选背景帧中选择质量指标参数的值最大的背景帧作为目标背景帧；
或，在质量指标参数的值大于质量阈值的备选背景帧中随机选择一个背景帧作为目标背景帧。
可选的，质量指标参数为第一质量指标时，质量要求还可以为：质量指标参数的值大于视频编码过程中产生的随机值。
可选的，质量指标参数为第三质量指标，第三质量指标的值等于1-P，P为备选背景帧与待编码视频序列中当前时刻待编码的帧间编码帧的相似度，质量要求为：质量指标参数的值小于预设的质量阈值，质量指标参数的值小于质量阈值的备选背景帧包括至少两个背景帧，在满足预设规则的备选背景帧中确定目标背景帧，包括：
在质量指标参数的值小于质量阈值的备选背景帧中选择质量指标参数的值最小的背景帧作为目标背景帧；
或，在质量指标参数的值小于质量阈值的备选背景帧中随机选择一个背景帧作为目标背景帧。
可选的，质量指标参数为第三质量指标时，质量要求还可以为：质量指标参数的值小于视频编码过程中产生的随机值。
可选的，质量指标参数为第二质量指标，第二质量指标的值由第一质量指标的值迭代得到，第一质量指标的值等于备选背景帧与待编码视频序列中当前时刻待编码的帧间编码帧的相似度，质量要求为：质量指标参数的值大于预设的质量阈值，质量指标参数的值大于质量阈值的备选背景帧包括至少两个背景帧，在判断至少一个备选背景帧中每个备选背景帧是否满足预设规则之前，该方法还包括：
根据每个备选背景帧的第一质量指标的值确定每个备选背景帧的第二质量指标的值；
在满足预设规则的备选背景帧中确定目标背景帧，包括：
在质量指标参数的值大于质量阈值的备选背景帧中选择质量指标参数的值最大的背景帧作为目标背景帧。
可选的，根据每个备选背景帧的第一质量指标的值确定每个备选背景帧的第二质量指标的值，包括：
根据每个备选背景帧的第一质量指标的值D(t)按照质量计算公式确定每个备选背景帧的第二质量指标的值C(t)，并且计算第二质量指标的值C(t)的质量计算公式为：
其中，a为权重系数，且0≤a≤1，t表示帧数。
可选的，每个备选背景帧和当前时刻待编码的帧间编码帧分别包括至少一个背景块，计算每个备选背景帧与当前时刻待编码的帧间编码帧的相似度，包括：
判断当前时刻待编码的帧间编码帧的第一背景块的像素与每个备选背景帧的第二背景块的像素的差值是否小于预设的差值阈值，第一背景块在当前时刻待编码的帧间编码帧上的位置与第二背景块在每个备选背景帧上的位置相对应；
对于每个备选背景帧，当第一背景块的像素与第二背景块的像素的差值小于差值阈值时，将第二背景块作为目标背景块，
确定备选背景帧上的目标背景块的个数，
将备选背景帧上的目标背景块的个数与背景块的总数的比值作为相似度。
可选的，在判断至少一个备选背景帧中每个备选背景帧是否满足预设规则之后，该方法还包括：
当至少一个备选背景帧中所有备选背景帧均不满足预设规则时，将待编码视频序列中的已有帧按照预设GOP结构所定义的参考关系进行视频编码。
可选的，当至少一个备选背景帧中所有备选背景帧均不满足预设规则时，还可以按照其他预设方式进行视频编码，如按照帧的间隔等参数进行视频编码。
可选的，预设GOP结构包括IPPP结构和IBBBP结构中的任意一种。
可选的，背景帧获取方式可以包括背景建模方式和背景帧选取方式。
可选的，在将目标背景帧作为待编码视频序列中的帧间编码帧的参考帧插入待编码视频序列中之后，该方法还包括：
对插入了目标背景帧的待编码视频序列中的编码帧进行编码，插入了目标背景帧的编码帧包括目标背景帧和帧间编码帧，其中，目标背景帧采用帧内编码模式进行编码，帧间编码帧采用帧间编码模式参考目标背景帧进行编码。
可选的，参考帧包括长期参考帧和短期参考帧中的任意一种。
可选的，在将目标背景帧作为待编码视频序列中的帧间编码帧的参考帧插入待编码视频序列中之后，该方法还包括：
在待编码视频序列中的帧间编码帧的参数集内添加目标背景帧的语法元素，语法元素用于指示目标背景帧作为长期参考帧的使用方式。
可选的，在待编码视频序列中的帧间编码帧的参数集内添加目标背景帧的语法元素之后，该方法还包括：
在待编码视频序列中的帧间编码帧的参数集内添加待编码视频序列中的至少一个帧间编码帧的语法元素。
可选的，参数集包括序列参数集和参考图像集。
本发明提供的技术方案带来的有益效果是：
本发明提供了一种视频编码方法和装置，能够在至少一个备选背景帧中存在满足预设规则的备选背景帧时，在满足预设规则的备选背景帧中确定目标背景帧，并将目标背景帧作为待编码视频序列中的帧间编码帧的参考帧插入待编码视频序列中，相较于现有技术，避免了将质量较差的背景帧插入待编码视频序列中，因此，提高了视频编码的效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种视频编码方法的流程图；
图2-1是本发明实施例提供的另一种视频编码方法的流程图；
图2-2是本发明实施例提供的一种确定备选背景帧的质量指标参数的值的流程图；
图2-3是一个备选背景帧和当前时刻待编码的帧间编码帧的结构示意图；
图2-4是图2-1所示实施例中将目标背景帧作为待编码视频序列中的帧间编码帧的参考帧插入待编码视频序列中之后的待编码视频序列的结构示意图；
图2-5是图2-1所示实施例中将待编码视频序列中的已有帧按照IPPPP结构所定义的参考关系进行视频编码的结构示意图；
图3-1是本发明实施例提供的一种视频编码装置的结构示意图；
图3-2是图3-1所示实施例中一种第一确定单元的结构示意图；
图3-3是图3-1所示实施例中另一种第一确定单元的结构示意图；
图3-4是图3-1所示实施例中又一种第一确定单元的结构示意图；
图3-5是图3-1所示实施例中再一种第一确定单元的结构示意图；
图3-6是本发明实施例提供的另一种视频编码装置的结构示意图；
图3-7是图3-1所示实施例中一种第一确定单元的结构示意图；
图3-8是图3-6所示实施例中一种第二确定单元的结构示意图；
图4是本发明实施例提供的一种视频编码装置的结构示意图。
通过上述附图，已示出本发明明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本发明构思的范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
本发明实施例提供了一种视频编码方法，用于编码器，如图1所示，该视频编码方法包括：
步骤101、判断至少一个备选背景帧中每个备选背景帧是否满足预设规则，该至少一个备选背景帧是通过预设的背景帧获取方式得到的背景帧。
步骤102、当至少一个备选背景帧中存在满足预设规则的备选背景帧时，在满足预设规则的备选背景帧中确定目标背景帧。
步骤103、将目标背景帧作为待编码视频序列中的帧间编码帧的参考帧插入待编码视频序列中，以进行视频编码。
综上所述，本发明实施例提供的视频编码方法，该方法能够在至少一个备选背景帧中存在满足预设规则的备选背景帧时，在满足预设规则的备选背景帧中确定目标背景帧，并将目标背景帧作为待编码视频序列中的帧间编码帧的参考帧插入待编码视频序列中，相较于现有技术，避免了将质量较差的背景帧插入待编码视频序列中，因此，提高了视频编码的效率。
本发明实施例提供了另一种视频编码方法，用于编码器，如图2-1所示，该视频编码方法可以包括：
步骤201、通过预设的背景帧获取方式获取至少一个备选背景帧。
至少一个备选背景帧可以设置在一个背景帧库中。背景帧获取方式可以包括一种背景帧获取方式，也可以包括至少两种背景帧获取方式。示例的，背景帧获取方式可以为背景建模方式，也可以为背景帧选取方式，还可以为其他任一背景帧获取方式，如帧像素平均值方式或混合高斯建模方式等，还可以为上述多种背景帧获取方式的各种组合，每一种背景帧获取方式可以得到一个背景帧。本发明对背景帧获取方式的具体形式不做限定。
步骤202、判断至少一个备选背景帧中每个备选背景帧是否满足预设规则。
可选的，该预设规则可以为：背景帧的质量指标参数满足预设的质量要求，该质量指标参数为用于衡量背景帧质量的参数。
可选的，质量指标参数可以为第一质量指标，该第一质量指标的值等于备选背景帧与待编码视频序列中当前时刻待编码的帧间编码帧的相似度时，质量要求可以为：质量指标参数的值大于预设的质量阈值(该质量阈值可以通过实验统计得到)，第一质量指标的值等于备选背景帧与待编码视频序列中当前时刻待编码的帧间编码帧的相似度，所以质量指标参数的值越大，表明背景帧的质量越好。此外，质量要求还可以为：质量指标参数的值大于视频编码过程中产生的随机值。本发明实施例对质量要求的内容不做限定。
质量指标参数也可以为第三质量指标，该第三质量指标的值等于1-P时，其中，P为备选背景帧与待编码视频序列中当前时刻待编码的帧间编码帧的相似度，质量要求可以为：质量指标参数的值小于预设的质量阈值，第三质量指标的值等于1-P，所以质量指标参数的值越小，表明背景帧的质量越好。此外，质量要求还可以为：质量指标参数的值小于视频编码过程中产生的随机值。本发明实施例对质量要求的内容不做限定。
在步骤202之前，如图2-2所示，该视频编码方法还可以包括：
步骤2021、计算每个备选背景帧与待编码视频序列中当前时刻待编码的帧间编码帧的相似度。
具体的，每个备选背景帧和当前时刻待编码的帧间编码帧分别包括至少一个背景块。图2-3示出了某一备选背景帧和当前时刻待编码的帧间编码帧的结构示意图。图2-3中，备选背景帧和当前时刻待编码的帧间编码帧包括2*2个背景块，即备选背景帧包括4个背景块，当前时刻待编码的帧间编码帧包括4个背景块。如图2-3所示，该备选背景帧包括背景块D1，背景块D2，背景块D3和背景块D4。当前时刻待编码的帧间编码帧包括背景块E1，背景块E2，背景块E3和背景块E4。背景块D1在该备选背景帧上的位置与背景块E1在当前时刻待编码的帧间编码帧上的位置相对应；背景块D2在该备选背景帧上的位置与背景块E2在当前时刻待编码的帧间编码帧上的位置相对应；背景块D3在该备选背景帧上的位置与背景块E3在当前时刻待编码的帧间编码帧上的位置相对应；背景块D4在该备选背景帧上的位置与背景块E4在当前时刻待编码的帧间编码帧上的位置相对应。
相应的，步骤2021可以包括：
判断当前时刻待编码的帧间编码帧的第一背景块的像素与每个备选背景帧的第二背景块的像素的差值是否小于预设的差值阈值。第一背景块在当前时刻待编码的帧间编码帧上的位置与第二背景块在每个备选背景帧上的位置相对应。示例的，假设预设的差值阈值为y，且y大于0，那么可以通过该过程来判断第一背景块的像素与第二背景块的像素的差值的绝对值是否小于y。
其中，对于每个备选背景帧，当第一背景块的像素与第二背景块的像素的差值小于差值阈值时，将第二背景块作为目标背景块，再确定备选背景帧上的目标背景块的个数，最后将备选背景帧上的目标背景块的个数与背景块的总数的比值作为相似度。假设差值阈值为y(y>0)，那么对于每个备选背景帧，当第一背景块的像素与第二背景块的像素的差值的绝对值小于y时，就可以将第二背景块作为目标背景块，然后统计满足该条件的目标背景块的总个数，最后将每个备选背景帧上的目标背景块的个数与背景块的总数的比值作为相似度，从而确定每个备选背景帧的质量指标参数的值。
以图2-3为例，假设差值阈值为y(y>0)，背景块E1的像素与背景块D1的像素的差值的绝对值小于y，背景块E2的像素与背景块D2的像素的差值的绝对值大于y，背景块E3的像素与背景块D3的像素的差值的绝对值大于y，背景块E4的像素与背景块D4的像素的差值的绝对值大于y，那么该备选背景帧上的目标背景块的个数为1，因此，当前时刻待编码的帧间编码帧与该备选背景帧的相似度为1/4。
步骤2022、根据相似度确定每个备选背景帧的第一质量指标的值或第三质量指标的值。
一方面，可以根据备选背景帧与待编码视频序列中当前时刻待编码的帧间编码帧的相似度确定备选背景帧的第一质量指标的值，具体的，可以将备选背景帧与待编码视频序列中当前时刻待编码的帧间编码帧的相似度作为该备选背景帧的第一质量指标的值；另一方面，可以根据备选背景帧与待编码视频序列中当前时刻待编码的帧间编码帧的相似度确定备选背景帧的第三质量指标的值，具体的，可以将1-P的值作为备选背景帧的第三质量指标的值，其中，P为该备选背景帧与待编码视频序列中当前时刻待编码的帧间编码帧的相似度。
相应的，如果步骤2022中将相似度作为每个备选背景帧的第一质量指标的值，那么步骤202可以包括：判断至少一个备选背景帧中每个备选背景帧的质量指标参数的值是否大于质量阈值，即判断至少一个备选背景帧中每个备选背景帧的第一质量指标的值是否大于质量阈值，示例的，假设该质量阈值为z，至少一个备选背景帧包括背景帧F1，背景帧F2和背景帧F3，假设背景帧F1的第一质量指标的值为w1，背景帧F2的第一质量指标的值为w2，背景帧F3的第一质量指标的值为w3，那么可以判断w1是否大于z，w2是否大于z，w3是否大于z。如果步骤2022中将1-P的值作为每个备选背景帧的第三质量指标的值，那么步骤202可以包括：判断至少一个备选背景帧中每个备选背景帧的质量指标参数的值是否小于质量阈值，即判断至少一个备选背景帧中每个备选背景帧的第一质量指标的值是否小于质量阈值。该质量阈值为第三质量指标对应的质量阈值。
可选的，质量指标参数还可以为第二质量指标，第二质量指标的值由第一质量指标的值迭代得到，第一质量指标的值等于备选背景帧与待编码视频序列中当前时刻待编码的帧间编码帧的相似度，质量要求可以为：质量指标参数的值大于预设的质量阈值，质量指标参数的值大于质量阈值的备选背景帧包括至少两个背景帧。当质量指标参数为第二质量指标时，在步骤202之前，该视频编码方法还可以包括：根据每个备选背景帧的第一质量指标的值确定每个备选背景帧的第二质量指标的值。
具体的，根据每个备选背景帧的第一质量指标的值确定每个备选背景帧的第二质量指标的值，包括：
根据每个备选背景帧的第一质量指标的值D(t)按照质量计算公式计算每个备选背景帧的第二质量指标的值C(t)，并且计算第二质量指标的值C(t)的质量计算公式为：
该质量计算公式中，a为权重系数，且0≤a≤1，t表示帧数。D(t)指的是第t帧的备选背景帧的第一质量指标的值，也就是第t帧的帧间编码帧(当前时刻待编码的帧间编码帧)与第t帧的备选背景帧的相似度，该第t帧的备选背景帧指的是根据第0至第t-1帧的帧间编码帧通过背景帧获取方式得到的备选背景帧。示例的，当计算第一个备选背景帧的第二质量指标的值时，假设待编码视频序列中当前时刻待编码的帧间编码帧为第2帧，即t＝2，那么第一个备选背景帧的第二质量指标的值C(2)＝C(1)*(1-a)+D(2)*a，其中，C(1)＝C(0)*(1-a)+D(1)*a，C(0)＝D(0)，所以，为了得到C(2)，需要先确定D(0)，D(1)和D(2)。其中，D(0)为第0帧的备选背景帧的第一质量指标的值，即第0帧的帧间编码帧与第0帧的备选背景帧的相似度；D(1)指的是第1帧的备选背景帧的第一质量指标的值，即第1帧的帧间编码帧与第1帧的备选背景帧的相似度；D(2)指的是第2帧的备选背景帧的第一质量指标的值，即第2帧的帧间编码帧与第2帧的备选背景帧的相似度。
当质量指标参数为第二质量指标时，步骤202可以包括：判断至少一个备选背景帧中每个备选背景帧的质量指标参数的值是否大于质量阈值，即判断至少一个备选背景帧中每个备选背景帧的第二质量指标的值是否大于质量阈值。该质量阈值为第二质量指标对应的质量阈值。该质量阈值可以通过实验统计得到。
需要说明的是，质量指标参数可以为第一质量指标，也可以为第二质量指标，还可以为第三质量指标，还可以为其他任一用于衡量背景帧质量的参数。本发明实施例对此不做限定。该视频编码方法还可以在视频编码过程中，不断更新质量指标参数的值，从而能够准确判断是否插入背景帧。
步骤203、当至少一个备选背景帧中存在满足预设规则的备选背景帧时，在满足预设规则的备选背景帧中确定目标背景帧。执行步骤204。
可选的，当至少一个备选背景帧中满足预设规则的备选背景帧为一个背景帧时，则直接将该备选背景帧确定为目标背景帧。
可选的，质量指标参数为第一质量指标，该第一质量指标的值等于备选背景帧与待编码视频序列中当前时刻待编码的帧间编码帧的相似度，质量要求为：质量指标参数的值大于预设的质量阈值，质量指标参数的值大于质量阈值的备选背景帧包括至少两个背景帧，一方面，步骤203可以包括：在质量指标参数的值大于质量阈值的备选背景帧中选择质量指标参数的值最大的背景帧作为目标背景帧，即在第一质量指标的值大于质量阈值的备选背景帧中选择第一质量指标的值最大的背景帧作为目标背景帧，以步骤202中的背景帧F1，背景帧F2和背景帧F3为例进行说明，已知背景帧F1的第一质量指标的值为w1，背景帧F2的第一质量指标的值为w2，背景帧F3的第一质量指标的值为w3，质量阈值为z，同时根据步骤202判断得到w1小于z，w2大于z，w3大于z，且w2大于w3，因此，按照该种确定目标背景帧的方式可以将背景帧F2作为目标背景帧。该种方式通过对备选背景帧的质量指标参数的值进行比较得到目标背景帧，提高了视频编码的鲁棒性。
另一方面，步骤203可以包括：在质量指标参数的值大于质量阈值的备选背景帧中随机选择一个背景帧作为目标背景帧，即在第一质量指标的值大于质量阈值的备选背景帧中随机选择一个背景帧作为目标背景帧。同样的，以步骤202中的背景帧F1，背景帧F2和背景帧F3为例进行说明，由于背景帧F2的短期质量指标第一质量指标的值为w2(w2大于质量阈值z)，背景帧F3的短期质量指标第一质量指标的值为w3(w3也大于质量阈值z)，因此，按照该种确定目标背景帧的方式可以从背景帧F2和背景帧F3中随机选择一个背景帧作为目标背景帧，即可以将背景帧F2作为目标背景帧，也可以将背景帧F3作为目标背景帧。
示例的，假设步骤201是通过一种背景帧获取方式(如背景建模方式)获取一个备选背景帧，那么当该备选背景帧的第一质量指标的值大于质量阈值时，可以直接将该备选背景帧确定为目标背景帧，并将该目标背景帧作为待编码视频序列中的帧间编码帧的参考帧；假设步骤201是通过三种背景帧获取方式获取三个备选背景帧，那么当该三个备选背景帧中存在第一质量指标的值大于质量阈值的备选背景帧时，如第一质量指标的值大于质量阈值的备选背景帧的个数为2，可以在第一质量指标的值大于质量阈值的备选背景帧中确定一个目标背景帧作为待编码视频序列中的帧间编码帧的参考帧，确定一个目标背景帧时可以在第一质量指标的值大于质量阈值的备选背景帧中选择第一质量指标参数的值最大的背景帧作为目标背景帧，也可以在第一质量指标的值大于质量阈值的备选背景帧中随机选择一个背景帧作为目标背景帧。如第一质量指标的值大于质量阈值的备选背景帧的个数为1，则直接将该备选背景帧作为目标背景帧。所以，本发明实施例提供的视频编码方法，能够决定是否将由一种背景帧获取方式获取的备选背景帧作为待编码视频序列中的帧间编码帧的参考帧，也能够决定将至少两种背景帧获取方式中的哪一种背景帧获取方式获取的备选背景帧作为待编码视频序列中的帧间编码帧的参考帧，提高了插入背景帧的灵活度和视频编码的效率。
可选的，质量指标参数为第三质量指标，第三质量指标的值等于1-P，其中，P为备选背景帧与待编码视频序列中当前时刻待编码的帧间编码帧的相似度，质量要求为：质量指标参数的值小于预设的质量阈值，质量指标参数的值小于质量阈值的备选背景帧包括至少两个背景帧，一方面，步骤203可以包括：在质量指标参数的值小于质量阈值的备选背景帧中选择质量指标参数的值最小的背景帧作为目标背景帧。另一方面，步骤203可以包括：在质量指标参数的值小于质量阈值的备选背景帧中随机选择一个背景帧作为目标背景帧。质量指标参数为第三质量指标时，在满足预设规则的备选背景帧中确定目标背景帧的过程可以参考质量指标参数为第一质量指标时，在满足预设规则的备选背景帧中确定目标背景帧的过程。
可选的，质量指标参数为第二质量指标，质量要求为：质量指标参数的值大于预设的质量阈值，质量指标参数的值大于质量阈值的备选背景帧包括至少两个背景帧，相应的，步骤203可以包括：在质量指标参数的值大于质量阈值的备选背景帧中选择质量指标参数的值最大的背景帧作为目标背景帧，即在第二质量指标的值大于质量阈值的备选背景帧中选择第二质量指标的值最大的背景帧作为目标背景帧。同样的，假设步骤201是通过一种背景帧获取方式(如背景建模方式)获取一个备选背景帧，那么当该备选背景帧的第二质量指标的值大于质量阈值时，可以直接将该备选背景帧确定为目标背景帧，并将该目标背景帧作为待编码视频序列中的帧间编码帧的参考帧；假设步骤201是通过三种背景帧获取方式获取三个备选背景帧，那么当该三个备选背景帧中存在第二质量指标的值大于质量阈值的备选背景帧时，如第二质量指标的值大于质量阈值的备选背景帧的个数为2，可以在第二质量指标的值大于质量阈值的备选背景帧中确定一个目标背景帧作为待编码视频序列中的帧间编码帧的参考帧，例如，可以在第二质量指标的值大于质量阈值的备选背景帧中选择第二质量指标的值最大的背景帧作为目标背景帧。如第二质量指标的值大于质量阈值的备选背景帧的个数为1，则直接将该备选背景帧作为目标背景帧。本发明实施例对在第二质量指标的值大于质量阈值的备选背景帧中确定一个目标背景帧的方式不做限定。
步骤204、将目标背景帧作为待编码视频序列中的帧间编码帧的参考帧插入待编码视频序列中，以进行视频编码。执行步骤205。
现有技术中，参考帧包括长期参考帧和短期参考帧。长期参考帧相较于短期参考帧，可以被待编码视频序列中更远的帧间编码帧所参考。例如，短期参考帧的有效范围为16帧(即短期参考帧之后的16个帧间编码帧可以参考该短期参考帧)，长期参考帧的有效范围可以超出16帧(即长期参考帧之后的多于16个帧间编码帧可以参考该长期参考帧)。
本发明实施例中的参考帧包括长期参考帧和短期参考帧中的任意一种，本发明实施例中的参考帧可以为长期参考帧，也可以为短期参考帧，也即本发明实施例中的目标背景帧不限于仅以长期参考帧的方式被待编码视频序列中的帧间编码帧所参考，在待编码视频序列的帧数不多，或者对额外占用码率的要求不高的情况下，目标背景帧可以以短期参考帧的方式被待编码视频序列中的帧间编码帧所参考。本发明实施例对参考帧的具体形式不做限定。由于目标背景帧是隔一段时间才插入的，所以在实际应用中，可以在确定出的目标背景帧中插入一个检测点，该检测点用于指示开始编码一个GOP。
图2-4示出了将目标背景帧作为待编码视频序列中的帧间编码帧的参考帧插入待编码视频序列中之后的待编码视频序列的结构示意图，图2-4中的I帧为目标背景帧，I帧之后的P帧为帧间编码帧，将I帧作为待编码视频序列中的P帧的参考帧插入待编码视频序列中之后，进行编码时，可以参考I帧对I帧之后的P帧进行编码。
步骤205、对插入了目标背景帧的待编码视频序列中的编码帧进行编码。
插入了目标背景帧的编码帧包括目标背景帧和帧间编码帧。其中，目标背景帧采用帧内编码模式进行编码，帧间编码帧采用帧间编码模式参考目标背景帧进行编码。帧内编码模式指的是编码过程不参考其他帧，帧内编码模式通常用于一个GOP的开始，采用帧内编码模式进行编码时的压缩率较低。帧间编码模式指的是编码过程需要参考之前已经编码过的帧，采用帧间编码模式进行编码时的压缩率较高。进一步的，为了提高视频质量，可以采用帧内编码模式按照预设的量化步长对目标背景帧进行编码，该量化步长可以为一个较小值。该量化步长在编码过程中是可以改变的。
需要说明的是，由于目标背景帧仅占待编码视频序列的一小部分，所以，虽然采用较小的量化步长对目标背景帧进行编码会增加消耗的码率，但对整个待编码视频序列的影响较小。同时，由于目标背景帧会被之后的帧间编码帧(如P帧或B帧)所参考，所以目标背景帧中的高质量的部分会被大量多次地复制到之后的帧间编码帧中，因此，采用帧内编码模式按照较小的量化步长对目标背景帧进行编码，不仅实现了提高目标背景帧和待编码视频序列中的帧间编码帧的质量的效果，还实现了消耗较小码率的效果。
在视频编码过程中，对目标背景帧进行高质量的编码，并将该目标背景帧作为长期参考帧以供之后的帧间编码帧在编码时都参考该目标背景帧，在相对静止的场景下，该编码过程具有如下几个优点：1、在保证视频质量的前提下减小编码时消耗的码率；2、在背景区域获取较高质量的图像；3、减少编码过程中产生的呼吸效应，该呼吸效应指的是相邻帧的质量存在的较大差异而引起的让人感到视频不连续的现象；4、提高前景物体移动时，被遮挡的背景部分再次出现在背景区域的图像的质量。
具体的，参考目标背景帧，采用帧间编码模式对帧间编码帧进行编码的过程可以为：在待编码视频序列中的帧间编码帧的参数集内添加目标背景帧的语法元素。该语法元素用于指示目标背景帧作为长期参考帧的使用方式。该参数集包括序列参数集(英文：Sequence Parameter Set；简称：SPS)和参考图像集(英文：Reference Picture Set；简称：RPS)。在待编码视频序列中的帧间编码帧的SPS和RPS中以长期参考帧的方式添加语法元素，能够确保该目标背景帧可以以符合视频国际标准或视频国内标准的方式被相应的解码器使用。其中，视频国际标准可以为H.264和H.265等，H.264又称作高级视频编码(英文：Advanced Video Coding；简称：AVC)，H.265又称作高效视频编码(英文：High EfficiencyVideo Coding；简称：HEVC)，视频国内标准可以为音视频编码标准(英文：Audio Videocoding Standard；简称：AVS)。其中，H.264是由国际电信联盟远程通信标准化组织(英文：International Telecommunication Union-Telecommunication StandardizationSector；简称：ITU-T)视频编码专家组(英文：Video Coding Experts Group；简称：VCEG)和国际标准化组织(英文：International Organization for Standardization；简称：ISO)和国际电工委员会(英文：International Electrotechnical Commission；简称：IEC)动态图像专家组(英文：Moving Pictures Experts Group；简称：MPEG)联合组成的联合视频组(英文：Joint Video Team；简称：JVT)提出的高度压缩数字视频编解码器标准。H.265是ITU-T VCEG继H.264之后所制定的新的视频编码标准。
需要说明的是，在待编码视频序列中的帧间编码帧的参数集内添加目标背景帧的语法元素之后，还可以在待编码视频序列中的帧间编码帧的RPS内添加待编码视频序列中的至少一个帧间编码帧的语法元素，以便于被待编码视频序列中的帧间编码帧所参考。也就是说，待编码视频序列中的帧间编码帧可以参考目标背景帧，同时还可以参考其他一个或多个帧间编码帧，其他一个或多个帧间编码帧可以作为长期参考帧被待编码视频序列中的帧间编码帧所参考，也可以作为短期参考帧被待编码视频序列中的帧间编码帧所参考。
需要补充说明的是，采用帧内编码模式对目标背景帧进行编码后，可以按照现有技术将对目标背景帧进行编码时产生的码流传输至解码器，同时将目标背景帧的重构帧(在编码的过程中，需要对已经编码的图像进行解码，解码后的图像称作重构帧)存储在参考帧缓存中，以供待编码视频序列中的帧间编码帧参考。
步骤206、当至少一个备选背景帧中所有备选背景帧均不满足预设规则时，将待编码视频序列中的已有帧按照预设GOP结构所定义的参考关系进行视频编码。
预设GOP结构所定义的参考关系指的是在一个GOP中各帧之间的参考关系，现有技术中，RPS定义了在一个GOP中各帧之间的参考关系，比如，第2帧需要参考第1帧进行编码，第3帧需要参考第1帧和第2帧进行编码等等。
以质量指标参数为第一质量指标为例，质量要求为质量指标参数的值大于预设的质量阈值，步骤206可以包括：当至少一个备选背景帧中所有备选背景帧的第一质量指标的值均不大于质量阈值时，将待编码视频序列中的已有帧按照预设GOP结构所定义的参考关系进行视频编码。
可选的，该预设GOP结构包括IPPP结构和IBBBP结构中的任意一种，即该预设GOP结构可以为低延时的IPPP结构，也可以为编码效率较高的IBBBP结构，其中，IPPP结构和IBBBP结构指的是编码的GOP结构，IPPP是在一个GOP中，第一帧为I帧，第一帧之后为多个P帧。IBBBP是在一个GOP中，第一帧为I帧，第一帧之后为3个B帧，3个B帧之后为一个P帧。视频压缩中，每帧代表一幅静止的图像，I帧是关键帧，I帧是对本帧画面的完整保留；P帧表示本帧与之前的一个关键帧(或P帧)的差别，P帧为差别帧；B帧表示本帧与前后帧的差别，B帧为双向差别帧。
需要说明的是，该预设GOP结构包括但不限于IPPP结构和IBBBP结构中的任意一种，预设GOP结构还可以为IPPPP结构，本发明实施例对此不做限定。图2-5示出了将待编码视频序列中的已有帧按照IPPPP结构所定义的参考关系进行视频编码的结构示意图，图2-5中的IPPPP结构为预设GOP结构，IPPPP结构之后的P帧为帧间编码帧，当至少一个备选背景帧中所有备选背景帧均不满足预设规则时，将待编码视频序列中的IPPPP结构之后的P帧按照IPPPP结构所定义的参考关系进行视频编码。具体的，IPPPP结构之后的第一个P帧参考IPPPP结构中的I帧进行视频编码，IPPPP结构之后的第二个P帧、第三个P帧及第四个P帧参考IPPPP结构中的第四个P帧进行视频编码。
需要说明的是，当至少一个备选背景帧中所有备选背景帧均不满足预设规则时，还可以按照其他预设方式进行视频编码，如按照帧的间隔等参数进行视频编码。
需要补充的是，本发明实施例提供的视频编码方法中的步骤可以通过不同功能的模块实现，如步骤201可以通过背景建模模块来实现，步骤202可以通过背景质量评估模块和参考帧结构选择模块(如参考帧结构选择器)来实现，步骤203可以通过选帧模块来实现，步骤204可以通过背景帧插入模块(如背景帧插入器)来实现，步骤205可以通过视频编码模块(视频编码器)来实现。步骤206可以通过背景质量评估模块、参考帧结构选择模块和视频编码模块来实现。
还需要说明的是，该视频编码方法还可以不直接评估背景帧的质量，而是通过其它一些信号来决定是否插入背景帧。如在摄像装置处于抖动状态的情况下，或者，在光照强度处于快速变化状态的情况下，或者，在视频图像的噪音强度大于预设噪音强度值的情况下等等都可以决定不插入背景帧。其中，用于指示摄像装置的抖动状态的信号、用于指示光照强度的信号及用于指示视频图像的噪音强度的信号均可以由感应装置获得。
还需要补充说明的是，该视频编码方法除了通过直接评估背景帧的质量，或通过其它一些信号来决定是否插入背景帧，还可以按照其它方式决定是否插入背景帧，如：在第一预设时间段内插入背景帧，同时跟踪记录第一预设时间段内的视频编码消耗的码率和视频图像的重构帧的质量，在第一预设时间段之后的第二预设时间段内不插入背景帧，同时跟踪记录第二预设时间段内的视频编码消耗的码率和视频图像的重构帧的质量，然后比较两次记录的码率和重构帧的质量，当第一预设时间段内的码率更小，且重构帧的质量更好时，在以后的视频编码过程中选择插入背景帧的方式进行视频编码；当第二预设时间段内的码率更小，且重构帧的质量更好时，在以后的视频编码过程中选择不插入背景帧的方式进行视频编码。
需要补充说明的是，虽然现有技术中，很多情况下，可以从监控摄像机拍摄的视频中得到一个相对完整清晰的背景帧，如在静止场景或视频的前景物体比较少的情况下，可以得到相对完整清晰，质量较高的背景帧，但是在有些情况下，背景建模方式是难以获得一个相对完整清晰，质量较好的背景帧，在有些情况下，背景建模方式获得的背景帧是比较模糊的，该背景帧的质量较差，所以该背景帧是不适合被作为参考帧的。例如，当汽车从人行天桥下经过时，设置在人行天桥上的监控摄像机会抖动，又如当大量的人群从监控摄像机前经过时，监控摄像机也会抖动，再如当室内电灯在开与关的状态间切换时，设置在室内的监控摄像机拍摄的视频中的背景区域的面积会较小或者视频会比较模糊等等。而背景帧选取方式虽然可以在前景物体不多或者背景建模方式的效率下降(如监控摄像机抖动)的情况下，保证背景帧的质量，但是当前景物体较多或者存在频繁进行动静切换的场景时，采用背景建模方式和背景帧选取方式来改善背景帧质量的效果都会比较差，同时还会对编码带来额外的负担，降低了编码效率，因为通过上述两种方式得到背景帧需要占用相当多的码流。所以本发明实施例提供的视频编码方法，是一种自适应选择不同的背景帧作为参考帧的方法，该方法先判断获得的背景帧是否适合作为参考帧，当背景帧适合作为参考帧时，再将背景帧插入待编码视频序列中，以供待编码视频序列中的帧间编码帧参考，而且该方法还可以从多个都适合作为参考帧的背景帧中选取一个最适合作为参考帧的背景帧，以供待编码视频序列中的帧间编码帧参考；当背景帧不适合作为参考帧时，则不将背景帧插入待编码视频序列中，而是将待编码视频序列中的已有帧按照预设GOP结构所定义的参考关系进行视频编码，所以，该自适应选择背景帧的方法避免了将质量较差的背景帧插入待编码视频序列中，提高了插入背景帧的灵活度，提高了视频编码质量，提高了视频编码的效率，降低了编码器(即视频编码器)的功耗，提高了视频编码的效果。
综上所述，本发明实施例提供的视频编码方法，能够在至少一个备选背景帧中存在满足预设规则的备选背景帧时，在满足预设规则的备选背景帧中确定目标背景帧，并将目标背景帧作为待编码视频序列中的帧间编码帧的参考帧插入待编码视频序列中，而在至少一个备选背景帧中所有备选背景帧均不满足预设规则时，则不插入背景帧，将待编码视频序列中的已有帧按照预设GOP结构所定义的参考关系进行视频编码，相较于现有技术，避免了将质量较差的背景帧插入待编码视频序列中，因此，提高了插入背景帧的灵活度，提高了视频编码的效率，提高了视频编码质量，降低了编码器的功耗，提高了视频编码的效果。
本发明实施例提供了一种视频编码装置，该视频编码装置可以通过软件、硬件或者两者的结合实现成为编码器的部分或全部。如图3-1所示，该视频编码装置可以包括：
第一判断单元410，用于判断至少一个备选背景帧中每个备选背景帧是否满足预设规则，至少一个备选背景帧是通过预设的背景帧获取方式得到的背景帧。
第一确定单元420，用于当至少一个备选背景帧中存在满足预设规则的备选背景帧时，在满足预设规则的备选背景帧中确定目标背景帧。
插入单元430，用于将目标背景帧作为待编码视频序列中的帧间编码帧的参考帧插入待编码视频序列中，以进行视频编码。
综上所述，本发明实施例提供的视频编码装置，能够在至少一个备选背景帧中存在满足预设规则的备选背景帧时，在满足预设规则的备选背景帧中确定目标背景帧，并将目标背景帧作为待编码视频序列中的帧间编码帧的参考帧插入待编码视频序列中，相较于现有技术，避免了将质量较差的背景帧插入待编码视频序列中，因此，提高了视频编码的效率。
可选的，预设规则为：背景帧的质量指标参数满足预设的质量要求，质量指标参数为用于衡量背景帧质量的参数。
可选的，第一确定单元420用于当至少一个备选背景帧中满足预设规则的备选背景帧为一个背景帧时，则直接将该备选背景帧确定为目标背景帧。
可选的，背景帧获取方式可以为背景建模方式，也可以为背景帧选取方式，还可以为其他任一背景帧获取方式，如帧像素平均值方式或混合高斯建模方式等，背景帧获取方式还可以为上述多种背景帧获取方式的各种组合。每一种背景帧获取方式得到一个背景帧。可选的，背景帧获取方式可以包括背景建模方式和背景帧选取方式。
可选的，预设GOP结构包括IPPP结构和IBBBP结构中的任意一种。
可选的，参考帧包括长期参考帧和短期参考帧中的任意一种。
可选的，质量指标参数为第一质量指标，第一质量指标的值等于备选背景帧与待编码视频序列中当前时刻待编码的帧间编码帧的相似度，质量要求为：质量指标参数的值大于预设的质量阈值，质量指标参数的值大于质量阈值的备选背景帧包括至少两个背景帧，如图3-2所示，第一确定单元420，包括：
第一选择模块421，用于在质量指标参数的值大于质量阈值的备选背景帧中选择质量指标参数的值最大的背景帧作为目标背景帧。
或，如图3-3所示，第一确定单元420，包括：
第二选择模块422，用于在质量指标参数的值大于质量阈值的备选背景帧中随机选择一个背景帧作为目标背景帧。
质量指标参数为第一质量指标时，质量要求还可以为：质量指标参数的值大于视频编码过程中产生的随机值。
可选的，质量要求还可以为：质量指标参数的值大于视频编码过程中产生的随机值。
可选的，质量指标参数为第三质量指标，第三质量指标的值等于1-P，P为备选背景帧与待编码视频序列中当前时刻待编码的帧间编码帧的相似度，质量要求为：质量指标参数的值小于预设的质量阈值，质量指标参数的值小于质量阈值的备选背景帧包括至少两个背景帧，如图3-4所示，第一确定单元420，包括：
第四选择模块423，用于在质量指标参数的值小于质量阈值的备选背景帧中选择质量指标参数的值最小的背景帧作为目标背景帧。
或，如图3-5所示，第一确定单元420，包括：
第五选择模块424，用于在质量指标参数的值小于质量阈值的备选背景帧中随机选择一个背景帧作为目标背景帧。
质量指标参数为第三质量指标时，质量要求还可以为：质量指标参数的值小于视频编码过程中产生的随机值。
可选的，质量指标参数为第二质量指标，第二质量指标的值由第一质量指标的值迭代得到，第一质量指标的值等于备选背景帧与待编码视频序列中当前时刻待编码的帧间编码帧的相似度，质量要求为：质量指标参数的值大于预设的质量阈值，质量指标参数的值大于质量阈值的备选背景帧包括至少两个背景帧，如图3-6所示，该装置还可以包括：第二确定单元440，用于根据每个备选背景帧的第一质量指标的值确定每个备选背景帧的第二质量指标的值。相应的，如图3-7所示，第一确定单元420，包括：
第三选择模块425，用于在质量指标参数的值大于质量阈值的备选背景帧中选择质量指标参数的值最大的背景帧作为目标背景帧。
可选的，如图3-8所示，第二确定单元440，包括：
确定模块441，用于根据每个备选背景帧的第一质量指标的值D(t)按照质量计算公式计算每个备选背景帧的第二质量指标的值C(t)，并且计算第二质量指标的值C(t)的质量计算公式为：
其中，a为权重系数，且0≤a≤1，t表示帧数。
可选的，每个备选背景帧和当前时刻待编码的帧间编码帧分别包括至少一个背景块，如图3-6所示，该装置还包括：
第二判断单元450，用于判断当前时刻待编码的帧间编码帧的第一背景块的像素与每个备选背景帧的第二背景块的像素的差值是否小于预设的差值阈值，第一背景块在当前时刻待编码的帧间编码帧上的位置与第二背景块在每个备选背景帧上的位置相对应。
第一处理单元460，用于对于每个备选背景帧，当第一背景块的像素与第二背景块的像素的差值小于差值阈值时，将第二背景块作为目标背景块。
第三确定单元470，用于确定备选背景帧上的目标背景块的个数。
第二处理单元480，用于将备选背景帧上的目标背景块的个数与背景块的总数的比值作为相似度。
可选的，如图3-6所示，该装置还包括：
第三处理单元490，用于当至少一个备选背景帧中所有备选背景帧均不满足预设规则时，将待编码视频序列中的已有帧按照预设GOP结构所定义的参考关系进行视频编码。
可选的，第三处理单元490，还用于当至少一个备选背景帧中所有备选背景帧均不满足预设规则时，按照其他预设方式进行视频编码，如按照帧的间隔等参数进行视频编码。
如图3-6所示，该装置还包括：编码单元510，用于对插入了目标背景帧的待编码视频序列中的编码帧进行编码，插入了目标背景帧的编码帧包括目标背景帧和帧间编码帧，其中，目标背景帧采用帧内编码模式进行编码，帧间编码帧采用帧间编码模式参考目标背景帧进行编码。此外，图3-6中的第一判断单元410、第一确定单元420和插入单元430可以参考图3-1进行说明。
可选的，该装置还包括：
第一添加单元，用于在待编码视频序列中的帧间编码帧的参数集内添加目标背景帧的语法元素，该语法元素用于指示目标背景帧作为长期参考帧的使用方式。其中，参数集包括序列参数集和参考图像集。
第二添加单元，用于在待编码视频序列中的帧间编码帧的参数集内添加待编码视频序列中的至少一个帧间编码帧的语法元素。
背景帧获取单元，用于通过预设的背景帧获取方式获取至少一个备选背景帧。
示例的，当背景帧获取方式包括两种背景帧获取方式，如背景建模方式和背景帧选取方式，那么背景帧获取单元可以包括：
第一背景帧获取模块，用于通过背景建模方式获取备选背景帧。
第二背景帧获取模块，用于通过背景帧选取方式获取备选背景帧。
图3-1中各单元的具体工作过程可以参考图1所示的实施方式进行说明，图3-6中各单元的具体工作过程可以参考图2-1所示的实施方式进行说明。
综上所述，本发明实施例提供的视频编码装置，能够在至少一个备选背景帧中存在满足预设规则的备选背景帧时，在满足预设规则的备选背景帧中确定目标背景帧，并将目标背景帧作为待编码视频序列中的帧间编码帧的参考帧插入待编码视频序列中，而在至少一个备选背景帧中所有备选背景帧均不满足预设规则时，则不插入背景帧，将待编码视频序列中的已有帧按照预设GOP结构所定义的参考关系进行视频编码，相较于现有技术，避免了将质量较差的背景帧插入待编码视频序列中，因此，提高了插入背景帧的灵活度，提高了视频编码的效率，提高了视频编码质量，降低了编码器的功耗，提高了视频编码的效果。
本发明实施例提供了另一种视频编码装置，如图4所示，该视频编码装置包括：处理器1001、存储器1002、网络接口1003和总线1004。其中，总线1004用于连接处理器1001、存储器1002和网络接口1003，处理器1001用于执行存储器1002中存储的程序10021。处理器1001可以执行该程序10021来实现编码器，并使得该编码器执行下述视频编码方法：
判断至少一个备选背景帧中每个备选背景帧是否满足预设规则，至少一个备选背景帧是通过预设的背景帧获取方式得到的背景帧；
当至少一个备选背景帧中存在满足预设规则的备选背景帧时，在满足预设规则的备选背景帧中确定目标背景帧；
将目标背景帧作为待编码视频序列中的帧间编码帧的参考帧插入待编码视频序列中，以进行视频编码。
可选的，预设规则为：背景帧的质量指标参数满足预设的质量要求，质量指标参数为用于衡量背景帧质量的参数。
可选的，当至少一个备选背景帧中满足预设规则的备选背景帧为一个背景帧时，则直接将该备选背景帧确定为目标背景帧。
可选的，背景帧获取方式可以为背景建模方式，也可以为背景帧选取方式，还可以为其他任一背景帧获取方式，如帧像素平均值方式或混合高斯建模方式等，背景帧获取方式还可以为上述多种背景帧获取方式的各种组合。每一种背景帧获取方式得到一个背景帧。
可选的，质量指标参数为第一质量指标，第一质量指标的值等于备选背景帧与待编码视频序列中当前时刻待编码的帧间编码帧的相似度，质量要求为：质量指标参数的值大于预设的质量阈值，质量指标参数的值大于质量阈值的备选背景帧包括至少两个背景帧，在满足预设规则的备选背景帧中确定目标背景帧，包括：
在质量指标参数的值大于质量阈值的备选背景帧中选择质量指标参数的值最大的背景帧作为目标背景帧；
或，在质量指标参数的值大于质量阈值的备选背景帧中随机选择一个背景帧作为目标背景帧。
质量指标参数为第一质量指标时，质量要求还可以为：质量指标参数的值大于视频编码过程中产生的随机值。
可选的，质量指标参数为第三质量指标，第三质量指标的值等于1-P，P为备选背景帧与待编码视频序列中当前时刻待编码的帧间编码帧的相似度，质量要求为：质量指标参数的值小于预设的质量阈值，质量指标参数的值小于质量阈值的备选背景帧包括至少两个背景帧，在满足预设规则的备选背景帧中确定目标背景帧，包括：
在质量指标参数的值小于质量阈值的备选背景帧中选择质量指标参数的值最小的背景帧作为目标背景帧；
或，在质量指标参数的值小于质量阈值的备选背景帧中随机选择一个背景帧作为目标背景帧。
质量指标参数为第三质量指标时，质量要求还可以为：质量指标参数的值小于视频编码过程中产生的随机值。
可选的，质量指标参数为第二质量指标，第二质量指标的值由第一质量指标的值迭代得到，第一质量指标的值等于备选背景帧与待编码视频序列中当前时刻待编码的帧间编码帧的相似度，质量要求为：质量指标参数的值大于预设的质量阈值，质量指标参数的值大于质量阈值的备选背景帧包括至少两个背景帧，在判断至少一个备选背景帧中每个备选背景帧是否满足预设规则之前，该方法还包括：
根据每个备选背景帧的第一质量指标的值确定每个备选背景帧的第二质量指标的值。
相应的，在满足预设规则的备选背景帧中确定目标背景帧，包括：
在质量指标参数的值大于质量阈值的备选背景帧中选择质量指标参数的值最大的背景帧作为目标背景帧。
具体的，根据每个备选背景帧的第一质量指标的值确定每个备选背景帧的第二质量指标的值，包括：
根据每个备选背景帧的第一质量指标的值D(t)按照质量计算公式确定每个备选背景帧的第二质量指标的值C(t)，并且计算第二质量指标的值C(t)的质量计算公式为：
其中，a为权重系数，且0≤a≤1，t表示帧数。
可选的，每个备选背景帧和当前时刻待编码的帧间编码帧分别包括至少一个背景块，计算每个备选背景帧与当前时刻待编码的帧间编码帧的相似度，包括：
判断当前时刻待编码的帧间编码帧的第一背景块的像素与每个备选背景帧的第二背景块的像素的差值是否小于预设的差值阈值，第一背景块在当前时刻待编码的帧间编码帧上的位置与第二背景块在每个备选背景帧上的位置相对应；
对于每个备选背景帧，当第一背景块的像素与第二背景块的像素的差值小于差值阈值时，将第二背景块作为目标背景块，
确定备选背景帧上的目标背景块的个数，
将备选背景帧上的目标背景块的个数与背景块的总数的比值作为相似度。
可选的，在判断至少一个备选背景帧中每个备选背景帧是否满足预设规则之后，该方法还包括：
当至少一个备选背景帧中所有备选背景帧均不满足预设规则时，将待编码视频序列中的已有帧按照预设GOP结构所定义的参考关系进行视频编码。
可选的，当至少一个备选背景帧中所有备选背景帧均不满足预设规则时，还可以按照其他预设方式进行视频编码，如按照帧的间隔等参数进行视频编码。
可选的，预设GOP结构包括IPPP结构和IBBBP结构中的任意一种。
可选的，背景帧获取方式可以包括背景建模方式和背景帧选取方式。
可选的，在将目标背景帧作为待编码视频序列中的帧间编码帧的参考帧插入待编码视频序列中之后，该方法还包括：
对插入了目标背景帧的待编码视频序列中的编码帧进行编码，插入了目标背景帧的编码帧包括目标背景帧和帧间编码帧，其中，目标背景帧采用帧内编码模式进行编码，帧间编码帧采用帧间编码模式参考目标背景帧进行编码。
可选的，参考帧包括长期参考帧和短期参考帧中的任意一种。
可选的，在将目标背景帧作为待编码视频序列中的帧间编码帧的参考帧插入待编码视频序列中之后，该方法还包括：
在待编码视频序列中的帧间编码帧的参数集内添加目标背景帧的语法元素，语法元素用于指示目标背景帧作为长期参考帧的使用方式。
可选的，在待编码视频序列中的帧间编码帧的参数集内添加目标背景帧的语法元素之后，该方法还包括：
在待编码视频序列中的帧间编码帧的参数集内添加待编码视频序列中的至少一个帧间编码帧的语法元素。
可选的，参数集包括序列参数集和参考图像集。
综上所述，本发明实施例提供的视频编码装置，能够在至少一个备选背景帧中存在满足预设规则的备选背景帧时，在满足预设规则的备选背景帧中确定目标背景帧，并将目标背景帧作为待编码视频序列中的帧间编码帧的参考帧插入待编码视频序列中，而在至少一个备选背景帧中所有备选背景帧均不满足预设规则时，则不插入背景帧，将待编码视频序列中的已有帧按照预设画面组GOP结构所定义的参考关系进行视频编码，相较于现有技术，避免了将质量较差的背景帧插入待编码视频序列中，因此，提高了插入背景帧的灵活度，提高了视频编码的效率，提高了视频编码质量，降低了编码器的功耗，提高了视频编码的效果。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (18)
1.一种视频编码方法，其特征在于，所述方法包括：
判断至少一个备选背景帧中每个备选背景帧是否满足预设规则，所述至少一个备选背景帧是通过预设的背景帧获取方式得到的背景帧；
当所述至少一个备选背景帧中存在满足所述预设规则的备选背景帧时，在满足所述预设规则的备选背景帧中确定目标背景帧；
将所述目标背景帧作为待编码视频序列中的帧间编码帧的参考帧插入所述待编码视频序列中，以进行视频编码；
其中，所述预设规则为：背景帧的质量指标参数满足预设的质量要求；所述质量指标参数为第一质量指标或第二质量指标，所述第一质量指标的值等于备选背景帧与所述待编码视频序列中当前时刻待编码的帧间编码帧的相似度，所述第二质量指标的值由第一质量指标的值迭代得到。
2.根据权利要求1所述的方法，其特征在于，所述质量指标参数为第一质量指标，所述质量要求为：所述质量指标参数的值大于预设的质量阈值，所述质量指标参数的值大于所述质量阈值的备选背景帧包括至少两个背景帧，
所述在满足所述预设规则的备选背景帧中确定目标背景帧，包括：
在所述质量指标参数的值大于所述质量阈值的备选背景帧中选择质量指标参数的值最大的背景帧作为所述目标背景帧；
或，在所述质量指标参数的值大于所述质量阈值的备选背景帧中随机选择一个背景帧作为所述目标背景帧。
3.根据权利要求1所述的方法，其特征在于，所述质量指标参数为第二质量指标，所述质量要求为：所述质量指标参数的值大于预设的质量阈值，所述质量指标参数的值大于所述质量阈值的备选背景帧包括至少两个背景帧，
在所述判断至少一个备选背景帧中每个备选背景帧是否满足预设规则之前，所述方法还包括：
根据所述每个备选背景帧的第一质量指标的值确定所述每个备选背景帧的第二质量指标的值；
所述在满足所述预设规则的备选背景帧中确定目标背景帧，包括：
在所述质量指标参数的值大于所述质量阈值的备选背景帧中选择质量指标参数的值最大的背景帧作为所述目标背景帧。
4.根据权利要求3所述的方法，其特征在于，所述根据所述每个备选背景帧的第一质量指标的值确定所述每个备选背景帧的第二质量指标的值，包括：
根据所述每个备选背景帧的第一质量指标的值D(t)按照质量计算公式计算所述每个备选背景帧的第二质量指标的值C(t)，并且计算所述第二质量指标的值C(t)的质量计算公式为：
其中，所述a为权重系数，且0≤a≤1，所述t表示帧数。
5.根据权利要求2至4任一所述的方法，其特征在于，所述每个备选背景帧和所述当前时刻待编码的帧间编码帧分别包括至少一个背景块，所述方法还包括：
判断所述当前时刻待编码的帧间编码帧的第一背景块的像素与所述每个备选背景帧的第二背景块的像素的差值是否小于预设的差值阈值，所述第一背景块在所述当前时刻待编码的帧间编码帧上的位置与所述第二背景块在所述每个备选背景帧上的位置相对应；
对于所述每个备选背景帧，当所述第一背景块的像素与所述第二背景块的像素的差值小于所述差值阈值时，将所述第二背景块作为目标背景块，
确定所述备选背景帧上的目标背景块的个数，
将所述备选背景帧上的目标背景块的个数与背景块的总数的比值作为所述相似度。
6.根据权利要求1至4任一所述的方法，其特征在于，在所述判断至少一个备选背景帧中每个备选背景帧是否满足预设规则之后，所述方法还包括：
当所述至少一个备选背景帧中所有备选背景帧均不满足所述预设规则时，将所述待编码视频序列中的已有帧按照预设画面组GOP结构所定义的参考关系进行视频编码。
7.根据权利要求6所述的方法，其特征在于，所述预设画面组GOP结构包括IPPP结构和IBBBP结构中的任意一种。
8.根据权利要求1至4任一所述的方法，其特征在于，在所述将所述目标背景帧作为待编码视频序列中的帧间编码帧的参考帧插入所述待编码视频序列中之后，所述方法还包括：
对插入了所述目标背景帧的待编码视频序列中的编码帧进行编码，所述插入了所述目标背景帧的编码帧包括所述目标背景帧和所述帧间编码帧，其中，所述目标背景帧采用帧内编码模式进行编码，所述帧间编码帧采用帧间编码模式参考所述目标背景帧进行编码。
9.根据权利要求1至4任一所述的方法，其特征在于，所述参考帧包括长期参考帧和短期参考帧中的任意一种。
10.一种视频编码装置，其特征在于，所述装置包括：
第一判断单元，用于判断至少一个备选背景帧中每个备选背景帧是否满足预设规则，所述至少一个备选背景帧是通过预设的背景帧获取方式得到的背景帧；
第一确定单元，用于当所述至少一个备选背景帧中存在满足所述预设规则的备选背景帧时，在满足所述预设规则的备选背景帧中确定目标背景帧；
插入单元，用于将所述目标背景帧作为待编码视频序列中的帧间编码帧的参考帧插入所述待编码视频序列中，以进行视频编码；
其中，所述预设规则为：背景帧的质量指标参数满足预设的质量要求；所述质量指标参数为第一质量指标或第二质量指标，所述第一质量指标的值等于备选背景帧与所述待编码视频序列中当前时刻待编码的帧间编码帧的相似度，所述第二质量指标的值由第一质量指标的值迭代得到。
11.根据权利要求10所述的装置，其特征在于，所述质量指标参数为第一质量指标，所述质量要求为：所述质量指标参数的值大于预设的质量阈值，所述质量指标参数的值大于所述质量阈值的备选背景帧包括至少两个背景帧，所述第一确定单元，包括：
第一选择模块，用于在所述质量指标参数的值大于所述质量阈值的备选背景帧中选择质量指标参数的值最大的背景帧作为所述目标背景帧；
或，第二选择模块，用于在所述质量指标参数的值大于所述质量阈值的备选背景帧中随机选择一个背景帧作为所述目标背景帧。
12.根据权利要求10所述的装置，其特征在于，所述质量指标参数为第二质量指标，所述质量要求为：所述质量指标参数的值大于预设的质量阈值，所述质量指标参数的值大于所述质量阈值的备选背景帧包括至少两个背景帧，
所述装置还包括：
第二确定单元，用于根据所述每个备选背景帧的第一质量指标的值确定所述每个备选背景帧的第二质量指标的值；
所述第一确定单元，包括：
第三选择模块，用于在所述质量指标参数的值大于所述质量阈值的备选背景帧中选择质量指标参数的值最大的背景帧作为所述目标背景帧。
13.根据权利要求12所述的装置，其特征在于，所述第二确定单元，包括：
确定模块，用于根据所述每个备选背景帧的第一质量指标的值D(t)按照质量计算公式计算所述每个备选背景帧的第二质量指标的值C(t)，并且计算所述第二质量指标的值C(t)的质量计算公式为：
其中，所述a为权重系数，且0≤a≤1，所述t表示帧数。
14.根据权利要求11至13任一所述的装置，其特征在于，所述每个备选背景帧和所述当前时刻待编码的帧间编码帧分别包括至少一个背景块，所述装置还包括：
第二判断单元，用于判断所述当前时刻待编码的帧间编码帧的第一背景块的像素与所述每个备选背景帧的第二背景块的像素的差值是否小于预设的差值阈值，所述第一背景块在所述当前时刻待编码的帧间编码帧上的位置与所述第二背景块在所述每个备选背景帧上的位置相对应；
第一处理单元，用于对于所述每个备选背景帧，当所述第一背景块的像素与所述第二背景块的像素的差值小于所述差值阈值时，将所述第二背景块作为目标背景块，
第三确定单元，用于确定所述备选背景帧上的目标背景块的个数，
第二处理单元，用于将所述备选背景帧上的目标背景块的个数与背景块的总数的比值作为所述相似度。
15.根据权利要求10至13任一所述的装置，其特征在于，所述装置还包括：
第三处理单元，用于当所述至少一个备选背景帧中所有备选背景帧均不满足所述预设规则时，将所述待编码视频序列中的已有帧按照预设画面组GOP结构所定义的参考关系进行视频编码。
16.根据权利要求15所述的装置，其特征在于，所述预设画面组GOP结构包括IPPP结构和IBBBP结构中的任意一种。
17.根据权利要求10至13任一所述的装置，其特征在于，所述装置还包括：
编码单元，用于对插入了所述目标背景帧的待编码视频序列中的编码帧进行编码，所述插入了所述目标背景帧的编码帧包括所述目标背景帧和所述帧间编码帧，其中，所述目标背景帧采用帧内编码模式进行编码，所述帧间编码帧采用帧间编码模式参考所述目标背景帧进行编码。
18.根据权利要求10至13任一所述的装置，其特征在于，所述参考帧包括长期参考帧和短期参考帧中的任意一种。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610222405.9A CN105872556B (zh) | 2016-04-11 | 2016-04-11 | 视频编码方法和装置 |
| PCT/CN2016/105844 WO2017177675A1 (zh) | 2016-04-11 | 2016-11-15 | 视频编码方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610222405.9A CN105872556B (zh) | 2016-04-11 | 2016-04-11 | 视频编码方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105872556A CN105872556A (zh) | 2016-08-17 |
| CN105872556B true CN105872556B (zh) | 2020-01-03 |
Family
ID=56637430
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610222405.9A Active CN105872556B (zh) | 2016-04-11 | 2016-04-11 | 视频编码方法和装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN105872556B (zh) |
| WO (1) | WO2017177675A1 (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105872556B (zh) * | 2016-04-11 | 2020-01-03 | 华为技术有限公司 | 视频编码方法和装置 |
| US10484710B2 (en) | 2018-03-21 | 2019-11-19 | Novatek Microelectronics Corp. | Video encoding apparatus and method |
| CN110636334B (zh) * | 2019-08-23 | 2022-12-09 | 西安万像电子科技有限公司 | 数据传输方法及系统 |
| CN114363700B (zh) * | 2020-10-12 | 2024-10-01 | 阿里巴巴集团控股有限公司 | 数据处理方法、装置、存储介质及计算机设备 |
| CN112702602B (zh) * | 2020-12-04 | 2024-08-02 | 浙江智慧视频安防创新中心有限公司 | 一种视频编解码的方法及存储介质 |
| CN116489342B (zh) * | 2023-06-20 | 2023-09-15 | 中央广播电视总台 | 确定编码延时的方法、装置、及电子设备、存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103167283A (zh) * | 2011-12-19 | 2013-06-19 | 华为技术有限公司 | 一种视频编码方法及设备 |
| CN103475882A (zh) * | 2013-09-13 | 2013-12-25 | 北京大学 | 监控视频的编码、识别方法和监控视频的编码、识别系统 |
| CN103824086A (zh) * | 2014-03-24 | 2014-05-28 | 东方网力科技股份有限公司 | 一种图像匹配方法及装置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102665077A (zh) * | 2012-05-03 | 2012-09-12 | 北京大学 | 一种基于宏块分类的快速高效编转码方法 |
| US20140368669A1 (en) * | 2012-10-04 | 2014-12-18 | Google Inc. | Gpu-accelerated background replacement |
| CN104717511B (zh) * | 2013-12-13 | 2018-10-16 | 联发科技（新加坡）私人有限公司 | 视频编码或解码的方法及装置 |
| CN104618715B (zh) * | 2014-07-22 | 2018-10-30 | 腾讯科技（北京）有限公司 | 一种获取最小率失真代价的方法及装置 |
| CN104702956B (zh) * | 2015-03-24 | 2017-07-11 | 武汉大学 | 一种面向视频编码的背景建模方法 |
| CN105872556B (zh) * | 2016-04-11 | 2020-01-03 | 华为技术有限公司 | 视频编码方法和装置 |
-
2016
- 2016-04-11 CN CN201610222405.9A patent/CN105872556B/zh active Active
- 2016-11-15 WO PCT/CN2016/105844 patent/WO2017177675A1/zh active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103167283A (zh) * | 2011-12-19 | 2013-06-19 | 华为技术有限公司 | 一种视频编码方法及设备 |
| CN103475882A (zh) * | 2013-09-13 | 2013-12-25 | 北京大学 | 监控视频的编码、识别方法和监控视频的编码、识别系统 |
| CN103824086A (zh) * | 2014-03-24 | 2014-05-28 | 东方网力科技股份有限公司 | 一种图像匹配方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| Dual frame video encoding with feedback;A. Leontaris et al;《The Thrity-Seventh Asilomar Conference on Signals, Systems & Computers, 2003》;20031112;全文 * |
| 一种自适应选取参考帧的多视点视频编码方案;马力妮;《计算机工程与科学》;20091231;第31卷(第3期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2017177675A1 (zh) | 2017-10-19 |
| CN105872556A (zh) | 2016-08-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105872556B (zh) | 视频编码方法和装置 | |
| CA2891275C (en) | A hybrid-resolution encoding and decoding method and a video apparatus using the same | |
| US9942557B2 (en) | Method and system of video encoding optimization | |
| CN102752595B (zh) | 用于深度图编码和解码的混合型跳过模式 | |
| ES2652132T3 (es) | Método y aparato para codificar y descodificar un bloque de textura mediante el uso de partición de bloque basada en la profundidad | |
| US9307241B2 (en) | Video encoding method and a video encoding apparatus using the same | |
| CN105472205B (zh) | 编码过程中的实时视频降噪方法和装置 | |
| KR20160032088A (ko) | 비디오 코딩에서 사선 모드의 인트라 예측 향상을 위한 방법 | |
| CN101371585A (zh) | 提供用于多视图视频编码的提供降低分辨率的更新模式的方法和装置 | |
| KR101390620B1 (ko) | 비디오 인코딩을 위한 전력 효율적인 움직임 추정 기법 | |
| JP2006519565A (ja) | ビデオ符号化 | |
| CN111200734A (zh) | 视频编码方法及装置 | |
| US9888240B2 (en) | Video processors for preserving detail in low-light scenes | |
| CN102833532B (zh) | 用于对数字视频数据进行编码的方法和数字视频编码器系统 | |
| KR20080068716A (ko) | 비디오 스트리밍에서 샷 검출을 위한 방법 및 장치 | |
| JP2014509119A (ja) | 幾何学ベースのイントラ予測の方法および装置 | |
| WO2014166338A1 (en) | Method and apparatus for prediction value derivation in intra coding | |
| WO2010109564A1 (ja) | 画像符号化装置及び画像符号化方法 | |
| CN102196253B (zh) | 一种帧类型自适应选择的视频编码方法及装置 | |
| EP3547684B1 (en) | Method, device and system for encoding a sequence of frames in a video stream | |
| CN114913250A (zh) | 基于语义分割和匈牙利算法的视频编解码系统和方法 | |
| CN102098516B (zh) | 多视点视频解码端去块滤波方法 | |
| CN103747257A (zh) | 一种视频数据高效编码的方法 | |
| CN104168482B (zh) | 一种视频编解码方法及装置 | |
| CN103379340B (zh) | 一种残差预测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |