CN103297778A

CN103297778A - 一种对图像进行编、解码的方法及设备

Info

Publication number: CN103297778A
Application number: CN2013102020240A
Authority: CN
Inventors: 覃知; 王浦林
Original assignee: Huawei Technologies Co Ltd
Current assignee: Huawei Technologies Co Ltd
Priority date: 2013-05-27
Filing date: 2013-05-27
Publication date: 2013-09-11
Anticipated expiration: 2033-05-27
Also published as: CN103297778B

Abstract

本发明公开了一种对图像进行编、解码的方法及设备，主要内容包括：在摄像装置受到3A参数调节时，根据当前帧和实际参考帧之间受到3A参数调节后的内在联系或是演变关系，对实际参考帧进行处理后生成虚拟参考帧，进而根据虚拟参考帧来对当前帧进行编码。由于生成的虚拟参考帧可在一定程度上反映当前帧和实际参考帧之间的演变关系，更接近当前帧，因此，利用虚拟参考帧进行编码的编码质量较好。

Description

一种对图像进行编、解码的方法及设备

技术领域

本发明涉及图像处理技术领域，尤其涉及一种对图像进行编、解码的方法及设备。

背景技术

当聚焦主体（即摄像装置拍摄的对象）或者拍摄环境发生较大变化时，需要对摄像装置（如数码相机、监控摄像头、手机摄像头等）进行相应调节，如根据视频3A参数对摄像装置进行调节，所述3A参数包括自动聚焦（AutoFocus，AF）参数、自动曝光（Auto Exposure，AE）参数和自动白平衡（AutoWhite Balance，AWB）参数。根据3A参数对摄像装置进行调节即为：

AF部件输出AF参数对摄像装置进行调节，AE部件输出AE参数对摄像装置进行调节，AWB部件输出AWB参数对摄像装置进行调节。

当摄像装置根据AF参数、AE参数或是AWB参数进行调节时，摄像装置采集并输出给图像编码部件的视频图像将会发生连续变化，若图像编码部件对接收到的连续变化的视频图像仍按照常规方式进行编码，则会由于对待编码的当前帧的图像预测编码模式（帧间预测编码模式或帧内预测编码模式）选择困难、参考帧与当前帧的相似度小以及编码质量因子不好确定等问题，导致编码的压缩率低，即当前帧编码的码率急剧升高，或在保证压缩率的情况下，即编码码率不变的情况下，会导致编码后图像细节损失较大，图像质量差的问题。

例如，当聚焦主体的聚焦深度、聚焦位置发生变化时，摄像装置将根据AF参数对镜头焦距进行自动调节，由于摄像装置会出现失焦或聚焦，因此，摄像装置所采集的视频图像中不同物体会因其空间位置的不同（主要指视频图像中的物体相对于镜头远近的差异），导致编码后物体的大小和边缘细节发生较大变化，进而导致编码效果差。

再例如，当拍摄图像的光照强度不变或是变化很小，但拍摄图像中物体不断发生变化，特别是距离摄像装置较近的物体不断发生变化时，或是拍摄图像的场景连续变化（如由拍摄室内场景慢慢转向室外场景，或是手持摄像装置移步换景拍摄）时，摄像装置将根据AE参数（拍摄图像亮度发生变化时）进行自动调节，或是根据AWB参数（拍摄图像颜色发生变化或是光源发生变化）进行自动调节，这些调节会显著增大参考帧和待编码的当前帧之间的差异，导致编码效果以及图像质量差。

综上所述，当摄像装置根据AF、AE或AWB中至少一个参数进行自动调节后，由于摄像装置采集的视频图像发生连续变化，若仍按照目前的编码方式直接对采集的视频图像进行编码，则会由于对待编码的当前帧的图像预测模式选择困难、参考帧与当前帧的相似度小等问题，导致编码码率急剧升高，或是编码码率不变，但编码后图像细节损失较大，编码后图像质量差的问题。

发明内容

本发明实施例提供了一种对图像进行编、解码的方法及设备，用以解决现有技术中存在的当摄像装置受到3A参数调节后，编码码率急剧升高，或是编码码率不变，但编码后图像细节损失较大，编码后图像质量差的问题。

第一方面，提供一种对图像进行编码的方法，所述方法包括：

根据摄像装置发送的云台转动PT参数确定当前帧和实际参考帧之间的运动矢量MVD；

确定与所述实际参考帧的中心点和大小相同的虚拟参考帧，其中，所述虚拟参考帧与按照所述MVD移动后的实际参考帧的重合区域内采用帧间预测编码，除所述重合区域外的其他区域内采用帧内预测编码；

利用所述虚拟参考帧对所述当前帧进行编码。

结合第一方面，在第一种可能的实现方式中，所述方法还包括：

在所述虚拟参考帧的所述重合区域内填充所述实际参考帧在该重合区域内的内容，以及，在所述虚拟参考帧中除所述重合区域外的其他区域内填充0。

结合第一方面，在第二种可能的实现方式中，所述PT参数中包括：在当前的成像焦距下摄像装置的垂直视角θ、当前帧相对于θ的转动角度

实际参考帧相对于θ的转动角度以及，在当前的成像焦距下摄像装置的水平视角γ、当前帧相对于γ的转动角度β1、实际参考帧相对于γ的转动角度β2；

根据所述PT参数确定当前帧和实际参考帧之间的MVD，具体包括：

根据所述

确定所述当前帧相对于与θ没有转动角度的帧在垂直方向上的第一MVD；

根据所述

确定所述实际参考帧相对于与θ没有转动角度的帧在垂直方向上的第二MVD；

将所述第一MVD和所述第二MVD之差作为当前帧和实际参考帧在垂直方向上的MVD；

根据所述β1确定所述当前帧相对于与γ没有转动角度的帧在水平方向上的第三MVD；

根据所述β2确定所述实际参考帧相对于与γ没有转动角度的帧在水平方向上的第四MVD；

将所述第三MVD和第四MVD之差作为当前帧和实际参考帧在水平方向上的MVD。

结合第一方面的第二种可能的实现方式，在第三种可能的实现方式中，所述PT参数中还包括：摄像装置采集的图像在垂直方向上的高度H和在水平方向上的宽度W；

通过以下公式确定第一MVD和第二MVD：

第一

MVD = H * (\frac{\sin &PartialD; 1}{\sin θ}),

第二

MVD = H * (\frac{\sin &PartialD; 2}{\sin θ});

通过以下公式确定第三MVD和第四MVD：

第三

MVD = W * (\frac{\sin β 1}{\sin γ}),

第二

MVD = W * (\frac{\sin β 2}{\sin γ}) .

结合第一方面的第一种可能的实现方式、第二种可能的实现方式或第三种可能的实现方式，在第四种可能的实现方式中，在利用所述虚拟参考帧对所述当前帧进行编码之前，所述方法还包括：

根据摄像装置发送的云台转动/镜头变焦PTZ参数确定当前帧和实际参考帧之间的缩放比；

根据确定的所述缩放比对所述虚拟参考帧进行插值操作；

利用所述虚拟参考帧对所述当前帧进行编码，具体包括：

利用进行插值操作后的虚拟参考帧对所述当前帧进行编码。

结合第一方面的第四种可能的实现方式，在第五种可能的实现方式中，若插值操作后虚拟参考帧的面积大于插值操作前虚拟参考帧的面积，则从插值操作后的虚拟参考帧中选取中心点和大小都与插值操作前的虚拟参考帧相同的区域作为插值操作后最终得到的虚拟参考帧，所述最终得到的虚拟参考帧采用帧间预测编码；

若插值操作后虚拟参考帧的面积小于插值操作前虚拟参考帧的面积，则选取包含插值操作后的虚拟参考帧且中心点和大小都与插值操作前的虚拟参考帧相同的区域作为插值操作后最终得到的虚拟参考帧，该最终得到的虚拟参考帧与插值操作后的虚拟参考帧的重合区域采用帧间预测编码，除该重合区域外的其他区域采用帧内预测编码。

结合第一方面的第五种可能的实现方式，在第六种可能的实现方式中，在插值操作后的虚拟参考帧的面积小于实际参考帧面积的情况下选取的最终得到的虚拟参考帧中，所述重合区域内填充插值操作后虚拟参考帧的内容，除该重合区域外的其他区域内填充0。

结合第一方面的第一至第六任意一种可能的实现方式，在第七种可能的实现方式中，在利用所述虚拟参考帧对所述当前帧进行编码之前，所述方法还包括：

根据摄像装置发送的自动曝光AE调节参数确定实际参考帧的整体增益和当前帧的整体增益之间的比值；

利用所述比值对所述虚拟参考帧的各像素点进行处理，其中，像素点处理前的像素值与像素点处理后的像素值之比等于所述比值；

利用所述虚拟参考帧对所述当前帧进行编码，具体包括：

利用对像素点进行处理后的虚拟参考帧对所述当前帧进行编码。

结合第一方面的第一至第七任意一种可能的实现方式，在第八种可能的实现方式中，在利用所述虚拟参考帧对所述当前帧进行编码之前，所述方法还包括：

根据摄像装置发送的自动白平衡AWB调节参数确定实际参考帧的R、G、B增益分别与当前帧的R、G、B增益的比值；

利用确定的R增益的比值、G增益的比值和B增益的比值对所述虚拟参考帧的各像素点进行处理，其中，像素点处理前的R分量值与像素点处理后的R分量值之比等于所述R增益的比值，像素点处理前的G分量值与像素点处理后的G分量值之比等于所述G增益的比值，像素点处理前的B分量值与像素点处理后的B分量值之比等于所述B增益的比值；

利用所述虚拟参考帧对所述当前帧进行编码，具体包括：

第二方面，提供一种对图像进行解码的方法，所述方法包括：

根据当前帧和实际参考帧之间的运动矢量MVD确定与所述实际参考帧的中心点和大小相同的虚拟参考帧，其中，所述虚拟参考帧与按照所述MVD移动后的实际参考帧的重合区域内采用帧间预测编码，除所述重合区域外的其他区域内采用帧内预测编码；

利用所述虚拟参考帧对编码后的当前帧进行解码。

结合第二方面，在第一种可能的实现方式中，在所述虚拟参考帧的所述重合区域内填充所述实际参考帧在该重合区域内的内容，以及，在所述虚拟参考帧中除所述重合区域外的其他区域内填充0。

结合第二方面，在第二种可能的实现方式中，所述MVD是编码侧发送的，或是根据编码侧发送的云台转动PT参数确定的。

结合第二方面的第一种可能的实现方式或第二种可能的实现方式，在第三种可能的实现方式中，利用所述虚拟参考帧对编码后的当前帧进行解码之前，所述方法还包括：

根据当前帧和实际参考帧之间的缩放比对所述虚拟参考帧进行插值操作；

利用所述虚拟参考帧对编码后的当前帧进行解码，具体包括：

利用进行插值操作后的虚拟参考帧对编码后的所述当前帧进行解码。

结合第二方面的第三种可能的实现方式，在第四种可能的实现方式中，若插值操作后虚拟参考帧的面积大于插值操作前虚拟参考帧的面积，则从插值操作后的虚拟参考帧中选取中心点和大小都与插值操作前的虚拟参考帧相同的区域作为插值操作后最终得到的虚拟参考帧，所述最终得到的虚拟参考帧采用帧间预测编码；

若插值操作后虚拟参考帧的面积小于插值操作前虚拟参考帧的面积，则选取包含插值操作后的虚拟参考帧且中心点和大小都与插值操作前的虚拟参考帧相同的区域作为插值操作后最终得到的虚拟参考帧，该最终得到的虚拟参考帧与插值操作后的虚拟参考帧的重合区域采用帧间预测编码，除重合区域外的其他区域采用帧内预测编码。

结合第二方面的第一至第四任意一种可能的实现方式，在第五种可能的实现方式中，利用所述虚拟参考帧对编码后的当前帧进行解码之前，所述方法还包括：

根据实际参考帧的整体增益和当前帧的整体增益之间的比值对所述虚拟参考帧的各像素点进行处理，其中，像素点处理前的像素值与像素点处理后的像素值之比等于所述比值；

利用对像素点进行处理后的虚拟参考帧对编码后的所述当前帧进行解码。

结合第二方面的第一至第五任意一种可能的实现方式，在第六种可能的实现方式中，利用所述虚拟参考帧对编码后的当前帧进行解码之前，所述方法还包括：

根据实际参考帧的R、G、B增益分别与当前帧的R、G、B增益的比值对所述虚拟参考帧的各像素点进行处理，其中，像素点处理前的R分量值与像素点处理后的R分量值之比等于所述R增益的比值，像素点处理前的G分量值与像素点处理后的G分量值之比等于所述G增益的比值，像素点处理前的B分量值与像素点处理后的B分量值之比等于所述B增益的比值；

第三方面，提供一种对图像进行编码的方法，所述方法包括：

根据摄像装置发送的PTZ参数确定当前帧和实际参考帧之间的缩放比；

根据所述缩放比对所述实际参考帧进行插值操作后得到虚拟参考帧，其中，若插值操作后的虚拟参考帧的面积大于实际参考帧的面积，则从插值操作后的虚拟参考帧中选取中心点和大小都与实际参考帧相同的区域作为最终得到的虚拟参考帧，所述最终得到的虚拟参考帧采用帧间预测编码，若插值操作后的虚拟参考帧的面积小于实际参考帧的面积，则选取包含插值操作后的虚拟参考帧且中心点和大小都与实际参考帧相同的区域作为最终得到的虚拟参考帧，该最终得到的虚拟参考帧与插值操作后的虚拟参考帧的重合区域采用帧间预测编码，除该重合区域外的其他区域采用帧内预测编码；

利用最终得到的虚拟参考帧对所述当前帧进行编码。

结合第三方面，在第一种可能的实现方式中，在插值操作后的虚拟参考帧的面积小于实际参考帧面积的情况下选取的最终得到的虚拟参考帧中，所述重合区域内填充插值操作后虚拟参考帧的内容，除该重合区域外的其他区域内填充0。

结合第三方面，在第二种可能的实现方式中，所述PTZ参数包括当前帧的焦距和实际参考帧的焦距；

通过以下公式确定当前帧和实际参考帧之间的缩放比：

缩放比=前帧的焦距/实际参考帧的焦距。

第四方面，提供一种对图像进行解码的方法，所述方法包括：

根据当前帧和实际参考帧之间的缩放比对所述实际参考帧进行插值操作后得到虚拟参考帧，其中：若插值操作后虚拟参考帧的面积大于插值操作前虚拟参考帧的面积，则从插值操作后的虚拟参考帧中选取中心点和大小都与插值操作前的虚拟参考帧相同的区域作为插值操作后最终得到的虚拟参考帧，所述最终得到的虚拟参考帧采用帧间预测编码，若插值操作后虚拟参考帧的面积小于插值操作前虚拟参考帧的面积，则选取包含插值操作后的虚拟参考帧且中心点和大小都与插值操作前的虚拟参考帧相同的区域作为插值操作后最终得到的虚拟参考帧，该最终得到的虚拟参考帧与插值操作后的虚拟参考帧的重合区域采用帧间预测编码，除重合区域外的其他区域采用帧内预测编码；

利用最终得到的虚拟参考帧对编码后的所述当前帧进行解码。

结合第四方面，在第一种可能的实现方式中，在插值操作后的虚拟参考帧的面积小于实际参考帧面积的情况下选取的最终得到的虚拟参考帧中，所述重合区域内填充插值操作后虚拟参考帧的内容，除该重合区域外的其他区域内填充0。

结合第四方面，在第二种可能的实现方式中，所述当前帧和实际参考帧之间的缩放比是编码侧发送的，或是根据编码侧发送的PTZ参数确定的。

第五方面，提供一种对图像进行编码的方法，所述方法包括：

根据摄像装置发送的AE调节参数确定实际参考帧的整体增益和当前帧的整体增益之间的比值；

利用所述比值对所述实际参考帧的各像素点进行处理后得到虚拟参考帧，其中，像素点处理前的像素值与像素点处理后的像素值之比等于所述比值；

利用所述虚拟参考帧对所述当前帧进行编码。

结合第五方面，在第一种可能的实现方式中，所述AE调节参数中包括：当前帧的曝光总时长、当前帧的模拟增益、当前帧的数字增益和当前帧的实际光圈数值，以及实际参考帧的曝光总时长、实际参考帧的模拟增益、实际参考帧的数字增益和实际参考帧的实际光圈数值；

通过以下公式确定当前帧和实际参考帧的整体增益：

帧的整体增益=（帧的曝光总时长/帧的曝光单位时长）*（默认光圈数值/帧的实际光圈数值）*数值因子*帧的模拟增益*帧的数字增益。

第六方面，提供一种对图像进行解码的方法，所述方法包括：

利用实际参考帧的整体增益和当前帧的整体增益之间的比值对所述实际参考帧的各像素点进行处理后得到虚拟参考帧，其中，像素点处理前的像素值与像素点处理后的像素值之比等于所述比值；

利用所述虚拟参考帧对编码后的所述当前帧进行解码。

结合第六方面，在第一种可能的实现方式中，所述实际参考帧的整体增益和当前帧的整体增益之间的比值是编码侧发送的，或是根据编码侧发送的AE调节参数确定的。

第七方面，提供一种对图像进行编码的方法，所述方法包括：

根据摄像装置发送的AWB调节参数确定实际参考帧的R、G、B增益分别与当前帧的R、G、B增益的比值；

利用确定的R增益的比值、G增益的比值和B增益的比值对所述实际参考帧的各像素点进行处理得到虚拟参考帧，其中，像素点处理前的R分量值与像素点处理后的R分量值之比等于所述R增益的比值，像素点处理前的G分量值与像素点处理后的G分量值之比等于所述G增益的比值，像素点处理前的B分量值与像素点处理后的B分量值之比等于所述B增益的比值；

利用所述虚拟参考帧对所述当前帧进行编码。

第八方面，提供一种对图像进行解码的方法，所述方法包括：

根据实际参考帧的R、G、B增益分别与当前帧的R、G、B增益的比值对所述实际参考帧的各像素点进行处理得到虚拟参考帧，其中，像素点处理前的R分量值与像素点处理后的R分量值之比等于所述R增益的比值，像素点处理前的G分量值与像素点处理后的G分量值之比等于所述G增益的比值，像素点处理前的B分量值与像素点处理后的B分量值之比等于所述B增益的比值；

利用所述虚拟参考帧对编码后的所述当前帧进行解码。

结合第八方面，在第一种可能的实现方式中，所述实际参考帧的R、G、B增益分别与当前帧的R、G、B增益的比值是编码侧发送的，或是根据编码侧发送的AWB调节参数确定的。

第九方面，提供一种编码方法，所述方法包括：

接收来自摄像装置的AF参数调节状态信息、AE参数调节状态信息和AWB参数调节状态信息中的至少一个信息；

在根据接收到的信息确定摄像装置处于开始调节状态或是处于调节结束状态时，重新对I帧或I块进行编码。

第十方面，提供一种对图像进行编码的设备，所述设备包括：

参数接收模块，用于接收摄像装置发送的云台转动PT参数；

执行模块，用于根据所述PT参数确定当前帧和实际参考帧之间的运动矢量MVD；

虚拟参考帧操作模块，用于确定与所述实际参考帧的中心点和大小相同的虚拟参考帧，其中，所述虚拟参考帧与按照所述MVD移动后的实际参考帧的重合区域内采用帧间预测编码，除所述重合区域外的其他区域内采用帧内预测编码；

编码模块，用于利用所述虚拟参考帧对所述当前帧进行编码。

结合第十方面，在第一种可能的实现方式中，所述虚拟参考帧操作模块，还用于在所述虚拟参考帧的所述重合区域内填充所述实际参考帧在该重合区域内的内容，以及，在所述虚拟参考帧中除所述重合区域外的其他区域内填充0。

结合第十方面，在第二种可能的实现方式中，所述PT参数中包括：在当前的成像焦距下摄像装置的垂直视角θ、当前帧相对于θ的转动角度

实际参考帧相对于θ的转动角度

以及，在当前的成像焦距下摄像装置的水平视角γ、当前帧相对于γ的转动角度β1、实际参考帧相对于γ的转动角度β2；

所述执行模块，具体用于根据所述

确定所述当前帧相对于与θ没有转动角度的帧在垂直方向上的第一MVD，根据所述

确定所述实际参考帧相对于与θ没有转动角度的帧在垂直方向上的第二MVD，将所述第一MVD和所述第二MVD之差作为当前帧和实际参考帧在垂直方向上的MVD，以及，根据所述β1确定所述当前帧相对于与γ没有转动角度的帧在水平方向上的第三MVD，根据所述β2确定所述实际参考帧相对于与γ没有转动角度的帧在水平方向上的第四MVD，将所述第三MVD和第四MVD之差作为当前帧和实际参考帧在水平方向上的MVD。

结合第十方面的第二种可能的实现方式，在第三种可能的实现方式中，所述PT参数中还包括：摄像装置采集的图像在垂直方向上的高度H和在水平方向上的宽度W；

所述执行模块，具体用于根据以下公式确定第一MVD、第二MVD、第三MVD和第四MVD：

第一

MVD = H * (\frac{\sin &PartialD; 1}{\sin θ}),

第二

MVD = H * (\frac{\sin &PartialD; 2}{\sin θ});

第三

MVD = W * (\frac{\sin β 1}{\sin γ}),

第二

MVD = W * (\frac{\sin β 2}{\sin γ}) .

结合第十方面的第一至第三任意一种可能的实现方式，在第四种可能的实现方式中，所述参数接收模块，还用于接收摄像装置发送的云台转动/镜头变焦PTZ参数；

所述执行模块，还用于根据所述PTZ参数确定当前帧和实际参考帧之间的缩放比；

所述虚拟参考帧操作模块，还用于根据确定的所述缩放比对所述虚拟参考帧进行插值操作；

所述编码模块，具体用于利用进行插值操作后的虚拟参考帧对所述当前帧进行编码。

结合第十方面的第四种可能的实现方式，在第五种可能的实现方式中，所述虚拟参考帧操作模块，还用于若插值操作后虚拟参考帧的面积大于插值操作前虚拟参考帧的面积，则从插值操作后的虚拟参考帧中选取中心点和大小都与插值操作前的虚拟参考帧相同的区域作为插值操作后最终得到的虚拟参考帧，所述最终得到的虚拟参考帧采用帧间预测编码，以及，若插值操作后虚拟参考帧的面积小于插值操作前虚拟参考帧的面积，则选取包含插值操作后的虚拟参考帧且中心点和大小都与插值操作前的虚拟参考帧相同的区域作为插值操作后最终得到的虚拟参考帧，该最终得到的虚拟参考帧与插值操作后的虚拟参考帧的重合区域采用帧间预测编码，除该重合区域外的其他区域采用帧内预测编码。

结合第十方面的第五种可能的实现方式，在第六种可能的实现方式中，所述虚拟参考帧操作模块，还用于在插值操作后的虚拟参考帧的面积小于实际参考帧面积的情况下选取的最终得到的虚拟参考帧中，所述重合区域内填充插值操作后虚拟参考帧的内容，除该重合区域外的其他区域内填充0。

结合第十方面的第一至第六任意一种可能的实现方式，在第七种可能的实现方式中，所述参数接收模块，还用于接收摄像装置发送的自动曝光AE调节参数；

所述执行模块，还用于根据所述AE调节参数确定实际参考帧的整体增益和当前帧的整体增益之间的比值；

所述虚拟参考帧操作模块，还用于利用所述比值对所述虚拟参考帧的各像素点进行处理，其中，像素点处理前的像素值与像素点处理后的像素值之比等于所述比值；

所述编码模块，具体用于利用对像素点进行处理后的虚拟参考帧对所述当前帧进行编码。

结合第十方面的第一至第七任意一种可能的实现方式，在第八种可能的实现方式中，所述参数接收模块，还用于接收摄像装置发送的自动白平衡AWB调节参数；

所述执行模块，还用于根据所述AWB调节参数确定实际参考帧的R、G、B增益分别与当前帧的R、G、B增益的比值；

所述虚拟参考帧操作模块，还用于利用确定的R增益的比值、G增益的比值和B增益的比值对所述虚拟参考帧的各像素点进行处理，其中，像素点处理前的R分量值与像素点处理后的R分量值之比等于所述R增益的比值，像素点处理前的G分量值与像素点处理后的G分量值之比等于所述G增益的比值，像素点处理前的B分量值与像素点处理后的B分量值之比等于所述B增益的比值；

第十一方面，提供一种对图像进行解码的设备，所述设备包括：

虚拟参考帧操作模块，用于根据当前帧和实际参考帧之间的运动矢量MVD确定与所述实际参考帧的中心点和大小相同的虚拟参考帧，其中，所述虚拟参考帧与按照所述MVD移动后的实际参考帧的重合区域内采用帧间预测编码，除所述重合区域外的其他区域内采用帧内预测编码；

解码模块，用于利用所述虚拟参考帧对编码后的当前帧进行解码。

结合第十一方面，在第一种可能的实现方式中，所述虚拟参考帧操作模块，还用于在所述虚拟参考帧的所述重合区域内填充所述实际参考帧在该重合区域内的内容，以及，在所述虚拟参考帧中除所述重合区域外的其他区域内填充0。

结合第十一方面，在第二种可能的实现方式中，所述设备还包括：

参数接收模块，用于接收编码侧发送的MVD，或是编码侧发送的云台转动PT参数；

执行模块，用于在所述参数接收模块接收到所述PT参数时，根据所述PT参数确定MVD。

结合第十一方面的第一种可能的实现方式或第二种可能的实现方式，在第三种可能的实现方式中，所述虚拟参考帧操作模块，还用于根据当前帧和实际参考帧之间的缩放比对所述虚拟参考帧进行插值操作；

所述解码模块，具体用于利用进行插值操作后的虚拟参考帧对编码后的所述当前帧进行解码。

结合第十一方面的第三种可能的实现方式，在第四种可能的实现方式中，所述虚拟参考帧操作模块，还用于若插值操作后虚拟参考帧的面积大于插值操作前虚拟参考帧的面积，则从插值操作后的虚拟参考帧中选取中心点和大小都与插值操作前的虚拟参考帧相同的区域作为插值操作后最终得到的虚拟参考帧，所述最终得到的虚拟参考帧采用帧间预测编码，以及，若插值操作后虚拟参考帧的面积小于插值操作前虚拟参考帧的面积，则选取包含插值操作后的虚拟参考帧且中心点和大小都与插值操作前的虚拟参考帧相同的区域作为插值操作后最终得到的虚拟参考帧，该最终得到的虚拟参考帧与插值操作后的虚拟参考帧的重合区域采用帧间预测编码，除重合区域外的其他区域采用帧内预测编码。

结合第十一方面的第一至第四任意一种可能的实现方式，在第五种可能的实现方式中，所述虚拟参考帧操作模块，还用于根据实际参考帧的整体增益和当前帧的整体增益之间的比值对所述虚拟参考帧的各像素点进行处理，其中，像素点处理前的像素值与像素点处理后的像素值之比等于所述比值；

所述解码模块，具体用于利用对像素点进行处理后的虚拟参考帧对编码后的所述当前帧进行解码。

结合第十一方面的第一至第五任意一种可能的实现方式，在第六种可能的实现方式中，所述虚拟参考帧操作模块，还用于根据实际参考帧的R、G、B增益分别与当前帧的R、G、B增益的比值对所述虚拟参考帧的各像素点进行处理，其中，像素点处理前的R分量值与像素点处理后的R分量值之比等于所述R增益的比值，像素点处理前的G分量值与像素点处理后的G分量值之比等于所述G增益的比值，像素点处理前的B分量值与像素点处理后的B分量值之比等于所述B增益的比值；

第十二方面，提供一种对图像进行编码的设备，所述设备包括：

参数接收模块，用于接收摄像装置发送的PTZ参数；

执行模块，用于根据所述PTZ参数确定当前帧和实际参考帧之间的缩放比；

虚拟参考帧操作模块，用于根据所述缩放比对所述实际参考帧进行插值操作后得到虚拟参考帧，其中，若插值操作后的虚拟参考帧的面积大于实际参考帧的面积，则从插值操作后的虚拟参考帧中选取中心点和大小都与实际参考帧相同的区域作为最终得到的虚拟参考帧，所述最终得到的虚拟参考帧采用帧间预测编码，若插值操作后的虚拟参考帧的面积小于实际参考帧的面积，则选取包含插值操作后的虚拟参考帧且中心点和大小都与实际参考帧相同的区域作为最终得到的虚拟参考帧，该最终得到的虚拟参考帧与插值操作后的虚拟参考帧的重合区域采用帧间预测编码，除该重合区域外的其他区域采用帧内预测编码；

编码模块，用于利用最终得到的虚拟参考帧对所述当前帧进行编码。

第十三方面，提供一种对图像进行解码的设备，所述设备包括：

虚拟参考帧操作模块，用于根据当前帧和实际参考帧之间的缩放比对所述实际参考帧进行插值操作后得到虚拟参考帧，其中：若插值操作后虚拟参考帧的面积大于插值操作前虚拟参考帧的面积，则从插值操作后的虚拟参考帧中选取中心点和大小都与插值操作前的虚拟参考帧相同的区域作为插值操作后最终得到的虚拟参考帧，所述最终得到的虚拟参考帧采用帧间预测编码，若插值操作后虚拟参考帧的面积小于插值操作前虚拟参考帧的面积，则选取包含插值操作后的虚拟参考帧且中心点和大小都与插值操作前的虚拟参考帧相同的区域作为插值操作后最终得到的虚拟参考帧，该最终得到的虚拟参考帧与插值操作后的虚拟参考帧的重合区域采用帧间预测编码，除重合区域外的其他区域采用帧内预测编码；

解码模块，用于利用最终得到的虚拟参考帧对编码后的所述当前帧进行解码。

第十四方面，提供一种对图像进行编码的设备，所述设备包括：

参数接收模块，用于接收摄像装置发送的AE调节参数；

执行模块，用于根据所述AE调节参数确定实际参考帧的整体增益和当前帧的整体增益之间的比值；

虚拟参考帧操作模块，用于利用所述比值对所述实际参考帧的各像素点进行处理后得到虚拟参考帧，其中，像素点处理前的像素值与像素点处理后的像素值之比等于所述比值；

第十五方面，提供一种对图像进行解码的设备，所述设备包括：

虚拟参考帧操作模块，用于利用实际参考帧的整体增益和当前帧的整体增益之间的比值对所述实际参考帧的各像素点进行处理后得到虚拟参考帧，其中，像素点处理前的像素值与像素点处理后的像素值之比等于所述比值；

解码模块，用于利用所述虚拟参考帧对编码后的所述当前帧进行解码。

第十六方面，提供一种对图像进行编码的设备，所述设备包括：

参数接收模块，用于接收摄像装置发送的AWB调节参数；

执行模块，用于根据所述AWB调节参数确定实际参考帧的R、G、B增益分别与当前帧的R、G、B增益的比值；

虚拟参考帧操作模块，用于利用确定的R增益的比值、G增益的比值和B增益的比值对所述实际参考帧的各像素点进行处理得到虚拟参考帧，其中，像素点处理前的R分量值与像素点处理后的R分量值之比等于所述R增益的比值，像素点处理前的G分量值与像素点处理后的G分量值之比等于所述G增益的比值，像素点处理前的B分量值与像素点处理后的B分量值之比等于所述B增益的比值；

第十七方面，提供一种对图像进行解码的设备，所述设备包括：

虚拟参考帧操作模块，用于根据实际参考帧的R、G、B增益分别与当前帧的R、G、B增益的比值对所述实际参考帧的各像素点进行处理得到虚拟参考帧，其中，像素点处理前的R分量值与像素点处理后的R分量值之比等于所述R增益的比值，像素点处理前的G分量值与像素点处理后的G分量值之比等于所述G增益的比值，像素点处理前的B分量值与像素点处理后的B分量值之比等于所述B增益的比值；

第十八方面，提供一种编码设备，所述编码设备包括：

参数接收模块，用于接收来自摄像装置的AF参数调节状态信息、AE参数调节状态信息和AWB参数调节状态信息中的至少一个信息；

编码模块，用于在根据接收到的信息确定摄像装置处于开始调节状态或是处于调节结束状态时，重新对I帧或I块进行编码。

本发明实施例在摄像装置受到3A参数调节时，根据当前帧和实际参考帧之间受到3A参数调节后的内在联系或是演变关系，对实际参考帧进行处理后生成虚拟参考帧，进而根据虚拟参考帧来对当前帧进行编码。由于生成的虚拟参考帧可在一定程度上反映当前帧和实际参考帧之间的演变关系，更接近当前帧，因此，利用虚拟参考帧进行编码的编码质量较好。

附图说明

图1为本发明实施例一中对图像进行编、解码的方法步骤示意图；

图2为本发明实施例一中计算运动矢量的示意图；

图3为本发明实施例一中实际参考帧与虚拟参考帧之间的关系示意图；

图4为本发明实施例二中对图像进行编、解码的方法步骤示意图；

图5（a）和图5（b）为本发明实施例二中实际参考帧与虚拟参考帧之间缩放示意图；

图6为本发明实施例三中对图像进行编、解码的方法步骤示意图；

图7为发明本实施例四中对图像进行编、解码的方法步骤示意图；

图8为发明本实施例五中I帧更新步骤示意图；

图9为本发明实施例六中对图像进行编、解码的设备结构示意图；

图10为本发明实施例七中对图像进行编、解码的设备结构示意图。

具体实施方式

为了解决当摄像装置受到3A参数调节时，按照目前的编码方式直接对采集的视频帧进行编码所带来的问题，本发明实施例提出当摄像装置受到3A参数调节时，根据当前帧和实际参考帧之间受到3A参数调节后的内在联系或是演变关系，对实际参考帧进行处理后生成虚拟参考帧，进而根据虚拟参考帧来对当前帧进行编码。由于生成的虚拟参考帧可在一定程度上反映当前帧和实际参考帧之间的演变关系，更接近当前帧，因此，利用虚拟参考帧进行编码的压缩率较高，编码质量较好；另外，由于虚拟参考帧是根据实际参考帧演变而来的，因此，虚拟参考帧内的预测编码模式可根据实际参考帧的演变状况而定，在确定了虚拟参考帧的预测编码模式后，即可确定待编码的当前帧的预测编码模式，使当前帧的编码效果较好。

需要说明的是，本发明各实施例中涉及的实际参考帧是指：摄像装置受到3A参数调节前编解码过程所使用的参考帧；虚拟参考帧是指：根据当前帧和实际参考帧之间受到3A参数调节后的内在联系或是演变关系，对实际参考帧进行处理后生成虚拟参考帧，用于在摄像装置受到3A参数调节时对当前帧进行编码。

下面通过具体实施例对本发明的方案进行详细描述。

在本发明实施例的方案中，摄像装置可受到AF参数、AE参数和AWB参数中的任一一个参数或多个参数组合的调节，下面分别加以说明。

实施例一：

本实施例一以摄像装置受到AF参数中的PT（Pan/Tilt，云台转动（上下、左右））参数调节为例，说明在此情况下，编码器如何生成虚拟参考帧进而对当前帧进行编码，以及相应的解码过程。

如图1所示，为本实施例一中对图像进行编、解码的方法步骤示意图，所述方法包括以下步骤：

步骤101：编码器接收摄像装置发送的PT参数。

在本步骤101中，当摄像装置受到PT参数调节时将会发生水平方向或垂直方向中的至少一个方向上的转动，因此，在受到PT参数调节后，摄像装置采集的图像相对于受到PT参数调节前采集的图像也会有转动，此时，摄像装置可将当前帧和实际参考帧的水平转动角度和垂直转动角度作为PT参数发送给编码器。

编码器不仅接收来自摄像装置的PT参数，同时还接收摄像装置采集的视频图像（该视频图像以视频帧的形式发送给编码器），编码器可将来自摄像装置的视频帧在本地的缓存队列中排队，依次对视频帧进行编码。

步骤102：编码器根据接收到的PT参数确定当前帧和实际参考帧之间的运动矢量（MVD）。

所述当前帧是编码器当前要对其执行编码操作的帧，该当前帧可以是编码器缓存队列中排列在第一位的帧。

假设摄像装置在水平方向和垂直方向上都有转动，所述PT参数中的内容为：

在当前的成像焦距下摄像装置的垂直视角θ、当前帧相对于θ的转动角度实际参考帧相对于θ的转动角度

在当前的成像焦距下摄像装置的水平视角γ、当前帧相对于γ的转动角度β1、实际参考帧相对于γ的转动角度β2。

确定当前帧和实际参考帧之间的MVD包括两方面内容：一方面是当前帧和实际参考帧之间的MVD在垂直方向上的分量MVD₁，另一方面是当前帧和实际参考帧之间的MVD在水平方向上的分量MVD₂。

所述MVD₁=当前帧相对于θ没有转动的情况下在垂直方向上的MVD_{1_当前帧}-实际参考帧相对于θ没有转动的情况下在垂直方向上的MVD_{1_实际参考帧}；

所述MVD₂=当前帧相对于γ没有转动的情况下在水平方向上的MVD_{2_当前帧}-实际参考帧相对于γ没有转动的情况下在垂直方向上的MVD_{2_实际参考帧}。

以摄像装置采集的图像在垂直方向上的高度为H（如图2所示）、在水平方向上的宽度为W的情况为例，当编码器接收到的PT参数中还包括所述H和W时，可分别通过以下公式计算MVD₁和MVD₂：

步骤103：编码器确定与实际参考帧的中心点和大小相同的虚拟参考帧。

其中：所述虚拟参考帧与按照所述MVD移动后的实际参考帧的重合区域内填充的内容是所述实际参考帧在该重合区域内的内容，并采用帧间预测编码；除所述重合区域外的其他区域内填充0，并采用帧内预测编码。

假设在摄像装置受到PT参数调节前，当前帧的图像区域和实际参考帧的图像区域是图3中的虚线框区域，当摄像装置受到PT参数调节后，实际参考帧按照步骤102中的确定的MVD₁和MVD₂移动，从图3中的左上的虚线框区域移动到右下的实线框区域，由于实际参考帧移动所参照的MVD是相对于当前帧而言的，因此，此时当前帧的图像区域仍是虚线框区域，同时，确定出的虚拟参考帧的图像区域也是虚线框区域。

由于实际参考帧发生了位移，因此，虚拟参考帧和移动后的实际参考帧之间的重合部分（即图3中虚线框区域和实线框区域的重合部分）填充的内容是实际参考帧在该重合部分中的内容，并采用帧间预测编码。

例如，实际参考帧的某一像素点从00区域移动到00^/区域（此时移动后的实际参考帧的00^/区域与虚拟参考帧的12区域重合），实际参考帧中00^/区域中的内容填充至虚拟参考帧的12区域，且采用帧间预测编码。其他诸如实际参考帧的一像素点从01区域移动到01^/区域的情况类似。

虚拟参考帧中除了上述与移动后的实际参考帧之间的重合部分外的其他区域内填充0，如虚线框中的00区域内填充0，并采用帧内预测编码。

图3中的00区域内可以是一个像素点，也可以是多个像素点集合的像素点块。

步骤104：编码器利用所述虚拟参考帧对所述当前帧进行编码。

编码器确定出虚拟参考帧后，可将该虚拟参考帧放入参考帧列表中，并为其分配高优先级，之后在对当前帧进行编码时，从参考帧列表中选择出虚拟参考帧进行编码操作。

通过以上步骤101至步骤104的方案，编码器完成了对当前帧的编码过程，之后，解码器可对编码器按照上述步骤编码后的当前帧进行解码，解码过程为：

步骤105：解码器接收到编码器编码后的当前帧。

步骤106：解码器确定当前帧和实际参考帧之间的MVD。

本步骤106的实现方案包括但不限于以下两种方式：

方式一：编码器将步骤102确定出的当前帧和实际参考帧之间的MVD直接发送给解码器。

方式二：编码器将步骤101接收到的PT参数发送给解码器，由解码器按照步骤102的方式计算出当前帧和实际参考帧之间的MVD。

编码器除了按照上述方式一或方式二向解码器发送信息外，还可以向解码器发送编码辅助调节模式标识，通过该标识通知解码器当前需按照何种模式来对实际参考帧进行处理。例如，编码器向解码器发送编码辅助调节模式1，表示当前摄像装置受到PT参数的调节，解码器需根据实际参考帧与当前帧之间的MVD对实际参考帧进行处理，得到可补偿PT参数调节带来的失真的虚拟参考帧。

具体地，若编解码器之间通过H264/H265协议进行信息传输时，编码器可将编码辅助调节模式标识放置在SEI中发送给解码器。

步骤107：解码器根据当前帧和实际参考帧之间的MVD确定与所述实际参考帧的中心点和大小相同的虚拟参考帧。

其中，所述虚拟参考帧与按照所述MVD移动后的实际参考帧的重合区域内填充所述实际参考帧在该重合区域内的内容，并采用帧间预测编码；除所述重合区域外的其他区域内填充0，并采用帧内预测编码。

解码器在接收到来自编码器的编码辅助调节模式1后，可知需根据当前帧和实际参考帧之间的MVD来对实际参考帧进行处理后得到虚拟参考帧，具体做法与编码器在步骤103中的方案相同。

步骤108：解码器利用所述虚拟参考帧对编码后的当前帧进行解码，生成重建图像。

由于解码器得到的虚拟参考帧和编码器编码时使用的虚拟参考帧相同，因此，解码器可实现正确解码。

通过本发明实施例一的方案，由于虚拟参考帧是根据实际参考帧相对于当前帧的MVD确定的，因此，利用虚拟参考帧进行编码可弥补摄像装置受到PT参数调节时带来的失真，有利于提高编码压缩率；同时，为虚拟参考帧的不同区域分别设定预测编码方式，克服了由于待编码的视频图像连续变化，导致预测模式选择困难的问题。

实施例二：

本实施例二以摄像装置受到AF参数中的PTZ（Pan/Tilt/Zoom，云台转动（上下、左右）/镜头变焦）参数调节为例，说明在此情况下，编码器如何生成虚拟参考帧进而对当前帧进行编码以及相应的解码过程。具体地，本实施例二中以PTZ参数中的Zoom参数为例来说明编码器如何生成虚拟参考帧进而对当前帧进行编码以及相应的解码过程，摄像装置受到PTZ参数中的Pan/Tilt参数调节时的处理过程与实施例一相同。

如图4所示，为本实施例二中对图像进行编、解码的方法步骤示意图，所述方法包括以下步骤：

步骤201：编码器接收摄像装置发送的PTZ参数。

在本步骤201中，当摄像装置受到PTZ参数中的Zoom调解时，会因为焦距的变化出现视频图像的扩大或缩小的情况，此时，摄像装置可将调焦参数（即当前帧的焦距和实际参考帧的焦距）作为PTZ参数中的内容发送给编码器。

与实施例一类似的，编码器还可接收摄像装置采集的视频帧，编码器可将来自摄像装置的视频帧在本地的缓存队列中排队，依次对视频帧进行编码。

步骤202：编码器根据接收到的PTZ参数确定当前帧和实际参考帧之间的缩放比。

具体地，本步骤202中，编码器可根据以下公式计算当前帧和实际参考帧之间的缩放比A：

\frac{1}{f} = \frac{1}{u} + \frac{1}{v} - - - (7)

所述f为焦距，u为物距，v为像距。

以公式（7）为基础可知，由于物距要远大于像距和焦距，假设物距为无穷大，则有公式（8）：

\frac{1}{f} = \frac{1}{v} &DoubleRightArrow; v = f - - - (8)

假设编码器接收到的PTZ参数中，当前帧的焦距为f1，实际参考帧的焦距f2，因此，当前帧和实际参考帧之间的缩放比A可根据公式（9）确定：

A = \frac{f 1}{f 2} - - - (9)

步骤203：编码器根据确定的缩放比对所述实际参考帧进行插值操作后得到虚拟参考帧。

所述插值操作是指按照缩放比对实际参考帧向上逐个采样，或是向下逐个采样得到虚拟参考帧。

如图5（a）所示，为缩放比大于100%（如150%）时，左图中的实际参考帧进行插值操作后得到右图所示的虚拟参考帧，此时，插值操作后的虚拟参考帧的面积（右图中实线框区域）大于实际参考帧的面积（左图中实线框区域），则从插值操作后的虚拟参考帧中选取中心点和大小都与实际参考帧相同的区域（右图中虚线框区域），并将选取的区域作为最终得到的虚拟参考帧，其中填充的内容为插值操作后虚拟参考帧的内容，且采用帧间预测编码。

如图5（b）所示，为缩放比小于100%（如75%）时，左图中的实际参考帧进行插值操作后得到右图所示的虚拟参考帧，此时，插值操作后的虚拟参考帧的面积（右图中实线框区域）小于实际参考帧的面积（左图中实线框区域），则选取包含插值操作后的虚拟参考帧且中心点和大小都与实际参考帧相同的区域（右图中虚线框区域），并将选取的区域作为最终得到的虚拟参考帧，该最终得到的虚拟参考帧与插值操作后的虚拟参考帧的重合区域内填充插值操作后虚拟参考帧的内容，采用帧间预测编码（即右图中实线框区域采用帧间预测编码），重合区域除该重合区域外的其他区域内填充0，采用帧内预测编码。

步骤204：编码器利用最终得到的虚拟参考帧对所述当前帧进行编码。

与实施例一类似的，编码器确定出最终得到的虚拟参考帧后，可将该虚拟参考帧放入参考帧列表中，并为其分配高优先级，之后在对当前帧进行编码时，从参考帧列表中选择出虚拟参考帧进行编码操作。

通过以上步骤201至步骤204的方案，编码器完成了对当前帧的编码过程，之后，解码器可对编码器按照上述步骤编码后的当前帧进行解码，解码过程为：

步骤205：解码器接收到编码器编码后的当前帧。

步骤206：解码器确定当前帧和实际参考帧之间的缩放比。

本步骤206的实现方式包括但不限于以下两种方式：

方式一：编码器将步骤202中确定出的当前帧和实际参考帧之间的缩放比直接发送给解码器。

方式二：编码器将步骤201接收到的TZ参数发送给解码器，由解码器按照步骤202的方式计算出当前帧和实际参考帧之间的缩放比。

与实施例一类似的，编码器还可以向解码器发送编码辅助调节模式标识，假设发送的编码辅助调节模式2，表示当前摄像装置受到PTZ参数的调节，解码器需对实际参考帧进行处理，得到可补偿PTZ参数调节带来的失真的虚拟参考帧。

步骤207：解码器根据当前帧和实际参考帧之间的缩放比对所述实际参考帧进行插值操作后得到虚拟参考帧。

本步骤207中，解码器得到虚拟参考帧的方式与步骤203中编码器得到虚拟参考帧的方式相同。

步骤208：解码器利用最终得到的虚拟参考帧对编码后的所述当前帧进行解码，生成重建图像。

由于解码器得到的虚拟参考帧的方式与编码器得到虚拟参考帧的方式相同，因此，解码器用于解码的虚拟参考帧与编码器用于编码的虚拟参考帧相同，因此，解码器可实现正确解码。

通过本发明实施例二的方案，当摄像装置受到PTZ参数调节时，对实际参考帧按照与当前帧之间的缩放比进行插值操作后得到的虚拟参考帧可弥补摄像装置聚焦或失焦所带来的失真，因此，利用虚拟参考帧进行编码时有利于提高编码压缩率；同时，虚拟参考帧中实现了预测编码模式的选择，克服了由于待编码的视频图像连续变化，导致预测模式选择困难的问题。

需要说明的是，本实施例二的方案可以与实施例一的方案结合在一起，即摄像装置同时受到PT参数和PTZ参数的调解时，编码器可按照实施例一的方案对实际参考帧进行一次处理后得到虚拟参考帧1，将该虚拟参考帧1作为实际参考帧再按照实施例二的方案进行二次处理后得到虚拟参考帧2，再用于编码过程，也就是说，最终用于编码的虚拟参考帧是实际参考帧按照实施例一和实施例二的方案处理后得到的，因此，进行编码时所使用的虚拟参考帧既可弥补受到PT参数调解时带来的失真，同时又可弥补受到PTZ参数调解时带来的失真；相应的，解码器也按照实施例一和实施例二的方案对实际参考帧进行处理后得到虚拟参考帧，进而对编码器编码后的当前帧进行解码，以此实现正确解码。

较优地，编码器完成对当前帧的编码后，可向解码器发送编码辅助调节模式标识，如发送编码辅助调节模式1-2，表示当前摄像装置受到PT参数和PTZ参数的调节，解码器需按照实施例一和实施例二的方式实际参考帧进行二次处理，得到用于解码的虚拟参考帧。

当然，实施例一和实施例二的方案结合在一起时，并不限于先按照实施例一的方案对实际参考帧进行一次处理后再按照实施例二的方案进行二次处理，也可以先按照实施例二的方案对实际参考帧进行一次处理后再按照实施例一的方案进行二次处理。

实施例三：

本实施例三以摄像装置受到AE参数调节为例，说明在此情况下，编码器如何生成虚拟参考帧进而对当前帧进行编码以及相应的解码过程。

如图6所示，为本实施例三中对图像进行编、解码的方法步骤示意图，所述方法包括以下步骤：

步骤301：编码器接收摄像装置发送的AE参数。

在本步骤301的方案中，摄像装置拍摄场景的亮度发生变化时，将会受到AE参数的调节，此时，摄像装置可将AE参数发送给编码器，所述AE参数可包括：

当前帧的曝光总时长、当前帧的模拟增益、当前帧的数字增益和当前帧的实际光圈数值，以及，实际参考帧的曝光总时长、实际参考帧的模拟增益、实际参考帧的数字增益和实际参考帧的实际光圈数值。

步骤302：编码器根据接收到的AE调节参数确定实际参考帧的整体增益和当前帧的整体增益之间的比值。

帧的整体增益是指将所有的曝光分量换算成单位曝光时长后的增益值，具体地，可通过以下公式（10）计算：

帧的整体增益=（帧的曝光总时长/帧的曝光单位时长）*（默认光圈数值/帧的实际光圈数值）*数值因子*帧的模拟增益*帧的数字增益（10）

其中，帧的曝光单位时长可根据摄像装置所处环境下光源的能量周期确定，如50Hz交流电的室内普通光源场景下，曝光单位时长为0.01s；所述默认光圈数值可根据实际需求设定，如默认光圈数值为2.8；所述数值因子可根据实际需求设定。

以室内普通光源下曝光单位时长为0.01s，默认光圈数值为2.8为例，所述公式（10）为：

帧的整体增益=（帧的曝光总时长/0.01s）*（（2.8*2.8*100）/（100*帧的实际光圈数值*帧的实际光圈数值）*帧的模拟增益*帧的数字增益。

编码器可根据AE调节参数中包含的当前帧的相关参数和公式（10）得到当前帧的整体增益，同理还可得到实际参考帧的整体增益。

因为帧的整体增益与实际得到的Bayer Raw Data图像像素值有接近线性的比值关系，因此，在当前帧和实际参考帧的光照情况没有发生变化或是变化较小的情况下，整体增益比值G=实际参考帧的整体增益/当前帧的整体增益=参考帧像素值/当前帧像素值。

步骤303：编码器根据所述比值对所述实际参考帧的各像素点逐点进行处理后得到虚拟参考帧。

其中，像素点处理前的像素值与像素点处理后的像素值之比等于所述比值G。

特殊地，若实际参考帧是YUV格式，则对实际参考帧逐点处理可只对每个像素点的Y分量进行处理，处理原则仍为：像素点处理前的像素值与像素点处理后的像素值之比等于所述比值G。

例如，若所述比值G为2:1时，处理后得到的虚拟参考帧的亮度为实际参考帧亮度的0.5倍；若所述比值G为1:2时，处理后得到的虚拟参考帧的亮度为实际参考帧亮度的2倍。

步骤304：编码器利用所述虚拟参考帧对所述当前帧进行编码。

通过以上步骤301至步骤304的方案，编码器完成了对当前帧的编码过程，之后，解码器可对编码器按照上述步骤编码后的当前帧进行解码，解码过程为：

步骤305：解码器接收到编码器编码后的当前帧。

步骤306：解码器确定实际参考帧的整体增益和当前帧的整体增益之间的比值。

本步骤306的实现方式包括但不限于以下两种方式：

方式一：编码器将步骤302中确定出的实际参考帧的整体增益和当前帧的整体增益之间的比值直接发送给解码器。

方式二：编码器将步骤301中接收到的AE调节参数发送给解码器，由解码器按照步骤302的方式计算出实际参考帧的整体增益和当前帧的整体增益之间的比值。

与实施例一类似的，编码器还可以向解码器发送编码辅助调节模式标识，假设发送的编码辅助调节模式3，表示当前摄像装置受到AE调节参数的调节，解码器需对实际参考帧进行处理，得到可弥补光线强度变化带来失真的虚拟参考帧。

步骤307：解码器利用实际参考帧的整体增益和当前帧的整体增益之间的比值对所述实际参考帧的各像素点进行处理后得到虚拟参考帧。

其中，像素点处理前的像素值与像素点处理后的像素值之比等于所述比值。

步骤308：解码器利用所述虚拟参考帧对编码后的所述当前帧进行解码。

由于解码器得到的虚拟参考帧的方式与编码器得到虚拟参考帧的方式相同，因此，解码器用于解码的虚拟参考帧与编码器用于编码的虚拟参考帧相同，可实现正确解码。

通过本发明实施例三的方案，当摄像装置所处环境的光线强度发生变化而受到AE参数调节时，根据与反映亮度变化的实际参考帧的整体增益和当前帧的整体增益之间的比值来对实际参考帧进行处理，得到的虚拟参考帧的亮度更加接近当前帧的亮度，因此，使用虚拟参考帧来对当前帧进行编码的效果较好。

需要说明的是，本实施例三的方案可以与实施例一的方案结合在一起或是与实施例二的方案结合在一起，或是与实施例一、实施例二三者结合在一起，下面分别加以说明。

1、当实施例三的方案与实施例一的方案结合在一起时，摄像装置在水平方向和垂直方向发生转动且所处环境的亮度发生变化，摄像装置同时受到PT参数和AE参数的调解。此时，编码器可按照实施例一的方案对实际参考帧进行一次处理后，再继续按照实施例三的方案对其进行二次处理得到用于编码的虚拟参考帧，该虚拟参考帧弥补了摄像装置受到PT参数调解时对采集的视频帧带来的失真，同时又与当前帧的亮度接近，使编码效果较好。相应的，解码器也可按照实施例一和实施例三的方案对实际参考帧进行二次处理后得到虚拟参考帧，进而对编码器编码后的当前帧进行解码，以此实现正确解码。

较优地，编码器完成对当前帧的编码后，可向解码器发送编码辅助调节模式标识，如发送编码辅助调节模式1-3，表示当前摄像装置受到PT参数和AE参数的调节，解码器需按照实施例一和实施例三的方式实际参考帧进行二次处理，得到用于解码的虚拟参考帧。

当然，实施例一和实施例三的方案结合在一起时，并不限于先按照实施例一的方案对实际参考帧进行一次处理后再按照实施例三的方案进行二次处理，也可以先按照实施例三的方案对实际参考帧进行一次处理后再按照实施例一的方案进行二次处理。

2、当实施例三的方案与实施例二的方案结合在一起时，摄像装置的焦距发生变化且所处环境的亮度发生变化，摄像装置同时受到PTZ参数和AE参数的调解。此时，编码器可按照实施例二的方案对实际参考帧进行一次处理后，再继续按照实施例三的方案对其进行二次处理得到用于编码的虚拟参考帧，该虚拟参考帧弥补了摄像装置受到PTZ参数调解时聚焦或失焦带来的失真，且虚拟参考帧的亮度与当前帧接近，使编码效果较好。相应的，解码器也可按照实施例二和实施例三的方案对实际参考帧进行二次处理后得到虚拟参考帧，进而对编码器编码后的当前帧进行解码，以此实现正确解码。

较优地，编码器完成对当前帧的编码后，可向解码器发送编码辅助调节模式标识，如发送编码辅助调节模式2-3，表示当前摄像装置受到PTZ参数和AE参数的调节，解码器需按照实施例二和实施例三的方式实际参考帧进行二次处理，得到用于解码的虚拟参考帧。

当然，实施例二和实施例三的方案结合在一起时，并不限于先按照实施例二的方案对实际参考帧进行一次处理后再按照实施例三的方案进行二次处理，也可以先按照实施例三的方案对实际参考帧进行一次处理后再按照实施例二的方案进行二次处理。

3、当实施例三与实施例二和实施例一这三个方案结合在一起时，摄像装置在水平方向和垂直方向发生转动、焦距发生变化且所处环境的亮度发生变化，摄像装置同时受到PT参数、PTZ参数和AE参数的调解。此时，编码器可按照实施例一的方案对实际参考帧进行一次处理后，再继续按照实施例二的方案对其进行二次处理，之后在按照实施例三的方案对其进行三次处理得到用于编码的虚拟参考帧，该虚拟参考帧弥补了摄像装置受到PT参数调解时对采集的视频帧带来的失真、弥补受到PTZ参数调解时聚焦或失焦带来的失真，且虚拟参考帧的亮度与当前帧接近，使编码效果较好。相应的，解码器也可按照实施例一、实施例二和实施例三的方案对实际参考帧进行三次处理后得到虚拟参考帧，进而对编码器编码后的当前帧进行解码，以此实现正确解码。

较优地，编码器完成对当前帧的编码后，可向解码器发送编码辅助调节模式标识，如发送编码辅助调节模式1-2-3，表示当前摄像装置受到PT参数、PTZ参数和AE参数的调节，解码器需按照实施例一、实施例二和实施例三的方式实际参考帧进行三次处理，得到用于解码的虚拟参考帧。

当然，实施例一、实施例二和实施例三的方案结合在一起时，并不限于上述处理顺序。

实施例四：

本实施例四以摄像装置受到AWB参数调节为例，说明在此情况下，编码器如何生成虚拟参考帧进而对当前帧进行编码以及相应的解码过程。

如图7所示，为本实施例四中对图像进行编、解码的方法步骤示意图，所述方法包括以下步骤：

步骤401：编码器接收摄像装置发送的AWB参数。

在本步骤401的方案中，摄像装置拍摄场景的色彩发生变化时，将会受到AWB参数的调节，此时，摄像装置可将AWB参数发送给编码器，所述AWB参数可包括：实际参考帧的R增益、G增益、B增益，以及当前帧的R增益、G增益、B增益，额外的，还可包括实际参考帧的R/G/B偏置，当前帧的R/G/B偏置。

步骤402：编码器根据AWB调节参数确定实际参考帧的R增益与当前帧的R增益的比值R1、G增益的比值G1、B增益的比值B1。

根据本步骤402可得以下公式（11）：

R1=实际参考帧的R增益/当前帧的R增益

G1=实际参考帧的G增益/当前帧的G增益

B1=实际参考帧的B增益/当前帧的B增益（11）

由于一般情况下帧的G增益保持一个固定值，因此，在本步骤402中可不对G增益做处理。

步骤403：编码器利用确定的R增益的比值、G增益的比值和B增益的比值对所述实际参考帧的各像素点进行处理得到虚拟参考帧。

若实际参考帧是GRB格式或Bayer Rawdata格式，则像素点处理前的R分量值与像素点处理后的R分量值之比等于所述R增益的比值，像素点处理前的G分量值与像素点处理后的G分量值之比等于所述G增益的比值，像素点处理前的B分量值与像素点处理后的B分量值之比等于所述B增益的比值。

例如，若R1=1:2，则虚拟参考帧的像素红色分量值是实际参考帧的像素红色分量值的2倍；若G1=1:2，则虚拟参考帧的像素绿色分量值是实际参考帧的像素绿色分量值的2倍；若B1=1:2，则虚拟参考帧的像素蓝色分量值是实际参考帧的像素蓝色分量值的2倍。

若实际参考帧是YUV422或YUV420格式，则需根据RGB格式与YUV格式的转换公式，将YUV格式转换为RGB格式，并按照上述方式对转换为RGB格式的实际参考帧进行处理。

RGB格式向YUV格式转换的公式如公式（12）所示：

Y=0.299R+0.578G+0.114B

U=-0.147R-0.289G+0.436B

V=0.615R-0.515G-0.100B （12）

由公式（12）反向推倒，则有YUV格式向RGB格式的转换公式（13）：

R=Y+1.140V

G=Y-0.394U-0.581V

B=Y+2.032U （13）

综合公式（11）、（12）、（13）可得到虚拟参考帧Y^/分量值、U^/分量值和V^/分量值的计算公式为（14）：

Y^/=Y+0.299*(Y+1.140V)*((1/R1)-1)+0.114*(Y+2.032V)*((1/B1)-1)

U^/=U-0.147*(Y+1.140V)*((1/R1)-1)+0.436*(Y +2.032V)*((1/B1)-1)

V^/=V+0.615*(Y+1.140V)*((1/R1)-1)+0.100*(Y+2.032V)*((1/B1)-1) （14）

步骤404：编码器利用所述虚拟参考帧对所述当前帧进行编码。

通过以上步骤401至步骤404的方案，编码器完成了对当前帧的编码过程，之后，解码器可对编码器按照上述步骤编码后的当前帧进行解码，解码过程为：

步骤405：解码器接收到编码器编码后的当前帧。

步骤406：解码器确定实际参考帧的R增益与当前帧的R增益的比值R1、G增益的比值G1、B增益的比值B1。

本步骤406的实现方式包括但不限于以下两种方式：

方式一：编码器将步骤402中确定出的R1、G1、B1直接发送给解码器。

方式二：编码器将步骤401中接收到的AWB调节参数发送给解码器，由解码器按照步骤402的方式计算出R1、G1、B1。

与实施例一类似的，编码器还可以向解码器发送编码辅助调节模式标识，假设发送的编码辅助调节模式4，表示当前摄像装置受到AWB调节参数的调节，解码器需对实际参考帧进行处理，得到可弥补色彩变化带来失真的虚拟参考帧。

步骤407：解码器利用R1、G1和B1对所述实际参考帧的各像素点进行处理得到虚拟参考帧。

其中，像素点处理前的R分量值与像素点处理后的R分量值之比等于R1，像素点处理前的G分量值与像素点处理后的G分量值之比等于G1，像素点处理前的B分量值与像素点处理后的B分量值之比等于B1。

步骤408：解码器利用所述虚拟参考帧对编码后的所述当前帧进行解码。

通过本发明实施例四的方案，当摄像装置所处环境的色彩发生变化而受到AWB参数调节时，根据与反映色彩变化的实际参考帧的R、G、B增益和当前帧的R、G、B增益之间的比值来对实际参考帧进行处理，得到的虚拟参考帧的色彩更加接近当前帧，因此，使用虚拟参考帧来对当前帧进行编码的效果较好。

需要说明的是，本实施例四的方案可以与实施例一的方案结合在一起，可以与实施例二的方案结合在一起，可以与实施例三的方案结合在一起，还可以将实施例四、实施例一和实施例二这三个方案结合在一起，将实施例四、实施例一和实施例三这三个方案结合在一起，将实施例四、实时例二和实施例三这三个方案结合在一起，也可以将实施例一、实施例二、实施例三和实施例四这四个方案结合在一起，例如：

当实施例四的方案与实施例一的方案结合在一起时，摄像装置在水平方向和垂直方向发生转动且所处环境的色彩发生变化，摄像装置同时受到PT参数和AWB参数的调解。此时，编码器可按照实施例一的方案对实际参考帧进行一次处理后，再继续按照实施例四的方案对其进行二次处理得到用于编码的虚拟参考帧，该虚拟参考帧弥补了摄像装置受到PT参数调解时对采集的视频帧带来的失真，同时又与当前帧的色彩接近，使编码效果较好。相应的，解码器也可按照实施例一和实施例四的方案对实际参考帧进行二次处理后得到虚拟参考帧，进而对编码器编码后的当前帧进行解码，以此实现正确解码。

较优地，编码器完成对当前帧的编码后，可向解码器发送编码辅助调节模式标识，如发送编码辅助调节模式1-4，表示当前摄像装置受到PT参数和AWB参数的调节，解码器需按照实施例一和实施例四的方式实际参考帧进行二次处理，得到用于解码的虚拟参考帧。

类似地，当实施例四的方案与实施例二的方案结合在一起时，编码器完成对当前帧的编码后，可向解码器发送编码辅助调节模式2-4，表示当前摄像装置受到PTZ参数和AWB参数的调节，解码器需按照实施例二和实施例四的方式实际参考帧进行二次处理，得到用于解码的虚拟参考帧。

当实施例四的方案与实施例三的方案结合在一起时，编码器完成对当前帧的编码后，可向解码器发送编码辅助调节模式3-4，表示当前摄像装置受到AE参数和AWB参数的调节，解码器需按照实施例三和实施例四的方式实际参考帧进行二次处理，得到用于解码的虚拟参考帧。

当实施例四的方案与实施例一和实施例三的方案结合在一起时，编码器完成对当前帧的编码后，可向解码器发送编码辅助调节模式1-3-4，表示当前摄像装置受到PT参数、AE参数和AWB参数的调节，解码器需按照实施例一、实施例三和实施例四的方式实际参考帧进行三次处理，得到用于解码的虚拟参考帧。

当实施例四的方案与实施例一和实施例二的方案结合在一起时，编码器完成对当前帧的编码后，可向解码器发送编码辅助调节模式1-2-4，表示当前摄像装置受到PT参数、PTZ参数和AWB参数的调节，解码器需按照实施例一、实施例二和实施例四的方式实际参考帧进行三次处理，得到用于解码的虚拟参考帧。

当实施例四的方案与实施例三和实施例二的方案结合在一起时，编码器完成对当前帧的编码后，可向解码器发送编码辅助调节模式2-3-4，表示当前摄像装置受到PTZ参数、AE参数和AWB参数的调节，解码器需按照实施例二、实施例三和实施例四的方式实际参考帧进行三次处理，得到用于解码的虚拟参考帧。

当实施例四的方案与实施例一、实施例二和实施例三的方案结合在一起时，编码器完成对当前帧的编码后，可向解码器发送编码辅助调节模式1-2-3-4，表示当前摄像装置同时受到PT参数、PTZ参数、AE参数和AWB参数的调节，解码器需按照实施例一、实施例二、实施例三和实施例四的方式实际参考帧进行四次处理，得到用于解码的虚拟参考帧。

在以结合的方案对实际参考帧进行处理时，并不对处理顺序进行限定。

通过以上实施例一至实施例四的方案，在摄像装置受到3A参数调节时，由于3A参数对摄像装置的调节对摄像装置采集的视频帧的影响是整体的，根据3A参数的调节引起视频帧的改变是可以预期的，且这种改变是近线性的，则根据实际参考帧和当前帧受3A参数调节的变化关系，得到与当前帧接近的虚拟参考帧。由于虚拟参考帧与当前帧的相似度高于实际参考帧与当前帧之间的相似度，因此，利用虚拟参考帧代替实际参考帧对当前帧进行编码可有效提高编码的压缩率；同时，生成的虚拟参考帧内各区域的预测编码模式可设定，因此，克服了由于待编码的视频图像连续变化，导致预测模式选择困难的问题。

实施例五：

I帧是帧间压缩编码里的重要帧，也是一个全帧压缩的编码帧，同时也是P帧和B帧的参考帧，因此，当摄像装置受到3A参数调节时，I帧需要适应3A参数对摄像装置的影响，因此，需要对I帧进行更新，以减少编码过程不断累积的误差。

由于3A参数对摄像装置的调节都可以分为调节准备（以AF参数调节为例，调节准备时摄像装置仍为自动调节模式，但调节参数不变，此时外界环境不变或变化很小）、开始调节、调节进行、调节结束四个状态。在开始调节状态时（如受到AF参数调节时，此时当前帧将会极度失焦），当前帧往往失真严重，不是希望获得的图像，因此，若在此时对I帧更新，可有效地降低后续编码过程的误差累积。

在调节结束状态时，当前帧的变化比较小，但调节结束状态前摄像装置采集的视频帧的变化非常大，且之前的调节进行过程失真严重，到调节结束状态时，编码重建图像的误差累积已经较大了，若此时对I帧更新，可有效降低后续编码时重建图像的误差。

本实施例五描述了一种选择合适的I帧更新时机，并在该合适的时机重新对I帧进行编码，以达到I帧更新的目的，如图8所示，所述方法包括以下步骤：

步骤501：编码器接收来自摄像装置的AF参数调节状态信息、AE参数调节状态信息和AWB参数调节状态信息中的至少一个信息。

以上信息可统称为3A参数调节状态信息。

步骤502：编码器在根据接收到的信息确定摄像装置处于开始调节状态或是处于调节结束状态时，重新对I帧或I块进行编码。

若参考帧并没有按区域进行划分，则可直接重新编码I帧；若参考帧被划分为不同的区域，3A参数是以区域对调节对象进行调节的，接收到的3A参数调节状态信息是针对某一个或多个区域的调节状态信息，当某一区域处于开始调节状态或调节结束状态时，可重新编码I块。

具体地，对当前帧进行帧内预测编码后得到的帧即为重新编码后的I帧或I块。

较优地，对于I帧更新时机的选择，可扩大至在根据接收到的信息确定摄像装置处于开始调节状态时，从当前帧起或是从当前帧之前N帧起，重新编码I帧或I块，所述N为正整数，如N=1。

在根据接收到的信息确定摄像装置处于调节结束状态时，从当前帧起或是从当前帧之后N帧起，重新编码I帧或I块。

通过本发明实施例五的方案，可减少3A参数调节带来的编码的累积误差，使编码效果较好，本实施例五的方案可与实施例一至实施例四中任一实施例结合在一起，按照本实施例五中描述的I帧更新时机进行I帧或I块的更新。

实施例六：

本发明实施例六描述了一种与实施例一属于同一发明构思下的对图像进行编码设备，如图9所示，所述设备包括参数接收模块11、执行模块12、虚拟参考帧操作模块13和编码模块14，其中：

参数接收模块11用于接收摄像装置发送的PT参数；

执行模块12用于根据所述PT参数确定当前帧和实际参考帧之间的运动矢量MVD；

虚拟参考帧操作模块13用于确定与所述实际参考帧的中心点和大小相同的虚拟参考帧，其中，所述虚拟参考帧与按照所述MVD移动后的实际参考帧的重合区域内采用帧间预测编码，除所述重合区域外的其他区域内采用帧内预测编码；

编码模块14用于利用所述虚拟参考帧对所述当前帧进行编码。

所述虚拟参考帧操作模块13还用于在所述虚拟参考帧的所述重合区域内填充所述实际参考帧在该重合区域内的内容，以及，在所述虚拟参考帧中除所述重合区域外的其他区域内填充0。

所述PT参数中包括：在当前的成像焦距下摄像装置的垂直视角θ、当前帧相对于θ的转动角度

实际参考帧相对于θ的转动角度

所述执行模块12具体用于根据所述确定所述当前帧相对于与θ没有转动角度的帧在垂直方向上的第一MVD，根据所述

所述PT参数中还包括：摄像装置采集的图像在垂直方向上的高度H和在水平方向上的宽度W；

所述执行模块12具体用于根据以下公式确定第一MVD、第二MVD、第三MVD和第四MVD：

第一

MVD = H * (\frac{\sin &PartialD; 1}{\sin θ}),

第二

MVD = H * (\frac{\sin &PartialD; 2}{\sin θ});

第三

MVD = W * (\frac{\sin β 1}{\sin γ}),

第二

MVD = W * (\frac{\sin β 2}{\sin γ}) .

与所述编码设备对应的，本实施例六中还描述了一种与实施例一属于同一构思下的对图像进行解码的设备，仍以图9所示，所述设备包括虚拟参考帧操作模块15和解码模块16，其中：

虚拟参考帧操作模块15用于根据当前帧和实际参考帧之间的运动矢量MVD确定与所述实际参考帧的中心点和大小相同的虚拟参考帧，其中，所述虚拟参考帧与按照所述MVD移动后的实际参考帧的重合区域内采用帧间预测编码，除所述重合区域外的其他区域内采用帧内预测编码；

解码模块16用于利用所述虚拟参考帧对编码后的当前帧进行解码。

所述虚拟参考帧操作模块15还用于在所述虚拟参考帧的所述重合区域内填充所述实际参考帧在该重合区域内的内容，以及，在所述虚拟参考帧中除所述重合区域外的其他区域内填充0。

所述设备还包括参数接收模块17和执行模块18，其中：

参数接收模块17用于接收编码侧发送的MVD，或是编码侧发送的云台转动PT参数；

执行模块18用于在所述参数接收模块接收到所述PT参数时，根据所述PT参数确定MVD。

实施例七：

本发明实施例七也描述了一种与实施例一属于同一发明构思下的对图像进行编码的设备，如图10所示，包括I/O接口21、控制器22、处理器23和编码器24，其中：

I/O接口21用于接收摄像装置发送的PT参数；

控制器22用于根据所述PT参数确定当前帧和实际参考帧之间的运动矢量MVD；

处理器23用于确定与所述实际参考帧的中心点和大小相同的虚拟参考帧，其中，所述虚拟参考帧与按照所述MVD移动后的实际参考帧的重合区域内采用帧间预测编码，除所述重合区域外的其他区域内采用帧内预测编码；

编码器24用于利用所述虚拟参考帧对所述当前帧进行编码。

所述处理器23还用于在所述虚拟参考帧的所述重合区域内填充所述实际参考帧在该重合区域内的内容，以及，在所述虚拟参考帧中除所述重合区域外的其他区域内填充0。

所述控制器22具体用于根据所述

所述控制器22具体用于根据以下公式确定第一MVD、第二MVD、第三MVD和第四MVD：

第一

MVD = H * (\frac{\sin &PartialD; 1}{\sin θ}),

第二

MVD = H * (\frac{\sin &PartialD; 2}{\sin θ});

第三

MVD = W * (\frac{\sin β 1}{\sin γ}),

第二

MVD = W * (\frac{\sin β 2}{\sin γ}) .

与所述编码设备对应的，本实施例七中还描述了一种与实施例一属于同一构思下的对图像进行解码的设备，仍以图10所示，包括处理器25和解码器26，其中：

处理器25用于根据当前帧和实际参考帧之间的运动矢量MVD确定与所述实际参考帧的中心点和大小相同的虚拟参考帧，其中，所述虚拟参考帧与按照所述MVD移动后的实际参考帧的重合区域内采用帧间预测编码，除所述重合区域外的其他区域内采用帧内预测编码；

解码器26用于利用所述虚拟参考帧对编码后的当前帧进行解码。

所述处理器25还用于在所述虚拟参考帧的所述重合区域内填充所述实际参考帧在该重合区域内的内容，以及，在所述虚拟参考帧中除所述重合区域外的其他区域内填充0。

所述设备还包括I/O接口27和控制器28，其中：

I/O接口27用于接收编码侧发送的MVD，或是编码侧发送的PT参数；

控制器28用于在所述参数接收模块接收到所述PT参数时，根据所述PT参数确定MVD。

实施例八：

本发明实施例八还描述了一种与实施例二属于同一发明构思下的对图像进行编码的设备，所述设备包括参数接收模块11、执行模块12、虚拟参考帧操作模块13和编码模块14，其中：

参数接收模块11用于接收摄像装置发送的PTZ参数；

执行模块12用于根据所述PTZ参数确定当前帧和实际参考帧之间的缩放比；

虚拟参考帧操作模块13用于根据所述缩放比对所述实际参考帧进行插值操作后得到虚拟参考帧，其中，若插值操作后的虚拟参考帧的面积大于实际参考帧的面积，则从插值操作后的虚拟参考帧中选取中心点和大小都与实际参考帧相同的区域作为最终得到的虚拟参考帧，所述最终得到的虚拟参考帧采用帧间预测编码，若插值操作后的虚拟参考帧的面积小于实际参考帧的面积，则选取包含插值操作后的虚拟参考帧且中心点和大小都与实际参考帧相同的区域作为最终得到的虚拟参考帧，该最终得到的虚拟参考帧与插值操作后的虚拟参考帧的重合区域采用帧间预测编码，除该重合区域外的其他区域采用帧内预测编码；

编码模块14用于利用最终得到的虚拟参考帧对所述当前帧进行编码。

所述虚拟参考帧操作模块13还用于在插值操作后的虚拟参考帧的面积小于实际参考帧面积的情况下选取的最终得到的虚拟参考帧中，所述重合区域内填充插值操作后虚拟参考帧的内容，除该重合区域外的其他区域内填充0。

所述PTZ参数包括当前帧的焦距和实际参考帧的焦距；

所述执行模块12具体用于通过以下公式确定当前帧和实际参考帧之间的缩放比：

缩放比=前帧的焦距/实际参考帧的焦距。

与所述编码设备对应的，本实施例八还提供了一种与实施例二属于同一发明构思下的对图像进行解码的设备，所述设备包括虚拟参考帧操作模块15和解码模块16，其中：

虚拟参考帧操作模块15用于根据当前帧和实际参考帧之间的缩放比对所述实际参考帧进行插值操作后得到虚拟参考帧，其中：若插值操作后虚拟参考帧的面积大于插值操作前虚拟参考帧的面积，则从插值操作后的虚拟参考帧中选取中心点和大小都与插值操作前的虚拟参考帧相同的区域作为插值操作后最终得到的虚拟参考帧，所述最终得到的虚拟参考帧采用帧间预测编码，若插值操作后虚拟参考帧的面积小于插值操作前虚拟参考帧的面积，则选取包含插值操作后的虚拟参考帧且中心点和大小都与插值操作前的虚拟参考帧相同的区域作为插值操作后最终得到的虚拟参考帧，该最终得到的虚拟参考帧与插值操作后的虚拟参考帧的重合区域采用帧间预测编码，除重合区域外的其他区域采用帧内预测编码；

解码模块16用于利用最终得到的虚拟参考帧对编码后的所述当前帧进行解码。

所述虚拟参考帧操作模块15还用于在插值操作后的虚拟参考帧的面积小于实际参考帧面积的情况下选取的最终得到的虚拟参考帧中，所述重合区域内填充插值操作后虚拟参考帧的内容，除该重合区域外的其他区域内填充0。

所述解码设备还包括参数接收模块17和执行模块18，其中：

参数接收模块17用于接收编码侧发送的当前帧和实际参考帧之间的缩放比，或是编码侧发送的PTZ参数；

执行模块18用于在所述参数接收模块接收到所述PTZ参数时，根据所述PTZ参数确定当前帧和实际参考帧之间的缩放比。

本实施例八的方案可以与实施例六的方案结合在一起，即：本实施例八中对图像进行编码的设备中各模块同时还具有执行实施例六中对图像进行编码的设备中各模块的功能，以及本实施例八中对图像进行解码的设备中各模块同时还具有执行实施例六中对图像进行解码的设备中各模块的功能。

实施例九：

本发明实施例就还描述了一种与实施例二属于同一发明构思下的对图像进行编码的设备，所述设备包括I/O接口21、控制器22、处理器23和编码器24，其中：

I/O接口21用于接收摄像装置发送的PTZ参数；

控制器22用于根据所述PTZ参数确定当前帧和实际参考帧之间的缩放比；

处理器23用于根据所述缩放比对所述实际参考帧进行插值操作后得到虚拟参考帧，其中，若插值操作后的虚拟参考帧的面积大于实际参考帧的面积，则从插值操作后的虚拟参考帧中选取中心点和大小都与实际参考帧相同的区域作为最终得到的虚拟参考帧，所述最终得到的虚拟参考帧采用帧间预测编码，若插值操作后的虚拟参考帧的面积小于实际参考帧的面积，则选取包含插值操作后的虚拟参考帧且中心点和大小都与实际参考帧相同的区域作为最终得到的虚拟参考帧，该最终得到的虚拟参考帧与插值操作后的虚拟参考帧的重合区域采用帧间预测编码，除该重合区域外的其他区域采用帧内预测编码；

编码器24用于利用最终得到的虚拟参考帧对所述当前帧进行编码。

所述处理器23还用于在插值操作后的虚拟参考帧的面积小于实际参考帧面积的情况下选取的最终得到的虚拟参考帧中，所述重合区域内填充插值操作后虚拟参考帧的内容，除该重合区域外的其他区域内填充0。

所述PTZ参数包括当前帧的焦距和实际参考帧的焦距；

所述控制器22具体用于通过以下公式确定当前帧和实际参考帧之间的缩放比：

缩放比=前帧的焦距/实际参考帧的焦距。

与所述编码设备对应的，本实施例九还提供了一种与实施例二属于同一发明构思下的对图像进行解码的设备，所述设备包括处理器25和解码器26，其中：

处理器25用于根据当前帧和实际参考帧之间的缩放比对所述实际参考帧进行插值操作后得到虚拟参考帧，其中：若插值操作后虚拟参考帧的面积大于插值操作前虚拟参考帧的面积，则从插值操作后的虚拟参考帧中选取中心点和大小都与插值操作前的虚拟参考帧相同的区域作为插值操作后最终得到的虚拟参考帧，所述最终得到的虚拟参考帧采用帧间预测编码，若插值操作后虚拟参考帧的面积小于插值操作前虚拟参考帧的面积，则选取包含插值操作后的虚拟参考帧且中心点和大小都与插值操作前的虚拟参考帧相同的区域作为插值操作后最终得到的虚拟参考帧，该最终得到的虚拟参考帧与插值操作后的虚拟参考帧的重合区域采用帧间预测编码，除重合区域外的其他区域采用帧内预测编码；

解码器26用于利用最终得到的虚拟参考帧对编码后的所述当前帧进行解码。

所述处理器25还用于在插值操作后的虚拟参考帧的面积小于实际参考帧面积的情况下选取的最终得到的虚拟参考帧中，所述重合区域内填充插值操作后虚拟参考帧的内容，除该重合区域外的其他区域内填充0。

所述解码设备还包括I/O接口27和控制器28，其中：

I/O接口27用于接收编码侧发送的当前帧和实际参考帧之间的缩放比，或是编码侧发送的PTZ参数；

控制器28用于在所述参数接收模块接收到所述PTZ参数时，根据所述PTZ参数确定当前帧和实际参考帧之间的缩放比。

本实施例九的方案可以与实施例七的方案结合在一起，即：本实施例九中对图像进行编码的设备中各部件同时还具有执行实施例七对图像进行编码的设备中各部件的功能，以及本实施例九中对图像进行解码的设备中各部件同时还具有执行实施例七中对图像进行解码的设备中各部件的功能。

实施例十：

本发明实施例十描述一种与实施例三属于同一发明构思下的对图像进行编码的设备，所述设备包括参数接收模块11、执行模块12、虚拟参考帧操作模块13和编码模块14，其中：

参数接收模块11用于接收摄像装置发送的AE调节参数；

执行模块12用于根据所述AE调节参数确定实际参考帧的整体增益和当前帧的整体增益之间的比值；

虚拟参考帧操作模块13用于利用所述比值对所述实际参考帧的各像素点进行处理后得到虚拟参考帧，其中，像素点处理前的像素值与像素点处理后的像素值之比等于所述比值；

所述AE调节参数中包括：当前帧的曝光总时长、当前帧的模拟增益、当前帧的数字增益和当前帧的实际光圈数值，以及实际参考帧的曝光总时长、实际参考帧的模拟增益、实际参考帧的数字增益和实际参考帧的实际光圈数值；

执行模块12用于通过以下公式确定当前帧和实际参考帧的整体增益：

与所述编码设备对应的，本实施例十还提供了一种与实施例三属于同一发明构思下的对图像进行解码的设备，所述设备包括虚拟参考帧操作模块15和解码模块16，其中：

虚拟参考帧操作模块15用于利用实际参考帧的整体增益和当前帧的整体增益之间的比值对所述实际参考帧的各像素点进行处理后得到虚拟参考帧，其中，像素点处理前的像素值与像素点处理后的像素值之比等于所述比值；

解码模块16用于利用所述虚拟参考帧对编码后的所述当前帧进行解码。

所述解码设备还包括参数接收模块17和执行模块18，其中：

参数接收模块17用于接收编码侧发送的实际参考帧的整体增益和当前帧的整体增益之间的比值，或是编码侧发送的AE调节参数；

执行模块18用于在所述参数接收模块接收到所述AE调节参数时，根据所述AE调节参数确定实际参考帧的整体增益和当前帧的整体增益之间的比值。

本实施例十的方案可以与实施例六的方案结合在一起，也可以与实施例八的方案结合在一起，还可以同时与实施例六和实施例八的方案结合在一起，即：本实施例十中对图像进行编码的设备中各模块同时还具有执行实施例六或实施例八中任一对图像进行编码的设备中各模块的功能，以及本实施例十中对图像进行解码的设备中各模块同时还具有执行实施例六或实施例八中任一对图像进行解码的设备中各模块的功能。

实施例十一：

本发明实施例十一描述一种与实施例三属于同一发明构思下的对图像进行编码的设备，所述设备包括I/O接口21、控制器22、处理器23和编码器24，其中：

I/O接口21用于接收摄像装置发送的AE调节参数；

控制器22用于根据所述AE调节参数确定实际参考帧的整体增益和当前帧的整体增益之间的比值；

处理器23用于利用所述比值对所述实际参考帧的各像素点进行处理后得到虚拟参考帧，其中，像素点处理前的像素值与像素点处理后的像素值之比等于所述比值；

编码器24用于利用所述虚拟参考帧对所述当前帧进行编码。

控制器22用于通过以下公式确定当前帧和实际参考帧的整体增益：

与所述编码设备对应的，本实施例十一还提供了一种与实施例三属于同一发明构思下的对图像进行解码的设备，所述设备包括处理器25和解码器26，其中：

处理器25用于利用实际参考帧的整体增益和当前帧的整体增益之间的比值对所述实际参考帧的各像素点进行处理后得到虚拟参考帧，其中，像素点处理前的像素值与像素点处理后的像素值之比等于所述比值；

解码器26用于利用所述虚拟参考帧对编码后的所述当前帧进行解码。

所述解码设备还包括I/O接口27和控制器28，其中：

I/O接口27用于接收编码侧发送的实际参考帧的整体增益和当前帧的整体增益之间的比值，或是编码侧发送的AE调节参数；

控制器28用于在所述参数接收模块接收到所述AE调节参数时，根据所述AE调节参数确定实际参考帧的整体增益和当前帧的整体增益之间的比值。

本实施例十一的方案可以与实施例七的方案结合在一起，也可以与实施例九的方案结合在一起，还可以同时与实施例七和实施例九的方案结合在一起，即：本实施例十一中对图像进行编码的设备中各部件同时还具有执行实施例七或实施例九中任一对图像进行编码的设备中各部件的功能，以及本实施例十一中对图像进行解码的设备中各部件同时还具有执行实施例七或实施例九中任一对图像进行解码的设备中各部件的功能。

实施例十二：

本发明实施例十二描述了一种与实施例四属于同一发明构思下的对图像进行编码的设备，所述设备包括参数接收模块11、执行模块12、虚拟参考帧操作模块13和编码模块14，其中：

参数接收模块11用于接收摄像装置发送的AWB调节参数；

执行模块12用于根据所述AWB调节参数确定实际参考帧的R、G、B增益分别与当前帧的R、G、B增益的比值；

虚拟参考帧操作模块13用于利用确定的R增益的比值、G增益的比值和B增益的比值对所述实际参考帧的各像素点进行处理得到虚拟参考帧，其中，像素点处理前的R分量值与像素点处理后的R分量值之比等于所述R增益的比值，像素点处理前的G分量值与像素点处理后的G分量值之比等于所述G增益的比值，像素点处理前的B分量值与像素点处理后的B分量值之比等于所述B增益的比值；

与所述编码设备对应的，本实施例十二还提供了一种与实施例四属于同一发明构思下的对图像进行解码的设备，所述设备包括虚拟参考帧操作模块15和解码模块16，其中：

虚拟参考帧操作模块15用于根据实际参考帧的R、G、B增益分别与当前帧的R、G、B增益的比值对所述实际参考帧的各像素点进行处理得到虚拟参考帧，其中，像素点处理前的R分量值与像素点处理后的R分量值之比等于所述R增益的比值，像素点处理前的G分量值与像素点处理后的G分量值之比等于所述G增益的比值，像素点处理前的B分量值与像素点处理后的B分量值之比等于所述B增益的比值；

所述解码设备还包括参数接收模块17和执行模块18，其中：

参数接收模块17用于接收编码侧发送的实际参考帧的R、G、B增益分别与当前帧的R、G、B增益的比值，或是编码侧发送的AWB调节参数；

执行模块18用于在所述参数接收模块接收到所述AWB调节参数时，根据所述AWB调节参数确定实际参考帧的R、G、B增益分别与当前帧的R、G、B增益的比值。

本实施例十二的方案可以与实施例六、实施例八和实施例十中至少一个方案结合在一起，即：本实施例十二中对图像进行编码的设备中各模块同时还具有执行实施例六、实施例八或实施例十中任一对图像进行编码的设备中各模块的功能，以及本实施例十二中对图像进行解码的设备中各模块同时还具有执行实施例六、实施例八或实施例十中任一对图像进行解码的设备中各模块的功能。

实施例十三：

本发明实施例十三描述了一种与实施例四属于同一发明构思下的对图像进行编码的设备，所述设备包括I/O接口21、控制器22、处理器23和编码器24，其中：

I/O接口21用于接收摄像装置发送的AWB调节参数；

控制器22用于根据所述AWB调节参数确定实际参考帧的R、G、B增益分别与当前帧的R、G、B增益的比值；

处理器23用于利用确定的R增益的比值、G增益的比值和B增益的比值对所述实际参考帧的各像素点进行处理得到虚拟参考帧，其中，像素点处理前的R分量值与像素点处理后的R分量值之比等于所述R增益的比值，像素点处理前的G分量值与像素点处理后的G分量值之比等于所述G增益的比值，像素点处理前的B分量值与像素点处理后的B分量值之比等于所述B增益的比值；

编码器24用于利用所述虚拟参考帧对所述当前帧进行编码。

与所述编码设备对应的，本实施例十三还提供了一种与实施例四属于同一发明构思下的对图像进行解码的设备，所述设备包括处理器25和解码器26，其中：

处理器25用于根据实际参考帧的R、G、B增益分别与当前帧的R、G、B增益的比值对所述实际参考帧的各像素点进行处理得到虚拟参考帧，其中，像素点处理前的R分量值与像素点处理后的R分量值之比等于所述R增益的比值，像素点处理前的G分量值与像素点处理后的G分量值之比等于所述G增益的比值，像素点处理前的B分量值与像素点处理后的B分量值之比等于所述B增益的比值；

所述解码设备还包括I/O接口27和控制器28，其中：

I/O接口27用于接收编码侧发送的实际参考帧的R、G、B增益分别与当前帧的R、G、B增益的比值，或是编码侧发送的AWB调节参数；

控制器28用于在所述参数接收模块接收到所述AWB调节参数时，根据所述AWB调节参数确定实际参考帧的R、G、B增益分别与当前帧的R、G、B增益的比值。

本实施例十三的方案可以与实施例七、实施例九和实施例十一中至少一个方案结合在一起，即：本实施例十三中对图像进行编码的设备中各部件同时还具有执行实施例七、实施例九或实施例十一中任一对图像进行编码的设备中各部件的功能，以及，本实施例十三中对图像进行解码的设备中各部件同时还具有执行实施例七、实施例九或实施例十一中任一对图像进行解码的设备中各部件的功能。

实施例十四：

本发明实施例十四描述一种与实施例五属于同一发明构思下的编码设备，包括参数接收模块和编码模块，其中：

参数接收模块用于接收来自摄像装置的AF参数调节状态信息、AE参数调节状态信息和AWB参数调节状态信息中的至少一个信息；

编码模块用于在根据接收到的信息确定摄像装置处于开始调节状态或是处于调节结束状态时，重新对I帧或I块进行编码。

本实施例十四的方案可以与实施例六、实施例八、实施例十和实施例十二中至少一个方案结合在一起，即：本实施例十四中参数接收模块和编码模块同时还具有执行实施例六、实施例八、实施例十和实施例十二中任一对图像进行编码的设备中参数接收模块和编码模块的功能。

实施例十五：

本发明实施例十五描述一种与实施例五属于同一发明构思下的编码设备，包括I/O接口和编码器，其中：

I/O接口用于接收来自摄像装置的AF参数调节状态信息、AE参数调节状态信息和AWB参数调节状态信息中的至少一个信息；

编码器用于在根据接收到的信息确定摄像装置处于开始调节状态或是处于调节结束状态时，重新对I帧或I块进行编码。

本实施例十五的方案可以与实施例七、实施例九、实施例十一和实施例十三中至少一个方案结合在一起，即：本实施例十五中I/O接口和编码器同时还具有执行实施例七、实施例九、实施例十一和实施例十三中任一对图像进行编码的设备中I/O接口和编码器的功能。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims

1.一种对图像进行编码的方法，其特征在于，所述方法包括：

利用所述虚拟参考帧对所述当前帧进行编码。

2.如权利要求1所述的对图像进行编码的方法，其特征在于，所述方法还包括：

3.如权利要求1所述的对图像进行编码的方法，其特征在于，

所述PT参数中包括：在当前的成像焦距下摄像装置的垂直视角θ、当前帧相对于θ的转动角度实际参考帧相对于θ的转动角度

根据所述确定所述当前帧相对于与θ没有转动角度的帧在垂直方向上的第一MVD；

根据所述

4.如权利要求3所述的对图像进行编码的方法，其特征在于，

通过以下公式确定第一MVD和第二MVD：

第一

MVD = H * (\frac{\sin &PartialD; 1}{\sin θ}),

第二

MVD = H * (\frac{\sin &PartialD; 2}{\sin θ});

通过以下公式确定第三MVD和第四MVD：

第三

MVD = W * (\frac{\sin β 1}{\sin γ}),

第二

MVD = W * (\frac{\sin β 2}{\sin γ}) .

5.如权利要求1～4任一所述的对图像进行编码的方法，其特征在于，在利用所述虚拟参考帧对所述当前帧进行编码之前，所述方法还包括：

根据确定的所述缩放比对所述虚拟参考帧进行插值操作；

利用所述虚拟参考帧对所述当前帧进行编码，具体包括：

利用进行插值操作后的虚拟参考帧对所述当前帧进行编码。

6.如权利要求5所述的对图像进行编码的方法，其特征在于，

若插值操作后虚拟参考帧的面积大于插值操作前虚拟参考帧的面积，则从插值操作后的虚拟参考帧中选取中心点和大小都与插值操作前的虚拟参考帧相同的区域作为插值操作后最终得到的虚拟参考帧，所述最终得到的虚拟参考帧采用帧间预测编码；

7.如权利要求6所述的对图像进行编码的方法，其特征在于，在插值操作后的虚拟参考帧的面积小于实际参考帧面积的情况下选取的最终得到的虚拟参考帧中，所述重合区域内填充插值操作后虚拟参考帧的内容，除该重合区域外的其他区域内填充0。

8.如权利要求1～7任一所述的对图像进行编码的方法，其特征在于，在利用所述虚拟参考帧对所述当前帧进行编码之前，所述方法还包括：

利用所述虚拟参考帧对所述当前帧进行编码，具体包括：

9.如权利要求1～8任一所述的对图像进行编码的方法，其特征在于，在利用所述虚拟参考帧对所述当前帧进行编码之前，所述方法还包括：

利用所述虚拟参考帧对所述当前帧进行编码，具体包括：

10.一种对图像进行解码的方法，其特征在于，所述方法包括：

利用所述虚拟参考帧对编码后的当前帧进行解码。

11.如权利要求10所述的对图像进行解码的方法，其特征在于，在所述虚拟参考帧的所述重合区域内填充所述实际参考帧在该重合区域内的内容，以及，在所述虚拟参考帧中除所述重合区域外的其他区域内填充0。

12.如权利要求10所述的对图像进行解码的方法，其特征在于，所述MVD是编码侧发送的，或是根据编码侧发送的云台转动PT参数确定的。

13.如权利要求10～12任一所述的对图像进行解码的方法，其特征在于，利用所述虚拟参考帧对编码后的当前帧进行解码之前，所述方法还包括：

14.如权利要求13所述的对图像进行解码的方法，其特征在于，

15.如权利要求10～14任一所述的对图像进行解码的方法，其特征在于，利用所述虚拟参考帧对编码后的当前帧进行解码之前，所述方法还包括：

16.如权利要求10～15任一所述的对图像进行解码的方法，其特征在于，利用所述虚拟参考帧对编码后的当前帧进行解码之前，所述方法还包括：

17.一种对图像进行编码的方法，其特征在于，所述方法包括：

利用最终得到的虚拟参考帧对所述当前帧进行编码。

18.如权利要求17所述的对图像进行编码的方法，其特征在于，在插值操作后的虚拟参考帧的面积小于实际参考帧面积的情况下选取的最终得到的虚拟参考帧中，所述重合区域内填充插值操作后虚拟参考帧的内容，除该重合区域外的其他区域内填充0。

19.如权利要求17所述的对图像进行编码的方法，其特征在于，所述PTZ参数包括当前帧的焦距和实际参考帧的焦距；

通过以下公式确定当前帧和实际参考帧之间的缩放比：

缩放比=前帧的焦距/实际参考帧的焦距。

20.一种对图像进行解码的方法，其特征在于，所述方法包括：

21.如权利要求20所述的对图像进行解码的方法，其特征在于，在插值操作后的虚拟参考帧的面积小于实际参考帧面积的情况下选取的最终得到的虚拟参考帧中，所述重合区域内填充插值操作后虚拟参考帧的内容，除该重合区域外的其他区域内填充0。

22.如权利要求20所述的对图像进行解码的方法，其特征在于，所述当前帧和实际参考帧之间的缩放比是编码侧发送的，或是根据编码侧发送的PTZ参数确定的。

23.一种对图像进行编码的方法，其特征在于，所述方法包括：

利用所述虚拟参考帧对所述当前帧进行编码。

24.如权利要求23所述的对图像进行编码的方法，其特征在于，所述AE调节参数中包括：当前帧的曝光总时长、当前帧的模拟增益、当前帧的数字增益和当前帧的实际光圈数值，以及实际参考帧的曝光总时长、实际参考帧的模拟增益、实际参考帧的数字增益和实际参考帧的实际光圈数值；

通过以下公式确定当前帧和实际参考帧的整体增益：

25.一种对图像进行解码的方法，其特征在于，所述方法包括：

利用所述虚拟参考帧对编码后的所述当前帧进行解码。

26.如权利要求25所述的对图像进行解码的方法，其特征在于，

所述实际参考帧的整体增益和当前帧的整体增益之间的比值是编码侧发送的，或是根据编码侧发送的AE调节参数确定的。

27.一种对图像进行编码的方法，其特征在于，所述方法包括：

利用所述虚拟参考帧对所述当前帧进行编码。

28.一种对图像进行解码的方法，其特征在于，所述方法包括：

利用所述虚拟参考帧对编码后的所述当前帧进行解码。

29.如权利要求28所述的对图像进行解码的方法，其特征在于，

所述实际参考帧的R、G、B增益分别与当前帧的R、G、B增益的比值是编码侧发送的，或是根据编码侧发送的AWB调节参数确定的。

30.一种编码方法，其特征在于，所述方法包括：

31.一种对图像进行编码的设备，其特征在于，所述设备包括：

参数接收模块，用于接收摄像装置发送的云台转动PT参数；

32.如权利要求31所述的对图像进行编码的设备，其特征在于，

所述虚拟参考帧操作模块，还用于在所述虚拟参考帧的所述重合区域内填充所述实际参考帧在该重合区域内的内容，以及，在所述虚拟参考帧中除所述重合区域外的其他区域内填充0。

33.如权利要求31所述的对图像进行编码的设备，其特征在于，所述PT参数中包括：在当前的成像焦距下摄像装置的垂直视角θ、当前帧相对于θ的转动角度

实际参考帧相对于θ的转动角度

所述执行模块，具体用于根据所述确定所述当前帧相对于与θ没有转动角度的帧在垂直方向上的第一MVD，根据所述

34.如权利要求33所述的对图像进行编码的设备，其特征在于，所述PT参数中还包括：摄像装置采集的图像在垂直方向上的高度H和在水平方向上的宽度W；

第一

MVD = H * (\frac{\sin &PartialD; 1}{\sin θ}),

第二

MVD = H * (\frac{\sin &PartialD; 2}{\sin θ});

第三

MVD = W * (\frac{\sin β 1}{\sin γ}),

第二

MVD = W * (\frac{\sin β 2}{\sin γ}) .

35.如权利要求31～34任一所述的对图像进行编码的设备，其特征在于，

所述参数接收模块，还用于接收摄像装置发送的云台转动/镜头变焦PTZ参数；

36.如权利要求35所述的对图像进行编码的设备，其特征在于，

所述虚拟参考帧操作模块，还用于若插值操作后虚拟参考帧的面积大于插值操作前虚拟参考帧的面积，则从插值操作后的虚拟参考帧中选取中心点和大小都与插值操作前的虚拟参考帧相同的区域作为插值操作后最终得到的虚拟参考帧，所述最终得到的虚拟参考帧采用帧间预测编码，以及，若插值操作后虚拟参考帧的面积小于插值操作前虚拟参考帧的面积，则选取包含插值操作后的虚拟参考帧且中心点和大小都与插值操作前的虚拟参考帧相同的区域作为插值操作后最终得到的虚拟参考帧，该最终得到的虚拟参考帧与插值操作后的虚拟参考帧的重合区域采用帧间预测编码，除该重合区域外的其他区域采用帧内预测编码。

37.如权利要求36所述的对图像进行编码的设备，其特征在于，

所述虚拟参考帧操作模块，还用于在插值操作后的虚拟参考帧的面积小于实际参考帧面积的情况下选取的最终得到的虚拟参考帧中，所述重合区域内填充插值操作后虚拟参考帧的内容，除该重合区域外的其他区域内填充0。

38.如权利要求31～37任一所述的对图像进行编码的设备，其特征在于，

所述参数接收模块，还用于接收摄像装置发送的自动曝光AE调节参数；

39.如权利要求31～38任一所述的对图像进行编码的设备，其特征在于，

所述参数接收模块，还用于接收摄像装置发送的自动白平衡AWB调节参数；

40.一种对图像进行解码的设备，其特征在于，所述设备包括：

41.如权利要求40所述的对图像进行解码的设备，其特征在于，

42.如权利要求40所述的对图像进行解码的设备，其特征在于，所述设备还包括：

43.如权利要求40～43任一所述的对图像进行解码的设备，其特征在于，

所述虚拟参考帧操作模块，还用于根据当前帧和实际参考帧之间的缩放比对所述虚拟参考帧进行插值操作；

44.如权利要求43所述的对图像进行解码的设备，其特征在于，

所述虚拟参考帧操作模块，还用于若插值操作后虚拟参考帧的面积大于插值操作前虚拟参考帧的面积，则从插值操作后的虚拟参考帧中选取中心点和大小都与插值操作前的虚拟参考帧相同的区域作为插值操作后最终得到的虚拟参考帧，所述最终得到的虚拟参考帧采用帧间预测编码，以及，若插值操作后虚拟参考帧的面积小于插值操作前虚拟参考帧的面积，则选取包含插值操作后的虚拟参考帧且中心点和大小都与插值操作前的虚拟参考帧相同的区域作为插值操作后最终得到的虚拟参考帧，该最终得到的虚拟参考帧与插值操作后的虚拟参考帧的重合区域采用帧间预测编码，除重合区域外的其他区域采用帧内预测编码。

45.如权利要求40～44任一所述的对图像进行解码的设备，其特征在于，

所述虚拟参考帧操作模块，还用于根据实际参考帧的整体增益和当前帧的整体增益之间的比值对所述虚拟参考帧的各像素点进行处理，其中，像素点处理前的像素值与像素点处理后的像素值之比等于所述比值；

46.如权利要求40～45任一所述的对图像进行解码的设备，其特征在于，

所述虚拟参考帧操作模块，还用于根据实际参考帧的R、G、B增益分别与当前帧的R、G、B增益的比值对所述虚拟参考帧的各像素点进行处理，其中，像素点处理前的R分量值与像素点处理后的R分量值之比等于所述R增益的比值，像素点处理前的G分量值与像素点处理后的G分量值之比等于所述G增益的比值，像素点处理前的B分量值与像素点处理后的B分量值之比等于所述B增益的比值；

47.一种对图像进行编码的设备，其特征在于，所述设备包括：

参数接收模块，用于接收摄像装置发送的PTZ参数；

48.一种对图像进行解码的设备，其特征在于，所述设备包括：

49.一种对图像进行编码的设备，其特征在于，所述设备包括：

参数接收模块，用于接收摄像装置发送的AE调节参数；

50.一种对图像进行解码的设备，其特征在于，所述设备包括：

51.一种对图像进行编码的设备，其特征在于，所述设备包括：

参数接收模块，用于接收摄像装置发送的AWB调节参数；

52.一种对图像进行解码的设备，其特征在于，所述设备包括：

53.一种编码设备，其特征在于，所述编码设备包括：