CN106791642B - 一种视频数据恢复方法及装置 - Google Patents

一种视频数据恢复方法及装置 Download PDF

Info

Publication number
CN106791642B
CN106791642B CN201611170871.3A CN201611170871A CN106791642B CN 106791642 B CN106791642 B CN 106791642B CN 201611170871 A CN201611170871 A CN 201611170871A CN 106791642 B CN106791642 B CN 106791642B
Authority
CN
China
Prior art keywords
macro block
target
video frame
macroblock
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611170871.3A
Other languages
English (en)
Other versions
CN106791642A (zh
Inventor
严柯森
吴辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Yu Vision Mdt Infotech Ltd
Original Assignee
Zhejiang Uniview Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Uniview Technologies Co Ltd filed Critical Zhejiang Uniview Technologies Co Ltd
Priority to CN201611170871.3A priority Critical patent/CN106791642B/zh
Publication of CN106791642A publication Critical patent/CN106791642A/zh
Application granted granted Critical
Publication of CN106791642B publication Critical patent/CN106791642B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供一种视频数据恢复方法及装置，所述方法包括：当发生视频帧丢失时，对于丢失的目标视频帧中的目标宏块，确定所述目标视频帧的前向帧中对应位置的宏块相似度；根据所述宏块相似度以及所述目标视频帧的前向帧中携带的所述目标宏块的运动矢量残差标识确定所述目标宏块的类型；根据所述目标宏块的类型对所述目标宏块进行恢复。应用本发明实施例可以实现视频整帧丢失情况下的视频帧恢复。

Description

一种视频数据恢复方法及装置
技术领域
本发明涉及视频监控技术领域，尤其涉及一种视频数据恢复方法及装置。
背景技术
随着监控技术领域各项技术的快速发展，人们为了追求更加高质量的视觉体验，对监控视频图像的清晰度的要求越来越高，相应地，监控视频传输过程中网络的负担逐渐升高，监控视频传输过程中丢包率也随之上升。同时，由于目前监控视频传输时，通常是以视频帧形式打包，因此，数据包丢失会导致视频整帧丢失，严重影响解码端监控视频观看体验。
在视频整帧丢失的情况下，如何恢复丢失的视频帧成为一个亟待解决的技术问题。
发明内容
本发明提供一种视频数据恢复方法及装置，以视频整帧丢失情况下的视频帧恢复。
根据本发明的第一方面，提供一种视频数据恢复方法，应用于视频监控系统的解码端设备，所述方法包括：
当发生视频帧丢失时，对于丢失的目标视频帧中的目标宏块，确定所述目标视频帧的前向帧中对应位置的宏块相似度；
根据所述宏块相似度以及所述目标视频帧的前向帧中携带的所述目标宏块的运动矢量残差标识确定所述目标宏块的类型；
根据所述目标宏块的类型对所述目标宏块进行恢复。
根据本发明的第二方面，提供一种视频数据恢复装置，应用于视频监控系统的解码端设备，所述装置包括：
第一确定单元，用于当发生视频帧丢失时，对于丢失的目标视频帧中的目标宏块，确定所述目标视频帧的前向帧中对应位置的宏块相似度；
第二确定单元，用于根据所述宏块相似度以及所述目标视频帧的前向帧中携带的所述目标宏块的运动矢量残差标识确定所述目标宏块的类型；
恢复单元，用于根据所述目标宏块的类型对所述目标宏块进行恢复。
应用本发明公开的技术方案，当发生视频帧丢失时，对于丢失的目标视频帧中的目标宏块，通过确定目标视频帧的前向帧中对应位置的宏块相似度，并根据宏块相似度以及目标视频帧的前向帧中携带的目标宏块的运动矢量残差标识确定目标宏块的类型，进而，根据目标宏块的类型对目标宏块进行恢复，实现了视频整帧丢失情况下的视频帧恢复。
附图说明
图1是本发明实施例提供的一种视频数据恢复方法的流程示意图；
图2是本发明实施例提供的一种视频数据恢复装置的结构示意图；
图3是本发明实施例提供的另一种视频数据恢复装置的结构示意图。
具体实施方式
为了使本领域技术人员更好地理解本发明实施例中的技术方案，并使本发明实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明实施例中技术方案作进一步详细的说明。
请参见图1，图1为本发明实施例提供的一种视频数据恢复方法的流程示意图，其中，该视频数据恢复方法可以应用于视频监控系统的解码端设备，如图1所示，该视频数据恢复方法可以包括：
步骤101、当发生视频帧丢失时，对于丢失的目标视频帧中的目标宏块，确定该目标视频帧的前向帧中对应位置的宏块相似度。
本发明实施例中，目标视频帧并不特指某一固定的视频帧，而是可以指代解码端设备接收到编码端设备发送的监控视频数据时，丢失的任一视频帧；同理，目标宏块也并不特指某一固定的宏块，而是可以指代目标视频帧中的任一宏块，本发明实施例后续不再复述。
需要说明的是，在本发明实施例中，当连续多帧视频帧丢失时，解码端设备按照丢失的视频帧的时间从先到后的顺序进行视频数据恢复。
值得说明的是，在本发明实施例中，由于进行视频帧恢复时，需要使用前向帧的信息，因此，本发明实施例中的视频帧恢复仅针对非首帧丢失的场景，对于首帧丢失情况的处理方式本发明不做限定。
本发明实施例中，当发生视频帧丢失时，对于丢失的目标视频帧中的目标宏块，解码端设备可以先确定该目标视频帧的前向帧中对应位置的宏块相似度。
其中，该目标视频帧的前向帧中对应位置的宏块相似度可以为该目标视频帧的上一视频帧中相应位置的宏块(该宏块在该上一视频帧中的位置与目标宏块在目标视频帧中的位置一致)与上上一视频帧中相应位置的宏块(同上)之间的宏块相似度。
举例来说，假设目标视频帧为时刻t的视频帧，目标宏块为目标视频帧左上角的宏块，则目标视频帧的前向帧中对应位置的宏块相似度可以为时刻t-1的视频帧中左上角的宏块与时刻t-2的视频帧中左上角的宏块之间的宏块相似度。
作为一种可选的实施方式，在本发明实施例中，确定目标视频帧的前向帧中对应位置的宏块相似度，可以包括：
确定目标视频帧的前向帧中对应位置的宏块中各像素点的GMS(GradientMagnitude Similarity，梯度大小相似度)值；
将目标视频帧的前向帧中对应位置的宏块中各像素点的GMS值的平均值确定为目标视频帧的前向帧中对应位置的宏块相似度。
在该实施方式中，宏块边界像素点的GMS值不需要计算，可以直接拷贝相邻像素点的GMS值；对于非边界像素点的GMS值，其计算方式可以参见现有相关实现中的相关描述，本发明实施例在此不做赘述。
在该实施方式中，解码端设备确定了目标视频帧的前向帧中对应位置的宏块中各像素点的GMS值之后，可以将该宏块中各像素点的GMS值的平均值确定为目标视频帧的前向帧中对应位置的宏块相似度。
例如，解码端设备可以通过以下公式确定目标视频帧的前向帧中对应位置的宏块相似度MBGMS：
Figure GDA0002136459190000041
其中，M×N表示宏块的大小，例如16×16；GMS(i)为宏块中第i个像素点的GMS值；其中，可以以宏块左上角的像素点为第1个像素点，右下角的像素点为第M×N个像素点。
应该认识到，上述根据像素点的GMS值确定宏块相似度的实现仅仅是本发明实施例中确定宏块相似度的一种具体示例，而并不是对本发明保护范围的限定，即在本发明实施例中，也可以通过其它方式确定宏块相似度，例如，以目标视频帧的前向帧中对应位置的宏块中各像素点的SSIM(Structural Similarity Index，结构相似性)值的平均值作为目标视频帧的前向帧中对应位置的宏块相似度，其具体实现在此不做赘述。
步骤102、根据宏块相似度以及目标视频帧的前向帧中携带的目标宏块的运动矢量残差标识确定目标宏块的类型。
本发明实施例中，解码端设备确定了目标视频帧的前向帧中对应位置的宏块相似度之后，可以根据该宏块相似度以及目标视频帧的前向帧中携带的目标宏块的运动矢量残差标识确定目标宏块的类型。
为了实现上述目的，在本发明实施例中，编码端设备对监控视频进行编码时，需要将视频帧中各宏块的运动矢量残差标识(MBMVDF)携带在该视频帧的前向帧中，并将携带了该MBMVDF的监控视频数据发送给解码端设备。其中，MBMVDF用于指示对应的宏块是否为感兴趣区域宏块。
举例来说，假设当某宏块对应的MBMVDF的值为第一标识值(如1)时，可以表明该宏块为感兴趣区域宏块；当某宏块对应的MBMVDF的值为第二标识值(如0)时，可以表明该宏块为非感兴趣区域宏块。
相应地，编码端设备可以预先对监控场景进行感兴趣区域划分，并根据宏块在视频帧中的位置确定宏块是否为感兴趣区域宏块：
当视频帧中某宏块有落在感兴趣区域的部分(感兴趣区域与该宏块部分或全部重叠)时，可以将该宏块确定为感兴趣区域宏块，将其对应的MBMVDF的值设置为第一标识值；当视频帧中某宏块完全处于感兴趣区域之外时(感兴趣区域与该宏块不存在重叠部分)，可以将该宏块确定为非感兴趣区域宏块，将其对应的MBMVDF的值设置为第二标识值。
其中，对监控场景进行感兴趣区域划分的具体实现可以参见现有相关实现中的相关描述，本发明实施例在此不做赘述。
可选地，视频帧的宏块的MBMVDF可以以SEI(Supplemental EnhancementInformation，补充增强信息)信息的形式携带在前向帧中。
作为一种可选的实施方式，在本发明实施例中，上述根据宏块相似度以及目标视频帧的前向帧中携带的目标宏块的运动矢量残差标识确定目标宏块的类型，包括：
将宏块相似度以及目标视频帧的前向帧中携带的目标宏块的运动矢量残差标识输入到预先训练好的分类模型中，以确定目标宏块是否为相似静止区域宏块；
若目标宏块为非相似静止区域宏块时，根据目标宏块的运动矢量残差标识确定目标宏块为感兴趣区域宏块或非感兴趣区域宏块。
本发明实施例中，宏块的类型可以包括但不包括相似静止区域宏块、非相似静止区域宏块中的非感兴趣宏块或非相似静止区域宏块中的感兴趣宏块等。其中，相似静止区域宏块可以理解为包含需要关注的信息最少的宏块；非相似静止区域宏块中的感兴趣宏块可以理解为包含需要关注的信息最多的宏块。
在该实施方式中，为了使解码端设备能够识别出视频帧中各宏块的类型，可以预先训练分类模型，该分类模型的训练样本可以为宏块相似度以及宏块的运动矢量残差标识，其输出结果可以为相应的宏块是否为相似静止区域宏块。
例如，在该实施方式中，可以采用广泛应用的分类器-SVM(Support VectorMachine，支持向量机)进行宏块分类。宏块分类特征可以包括宏块相似度(该特征包含了前向帧的相似度信息)以及宏块运动矢量残差(该特征包含了当前帧特殊的运动情况，包含瞬间运动信息，可以用来判断时域上场景变换或者高速运动的区域)。
具体地，可以在编码端侧，利用视频采集设备采集到的监控视频进行分析计算，对于任一视频帧中的任一宏块，可以计算该视频帧的前向帧中对应位置的宏块相似度，并确定该视频帧中的该宏块对应的运动矢量残差标识(根据该宏块是否为感兴趣区域宏块确定)，并使用分析计算得到的宏块相似度以及运动矢量残差标识作为训练样本进行SVM分类模型训练。
在该实施方式中，当解码端设备确定了目标视频帧的前向帧中对应位置的宏块相似度，并获取到了目标视频帧的前向帧中携带的目标宏块的运动矢量残差标识之后，可以将该宏块相似度以及运动矢量残差标识输入到预先训练好的分类模块中，以确定目标宏块是否为相似静止区域宏块。
若目标宏块为相似静止区域宏块，则解码端设备可以确定目标宏块的类型为相似静止区域宏块；
若目标宏块为非相似静止区域宏块，则解码端设备可以进一步根据目标宏块的运动矢量残差标识确定目标宏块是否为感兴趣区域宏块；若为感兴趣区域宏块，则解码端设备可以确定目标宏块的类型为非相似静止区域宏块中的感兴趣区域宏块；否则，解码端设备可以确定目标宏块的类型为非相似静止区域宏块中的非感兴趣区域宏块。
应该认识到，上述确定目标宏块的类型的方式仅仅是本发明实施例中确定目标宏块的类型的一种具体示例，而不是对本发明保护范围的限定，在本发明实施例提供的技术方案的基础上，本领域技术人员在未付出创造性劳动的前提下对本发明实施例中目标宏块的类型的确定方式的调整或变型均应属于本发明保护范围。
步骤103、根据目标宏块的类型对目标宏块进行恢复。
本发明实施例中，解码端设备确定了目标宏块的类型之后，解码端设备可以根据目标宏块的类型的不同，采用不同的策略对目标宏块进行恢复。
其中，对于相似静止区域宏块，由于其中包含的需要关注的信息较少，且发生变化的概率较小，因此，可以直接根据前向帧中对应位置的宏块中的像素对该类型宏块进行恢复；而对于非相似静止区域宏块，由于其中包含的需要关注的信息相对较多，且发生变化的概率相对较大，因此，在对该类型宏块进行恢复时，需要进行运动补偿。
作为一种可选的实施方式，在本发明实施例中，上述根据目标宏块的类型对目标宏块进行恢复，可以包括：
当目标宏块为相似静止区域宏块时，根据目标视频帧的前向帧中对应位置的宏块的均值对目标宏块进行恢复；
当目标宏块为非相似静止区域宏块，且为非感兴趣区域宏块时，将目标视频帧的前向帧中对应位置的宏块的运动矢量作为目标宏块的运动矢量，并根据该运动矢量对目标宏块进行运动补偿恢复；
当目标宏块为非相似静止区域宏块，且为感兴趣区域宏块时，根据目标视频帧的前向帧中对应位置的宏块以及该前向帧中携带的目标宏块的运动矢量残差，确定目标宏块的运动矢量，并根据该运动矢量对目标宏块进行运动补偿恢复。
在该实施方式中，对于相似静止区域宏块，可以直接使用前向帧对应位置的宏块的均值对目标宏块进行恢复。
例如，解码端设备可以通过以下公式确定宏块中像素点的像素值(以目标视频帧为时刻t的视频帧为例，下同)：
Figure GDA0002136459190000081
其中，P(x，y)为时刻t的视频帧中某一宏块(假设为宏块a)中坐标(x，y)的像素点的像素值，Pt-1(x，y)为时刻t-1的视频帧中对应位置的宏块(假设为宏块a1，宏块a1在时刻t-1的视频帧中的位置与宏块a在时刻t的视频帧中的位置一致)中坐标(x，y)的像素点的像素值，Pt-2(x，y)为时刻t-2的视频帧中对应位置的宏块(假设为宏块a2，位置关系同上)中坐标(x，y)的像素点的像素值；其中，各视频帧中宏块的坐标系一致。
应该认识到，上述通过t-1时刻的视频帧以及t-2时刻的视频帧的相同位置的宏块的均值确定t时刻的视频帧中对应位置的宏块的像素值的实现方式仅仅是本发明实施例中确定相似静止区域宏块的像素值的一种具体示例，而不是对本发明保护范围的限定，在本发明实施例中，也可以通过其它方式确定相似静止区域宏块的像素值，例如利用前向帧中对应位置的宏块的加权平均值确定目标视频帧中的目标宏块的像素值，其中，与目标视频帧的时间差距越小的前向帧对应的权重越高，其具体实现在此不再赘述。
在该实施方式中，对于非相似静止区域宏块，若为非感兴趣区域宏块，可以使用目标视频帧的前向帧中对应位置的宏块的运动矢量作为目标宏块的运动矢量，并根据该运动矢量对目标宏块进行运动补偿恢复。
例如，解码端设备可以通过以下公式确定宏块中像素点的像素值：
Figure GDA0002136459190000082
其中，P(x，y)为时刻t的视频帧中宏块a(定义同上)中坐标(x，y)的像素点的像素值，
Figure GDA0002136459190000083
为时刻t-1的视频帧中宏块a1(定义同上)的运动矢量的水平分量，
Figure GDA0002136459190000084
为时刻t-1的视频帧中宏块a1的运动矢量的竖直分量，
Figure GDA0002136459190000085
为时刻t-1的视频帧中宏块a1中坐标
Figure GDA0002136459190000091
的像素点的像素值；其中，若超出宏块a1的坐标范围，则取该坐标在时刻t-1的视频帧中的实际位置处的像素点的像素。
应该认识到，上述通过t-1时刻的视频帧中相同位置的宏块的运动矢量对时刻t的视频帧中对应位置的宏块进行运动补偿仅仅是本发明实施例中确定非相似静止区域宏块中非感兴趣区域宏块的像素值的一种具体示例，而不是对本发明保护范围的限定，在本发明实施例中，也可以通过其它方式确定非相似静止区域宏块中非感兴趣区域宏块的像素值，例如，利用时刻t-1和时刻t-2的视频帧中相同位置的宏块的运动矢量的平均值对时刻t的视频帧中对应位置的宏块进行运动补偿，其具体实现在此不再赘述。
在该实施方式中，对于非相似静止区域宏块，若为感兴趣区域宏块，可以先根据目标视频帧的前向帧中对应位置的宏块以及该前向帧中携带的目标宏块的运动矢量残差，确定目标宏块的运动矢量，并根据该运动矢量对目标宏块进行运动补偿恢复。
例如，解码端设备可以通过以下公式确定目标宏块的运动矢量：
Figure GDA0002136459190000093
其中，
Figure GDA0002136459190000094
为时刻t的视频帧中宏块a(定义同上)的运动矢量的水平分量，为时刻t的视频帧中宏块a的运动矢量的竖直分量，
Figure GDA0002136459190000096
为时刻t-1的视频帧中宏块a1(定义同上)的运动矢量的水平分量，
Figure GDA0002136459190000097
为时刻t-1的视频帧中宏块a1的运动矢量的竖直分量，Δmvx为时刻t的视频帧中宏块a的水平运动矢量残差，Δmvy为时刻t的视频帧中宏块a的运动矢量残差的竖直分量。
解码端设备确定了目标宏块的运动矢量之后，可以通过以下公式确定宏块中像素点的像素值：
Figure GDA0002136459190000101
其中，P(x，y)为时刻t的视频帧中宏块a(定义同上)中坐标(x，y)的像素点的像素值，
Figure GDA0002136459190000102
为时刻t的视频帧中宏块a的运动矢量的水平分量，
Figure GDA0002136459190000103
为时刻t的视频帧中宏块a的运动矢量的竖直分量，
Figure GDA0002136459190000104
为时刻t-1的视频帧中宏块a1中坐标
Figure GDA0002136459190000105
的像素点的像素值；其中，若超出宏块a1的坐标范围，则取该坐标在时刻t-1的视频帧中的实际位置处的像素点的像素。
在该实施方式中，为了实现解码端设备根据目标视频帧的前向帧中对应位置的宏块以及前向帧中携带的目标宏块的运动矢量残差，确定目标宏块的运动矢量，编码端设备在对监控视频进行编码时，需要计算各视频帧中各宏块的运动矢量残差(视频帧中宏块的运动矢量与该视频帧的前向帧中相同位置的宏块的运动矢量的差值)，并将视频帧中各宏块的运动矢量残差携带在该视频帧的前向帧中。
优选地，由于对于解码端设备而言，只有非相似静止区域宏块中的感兴趣区域宏块恢复时需要使用运动矢量的残差，因此，编码端设备在计算视频帧中宏块的运动矢量残差时，可以仅计算视频帧中感兴趣区域宏块对应的运动矢量残差，以减少需要传输的数据量。
值得说明的是，在本发明实施例中，编码端设备也可以直接将视频帧中各宏块，或非相似静止区域宏块中的感兴趣区域宏块的运动矢量携带在视频帧的前向帧中，进而，解码端设备可以直接获取从目标视频帧的前向帧中获取目标宏块的运动矢量。
此外，在本发明实施例中，当视频帧为IPPP编码(一种编码模式)结构时，若丢失的帧包括第一个P帧，则进行该P帧恢复时，可以将I帧中各宏块的运动矢量置为0，并在此基础上按照上述方法流程中描述的方式进行该P帧恢复。
进一步地，在本发明实施例中，上述根据目标宏块的类型对目标宏块进行恢复之后，还可以包括：
当目标宏块存在已恢复的相邻宏块时，判断目标宏块与该相邻宏块的类型是否一致；
若目标宏快与相邻宏块类型不一致，则对目标宏块与相邻宏块的交界进行平滑处理。
在该实施例中，以解码端设备按照从左到右，从上到下的顺序对视频帧中宏块进行恢复为例。
当解码端设备根据目标宏块的类型对目标宏块进行恢复之后，解码端设备可以判断目标宏块是否存在已恢复的左侧相邻宏块或/和上方相邻宏块，若存在左侧相邻宏块(上方相邻宏块)，则解码端设备可以进一步判断目标宏块与该左侧相邻宏块(上方相邻宏块)的类型是否一致。
若目标宏块与左侧相邻宏块(上方相邻宏块)的类型不一致，则表明目标宏块与左侧相邻宏块(上方相邻宏块)之间存在边界(即目标宏块与左侧相邻宏块(上方相邻宏块)的交界)，此时，解码端设备需要对目标宏块与左侧相邻宏块(上方相邻宏块)的交界进行平滑处理，以提升视频帧整体恢复质量。
例如，解码端设备可以采用平面中值滤波算法进行目标宏块与左侧相邻宏块(上方相邻宏块)的交界进行滤波，使得不同类型区域边界过渡平滑，提升视频帧整体恢复质量。
通过以上描述可以看出，在本发明实施例提供的技术方案中，当发生视频帧丢失时，对于丢失的目标视频帧中的目标宏块，通过确定目标视频帧的前向帧中对应位置的宏块相似度，并根据宏块相似度以及目标视频帧的前向帧中携带的目标宏块的运动矢量残差标识确定目标宏块的类型，进而，根据目标宏块的类型对目标宏块进行恢复，实现了视频整帧丢失情况下的视频帧恢复。
请参见图2，为本发明实施例提供的一种视频数据恢复装置的结构示意图，其中，该视频数据恢复装置可以应用于上述方法实施例中的解码端设备，如图2所示，该视频数据恢复装置可以包括：
第一确定单元210，用于当发生视频帧丢失时，对于丢失的目标视频帧中的目标宏块，确定所述目标视频帧的前向帧中对应位置的宏块相似度；
第二确定单元220，用于根据所述宏块相似度以及所述目标视频帧的前向帧中携带的所述目标宏块的运动矢量残差标识确定所述目标宏块的类型；
恢复单元230，用于根据所述目标宏块的类型对所述目标宏块进行恢复。
在可选实施例中，所述第一确定单元210，具体用于确定所述目标视频帧的前向帧中对应位置的宏块中各像素点的梯度大小相似度GMS值；其中，该宏块在该目标视频帧的前向帧中的位置与目标宏块在目标视频帧中的位置一致；将所述目标视频帧的前向帧中对应位置的宏块中各像素点的GMS值的平均值确定为所述目标视频帧的前向帧中对应位置的宏块相似度。
在可选实施例中，所述第二确定单元220，具体用于将所述宏块相似度以及所述目标视频帧的前向帧中携带的所述目标宏块的运动矢量残差标识输入到预先训练好的分类模型中，以确定所述目标宏块是否为相似静止区域宏块；若所述目标宏块为非相似静止区域宏块时，根据所述目标宏块的运动矢量残差标识确定所述目标宏块为感兴趣区域宏块或非感兴趣区域宏块。
在可选实施例中，所述恢复单元230，具体用于当所述目标宏块为相似静止区域宏块时，根据所述目标视频帧的前向帧中对应位置的宏块的均值对所述目标宏块进行恢复；当所述目标宏块为非相似静止区域宏块，且为非感兴趣区域宏块时，将所述目标视频帧的前向帧中对应位置的宏块的运动矢量作为所述目标宏块的运动矢量，并根据该运动矢量对所述目标宏块进行运动补偿恢复；当所述目标宏块为非相似静止区域宏块，且为感兴趣区域宏块时，根据所述目标视频帧的前向帧中对应位置的宏块以及该前向帧中携带的目标宏块的运动矢量残差，确定所述目标宏块的运动矢量，并根据该运动矢量对所述目标宏块进行运动补偿恢复。
请一并参见图3，为本发明实施例提供的另一种视频数据恢复装置的结构示意图，如图3所示，在图2所示视频数据恢复装置的基础上，图3所示的视频数据恢复装置还包括：
判断单元240，用于当所述目标宏块存在已恢复的相邻宏块时，判断所述目标宏块与该相邻宏块的类型是否一致；
处理单元250，用于若所述目标宏块与相邻宏块类型不一致，则对所述目标宏块与相邻宏块的交界进行平滑处理
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
由上述实施例可见，当发生视频帧丢失时，对于丢失的目标视频帧中的目标宏块，通过确定目标视频帧的前向帧中对应位置的宏块相似度，并根据宏块相似度以及目标视频帧的前向帧中携带的目标宏块的运动矢量残差标识确定目标宏块的类型，进而，根据目标宏块的类型对目标宏块进行恢复，实现了视频整帧丢失情况下的视频帧恢复。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种视频数据恢复方法，应用于视频监控系统的解码端设备，其特征在于，所述方法包括：
当发生视频帧丢失时，对于丢失的目标视频帧中的目标宏块，确定所述目标视频帧的前向帧中对应位置的宏块相似度，其中，所述目标视频帧的前向帧中对应位置的宏块相似度为：目标视频帧的上一视频帧中相应位置的宏块与上上一视频帧中相应位置的宏块之间的宏块相似度；
根据所述宏块相似度以及所述目标视频帧的前向帧中携带的所述目标宏块的运动矢量残差标识确定所述目标宏块的类型；
根据所述目标宏块的类型对所述目标宏块进行恢复。
2.根据权利要求1所述的方法，其特征在于，所述确定所述目标视频帧的前向帧中对应位置的宏块相似度，包括：
确定所述目标视频帧的前向帧中对应位置的宏块中各像素点的梯度大小相似度GMS值；其中，该宏块在该目标视频帧的前向帧中的位置与目标宏块在目标视频帧中的位置一致，所述目标视频帧的前向帧为：所述目标视频帧的上一视频帧与上上一视频帧；
将所述目标视频帧的前向帧中对应位置的宏块中各像素点的GMS值的平均值确定为所述目标视频帧的前向帧中对应位置的宏块相似度。
3.根据权利要求1所述的方法，其特征在于，所述根据所述宏块相似度以及所述目标视频帧的前向帧中携带的所述目标宏块的运动矢量残差标识确定所述目标宏块的类型，包括：
将所述宏块相似度以及所述目标视频帧的前向帧中携带的所述目标宏块的运动矢量残差标识输入到预先训练好的分类模型中，以确定所述目标宏块是否为相似静止区域宏块；
若所述目标宏块为非相似静止区域宏块时，根据所述目标宏块的运动矢量残差标识确定所述目标宏块为感兴趣区域宏块或非感兴趣区域宏块。
4.根据权利要求1所述的方法，其特征在于，所述根据所述目标宏块的类型对所述目标宏块进行恢复，包括：
当所述目标宏块为相似静止区域宏块时，根据所述目标视频帧的前向帧中对应位置的宏块的均值对所述目标宏块进行恢复；
当所述目标宏块为非相似静止区域宏块，且为非感兴趣区域宏块时，将所述目标视频帧的前向帧中对应位置的宏块的运动矢量作为所述目标宏块的运动矢量，并根据该运动矢量对所述目标宏块进行运动补偿恢复；
当所述目标宏块为非相似静止区域宏块，且为感兴趣区域宏块时，根据所述目标视频帧的前向帧中对应位置的宏块以及该前向帧中携带的目标宏块的运动矢量残差，确定所述目标宏块的运动矢量，并根据该运动矢量对所述目标宏块进行运动补偿恢复。
5.根据权利要求1所述的方法，其特征在于，所述根据所述目标宏块的类型对所述目标宏块进行恢复之后，还包括：
当所述目标宏块存在已恢复的相邻宏块时，判断所述目标宏块与该相邻宏块的类型是否一致；
若所述目标宏块与相邻宏块类型不一致，则对所述目标宏块与相邻宏块的交界进行平滑处理。
6.一种视频数据恢复装置，应用于视频监控系统的解码端设备，其特征在于，所述装置包括：
第一确定单元，用于当发生视频帧丢失时，对于丢失的目标视频帧中的目标宏块，确定所述目标视频帧的前向帧中对应位置的宏块相似度，其中，所述目标视频帧的前向帧中对应位置的宏块相似度为：目标视频帧的上一视频帧中相应位置的宏块与上上一视频帧中相应位置的宏块之间的宏块相似度；
第二确定单元，用于根据所述宏块相似度以及所述目标视频帧的前向帧中携带的所述目标宏块的运动矢量残差标识确定所述目标宏块的类型；
恢复单元，用于根据所述目标宏块的类型对所述目标宏块进行恢复。
7.根据权利要求6所述的装置，其特征在于，
所述第一确定单元，具体用于确定所述目标视频帧的前向帧中对应位置的宏块中各像素点的梯度大小相似度GMS值；其中，该宏块在该目标视频帧的前向帧中的位置与目标宏块在目标视频帧中的位置一致，所述目标视频帧的前向帧为：所述目标视频帧的上一视频帧与上上一视频帧；将所述目标视频帧的前向帧中对应位置的宏块中各像素点的GMS值的平均值确定为所述目标视频帧的前向帧中对应位置的宏块相似度。
8.根据权利要求6所述的装置，其特征在于，
所述第二确定单元，具体用于将所述宏块相似度以及所述目标视频帧的前向帧中携带的所述目标宏块的运动矢量残差标识输入到预先训练好的分类模型中，以确定所述目标宏块是否为相似静止区域宏块；若所述目标宏块为非相似静止区域宏块时，根据所述目标宏块的运动矢量残差标识确定所述目标宏块为感兴趣区域宏块或非感兴趣区域宏块。
9.根据权利要求6所述的装置，其特征在于，
所述恢复单元，具体用于当所述目标宏块为相似静止区域宏块时，根据所述目标视频帧的前向帧中对应位置的宏块的均值对所述目标宏块进行恢复；当所述目标宏块为非相似静止区域宏块，且为非感兴趣区域宏块时，将所述目标视频帧的前向帧中对应位置的宏块的运动矢量作为所述目标宏块的运动矢量，并根据该运动矢量对所述目标宏块进行运动补偿恢复；当所述目标宏块为非相似静止区域宏块，且为感兴趣区域宏块时，根据所述目标视频帧的前向帧中对应位置的宏块以及该前向帧中携带的目标宏块的运动矢量残差，确定所述目标宏块的运动矢量，并根据该运动矢量对所述目标宏块进行运动补偿恢复。
10.根据权利要求6所述的装置，其特征在于，所述装置还包括：
判断单元，用于当所述目标宏块存在已恢复的相邻宏块时，判断所述目标宏块与该相邻宏块的类型是否一致；
处理单元，用于若所述目标宏块与相邻宏块类型不一致，则对所述目标宏块与相邻宏块的交界进行平滑处理。
CN201611170871.3A 2016-12-16 2016-12-16 一种视频数据恢复方法及装置 Active CN106791642B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611170871.3A CN106791642B (zh) 2016-12-16 2016-12-16 一种视频数据恢复方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611170871.3A CN106791642B (zh) 2016-12-16 2016-12-16 一种视频数据恢复方法及装置

Publications (2)

Publication Number Publication Date
CN106791642A CN106791642A (zh) 2017-05-31
CN106791642B true CN106791642B (zh) 2020-01-14

Family

ID=58892151

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611170871.3A Active CN106791642B (zh) 2016-12-16 2016-12-16 一种视频数据恢复方法及装置

Country Status (1)

Country Link
CN (1) CN106791642B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112532975B (zh) * 2020-11-25 2021-09-21 腾讯科技（深圳）有限公司 视频编码方法、装置、计算机设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101827272A (zh) * 2009-03-06 2010-09-08 株式会社日立制作所 视频错误修复装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5115519B2 (ja) * 2009-05-26 2013-01-09 富士通株式会社 動画像復号装置、動画像復号方法及び動画像復号用コンピュータプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101827272A (zh) * 2009-03-06 2010-09-08 株式会社日立制作所 视频错误修复装置

Also Published As

Publication number Publication date
CN106791642A (zh) 2017-05-31

Similar Documents

Publication Publication Date Title
US7778328B2 (en) Semantics-based motion estimation for multi-view video coding
JP2012516637A5 (zh)
EP3177015A1 (en) Image prediction method and related device
EP3177013B1 (en) Image prediction method and relevant device
CN106162177A (zh) 视频编码方法和装置
Yu et al. Multi-level video frame interpolation: Exploiting the interaction among different levels
JP2018201189A5 (zh)
US10269121B2 (en) Fast color based and motion assisted segmentation of video into region-layers
WO2015172235A1 (en) Time-space methods and systems for the reduction of video noise
CN110263699B (zh) 视频图像处理方法、装置、设备及存储介质
US9838604B2 (en) Method and system for stabilizing video frames
Soh et al. Reduction of video compression artifacts based on deep temporal networks
CN108924568B (zh) 一种基于3d-hevc框架的深度视频错误隐藏方法
CN107333027A (zh) 一种视频图像增强的方法和装置
US10798418B2 (en) Method and encoder for encoding a video stream in a video coding format supporting auxiliary frames
US20170223383A1 (en) Methods and systems for detection of artifacts in a video after error concealment
EP2582134A1 (en) Saliency value determination of predictively encoded video streams
CN113205011B (zh) 图像掩膜确定方法及装置、存储介质和电子设备
CN106791642B (zh) 一种视频数据恢复方法及装置
CN107682694B (zh) 图像编解码方法、装置及系统
US20130251045A1 (en) Method and device for determining a motion vector for a current block of a current video frame
CN111542858B (zh) 动态图像解析装置、系统、方法、以及存储介质
US11778224B1 (en) Video pre-processing using encoder-aware motion compensated residual reduction
CN114913471A (zh) 一种图像处理方法、装置和可读存储介质
CN114640815A (zh) 一种视频的处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221109

Address after: 15 / F, Zhongchuang Plaza, 385 Hangtian Middle Road, national civil aerospace industrial base, Xi'an City, Shaanxi Province 710100

Patentee after: Xi'an Yu vision Mdt InfoTech Ltd.

Address before: 310051 Zhejiang Jiangling Hangzhou Road, Binjiang District, Jiangling, 88, No. 10 South Block 1-11.

Patentee before: ZHEJIANG UNIVIEW TECHNOLOGIES Co.,Ltd.