CN104219532B - 确定小物体区域的方法、视频帧之间插补帧的方法和装置 - Google Patents

确定小物体区域的方法、视频帧之间插补帧的方法和装置 Download PDF

Info

Publication number
CN104219532B
CN104219532B CN201310222076.4A CN201310222076A CN104219532B CN 104219532 B CN104219532 B CN 104219532B CN 201310222076 A CN201310222076 A CN 201310222076A CN 104219532 B CN104219532 B CN 104219532B
Authority
CN
China
Prior art keywords
frame
image block
video
region
wisp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310222076.4A
Other languages
English (en)
Other versions
CN104219532A (zh
Inventor
张雷
姚志刚
谢清鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201310222076.4A priority Critical patent/CN104219532B/zh
Priority to EP14806792.9A priority patent/EP2999223A4/en
Priority to PCT/CN2014/075717 priority patent/WO2014194722A1/zh
Publication of CN104219532A publication Critical patent/CN104219532A/zh
Priority to US14/959,341 priority patent/US9781382B2/en
Application granted granted Critical
Publication of CN104219532B publication Critical patent/CN104219532B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/567—Motion estimation based on rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Television Systems (AREA)

Abstract

本发明实施例涉及视频处理技术领域，特别涉及一种确定视频帧中小物体区域的方法和装置，用以较为准确地在视频帧中确定其中包括的小物体区域。本发明实施例提供的确定视频帧中小物体区域的方法，包括：将当前视频帧划分为至少两个区域，确定每个区域对应的全局运动矢量；确定包括当前视频帧和当前视频帧的参考帧的多帧视频帧中任意一组相邻帧的帧间运动矢量；根据所述任意一组相邻帧的帧间运动矢量，以及确定的每个区域对应的全局运动矢量，确定当前视频帧中的小物体候选区域；对当前视频帧中的小物体候选区域进行滤波，将滤波后得到的区域确定为当前视频帧中的小物体区域。本发明实施例实现了较为准确地在视频帧中确定其中包括的小物体区域。

Description

确定小物体区域的方法、视频帧之间插补帧的方法和装置
技术领域
本发明涉及视频处理技术领域，特别涉及一种确定视频帧中小物体区域的方法和装置、以及一种在两相邻视频帧之间插补帧的方法和装置。
背景技术
在视频技术应用中，为了保证流畅地播放高清视频或超高清视频，终端播放视频帧的帧率需要达到至少120Hz（赫兹），而由于传输带宽的限制，视频编码传输的帧率只能达到25Hz或30Hz，因而需要播放高清视频或超高清视频的终端在接收到的视频编码原始帧之间插补新的视频帧以实现帧率转换。
目前需要播放高清视频或超高清视频的终端一般先对接收到的原始帧作运动估计（即对原始帧包括的各个块作运动估计），然后根据运动估计得到的相邻两帧之间的双向运动矢量，生成插补在该相邻两帧之间的新视频帧（即插补帧），为了使得插补帧具有良好的连续性，需要对该根据运动估计得到的相邻两帧之间的双向运动矢量作平滑滤波，并根据平滑滤波后的该相邻两帧之间的双向运动矢量，生成插补帧。
在原始帧包括小物体区域时，在对该原始帧进行运动估计后得到的运动矢量作平滑滤波时，可能会使得该原始帧中的小物体区域对应的运动矢量由该原始帧的背景运动矢量所替代，而目前还没有一种能够确定视频帧中的小物体区域的方法，而且在该原始帧中的小物体区域对应的运动矢量被该原始帧的背景运动矢量所替代时，根据该原始帧对应的运动矢量生成的插补帧中会由于缺失小物体区域的像素，从而影响高清视频或超高清视频的播放质量。其中，原始帧中满足下列特征中的一种特征的区域称之为小物体区域：占据原始帧背景的比例值小于特定值的物体区域，或与原始帧背景运动方向不一致且占据原始帧背景的比例值小于特定值的物体区域，或亮度值接近原始帧背景的亮度值且占据原始帧背景的比例值小于特定值的物体区域，或与原始帧背景运动方向不一致且亮度值接近原始帧背景的亮度值且占据原始帧背景的比例值小于特定值的物体区域。
综上所述，目前在原始帧包括小物体区域时，还没有一种能够确定视频帧中的小物体区域的方法，而且在对该原始帧进行运动估计后得到的运动矢量作平滑滤波时，可能会使得该原始帧中的小物体区域对应的运动矢量被该原始帧的背景运动矢量所替代，造成生成的插补帧中由于小物体像素的缺失，从而影响高清视频或超高清视频的播放质量。
发明内容
本发明实施例提供一种确定视频帧中小物体区域的方法和装置，以较为准确地在视频帧中确定其中包括的小物体区域。
本发明实施例还提供一种在两相邻视频帧之间插补帧的方法和装置，以实现避免生成的插补帧中由于小物体像素的缺失，导致高清视频或超高清视频的播放质量不高的问题。
第一方面，提供一种确定视频帧中小物体区域的方法，包括：
将当前视频帧划分为至少两个区域，并确定每个区域对应的全局运动矢量；
确定包括所述当前视频帧和所述当前视频帧的参考帧的多帧视频帧中任意一组相邻帧的帧间运动矢量；
根据所确定的包括所述当前视频帧和所述当前视频帧的参考帧的多帧视频帧中任意一组相邻帧的帧间运动矢量，以及确定的所述每个区域对应的全局运动矢量，确定所述当前视频帧中的小物体候选区域；
对所述当前视频帧中的小物体候选区域进行滤波，并将滤波后得到的区域确定为当前视频帧中的小物体区域；
其中，当前视频帧的参考帧包括当前视频帧的前连续视频帧和当前视频帧的后连续视频帧中的一种或多种。
结合第一方面，在第一种可能的实现方式中，所述确定包括所述当前视频帧和所述当前视频帧的参考帧的多帧视频帧中任意一组相邻帧的帧间运动矢量之前，还包括：
针对包括所述当前视频帧和所述当前视频帧的参考帧的多帧视频帧中任意一组相邻帧中的每帧视频帧包括的待处理图像块，分别执行：
在当前视频帧的前N帧视频帧中选择至少一帧视频帧；
根据所述当前视频帧的前N帧视频帧中确定的小物体区域，确定所述待处理图像块在所选择的所述至少一帧视频帧中对应的参考图像块是否均为小物体区域包括的图像块；
若是，则确定所述待处理图像块为第一类待处理图像块，否则，确定所述待处理图像块为第二类待处理图像块；
所述确定包括所述当前视频帧和所述当前视频帧的参考帧的多帧视频帧中任意一组相邻帧的帧间运动矢量，包括：
分别确定每个第一类待处理图像块和每个第二类待处理图像块的帧间运动矢量；
将确定的所述任意一组相邻帧中的每帧视频帧分别包括的每个第一类待处理图像块和每个第二类待处理图像块的帧间运动矢量，作为所述任意一组相邻帧的帧间运动矢量。
结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，确定所述每个第一类待处理图像块的帧间运动矢量，包括：
分别确定所述第一类待处理图像块对应的每个候选运动矢量与所述第一类待处理图像块所在的视频帧的背景运动矢量的相差度值；
根据确定的各个候选运动矢量分别对应的相差度值，按照相差度值由小到大的顺序赋予权值由大到小的规则，为每个候选运动矢量分别赋予对应的权值；
根据为每个候选运动矢量分别赋予的权值和每个候选运动矢量指向的图像块与所述第一类待处理图像块的像素的SAD值，确定所述第一类待处理图像块的帧间运动矢量。
结合第一方面的第一种可能的实现方式或者第一方面的第二种可能的实现方式，在第三种可能的实现方式中，在当前视频帧的前N帧视频帧中选择至少一帧视频帧，包括：
选择当前视频帧的至少一帧前连续视频帧。
结合第一方面的第二种可能的实现方式或者第一方面的第三种可能的实现方式，在第四种可能的实现方式中，确定所述第一类待处理图像块的帧间运动矢量，包括：
针对每个候选运动矢量，确定所述候选运动矢量被赋予的权值和所述候选运动矢量指向的图像块与所述第一类待处理图像块的像素的SAD值的乘积，将乘积值最小的候选运动矢量作为所述第一类待处理图像块的帧间运动矢量。
结合第一方面的第一至四种中的任一种可能的实现方式，在第五种可能的实现方式中，确定所述当前视频帧中的小物体候选区域，包括：
根据包括所述当前视频帧和所述当前视频帧的参考帧的多帧视频帧中任意一组相邻帧的帧间运动矢量，在所述当前视频帧的每个参考帧中确定所述当前视频帧包括的每个图像块对应的匹配块；并
在每个参考帧中确定匹配块附近的附近块，并确定每个参考帧中确定的每个附近块的帧间运动矢量；
针对所述当前视频帧包含的每一图像块，确定针对所述图像块确定的各个附近块的帧间运动矢量与所述图像块的帧间运动矢量的相似度值，并确定每个附近块的帧间运动矢量与全局运动矢量的相差度值；
根据确定的相似度值和相差度值，确定当前视频帧中的小物体候选区域包括的图像块，其中，小物体候选区域包括的每个图像块满足当前视频帧对应的每个参考帧中包含的针对所述图像块确定的多个附近块中存在第一设定个数的附近块的相似度值均不小于第一阈值、且存在第二设定个数的附近块的相差度值均不小于第二阈值。
结合第一方面的第一至五种中的任一种可能的实现方式，在第六种可能的实现方式中，对当前视频帧中的小物体候选区域进行滤波之前，还包括：
将小物体候选区域包括的每个图像块标志特定标记；
对当前视频帧中的小物体候选区域进行滤波，将滤波后得到的区域确定为当前视频帧中的小物体区域，包括：
针对所述当前视频帧中小物体候选区域包括的每个图像块，确定在所述图像块水平方向上的第一设定范围内标志有所述特定标记的图像块的第一个数值、和在所述图像块垂直方向上的第二设定范围内标志有所述特定标记的图像块的第二个数值；
在确定的所述第一个数值或第二个数值大于第三阈值时，去除所述图像块的特定标记；以及
确定在所述图像块周围的第三设定范围内标志有所述特定标记的图像块的第三个数值；
在确定的所述第三个数值小于第四阈值时，去除所述图像块的特定标记；
将当前视频帧中标志有特定标记的图像块确定为当前视频帧中的小物体区域；
其中第三设定范围小于第一设定范围和第二设定范围，第四阈值小于第三阈值。
第二方面，提供一种基于上述确定视频帧中小物体区域的方法的在两相邻视频帧之间插补帧的方法，包括：
确定前、后两相邻视频帧中的在前视频帧中的小物体区域和在后视频帧中的小物体区域；
对所述在前视频帧中的小物体区域和所述在后视频帧中的小物体区域以外的区域对应的帧间运动矢量进行平滑滤波；
根据所述在前视频帧中的小物体区域和所述在后视频帧中的小物体区域对应的帧间运动矢量，以及平滑滤波后得到的帧间运动矢量，在前、后两相邻视频帧之间插补帧。
第三方面，提供一种基于上述确定视频帧中小物体区域的方法的在两相邻视频帧之间插补帧的方法，包括：
根据前、后两相邻视频帧的前N帧视频帧中的小物体区域包括的待处理图像块，将所述前、后两相邻视频帧中的每帧视频帧分别包括的待处理图像块分为第一类待处理图像块和第二类待处理图像块；
分别确定每个第一类待处理图像块和每个第二类待处理图像块的帧间运动矢量，以及将确定的所述前、后两相邻视频帧中的每帧视频帧分别包括的每个第一类待处理图像块和每个第二类待处理图像块的帧间运动矢量，作为所述前、后两相邻视频帧的帧间运动矢量；
根据得到的所述前、后两相邻视频帧的帧间运动矢量，在所述前、后两相邻视频帧之间插补帧，其中，N为正整数。
结合第三方面，在第一种可能的实现方式中，根据前、后两相邻视频帧的前N帧视频帧中的小物体区域包括的待处理图像块，将所述前、后两相邻视频帧中的每帧视频帧分别包括的待处理图像块分为第一类待处理图像块和第二类待处理图像块，包括：
针对所述前、后两相邻视频帧中的每帧视频帧分别包括的待处理图像块，执行：
在所述所述前、后两相邻视频帧的前N帧视频帧中选择至少一帧视频帧；
根据所述前、后两相邻视频帧的前N帧视频帧中的小物体区域，确定待处理图像块在选择的所述至少一帧视频帧中对应的参考图像块是否均为小物体区域包括的图像块；
若是，则确定所述待处理图像块为第一类待处理图像块，否则，确定所述待处理图像块为第二类待处理图像块。
结合第三方面的第一种可能的实现方式，在第二种可能的实现方式中，分别确定每个第一类待处理图像块的帧间运动矢量，包括：
分别确定所述第一类待处理图像块对应的每个候选运动矢量与所述第一类待处理图像块所在的视频帧的背景运动矢量的相差度值；
根据确定的各个候选运动矢量分别对应的相差度值，按照相差度值由小到大的顺序赋予权值由大到小的规则，为每个候选运动矢量分别赋予对应的权值；
根据为每个候选运动矢量分别赋予的权值和每个候选运动矢量指向的图像块与所述第一类待处理图像块的像素的SAD值，确定所述第一类待处理图像块的帧间运动矢量。
结合第三方面的第一种可能的实现方式或者第三方面的第二种可能的实现方式，在第三种可能的实现方式中，在所述前N帧视频帧中选择至少一帧视频帧，包括：
选择所述前、后两相邻视频帧的至少一帧前连续视频帧。
结合第三方面的第二种可能的实现方式或者第三种可能的实现方式，在第四种可能的实现方式中，确定所述第一类待处理图像块的帧间运动矢量，包括：
针对每个候选运动矢量，确定所述候选运动矢量被赋予的权值和所述候选运动矢量指向的图像块与所述第一类待处理图像块的像素的SAD值的乘积，将乘积值最小的候选运动矢量作为所述第一类待处理图像块的帧间运动矢量。
第四方面，提供一种确定视频帧中小物体区域的装置，包括：
全局运动矢量确定单元，用于将当前视频帧划分为至少两个区域，确定每个区域对应的全局运动矢量，并将确定的所述全局运动矢量传输至区域确定单元；
帧间运动矢量确定单元，用于确定包括所述当前视频帧和所述当前视频帧的参考帧的多帧视频帧中任意一组相邻帧的帧间运动矢量，并将确定的所述帧间运动矢量传输至区域确定单元；
区域确定单元，用于根据来自所述帧间运动矢量确定单元的包括所述当前视频帧和所述当前视频帧的参考帧的多帧视频帧中任意一组相邻帧的帧间运动矢量，以及来自所述全局运动矢量确定单元的每个区域对应的全局运动矢量，确定所述当前视频帧中的小物体候选区域，并将确定的所述当前视频帧中的小物体候选区域信息传输至处理单元；
处理单元，用于根据来自所述区域确定单元的所述当前视频帧中的小物体候选区域信息，确定所述当前视频帧中的小物体候选区域，对所述当前视频帧中的小物体候选区域进行滤波，并将滤波后得到的区域确定为当前视频帧中的小物体区域；
其中，当前视频帧的参考帧包括当前视频帧的前连续视频帧和当前视频帧的后连续视频帧中的一种或多种。
结合第四方面，在第一种可能的实现方式中，所述装置还包括划分单元，用于在确定包括当前视频帧和当前视频帧的参考帧的多帧视频帧中任意一组相邻帧的帧间运动矢量之前，针对包括当前视频帧和当前视频帧的参考帧的多帧视频帧中任意一组相邻帧中的每帧视频帧包括的待处理图像块，分别执行：
在当前视频帧的前N帧视频帧中选择至少一帧视频帧；根据所述当前视频帧的前N帧视频帧中确定的小物体区域，确定所述待处理图像块在所选择的所述至少一帧视频帧中对应的参考图像块是否均为小物体区域包括的图像块；若是，则确定所述待处理图像块为第一类待处理图像块，否则，确定所述待处理图像块为第二类待处理图像块；
所述帧间运动矢量确定单元，具体用于分别确定每个第一类待处理图像块和每个第二类待处理图像块的帧间运动矢量；并将确定的所述任意一组相邻帧中的每帧视频帧分别包括的每个第一类待处理图像块和每个第二类待处理图像块的帧间运动矢量，作为所述任意一组相邻帧的帧间运动矢量。
结合第四方面的第一种可能的实现方式，在第二种可能的实现方式中，所述帧间运动矢量确定单元，具体用于分别确定所述第一类待处理图像块对应的每个候选运动矢量与所述第一类待处理图像块所在的视频帧的背景运动矢量的相差度值；根据确定的各个候选运动矢量分别对应的相差度值，按照相差度值由小到大的顺序赋予权值由大到小的规则，为每个候选运动矢量分别赋予对应的权值；以及根据为每个候选运动矢量分别赋予的权值和每个候选运动矢量指向的图像块与所述第一类待处理图像块的像素的SAD值，确定所述第一类待处理图像块的帧间运动矢量。
结合第四方面的第一种可能的实现方式或者第二种可能的实现方式，在第三种可能的实现方式中，所述划分单元，具体用于选择当前视频帧的至少一帧前连续视频帧。
结合第四方面的第二种可能的实现方式或者第三种可能的实现方式，在第四种可能的实现方式中，所述帧间运动矢量确定单元，具体用于针对每个候选运动矢量，确定所述候选运动矢量被赋予的权值和所述候选运动矢量指向的图像块与所述第一类待处理图像块的像素的SAD值的乘积，将乘积值最小的候选运动矢量作为所述第一类待处理图像块的帧间运动矢量。
结合第四方面的第一至四种中任一种可能的实现方式，在第五种可能的实现方式中，所述区域确定单元，具体用于根据包括所述当前视频帧和所述当前视频帧的参考帧的多帧视频帧中任意一组相邻帧的帧间运动矢量，在所述当前视频帧的每个参考帧中确定所述当前视频帧包括的每个图像块对应的匹配块；并在每个参考帧中确定匹配块附近的附近块，并确定每个参考帧中确定的每个附近块的帧间运动矢量；针对所述当前视频帧包含的每一图像块，确定针对所述图像块确定的各个附近块的帧间运动矢量与所述图像块的帧间运动矢量的相似度值，确定每个附近块的帧间运动矢量与全局运动矢量的相差度值；根据确定的相似度值和相差度值，确定当前视频帧中的小物体候选区域包括的图像块，其中，小物体候选区域包括的每个图像块满足当前视频帧对应的每个参考帧中包含的针对所述图像块确定的多个附近块中存在第一设定个数的附近块的相似度值均不小于第一阈值、且存在第二设定个数的附近块的相差度值均不小于第二阈值。
结合第四方面的第一至五种中任一种可能的实现方式，在第六种可能的实现方式中，所述装置还包括标志单元，用于在对当前视频帧中的小物体候选区域进行滤波之前，将小物体候选区域包括的每个图像块标志特定标记；
所述处理单元，具体用于针对所述当前视频帧中小物体候选区域包括的每个图像块，确定在所述图像块水平方向上的第一设定范围内标志有所述特定标记的图像块的第一个数值、和在所述图像块垂直方向上的第二设定范围内标志有所述特定标记的图像块的第二个数值；在确定的所述第一个数值或第二个数值大于第三阈值时，去除所述图像块的特定标记；以及确定在所述图像块周围的第三设定范围内标志有所述特定标记的图像块的第三个数值；在确定的所述第三个数值小于第四阈值时，去除所述图像块的特定标记；将当前视频帧中标志有特定标记的图像块确定为当前视频帧中的小物体区域，其中第三设定范围小于第一设定范围和第二设定范围，第四阈值小于第三阈值。
第五方面，提供一种在两相邻视频帧之间插补帧的装置，包括：
确定单元，用于确定前、后两相邻视频帧中的在前视频帧中的小物体区域和在后视频帧中的小物体区域，并将确定的所述在前视频帧中的小物体区域和在后视频帧中的小物体区域的信息传输至滤波单元；
滤波单元，用于根据来自所述确定单元的所述在前视频帧中的小物体区域和在后视频帧中的小物体区域的信息，确定所述在前视频帧中的小物体区域和在后视频帧中的小物体区域，对所述在前视频帧中的小物体区域和所述在后视频帧中的小物体区域以外的区域对应的帧间运动矢量进行平滑滤波，并将平滑滤波后得到的帧间运动矢量传输至插补单元；
插补单元，用于根据来自所述滤波单元的所述平滑滤波后得到的帧间运动矢量，以及所述在前视频帧中的小物体区域和所述在后视频帧中的小物体区域对应的帧间运动矢量，在所述前、后两相邻视频帧之间插补帧。
第六方面，提供一种在两相邻视频帧之间插补帧的装置，包括：
划分单元，用于根据前、后两相邻视频帧的前N帧视频帧中的小物体区域包括的待处理图像块，将所述前、后两相邻视频帧中的每帧视频帧分别包括的待处理图像块分为第一类待处理图像块和第二类待处理图像块，并将所述第一类待处理图像块和第二类待处理图像块对应的划分信息传输至处理单元；
处理单元，用于根据来自所述划分单元的所述划分信息，确定所述前、后两相邻视频帧中的每帧视频帧分别包括的待处理图像块中的第一类待处理图像块和第二类待处理图像块，分别确定每个第一类待处理图像块和每个第二类待处理图像块的帧间运动矢量，以及将确定的所述前、后两相邻视频帧中的每帧视频帧分别包括的每个第一类待处理图像块和每个第二类待处理图像块的帧间运动矢量，作为所述前、后两相邻视频帧的帧间运动矢量，并将所述前、后两相邻视频帧的帧间运动矢量传输至插补单元；
插补单元，用于根据来自所述处理单元的所述前、后两相邻视频帧的帧间运动矢量，在所述前、后两相邻视频帧之间插补帧，其中，N为正整数。
结合第六方面，在第一种可能的实现方式中，所述划分单元，具体用于针对所述前、后两相邻视频帧中的每帧视频帧分别包括的待处理图像块，执行：
在所述前、后两相邻视频帧的前N帧视频帧中选择至少一帧视频帧；根据所述前、后两相邻视频帧的前N帧视频帧中的小物体区域，确定待处理图像块在选择的所述至少一帧视频帧中对应的参考图像块是否均为小物体区域包括的图像块；若是，则确定所述待处理图像块为第一类待处理图像块，否则，确定所述待处理图像块为第二类待处理图像块。
结合第六方面的第一种可能的实现方式，在第二种可能的实现方式中，所述处理单元，具体用于分别确定所述第一类待处理图像块对应的每个候选运动矢量与所述第一类待处理图像块所在的视频帧的背景运动矢量的相差度值；根据确定的各个候选运动矢量分别对应的相差度值，按照相差度值由小到大的顺序赋予权值由大到小的规则，为每个候选运动矢量分别赋予对应的权值；根据为每个候选运动矢量分别赋予的权值和每个候选运动矢量指向的图像块与所述第一类待处理图像块的像素的SAD值，确定所述第一类待处理图像块的帧间运动矢量。
结合第六方面的第一种可能的实现方式或者第二种可能的实现方式，在第三种可能的实现方式中，所述划分单元，具体用于选择所述前、后两相邻视频帧的至少一帧前连续视频帧。
结合第六方面的第二种可能的实现方式或者第三种可能的实现方式，在第四种可能的实现方式中，所述处理单元，具体用于针对每个候选运动矢量，确定所述候选运动矢量被赋予的权值和所述候选运动矢量指向的图像块与所述第一类待处理图像块的像素的SAD值的乘积，将乘积值最小的候选运动矢量作为所述第一类待处理图像块的帧间运动矢量。根据第一方面提供的确定视频帧中小物体区域的方法和第四方面提供的确定视频帧中小物体区域的装置，由于根据视频帧的帧间运动矢量和全局运动矢量，确定视频帧中的小物体候选区域，并对视频帧中的小物体候选区域进行滤波，得到视频帧中的小物体区域，从而实现了能够较为准确地在视频帧中确定其中包括的小物体区域。
根据第二方面提供的在两相邻视频帧之间插补帧的方法和第五方面提供的在两相邻视频帧之间插补帧的装置，由于只对两相邻视频帧中的每帧视频帧中的小物体区域以外的区域对应的帧间运动矢量进行平滑滤波，而且根据两相邻视频帧中的每帧视频帧中的小物体区域的帧间运动矢量和平滑滤波后得到的帧间运动矢量，在前、后两相邻视频帧之间插补帧，从而避免现有技术中由于对两相邻视频帧的帧间运动矢量进行整体滤波而造成的前、后两相邻视频帧中的小物体区域的帧间运动矢量被该帧的背景运动矢量所替代的问题，从而提高了高清视频或超高清视频的播放质量。
根据第三方面提供的在两相邻视频帧之间插补帧的方法和第六方面提供的在两相邻视频帧之间插补帧的装置，由于不对前、后两相邻视频帧的帧间运动矢量作平滑滤波，而是直接根据得到的两相邻视频帧的帧间运动矢量，在两相邻视频帧之间插补帧，从而实现了避免生成的插补帧中小物体像素的缺失，提高了高清视频或超高清视频的播放质量。
附图说明
图1为本发明实施例确定视频帧中小物体区域的方法流程示意图；
图2为本发明实施例的帧间运动矢量示意图；
图3为本发明实施例的参考帧示意图；
图4为本发明实施例的物体滤波示意图；
图5为本发明实施例的噪点滤波示意图；
图6为本发明实施例确定视频帧中小物体区域的详细方法流程示意图；
图7为本发明实施例在两相邻视频帧之间插补帧的方法流程示意图；
图8为本发明实施例在两相邻视频帧之间插补帧的方法流程示意图；
图9为本发明实施例在fn和fn+1之间插补帧的方法流程示意图；
图10为本发明实施例在fn和fn+1之间插补帧的方法流程示意图；
图11为本发明实施例在fn和fn+1之间插补帧的方法流程示意图；
图12为本发明实施例确定视频帧中小物体区域的装置结构示意图；
图13为本发明实施例在两相邻视频帧之间插补帧的装置结构示意图；
图14为本发明实施例在两相邻视频帧之间插补帧的装置结构示意图；
图15为本发明实施例确定视频帧中小物体区域的装置结构示意图；
图16为本发明实施例在两相邻视频帧之间插补帧的装置结构示意图；
图17为本发明实施例在两相邻视频帧之间插补帧的装置结构示意图。
具体实施方式
本发明实施例中，将当前视频帧划分为至少两个区域，并确定每个区域对应的全局运动矢量；确定包括所述当前视频帧和所述当前视频帧的参考帧的多帧视频帧中任意一组相邻帧的帧间运动矢量；根据所确定的包括当前视频帧和当前视频帧的参考帧的多帧视频帧中任意一组相邻帧的帧间运动矢量，以及确定的每个区域对应的全局运动矢量，确定当前视频帧中的小物体候选区域；对当前视频帧中的小物体候选区域进行滤波，并将滤波后得到的区域确定为当前视频帧中的小物体区域；其中，当前视频帧的参考帧包括当前视频帧的前连续视频帧和当前视频帧的后连续视频帧中的一种或多种，由于根据视频帧的帧间运动矢量和全局运动矢量，确定视频帧中的小物体候选区域，并对视频帧中的小物体候选区域进行滤波，得到视频帧中的小物体区域，从而实现了能够较为准确地在视频帧中确定其中包括的小物体区域。
本发明实施例中，确定前、后两相邻视频帧中的在前视频帧中的小物体区域和在后视频帧中的小物体区域；对在前视频帧中的小物体区域和在后视频帧中的小物体区域以外的区域对应的帧间运动矢量进行平滑滤波；根据在前视频帧中的小物体区域和在后视频帧中的小物体区域对应的帧间运动矢量，以及平滑滤波后得到的帧间运动矢量，在所述前、后两相邻视频帧之间插补帧，由于只对两相邻视频帧中的每帧视频帧中的小物体区域以外的区域对应的帧间运动矢量进行平滑滤波，从而避免前、后两相邻视频帧中某视频帧的小物体区域的帧间运动矢量被该帧的背景运动矢量所替代的问题，从而提高了高清视频或超高清视频的播放质量。
本发明实施例中，根据前、后两相邻视频帧的前N帧视频帧中的小物体区域包括的待处理图像块，将所述前、后两相邻视频帧中的每帧视频帧分别包括的待处理图像块分为第一类待处理图像块和第二类待处理图像块；分别确定每个第一类待处理图像块和每个第二类待处理图像块的帧间运动矢量，以及将确定的所述前、后两相邻视频帧中的每帧视频帧分别包括的每个第一类待处理图像块和每个第二类待处理图像块的帧间运动矢量，作为所述前、后两相邻视频帧的帧间运动矢量；根据得到的所述前、后两相邻视频帧的帧间运动矢量，在所述前、后两相邻视频帧之间插补帧，由于不对前、后两相邻视频帧的帧间运动矢量作平滑滤波，直接根据得到的两相邻视频帧的帧间运动矢量，在两相邻视频帧之间插补帧，从而实现了避免生成的插补帧中小物体像素的缺失，提高了高清视频或超高清视频的播放质量。
需要说明的是，本发明实施例中插补帧以外的视频帧为接收到的原始帧。
下面将结合说明书附图对本发明实施例作进一步详细描述。
需要说明的是，本发明实施例的执行主体可以为能够播放视频的所有装置或系统。
如图1所示，本发明实施例确定视频帧中小物体区域的方法包括下列步骤：
步骤101、将当前视频帧划分为至少两个区域，并确定每个区域对应的全局运动矢量；
步骤102、确定包括当前视频帧和当前视频帧的参考帧的多帧视频帧中任意一组相邻帧的帧间运动矢量；
步骤103、根据所确定的包括当前视频帧和当前视频帧的参考帧的多帧视频帧中任意一组相邻帧的帧间运动矢量，以及确定的每个区域对应的全局运动矢量，确定当前视频帧中的小物体候选区域；
步骤104、对当前视频帧中的小物体候选区域进行滤波，并将滤波后得到的区域确定为当前视频帧中的小物体区域；
其中，当前视频帧的参考帧包括当前视频帧的前连续视频帧和当前视频帧的后连续视频帧中的一种或多种。
较佳地，在步骤101中，具体将当前视频帧划分为多少个区域可以根据需要或经验设定，比如，根据经验将当前视频帧划分为四个区域。
具体实施中，可以采用现有技术中任一种确定全局运动矢量的方法，确定本发明实施例中的每个区域对应的全局运动矢量。
实施中，在视频帧中的背景占据视频帧的比例值较大、且视频帧被划分的区域的个数较少时，视频帧的每个区域对应的全局运动矢量与该区域对应的背景运动矢量近似相等，可以用视频帧的每个区域对应的全局运动矢量表征视频帧的该区域对应的背景运动矢量。
较佳地，在步骤102中，当前视频帧的参考帧的个数可以根据需要或经验设定。
比如，如图2所示，接收到的原始帧包括视频帧fn-2、视频帧fn-1、视频帧fn、视频帧fn+1、视频帧fn+2和视频帧fn+3，假设当前视频帧为fn；
可以将fn-1、fn+1和fn+2设定为fn的参考帧；可以将fn+1设定为fn的参考帧；也可以将fn-1设定为fn的参考帧。
具体实施中，在步骤102中，针对包括当前视频帧和当前视频帧的参考帧的多帧视频帧，在确定当前视频帧的前一帧视频帧中的小物体区域时，已经确定该多帧视频帧中的部分视频帧中任意一组相邻帧的帧间运动矢量。
比如，如图2所示，接收到的原始帧包括视频帧fn-2、视频帧fn-1、视频帧fn、视频帧fn+1、视频帧fn+2和视频帧fn+3，假设当前视频帧为fn；
在确定fn-1中的小物体区域时，fn-1的参考帧为fn-2、fn和fn+1，则需要确定fn-1和fn的帧间运动矢量、fn和fn+1的帧间运动矢量；
在确定fn中的小物体区域时，fn的参考帧为fn-1、fn+1和fn+2，则需要确定fn-1和fn的帧间运动矢量、fn和fn+1的帧间运动矢量、fn+1和fn+2的帧间运动矢量，而fn-1和fn的帧间运动矢量、fn和fn+1的帧间运动矢量为已经确定的帧间运动矢量。
具体实施中，在步骤102中，包括当前视频帧和当前视频帧的参考帧的多帧视频帧中的某一组相邻帧的帧间运动矢量为已知（即，为已经确定的帧间运动矢量）的情况下，可以将已知的帧间运动矢量作为在确定当前视频帧中的小物体区域时需要确定的该一组相邻帧的帧间运动矢量。
比如，如图2所示，接收到的原始帧包括视频帧fn-2、视频帧fn-1、视频帧fn、视频帧fn+1、视频帧fn+2和视频帧fn+3，假设当前视频帧为fn；
在确定fn-1中的小物体区域时，fn-1的参考帧为fn-2、fn和fn+1，则确定fn-1和fn的帧间运动矢量、fn和fn+1的帧间运动矢量；
在确定fn中的小物体区域时，fn的参考帧为fn-1、fn+1和fn+2，而fn-1和fn的帧间运动矢量、fn和fn+1的帧间运动矢量已知，可以将在确定fn-1中的小物体区域时确定的fn-1和fn的帧间运动矢量，作为在确定fn中的小物体区域时需要确定的fn-1和fn的帧间运动矢量，将在确定fn-1中的小物体区域时确定的fn和fn+1的帧间运动矢量，作为在确定fn中的小物体区域时需要确定的fn和fn+1的帧间运动矢量。
实施中，在包括当前视频帧和当前视频帧的参考帧的多帧视频帧中的某一组相邻帧的帧间运动矢量为已知的情况下，将已知的帧间运动矢量作为在确定当前视频帧中的小物体区域时需要确定的该一组相邻帧的帧间运动矢量，可以降低确定当前视频帧中的小物体区域的复杂度。
较佳地，在步骤102中，确定包括当前视频帧和当前视频帧的参考帧的多帧视频帧中任意一组相邻帧的帧间运动矢量，包括：
对包括当前视频帧和当前视频帧的参考帧的多帧视频帧进行运动估计，确定包括当前视频帧和当前视频帧的参考帧的多帧视频帧中任意一组相邻帧的帧间运动矢量。
具体实施中，可以采用现有技术中任一种对视频帧进行运动估计的方法对本发明实施例中的视频帧进行运动估计。
实施中，对已知的帧间运动矢量对应的视频帧进行运动估计，得到的新的该视频帧的帧间运动矢量准确度较高。
具体实施中，包括当前视频帧和当前视频帧的参考帧的多帧视频帧中任意一组相邻帧的帧间运动矢量为所述任意一组相邻帧中的每帧视频帧分别包括的待处理图像块的帧间运动矢量，其中，对包括当前视频帧和当前视频帧的参考帧的多帧视频帧进行运动估计为对所述多帧视频帧中任意一组相邻帧中的每帧视频帧分别包括的待处理图像块进行运动估计。具体实施中，可以根据确定的当前视频帧的之前的视频帧中的小物体区域，将包括当前视频帧和当前视频帧的参考帧的多帧视频帧中任意一组相邻帧中的每帧视频帧包括的待处理图像块进行分类，并针对不同类待处理图像块，采用不同方法对该待处理图像块进行运动估计，以确定该待处理图像块的帧间运动矢量。
较佳地，确定包括当前视频帧和当前视频帧的参考帧的多帧视频帧中任意一组相邻帧的帧间运动矢量之前，还包括：
针对包括当前视频帧和当前视频帧的参考帧的多帧视频帧中任意一组相邻帧中的每帧视频帧包括的待处理图像块，分别执行：
在当前视频帧的前N帧视频帧中选择至少一帧视频帧，其中N为正整数；
根据当前视频帧的前N帧视频帧中确定的小物体区域，确定所述待处理图像块在所选择的至少一帧视频帧中对应的参考图像块是否均为小物体区域包括的图像块；
若是，则确定所述待处理图像块为第一类待处理图像块，否则，确定所述待处理图像块为第二类待处理图像块；
较佳地，在步骤102中，确定包括当前视频帧和当前视频帧的参考帧的多帧视频帧中任意一组相邻帧的帧间运动矢量，包括：
分别确定每个第一类待处理图像块和每个第二类待处理图像块的帧间运动矢量；
将确定的所述任意一组相邻帧中的每帧视频帧分别包括的每个第一类待处理图像块和每个第二类待处理图像块的帧间运动矢量，作为所述任意一组相邻帧的帧间运动矢量。
具体实施中，可以根据需要或者经验，在当前视频帧的前N帧视频帧中选择至少一帧视频帧。
比如，如图2所示，当前视频帧为fn，可以根据需要将fn-3和fn-1作为选择的视频帧，也可以根据经验将fn-1作为选择的视频帧。
较佳地，在当前视频帧的前N帧视频帧中选择至少一帧视频帧，包括：
选择当前视频帧的至少一帧前连续视频帧。
较佳地，确定待处理图像块在选择的视频帧中对应的参考图像块，包括：
确定待处理图像块在包括该待处理图像块的视频帧中的位置；
将选择的视频帧中对应位置的图像块，作为待处理图像块在选择的视频帧中对应的参考图像块。
实施中，通过根据当前视频帧的前N帧视频帧中确定的小物体区域，对所述多帧视频帧中任意一组相邻帧中的每帧视频帧包括的待处理图像块进行分类，并针对不同类待处理图像块，采用不同方法对该待处理图像块进行运动估计，以确定该待处理图像块的帧间运动矢量，降低了对当前视频帧和当前视频帧的参考帧进行运动估计的难度，并且提高了根据运动估计得到的帧间运动矢量的精度。
具体实施中，N可以根据需要或经验设定，比如，设定为1或2。
较佳地，确定所述每个第一类待处理图像块的帧间运动矢量，包括：步骤A1、分别确定所述第一类待处理图像块对应的每个候选运动矢量与所述第一类待处理图像块所在的视频帧的背景运动矢量的相差度值；
步骤A2、根据确定的各个候选运动矢量分别对应的相差度值，按照相差度值由小到大的顺序赋予权值由大到小的规则，为每个候选运动矢量分别赋予对应的权值；
步骤A3、根据为每个候选运动矢量分别赋予的权值和每个候选运动矢量指向的图像块与所述第一类待处理图像块的像素的SAD（Sum of Absolute Differences，差的绝对值的和）值，确定所述第一类待处理图像块的帧间运动矢量。
需要说明的是，任意一组相邻帧中的每帧视频帧分别包括的待处理图像块的帧间运动矢量具有一定的方向性，即，任意一组相邻帧中的在前视频帧分别包括的待处理图像块的帧间运动矢量为所述任意一组相邻帧之间的前向运动矢量，任意一组相邻帧中的在后视频帧分别包括的待处理图像块的帧间运动矢量为所述任意一组相邻帧之间的后向运动矢量。
比如，如图2所示，一组相邻帧为fn-1和fn，fn-1和fn的帧间运动矢量为fn-1分别包括的待处理图像块的帧间运动矢量和fn分别包括的待处理图像块的帧间运动矢量，fn-1分别包括的待处理图像块的帧间运动矢量为fn-1和fn之间的前向运动矢量，fn分别包括的待处理图像块的帧间运动矢量为fn-1和fn之间的后向运动矢量。
较佳地，在步骤A1中，确定所述第一类待处理图像块对应的每个候选运动矢量与现有技术中确定待处理图像块对应的每个候选运动矢量的实施方式类似，比如，确定待处理图像块对应的时域候选运动矢量或空域候选运动矢量。
较佳地，在步骤A1中，所述第一类待处理图像块对应的每个候选运动矢量与所述第一类待处理图像块所在的视频帧的背景运动矢量的相差度值为用于表征所述每个候选运动矢量与所述背景运动矢量相差程度的值。
具体实施中，任何能够表征所述每个候选运动矢量与所述背景运动矢量相差程度的相差度值均适用于本发明，比如，每个候选运动矢量与背景运动矢量的差的绝对值，每个候选运动矢量的绝对值与背景运动矢量的绝对值的差值，每个候选运动矢量与背景运动矢量在不同维度上（比如，X维度和Y维度）的差值的和值，或每个候选运动矢量与背景运动矢量在不同维度上的差值的平方和的根号值等。
具体实施中，确定视频帧的背景运动矢量的实施方式与现有技术中确定视频帧的背景运动矢量的实施方式类似，在此不再赘述。
较佳地，在步骤A3中，确定每个候选运动矢量指向的图像块与所述第一类待处理图像块的各个像素的SAD值的实施方式与现有技术中确定候选运动矢量指向的图像块与待处理图像块的各个像素的SAD值的实施方式类似。
比如，针对一个候选运动矢量，确定该候选运动矢量指向的图像块，确定该候选运动矢量指向的图像块包括的每个像素与所述第一类待处理图像块中包括的对应的像素的差的绝对值，并确定各个像素的差的绝对值的和，再将该差的绝对值的和值除以该图像块中的像素个数值，将该差的绝对值的和值除以该图像块中的像素个数值得到的值，作为该候选运动矢量指向的图像块与所述第一类待处理图像块的各个像素的SAD值。
较佳地，在步骤A3中，确定所述第一类待处理图像块的帧间运动矢量，包括：
针对每个候选运动矢量，确定所述候选运动矢量被赋予的权值和所述候选运动矢量指向的图像块与所述第一类待处理图像块的像素的SAD值的乘积，将乘积值最小的候选运动矢量作为所述第一类待处理图像块的帧间运动矢量。
需要说明的是，根据所述第一类待处理图像块的每个候选运动矢量对应的权值和所述候选运动矢量指向的图像块与所述第一类待处理图像块的像素的SAD值，确定所述第一类待处理图像块的帧间运动矢量的实施方式有多种，比如，针对所述第一类待处理图像块对应的每个候选运动矢量，确定所述候选运动矢量被赋予的权值和所述候选运动矢量指向的图像块与所述第一类待处理图像块的像素的SAD值的和，将和值最小的候选运动矢量作为所述第一类待处理图像块的帧间运动矢量，本发明实施例中列举的实施方式只是较佳的实施方式。
较佳地，确定所述每个第二类待处理图像块的帧间运动矢量的实施方式与现有技术中确定待处理图像块的帧间运动矢量的实施方式相同，比如，从所述第二类待处理图像块对应的多个候选运动矢量中随机选择一个候选运动矢量作为所述第二类待处理图像块的帧间运动矢量。
较佳地，在步骤103中，确定当前视频帧中的小物体候选区域，包括：
步骤B1、根据包括当前视频帧和当前视频帧的参考帧的多帧视频帧中任意一组相邻帧的帧间运动矢量，在当前视频帧的每个参考帧中确定当前视频帧包括的每个图像块对应的匹配块；
具体实施中，针对当前视频帧包括的每个图像块，确定图像块对应的匹配块的实施方式类似，下面对确定当前视频帧包括的一个图像块对应的匹配块的实施方式进行详细介绍。
如图3所示，接收到的原始帧包括视频帧fn-1、视频帧fn、视频帧fn+1和视频帧fn+2，当前视频帧为fn，fn包括图像块A，fn的参考帧为fn+1和fn+2；
针对fn的参考帧为fn+1，根据图像块A的帧间运动矢量mvoldF（fn和fn+1的帧间运动矢量），确定图像块A在fn+1中的匹配块B；
针对fn的参考帧为fn+2，根据图像块A的帧间运动矢量mvoldF（fn和fn+1的帧间运动矢量），确定图像块A在fn+1中的匹配块B，根据匹配块B的帧间运动矢量mvnewF（fn+1和fn+2的帧间运动矢量），确定图像块A在fn+2中的匹配块C。
较佳地，在步骤B1中，当前视频帧的参考帧不同，当前视频帧包含的每一图像块的帧间运动矢量可能不同，也可能相同。
比如，如图3所示，接收到的原始帧包括视频帧fn-1、视频帧fn、视频帧fn+1和视频帧fn+2，当前视频帧为fn，fn的参考帧为fn-1、fn+1和fn+2；
针对fn的参考帧为fn-1，fn中的每一图像块的帧间运动矢量为fn中的该图像块在fn-1和fn之间的后向运动矢量；
针对fn的参考帧为fn+1，fn中的每一图像块的帧间运动矢量为fn中的该图像块在fn和fn+1之间的前向运动矢量；
针对fn的参考帧为fn+2，fn中的每一图像块的帧间运动矢量为fn中的该图像块在fn和fn+1之间的前向运动矢量。
步骤B2、在每个参考帧中确定匹配块附近的附近块，并确定每个参考帧中确定的每个附近块的帧间运动矢量；
较佳地，匹配块附近的附近块为位于该匹配块周围特定范围内的图像块。
具体实施中，特定范围可以根据需要或者经验设定。
步骤B3、针对当前视频帧包含的每一图像块，确定针对所述图像块确定的各个附近块的帧间运动矢量与所述图像块的帧间运动矢量的相似度值，并确定每个附近块的帧间运动矢量与全局运动矢量的相差度值；
较佳地，针对图像块确定的一个附近块，确定所述附近块的帧间运动矢量与所述图像块的帧间运动矢量的相似度值，包括：
在所述附近块的帧间运动矢量和图像块的帧间运动矢量为前向运动矢量时，根据所述附近块的帧间运动矢量与图像块的帧间运动矢量的差值，确定所述附近块的帧间运动矢量与所述图像块的帧间运动矢量的相似度值；
在所述附近块的帧间运动矢量和图像块的帧间运动矢量为后向运动矢量时，根据所述附近块的帧间运动矢量与图像块的帧间运动矢量的差值，确定所述附近块的帧间运动矢量与图像块的帧间运动矢量的相似度值；
在附近块的帧间运动矢量为后向运动矢量和图像块的帧间运动矢量为前向运动矢量时，根据附近块的帧间运动矢量与图像块的帧间运动矢量的和值，确定附近块的帧间运动矢量与图像块的帧间运动矢量的相似度值；以及
在附近块的帧间运动矢量为前向运动矢量和图像块的帧间运动矢量为后向运动矢量时，根据附近块的帧间运动矢量与图像块的帧间运动矢量的和值，确定附近块的帧间运动矢量与图像块的帧间运动矢量的相似度值。
实施中，上述的和/差值越小，所述附近块的帧间运动矢量与图像块的帧间运动矢量的相似度值越大。
较佳地，针对图像块确定的一个附近块，确定所述附近块的帧间运动矢量与全局运动矢量的相差度值，包括：
根据所述附近块对应的至少两个区域中的一个区域，确定所述附近块的全局运动矢量；
根据所述附近块的帧间运动矢量和所述附近块的全局运动矢量的差值，确定所述附近块的帧间运动矢量和所述附近块的全局运动矢量的相差度值。
具体实施中，可以根据所述附近块在当前视频帧中的匹配块位于当前视频帧中的区域，确定所述附近块对应的至少两个区域中的一个区域；也可以根据所述附近块位于包括所述附近块的参考帧中的区域，确定所述附近块对应的至少两个区域中的一个区域，具体可以根据需要而定。
实施中，所述附近块的帧间运动矢量和所述附近块的全局运动矢量的差值越大，所述附近块的帧间运动矢量和所述附近块的全局运动矢量的相差度值越大，所述附近块的帧间运动矢量与包括所述附近块的参考帧的背景运动矢量的相差度值越大。
步骤B4、根据确定的相似度值和相差度值，确定当前视频帧中的小物体候选区域包括的图像块，其中，小物体候选区域包括的每个图像块满足当前视频帧对应的每个参考帧中针对所述图像块确定的多个附近块中存在第一设定个数的附近块的相似度值均不小于第一阈值、且存在第二设定个数的附近块的相差度值均不小于第二阈值。
较佳地，在步骤B4中，第一设定个数、第二设定个数、第一阈值和第二阈值可以根据需要或经验设定，比如，在每个图像块包括8像素*8像素时，第一设定个数可以为10，第二设定个数为10，第一阈值为16和第二阈值为16。
具体实施中，当前视频帧中的小物体候选区域为当前视频帧中区别于背景的物体区域。
较佳地，在步骤104之前，还可以将小物体候选区域包括的每个图像块标志特定标记。
较佳地，特定标记可以根据需要或经验设定，可以设定为字母、数字或符号，比如，设定为1或0。
较佳地，在将小物体候选区域包括的每个图像块标志特定标记之后，还包括：
保存标志特定标记的图像块。
较佳地，在步骤104中，对当前视频帧中的小物体候选区域进行滤波，将滤波后得到的区域确定为当前视频帧中的小物体区域，包括：
步骤C1、针对所述当前视频帧中小物体候选区域包括的每个图像块，确定在所述图像块水平方向上的第一设定范围内标志有特定标记的图像块的第一个数值、和在所述图像块垂直方向上的第二设定范围内标志有特定标记的图像块的第二个数值；
步骤C2、在确定的所述第一个数值或第二个数值大于第三阈值时，去除所述图像块的特定标记；以及
步骤C3、确定在所述图像块周围的第三设定范围内标志有特定标记的图像块的第三个数值；
步骤C4、在确定的所述第三个数值小于第四阈值时，去除所述图像块的特定标记；
步骤C5、将当前视频帧中标志有特定标记的图像块确定为当前视频帧中的小物体区域；
其中第三设定范围小于第一设定范围和第二设定范围，第四阈值小于第三阈值。
较佳地，在步骤C1中，第一设定范围和第二设定范围可以根据需要或经验设定，第一设定范围可以大于第二设定范围，第一设定范围可以小于第二设定范围，第一设定范围也可以等于第二设定范围。
具体实施中，在步骤C2中，第三阈值可以根据需要或经验设定。
较佳地，第三阈值可以根据小物体区域的定义确定，比如，小物体区域占据当前视频帧背景的比例值小于特定值，则可以根据所述特定值，确定第三阈值。
比如，假设当前视频帧中小物体候选区域包括的每个图像块的特定标记为1，第三阈值为6，如图4所示，针对标志有1的图像块A，第一设定范围包括以图像块A为中心的13个单位块，第二设定范围包括以图像块A为中心的11个单位块，确定在图像块A水平方向上的第一设定范围内标志有特定标记的块的第一个数值为10和在图像块A垂直方向上的第二设定范围内标志有特定标记的图像块的第二个数值为8，由于第一个数值和第二个数值均大于第三阈值，则去除图像块A的特定标记。
实施中，通过执行步骤C1和步骤C2，将当前视频帧包括的小物体候选区域中的小物体以外的物体对应的区域过滤掉。
较佳地，在步骤C3中，第三设定范围可以根据需要或经验设定。
较佳地，在步骤C4中，第四阈值可以根据需要或经验设定。
比如，假设当前视频帧中小物体候选区域包括的每个图像块的特定标记为1，第四阈值为2，如图5所示，针对标识有1的图像块A，第三设定范围包括图像块A周围一圈的8个单位块，确定在图像块周围的第三设定范围内标志有特定标记的图像块的第三个数值为0，由于第三个数值小于第四阈值，则去除图像块A的特定标记。
实施中，通过执行步骤C3和步骤C4，将当前视频帧包括的小物体候选区域中的噪点对应的区域过滤掉。
具体实施中，可以先执行步骤C1，再执行步骤C3；可以先执行步骤C3，再执行步骤C1；也可以同时执行步骤C1和步骤C3。
下面将结合图3，并以视频帧fn的参考帧为fn-1、fn+1和fn+2为例，对本发明实施例确定视频帧fn中的小物体区域的方法进行详细介绍。
如图6所示，本发明实施例确定视频帧中小物体区域的详细方法，包括：
步骤601、根据fn-1中确定的小物体区域包括的待处理图像块，将fn-1、fn、fn+1和fn+2中每帧视频帧包括的待处理图像块划分为第一类待处理图像块和第二类待处理图像块，确定每个第一类待处理图像块和每个第二类待处理图像块的帧间运动矢量，得到fn-1和fn的帧间运动矢量，fn和fn+1的帧间运动矢量，以及fn+1和fn+2的帧间运动矢量；
步骤602、将fn划分为四部分，并统计每部分的全局运动矢量，得到gVec[i]，其中i={0,1,2,3}；
步骤603、针对fn包括的一个图像块，根据所述图像块的帧间运动矢量mvoldF，确定所述图像块在fn+1中的匹配块，并搜索所述匹配块对应的每个附近块；
步骤604、针对fn+1中的匹配块对应的一个附近块，确定所述附近块的帧间运动矢量mvnewB，并确定mvnewB与mvoldF的和值，在mvnewB与mvoldF的和值小于阈值objLocal，变量Ldiff0增1；
具体实施中，Ldiff0的初始值可以设置为0。
步骤605、针对fn+1中的匹配块对应的一个附近块，根据所述附近块在fn+1中的位置，确定所述附近块对应的全局运动矢量为gVec[1]，并确定mvnewB与gVec[1]的差值，在mvnewB与gVec[1]的差值大于阈值objGlobal，变量Gdiff0增1；
具体实施中，Gdiff0的初始值可以设置为0。
步骤606、在对fn+1中的匹配块对应的每个附近块遍历后，得到Ldiff0和Gdiff0；
步骤607、针对fn包括的一个图像块，根据所述图像块的帧间运动矢量mvoldF，确定所述图像块在fn+1中的匹配块，并根据所述匹配块的帧间运动矢量mvnewF，确定所述图像块在fn+2中的匹配块，并搜索所述匹配块对应的每个附近块；
步骤608、针对fn+2中的匹配块对应的一个附近块，确定所述附近块的帧间运动矢量mvrefB，并确定mvrefB与mvoldF的和值，在mvrefB与mvoldF的和值小于阈值objLocal，变量Ldiff1增1；
具体实施中，Ldiff1的初始值可以设置为0。
步骤609、针对fn+2中的匹配块对应的一个附近块，根据所述附近块在fn+2中的位置，确定所述附近块对应的全局运动矢量为gVec[1]，并确定mvrefB与gVec[1]的差值，在mvrefB与gVec[1]的差值大于阈值objGlobal，变量Gdiff1增1；
具体实施中，Gdiff1的初始值可以设置为0。
步骤610、在对fn+2中的匹配块对应的每个附近块遍历后，得到Ldiff1和Gdiff1；
步骤611、针对fn包括的一个图像块，根据所述图像块的帧间运动矢量mvoldB，确定所述图像块在fn-1中的匹配块，并搜索所述匹配块对应的每个附近块；
步骤612、针对fn-1中的匹配块对应的一个附近块，确定所述附近块的帧间运动矢量mvrefF，并确定mvrefF与mvoldF的差值，在mvrefF与mvoldF的差值小于阈值objLocal，变量Ldiff2增1；
具体实施中，Ldiff2的初始值可以设置为0。
步骤613、针对fn-1中的匹配块对应的一个附近块，根据所述附近块在fn-1中的位置，确定所述附近块对应的全局运动矢量为gVec[1]，并确定mvrefF与gVec[1]的差值，在mvrefF与gVec[1]的差值大于阈值objGlobal，变量Gdiff2增1；
具体实施中，Gdiff2的初始值可以设置为0。
步骤614、在对fn-1中的匹配块对应的每个附近块遍历后，得到Ldiff2和Gdiff2；
步骤615、在Gdiff0>A且Gdiff1>A且Gdiff2>A且Ldiff0>B且Ldiff1>B且Ldiff2>B时，确定fn中的小物体候选区域包括所述图像块，并将所述图像块缓存在markFlagBuf0ij中；
具体实施中，A和B为阈值，markFlagBuf0ij可以为以矩阵形式存储所述图像块的存储器。
步骤616、通过遍历fn包括的每个图像块，确定fn中的小物体候选区域，并将小物体候选区域包括的每个图像块标志为1；
步骤617、针对fn中每个标志为1的图像块，确定在所述图像块水平方向上的第一设定范围内标志为1的图像块的第一个数值和在所述图像块垂直方向上的第二设定范围内标志为1的图像块的第二个数值，在第一个数值或第二个数值大于阈值C时，将所述图像块的标识改为0；
步骤618、针对fn中每个标志为1的图像块，确定在所述图像块周围的第三设定范围内标志为1的图像块的第三个数值，在第三个数值小于阈值D时，将所述图像块的标志改为0；
步骤619、将fn中标志为1的图像块确定为fn中的小物体区域。
如图7所示，本发明实施例在两相邻视频帧之间插补帧的方法，包括：
步骤701、确定前、后两相邻视频帧中的在前视频帧中的小物体区域和在后视频帧中的小物体区域；
步骤702、对在前视频帧中的小物体区域和在后视频帧中的小物体区域以外的区域对应的帧间运动矢量进行平滑滤波；
步骤703、根据在前视频帧中的小物体区域和在后视频帧中的小物体区域对应的帧间运动矢量，以及平滑滤波后得到的帧间运动矢量，在前、后两相邻视频帧之间插补帧。
较佳地，在步骤701中，可以采用本发明实施例图1中确定当前视频帧中的小物体区域的方法，确定前、后两相邻视频帧中的在前视频帧中的小物体区域和在后视频帧中的小物体区域。
具体实施中，可以根据在确定所述在前视频帧中的小物体区域和在后视频帧中的小物体区域时确定的前、后两相邻视频帧的帧间运动矢量，确定所述前、后两相邻视频帧的帧间运动矢量。
较佳地，在步骤702中，对在前视频帧中的小物体区域和在后视频帧中的小物体区域以外的区域对应的帧间运动矢量进行平滑滤波的实施方式与现有技术中对两相邻视频帧的帧间运动矢量进行平滑滤波的实施方式类似，只不过在本发明中不对两相邻视频中的小物体区域对应的帧间运动矢量进行平滑滤波，而仅对两相邻视频中的小物体区域以外的区域对应的帧间运动矢量进行平滑滤波。
较佳地，在步骤703中，根据在前视频帧中的小物体区域和在后视频帧中的小物体区域对应的帧间运动矢量，以及平滑滤波后得到的帧间运动矢量，在前、后两相邻视频帧之间插补帧的实施方式与现有技术中根据两相邻视频帧的帧间运动矢量，在两相邻视频帧之间插补帧的实施方式类似，在此不再赘述。
实施中，确定前、后两相邻视频帧中每帧视频帧的小物体区域，不对前、后两相邻视频帧中确定的小物体区域对应的帧间运动矢量进行平滑滤波，从而实现避免生成的插补帧中小物体像素的缺失，提高了视频显示质量。
如图8所示，本发明实施例在两相邻视频帧之间插补帧的方法，包括：
步骤801、根据前、后两相邻视频帧的前N帧视频帧中的小物体区域包括的待处理图像块，将所述前、后两相邻视频帧中的每帧视频帧分别包括的待处理图像块分为第一类待处理图像块和第二类待处理图像块；
步骤802、分别确定每个第一类待处理图像块和每个第二类待处理图像块的帧间运动矢量，以及将确定的所述前、后两相邻视频帧中的每帧视频帧分别包括的每个第一类待处理图像块和每个第二类待处理图像块的帧间运动矢量，作为所述前、后两相邻视频帧的帧间运动矢量；
步骤803、根据得到的所述前、后两相邻视频帧的帧间运动矢量，在所述前、后两相邻视频帧之间插补帧；
其中，N为正整数。
较佳地，N可以根据需要或者经验设定。
较佳地，在步骤801中，可以采用本发明实施例图1中确定当前视频帧中的小物体区域的方法，确定前、后两相邻视频帧的前N帧视频帧中的小物体区域。
较佳地，在步骤801中，根据前、后两相邻视频帧的前N帧视频帧中的小物体区域包括的待处理图像块，将所述前、后两相邻视频帧中的每帧视频帧分别包括的待处理图像块分为第一类待处理图像块和第二类待处理图像块，包括：
针对所述前、后两相邻视频帧中的每帧视频帧分别包括的待处理图像块，执行：
在所述前、后两相邻视频帧的前N帧视频帧中选择至少一帧视频帧；
根据所述前、后两相邻视频帧的前N帧视频帧中的小物体区域，确定待处理图像块在选择的所述至少一帧视频帧中对应的参考图像块是否均为小物体区域包括的图像块；
若是，则确定所述待处理图像块为第一类待处理图像块，否则，确定所述待处理图像块为第二类待处理图像块。
较佳地，在所述前N帧视频帧中选择至少一帧视频帧，包括：
选择所述前、后两相邻视频帧的至少一帧前连续视频帧。
较佳地，在步骤802中，分别确定每个第一类待处理图像块的帧间运动矢量，包括：
步骤D1、分别确定所述第一类待处理图像块对应的每个候选运动矢量与所述第一类待处理图像块所在的视频帧的背景运动矢量的相差度值；
具体实施中，步骤D1的实施方式与本发明实施例的步骤A1的实施方式类似，在此不再赘述。
步骤D2、根据确定的各个候选运动矢量分别对应的相差度值，按照相差度值由小到大的顺序赋予权值由大到小的规则，为每个候选运动矢量分别赋予对应的权值；
具体实施中，步骤D2的实施方式与本发明实施例的步骤A2的实施方式类似，在此不再赘述。
步骤D3、根据为每个候选运动矢量分别赋予的权值和每个候选运动矢量指向的图像块与所述第一类待处理图像块的像素的SAD值，确定所述第一类待处理图像块的帧间运动矢量。
具体实施中，步骤D3的实施方式与本发明实施例的步骤A3的实施方式类似，在此不再赘述。
较佳地，在步骤D3中，确定所述第一类待处理图像块的帧间运动矢量，包括：
针对每个候选运动矢量，确定所述候选运动矢量被赋予的权值和所述候选运动矢量指向的图像块与所述第一类待处理图像块的像素的SAD值的乘积，将乘积值最小的候选运动矢量作为所述第一类待处理图像块的帧间运动矢量。
需要说明的是，根据所述第一类待处理图像块的每个候选运动矢量对应的权值和所述候选运动矢量指向的图像块与所述第一类待处理图像块的像素的SAD值，确定所述第一类待处理图像块的帧间运动矢量的实施方式有多种，比如，针对所述第一类待处理图像块对应的每个候选运动矢量，确定所述候选运动矢量被赋予的权值和所述候选运动矢量指向的图像块与所述第一类待处理图像块的像素的SAD值的和，将和值最小的候选运动矢量作为所述第一类待处理图像块的帧间运动矢量，本发明实施例中列举的实施方式只是较佳的实施方式。
较佳地，在步骤803中，根据得到的所述前、后两相邻视频帧的帧间运动矢量，在所述前、后两相邻视频帧之间插补帧的实施方式与现有技术中根据两相邻视频帧的帧间运动矢量，在两相邻视频帧之间插补帧的实施方式类似，在此不再赘述。
实施中，不对所述前、后两相邻视频帧的帧间运动矢量作平滑滤波，直接根据得到的两相邻视频帧的帧间运动矢量，在两相邻视频帧之间插补帧，实现了避免生成的插补帧中小物体像素的缺失，提高了高清视频或超高清视频的播放质量。
需要说明的是，本发明的在两相邻视频帧之间插补帧的方法的实施方式有多种，下面将以在fn和fn+1之间插补帧为例，对本发明实施例在两相邻视频帧之间插补帧的三种较佳的实施方式进行介绍。
假设fn的参考帧为fn-1和fn+1，fn+1的参考帧为fn和fn+2。
实施方式一
如图9所示，本发明实施例在两相邻视频帧之间插补帧的方法包括下列步骤：
步骤901、对fn-1、fn和fn+1进行运动估计，确定包括fn-1、fn和fn+1的多帧视频帧中任意两相邻帧的帧间运动矢量；
步骤902、将fn划分为四个区域，并确定每个区域对应的全局运动矢量；
步骤903、根据包括fn-1、fn和fn+1的多帧视频帧中任意两相邻帧的帧间运动矢量，以及确定的每个区域对应的全局运动矢量，确定fn中的小物体候选区域；
步骤904、对fn中的小物体候选区域进行滤波，并将滤波后得到的区域确定为fn中的小物体区域；
步骤905、对fn、fn+1和fn+2进行运动估计，确定包括fn、fn+1和fn+2的多帧视频帧中任意两相邻帧的帧间运动矢量；
具体实施中，由于在步骤901中已经对fn和fn+1进行过运动估计，因而在步骤905中，可以只对fn+1和fn+2进行运动估计，得到fn+1和fn+2的帧间运动矢量。
步骤906、将fn+1划分为四个区域，并确定每个区域对应的全局运动矢量；
步骤907、根据包括fn、fn+1和fn+2的多帧视频帧中任意两相邻帧的帧间运动矢量，以及确定的每个区域对应的全局运动矢量，确定fn+1中的小物体候选区域；
步骤908、对fn+1中的小物体候选区域进行滤波，并将滤波后得到的区域确定为fn+1中的小物体区域；
步骤909、对fn中的小物体区域和fn+1中的小物体区域以外的区域对应的帧间运动矢量进行平滑滤波；
需要说明的是，在步骤901和步骤905中均同时确定fn和fn+1之间的前向运动矢量和后向运动矢量，步骤909中的fn和fn+1的帧间运动矢量为步骤905中确定的fn和fn+1之间的前向运动矢量和后向运动矢量。
需要说明的是，本发明实施例的步骤901～步骤909是对分时确定fn和fn+1中的小物体区域进行的介绍，而在具体应用中，也可以同时确定fn和fn+1中的小物体区域，在同时确定fn和fn+1中的小物体区域时，需要同时对fn-1、fn、fn+1和fn+2进行运动估计，同时确定fn和fn+1中的小物体区域的步骤如下：
步骤一、对fn-1、fn、fn+1和fn+2进行运动估计，确定包括fn-1、fn、fn+1和fn+2的多帧视频帧中任意两相邻帧的帧间运动矢量；
步骤二、将fn和fn+1各划分为四个区域，并确定每个区域对应的全局运动矢量；
步骤三、根据包括fn-1、fn和fn+1的多帧视频帧中任意两相邻帧的帧间运动矢量，以及确定的fn中的每个区域对应的全局运动矢量，确定fn中的小物体候选区域；根据包括fn、fn+1和fn+2的多帧视频帧中任意两相邻帧的帧间运动矢量，以及确定的fn+1中的每个区域对应的全局运动矢量，确定fn+1中的小物体候选区域；
步骤四、对fn中的小物体候选区域进行滤波，将滤波后得到的区域确定为fn中的小物体区域；以及对fn+1中的小物体候选区域进行滤波，将滤波后得到的区域确定为fn+1中的小物体区域。
步骤910、根据fn中的小物体区域和fn+1中的小物体区域对应的帧间运动矢量，以及平滑滤波后得到的帧间运动矢量，在fn和fn+1之间插补帧。
具体实施中，可以根据前、后两相邻视频帧之前的视频帧中确定的小物体区域，对前、后两相邻视频帧中的每帧视频帧分别包括的待处理图像块进行分类，下面将在实施方式二中进行介绍。
实施方式二
如图10所示，本发明实施例在两相邻视频帧之间插补帧的方法包括下列步骤：
步骤1001、根据fn-1中确定的小物体区域包括的待处理图像块，将包括fn-1、fn和fn+1的多帧视频帧中的每帧视频帧包括的待处理图像块分为第一类待处理图像块和第二类待处理图像块，分别确定每个第一类待处理图像块和每个第二类待处理图像块的帧间运动矢量，得到包括fn-1、fn和fn+1的多帧视频帧中任意两相邻帧的帧间运动矢量；步骤1002、将fn划分为四个区域，并确定每个区域对应的全局运动矢量；
步骤1003、根据包括fn-1、fn和fn+1的多帧视频帧中任意两相邻帧的帧间运动矢量，以及确定的每个区域对应的全局运动矢量，确定fn中的小物体候选区域；
步骤1004、对fn中的小物体候选区域进行滤波，并将滤波后得到的区域确定为fn中的小物体区域；
步骤1005、根据fn-1和fn中确定的小物体区域包括的待处理图像块，将包括fn、fn+1和fn+2的多帧视频帧中的每帧视频帧包括的待处理图像块分为第一类待处理图像块和第二类待处理图像块，分别确定每个第一类待处理图像块和每个第二类待处理图像块的帧间运动矢量，得到包括fn、fn+1和fn+2的多帧视频帧中任意两相邻帧的帧间运动矢量；
步骤1006、将fn+1划分为四个区域，并确定每个区域对应的全局运动矢量；
步骤1007、根据包括fn、fn+1和fn+2的多帧视频帧中任意两相邻帧的帧间运动矢量，以及确定的每个区域对应的全局运动矢量，确定fn+1中的小物体候选区域；
步骤1008、对fn+1中的小物体候选区域进行滤波，并将滤波后得到的区域确定为fn+1中的小物体区域；
步骤1009、对fn中的小物体区域和fn+1中的小物体区域以外的区域对应的帧间运动矢量进行平滑滤波；
步骤1010、根据fn中的小物体区域和fn+1中的小物体区域对应的帧间运动矢量，以及平滑滤波后得到的帧间运动矢量，在fn和fn+1之间插补帧。
具体实施中，可以不对fn和fn+1的帧间运动矢量进行平滑滤波，直接根据fn和fn+1的帧间运动矢量，在fn和fn+1之间插补帧，下面将在实施方式三中进行介绍。
实施方式三
如图11所示，本发明实施例在两相邻视频帧之间插补帧的方法包括下列步骤：
步骤1101、确定fn-1中的小物体区域；
步骤1102、根据fn-1中确定的小物体区域包括的待处理图像块，将fn和fn+1分别包括的待处理图像块分为第一类待处理图像块和第二类待处理图像块，分别确定每个第一类待处理图像块和每个第二类待处理图像块的帧间运动矢量，得到fn和fn+1的帧间运动矢量；
步骤1103、根据fn和fn+1的帧间运动矢量，在fn和fn+1之间插补帧。
基于同一发明构思，本发明实施例还提供一种确定视频帧中小物体区域的装置和在两相邻视频帧之间插补帧的装置，由于与确定视频帧中小物体区域的方法和在两相邻视频帧之间插补帧的方法具有相似的原理，因此实施中可以参考方法，重复之处不再赘述。
图12为本发明实施例确定视频帧中小物体区域的装置的结构示意图，如图所示，确定视频帧中小物体区域的装置包括：
全局运动矢量确定单元1201，用于将当前视频帧划分为至少两个区域，确定每个区域对应的全局运动矢量，并将确定的所述全局运动矢量传输至区域确定单元1203；
帧间运动矢量确定单元1202，用于确定包括所述当前视频帧和所述当前视频帧的参考帧的多帧视频帧中任意一组相邻帧的帧间运动矢量，并将确定的所述帧间运动矢量传输至区域确定单元1203；
区域确定单元1203，用于根据来自所述帧间运动矢量确定单元1202的包括所述当前视频帧和所述当前视频帧的参考帧的多帧视频帧中任意一组相邻帧的帧间运动矢量，以及来自所述全局运动矢量确定单元1201的每个区域对应的全局运动矢量，确定所述当前视频帧中的小物体候选区域，并将确定的所述当前视频帧中的小物体候选区域信息传输至处理单元1204；
处理单元1204，用于根据来自所述区域确定单元1203的所述当前视频帧中的小物体候选区域信息，确定所述当前视频帧中的小物体候选区域，对所述当前视频帧中的小物体候选区域进行滤波，并将滤波后得到的区域确定为当前视频帧中的小物体区域；
其中，当前视频帧的参考帧包括当前视频帧的前连续视频帧和当前视频帧的后连续视频帧中的一种或多种。
较佳地，所述装置还包括划分单元1205，用于在确定包括当前视频帧和当前视频帧的参考帧的多帧视频帧中任意一组相邻帧的帧间运动矢量之前，针对包括当前视频帧和当前视频帧的参考帧的多帧视频帧中任意一组相邻帧中的每帧视频帧包括的待处理图像块，分别执行：
在当前视频帧的前N帧视频帧中选择至少一帧视频帧；根据所述当前视频帧的前N帧视频帧中确定的小物体区域，确定所述待处理图像块在所选择的所述至少一帧视频帧中对应的参考图像块是否均为小物体区域包括的图像块；若是，则确定所述待处理图像块为第一类待处理图像块，否则，确定所述待处理图像块为第二类待处理图像块；
所述帧间运动矢量确定单元1202，具体用于分别确定每个第一类待处理图像块和每个第二类待处理图像块的帧间运动矢量；并将确定的所述任意一组相邻帧中的每帧视频帧分别包括的每个第一类待处理图像块和每个第二类待处理图像块的帧间运动矢量，作为所述任意一组相邻帧的帧间运动矢量。
较佳地，所述帧间运动矢量确定单元1202，具体用于分别确定所述第一类待处理图像块对应的每个候选运动矢量与所述第一类待处理图像块所在的视频帧的背景运动矢量的相差度值；根据确定的各个候选运动矢量分别对应的相差度值，按照相差度值由小到大的顺序赋予权值由大到小的规则，为每个候选运动矢量分别赋予对应的权值；以及根据为每个候选运动矢量分别赋予的权值和每个候选运动矢量指向的图像块与所述第一类待处理图像块的像素的SAD值，确定所述第一类待处理图像块的帧间运动矢量。
较佳地，所述划分单元1205，具体用于选择当前视频帧的至少一帧前连续视频帧。
较佳地，所述帧间运动矢量确定单元1202，具体用于针对每个候选运动矢量，确定所述候选运动矢量被赋予的权值和所述候选运动矢量指向的图像块与所述第一类待处理图像块的像素的SAD值的乘积，将乘积值最小的候选运动矢量作为所述第一类待处理图像块的帧间运动矢量。
较佳地，所述区域确定单元1203，具体用于根据包括所述当前视频帧和所述当前视频帧的参考帧的多帧视频帧中任意一组相邻帧的帧间运动矢量，在所述当前视频帧的每个参考帧中确定所述当前视频帧包括的每个图像块对应的匹配块；并在每个参考帧中确定匹配块附近的附近块，并确定每个参考帧中确定的每个附近块的帧间运动矢量；针对所述当前视频帧包含的每一图像块，确定针对所述图像块确定的各个附近块的帧间运动矢量与所述图像块的帧间运动矢量的相似度值，确定每个附近块的帧间运动矢量与全局运动矢量的相差度值；根据确定的相似度值和相差度值，确定当前视频帧中的小物体候选区域包括的图像块，其中，小物体候选区域包括的每个图像块满足当前视频帧对应的每个参考帧中包含的针对所述图像块确定的多个附近块中存在第一设定个数的附近块的相似度值均不小于第一阈值、且存在第二设定个数的附近块的相差度值均不小于第二阈值。
较佳地，所述装置还包括标志单元1206，用于在对当前视频帧中的小物体候选区域进行滤波之前，将小物体候选区域包括的每个图像块标志特定标记；
所述处理单元1204，具体用于针对所述当前视频帧中小物体候选区域包括的每个图像块，确定在所述图像块水平方向上的第一设定范围内标志有所述特定标记的图像块的第一个数值、和在所述图像块垂直方向上的第二设定范围内标志有所述特定标记的图像块的第二个数值；在确定的所述第一个数值或第二个数值大于第三阈值时，去除所述图像块的特定标记；以及确定在所述图像块周围的第三设定范围内标志有所述特定标记的图像块的第三个数值；在确定的所述第三个数值小于第四阈值时，去除所述图像块的特定标记；将当前视频帧中标志有特定标记的图像块确定为当前视频帧中的小物体区域，其中第三设定范围小于第一设定范围和第二设定范围，第四阈值小于第三阈值。
图13为本发明实施例在两相邻视频帧之间插补帧的装置的结构示意图，如图所示，在两相邻视频帧之间插补帧的装置包括：
确定单元1301，用于确定前、后两相邻视频帧中的在前视频帧中的小物体区域和在后视频帧中的小物体区域，并将确定的所述在前视频帧中的小物体区域和在后视频帧中的小物体区域的信息传输至滤波单元1302；
滤波单元1302，用于根据来自所述确定单元1301的所述在前视频帧中的小物体区域和在后视频帧中的小物体区域的信息，确定所述在前视频帧中的小物体区域和在后视频帧中的小物体区域，对所述在前视频帧中的小物体区域和所述在后视频帧中的小物体区域以外的区域对应的帧间运动矢量进行平滑滤波，并将平滑滤波后得到的帧间运动矢量传输至插补单元1303；
插补单元1303，用于根据来自所述滤波单元1302的所述平滑滤波后得到的帧间运动矢量，以及所述在前视频帧中的小物体区域和所述在后视频帧中的小物体区域对应的帧间运动矢量，在所述前、后两相邻视频帧之间插补帧。
图14为本发明实施例在两相邻视频帧之间插补帧的装置的结构示意图，如图所示，在两相邻视频帧之间插补帧的装置包括：
划分单元1401，用于根据前、后两相邻视频帧的前N帧视频帧中的小物体区域包括的待处理图像块，将所述前、后两相邻视频帧中的每帧视频帧分别包括的待处理图像块分为第一类待处理图像块和第二类待处理图像块，并将所述第一类待处理图像块和第二类待处理图像块对应的划分信息传输至处理单元1402；
处理单元1402，用于根据来自所述划分单元1401的所述划分信息，确定所述前、后两相邻视频帧中的每帧视频帧分别包括的待处理图像块中的第一类待处理图像块和第二类待处理图像块，分别确定每个第一类待处理图像块和每个第二类待处理图像块的帧间运动矢量，以及将确定的所述前、后两相邻视频帧中的每帧视频帧分别包括的每个第一类待处理图像块和每个第二类待处理图像块的帧间运动矢量，作为所述前、后两相邻视频帧的帧间运动矢量，并将所述前、后两相邻视频帧的帧间运动矢量传输至插补单元1403；
插补单元1403，用于根据来自所述处理单元1402的所述前、后两相邻视频帧的帧间运动矢量，在所述前、后两相邻视频帧之间插补帧，其中，N为正整数。
较佳地，所述划分单元1401，具体用于针对所述前、后两相邻视频帧中的每帧视频帧分别包括的待处理图像块，执行：
在所述前、后两相邻视频帧的前N帧视频帧中选择至少一帧视频帧；根据所述前、后两相邻视频帧的前N帧视频帧中的小物体区域，确定待处理图像块在选择的所述至少一帧视频帧中对应的参考图像块是否均为小物体区域包括的图像块；若是，则确定所述待处理图像块为第一类待处理图像块，否则，确定所述待处理图像块为第二类待处理图像块。
较佳地，所述处理单元1402，具体用于分别确定所述第一类待处理图像块对应的每个候选运动矢量与所述第一类待处理图像块所在的视频帧的背景运动矢量的相差度值；根据确定的各个候选运动矢量分别对应的相差度值，按照相差度值由小到大的顺序赋予权值由大到小的规则，为每个候选运动矢量分别赋予对应的权值；根据为每个候选运动矢量分别赋予的权值和每个候选运动矢量指向的图像块与所述第一类待处理图像块的像素的SAD值，确定所述第一类待处理图像块的帧间运动矢量。
较佳地，所述划分单元1401，具体用于选择所述前、后两相邻视频帧的至少一帧前连续视频帧。
较佳地，所述处理单元1402，具体用于针对每个候选运动矢量，确定所述候选运动矢量被赋予的权值和所述候选运动矢量指向的图像块与所述第一类待处理图像块的像素的SAD值的乘积，将乘积值最小的候选运动矢量作为所述第一类待处理图像块的帧间运动矢量。
图15为本发明实施例确定视频帧中小物体区域的装置的结构示意图，如图所示，确定视频帧中小物体区域的装置包括：
处理器1501，用于将当前视频帧划分为至少两个区域，确定每个区域对应的全局运动矢量；确定包括所述当前视频帧和所述当前视频帧的参考帧的多帧视频帧中任意一组相邻帧的帧间运动矢量；根据包括所述当前视频帧和所述当前视频帧的参考帧的多帧视频帧中任意一组相邻帧的帧间运动矢量，以及每个区域对应的全局运动矢量，确定所述当前视频帧中的小物体候选区域；并
根据对所述当前视频帧中的小物体候选区域进行滤波，并将滤波后得到的区域确定为当前视频帧中的小物体区域；
存储器1502，用于存储每个区域对应的全局运动矢量、所述任意一组相邻帧的帧间运动矢量、当前视频帧中的小物体候选区域信息和当前视频帧中的小物体区域信息；
其中，当前视频帧的参考帧包括当前视频帧的前连续视频帧和当前视频帧的后连续视频帧中的一种或多种。
具体实施中，处理器1501可以直接到存储器1502中调取需要的矢量或者信息，也可以向存储器1502发送获取矢量或者信息指令，由存储器1502将处理器1501发送的指令中请求的矢量或者信息发送给处理器1501。
较佳地，所述处理器1501，还用于在确定包括当前视频帧和当前视频帧的参考帧的多帧视频帧中任意一组相邻帧的帧间运动矢量之前，针对包括当前视频帧和当前视频帧的参考帧的多帧视频帧中任意一组相邻帧中的每帧视频帧包括的待处理图像块，分别执行：
在当前视频帧的前N帧视频帧中选择至少一帧视频帧；根据所述当前视频帧的前N帧视频帧中确定的小物体区域，确定所述待处理图像块在所选择的所述至少一帧视频帧中对应的参考图像块是否均为小物体区域包括的图像块；若是，则确定所述待处理图像块为第一类待处理图像块，否则，确定所述待处理图像块为第二类待处理图像块；
所述处理器1501，具体用于分别确定每个第一类待处理图像块和每个第二类待处理图像块的帧间运动矢量；并将确定的所述任意一组相邻帧中的每帧视频帧分别包括的每个第一类待处理图像块和每个第二类待处理图像块的帧间运动矢量，作为所述任意一组相邻帧的帧间运动矢量。
较佳地，所述处理器1501，具体用于分别确定所述第一类待处理图像块对应的每个候选运动矢量与所述第一类待处理图像块所在的视频帧的背景运动矢量的相差度值；根据确定的各个候选运动矢量分别对应的相差度值，按照相差度值由小到大的顺序赋予权值由大到小的规则，为每个候选运动矢量分别赋予对应的权值；以及根据为每个候选运动矢量分别赋予的权值和每个候选运动矢量指向的图像块与所述第一类待处理图像块的像素的SAD值，确定所述第一类待处理图像块的帧间运动矢量。
较佳地，所述处理器1501，具体用于选择当前视频帧的至少一帧前连续视频帧。
较佳地，所述处理器1501，具体用于针对每个候选运动矢量，确定所述候选运动矢量被赋予的权值和所述候选运动矢量指向的图像块与所述第一类待处理图像块的像素的SAD值的乘积，将乘积值最小的候选运动矢量作为所述第一类待处理图像块的帧间运动矢量。
较佳地，所述处理器1501，具体用于根据包括所述当前视频帧和所述当前视频帧的参考帧的多帧视频帧中任意一组相邻帧的帧间运动矢量，在所述当前视频帧的每个参考帧中确定所述当前视频帧包括的每个图像块对应的匹配块；并在每个参考帧中确定匹配块附近的附近块，并确定每个参考帧中确定的每个附近块的帧间运动矢量；针对所述当前视频帧包含的每一图像块，确定针对所述图像块确定的各个附近块的帧间运动矢量与所述图像块的帧间运动矢量的相似度值，确定每个附近块的帧间运动矢量与全局运动矢量的相差度值；根据确定的相似度值和相差度值，确定当前视频帧中的小物体候选区域包括的图像块，其中，小物体候选区域包括的每个图像块满足当前视频帧对应的每个参考帧中包含的针对所述图像块确定的多个附近块中存在第一设定个数的附近块的相似度值均不小于第一阈值、且存在第二设定个数的附近块的相差度值均不小于第二阈值。
较佳地，所述处理器1501，还用于在对当前视频帧中的小物体候选区域进行滤波之前，将小物体候选区域包括的每个图像块标志特定标记；
所述处理器1501，具体用于针对所述当前视频帧中小物体候选区域包括的每个图像块，确定在所述图像块水平方向上的第一设定范围内标志有所述特定标记的图像块的第一个数值、和在所述图像块垂直方向上的第二设定范围内标志有所述特定标记的图像块的第二个数值；在确定的所述第一个数值或第二个数值大于第三阈值时，去除所述图像块的特定标记；以及确定在所述图像块周围的第三设定范围内标志有所述特定标记的图像块的第三个数值；在确定的所述第三个数值小于第四阈值时，去除所述图像块的特定标记；将当前视频帧中标志有特定标记的图像块确定为当前视频帧中的小物体区域，其中第三设定范围小于第一设定范围和第二设定范围，第四阈值小于第三阈值。
图16为本发明实施例在两相邻视频帧之间插补帧的装置的结构示意图，如图所示，在两相邻视频帧之间插补帧的装置包括：
处理器1601，用于确定前、后两相邻视频帧中的在前视频帧中的小物体区域和在后视频帧中的小物体区域；对所述在前视频帧中的小物体区域和所述在后视频帧中的小物体区域以外的区域对应的帧间运动矢量进行平滑滤波；根据所述平滑滤波后得到的帧间运动矢量，以及所述在前视频帧中的小物体区域和所述在后视频帧中的小物体区域对应的帧间运动矢量，在所述前、后两相邻视频帧之间插补帧；
存储器1602，用于存储在前视频帧中的小物体区域信息，在后视频帧中的小物体区域信息，以及前、后两相邻视频帧的帧间运动矢量。
具体实施中，处理器1601可以直接到存储器1602中调取需要的矢量或者信息，也可以向存储器1602发送获取矢量或者信息指令，由存储器1602将处理器1601发送的指令中请求的矢量或者信息发送给处理器1601。
图17为本发明实施例在两相邻视频帧之间插补帧的装置的结构示意图，如图所示，在两相邻视频帧之间插补帧的装置包括：
处理器1701，用于根据前、后两相邻视频帧的前N帧视频帧中的小物体区域包括的待处理图像块，将所述前、后两相邻视频帧中的每帧视频帧分别包括的待处理图像块分为第一类待处理图像块和第二类待处理图像块；分别确定每个第一类待处理图像块和每个第二类待处理图像块的帧间运动矢量，以及将确定的所述前、后两相邻视频帧中的每帧视频帧分别包括的每个第一类待处理图像块和每个第二类待处理图像块的帧间运动矢量，作为所述前、后两相邻视频帧的帧间运动矢量；根据所述前、后两相邻视频帧的帧间运动矢量，在所述前、后两相邻视频帧之间插补帧，其中，N为正整数；
存储器1702，用于存储前、后两相邻视频帧的前N帧视频帧中的小物体区域信息，前、后两相邻视频帧中的每帧视频帧分别包括的待处理图像块的分类信息，以及前、后两相邻视频帧的帧间运动矢量。
具体实施中，处理器1701可以直接到存储器1702中调取需要的矢量或者信息，也可以向存储器1702发送获取矢量或者信息指令，由存储器1702将处理器1701发送的指令中请求的矢量或者信息发送给处理器1701。
较佳地，所述处理器1701，具体用于针对所述前、后两相邻视频帧中的每帧视频帧分别包括的待处理图像块，执行：
在所述前、后两相邻视频帧的前N帧视频帧中选择至少一帧视频帧；根据所述前、后两相邻视频帧的前N帧视频帧中的小物体区域，确定待处理图像块在选择的所述至少一帧视频帧中对应的参考图像块是否均为小物体区域包括的图像块；若是，则确定所述待处理图像块为第一类待处理图像块，否则，确定所述待处理图像块为第二类待处理图像块。
较佳地，所述处理器1701，具体用于分别确定所述第一类待处理图像块对应的每个候选运动矢量与所述第一类待处理图像块所在的视频帧的背景运动矢量的相差度值；根据确定的各个候选运动矢量分别对应的相差度值，按照相差度值由小到大的顺序赋予权值由大到小的规则，为每个候选运动矢量分别赋予对应的权值；根据为每个候选运动矢量分别赋予的权值和每个候选运动矢量指向的图像块与所述第一类待处理图像块的像素的SAD值，确定所述第一类待处理图像块的帧间运动矢量。
较佳地，所述处理器1701，具体用于选择所述前、后两相邻视频帧的至少一帧前连续视频帧。
较佳地，所述处理器1701，具体用于针对每个候选运动矢量，确定所述候选运动矢量被赋予的权值和所述候选运动矢量指向的图像块与所述第一类待处理图像块的像素的SAD值的乘积，将乘积值最小的候选运动矢量作为所述第一类待处理图像块的帧间运动矢量。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (22)

1.一种确定视频帧中小物体区域的方法，其特征在于，该方法包括：
将当前视频帧划分为至少两个区域，并确定每个区域对应的全局运动矢量；
确定包括所述当前视频帧和所述当前视频帧的参考帧的多帧视频帧中任意一组相邻帧的帧间运动矢量；所述帧间运动矢量为所述任意一组相邻帧中的每帧视频帧分别包括的待处理图像块的帧间运动矢量；
根据所确定的包括所述当前视频帧和所述当前视频帧的参考帧的多帧视频帧中任意一组相邻帧的帧间运动矢量，以及确定的所述每个区域对应的全局运动矢量，确定所述当前视频帧中的小物体候选区域；
对所述当前视频帧中的小物体候选区域进行滤波，并将滤波后得到的区域确定为当前视频帧中的小物体区域；
其中，当前视频帧的参考帧包括当前视频帧的前连续视频帧和当前视频帧的后连续视频帧中的一种或多种。
2.如权利要求1所述的方法，其特征在于，所述确定包括所述当前视频帧和所述当前视频帧的参考帧的多帧视频帧中任意一组相邻帧的帧间运动矢量之前，还包括：
针对包括所述当前视频帧和所述当前视频帧的参考帧的多帧视频帧中任意一组相邻帧中的每帧视频帧包括的待处理图像块，分别执行：
在当前视频帧的前N帧视频帧中选择至少一帧视频帧，其中N为正整数；
根据所述当前视频帧的前N帧视频帧中确定的小物体区域，确定所述待处理图像块在所选择的所述至少一帧视频帧中对应的参考图像块是否均为小物体区域包括的图像块；
若是，则确定所述待处理图像块为第一类待处理图像块，否则，确定所述待处理图像块为第二类待处理图像块；
所述确定包括所述当前视频帧和所述当前视频帧的参考帧的多帧视频帧中任意一组相邻帧的帧间运动矢量，包括：
分别确定每个第一类待处理图像块和每个第二类待处理图像块的帧间运动矢量；
将确定的所述任意一组相邻帧中的每帧视频帧分别包括的每个第一类待处理图像块和每个第二类待处理图像块的帧间运动矢量，作为所述任意一组相邻帧的帧间运动矢量。
3.如权利要求2所述的方法，其特征在于，确定所述每个第一类待处理图像块的帧间运动矢量，包括：
分别确定所述第一类待处理图像块对应的每个候选运动矢量与所述第一类待处理图像块所在的视频帧的背景运动矢量的相差度值；
根据确定的各个候选运动矢量分别对应的相差度值，按照相差度值由小到大的顺序赋予权值由大到小的规则，为每个候选运动矢量分别赋予对应的权值；
根据为每个候选运动矢量分别赋予的权值和每个候选运动矢量指向的图像块与所述第一类待处理图像块的像素的SAD值，确定所述第一类待处理图像块的帧间运动矢量。
4.如权利要求2或3所述的方法，其特征在于，在当前视频帧的前N帧视频帧中选择至少一帧视频帧，包括：
选择当前视频帧的至少一帧前连续视频帧。
5.如权利要求3所述的方法，其特征在于，确定所述第一类待处理图像块的帧间运动矢量，包括：
针对每个候选运动矢量，确定所述候选运动矢量被赋予的权值和所述候选运动矢量指向的图像块与所述第一类待处理图像块的像素的SAD值的乘积，将乘积值最小的候选运动矢量作为所述第一类待处理图像块的帧间运动矢量。
6.如权利要求1所述的方法，其特征在于，所述根据所确定的包括所述当前视频帧和所述当前视频帧的参考帧的多帧视频帧中任意一组相邻帧的帧间运动矢量，以及确定的所述每个区域对应的全局运动矢量，确定所述当前视频帧中的小物体候选区域，包括：
根据包括所述当前视频帧和所述当前视频帧的参考帧的多帧视频帧中任意一组相邻帧的帧间运动矢量，在所述当前视频帧的每个参考帧中确定所述当前视频帧包括的每个图像块对应的匹配块；并
在每个参考帧中确定匹配块附近的附近块，并确定每个参考帧中确定的每个附近块的帧间运动矢量；
针对所述当前视频帧包含的每一图像块，确定针对所述图像块确定的各个附近块的帧间运动矢量与所述图像块的帧间运动矢量的相似度值，并确定每个附近块的帧间运动矢量与全局运动矢量的相差度值；
根据确定的相似度值和相差度值，确定当前视频帧中的小物体候选区域包括的图像块，其中，小物体候选区域包括的每个图像块满足当前视频帧对应的每个参考帧中包含的针对所述图像块确定的多个附近块中存在第一设定个数的附近块的相似度值均不小于第一阈值、且存在第二设定个数的附近块的相差度值均不小于第二阈值。
7.如权利要求1所述的方法，其特征在于，对当前视频帧中的小物体候选区域进行滤波之前，还包括：
将小物体候选区域包括的每个图像块标志特定标记；
对当前视频帧中的小物体候选区域进行滤波，将滤波后得到的区域确定为当前视频帧中的小物体区域，包括：
针对所述当前视频帧中小物体候选区域包括的每个图像块，确定在所述图像块水平方向上的第一设定范围内标志有所述特定标记的图像块的第一个数值、和在所述图像块垂直方向上的第二设定范围内标志有所述特定标记的图像块的第二个数值；
在确定的所述第一个数值或第二个数值大于第三阈值时，去除所述图像块的特定标记；以及
确定在所述图像块周围的第三设定范围内标志有所述特定标记的图像块的第三个数值；
在确定的所述第三个数值小于第四阈值时，去除所述图像块的特定标记；
将当前视频帧中标志有特定标记的图像块确定为当前视频帧中的小物体区域；
其中第三设定范围小于第一设定范围和第二设定范围，第四阈值小于第三阈值。
8.一种基于权利要求1～7任一确定视频帧中小物体区域的方法的在两相邻视频帧之间插补帧的方法，其特征在于，该方法包括：
确定前、后两相邻视频帧中的在前视频帧中的小物体区域和在后视频帧中的小物体区域；
对所述在前视频帧中的小物体区域和所述在后视频帧中的小物体区域以外的区域对应的帧间运动矢量进行平滑滤波；
根据所述在前视频帧中的小物体区域和所述在后视频帧中的小物体区域对应的帧间运动矢量，以及平滑滤波后得到的帧间运动矢量，在前、后两相邻视频帧之间插补帧。
9.一种基于权利要求1～7任一确定视频帧中小物体区域的方法的在两相邻视频帧之间插补帧的方法，其特征在于，该方法包括：
根据前、后两相邻视频帧的前N帧视频帧中的小物体区域包括的待处理图像块，将所述前、后两相邻视频帧中的每帧视频帧分别包括的待处理图像块分为第一类待处理图像块和第二类待处理图像块；
分别确定每个第一类待处理图像块和每个第二类待处理图像块的帧间运动矢量，以及将确定的所述前、后两相邻视频帧中的每帧视频帧分别包括的每个第一类待处理图像块和每个第二类待处理图像块的帧间运动矢量，作为所述前、后两相邻视频帧的帧间运动矢量；
根据得到的所述前、后两相邻视频帧的帧间运动矢量，在所述前、后两相邻视频帧之间插补帧，其中，N为正整数。
10.如权利要求9所述的方法，其特征在于，根据前、后两相邻视频帧的前N帧视频帧中的小物体区域包括的待处理图像块，将所述前、后两相邻视频帧中的每帧视频帧分别包括的待处理图像块分为第一类待处理图像块和第二类待处理图像块，包括：
针对所述前、后两相邻视频帧中的每帧视频帧分别包括的待处理图像块，执行：
在所述前、后两相邻视频帧的前N帧视频帧中选择至少一帧视频帧；
根据所述前、后两相邻视频帧的前N帧视频帧中的小物体区域，确定待处理图像块在选择的所述至少一帧视频帧中对应的参考图像块是否均为小物体区域包括的图像块；
若是，则确定所述待处理图像块为第一类待处理图像块，否则，确定所述待处理图像块为第二类待处理图像块。
11.如权利要求10所述的方法，其特征在于，分别确定每个第一类待处理图像块的帧间运动矢量，包括：
分别确定所述第一类待处理图像块对应的每个候选运动矢量与所述第一类待处理图像块所在的视频帧的背景运动矢量的相差度值；
根据确定的各个候选运动矢量分别对应的相差度值，按照相差度值由小到大的顺序赋予权值由大到小的规则，为每个候选运动矢量分别赋予对应的权值；
根据为每个候选运动矢量分别赋予的权值和每个候选运动矢量指向的图像块与所述第一类待处理图像块的像素的SAD值，确定所述第一类待处理图像块的帧间运动矢量。
12.如权利要求10或11所述的方法，其特征在于，在所述前N帧视频帧中选择至少一帧视频帧，包括：
选择所述前、后两相邻视频帧的至少一帧前连续视频帧。
13.如权利要求11所述的方法，其特征在于，确定所述第一类待处理图像块的帧间运动矢量，包括：
针对每个候选运动矢量，确定所述候选运动矢量被赋予的权值和所述候选运动矢量指向的图像块与所述第一类待处理图像块的像素的SAD值的乘积，将乘积值最小的候选运动矢量作为所述第一类待处理图像块的帧间运动矢量。
14.一种确定视频帧中小物体区域的装置，其特征在于，包括：
全局运动矢量确定单元，用于将当前视频帧划分为至少两个区域，确定每个区域对应的全局运动矢量，并将确定的所述全局运动矢量传输至区域确定单元；
帧间运动矢量确定单元，用于确定包括所述当前视频帧和所述当前视频帧的参考帧的多帧视频帧中任意一组相邻帧的帧间运动矢量，并将确定的所述帧间运动矢量传输至区域确定单元；所述帧间运动矢量为所述任意一组相邻帧中的每帧视频帧分别包括的待处理图像块的帧间运动矢量；
区域确定单元，用于根据来自所述帧间运动矢量确定单元的包括所述当前视频帧和所述当前视频帧的参考帧的多帧视频帧中任意一组相邻帧的帧间运动矢量，以及来自所述全局运动矢量确定单元的每个区域对应的全局运动矢量，确定所述当前视频帧中的小物体候选区域，并将确定的所述当前视频帧中的小物体候选区域信息传输至处理单元；
处理单元，用于根据来自所述区域确定单元的所述当前视频帧中的小物体候选区域信息，确定所述当前视频帧中的小物体候选区域，对所述当前视频帧中的小物体候选区域进行滤波，并将滤波后得到的区域确定为当前视频帧中的小物体区域；
其中，当前视频帧的参考帧包括当前视频帧的前连续视频帧和当前视频帧的后连续视频帧中的一种或多种。
15.如权利要求14所述的装置，其特征在于，还包括划分单元，用于在确定包括当前视频帧和当前视频帧的参考帧的多帧视频帧中任意一组相邻帧的帧间运动矢量之前，针对包括当前视频帧和当前视频帧的参考帧的多帧视频帧中任意一组相邻帧中的每帧视频帧包括的待处理图像块，分别执行：
在当前视频帧的前N帧视频帧中选择至少一帧视频帧；根据所述当前视频帧的前N帧视频帧中确定的小物体区域，确定所述待处理图像块在所选择的所述至少一帧视频帧中对应的参考图像块是否均为小物体区域包括的图像块；若是，则确定所述待处理图像块为第一类待处理图像块，否则，确定所述待处理图像块为第二类待处理图像块；
所述帧间运动矢量确定单元，具体用于分别确定每个第一类待处理图像块和每个第二类待处理图像块的帧间运动矢量；并将确定的所述任意一组相邻帧中的每帧视频帧分别包括的每个第一类待处理图像块和每个第二类待处理图像块的帧间运动矢量，作为所述任意一组相邻帧的帧间运动矢量。
16.如权利要求15所述的装置，其特征在于，所述帧间运动矢量确定单元，具体用于分别确定所述第一类待处理图像块对应的每个候选运动矢量与所述第一类待处理图像块所在的视频帧的背景运动矢量的相差度值；根据确定的各个候选运动矢量分别对应的相差度值，按照相差度值由小到大的顺序赋予权值由大到小的规则，为每个候选运动矢量分别赋予对应的权值；以及根据为每个候选运动矢量分别赋予的权值和每个候选运动矢量指向的图像块与所述第一类待处理图像块的像素的SAD值，确定所述第一类待处理图像块的帧间运动矢量。
17.如权利要求14所述的装置，其特征在于，所述区域确定单元，具体用于根据包括所述当前视频帧和所述当前视频帧的参考帧的多帧视频帧中任意一组相邻帧的帧间运动矢量，在所述当前视频帧的每个参考帧中确定所述当前视频帧包括的每个图像块对应的匹配块；并在每个参考帧中确定匹配块附近的附近块，并确定每个参考帧中确定的每个附近块的帧间运动矢量；针对所述当前视频帧包含的每一图像块，确定针对所述图像块确定的各个附近块的帧间运动矢量与所述图像块的帧间运动矢量的相似度值，确定每个附近块的帧间运动矢量与全局运动矢量的相差度值；根据确定的相似度值和相差度值，确定当前视频帧中的小物体候选区域包括的图像块，其中，小物体候选区域包括的每个图像块满足当前视频帧对应的每个参考帧中包含的针对所述图像块确定的多个附近块中存在第一设定个数的附近块的相似度值均不小于第一阈值、且存在第二设定个数的附近块的相差度值均不小于第二阈值。
18.如权利要求14所述的装置，其特征在于，还包括标志单元，用于在对当前视频帧中的小物体候选区域进行滤波之前，将小物体候选区域包括的每个图像块标志特定标记；
所述处理单元，具体用于针对所述当前视频帧中小物体候选区域包括的每个图像块，确定在所述图像块水平方向上的第一设定范围内标志有所述特定标记的图像块的第一个数值、和在所述图像块垂直方向上的第二设定范围内标志有所述特定标记的图像块的第二个数值；在确定的所述第一个数值或第二个数值大于第三阈值时，去除所述图像块的特定标记；以及确定在所述图像块周围的第三设定范围内标志有所述特定标记的图像块的第三个数值；在确定的所述第三个数值小于第四阈值时，去除所述图像块的特定标记；将当前视频帧中标志有特定标记的图像块确定为当前视频帧中的小物体区域，其中第三设定范围小于第一设定范围和第二设定范围，第四阈值小于第三阈值。
19.一种在两相邻视频帧之间插补帧的装置，其特征在于，包括：
确定单元，用于确定前、后两相邻视频帧中的在前视频帧中的小物体区域和在后视频帧中的小物体区域，并将确定的所述在前视频帧中的小物体区域和在后视频帧中的小物体区域的信息传输至滤波单元；
滤波单元，用于根据来自所述确定单元的所述在前视频帧中的小物体区域和在后视频帧中的小物体区域的信息，确定所述确定单元的所述在前视频帧中的小物体区域和在后视频帧中的小物体区域，对所述在前视频帧中的小物体区域和所述在后视频帧中的小物体区域以外的区域对应的帧间运动矢量进行平滑滤波，并将平滑滤波后得到的帧间运动矢量传输至插补单元；
插补单元，用于根据来自所述滤波单元的所述平滑滤波后得到的帧间运动矢量，以及所述在前视频帧中的小物体区域和所述在后视频帧中的小物体区域对应的帧间运动矢量，在所述前、后两相邻视频帧之间插补帧。
20.一种在两相邻视频帧之间插补帧的装置，其特征在于，包括：
划分单元，用于根据前、后两相邻视频帧的前N帧视频帧中的小物体区域包括的待处理图像块，将所述前、后两相邻视频帧中的每帧视频帧分别包括的待处理图像块分为第一类待处理图像块和第二类待处理图像块，并将所述第一类待处理图像块和第二类待处理图像块对应的划分信息传输至处理单元；
处理单元，用于根据来自所述划分单元的所述划分信息，确定所述前、后两相邻视频帧中的每帧视频帧分别包括的待处理图像块中的第一类待处理图像块和第二类待处理图像块，分别确定每个第一类待处理图像块和每个第二类待处理图像块的帧间运动矢量，以及将确定的所述前、后两相邻视频帧中的每帧视频帧分别包括的每个第一类待处理图像块和每个第二类待处理图像块的帧间运动矢量，作为所述前、后两相邻视频帧的帧间运动矢量，并将所述前、后两相邻视频帧的帧间运动矢量传输至插补单元；
插补单元，用于根据来自所述处理单元的所述前、后两相邻视频帧的帧间运动矢量，在所述前、后两相邻视频帧之间插补帧，其中，N为正整数。
21.如权利要求20所述的装置，其特征在于，所述划分单元，具体用于针对所述前、后两相邻视频帧中的每帧视频帧分别包括的待处理图像块，执行：
在所述前、后两相邻视频帧的前N帧视频帧中选择至少一帧视频帧；根据所述前、后两相邻视频帧的前N帧视频帧中的小物体区域，确定待处理图像块在选择的所述至少一帧视频帧中对应的参考图像块是否均为小物体区域包括的图像块；若是，则确定所述待处理图像块为第一类待处理图像块，否则，确定所述待处理图像块为第二类待处理图像块。
22.如权利要求21所述的装置，其特征在于，所述处理单元，具体用于分别确定所述第一类待处理图像块对应的每个候选运动矢量与所述第一类待处理图像块所在的视频帧的背景运动矢量的相差度值；根据确定的各个候选运动矢量分别对应的相差度值，按照相差度值由小到大的顺序赋予权值由大到小的规则，为每个候选运动矢量分别赋予对应的权值；根据为每个候选运动矢量分别赋予的权值和每个候选运动矢量指向的图像块与所述第一类待处理图像块的像素的SAD值，确定所述第一类待处理图像块的帧间运动矢量。
CN201310222076.4A 2013-06-05 2013-06-05 确定小物体区域的方法、视频帧之间插补帧的方法和装置 Active CN104219532B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201310222076.4A CN104219532B (zh) 2013-06-05 2013-06-05 确定小物体区域的方法、视频帧之间插补帧的方法和装置
EP14806792.9A EP2999223A4 (en) 2013-06-05 2014-04-18 METHOD FOR DETERMINING A REGION OF A SMALL OBJECT, AND METHOD AND APPARATUS FOR INTERPOLATING FRAME BETWEEN VIDEO FRAMES
PCT/CN2014/075717 WO2014194722A1 (zh) 2013-06-05 2014-04-18 确定小物体区域的方法、视频帧之间插补帧的方法和装置
US14/959,341 US9781382B2 (en) 2013-06-05 2015-12-04 Method for determining small-object region, and method and apparatus for interpolating frame between video frames

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310222076.4A CN104219532B (zh) 2013-06-05 2013-06-05 确定小物体区域的方法、视频帧之间插补帧的方法和装置

Publications (2)

Publication Number Publication Date
CN104219532A CN104219532A (zh) 2014-12-17
CN104219532B true CN104219532B (zh) 2017-10-17

Family

ID=52007515

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310222076.4A Active CN104219532B (zh) 2013-06-05 2013-06-05 确定小物体区域的方法、视频帧之间插补帧的方法和装置

Country Status (4)

Country Link
US (1) US9781382B2 (zh)
EP (1) EP2999223A4 (zh)
CN (1) CN104219532B (zh)
WO (1) WO2014194722A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10805627B2 (en) * 2015-10-15 2020-10-13 Cisco Technology, Inc. Low-complexity method for generating synthetic reference frames in video coding
CN107798272B (zh) * 2016-08-30 2021-11-02 佳能株式会社 快速多目标检测与跟踪系统
CN107124617B (zh) * 2017-03-08 2020-11-24 青岛信芯微电子科技股份有限公司 运动估计运动补偿中随机矢量的生成方法及系统
CN108702512B (zh) * 2017-10-31 2020-11-24 深圳市大疆创新科技有限公司 运动估计方法和装置
US10602178B1 (en) * 2017-12-21 2020-03-24 Mozilla Corporation Systems and methods for frame context selection
US10812756B2 (en) * 2019-02-19 2020-10-20 Novatek Microelectronics Corp. Movement detection circuit, motion estimation circuit, and associated movement detection method capable of recognizing movement of object in background
CN110211158B (zh) * 2019-06-04 2023-03-28 海信集团有限公司 候选区域确定方法、装置及存储介质
CN111327908B (zh) * 2020-03-05 2022-11-11 Oppo广东移动通信有限公司 一种视频处理方法及相关装置
CN113066001A (zh) * 2021-02-26 2021-07-02 华为技术有限公司 一种图像处理方法及相关设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1885946A (zh) * 2005-06-24 2006-12-27 三星电子株式会社 运动错误补偿器以及检测和补偿运动错误的方法
TW201322768A (zh) * 2011-11-24 2013-06-01 Novatek Microelectronics Corp 在動態影像中搜尋移動小物體的方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100287211B1 (ko) 1994-08-30 2001-04-16 윤종용 양방향 움직임 추정방법 및 장치
JP2005229154A (ja) * 2004-02-10 2005-08-25 Shibasoku:Kk 動きベクトル検出装置
JP4991890B2 (ja) * 2010-03-01 2012-08-01 株式会社東芝 補間フレーム生成装置及び方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1885946A (zh) * 2005-06-24 2006-12-27 三星电子株式会社 运动错误补偿器以及检测和补偿运动错误的方法
TW201322768A (zh) * 2011-11-24 2013-06-01 Novatek Microelectronics Corp 在動態影像中搜尋移動小物體的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Motion vector processing for frame rate up conversion;G.Dane,T.Q.Nguyen;《ACOUSTICS,SPEECH,AND SIGNAL PROCESSING,2004.PROCEEDINGS.IEEE CONFERENCE》;20040521;全文 *
Robust motion-compensated video upconversion;O.A.OJO,G.Haan;《IEEE TRANSACTIONS ON CONSUMER ELECTRONICS,IEEE SERVICE CENTER》;19971101;全文 *

Also Published As

Publication number Publication date
EP2999223A1 (en) 2016-03-23
CN104219532A (zh) 2014-12-17
EP2999223A4 (en) 2016-05-25
WO2014194722A1 (zh) 2014-12-11
US9781382B2 (en) 2017-10-03
US20160127678A1 (en) 2016-05-05

Similar Documents

Publication Publication Date Title
CN104219532B (zh) 确定小物体区域的方法、视频帧之间插补帧的方法和装置
US9153032B2 (en) Conversion method and apparatus with depth map generation
US8666192B2 (en) Apparatus and method for ultra-high resolution video processing
CN104253929B (zh) 视频降噪方法及其系统
CN103188493B (zh) 图像编码装置及图像编码方法
CN105430415B (zh) 一种3d‑hevc深度视频帧内快速编码方法
CN105890768B (zh) 一种红外图像非均匀性校正的方法及装置
CN104899853A (zh) 图像区域的划分方法及装置
CN110738611B (zh) 一种视频画质增强方法、系统及设备
CN110781740B (zh) 一种视频画质识别方法、系统及设备
CN112541584B (zh) 深度神经网络模型并行模式选择方法
CN107333027A (zh) 一种视频图像增强的方法和装置
CN111476835A (zh) 多视角图像一致性的无监督深度预测方法、系统、装置
CN109191511A (zh) 一种基于卷积神经网络的双目立体匹配方法
CN104836974A (zh) 视频播放器、显示装置、视频播放系统和视频播放方法
CN106471811A (zh) 用于视频编码的运动向量选择
CN107705270A (zh) 中值滤波的处理方法和装置、电子设备、计算机存储介质
CN110378250A (zh) 用于场景认知的神经网络的训练方法、装置及终端设备
CN106683043A (zh) 一种多通道光学探测系统的并行图像拼接方法、装置
CN113674156A (zh) 一种图像超分辨率重建的方法及系统
US11348336B2 (en) Systems and approaches for learning efficient representations for video understanding
CN109102463A (zh) 一种超分辨率图像重建方法及装置
US20140340399A1 (en) Method for rendering data of a three-dimensional surface
CN107204011A (zh) 一种深度图生成方法和装置
CN104754181B (zh) 一种视频噪声估计方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant