CN106464865B - 用于视频处理的基于块的静态区域检测方法、装置及系统 - Google Patents

用于视频处理的基于块的静态区域检测方法、装置及系统 Download PDF

Info

Publication number
CN106464865B
CN106464865B CN201580022862.7A CN201580022862A CN106464865B CN 106464865 B CN106464865 B CN 106464865B CN 201580022862 A CN201580022862 A CN 201580022862A CN 106464865 B CN106464865 B CN 106464865B
Authority
CN
China
Prior art keywords
static
block
map
frame
pixel blocks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580022862.7A
Other languages
English (en)
Other versions
CN106464865A (zh
Inventor
V·科瓦塞维奇
Z·潘迪奇
A·贝里克
R·瑟苏拉曼
J-P·贾卡龙
A·I·韦谢洛夫
M·R·格尔姆蒂诺夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN106464865A publication Critical patent/CN106464865A/zh
Application granted granted Critical
Publication of CN106464865B publication Critical patent/CN106464865B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)

Abstract

公开了用于执行用于视频处理的基于块的静态区域检测的方法、装置、系统和制品。所公开的示例视频处理方法包括将视频序列的第一帧中的像素分割成第一多个像素块。这种示例方法还可以包括对所述第一多个像素块以及与所述视频序列的之前的第二帧相对应的第二多个像素块进行处理以基于第一标准创建标识所述第一多个像素块中的一个或多个静态像素块的图。这种示例方法可以进一步包括基于所述图来标识所述视频序列的所述第一帧中的静态区域。

Description

用于视频处理的基于块的静态区域检测方法、装置及系统
技术领域
本公开总体上涉及视频处理，并且更具体地涉及用于视频处理的基于块的静态区域检测。
背景技术
在视频处理中，静态区域检测涉及标识视频帧的相对于视频序列中的之前的视频帧是静态的或者不变的一个或多个区域。通过标识视频帧中的 (诸)静态区域，然后可以在随后的视频处理操作(如帧速率上转换和/或视频压缩)过程中保存和/或利用此(诸)静态区域。
附图说明
图1是包括采用如在此公开的基于块的静态区域检测的静态区域检测器的示例视频处理系统的框图。
图2A-B和图3A-B展示了可以由未采用如在此公开的基于块的静态区域检测的先前视频处理系统创建的示例图像伪像。
图4是展示了图1的静态区域检测器的示例实现方式的框图。
图5展示了图4的示例静态区域检测器的示例操作。
图6是可以用于实现图4的示例静态区域检测器的示例静态块标准评估器的框图。
图7A-B展示了图6的示例静态块标准评估器的示例操作。
图8是可以用于实现图4的示例静态区域检测器的示例静态块标准调整器的框图。
图9是可以用于实现图4的示例静态区域检测器的示例静态图组合器的框图。
图10展示了可以由图1的示例视频处理系统实现的示例运行结果。
图11是代表可以被执行以实现图1和/或图4的示例静态区域检测器的示例机器可读指令的流程图。
图12是代表可以被执行以实现图6的示例静态块标准评估器和/ 或图1和/或图4的示例静态区域检测器中的静态块标准评估和静态图标准的示例机器可读指令的流程图。
图13是代表可以被执行以实现图9的示例静态图组合器和/或图1 和/或图4的示例静态区域检测器中的静态图组合的示例机器可读指令的流程图。
图14是代表可以被执行以实现图8的示例静态块标准调整器和/ 或图1和/或图4的示例静态区域检测器中的静态块标准调整的示例机器可读指令的流程图。
图15是可以执行图11至图13和/或图14的示例机器可读指令以实现图1的示例视频处理系统、图1和/或图4的示例静态区域检测器、图6 的示例静态块标准评估器、图8的示例静态块标准调整器和/或图9的示例静态图组合器。
在附图中通过举例而非限制的方式展示了在此所公开的材料。为了图示的简明和清晰，图中所展示的元件不一定按比例绘制。例如，为清楚起见，某些元件的尺寸相对于其他元件可能被放大了。此外，在任何可能的情况下，相同的参考号将贯穿(诸)附图和附随的书面描述使用来指代相同或相似的部分、元件等。
具体实施方式
在此公开了用于实现用于视频处理的基于块的静态区域检测的方法、装置、系统和制品(例如，物理存储介质)。在此公开的一些示例视频处理方法包括将视频序列的第一帧中的像素分割成第一多个像素块。一些这种示例方法还包括对所述第一多个像素块以及与所述视频序列的之前的第二帧相对应的第二多个像素块进行处理以基于一个或多个标准创建标识所述第一多个像素块中的一个或多个静态像素块的图。一些这种示例方法进一步包括基于所述图来标识所述视频序列的所述第一帧中的一个或多个静态区域。
在一些公开的示例方法中，所述处理所述第一多个像素块和所述第二多个像素块包括基于第一标准评估所述第一多个像素块和所述第二多个像素块以确定第一静态块标识结果。一些这种示例方法还包括基于第二标准评估所述第一多个像素块以及所述第二多个像素块以确定第二静态块标识结果。一些这种示例方法进一步包括将所述第一和第二静态块标识结果进行组合以创建标识所述第一多个像素块中的所述一个或多个静态像素块的所述图。
在一些公开的示例方法中，所述一个或多个标准包括绝对差之和标准。在这种示例方法中，所述处理所述第一多个像素块和所述第二多个像素块包括计算所述第一多个像素块的第一像素块中的像素与所述第二多个像素块的相应第二像素块中的相应像素之间的绝对差之和。一些这种示例方法还包括基于将所述绝对差之和与阈值进行比较来判定所述第一像素块是否为静态块。
在一些公开的示例方法中，所述一个或多个标准包括边缘计数标准。在一些这种示例方法中，所述处理所述第一多个像素块和所述第二多个像素块包括确定标识所述视频序列的所述第一帧中的边缘的边缘图。一些这种示例方法还包括对与在所述边缘图中标识的所述边缘相关联的所述第一多个像素块的第一像素块中的像素数量进行计数。一些这种示例方法进一步包括基于将所述数量与阈值进行比较来判定所述第一像素块是否为静态块。
在一些公开的示例方法中，所述一个或多个标准包括边缘对应关系标准。在一些这种示例方法中，所述处理所述第一多个像素块和所述第二多个像素块包括确定标识所述视频序列的所述第一帧中的边缘的第一边缘图。一些这种示例方法还包括标识所述第一多个像素块的第一像素块中的第一边缘像素，所述第一边缘像素与在所述第一边缘图中标识的所述边缘相关联。一些这种示例方法进一步包括确定不具有与在所述第二多个像素块的相应第二像素块中的对应第二边缘像素的边缘对应关系的第一边缘像素的数量。例如，当两个边缘像素具有相同的帧位置并且与同一边缘定向相关联时所述两个边缘像素具有边缘对应关系。一些这种示例方法另外包括基于将所述数量与阈值进行比较来判定所述第一像素块是否为静态块。
在一些公开的示例方法中，所述第一帧具有多个视频分量，所述第一多个像素块与第一视频分量平面相关联，并且所述图是第一图。一些这种示例方法包括将所述视频序列的所述第一帧中的所述像素分割成与不同于所述第一视频分量平面的第二视频分量平面相关联的第三多个像素块。一些这种示例方法还包括：对所述第三多个像素块以及与所述视频序列的所述之前的第二帧的所述第二视频分量平面相对应的第四多个像素块进行处理以基于所述一个或多个标准创建标识所述第三多个像素块中的一个或多个静态像素块的第二图。一些这种示例方法进一步包括基于所述第一和第二图来标识所述视频序列的所述第一帧中的所述一个或多个静态区域。在一些这种示例中，所述标识所述第一帧中的所述一个或多个静态区域包括将所述第一图和所述第二图进行组合以确定标识所述视频序列的所述第一帧中的一个或多个静态像素块的整体图。
在一些公开的示例方法中，所述图是第一图。一些这种示例方法包括将所述视频序列的所述第一帧中的所述像素分割成第三多个像素块，从而使得所述第三多个像素块中的一些部分地覆盖所述第一多个块中的一些。一些这种示例方法还包括：对所述第三多个像素块以及与所述视频序列的所述之前的第二帧相对应的第四多个像素块进行处理以基于所述一个或多个标准创建标识所述第三多个像素块中的一个或多个静态像素块的第二图。在一些这种示例中，所述第四多个像素块中的一些部分地覆盖所述第二多个块中的一些。一些这种示例方法进一步包括基于所述第一和第二图来标识所述视频序列的所述第一帧中的所述一个或多个静态区域。在一些这种示例中，所述标识所述第一帧中的所述一个或多个静态区域包括将所述第一图和所述第二图进行组合以确定标识所述视频序列的所述第一帧中的一个或多个静态子像素块的整体图。例如，所述第一帧中的第一子块被包括在所述第一多个像素块的第一像素块以及所述第三多个块的第一块中，并且所述整体图具有比所述第一和第二块更精细的分辨率。一些这种示例方法还包括基于所述整体图来标识所述视频序列的所述第一帧中的所述一个或多个静态区域。
在一些公开的示例方法中，所述图是第一图。这种示例方法还可以包括基于以下各项中的至少一项调整所述一个或多个标准中的第一标准：(1) 所述视频序列的所述第一帧与所述第二帧之间确定的相关性，或者(2)对标识所述第二多个像素块中的与所述视频序列的所述之前的第二帧相对应的一个或多个静态像素块的之前的第二图的评估。
以下更加详细地公开了用于实现用于视频处理的基于块的静态区域检测的这些和其他示例方法、装置、系统和制品(例如，物理存储介质)。
如以上所提及的，静态区域检测涉及标识视频帧的相对于视频序列中的之前的视频帧是静态的或者不变的一个或多个区域。然后可以在随后的视频处理操作(如帧速率上转换和/或视频压缩)过程中保存和/或利用(如果适当的话)经标识的静态区域。然而，图像帧中的静态区域的错误检测会在视频序列的移动区域中产生不期望的伪像。类似地，静态区域的错失检测或者换言之在实际上静态区域中的运动的错误预测会在视频序列的静止区域中产生不期望的伪像。如以下进一步详细讨论的，在此公开的示例采用基于块的静态区域检测并且在至少一些示例中采用可以减小视频序列中的(诸)静态区域的错误和/或错失检测的可能性的多个检测标准。
转至附图，在图1中展示了采用在此公开的基于块的静态区域检测的示例视频处理系统100的至少一部分的框图。所展示的示例的视频处理系统 100对示例输入视频序列105进行处理以产生示例输出视频序列110。视频序列105和110各自包括一系列按顺序的视频帧(也被称为图像、图像帧等)。视频序列105或110中的视频帧可以包括一个或多个视频分量，其中，每个视频分量对应于视频帧的对应分量平面。例如，为了支持彩色视频，视频序列105 或110中的视频帧可以包括一个亮度分量(也被称为Y分量)和两个色度分量 (也被称为U和V分量)，并且这种视频帧可以分解到一个亮度分量平面和两个色度分量平面中。具有不同分量和/或更多或更少分量的其他视频帧表示可以由在此公开的视频处理系统100以及基于块的静态区域检测技术支持。
在图1所展示的示例中，视频处理系统100包括实现如在此公开的基于块的静态区域检测的示例静态区域检测器115以检测输入视频序列105的视频帧中的一个或多个静态区域。通常，输入视频序列105的视频帧的静态区域是视频帧的相对于输入视频序列105的之前的视频帧的静态的或者不变的区域。相反地，视频帧的相对于输入视频序列105中的之前的视频帧的同一区域变化的区域被认为是与运动相关联的区域。在图4中展示了静态区域检测器 115的示例实现方式，以下进一步对其进行详细描述。
在随后的视频处理操作过程中可以保存由所展示的静态区域检测器115标识的(诸)静态区域(例如，以通过避免将伪像引入(诸)静态区域中而提高视频质量)。另外或替代性地，可以在随后的视频处理操作过程中利用所标识的(诸)静态区域(例如，以通过利用视频序列中的冗余提高视频压缩性能)。例如，在图1所展示的示例中，静态区域检测器115将标识输入视频序列105中的视频帧的(诸)经检测的静态区域的信息提供给示例帧速率上转换器120。视频序列的帧速率指视频序列的对应于给定时间间隔的帧数。例如，帧速率可以用帧每秒(fps)、赫兹(Hz)等单位或者任何其他合适的单位表示。典型的视频帧速率可以包括例如15fps(或15Hz)、30fps(或30Hz)、 60fps(或60Hz)、120fps(或120Hz)等。通常，帧速率上转换涉及处理具有第一帧速率(例如，60fps或60Hz)的输入视频序列105，以产生由具有较高的第二帧速率(例如，120fps或120Hz)表示同一视频图像的输出视频序列110。所展示的示例的帧速率上转换器120实现任意数量和/或(多种)类型的帧速率上边频技术以提高输入视频序列105与输出视频序列110之间的帧速率。例如，帧速率上转换器120可以实现用于在输入视频序列105的两个现有帧之间插入新视频帧的插值、用于从输入视频序列105的一个或多个现有帧中预测新视频帧的预测、其他技术或者其任意组合。
在图1所展示的示例中，帧速率上转换器120接收由静态区域检测器115在输入视频序列105的视频帧中标识的(诸)静态区域。示例帧速率上转换器120然后可以在上转换过程中使用此信息来保存输入视频序列105的视频帧中的静态区域以形成输出视频序列110。如果未正确地保存静态区域，则可以通过帧速率上转换引入到输出视频序列110中的图像伪像示例被展示在图 2A-B和图3A-B中。例如，图2A描绘了示例输入视频序列105的示例视频帧。图2B描绘了示例输出视频序列110的相应经上转换的帧，所述经上转换的帧展现了可以由帧速率上转换引起的展现了静态区域的错失检测(或者，换言之，运动的错误检测)的显著伪像(例如，如模糊)。图3A描绘了另一个示例输入视频序列105的示例视频帧。图3B描绘了示例输出视频序列110的相应经上边频的帧，所述经上转换的帧展现了可以由帧速率上转换引起的展现了静态区域的错误检测的显著伪像(例如，如成块)。如在此公开且由图1中的示例静态区域检测器115采用的基于块的静态区域检测减小了输入视频序列105中的(诸)静态区域的错误检测和/或错失检测的可能性，这减小了输出视频序列 110展现图2B和/或图3B的示例中所展示的非期望伪像的可能性。
在所展示的示例中，视频处理系统100进一步包括还示例运动估计器125。所展示的示例的运动估计器125使用任何合适技术或者(诸)技术组合确定用于表征输入视频序列105的连续视频帧之间的运动的运动数据。例如，由运动估计器125确定的运动数据可以包括但不限于一个或多个运动向量、参考索引、帧间方向(Inter Direction)等。在图1所展示的示例中，由运动估计器125确定的运动数据可以由帧速率上转换器120使用以插入、预测和/或以其他方式创建新帧以便包含在将在输入视频序列105的视频帧中所展现的运动考虑在内的输出序列110中。在一些示例中，运动估计器125可以使用由静态区域检测器115提供的静态区域信息以提高所确定的运动数据的准确度、质量等。另外或替代性地，在一些示例中，静态区域检测器115可以使用由运动估计器 125确定的运动数据来验证使用如在此公开的基于块的静态区域检测所检测的 (诸)静态区域的正确性。以下进一步详细公开了静态区域检测器115的用于使用运动数据验证静态区域检测的操作。
尽管基于块的静态区域检测是在图1的示例视频系统100的上下文中进行描述的，在此公开的基于块的静态区域检测并不局限于此。例如，在此公开的基于块的静态区域检测并不局限于与帧速率上转换一起使用，而可以与另外的或可替代的视频处理技术(如视频压缩等)一起使用。
在图4中展示了图1的静态区域检测器115的示例实现方式的框图。图4的示例静态区域检测器115采用基于块的静态区域检测，所述检测可以更加稳健并且相比先前静态区域检测技术产生错误和/或错失静态区域检测的更低可能性(或概率)。并且，在此公开的基于块的静态区域检测相比涉及单独图像像素的比较的先前技术适于更高级的向量化，这可以有助于静态区域检测器115在硬件中的经济实现。
在所展示的示例中，图4的静态区域检测器115针对输入视频序列 105中的视频帧的不同视频分量平面独立地执行静态区域检测。例如，图4的静态区域检测器115针对输入视频帧的亮度(Y)平面和两个色度(U/V)平面独立地执行静态区域检测。如以下进一步详细公开的，图4的静态区域检测器115将输入视频序列105的视频帧分割成像素块并且利用输入视频序列105 的两个连续视频帧(例如，当前帧和之前的帧)的三个视频分量(例如，一个亮度和两个色度)来针对经历处理的每个视频分量平面创建单独的二值静态图。针对视频帧(例如，被处理的当前视频帧)的给定视频分量平面的二值静态图中的每位对应于经分割的视频帧的给定视频分量平面中的对应像素块并且指示相应的像素块是否为静态块。在一些示例中，在每个视频分量平面中针对静态块检测使用同一静态块检测标准，而在其他示例中，针对不同视频分量平面可以使用不同静态块检测标准。以下进一步详细地公开了可以由静态区域检测器115采用的示例静态块检测标准。
在图4所展示的示例中，静态区域检测器115将针对不同视频分量平面的二值静态图组合成标识视频帧(例如，被处理的当前视频帧)中的静态像素块的整体二值静态图。在一些示例中，静态区域检测器115对整体二值静态图进行后处理以提高检测可靠性。所标识的静态像素块然后可以被分组为静态区域和/或被静态区域检测器115提供给其他视频处理模块(如示例帧速率上转换器120)。在一些示例中，由图4的示例静态区域检测器115实现进一步的处理增强。
图4的示例静态区域检测器115包括用于将输入视频序列105的视频帧分割成像素的块(也被称为像素块)的示例视频分割器405。例如，视频分割器405可以将输入视频帧分割成各包含16×16个像素的多个像素块，这种像素块适合于支持针对具有1080个像素的竖直分辨率(1080p)的视频序列的运动估计算法。在其他示例中，视频分割器405可以将输入视频帧分割成具有其他尺寸(例如，4×4个像素、8×8个像素等)的多个像素块。并且，在一些示例中，由视频分割器405确定的像素块的尺寸是可编程的或者以其他方式是可配置的(例如，经由用户输入)。在图4所展示的示例中，视频分割器405 分割每个视频分量平面(例如，亮度平面以及两个色度平面)以针对给定输入视频帧形成具有像素块的三个经分割的视频分量平面(例如，在图4所展示的示例中由标记来自视频分割器405的输出线的“3”表示)。
图4的示例静态区域检测器115还包括用于处理由视频分割器405 提供的经分割的视频分量平面的示例静态块标准评估器410以在输入视频帧的对应视频分量平面中标识零个或更多个静态像素块。在所展示的示例中，为了在输入视频序列105的当前(例如，第一)视频帧中标识零个或更多个静态块，静态块标准评估器410针对一个或多个静态块检测标准对当前(例如，第一) 视频帧中的像素块以及输入视频序列105的之前的(例如，第二)视频帧中的相应像素块进行评估。如果针对给定当前的/之前的像素块对满足静态块检测标准，那么静态块标准评估器410指示当前视频帧中的相应像素块为静态块。以下进一步详细地公开了可以由静态块标准评估器410评估的静态块检测标准的示例。在图4所展示的示例中，静态块标准评估器410针对由视频分割器405 分割的每个视频分量平面(例如，亮度平面和两个色度平面)单独地执行静态块评估。因此，针对视频帧的给定像素块，静态块标准评估器410针对给定输入视频帧的每个视频分量产生单独的静态块检测结果(例如，在图4所展示的示例中由标记来自静态块标准评估器410的输出线的“3”表示)。在图6中展示了静态块标准评估器410的示例实现方式，以下进一步对其进行详细描述。
图4的示例静态区域检测器115进一步包括示例静态图创建器415 以创建标识由示例静态块标准评估器410确定的零个或更多个静态像素块的静态图。例如，静态图创建器415可以针对由视频分割器405分割的每个视频分量平面(例如，亮度平面和两个色度平面)创建单独的静态图(例如，在图4 所展示的示例中由标记来自静态图创建器415的输出线的“3”表示)。针对视频帧(例如，被处理的当前视频帧)的给定视频分量平面的静态图中的每个字段对应于经分割的视频帧的给定视频分量平面中的对应像素块并且指示相应的像素块是否为静态块。例如，由静态图创建器415创建的静态图可以是二值静态图，其中，所述图的每个字段是具有逻辑值为“1”或“0”的位。在这种示例中，针对经分割的输入视频帧的给定视频分量平面中的给定像素块，静态图创建器415可以针对给定视频分量平面将二值静态图中的相应位设置为所述逻辑值之一(例如，“1”或“0”)以指示给定像素块为静态块，并且可以针对给定视频分量平面将二值静态图中的相应位设置为另一个逻辑值(例如，“0”或“1”)以指示给定像素块非静态块。在图4所展示的示例中，静态图创建器415根据由静态块标准评估器410提供的评估结果对其静态图的字段进行设置。
在图4所展示的示例中，静态区域检测器115包括用于存储由示例静态图创建器415针对被处理的输入视频帧的不同视频分量平面创建的静态图的示例静态图存储设备420。例如，如果示例视频分割器405在三个视频分量平面(例如，一个亮度平面和两个色度平面)之上对输入视频帧进行分割，那么静态图存储设备420存储针对输入视频帧的三个静态图、针对所述不同视频分量平面中的每个平面的一个静态图。示例静态图存储设备420可以由任意数量和/或(多种)类型的存储器、存储设备等实现，如，但不限于，示例处理器平台1500的存储器1514和/或存储设备1528，以下对其进行进一步详细的描述。
图4的示例静态区域检测器115包括用于将针对给定(例如，当前的)输入视频帧的不同静态图组合成标识给定(例如，当前的)输入视频帧中的零个或更多个静态像素块的整体静态图的静态图组合器425。例如，图4的静态图组合器425从示例静态图存储设备420中检索由示例静态图创建器415 针对给定(例如，当前的)输入视频帧的三个不同视频分量平面(例如，一个亮度和两个色度)创建的静态图(例如，在图4所展示的示例中由标记来自静态图组合器425的输出线的“3”表示)。静态图组合器425然后将针对不同视频分量平面的静态图组合成标识给定(例如，当前的)输入视频中的零个或更多个静态像素块的整体静态图。这种组合在此被称为“分量间组合”，因为所述静态图组合是跨两个或更多个不同视频分量平面执行的。以下进一步详细地公开了可以由静态图组合器425使用以将针对不同视频分量平面的静态图组合成整体静态图的示例技术。
在一些示例中，图4的静态图组合器425另外或替代性地实现“分量内组合”，所述组合指将与同一视频分量平面相关联的多个静态图进行组合。例如，当示例视频分割器405被配置成用于对输入视频序列的输入视频帧进行多次分割时可以使用分量内组合，其中，在每次分割迭代中像素块相对于与其他(多次)分割迭代相关联的像素块有所偏移。在这种示例中，由视频分割器 405在一次分割迭代中针对输入视频帧确定的像素块将部分地覆盖由视频分割器405在其他(多次)分割迭代中确定的像素块。跨不同分割迭代的重叠块区域定义了较小的子块。因此，对应于不同分割迭代由执行静态图的分量内组合的静态图组合器425确定的所产生的整体静态图将具有对应于较小子块尺寸的较高的分辨率。因为在由静态图组合器425在这种示例中确定的整体静态图中表示的像素子块各自与对应于覆盖给定子块的多个像素块的多个静态块决定相关联，所以针对给定子块的静态块决定的准确度可以通过将针对覆盖给定子块的多个像素块所做的决定进行组合而被提高。
在图5中展示了可以由示例视频分割器405执行的覆盖视频帧分割的示例以及可以由示例静态图组合器425执行的相应分量内组合。图5的示例对应于示例场景，其中，视频分割器405经过多次迭代对输入视频帧进行分割，从而使得像素块在连续的迭代中在或者水平方向或者竖直方向上偏移50％(或者一半)的像素块尺寸。例如，在图5中所展示的第一示例分割505中，视频分割器405在输入视频帧的左上角开始进行分割，其产生具有尺寸为16×16或者某个其他尺寸的像素块510等。在图5中所展示的第二示例分割520中，视频分割器405在水平方向上相对于第一示例分割505使分割偏移50％的像素块尺寸(例如，在此示例中为8个像素)以产生像素块525等。在图5中所展示的第三示例分割530中，视频分割器405在竖直方向上相对于第一示例分割505 使分割偏移50％的像素块尺寸(例如，在此示例中为8个像素)以产生像素块 535等。在图5中所展示的第四示例分割545中，视频分割器405在水平方向上相对于第三示例分割505使分割偏移50％的像素块尺寸(例如，在此示例中为8个像素)以产生像素块550等。
在图5的示例中，示例静态块标准评估器410和静态图创建器415 针对不同分割迭代505、520、530、545中的每次迭代执行静态块标准评估和静态图创建。例如，所展示的示例中的静态图创建器415输出对应于从第一示例分割505产生的三个不同视频分量平面的三个静态图、对应于从第二示例分割520产生的三个不同视频分量平面的三个静态图、对应于从第三示例分割 530产生的三个不同视频分量平面的三个静态图、对应于从第四示例分割545 产生的三个不同视频分量平面的三个静态图等。如在图5的示例中所示的，来自第一示例分割505的像素块510、来自第二示例分割520的像素块525、来自第三示例分割530的像素块535以及来自第四示例分割545的像素块550全部覆盖示例子块560(例如，其在所展示的示例中为8×8个像素)。在图5所展示的示例中，静态图组合器425可以针对给定视频分量平面执行分量内组合以将对应于不同示例分割505、520、530和545的不同静态图进行组合从而针对具有子块560的字段的给定视频分量平面确定单个组合的静态图。例如，针对给定视频分量平面在组合的静态图中的子块560的字段将是在针对不同分割迭代505、520、530和545创建的不同静态图中的子块510、525、535和550 的字段的组合。在图9中展示了图4的静态图组合器425的示例实现方式，以下进一步对其进行详细描述。
转至图4，示例静态图组合器425将针对给定(例如，当前的)输入视频帧的不同视频分量平面和/或针对给定(例如，当前的)输入视频帧的不同分割的静态图进行组合以产生标识给定(例如，当前的)输入视频帧中的(诸) 静态块(如果有的话)的单个整体静态图(例如，在图4所展示的示例中由标记来自静态图组合器425的输出线的“1”表示)。在一些示例中，图4的静态区域检测器115包括示例介质滤波器430，所述介质滤波器用于对针对给定(例如，当前的)输入视频帧的整体静态图进行滤波以去除标识(诸)隔离的静态或非静态块的假字段。示例中值滤波器430可以实现任意类型的中值滤波器和/或其他滤波/后处理以从由静态图组合器425输出的整体静态图中去除假静态/非静态块标识。在一些示例中，另外或替代性地针对处理由静态图组合器 425输出的整体静态图，中值滤波器430可以被配置成用于对由静态图创建器 415针对给定(例如，当前的)输入视频帧的单独的视频分量平面确定的静态图进行滤波/处理。
在图4所展示的示例中，静态区域检测器115包括用于输出标识由针对给定(例如，当前的)输入视频帧的整体静态图指示的(诸)静态区域(如果有的话)的信息的示例静态区域标识器435。例如，静态区域标识器435可以输出标识在针对给定(例如，当前的)输入视频帧的整体静态图中所指示的静态区域的位置信息。在一些示例中，区域标识器435对在针对给定(例如，当前的)输入视频帧的整体静态图中所指示的静态像素块进行组合以形成较大的静态区域，并且然后输出指定在给定(例如，当前的)输入视频帧中的静态区域的位置/尺寸/形状信息。
在一些示例中，图4的静态区域检测器115包括有待由示例静态区域标识器435输出的(诸)静态区域(如果有的话)的示例静态区域验证器440。在图4所展示的示例中，静态区域验证器440(例如，从示例运动估计器125) 获得验证信息并将此信息与有待由静态区域验证器440输出的静态块/区域进行比较。根据验证结果，静态区域验证器440可以使由静态区域标识器435输出的静态区域信息保持不变，或者可以使全部信息中的一部分改变(例如，由此使(诸)静态区域被标识为非静态和/或静态)。例如，静态区域验证器440 可以接收来自示例运动估计器125的采用运动数据(例如，运动向量)形式的验证信息。在这种示例中，静态区域验证器440将针对给定像素块的运动数据与针对给定像素块的经滤波的静态图字段进行比较。如果运动数据指示像素块与运动少相关联或者不相关联(例如，如果运动数据具有(诸)较小幅值)并且静态图字段将像素块标识为静态块，则像素块为静态块的标识保持不变。类似地，如果运动数据指示像素块与运动相关联(例如，如果运动数据具有(诸) 较大幅值)并且静态图字段将像素块标识为非静态块，则像素块为非静态块的标识保持不变。然而，如果运动数据和静态图字段是发散的(例如，一个指示运动而另一个指示静止，或者反之亦然)，那么被输入到静态区域验证器440 的运动数据的幅值和/或可靠度可以用于判定是否改变针对给定像素块的静态图字段。例如，如果运动数据强烈地指示像素块与几乎没有运动的区域相关联，但是针对那个像素块的静态图字段将像素块指示为非静态块，那么静态区域验证器440可以修正静态图字段以将像素块标识为静态块。相反地，如果运动数据强烈地指示像素块与具有运动的区域相关联，但是针对那个像素块的静态图字段将像素块指示为静态块，那么静态区域验证器440可以修正静态图字段以将像素块标识为非静态块。
在一些示例中，图4的静态区域检测器115包括用于调整由示例静态块标准评估器410评估的静态块检测标准的示例静态块标准调整器445。例如，一些示例的静态块标准调整器445检查被处理的输入(例如，当前的)视频帧与之前的帧之间的相关性以判定输入视频帧的区域是否对应于具有运动或没有运动的区域。如果适当的话，静态块标准调整器445然后可以因此调整静态块检测标准中的一个或多个静态块检测标准。作为另一个示例，一些示例的静态块标准调整器445检查由静态区域检测器115确定的之前的静态图并应用滞后和其他反馈来判定是否调整静态块检测标准中的一个或多个静态块检测标准并且如果是的话则调整多少。在图8中展示了图4的静态块标准调整器 445的示例实现方式，以下进一步对其进行详细描述。
在图6中展示了图4的静态块标准评估器410的示例实现方式。如以上所提及的，静态块标准评估器410针对一个或多个静态块检测标准对输入视频序列105的当前的(例如，第一)视频帧中的像素块以及之前的(例如，第二)视频帧中的相应像素块进行评估以标识当前的(例如，第一)视频帧中的零个或更多个静态像素块。在一些示例中，静态块标准评估器410针对当前的(例如，第一)视频帧的不同视频分量平面执行独立的静态块标准评估。
转至图6，所展示的示例静态块标准评估器410包括逐块像素比较器605，所述逐块像素比较器用于根据绝对差之和标准将当前的(例如，第一) 视频帧的第一像素块与之前的(例如，第二)视频帧的相应第二像素块中的像素进行比较以判定第一像素块是否为静态块。当前的(例如，第一)视频帧的第一像素块与之前的(例如，第二)视频帧的相应第二像素块都定位在相同的帧位置处并且在相同的视频分量平面中并且因此彼此对应。在图6所展示的示例中，逐块像素比较器605计算第一像素块中的像素与第二像素块中相应的像素(例如，在相同帧位置处)之间的绝对差之和。逐块像素比较器605然后将所述绝对差之和与阈值进行比较。如果所述绝对差之和满足(例如，小于)阈值，则逐块像素比较器605将当前的(例如，第一)视频帧的第一像素块标识为静态块。否则，逐块像素比较器605将当前的(例如，第一)视频帧的第一像素块标识为非静态块。
在一些示例中，逐块像素比较器605针对不同视频分量平面采用不同阈值。例如，逐块像素比较器605可以当评估亮度平面中的像素块的绝对差之和时采用第一阈值，并且当评估色度平面之一中的像素块的绝对差之和时采用不同第二阈值。举例来讲，对于包含256个总像素的16×16的像素块，逐块像素比较器605可以针对亮度平面使用每个像素为3的阈值，从而产生绝对差之和将要与之进行比较的3×256＝768的总阈值。然而，逐块像素比较器605 可以针对色度平面中的每个色度平面使用每个像素为4的阈值，从而产生绝对差之和将要与之进行比较的4×256＝1024的总阈值。可以替代性地使用用于计算用在亮度和/或色度平面中的阈值和/或在其全部内容中的不同阈值。
图6的示例静态块标准评估器410还包括用于创建针对当前输入视频帧的边缘图的示例边缘图创建器610。在一些示例中，边缘图创建器610针对当前输入视频帧的不同视频分量平面创建单独的边缘图。边缘图创建器610 可以使用任何类型或组合的边缘映射技术来标识当前输入视频帧中的边缘。例如，所展示的示例中的边缘图创建器610将水平和竖直索贝尔算子应用于当前输入视频帧的不同视频分量平面(例如，亮度和色度平面)。由边缘图创建器 610判定的所产生的边缘图来标识当前输入视频帧中的每个像素是否为竖直边缘的一部分、水平边缘的一部分、竖直边缘和水平边缘两者的一部分、不是边缘的一部分等。
图6的示例静态块标准评估器410进一步包括示例逐块边缘计数器 615和示例逐块边缘对应关系评估器620中的一者或两者以使用由边缘图创建器610创建的(诸)边缘图来判定当前输入视频帧的给定像素块是否为静态块。例如，逐块边缘计数器615针对边缘计数标准(例如，针对给定视频分量平面) 对当前输入视频帧的给定像素块中的像素进行比较以判定给定像素块中是否存在足够数量的边缘像素来作出准确的静态块判定。例如，逐块边缘计数器615 可以使用由边缘图创建器610针对给定视频分量平面创建的边缘图以针对给定视频分量平面确定给定像素块中的哪些像素与边缘相关联并且因此被认为是边缘像素。所展示的示例的逐块边缘计数器615然后对给定像素块中的边缘像素的数量进行计数并且将所述数量与阈值进行比较。如果边缘像素的数量满足 (例如，大于或等于)阈值，那么逐块边缘计数器615指示针对给定视频分量平面可以对给定像素块作出静态块确定。
然而，如果边缘像素的数量不满足(例如，小于)阈值，那么逐块边缘计数器615指示针对给定视频分量平面不可以对给定像素块作出静态块确定。例如，包含由于较大的运动引起的运动模糊和/或包含噪声(例如，源自光源变化、相机/传感器缺陷等)的像素块可以具有几个边缘，并且因此对那个像素块执行的静态检测可能是不可靠的。在一些示例中，根据因数通过对像素块中的多个像素进行划分来确定用于评估边缘像素数量的阈值。举例来讲，对于包含256个总像素的16×16的像素块，逐块边缘计数器615可以使用因数4来产生针对像素块中的边缘像素数量将要与之进行比较的256/4＝64的阈值。可以替代性地使用用于确定阈值的不同因数和/或技术。
在图6所展示的示例中，逐块边缘对应关系评估器620根据边缘对应关系标准将当前的(例如，第一)视频帧的第一像素块中的边缘像素与之前的(例如，第二)视频帧的第二像素块中的相应像素进行比较以判定第一像素块是否为静态块。例如，逐块边缘对应关系评估器620可以使用由边缘图创建器610针对给定视频分量平面创建的边缘图以确定当前的(例如，第一)视频帧的(并且针对给定视频分量平面的)给定像素块中的哪些像素与边缘相关联并且因此被认为是边缘像素。逐块边缘对应关系评估器620还可以使用边缘图来标识与第一像素块中的每个边缘像素相关联的边缘定向(例如，水平定向、竖直定向、水平定向和竖直定向两者、无定向等)。所展示的示例的逐块边缘对应关系评估器620然后将当前的(例如，第一)视频帧的(并且针对给定视频分量平面的)第一像素块中标识的边缘像素与之前的(例如，第二)视频帧的(并且针对给定视频分量平面的)相同位置处的相应像素进行比较以确定不在边缘对应关系中的像素对的数量(例如，不是两个边缘或者是两个边缘但是具有不同定向的像素对)。
图6的示例逐块边缘对应关系评估器620进一步将发散的像素对的数量(或者，换言之，不在对应关系中的像素对的数量)与阈值进行比较。如果当前的(例如，第一)视频帧的(并且针对给定视频分量平面的)第一像素块的发散的像素对的数量满足(例如，小于或等于)阈值，那么发散的边缘对的数量较小，并且因此逐块边缘对应关系评估器620将当前的(例如，第一) 视频帧的(并且针对给定视频分量平面的)第一像素块定义为静态块。否则，如果发散的边缘对的数量不满足(例如，大于)阈值，则逐块边缘对应关系评估器620将当前的(例如，第一)视频帧的(并且针对给定视频分量平面的) 第一像素块标识为非静态块。
在一些示例中，根据因数通过对像素块中的多个边缘像素进行划分来确定用于评估发散的边缘对的数量的阈值。举例来讲，逐块边缘对应关系评估器620可以使用因数32来对像素块中的所述多个边缘像素进行划分以确定用于评估发散的边缘对数量的阈值。由此，阈值根据被检查的像素块中的边缘像素的数量变化。针对具有256个总像素的16×6像素块，关于这种阈值的上限将是256/36＝8。因此，在这种示例中，如果在当前的和之前的像素块中多于8个边缘对不具有对应关系，那么当前像素块被标识为非静态的。可以替代性地使用用于确定阈值的不同因数和/或技术。
在图6所展示的示例中，静态块标准评估器410包括用于组合评估静态块检测标准的结果的示例评估组合器625(例如，其对应于组合由所展示的示例中的所有的示例逐块像素比较器605、示例逐块边缘计数器615和/或示例逐块边缘对应关系评估器620中的一者或多者获得的静态块检测结果，但也可以对应于在其他示例中的其他组标准)。在一些示例中，如果所有经评估的静态块标准指示给定像素块为静态块，则评估组合器625确定给定输入帧的给定视频分量平面中的给定像素块为静态块。否则，如果任一经评估的静态块标准指示给定像素块为非静态块，则评估组合器625确定给定像素块为非静态块。在其他示例中，如果大部分经评估的静态块标准指示给定像素块为静态块，则评估组合器625确定给定输入帧的给定视频分量平面中的给定像素块为静态块。否则，如果大部分经评估的静态块标准指示给定像素块为非静态块，则评估组合器625确定给定像素块为非静态块。在另外其他示例中，如果任何经评估的静态块标准指示给定像素块为静态块，则评估组合器625确定给定输入帧的给定视频分量平面中的给定像素块为静态块。否则，如果所有经评估的静态块标准指示给定像素块为非静态块，则评估组合器625确定给定像素块为非静态块。
图7A-B展示图6的示例静态块标准评估器410的示例操作。图7A 描绘了当前的(例如，第一)视频帧的第一像素块并且图7B描绘了之前的(例如，第二)视频帧的相应第二像素块。在图7A-B所展示的示例中，较浅阴影的像素对应于由示例边缘图创建器610标识的边缘像素。在示例操作中，逐块边缘计数器615对图7A中描绘的第一像素块中的边缘(例如，浅阴影)像素的数量进行计数并且确定边缘像素的数量满足用于执行静态块确定的阈值。在进一步示例操作中，示例逐块边缘对应关系评估器620确定在图7A中描绘的第一像素块与图7B中描绘的第二像素块之间的发散的像素对的数量满足用于评估发散的边缘对的数量的阈值。因此，在这种示例中，逐块边缘对应关系评估器620确定图7A中所描绘的第一像素块是静态块。
在图8中展示了图4的静态块标准调整器445的示例实现方式。如以上所提及的，静态块标准调整器445可以调整由示例静态块标准评估器410 评估的静态块检测标准。在一些示例中，静态块标准调整器445使当评估被处理的当前的(例如，第一)视频帧的不同像素块时应用针对静态块检测标准的不同调整。在其他示例中，静态块标准调整器445使(诸)相同的调整被应用于评估被处理的当前的(例如，第一)视频帧的所有像素块。
转至图8，在此所展示的示例静态块标准调整器445包括示例相平面相关器805，所述相平面相关器用于检查被处理的输入(例如，当前的)视频帧与之前的帧之间的相关性以判定输入视频帧的区域是否对应于具有运动或没有运动的区域。在所展示的示例中，相平面相关器805针对给定视频分量平面(也被称为给定相平面)将输入(例如，当前的)视频帧与之前的视频帧对划分成多个区域(例如，如具有512×256个像素或某个其他像素尺寸的区域)。然后，针对每个区域，相平面相关器805在给定区域中计算输入(例如，当前的)视频帧与之前的帧之间的相平面相关性。如果针对给定区域的第一(例如，最强)相关性峰值在对应于零运动的位置处，那么所展示的示例的相平面相关器805指示为了支持将给定区域中的像素块声明为静态块应对静态块检测标准中的一个或多个静态块检测标准进行调整。如果针对给定区域的第二(例如，第二强)相关性峰值在对应于零运动的位置处，那么所展示的示例的相平面相关器805使静态块检测标准不变以对给定区域中的像素块进行评估。如果针对给定区域的前两个相关性峰值(例如，最强峰和第二强峰)都不在对应于零运动的位置处，那么所展示的示例的相平面相关器805指示为了支持将给定区域中的像素块声明为静态块应对静态块检测标准中的一个或多个静态块检测标准进行调整。
在一些示例中，图8的示例静态块标准调整器445还包括示例静态图滞后评估器810，所述静态图滞后评估器可以检查由静态区域检测器115确定的之前的静态图并应用迟滞作用或其他反馈以调整(如果真会发生的话)静态块检测标准中的一个或多个静态块检测标准。例如，静态图滞后评估器810 可以在由静态区域检测器115确定的之前的静态图中检查针对给定像素块位置的字段和/或针对其邻居块位置的一个或多个字段。如果针对给定像素块位置和 /或其邻居块位置的一个或多个之前的静态图字段指示这些位置在之前的静态图(例如，其对应于之前的视频帧)中被标识为静态块，然后存在很大的可能性/概率使得被处理的当前视频帧中的给定像素块将仍为静态块。因此，在这种情况中，静态图滞后评估器810指示为了支持将给定区域中的像素块声明为静态块应对静态块检测标准中的一个或多个静态块检测标准进行调整。然而，如果针对当前视频帧中的给定像素块，所述给定像素块位置和/或其邻居块位置被标识为之前的静态图(例如，其对应于之前的视频帧)中的非静态块，然后存在很大的可能性/概率使得被处理的当前视频帧中的给定像素块将仍为非静态块。因此，在这种情况中，静态图滞后评估器810指示为了支持将给定区域中的像素块声明为非静态块应对静态块检测标准中的一个或多个静态块检测标准进行调整。
图8的示例静态块标准调整器445进一步包括用于指定有待基于来自相平面相关器805和/或静态图滞后评估器810的结果对静态块检测标准中的一个或多个静态块检测标准进行的这些调整(如果有的话)的示例静态块标准调整指定器815。在一些示例中，为了支持将给定区域中的像素块声明为静态块而调整静态块检测标准，静态块标准调整指定器815在第一方向上将具体静态块检测标准的阈值调整某个百分比值。相反地，在一些示例中，为了支持将给定区域中的像素块声明为非静态块而调整静态块检测标准，静态块标准调整指定器815在相反的第二方向上将具体静态块检测标准的阈值调整相同的或不同百分比值。例如，在一些示例中，静态块标准调整指定器815可以将由图6 的逐块像素比较器605使用的阈值调整(例如，增加)某个百分比(例如，10％、 25％等)以向着将给定区域中的像素块标识为静态块而对逐块像素比较器605 进行偏置并且可以将所述阈值调整(例如，减小)某个百分比(例如，10％、 25％等)以向着将给定区域中的像素块标识为非静态块而对逐块像素比较器 605进行偏置。另外或替代性地，在一些示例中，静态块标准调整指定器815 可以将由图6的逐块边缘对应关系评估器620使用的阈值调整(例如，增加) 某个百分比(例如，10％、25％等)以向着将给定区域中的像素块标识为静态块而对逐块边缘对应关系评估器620进行偏置，并且可以将所述阈值调整(例如，减小)某个百分比(例如，10％、25％等)以向着将给定区域中的像素块标识为非静态块而对逐块边缘对应关系评估器620进行偏置。
在图9中展示了图4的静态图组合器425的示例实现方式。如以上所提及的，静态图组合器425将针对给定(例如，当前的)输入视频帧的不同静态图组合成标识给定(例如，当前的)输入视频帧中的零个或更多个静态像素块的整体静态图。在图9所展示的示例中，静态图组合器425包括用于将与被处理的输入(例如，当前的)视频帧的同一视频分量平面相关联的多个静态图进行组合的示例分量内静态图组合器905。例如，针对给定视频分量平面(例如，亮度平面、色度平面之一等)，示例视频分割器405可以执行被处理的当前视频帧的多次分割迭代，其中，从第一次分割迭代获得的像素块部分地覆盖从第二次分割迭代获得的像素块。静态块标准评估器410然后可以针对给定视频分量平面将针对来自第一次分割迭代的当前视频帧获得的像素块与从之前的视频帧的相应第一次分割迭代获得的相应像素块进行比较以确定对应于当前视频帧的第一次分割迭代的(诸)静态块。类似地，静态块标准评估器410 可以针对给定视频分量平面将从当前视频帧的第二次分割迭代获得的像素块与从之前的视频帧的相应第二次分割迭代获得的相应像素块进行比较以确定对应于当前视频帧的第二次分割迭代的(诸)静态块。静态图创建器415然后可以针对每次分割迭代创建单独的静态图，所述静态图对应地标识在当前视频帧的每次分割迭代中检测到的静态块。
在一些这种示例中，分量内静态图组合器905将对应于不同分割迭代的不同静态图进行组合以形成针对给定视频分量平面的合成静态图。在一些示例中，针对给定视频分量平面的合成静态图中的每个字段对应于给定视频分量平面中的像素子块。像素子块对应于包括在不同分割迭代的像素块中的重叠像素块区域。例如，图5的子块560对应于分别包括在分割迭代505、520、530 和545的像素块510、525、535和550中的重叠像素块区域。因此，合成静态图的分辨率将比单独的静态图更精细(例如，更高分辨率)，因为合成静态图中的子块比对应于不同分割迭代的单独的静态图中的像素块更小。
在一些示例中，分量内静态图组合器905基于跨不同分割迭代的包含给定子块的部分或全部像素块的值确定针对给定子块的字段值。例如，如果 (跨不同分割迭代)包含子块的所有像素块具有将块标识为静态块的对应静态图字段，那么分量内静态图组合器905可以被设置成用于将针对给定子块的合成像素图字段的值设置为将子块标识为静态块的值(例如，逻辑“1”)。否则，如果包含子块的任何像素块具有将块标识为非静态块的对应图值，那么分量内静态图组合器905将针对给定子块的合成像素图字段的值设置为将子块标识为非静态块的值(例如，逻辑“0”)。在其他示例中，分量内静态图组合器905将针对给定子块的合成像素图字段的值设置为对应于(跨不同分割迭代) 包含子块的像素块的对应静态图字段的多数表决的值。在这种示例中，如果大多数(跨不同分割迭代)包含给定子块的像素块被标识为静态块，那么给定像素子块也被标识为静态块。否则，如果大多数(跨不同分割迭代)包含给定子块的像素块被标识为非静态块，那么给定像素子块也被标识为非静态块。
示例静态图组合器425还包括用于将与被处理的输入(例如，当前的)视频帧的不同视频分量平面相关联的多个静态图进行组合的示例分量间静态图组合器910。例如，并且如上所述，所展示的示例的静态图创建器415针对被处理的当前视频帧的不同视频分量平面(例如，一个亮度平面和两个色度平面)创建不同静态图，其中，每个静态图来标识在被处理的当前视频帧的对应视频分量平面中的静态块。在这种示例中，分量间静态图组合器910获得针对被处理的当前视频帧的不同视频分量平面确定的不同静态图(例如，如果存在示例分量内静态图组合器905的话其可以是合成静态图)并且将针对不同视频分量平面的单独的静态图组合成针对当前视频帧的整体静态图。
在一些示例中，如果针对不同视频分量平面对应于给定像素块的像素块全部具有将块标识为静态块的对应静态图字段，那么分量间静态图组合器 910被设置成用于将针对给定像素块的整体像素图字段的值设置为将给定像素块标识为静态块的值(例如，逻辑“1”)。否则，如果在不同视频分量平面中对应于给定兴趣像素块的任何像素块具有将块标识为非静态块的对应图值，那么这种示例的分量间静态图组合器910将针对给定像素块的整体像素图字段的值设置为将像素块标识为非静态块的值(例如，逻辑“0”)。在其他示例中，分量间静态图组合器910将针对给定兴趣像素块的整体像素图字段的值设置为对应于针对来自不同视频分量平面对应于给定兴趣像素块的像素块的对应静态图字段的多数表决的值。在这种示例中，如果来自不同视频分量平面对应于给定像素块的大多数像素块被标识为静态块，那么给定兴趣像素块被标识为静态块。否则，如果来自不同视频分量平面对应于给定像素块的大多数像素块被标识为非静态块，那么给定兴趣像素块被标识为非静态块。
图10展示了可以由图1的采用示例静态区域检测器115的示例视频处理系统100实现的示例运行结果。具体地，图10展示了可以当使用如由图1的静态区域检测器115实现的基于块的静态区域检测执行帧速率上转换时实现的示例帧插值结果。图10描绘了对应于由帧速率上转换器120在不使用由静态区域检测器115提供的任何静态区域信息的情况下确定的示例插值帧的示例帧1005。图10中所描绘的示例帧1010对应于由帧速率上转换器120利用由处于第一示例配置下的静态区域检测器115确定的静态区域信息确定的示例插值帧。在第一示例配置中，静态区域检测器115的静态块标准评估器410包括逐块像素比较器605和逐块边缘计数器615，但不包括逐块边缘对应关系评估器620。并且，在第一示例配置中，静态区域检测器115不包括静态块标准调整器445。
图10中所描绘的示例帧1015对应于由帧速率上转换器120利用由处于第二示例配置下的静态区域检测器115确定的静态区域信息确定的示例插值帧。在第二示例配置中，静态区域检测器115的静态块标准评估器410包括逐块像素比较器605、逐块边缘计数器615和逐块边缘对应关系评估器620。并且，在第二示例配置中，静态区域检测器115包括静态块标准调整器445。图10的示例帧1020中的浅阴影区域对应于由处于第二示例配置下的静态区域检测器115定义的静态区域。
虽然在图1至图10中展示的是实现示例视频处理系统100并且更确切地示例静态区域检测器115的示例方式，可以以任何其他方式组合、划分、重新安排、省略、消除和/或实现在图1至图10中展示的元件、处理和/或设备中的一个或多个。进一步地，可以通过硬件、软件、固件和/或硬件、软件和/ 或固件的任意组合来实现图1至图10中的示例帧速率上转换器120，示例运动估计器125、示例视频分割器405、示例静态块标准评估器410、示例静态图创建器415、示例静态图存储设备420、示例静态图组合器425、示例介质滤波器 430、示例静态区域标识器435、示例静态区域验证器440、示例静态块标准调整器445、示例逐块像素比较器605、示例边缘图创建器610、示例逐块边缘计数器615、示例逐块边缘对应关系评估器620、示例评估组合器625、示例相平面相关器805、示例静态图滞后评估器810、示例静态块标准调整指定器815、示例分量内静态图组合器905、示例分量间静态图组合器910和/或更一般地示例静态区域检测器115和/或示例视频处理系统100。因此，例如，可以通过一个或多个模拟或数字电路、逻辑电路、(诸)可编程处理器、(诸)应用专用集成电路(ASIC)、(诸)可编程逻辑器件(PLD)和/或(诸)现场可编程逻辑器件(FPLD)实现示例帧速率上转换器120，示例运动估计器125、示例视频分割器405、示例静态块标准评估器410、示例静态图创建器415、示例静态图存储设备420、示例静态图组合器425、示例介质滤波器430、示例静态区域标识器435、示例静态区域验证器440、示例静态块标准调整器445、示例逐块像素比较器605、示例边缘图创建器610、示例逐块边缘计数器615、示例逐块边缘对应关系评估器620、示例评估组合器625、示例相平面相关器805、示例静态图滞后评估器810、示例静态块标准调整指定器815、示例分量内静态图组合器905、示例分量间静态图组合器910和/或更一般地示例静态区域检测器115和/或示例视频处理系统100中的任何一个。当阅读此专利的任何装置或系统权利要求以覆盖仅软件和/或固件实现方式时，示例视频处理系统100、示例静态区域检测器115、示例帧速率上转换器120，示例运动估计器125、示例视频分割器405、示例静态块标准评估器410、示例静态图创建器415、示例静态图存储设备420、示例静态图组合器425、示例介质滤波器430、示例静态区域标识器435、示例静态区域验证器440、示例静态块标准调整器445、示例逐块像素比较器605、示例边缘图创建器610、示例逐块边缘计数器615、示例逐块边缘对应关系评估器620、示例评估组合器625、示例相平面相关器805、示例静态图滞后评估器810、示例静态块标准调整指定器815、示例分量内静态图组合器905、示例分量间静态图组合器910中的至少一者由此被明确地定义以包括存储软件和/或固件的有形计算机可读的存储设备或存储磁盘(如存储器、数字通用光盘(DVD)、光盘(CD)、蓝光磁盘等)。又进一步地，图 1至图10的示例视频处理系统100和/或示例静态区域检测器115可以包括除了在图1至图10中所展示的那些之外的或者代替的一个或多个元件、处理和/ 或设备，和/或可以包括所展示的元件、过程和设备的任何或全部中的不止一个。
在图11至图14中示出了代表用于实现示例视频处理系统100、示例静态区域检测器115、示例帧速率上转换器120，示例运动估计器125、示例视频分割器405、示例静态块标准评估器410、示例静态图创建器415、示例静态图存储设备420、示例静态图组合器425、示例介质滤波器430、示例静态区域标识器435、示例静态区域验证器440、示例静态块标准调整器445、示例逐块像素比较器605、示例边缘图创建器610、示例逐块边缘计数器615、示例逐块边缘对应关系评估器620、示例评估组合器625、示例相平面相关器805、示例静态图滞后评估器810、示例静态块标准调整指定器815、示例分量内静态图组合器905、示例分量间静态图组合器910的示例机器可读指令的流程图。在这些示例中，机器可读指令包括用于由处理器(如以下关于图15讨论的在示例处理器平台1500中示出的处理器1512)执行的一个或多个程序。一个或多个程序或其(诸)部分可以被体现在存储在有形计算机可读存储介质(如 CD-ROM、软盘、硬盘驱动器、数字通用光盘(DVD)、蓝光光盘TM)或与处理器1512相关联的存储器上的软件中，但是完整的一个或多个程序和/或其多部分可以替代性地由除了处理器1512之外的设备执行和/或被体现在固件或专用硬件(例如，由ASIC、PLD、FPLD、离散逻辑等实现)中。并且，可以手动地实现由图11至图14的流程图表示的机器可读指令中的一个或多个机器可读指令。进一步地，尽管(诸)示例程序是参照图11至图14中所展示的流程图描述的，可以替代性地使用用于实现示例视频处理系统100、示例静态区域检测器115、示例帧速率上转换器120，示例运动估计器125、示例视频分割器 405、示例静态块标准评估器410、示例静态图创建器415、示例静态图存储设备420、示例静态图组合器425、示例介质滤波器430、示例静态区域标识器 435、示例静态区域验证器440、示例静态块标准调整器445、示例逐块像素比较器605、示例边缘图创建器610、示例逐块边缘计数器615、示例逐块边缘对应关系评估器620、示例评估组合器625、示例相平面相关器805、示例静态图滞后评估器810、示例静态块标准调整指定器815、示例分量内静态图组合器 905、示例分量间静态图组合器910的许多其他方法。例如，参照图11至图14 中所展示的流程图，块的执行顺序可以被改变，和/或所描述的块中的一些可以被改变、消除、组合和/或划分成多个块。
如以上所提及的，可以使用存储在有形计算机可读存储介质(如信息可被存储在其中持续任何时长(例如，持续延长时间段、永久地、短暂片刻、暂时地缓冲、和/或高速缓存信息)的硬盘驱动器、闪存存储器、只读存储器 (ROM)、致密盘(CD)、数字多功能盘(DVD)、缓存、随机存取存储器 (RAM)和/或任何其他存储设备或存储盘)上的经编码的指令(例如计算机和/或机器可读指令)来实现图11和图-14的示例过程。如在此所使用的，术语有形计算机可读存储介质被明确地定义为包括任何类型的计算机可读存储设备和/或存储盘并且不包括传播信号并且不包括传输介质。如在此所使用的，术语“有形计算机可读存储介质”和“有形机器可读存储介质”可互换使用。另外或替代性地，可以使用存储在非瞬态计算机和/或机器可读介质(如硬盘驱动器、闪存存储器、ROM、CD、DVD、缓存、RAM和/或任何其他存储设备或存储盘)上的经编码的指令(例如计算机和/或机器可读指令)来实现图11-14 的示例过程，在该计算机或机器可读介质中可对信息进行任何时长(例如扩展的时间段、永久地、简单实例、暂时缓存和/或信息的缓存)的存储。如在此所使用的，术语“非瞬态计算机可读介质”被明确地定义为包括任何类型的计算机可读存储设备和/或存储盘并且不包括传播信号并且不包括传输介质。如在此所使用的，当短语“至少”被用作权利要求前序部分中的过渡术语时，其与术语“包括”是开放式的相同的方式是开放式的。并且，如在此使用的，除非另外指示，否则术语“计算机可读”和“机器可读”被认为是等效的。
可以被执行以实现图1和/或图4的示例静态区域检测器115的示例程序1100由图11中所示的流程图表示。示例程序1100可以被静态区域检测器115执行以执行在此公开的基于块的静态区域检测。如上所述，参照前面的附图以及相关联的书面描述，图11的示例程序1100从块1105处开始执行，在其处，静态区域检测器115获得用于处理的输入视频序列105的当前视频帧。在块1110处，如上所述，静态区域检测器115的示例视频分割器405将当前视频帧的不同视频分量平面(例如，一个亮度平面和两个色度平面)分割成多个像素块。
在块1115处，如上所述，静态区域检测器115针对每个视频分量平面针对一个或多个静态块检测标准对在块1100处针对当前视频帧获得的像素块和针对之前的视频帧的相应像素块进行评估以标识当前帧的每个视频分量平面中的(诸)静态块(如果有的话)。如以上进一步所述，在块1115处，静态区域检测器115使用这些评估结果来确定针对当前视频帧的不同视频分量平面的静态图。针对给定视频分量平面的静态图包括针对当前视频帧的给定视频分量平面中的每个像素块的字段，并且针对特定像素块的字段将像素块标识为或者静态块或者非静态块。在图12中展示了可以实现块1115处的处理的示例程序，以下进一步对其进行描述。
在块1120处，静态区域检测器115判定是否支持如上所述的具有当前视频帧的重叠的多次分割迭代。如果支持具有重叠的多次分割迭代(块 1120)，那么在块1125处，静态区域检测器115判定分割当前视频帧的所有迭代是否已完成。如果当前视频帧的分割未完成(块1125)，那么在块1130 处，静态区域检测器115的视频分割器405配置有用于下一次分割迭代的分割偏移。如上所述，处理然后返回至块1110以及在其后的块(在所述块处基于配置的偏移对当前视频帧进行分割)，并且在所产生的像素块中检测(诸)静态块(如果有的话)。
在块1135处，如上所述，静态区域检测器115的示例静态图组合器425组合在多个视频分量平面之上和/或在多个不同分割偏移之上针对当前视频帧确定的单独的静态图以确定标识当前视频帧中的(诸)静态块(如果有的话)的整体静态图。在图13中展示了可以实现块1135处的处理的示例程序，以下进一步对其进行描述。如上所述，在块1135处确定的整体静态图然后可以由静态区域检测器115进一步处理以标识当前视频帧的(诸)静态区域(如果有的话)。
可以被执行以实现图4和/或图6的示例静态块标准评估器410和/ 或图4的示例静态图创建器415和/或可以用于实现图11的在块1115处的处理的示例程序1115P由图12中所示的流程图表示。参照前面的附图以及相关联的书面描述，图12的示例程序1115P从块1205处开始执行，在其处，静态区域检测器115的静态块标准评估器410和静态图创建器415被配置成用于针对被处理的当前视频帧的给定视频分量平面(例如，亮度平面和色度平面之一)执行静态块检测。在块1210处，静态块标准评估器410基于静态块检测标准将当前视频帧与之前的视频帧的给定视频分量平面中的相应像素块进行比较以标识当前视频帧中的(诸)静态块(如果有的话)。例如，静态块标准评估器410可以使用上述示例逐块像素比较器605、示例逐块边缘计数器615和/ 或示例逐块边缘对应关系评估器620中的一个、一些或全部来在块1210处评估静态块检测标准。
在块1215处，如上所述，静态块标准评估器410的示例评估组合器625组合在块1210处评估静态块检测标准的结果以确定在当前视频帧的给定分量平面中的(诸)静态块(如果有的话)。在块1220处，静态图创建器 415创建针对当前视频帧的给定视频分量平面的静态图。如上所述，静态图包括针对当前视频帧的给定视频分量平面中的每个像素块的对应字段，并且静态图的值被设置用于指示哪些像素块(如果有的话)是静态块并且哪些像素块(如果有的话)是非静态块。在块1225处，静态区域检测器115使处理继续直到当前视频帧的所有视频分量平面已经被处理。在块1230处，静态图创建器415 输出和/或存储针对当前视频帧的不同视频分量平面确定的对应静态图。
可以被执行以实现图4和/或图9的示例静态图组合器425和/或可以用于实现图11的在块1135处的处理的示例程序1135P由图13中所示的流程图表示。参照前面的附图以及相关联的书面描述，图13的示例程序1135P 从块1305处开始执行，在其处，静态区域检测器115的静态图组合器425判定是否支持如上所述的具有当前视频帧的重叠的多次分割迭代。如果支持具有重叠的多次分割迭代(块1305)，那么在块1310处，静态图组合器425的示例分量内静态图组合器905被配置成用于针对被处理的当前视频帧的给定视频分量平面(例如，亮度平面和色度平面之一)执行分量内静态图组合。在块1315 处，分量内静态图组合器905执行针对当前视频帧的给定视频分量平面确定的不同静态图的分量内静态图组合。如上所述，不同静态图对应于当前视频的给定视频分量平面的具有不同分割偏移的不同分割，并且每个静态图来标识针对特定的分割偏移标识的(诸)静态块(如果有的话)。在块1315处，分量内静态图组合的结果是标识被处理的当前视频帧的给定视频分量平面中的(诸) 静态块(如果有的话)的单个合成静态图。
在块1320处，示例分量内静态图组合器905使处理继续直到针对当前视频帧的所有视频分量平面的分量内静态图组合已完成。在块1325处，如上所述，静态图组合器425的示例分量间静态图组合器910针对当前视频帧的不同视频分量平面执行不同静态图(其可以或者可以不是合成静态图)的分量间静态图组合以确定针对当前视频帧的整体静态图。所述整体静态图来标识被处理的当前视频帧中的(诸)静态块(如果有的话)。
可以被执行以实现图4和/或图8的示例静态块标准调整器445的示例程序1400由图14中所示的流程图表示。参照前面的附图以及相关联的书面描述，图14的示例程序1400从块1405处开始执行，在其处，静态区域检测器115的静态块标准调整器445被配置成用于评估被处理的当前视频帧的给定视频分量平面(例如，亮度平面和色度平面之一)。在块1410处，如上所述，静态块标准调整器445的示例相平面相关器805将输入视频序列105的当前的和之前的视频帧的(诸)区域进行比较以确定有待对由静态块标准评估器 410评估的静态块检测标准中的一个或多个静态块检测标准进行的(诸)调整 (如果有的话)。在块1415处，如上所述，静态块标准调整器445的示例静态图滞后评估器810检查针对输入视频序列105中的一个或多个之前的视频帧确定的一个或多个之前的静态图以确定有待对由静态块标准评估器410评估的静态块检测标准中的一个或多个静态块检测标准进行的(诸)调整(如果有的话)。在块1420处，静态块标准调整器445使处理继续直到所有视频分量平面的评估已完成。然后，在块1425处，如上所述，示例静态块标准调整指定器815基于在块1410和/或1415处获得的结果应用有待对静态块检测标准中的一个或多个静态块检测标准进行的(诸)调整(如果有的话)。
图15是能够执行图11至图14的指令以实现图1至图10的以下各项的示例处理器平台1500的框图：示例视频处理系统100、示例静态区域检测器115、示例帧速率上转换器120，示例运动估计器125、示例视频分割器405、示例静态块标准评估器410、示例静态图创建器415、示例静态图存储设备420、示例静态图组合器425、示例介质滤波器430、示例静态区域标识器435、示例静态区域验证器440、示例静态块标准调整器445、示例逐块像素比较器605、示例边缘图创建器610、示例逐块边缘计数器615、示例逐块边缘对应关系评估器620、示例评估组合器625、示例相平面相关器805、示例静态图滞后评估器810、示例静态块标准调整指定器815、示例分量内静态图组合器905、示例分量间静态图组合器910的示例机器可读指令的流程图。处理器平台1500可以是例如服务器、个人计算机、移动设备(例如手机、智能电话、平板计算机 (如iPadTM))、个人数字助理(PDA)、互联网设施、DVD播放器、CD播放器、数字视频记录器、蓝光播放器、游戏机、个人视频记录器、机顶盒、数字相机或任何其他类型的计算设备。
所展示的示例的处理器平台1500包括处理器1512。所展示的示例的处理器1512是硬件。例如，处理器1512可由来自任何所期望的家族或制造商的一个或多个集成电路、逻辑电路、微处理器或控制器来实现。
所展示的示例的处理器1512包括本地存储器1513(例如缓存)。所示示例的处理器1512经由链路1518与包括易失性存储器1514和非易失性存储器1516的主存储器通信。链路1518可以是由总线、一个或多个点对点连接或其组合实现的。易失性存储器1514可以由同步动态随机存取存储器 (SDRAM)、动态随机存储存储器(DRAM)、RAMBUS动态随机存取存储器(RDRAM)和/或任何其他类型的随机存取存储器设备实现。非易失性存储器1516可以由闪存和/或任何期望类型的存储器设备实现。对主存储器1514、 1516的访问由存储器控制器控制。
所展示的示例的处理器平台1500还包括接口电路1520。接口电路 1520可以由任何类型的接口标准(如以太网接口、通用串行总线(USB)和/ 或PCI总线接口来实现。
在所展示的示例中，一个或多个输入设备1522连接至接口电路 1520。所述(诸)输入设备1522准许用户将数据和命令输入到处理器1512中。所述(诸)输入设备可由例如音频传感器、麦克风、照相机(静物或视频)、键盘、按键、鼠标、触摸屏、轨迹板、轨迹球、轨迹条(如等点鼠标(isopoint))、语音识别系统和/或任何其它人机接口来实现。并且，许多系统(如处理器平台 1500)可以允许用户控制计算机系统并使用身体姿势(如但不限于手或身体移动、脸部表情以及脸部识别)为计算机提供数据。
一个或多个输出设备1524也连接至所展示的示例的接口电路 1520。输出设备1524可由例如显示设备(例如发光二极管(LED)、有机发光二极管(OLED)、液晶显示器、阴极射线管显示器(CRT)、触摸屏、触觉输出设备、发光二极管(LED)、打印机和/或扬声器)来实现。因而，所展示的示例的接口电路1520典型地包括图形驱动卡、图形驱动器芯片或图形驱动器处理器。
所展示的示例的接口电路1520还包括通信设备(如发射器、接收器、收发器、调制解调器和/或网络接口卡)以便经由网络1526(例如以太网连接、数字用户线(DSL)、电话线、同轴电缆、蜂窝电话系统等)促进与外部机器(例如任何种类的计算设备)的数据交换。
所展示的示例的处理器平台1500还包括用于存储软件和/或数据的一个或多个大容量存储设备1528。这种大容量存储设备1528的示例包括软盘驱动器、硬盘驱动器、致密盘驱动器、蓝光碟驱动器、RAID(独立磁盘冗余阵列)系统和数字多功能盘(DVD)驱动器。
对应于图11至图14的指令的经编码的指令1532可以存储在大容量存储设备1528中、在易失性存储器1514中、在非易失性存储器1516中、在本地存储器1513中和/或在如CD或DVD 1536的可移除的有形计算机可读存储介质上。
以下进一步的示例包括如一种用于执行用于视频处理的基于块的静态区域检测的方法、用于执行用于视频处理的基于块的静态区域检测的装置、包括当由机器执行时使机器执行用于视频处理的基于块的静态区域检测的指令的至少一种机器可读介质的主题，在此公开一种用于实现用于视频处理的基于块的静态区域检测的装置和/或系统。
示例1是一种视频处理方法，所述方法包括：将视频序列的第一帧中的像素分割成第一多个像素块。示例1的方法还包括：利用处理器对所述第一多个像素块以及与所述视频序列的之前的第二帧相对应的第二多个像素块进行处理以基于第一标准创建标识所述第一多个像素块中的一个或多个静态像素块的图。示例1的方法进一步包括：基于所述图来标识所述视频序列的所述第一帧中的静态区域。
示例2包括示例1的主题，其中，所述处理包括：基于所述第一标准评估所述第一多个像素块以及所述第二多个像素块以确定第一静态块标识结果；基于第二标准评估所述第一多个像素块以及所述第二多个像素块以确定第二静态块标识结果；以及将所述第一和第二静态块标识结果进行组合以创建标识所述第一多个像素块中的所述一个或多个静态像素块的所述图。
示例3包括示例1的主题，其中，所述第一标准包括绝对差之和标准，并且所述处理包括：计算所述第一多个像素块的第一像素块中的像素与所述第二多个像素块的相应第二像素块中的相应像素之间的绝对差之和；以及通过将所述绝对差之和与阈值进行比较来判定所述第一像素块是否为静态块。
示例4包括示例1的主题，其中，所述第一标准包括边缘计数标准，并且所述处理包括：确定标识所述视频序列的所述第一帧中的边缘的边缘图；对与在所述边缘图中标识的所述边缘相关联的所述第一多个像素块的第一像素块中的像素数量进行计数；以及通过将所述数量与阈值进行比较来判定所述第一像素块是否为静态块。
示例5包括示例1的主题，其中，所述第一标准包括边缘对应关系标准，并且所述处理包括：确定标识所述视频序列的所述第一帧中的边缘的第一边缘图；标识所述第一多个像素块的第一像素块中的第一边缘像素，所述第一边缘像素与在所述第一边缘图中标识的所述边缘相关联；确定不具有与在所述第二多个像素块的相应第二像素块中的对应第二边缘像素的边缘对应关系的第一边缘像素的数量，当两个边缘像素具有相同的帧位置并且与同一边缘定向相关联时所述两个边缘像素具有边缘对应关系；以及通过将所述数量与阈值进行比较来判定所述第一像素块是否为静态块。
示例6包括示例1的主题，其中，所述第一帧具有多个视频分量，所述第一多个像素块与第一视频分量平面相关联，所述图是第一图，并且所述方法进一步包括：将所述视频序列的所述第一帧中的所述像素分割成与不同于所述第一视频分量平面的第二视频分量平面相关联的第三多个像素块。示例6 还包括：对所述第三多个像素块以及与所述视频序列的所述之前的第二帧的所述第二视频分量平面相对应的第四多个像素块进行处理以基于所述第一标准创建标识所述第三多个像素块中的一个或多个静态像素块的第二图。示例6进一步包括：基于所述第一和第二图来标识所述视频序列的所述第一帧中的所述静态区域。
示例7包括示例6的主题，其中，基于所述第一和第二图来标识所述视频序列的所述第一帧中的所述静态区域包括将所述第一图和所述第二图进行组合以确定标识所述视频序列的所述第一帧中的一个或多个静态像素块的整体图。
示例8包括示例1的主题，其中，所述图是第一图，并且所述方法进一步包括。示例8还包括：将所述视频序列的所述第一帧中的所述像素分割成第三多个像素块，所述第三多个像素块中的一些部分地覆盖所述第一多个块中的一些。示例8还包括：对所述第三多个像素块以及与所述视频序列的所述之前的第二帧相对应的第四多个像素块进行处理以基于所述第一标准创建标识所述第三多个像素块中的一个或多个静态像素块的第二图，所述第四多个像素块中的一些部分地覆盖所述第二多个块中的一些。示例8进一步包括：基于所述第一和第二图来标识所述视频序列的所述第一帧中的所述静态区域。
示例9包括示例8的主题，其中，基于所述第一和第二图来标识所述视频序列的所述第一帧中的所述静态区域包括：将所述第一图与所述第二图进行组合以确定标识所述视频序列的所述第一帧中的一个或多个静态像素子块的整体图，所述第一帧中的第一子块被包括在所述第一多个像素块的第一像素块以及所述第三多个块的第一块中，所述整体图具有比所述第一和第二块更精细的分辨率。示例9还包括：基于所述整体图来标识所述视频序列的所述第一帧中的所述静态区域。
示例10包括示例1的主题，其中，所述图是第一图，并且所述方法进一步包括基于以下各项中的至少一项调整所述第一标准：(1)所述视频序列的所述第一帧与所述第二帧之间确定的相关性，或者(2)对标识所述第二多个像素块中的与所述视频序列的所述之前的第二帧相对应的一个或多个静态像素块的之前的第二图的评估。
示例11是如权利要求1至5中任一项所述的方法，其中，所述图是第一图，并且所述方法进一步包括基于以下各项中的至少一项调整所述第一标准：(1)所述视频序列的所述第一帧与所述第二帧之间确定的相关性，或者(2)对标识所述第二多个像素块中的与所述视频序列的所述之前的第二帧相对应的一个或多个静态像素块的之前的第二图的评估。
示例12是至少一种有形机器可读存储介质，包括多条机器可读指令，所述机器可读指令当被执行时使得机器至少将视频序列的第一帧中的像素分割成第一多个像素块。示例12的指令当被执行时还使所述机器：至少对所述第一多个像素块以及与所述视频序列的之前的第二帧相对应的第二多个像素块进行处理以基于第一标准创建标识所述第一多个像素块中的一个或多个静态像素块的图。示例12的指令当被执行时进一步使所述机器：至少基于所述图来标识所述视频序列的所述第一帧中的静态区域。
示例13包括示例12的主题，其中，所述机器可读指令当被执行时进一步使所述机器：至少基于所述第一标准评估所述第一多个像素块以及所述第二多个像素块以确定第一静态块标识结果；基于第二标准评估所述第一多个像素块以及所述第二多个像素块以确定第二静态块标识结果；以及将所述第一和第二静态块标识结果进行组合以创建标识所述第一多个像素块中的所述一个或多个静态像素块的所述图。
示例14包括示例12的主题，其中，所述第一标准包括绝对差之和标准，并且所述机器可读指令当被执行时进一步使所述机器：计算所述第一多个像素块的第一像素块中的像素与所述第二多个像素块的相应第二像素块中的相应像素之间的绝对差之和；以及通过将所述绝对差之和与阈值进行比较来判定所述第一像素块是否为静态块。
示例15包括示例12的主题，其中，所述第一标准包括边缘计数标准，并且所述机器可读指令当被执行时进一步使所述机器：确定标识所述视频序列的所述第一帧中的边缘的边缘图；对与在所述边缘图中标识的所述边缘相关联的所述第一多个像素块的第一像素块中的像素数量进行计数；以及通过将所述数量与阈值进行比较来判定所述第一像素块是否为静态块。
示例16包括示例12的主题，其中，所述第一标准包括边缘对应关系标准，并且所述机器可读指令当被执行时进一步使所述机器：确定标识所述视频序列的所述第一帧中的边缘的第一边缘图；标识所述第一多个像素块的第一像素块中的第一边缘像素，所述第一边缘像素与在所述第一边缘图中标识的所述边缘相关联；确定不具有与在所述第二多个像素块的相应第二像素块中的对应第二边缘像素的边缘对应关系的第一边缘像素的数量，当两个边缘像素具有相同的帧位置并且与同一边缘定向相关联时所述两个边缘像素具有边缘对应关系；以及通过将所述数量与阈值进行比较来判定所述第一像素块是否为静态块。
示例17包括示例12的主题，其中，所述第一帧具有多个视频分量，所述第一多个像素块与第一视频分量平面相关联，所述图是第一图，并且所述机器可读指令当被执行时进一步使所述机器：将所述视频序列的所述第一帧中的所述像素分割成与不同于所述第一视频分量平面的第二视频分量平面相关联的第三多个像素块；对所述第三多个像素块以及与所述视频序列的所述之前的第二帧的所述第二视频分量平面相对应的第四多个像素块进行处理以基于所述第一标准创建标识所述第三多个像素块中的一个或多个静态像素块的第二图；以及基于所述第一和第二图来标识所述视频序列的所述第一帧中的所述静态区域。
示例18包括示例17的主题，其中，所述机器可读指令当被执行时进一步使所述机器：将所述第一图和所述第二图进行组合以确定标识所述视频序列的所述第一帧中的一个或多个静态像素块的整体图。
示例19包括示例12的主题，其中，所述图是第一图，并且所述机器可读指令当被执行时进一步使所述机器：将所述视频序列的所述第一帧中的所述像素分割成第三多个像素块，所述第三多个像素块中的一些部分地覆盖所述第一多个块中的一些；对所述第三多个像素块以及与所述视频序列的所述之前的第二帧相对应的第四多个像素块进行处理以基于所述第一标准创建标识所述第三多个像素块中的一个或多个静态像素块的第二图，所述第四多个像素块中的一些部分地覆盖所述第二多个块中的一些；以及基于所述第一和第二图来标识所述视频序列的所述第一帧中的所述静态区域。
示例20包括示例19的主题，其中，所述机器可读指令当被执行时进一步使所述机器：将所述第一图与所述第二图进行组合以确定标识所述视频序列的所述第一帧中的一个或多个静态像素子块的整体图，所述第一帧中的第一子块被包括在所述第一多个像素块的第一像素块以及所述第三多个块的第一块中，所述整体图具有比所述第一和第二块更精细的分辨率；以及基于所述整体图来标识所述视频序列的所述第一帧中的所述静态区域。
示例21包括示例12的主题，其中，所述图是第一图，并且所述机器可读指令当被执行时进一步使所述机器：基于以下各项中的至少一项调整所述第一标准：(1)所述视频序列的所述第一帧与所述第二帧之间确定的相关性，或者(2)对标识所述第二多个像素块中的与所述视频序列的所述之前的第二帧相对应的一个或多个静态像素块的之前的第二图的评估。
示例22包括示例12至16中任一个示例的主题，其中，所述图是第一图，并且所述机器可读指令当被执行时进一步使所述机器：基于以下各项中的至少一项调整所述第一标准：(1)所述视频序列的所述第一帧与所述第二帧之间确定的相关性，或者(2)对标识所述第二多个像素块中的与所述视频序列的所述之前的第二帧相对应的一个或多个静态像素块的之前的第二图的评估。
示例23是至少一种有形机器可读存储介质，包括多条机器可读指令，所述机器可读指令当被执行时使得机器执行如示例1至11中任一项所述的方法。
示例24是一种视频处理装置，所述装置包括：分割器，所述分割器用于将视频序列的第一帧中的像素分割成第一多个像素块。示例24的装置还包括：评估器，所述评估器用于基于第一标准评估所述第一多个像素块以及对应于所述视频序列的在所述第一帧之前的第二帧的第二多个像素块以确定所述第一多个像素块中的一个或多个静态像素块。示例24的装置进一步包括：图创建器，所述图创建器用于创建将由所述评估器确定的所述一个或多个静态像素块标识为在所述第一多个像素块中的图。示例24的装置另外包括：标识器，所述标识器用于基于所述图来标识所述视频序列的所述第一帧中的静态区域。
示例25包括示例24的主题，其中，所述评估器用于：基于所述第一标准评估所述第一多个像素块以及所述第二多个像素块以确定第一静态块标识结果；以及基于第二标准评估所述第一多个像素块以及所述第二多个像素块以确定第二静态块标识结果。在示例25中，所述图创建器用于将所述第一和第二静态块标识结果进行组合以创建标识所述第一多个像素块中的所述一个或多个静态像素块的所述图。
示例26包括示例24的主题，其中，所述第一标准包括绝对差之和标准，并且所述评估器用于：计算所述第一多个像素块的第一像素块中的像素与所述第二多个像素块的相应第二像素块中的相应像素之间的绝对差之和；以及通过将所述绝对差之和与阈值进行比较来判定所述第一像素块是否为静态块。
示例27包括示例24的主题，其中，所述第一标准包括边缘计数标准，并且所述评估器用于：确定标识所述视频序列的所述第一帧中的边缘的边缘图；对与在所述边缘图中标识的所述边缘相关联的所述第一多个像素块的第一像素块中的像素数量进行计数；以及通过将所述数量与阈值进行比较来判定所述第一像素块是否为静态块。
示例28包括示例24的主题，其中，所述第一标准包括边缘对应关系标准，并且所述评估器用于：确定标识所述视频序列的所述第一帧中的边缘的第一边缘图；标识所述第一多个像素块的第一像素块中的第一边缘像素，所述第一边缘像素与在所述第一边缘图中标识的所述边缘相关联；确定不具有与在所述第二多个像素块的相应第二像素块中的对应第二边缘像素的边缘对应关系的第一边缘像素的数量，当两个边缘像素具有相同的帧位置并且与同一边缘定向相关联时所述两个边缘像素具有边缘对应关系；以及通过将所述数量与阈值进行比较来判定所述第一像素块是否为静态块。
示例29包括示例24的主题，其中，所述第一帧具有多个视频分量，所述第一多个像素块与第一视频分量平面相关联，所述图是第一图，并且所述分割器进一步用于：将所述视频序列的所述第一帧中的所述像素分割成与不同于所述第一视频分量平面的第二视频分量平面相关联的第三多个像素块。在示例29中，所述评估器进一步用于：基于所述第一标准评估所述第三多个像素块以及与所述视频序列的所述之前的第二帧的所述第二视频分量平面相对应的第四多个像素块以确定所述第三多个像素块中的一个或多个静态像素块。在示例29中，所述图创建器进一步用于：创建将由所述评估器确定的所述一个或多个静态像素块标识为在所述第三多个像素块中的第二图。在示例29中，所述标识器用于：基于所述第一和第二图来标识所述视频序列的所述第一帧中的所述静态区域。
示例30包括示例29的主题，其中，所述机器可读指令当被执行时进一步使所述机器：将所述第一图和所述第二图进行组合以确定标识所述视频序列的所述第一帧中的一个或多个静态像素块的整体图。
示例31包括示例24的主题，其中，所述图是第一图，并且所述分割器进一步用于：将所述视频序列的所述第一帧中的所述像素分割成第三多个像素块，所述第三多个像素块中的一些部分地覆盖所述第一多个块中的一些。在示例31中，所述评估器进一步用于：基于所述第一标准评估所述第三多个像素块以及与所述视频序列的所述之前的第二帧相对应的第四多个像素块以确定所述第三多个像素块中的一个或多个静态像素块，所述第四多个像素块中的一些部分地覆盖所述第二多个块中的一些。在示例31中，所述图创建器进一步用于：创建将由所述评估器确定的所述一个或多个静态像素块标识为在所述第三多个像素块中的第二图。在示例31中，所述标识器进一步用于：基于所述第一和第二图来标识所述视频序列的所述第一帧中的所述静态区域。
示例32包括示例31的主题，并且所示装置进一步包括图组合器，所述图组合器用于将所述第一图与所述第二图进行组合以确定标识所述视频序列的所述第一帧中的一个或多个静态像素子块的整体图的装置，所述第一帧中的第一子块被包括在所述第一多个像素块的第一像素块以及所述第三多个块的第一块中，所述整体图具有比所述第一和第二块更精细的分辨率。在示例 32中，所述标识器用于基于所述整体图来标识所述视频序列的所述第一帧中的所述静态区域。
示例33包括示例24的主题，其中，所述图是第一图，并且所述装置进一步包括标准调整器，所述标准调整器用于基于以下各项中的至少一项调整所述第一标准：(1)所述视频序列的所述第一帧与所述第二帧之间确定的相关性，或者(2)对标识所述第二多个像素块中的与所述视频序列的所述之前的第二帧相对应的一个或多个静态像素块的之前的第二图的评估。
示例34包括示例24至28中任一项的主题，其中，所述图是第一图，并且所述装置进一步包括标准调整器，所述标准调整器用于基于以下各项中的至少一项调整所述第一标准：(1)所述视频序列的所述第一帧与所述第二帧之间确定的相关性，或者(2)对标识所述第二多个像素块中的与所述视频序列的所述之前的第二帧相对应的一个或多个静态像素块的之前的第二图的评估。
示例35是一种装置，所述装置包括被配置成用于执行如示例1至 11中任一项所述的方法的处理器。
示例36是一种视频处理系统，所述系统包括：用于将视频序列的第一帧中的像素分割成第一多个像素块的装置。示例36的系统还包括：用于对所述第一多个像素块以及与所述视频序列的之前的第二帧相对应的第二多个像素块进行处理以基于第一标准创建标识所述第一多个像素块中的一个或多个静态像素块的图的装置。示例36的系统进一步包括：用于基于所述图来标识所述视频序列的所述第一帧中的静态区域的装置。
示例37包括示例36的主题，其中，所述处理装置包括：用于基于所述第一标准评估所述第一多个像素块以及所述第二多个像素块以确定第一静态块标识结果的装置；用于基于第二标准评估所述第一多个像素块以及所述第二多个像素块以确定第二静态块标识结果的装置；以及用于将所述第一和第二静态块标识结果进行组合以创建标识所述第一多个像素块中的所述一个或多个静态像素块的所述图的装置。
示例38包括示例36的主题，其中，所述第一标准包括绝对差之和标准，并且所述处理装置包括：用于计算所述第一多个像素块的第一像素块中的像素与所述第二多个像素块的相应第二像素块中的相应像素之间的绝对差之和的装置；以及用于通过将所述绝对差之和与阈值进行比较来判定所述第一像素块是否为静态块的装置。
示例39包括示例36的主题，其中，所述第一标准包括边缘计数标准，并且所述处理装置包括：用于确定标识所述视频序列的所述第一帧中的边缘的边缘图的装置；用于对与在所述边缘图中标识的所述边缘相关联的所述第一多个像素块的第一像素块中的像素数量进行计数的装置；以及用于通过将所述数量与阈值进行比较来判定所述第一像素块是否为静态块的装置。
示例40包括示例36的主题，其中，所述第一标准包括边缘对应关系标准，并且所述处理装置包括：用于确定标识所述视频序列的所述第一帧中的边缘的第一边缘图的装置；用于标识所述第一多个像素块的第一像素块中的第一边缘像素的装置，所述第一边缘像素与在所述第一边缘图中标识的所述边缘相关联；用于确定不具有与在所述第二多个像素块的相应第二像素块中的对应第二边缘像素的边缘对应关系的第一边缘像素的数量的装置，当两个边缘像素具有相同的帧位置并且与同一边缘定向相关联时所述两个边缘像素具有边缘对应关系；以及用于通过将所述数量与阈值进行比较来判定所述第一像素块是否为静态块的装置。
示例41包括示例36的主题，其中，所述第一帧具有多个视频分量，所述第一多个像素块与第一视频分量平面相关联，所述图是第一图，并且所述系统进一步包括用于将所述视频序列的所述第一帧中的所述像素分割成与不同于所述第一视频分量平面的第二视频分量平面相关联的第三多个像素块的装置。示例41还包括用于对所述第三多个像素块以及与所述视频序列的所述之前的第二帧的所述第二视频分量平面相对应的第四多个像素块进行处理以基于所述第一标准创建标识所述第三多个像素块中的一个或多个静态像素块的第二图的装置。示例41另外包括用于基于所述第一和第二图来标识所述视频序列的所述第一帧中的所述静态区域的装置。
示例42包括示例41的主题，其中，所述用于基于所述第一和第二图来标识所述视频序列的所述第一帧中的所述静态区域的装置包括用于将所述第一图和所述第二图进行组合以确定标识所述视频序列的所述第一帧中的一个或多个静态像素块的整体图的装置。
示例43包括示例36的主题，其中，所述图是第一图，并且所述分割器进一步用于：将所述视频序列的所述第一帧中的所述像素分割成第三多个像素块，所述第三多个像素块中的一些部分地覆盖所述第一多个块中的一些。示例43还包括用于对所述第三多个像素块以及与所述视频序列的所述之前的第二帧相对应的第四多个像素块进行处理以基于所述第一标准创建标识所述第三多个像素块中的一个或多个静态像素块的第二图的装置，所述第四多个像素块中的一些部分地覆盖所述第二多个块中的一些。示例43另外包括用于基于所述第一和第二图来标识所述视频序列的所述第一帧中的所述静态区域的装置。
示例44包括示例43的主题，其中，所述用于基于所述第一和第二图来标识所述视频序列的所述第一帧中的所述静态区域的装置包括：用于将所述第一图与所述第二图进行组合以确定标识所述视频序列的所述第一帧中的一个或多个静态像素子块的整体图的装置，所述第一帧中的第一子块被包括在所述第一多个像素块的第一像素块以及所述第三多个块的第一块中，所述整体图具有比所述第一和第二块更精细的分辨率。示例44还包括用于基于所述整体图来标识所述视频序列的所述第一帧中的所述静态区域的装置。
示例45包括示例36的主题，其中，所述图是第一图，并且所述系统进一步包括用于基于以下各项中的至少一项调整所述第一标准的装置：(1) 所述视频序列的所述第一帧与所述第二帧之间确定的相关性，或者(2)对标识所述第二多个像素块中的与所述视频序列的所述之前的第二帧相对应的一个或多个静态像素块的之前的第二图的评估。
示例46是如权利要求36至40中任一项所述的系统，其中，所述图是第一图，并且所述系统进一步包括用于基于以下各项中的至少一项调整所述第一标准的装置：(1)所述视频序列的所述第一帧与所述第二帧之间确定的相关性，或者(2)对标识所述第二多个像素块中的与所述视频序列的所述之前的第二帧相对应的一个或多个静态像素块的之前的第二图的评估。
示例47是一种系统，所述系统包括用于执行如示例1至11中任一项所述的方法的装置。
虽然在此已经公开了某些示例方法、装置和制品，但是本专利的覆盖范围不限于此。相反，本专利覆盖完全落入本专利的权利要求书的范围内的所有方法、装置和制品。

Claims (24)

1.一种视频处理方法，包括：
将视频序列的第一帧中的像素分割成第一多个像素块；
确定标识所述视频序列的所述第一帧中的边缘的边缘图；
对与所述边缘图中标识的所述边缘相关联的所述第一多个像素块的每一个像素块中的像素数量进行计数；
基于所计数的像素数量来确定每个像素块的边缘计数标准；
将所述第一多个像素块同与所述视频序列的之前的第二帧相对应的第二多个像素块进行比较；
基于所述边缘计数标准以及像素块之间的所述比较来确定标识所述第一多个像素块中的一个或多个静态像素块的图；以及
基于所述图来标识所述视频序列的所述第一帧中的静态区域。
2.如权利要求1所述的方法，其中，所述处理包括：
基于第一比较评估所述第一多个像素块以及所述第二多个像素块以确定第一静态块标识结果；
基于第二比较评估所述第一多个像素块以及所述第二多个像素块以确定第二静态块标识结果；以及
将所述第一和第二静态块标识结果进行组合以创建标识所述第一多个像素块中的所述一个或多个静态像素块的所述图。
3.如权利要求1所述的方法，其中，像素块之间的所述比较包括：
计算所述第一多个像素块的第一像素块中的像素与所述第二多个像素块的对应第二像素块中的对应像素之间的绝对差之和；以及
通过将所述绝对差之和与阈值进行比较来判定所述第一像素块是否为静态块。
4.如权利要求1所述的方法，其中，像素块之间的所述比较包括：
确定标识所述视频序列的所述第一帧中的边缘的第一边缘图；
标识所述第一多个像素块的第一像素块中的第一边缘像素，所述第一边缘像素与在所述第一边缘图中标识的所述边缘相关联；
确定与在所述第二多个像素块的对应第二像素块中的相应第二边缘像素不具有边缘对应关系的第一边缘像素的数量，当两个边缘像素具有相同的帧位置并且与同一边缘定向相关联时所述两个边缘像素具有边缘对应关系；以及
通过将所述确定的数量与阈值进行比较来判定所述第一像素块是否为静态块。
5.如权利要求1所述的方法，其中，所述第一帧具有多个视频分量，所述第一多个像素块与第一视频分量平面相关联，所述图是第一图，并且所述方法进一步包括：
将所述视频序列的所述第一帧中的所述像素分割成与不同于所述第一视频分量平面的第二视频分量平面相关联的第三多个像素块；
对所述第三多个像素块以及与所述视频序列的所述之前的第二帧的所述第二视频分量平面相对应的第四多个像素块进行处理以创建标识所述第三多个像素块中的一个或多个静态像素块的第二图；以及
基于所述第一和第二图来标识所述视频序列的所述第一帧中的所述静态区域。
6.如权利要求5所述的方法，其中，基于所述第一和第二图来标识所述视频序列的所述第一帧中的所述静态区域包括将所述第一图和所述第二图进行组合以确定标识所述视频序列的所述第一帧中的一个或多个静态像素块的整体图。
7.如权利要求1所述的方法，其中，所述图是第一图，并且所述方法进一步包括：
将所述视频序列的所述第一帧中的所述像素分割成第三多个像素块，所述第三多个像素块中的一些部分地覆盖所述第一多个像素块中的一些；
对所述第三多个像素块以及与所述视频序列的所述之前的第二帧相对应的第四多个像素块进行处理以创建标识所述第三多个像素块中的一个或多个静态像素块的第二图，所述第四多个像素块中的一些部分地覆盖所述第二多个像素块中的一些；以及
基于所述第一和第二图来标识所述视频序列的所述第一帧中的所述静态区域。
8.如权利要求7所述的方法，其中，基于所述第一和第二图来标识所述视频序列的所述第一帧中的所述静态区域包括：
将所述第一图与所述第二图进行组合以确定标识所述视频序列的所述第一帧中的一个或多个静态像素子块的整体图，所述第一帧中的第一子块被包括在所述第一多个像素块的第一像素块以及所述第三多个像素块的第一块中，所述整体图具有比所述第一和第二块更精细的分辨率；以及
基于所述整体图来标识所述视频序列的所述第一帧中的所述静态区域。
9.如权利要求1中所述的方法，其中，所述图是第一图，并且所述方法进一步包括基于以下各项中的至少一项调整第一标准：(1)所确定的所述视频序列的所述第一帧与所述第二帧之间的相关性，或者(2)对标识所述第二多个像素块中与所述视频序列的所述之前的第二帧相对应的一个或多个静态像素块的之前的第二图的评估。
10.至少一种有形机器可读存储介质，包括多条机器可读指令，所述机器可读指令当被执行时使得机器执行如权利要求1至9中任一项所述的方法。
11.一种视频处理装置，包括：
分割器，所述分割器用于将视频序列的第一帧中的像素分割成第一多个像素块；
边缘图创建器，所述边缘图创建器用于确定标识所述视频序列的所述第一帧中的边缘的边缘图；
逐块边缘计数器，所述逐块边缘计数器用于对与所述边缘图中标识的所述边缘相关联的所述第一多个像素块的每一个像素块中的像素数量进行计数；
标准调整器，所述标准调整器用于基于所计数的像素数量来确定每个像素块的边缘计数标准；
逐块像素比较器，逐块像素比较器用于将所述第一多个像素块与所述视频序列的在所述第一帧之前的第二帧相对应的第二多个像素块进行比较；
图创建器，所述图创建器用于基于所述边缘计数标准以及像素块之间的所述比较来创建将一个或多个静态像素块标识为在所述第一多个像素块中的图；以及
标识器，所述标识器用于基于所述图来标识所述视频序列的所述第一帧中的静态区域。
12.如权利要求11所述的装置，其中：
评估器，用于
基于第一标准评估所述第一多个像素块以及所述第二多个像素块以确定第一静态块标识结果；以及
基于第二标准评估所述第一多个像素块以及所述第二多个像素块以确定第二静态块标识结果；以及
所述图创建器用于将所述第一和第二静态块标识结果进行组合以创建标识所述第一多个像素块中的所述一个或多个静态像素块的所述图。
13.如权利要求12所述的装置，其中，所述第一标准包括绝对差之和标准，并且所述评估器用于：
计算所述第一多个像素块的第一像素块中的像素与所述第二多个像素块的对应第二像素块中的对应像素之间的绝对差之和；以及
通过将所述绝对差之和与阈值进行比较来判定所述第一像素块是否为静态块。
14.如权利要求12所述的装置，其中，所述第一标准包括边缘计数标准，并且所述评估器用于：
确定标识所述视频序列的所述第一帧中的边缘的边缘图；
对与在所述边缘图中标识的所述边缘相关联的所述第一多个像素块的第一像素块中的像素数量进行计数；以及
通过将所述数量与阈值进行比较来判定所述第一像素块是否为静态块。
15.如权利要求12所述的装置，其中，所述第一标准包括边缘对应关系标准，并且所述评估器用于：
确定标识所述视频序列的所述第一帧中的边缘的第一边缘图；
标识所述第一多个像素块的第一像素块中的第一边缘像素，所述第一边缘像素与在所述第一边缘图中标识的所述边缘相关联；
确定与在所述第二多个像素块的对应第二像素块中的相应第二边缘像素不具有边缘对应关系的第一边缘像素的数量，当两个边缘像素具有相同的帧位置并且与同一边缘定向相关联时所述两个边缘像素具有边缘对应关系；以及
通过将所述数量与阈值进行比较来判定所述第一像素块是否为静态块。
16.如权利要求12所述的装置，其中，所述第一帧具有多个视频分量，所述第一多个像素块与第一视频分量平面相关联，所述图是第一图，并且：
所述分割器进一步用于将所述视频序列的所述第一帧中的所述像素分割成与不同于所述第一视频分量平面的第二视频分量平面相关联的第三多个像素块；
所述评估器进一步用于基于所述第一标准评估所述第三多个像素块以及与所述视频序列的所述之前的第二帧的所述第二视频分量平面相对应的第四多个像素块以确定所述第三多个像素块中的一个或多个静态像素块；
所述图创建器进一步用于创建将由所述评估器确定的所述一个或多个静态像素块标识为在所述第三多个像素块中的第二图；以及
所述标识器用于基于所述第一和第二图标识所述视频序列的所述第一帧中的所述静态区域。
17.如权利要求16所述的装置，其中，还包括图组合器，所述图组合器用于将所述第一图和所述第二图进行组合以确定标识所述视频序列的所述第一帧中的一个或多个静态像素块的整体图。
18.如权利要求12所述的装置，其中，所述图是第一图，并且：
所述分割器进一步用于将所述视频序列的所述第一帧中的所述像素分割成第三多个像素块，所述第三多个像素块中的一些部分地覆盖所述第一多个块中的一些；
所述评估器进一步用于基于所述第一标准评估所述第三多个像素块以及与所述视频序列的所述之前的第二帧相对应的第四多个像素块，以确定所述第三多个像素块中的一个或多个静态像素块，所述第四多个像素块中的一些部分地覆盖所述第二多个块中的一些；
所述图创建器进一步用于创建将由所述评估器确定的所述一个或多个静态像素块标识为在所述第三多个像素块中的第二图；以及
所述标识器进一步用于基于所述第一和第二图标识所述视频序列的所述第一帧中的所述静态区。
19.如权利要求18所述的装置，还包括：
图组合器，所述图组合器用于将所述第一图与所述第二图进行组合以确定标识所述视频序列的所述第一帧中的一个或多个静态像素子块的整体图，所述第一帧中的第一子块被包括在所述第一多个像素块的第一像素块以及所述第三多个块的第一块中，所述整体图具有比所述第一和第二块更精细的分辨率；以及
所述标识符用于基于所述整体图来标识所述视频序列的所述第一帧中的所述静态区域。
20.如权利要求12中所述的装置，其中，所述图是第一图，并且进一步包括基于以下各项中的至少一项调整所述第一标准：(1)所确定的所述视频序列的所述第一帧与所述第二帧之间的相关性，或者(2)对标识所述第二多个像素块中与所述视频序列的所述之前的第二帧相对应的一个或多个静态像素块的之前的第二图的评估。
21.一种视频处理系统，包括：
用于将视频序列的第一帧中的像素分割成第一多个像素块的装置；
用于确定标识所述视频序列的所述第一帧中的边缘的边缘图的装置；
用于对与所述边缘图中标识的所述边缘相关联的所述第一多个像素块的每一个像素块中的像素数量进行计数的装置；
用于基于所计数的像素数量来确定每个像素块的边缘计数标准的装置；
用于将所述第一多个像素块同与所述视频序列的之前的第二帧相对应的第二多个像素块进行比较的装置；
基于所述边缘计数标准以及像素块之间的所述比较来确定标识所述第一多个像素块中的一个或多个静态像素块的图的装置；以及
用于基于所述图来标识所述视频序列的所述第一帧中的静态区域的装置。
22.如权利要求21所述的系统，其中，进一步包括：
用于基于第一比较评估所述第一多个像素块以及所述第二多个像素块以确定第一静态块标识结果的装置；
用于基于第二比较评估所述第一多个像素块以及所述第二多个像素块以确定第二静态块标识结果的装置；以及
用于将所述第一和第二静态块标识结果进行组合以创建标识所述第一多个像素块中的所述一个或多个静态像素块的所述图的装置。
23.如权利要求21所述的系统，其中，所述第一帧具有多个视频分量，所述第一多个像素块与第一视频分量平面相关联，所述图是第一图，并且所述系统进一步包括：
用于将所述视频序列的所述第一帧中的所述像素分割成与不同于所述第一视频分量平面的第二视频分量平面相关联的第三多个像素块的装置；
用于对所述第三多个像素块以及与所述视频序列的所述之前的第二帧的所述第二视频分量平面相对应的第四多个像素块进行处理以创建标识所述第三多个像素块中的一个或多个静态像素块的第二图的装置；以及
用于基于所述第一和第二图来标识所述视频序列的所述第一帧中的所述静态区域的装置。
24.如权利要求21所述的系统，其中，所述图是第一图，并且所述系统进一步包括：
用于将所述视频序列的所述第一帧中的所述像素分割成第三多个像素块的装置，所述第三多个像素块中的一些部分地覆盖所述第一多个块中的一些；
用于对所述第三多个像素块以及与所述视频序列的所述之前的第二帧相对应的第四多个像素块进行处理以创建标识所述第三多个像素块中的一个或多个静态像素块的第二图的装置，所述第四多个像素块中的一些部分地覆盖所述第二多个块中的一些；以及
用于基于所述第一和第二图来标识所述视频序列的所述第一帧中的所述静态区域的装置。
CN201580022862.7A 2014-05-27 2015-04-28 用于视频处理的基于块的静态区域检测方法、装置及系统 Active CN106464865B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/287,967 2014-05-27
US14/287,967 US9407926B2 (en) 2014-05-27 2014-05-27 Block-based static region detection for video processing
PCT/US2015/028025 WO2015183450A1 (en) 2014-05-27 2015-04-28 Block-based static region detection for video processing

Publications (2)

Publication Number Publication Date
CN106464865A CN106464865A (zh) 2017-02-22
CN106464865B true CN106464865B (zh) 2019-12-31

Family

ID=54699516

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580022862.7A Active CN106464865B (zh) 2014-05-27 2015-04-28 用于视频处理的基于块的静态区域检测方法、装置及系统

Country Status (5)

Country Link
US (1) US9407926B2 (zh)
EP (1) EP3149940B1 (zh)
KR (1) KR102074555B1 (zh)
CN (1) CN106464865B (zh)
WO (1) WO2015183450A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170076417A1 (en) * 2015-09-10 2017-03-16 Apple Inc. Display frame buffer compression
US9837053B1 (en) * 2016-06-07 2017-12-05 Novatek Microelectronics Corp. Display method of display device
US20180048817A1 (en) * 2016-08-15 2018-02-15 Qualcomm Incorporated Systems and methods for reduced power consumption via multi-stage static region detection
CN106412626B (zh) * 2016-10-31 2019-06-18 武汉斗鱼网络科技有限公司 一种直播视频的处理方法及装置
US10296464B2 (en) 2016-12-09 2019-05-21 Intel Corporation System, apparatus and method for dynamic profiling in a processor
TWI685247B (zh) * 2017-06-14 2020-02-11 晶睿通訊股份有限公司 影像處理方法及其相關的攝影裝置與攝影系統
JP6992351B2 (ja) * 2017-09-19 2022-01-13 富士通株式会社 情報処理装置、情報処理方法および情報処理プログラム
CN112215862B (zh) * 2020-10-12 2024-01-26 虎博网络技术(上海)有限公司 静态标识检测方法、装置、终端设备和可读存储介质
CN117079194B (zh) * 2023-10-12 2024-01-05 深圳云天畅想信息科技有限公司 云视频ai理解生成方法、装置及计算机设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201018215A (en) * 2008-10-27 2010-05-01 Realtek Semiconductor Corp Image processing apparatus and image processing method
CN101902631A (zh) * 2009-05-26 2010-12-01 北京风格九州文化传播有限公司 压缩视频中静态场景的快速定位方法
CN102665086A (zh) * 2012-04-26 2012-09-12 清华大学深圳研究生院 利用基于区域的局部立体匹配获取视差的方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7657098B2 (en) * 2005-05-02 2010-02-02 Samsung Electronics Co., Ltd. Method and apparatus for reducing mosquito noise in decoded video sequence
US7865015B2 (en) * 2006-02-22 2011-01-04 Huper Laboratories Co. Ltd. Method for video object segmentation
CA2675705A1 (en) 2007-01-16 2008-07-24 Utc Fire & Security Corporation System and method for video based fire detection
US8200028B2 (en) * 2007-12-07 2012-06-12 Csr Technology Inc. System and method for detecting edges in a video signal
US8619861B2 (en) 2008-02-26 2013-12-31 Microsoft Corporation Texture sensitive temporal filter based on motion estimation
FR2929736A1 (fr) 2008-04-02 2009-10-09 Thomson Licensing Sas Procede de detection de changement de scene dans une sequence d'images video.
US8947551B2 (en) * 2011-07-29 2015-02-03 Aptina Imaging Corporation Method and apparatus for frame rotation in the JPEG compressed domain
US20140002732A1 (en) 2012-06-29 2014-01-02 Marat R. Gilmutdinov Method and system for temporal frame interpolation with static regions excluding
US9609319B2 (en) 2012-07-06 2017-03-28 Intel Corporation Detection, location, and processing of static pixels

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201018215A (en) * 2008-10-27 2010-05-01 Realtek Semiconductor Corp Image processing apparatus and image processing method
CN101902631A (zh) * 2009-05-26 2010-12-01 北京风格九州文化传播有限公司 压缩视频中静态场景的快速定位方法
CN102665086A (zh) * 2012-04-26 2012-09-12 清华大学深圳研究生院 利用基于区域的局部立体匹配获取视差的方法

Also Published As

Publication number Publication date
EP3149940A1 (en) 2017-04-05
BR112016025109A2 (pt) 2017-08-15
US20150350666A1 (en) 2015-12-03
KR102074555B1 (ko) 2020-02-06
WO2015183450A1 (en) 2015-12-03
EP3149940B1 (en) 2021-08-04
KR20160138239A (ko) 2016-12-02
US9407926B2 (en) 2016-08-02
CN106464865A (zh) 2017-02-22
EP3149940A4 (en) 2018-01-10

Similar Documents

Publication Publication Date Title
CN106464865B (zh) 用于视频处理的基于块的静态区域检测方法、装置及系统
EP3488388B1 (en) Video processing method and apparatus
US9262811B2 (en) System and method for spatio temporal video image enhancement
US8699818B2 (en) Method, system, and program for determining image quality based on pixel changes between image frames
KR101097673B1 (ko) 화질 개선을 위한 노이즈 검출 및 평가 기술
CN102025959B (zh) 从低清晰度视频产生高清晰度视频的系统与方法
EP2180695B1 (en) Apparatus and method for improving frame rate using motion trajectory
CN103632352A (zh) 一种噪声图像的时域降噪方法和相关装置
US8295607B1 (en) Adaptive edge map threshold
CN103198311B (zh) 基于拍摄的图像来识别字符的方法及装置
KR20180054808A (ko) 이미지들 내의 움직임 검출
WO2010073177A1 (en) Image processing
US20120128243A1 (en) Component filtering for low-light noise reduction
US20140016866A1 (en) Method and apparatus for processing image
US20220036089A1 (en) Method, electronic apparatus and storage medium for detecting a static logo of a video
CN113627306B (zh) 关键点处理方法及装置、可读存储介质、终端
KR20130038393A (ko) 블록 아티팩트를 식별하기 위한 기법
KR20140029689A (ko) 영상 처리 시스템에서 움직임 추정 장치 및 방법
US11087444B2 (en) Field programmable gate array (FPGA) implementation and optimization of augmented contrast limited adaptive histogram equalization
US9818178B1 (en) Method and system for detection of ghosting artifact in a video
CN101141655A (zh) 影像信号像素点色彩值调整方法
CN111160340A (zh) 一种运动目标检测方法、装置、存储介质及终端设备
KR101359351B1 (ko) 연산 스킵 기법에 의한 고속 스테레오 영상 정합 방법
US20160093062A1 (en) Method and apparatus for estimating absolute motion values in image sequences
US8432976B2 (en) System and method for detecting field order of video sequences

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant