CN101878650A - 时间图像预测 - Google Patents

时间图像预测 Download PDF

Info

Publication number
CN101878650A
CN101878650A CN200880118271XA CN200880118271A CN101878650A CN 101878650 A CN101878650 A CN 101878650A CN 200880118271X A CN200880118271X A CN 200880118271XA CN 200880118271 A CN200880118271 A CN 200880118271A CN 101878650 A CN101878650 A CN 101878650A
Authority
CN
China
Prior art keywords
frame
estimation
prediction
framing
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200880118271XA
Other languages
English (en)
Other versions
CN101878650B (zh
Inventor
C·J·奥利克
R·韦伯
S·米勒
J·D·希尔兹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Publication of CN101878650A publication Critical patent/CN101878650A/zh
Application granted granted Critical
Publication of CN101878650B publication Critical patent/CN101878650B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors

Abstract

对于顺序地用作为视频序列帧组中的参考帧的各帧，访问一组运动估计。一个运动估计表征与参考帧的每个区域的像素相关联的相对于该组帧中的一个帧的区域的运动，其中所述一个帧在时间上相对于该组帧中的其它帧有偏移。其它运动估计表征与每个参考帧区域中的像素相关联的相对于该组中的第二帧的运动，其中所述第二帧在时间上偏离所述一个帧和该组帧中的其它帧。基于该组帧上的参考帧区域的对齐，预测相应于第一和其它运动估计的一组时间图像预测。混合该组时间图像预测，并且基于混合产生该组帧上的时间预测器。

Description

时间图像预测
技术领域
本发明通常涉及视频处理。更具体地，本发明的各实施例涉及时间图像预测。
背景技术
运动图像序列可以包括多个顺序帧。某些现代图像处理应用使用对运动图像序列的图像中的运动的估计。如此处使用的，术语“运动估计”(“motion estimate”和“motion estimation”)指的就是这种运动估计。运动估计包括描述运动图像序列的帧的段中的帧区域之间的运动的参数。
图像处理应用可以估计与运动图像序列的图像帧的各个区域相关联的运动。所述应用可以包括或涉及视频压缩，视频压缩涉及减少用于存储和传递(例如，编码、传输、接收和解码)视觉信息的数据的数量。
运动估计是这样的技术，视频压缩应用采用该技术实现表示运动图像序列中的图像帧所需的数据的显著减少。应用可以尝试从运动图像序列的一个帧到另一个帧映射每个帧内的图像区域的平移或其它运动。例如，给定参考帧“A”和描述从帧A到后续帧“B”的图像运动的运动映射，可以通过从帧A投射该运动映射形成运动预测帧B。可以通过从帧B中减去运动预测帧B形成差异帧B。
当对运动映射和差异帧B两者进行编码所需的数据量小于对帧B直接编码所需的数据量时，实现了压缩。因此，应用可以寻求产生与帧B相比差异相对小的运动预测帧B的运动映射。出于与压缩有关的目的，运动映射用来表示运动图像序列中的图像特征的实际运动的精确度可能不是主要的考虑。换言之，从实现压缩的观点出发，给定的运动映射只要减少对运动映射和差异帧B进行编码所需的数据量可能就足够了。
使用运动估计的应用可以将出现在运动图像序列的多个帧中的每一个帧内的图像特征与一个参考对齐。每个帧的出现所述图像特征的区域根据运动估计移动。然后可以例如根据一个公式混合图像特征对齐区域的结果集合。准确的运动估计对于在运动图像序列的各个帧之间准确定位特征对齐区域可能是重要的。
附图说明
在附图的各个图中以示例方式而不是限制的方式示出了本发明，其中类似的参考号指示类似的元件，并且其中：
图1示出了根据本发明的实施例的一个示例过程的流程图；
图2示出了根据本发明的实施例的示例系统；
图3示出了根据本发明的实施例的示例系统组件；
图4示出了根据本发明的实施例的示例操作；
图5示出了根据本发明的实施例的示例系统组件；和
图6示出了可以实现本发明的实施例的示例计算机系统平台。
具体实施方式
运动估计在进行与时间相关的成像预测和运动补偿图像处理的应用中可能是重要的。时间图像预测和运动补偿处理在用于消费、商业、工业、医疗、研究、监视和其它领域的电子视频设备中可能是重要的。这些设备可以包括但不限于电视(TV)、用于数字通用盘(DVD)和其它光学编码媒体(诸如蓝光盘(BD)和HD-DVD)的播放器、具有图形显示器、电缆、卫星和相关接收器、调谐器等的计算机、医疗、科学和其它成像系统，以及诸如HDTV的高清晰度(HD)媒体。
另外，时间图像预测和运动补偿处理可能在更“专业”的背景(setting)和其它更具技术性需求的背景中是重要的。这些专业的和技术性背景可以包括但不限于，广播站操作和例如在内容创建过程中执行标准清晰度材料的上变换的背景。然而，运动估计可能缺乏足够的精确度以在应用、设备和专业背景中具有最佳使用。
此处描述了时间图像预测。在下面的描述中，出于解释的目的，提出了许多特定细节，以便提供对本发明的完整理解。然而，应当明了，可以实现本发明而不使用这些特定的细节。在其它例子中，公知的结构和设备未被无遗漏地详细描述，以便避免不必要地遮蔽、模糊或搅乱本发明。
概述
处理视频序列的图像。对于一个或多个帧，所述一个或多个帧顺序地用作为所述视频序列的一组帧中的参考帧，访问一组运动估计。所述一组运动估计包括针对所述参考帧的每个区域的第一运动估计。所述第一运动估计表征与所述参考帧的每个区域的像素相关联的相对于所述一组帧中的至少一帧的区域的运动，其中所述至少一帧在时间上相对于所述一组帧中的其它帧有偏移。所述一组运动估计还包括至少一个其它运动估计。所述至少一个其它运动估计表征与所述参考帧的每个区域的像素相关联的相对于所述一组帧中的至少一个第二帧的区域的运动，其中所述至少一个第二帧在时间上偏离所述至少一帧和所述一组帧中的其它帧。预测相应于所述第一运动估计和至少一个其它运动估计的一组时间图像预测。所述一组时间图像预测基于在一组帧上所述参考帧中的区域的对齐。混合所述一组时间图像预测。基于混合所述一组时间图像预测，在所述一组帧上产生时间预测器。
此处描述的示例实施例涉及时间图像预测。在一个示例实施例中，处理视频序列的图像。对于一个或多个帧，所述一个或多个帧顺序地用作为所述视频序列的一组帧中的参考帧，访问一组运动估计。所述一组运动估计包括针对所述参考帧的每个区域的第一运动估计。所述第一运动估计表征与所述参考帧的每个区域的像素相关联的相对于所述一组帧中的至少一帧的区域的运动，其中所述至少一帧在时间上相对于所述一组帧中的其它帧有偏移。所述一组运动估计还包括至少一个其它运动估计。所述至少一个其它运动估计表征与所述参考帧的每个区域的像素相关联的相对于所述一组帧中的至少一个第二帧的区域的运动，其中所述至少一个第二帧在时间上偏离所述至少一帧和所述一组帧中的其它帧。预测相应于所述第一运动估计和至少一个其它运动估计的一组时间图像预测。所述一组时间图像预测基于在一组帧上所述参考帧中的区域的对齐。混合所述一组时间图像预测。基于混合所述一组时间图像预测，在所述一组帧上产生时间预测器。
为该视频序列产生的最终时间预测可以包括一个输出。在一个实施例中，还可以根据每个当前起作用的参考帧而产生空间预测。空间预测可与时间预测组合，以便创建空间时间预测器，该空间时间预测器可以替代地或附加地包括一个输出。混合时间预测器输出或空间时间预测器输出可以包括最终预测输出。
输出的混合时间预测器和/或空间时间预测器可被提供给一个或多个视频应用。该视频应用可以出于若干目的中的任意一个目的而使用时间预测器或空间时间预测器。
可以例如从存储介质接收或访问该视频序列(例如，视频流)和该组运动估计。可以从单个或多个来源访问该组运动估计。所述来源可以包括大体直接的运动估计的来源、压缩运动估计的来源、空间细化运动估计的来源和/或基本上将出现在运动图像序列的多个帧中的每一帧内的一个或多个图像特征与参考帧对齐的运动估计的来源。
本发明的各实施例可以使用各种运动估计。运动估计可以包括一对正交相关矢量分量，所述一对正交相关矢量分量描述视频段的一个或多个帧之间的与一个或多个区域相关联的平移运动。运动估计还可以包括角分量，所述角分量描述所述段的一个或多个帧之间的与一个或多个区域相关联的旋转运动。此外，运动估计还可以包括其它参数，用其可以描述视频序列中的更复杂或更精细的运动。例如，运动估计可以包括六个或更多映射参数，所述映射参数描述发生在所述段的一个或多个帧之间的一个或多个区域内或与所述一个或多个区域相关联的仿射运动，诸如扭曲(warping)和剪切(shearing)。
在此处对示例实施例的描述中，可以使用块作为帧区域的例子。类似地，可以使用平移运动作为运动描述的例子。通常，且仅仅为了此处描述的简单、统一、清楚和/或简短起见，可以使用块作为帧区域的例子，并且使用平移运动作为一组帧上的运动属性的例子。然而，应当清楚地认识到，虽然此处可以使用块和平移运动作为例子，这种使用不被认为是限制。相反，本发明的各实施例很适合于作用于几乎任一各个属性或描述的帧区域和运动属性。
在一个实施例中，对一个或多个时间图像预测进行插值。这些时间图像预测与参考帧的像素相对于该组帧中的至少一个帧的区域的运动相关联。以分数像素相位精确度对时间图像预测进行插值。基于插值，给时间预测分配基于插值的权重。因此混合该组时间图像预测可以包括至少部分地基于所分配的基于插值的权重，计算最终的时间预测。
在一个实施例中，估计与每个运动估计相关联的精确度。基于与运动估计相关联的精确度，给运动估计分配基于精确度的权重。因此混合该组时间图像预测可以包括至少部分地基于所分配的基于精确度的权重，计算最终的时间预测。
在一个实施例中，噪声分量可与视频图像的压缩相关联。可以接收关于与视频图像相关联的这种压缩噪声的估计。基于估计的噪声分量，给每个运动估计分配基于压缩噪声的权重。因此混合该组时间图像预测可以包括至少部分地基于所述基于压缩噪声的权重，计算最终的时间预测。
在一个实施例中，为参考帧的每个区域计算空间预测。因此，混合该组时间图像预测可以包括混合空间预测和多个时间预测。因此，产生视频图像的空间时间预测，例如，作为最终的输出预测。
在相关的实施例中，估计与空间预测相关联的精确度。基于与空间预测相关联的精确度，给空间预测分配基于空间预测精确度的权重。因此混合该组时间图像预测可以至少部分地基于所述基于空间预测精确度的权重。
在一个实施例中，一种计算机系统执行上述的一个或多个特征。该计算机系统包括一个或多个处理器，并且可以以硬件、软件、固件和/或它们的任意组合工作以便执行上述的一个或多个特征。在执行上述的一个或多个特征时，计算机系统的处理器(一个或多个)和/或其它组件可以在计算机可读和可执行指令的指示下运行，所述指令可被编码在一个或多个计算机可读存储介质内和/或被该计算机系统接收。
在一个实施例中，在解码器中执行上述的一个或多个特征，所述解码器可以包括在计算机平台上运行的硬件、软件、固件和/或它们的任意组合。
示例过程
可以执行关于时间图像预测的此处描述的示例过程。这些可被以实施例实现的过程可以用多于或少于所示的示例步骤的步骤和/或以不同于示例过程的顺序的顺序执行的步骤来执行。这些示例过程可以，例如，在编码在一个或多个计算机可读存储介质内的机器可读指令的控制下在一个或多个计算机系统上执行，或所述过程可在ASIC或可编程IC设备中执行。
图1示出了根据本发明的实施例的示例过程100的流程图。过程100在处理视频序列的图像时实现时间图像预测。在步骤101，对于顺序地用作为视频序列的一组帧中的参考帧的一个或多个帧，访问一组运动估计(ME)。该组运动估计可随同压缩的视频流一起被接收，或在对压缩的视频序列解码之后被存储，并且从存储介质中被取出。若干运动估计可以包括该组。还可以从另一来源(除了压缩的视频序列/位流之外的来源)获得该组运动估计，包括直接执行运动估计。
该组运动估计包括针对参考帧的每个区域的第一运动估计。第一运动估计表征与所述参考帧的每个区域的像素相关联的相对于所述一组帧中的至少一帧的区域的运动，其中所述至少一帧在时间上相对于所述一组帧中的其它帧有偏移。所述一组运动估计还包括至少一个其它运动估计。至少一个其它运动估计表征与所述参考帧的每个区域的像素相关联的相对于所述一组帧中的至少一个第二帧的区域的运动，其中所述至少一个第二帧在时间上偏离所述至少一帧和所述一组帧中的其它帧。
在步骤102，将参考帧的块或其它区域与该组帧的至少一个帧的相应区域对齐。可以使用题目为″Temporally Smoothing a MotionEstimate″的Jerome D.Shields和Christopher J.Orlick提交于2008年11月21日的PCT申请[申请号尚未分配]中描述的技术对齐区域，如同在此处完全陈述的一样，出于通用目的通过引用将上述申请结合在此。
基于区域对齐，在步骤103预测一组时间图像预测。该组中的每个时间图像预测相应于该组帧中的帧。
在方框104，可以为视频序列的参考帧计算空间预测。可以估计与空间预测相关联的精确度。
在方框105，可以为每个预测分配权重。例如，可以基于其估计的精确度给空间预测分配权重。另外，可以给时间图像预测添加权重。例如，可将每个运动估计与一个精确度值相关联。另外，噪声可与视频序列的压缩相关联。可以估计压缩噪声分量，或随同解码的视频序列接收压缩噪声分量。可以基于压缩噪声分量的值给每个时间图像预测分配权重。对于另一个例子，与参考帧的像素关于该组帧中的至少一个帧的区域的运动相关联的值可被用于对时间图像预测进行插值，并且可以包括分数像素相位值。可以给与当前帧的像素相关联的时间图像预测分配基于分数像素插值的权重。
在步骤106，时间预测随同任何空间预测被混合在一起。在块107，基于混合的时间图像预测，为视频序列的帧产生最终的空间时间预测器。在一个实施例中，可将任何空间预测与混合的时间图像预测相混合，以便为视频序列的帧产生空间时间预测器。
示例系统
图2示出了根据一个实施例的示例系统200。系统200执行时间图像预测功能。例如，系统200可以运行以便执行上面参考图1描述的过程100的各部分。
可以用计算机系统的一个或多个组件和/或ASIC或可编程IC设备配置系统200。系统200可被布置在解码器、编码器、专业视频编辑和/或处理系统、科学、医疗或其它成像系统内，并且可被布置在各种计算机、通信设备、网络元件、TV、以及用于包括HD媒体的各种视频媒体的播放器中的任意一种内。
系统200具有缓冲器203。诸如视频序列的帧的图像存储在缓冲器203内。缓冲器203给运动补偿单元201提供帧。
在从缓冲器203接收到视频序列的帧以及与帧的块相关联的运动估计、精确度和插值评分、和/或与视频序列相关联的压缩噪声的值之后，运动补偿单元201预测帧的时间预测。运动补偿单元201还运行，以便基于所述精确度和插值评分以及压缩噪声值给运动估计分配权重。运动补偿单元201将其对于帧的时间预测Pl…Pi和其分配的时间预测的相应权重Vl…Wi提供给混合单元202。
混合单元202运行以便将时间预测Pl…Pi一起混合到最终时间预测器PT内。在将时间预测Pl…Pi混合到最终时间预测器PT中时，混合单元202可以使用所分配的权重Wl…Wi。
混合单元202可以根据诸如下面以等式1给出的公式，根据时间图像预测Pl…Pi和所分配的权重Wl…Wi计算最终时间预测器PT。
P T = Σ n = 1 i ( P n W n ) Σ n = 1 i W n
等式1
系统200在其时间图像预测函数中使用的输入可以包括原始视频序列、描述视频序列的帧之间的相对运动的运动估计、提供对运动估计的精确度的测量的评分、以及对视频序列中的压缩噪声的估计。系统200的时间图像预测函数实际上组合每个图像的运动补偿的时间相邻帧，例如，“时间邻居”，并且从而在诸如降低噪声、去交织和缩放和/或上变换的应用中完成高质量的视频处理。
系统200的时间图像预测功能的第一阶段涉及用于基于运动估计对齐时间邻居以便产生时间预测器的运动补偿滤波。然后时间预测器被混合在一起，以便形成最终时间预测器PT。混合权重可以基于各种数据，包括估计运动预测器的精确度的评分、估计的图像压缩噪声、以及由基于运动补偿滤波的对齐引入的噪声。
空间预测器204从缓冲器203中访问关于参考帧的空间信息。空间预测器204根据参考场(例如，帧)计算空间预测。空间预测器和与其相关联的权重(例如，如下面参考图5讨论的)以及最终时间预测器PT可被提供给空间时间混和单元205。用于空间时间预测器的加权基于与运动估计相关联的评分和对空间预测器的质量的估计。
对视频图像序列中的运动的准确估计被用于实现时间图像预测。出于运动估计的目的，一个此处被称为参考帧(或“参考场”或“视频序列中的一个或多个帧”)的视频帧被划分为区域，诸如，一组组成矩形块。应当理解，本发明的实施例非常适合作用于符合几乎任何配置的区域。此处使用块作为这种区域的例子。为参考帧中的每个块寻找最好地表征(characterize)该块中的像素相对于另一个帧的运动的运动估计。参考场中的每个块可以具有多个运动估计，每个运动估计描述了该块和一个不同的，例如，相对于参考帧和原始的另一个帧两者处于不同时间偏移处的后续的另一个帧之间的运动。
可以从各种来源中的一个或多个访问运动估计。可以通过直接运动估计获得运动估计。还可以通过包括，但不限于，来自压缩运动矢量或其它运动估计的预测、空间细化和通过对运动估计进行滤波执行的平滑操作的技术的组合，获得运动估计。
时间预测单元201使用运动估计从其它帧创建多个时间预测。图3示出了根据一个实施例的示例时间预测单元201。时间预测单元201具有在功能上与权重产生器302连接的基于相位的插值器301。基于相位的插值器301使用运动补偿插值滤波器，以便对齐来自图像信息的像素数据和每个其它场(例如，其它帧)的运动估计。因此，插值器301产生一组被用作为时间预测器的分数像素相位数据。权重产生器302将一组时间预测器加权函数混合在一起(包括关于与运动估计相关联的评分、插值滤波器相位和压缩噪声的加权函数)。权重产生器302根据所有可获得的加权项产生合成权重。混合器202使用合成权重混合该组时间预测器。
主加权项可以包括与运动估计相关联的评分。假设可以获得该评分，并且其基于运动估计的精确度，提供对预测数据的精确度的估计。该评分可以是直接块(或其它区域)匹配差异，诸如绝对差值之和(SAD)。较低的评分可被解释为相应于更好的匹配。该评分被按照倒数关系转换为权重，诸如，(1/评分)或(1/评分2)。倒数关系给出了在组合时间预测器之后，具有较高权重的低评分(例如良好匹配)比高评分(例如不良匹配)的所希望的关系。
使用插值滤波器相位权重项，这是由于可能期望运动估计具有子像素运动精确度，并且由于预测的输出位置，例如，对于去交织和缩放或上变换应用，可能相对于当前帧具有基本上任意的子像素位置。因此在两种情况下，插值器301的插值滤波器函数移动参考像素。此处，实际参考像素和所需的子像素输出位置之间所需的移位被称为相位。零相位表示大体没有(0)移位。相反，最大相位基本上相应于两个参考像素之间的空间帧距离的一半。在两个像素之间的距离被定义为值N的情况下，最大相移实际上是N/2。
实际插值滤波器的带宽响应实际上是不完美的。因此，最小的或零相移创建没有插值或相移的输出像素。因此从这个观点出发，没有相移的无插值输出像素是最佳可能，而具有半像素位移的输出像素是最不希望的。权重产生器302基于插值器301创建预测输出所使用的滤波器的相位，调整对每个预测输出Pi的加权。例如，当插值相位达到N/2时，减小加权。
应当理解，对于缩放和去交织应用，即使给定块中的每个输出像素与该块内的其它像素具有相同的运动估计，给定块中的每个输出像素可以具有独特的插值相位。因此，权重产生器302适当时逐个像素地计算相位加权计算。
还可由权重产生器302应用来自参考帧的压缩噪声估计的加权项。具有高压缩噪声的其它帧可以具有减小的加权。
通过组合倒数评分权重(1/评分2)、水平和垂直相位权重(例如，
Figure GPA00001142562400111
和
Figure GPA00001142562400112
)和压缩噪声权重中的每一个，例如通过将倒数评分权重(1/评分2)、水平和垂直相位权重(例如，和)和压缩噪声权重中的每一个相乘，产生每个时间预测的相对精确度。然后，至少部分地基于这三个权重中的一个或多个组合该组时间预测，以便创建最终的时间预测PT。
根据用于每个输出像素的参考帧创建空间预测Ps。通过一种加权方案组合最终的时间预测PT和空间预测Ps，以便创建可以包括来自系统200(图2)的最终输出预测的空间时间预测。用于空间预测器的加权方案是规定在足够的时间信息大部分不可用时有效地使用空间预测器的独特测量。该加权方案还允许运动估计充足时的重大的时间贡献。
对参考场中的每个空间预测器加权允许组合空间预测器和时间预测。如同产生空间预测器权重的第一步，计算空间预测“评分”。空间预测评分相对于用于帧区域的给定区域的时间图像预测，量化了空间预测的质量。时间预测的质量与实际像素数据和由运动估计指示的时间数据之间的差有关。因此，一个实施例可以如下量化用于时间图像预测的相对质量评分。可以预期参考帧中的少图像细节区域与良好时间预测的相对低的评分相关联。相反，参考帧中的多细节区域可以具有相对高的但是可被认为是足够的时间预测器评分。因此，创建用于参考场的评分，以便表征每个块或其它区域中的能量或细节的数量。因此在一个实施例中，时间预测器质量评分提供了可用于评估时间预测器的质量的滑尺。
图4示出了根据一个实施例的示例操作400。在某些实施例中可以使用诸如块或其它区域中的方差的测量。在一个实施例中，一种相对紧密地与时间预测评分相关联的技术基于SAD410。相对于位移块402，为参考块401计算SAD410。位移块402本质上是在例如水平“x”和垂直“y”方向的每一个方向上位移1个像素的原始块401(对于在帧401和402之间示出的平移运动)。如果该运动沿着x和y轴中的每一个精确地偏移1个像素，这种位移等于运动估计的评分。应当理解，此处以示例方式而不是限制示出块；这些实施例可以很适合于作用于任意帧区域。
在这些正交相关的空间维度的每一个上偏移单个像素的运动估计本质上是“粗略正确的”运动估计。然而，粗略精确的运动估计在某些应用中可能不够准确。在一个实施例中，这种精度二分法提供了评估时间预测器评分的测量。因此，参考场评分可被放大或缩小，以便影响时间和空间预测的相对加权。在一种实现中，参考帧可被预先滤波或处理，以便在评分计算之前减少噪声。这可以更准确地近似用于产生运动估计的评分的SAD计算。
图5示出了根据一个实施例的空间时间混合组件205。如上所述，使用与权重WT和Ws混合的倒数评分权重，组合时间预测器PT和空间预测器Ps，以便创建空间时间输出ST。在一个实施例中，空间时间混合组件205根据下面的等式2组合加权混合时间预测器PT和空间预测器Ps。
ST＝(PTWT+PSWS)/(WT+WS)               等式2
最终输出检查对空间和时间预测器进行比较，空间和时间预测器可被用于测试独特的情况。例如，在某些情况下，诸如非常小的对象的快速运动，或块或其它区域内的多个运动，给定的输出像素可以具有非常不同的时间和空间预测。在此情况下，时间预测器可以是一致的，但是与空间预测器很不一致。因此，对于其受影响的输出像素，块或其它区域的运动估计很可能缺乏精确度。然而，运动估计对于块内的大部分像素可能足够准确。在这种特定情况下，可以选择空间预测器作为输出。
示例计算机系统平台
图6示出了可以实现一个实施例的示例计算机系统平台600。计算机系统600包括总线602或用于传递信息的其它通信机制，以及用于处理信息的与总线602相连的处理器604(其可以表示一个或多个处理器)。计算机系统600还包括主存储器606，诸如用于存储将被由处理器604执行的信息和指令的、连接到总线602的随机访问存储器(RAM)或其它动态存储设备。主存储器606还可被用于存储由处理器604执行的指令的执行过程中的临时变量或其它中间信息。计算机系统600还包括只读存储器(ROM)608或连接到总线602的、用于存储用于处理器604的静态信息和指令的其它静态存储设备。提供诸如磁盘或光盘的存储设备610，并且将其连接到总线602以便存储信息和指令。
计算机系统600可通过总线602连接到用于向计算机用户显示信息的显示器612，诸如液晶显示器(LCD)、阴极射线管(CRT)等。包括字母数字和其它按键的输入设备614连接到总线602，以便向处理器604传递信息和命令选择。另一类型的用户输入设备是用于向处理器604传递方向信息和命令选择，并且用于控制显示器612上的光标移动的光标控制器616，诸如鼠标、轨迹球或光标方向键。这种输入设备通常具有两个轴，即第一轴(例如，x)和第二轴(例如，y)，上的两个自由度，这允许设备指定平面内的位置。
本发明涉及将计算机系统600用于时间图像预测。根据本发明的一个实施例，响应于处理器604执行包含在主存储器606内的一个或多个指令的一个或多个序列，由计算机系统600提供时间图像预测。这种指令可从另一个计算机可读介质，诸如存储设备610读入到主存储器606。包含在主存储器606中的指令序列的执行使得处理器604执行此处描述的处理步骤。还可以使用多处理布置中的一个或多个处理器执行包含在主存储器606中的指令序列。在替换实施例中，可以取代或结合软件指令使用硬布线电路实现本发明。因此，本发明的实施例不限于硬件电路和软件的任意特定组合。
此处使用的术语“计算机可读介质”指参与给处理器604提供用于执行的指令的任意介质。这种介质可以采用许多形式，包括但不限于，非易失性介质、易失性介质和传输介质。非易失性介质包括例如光盘或磁盘，诸如存储设备610。易失性介质包括动态存储器，诸如主存储器606。传输介质包括同轴电缆、铜线和其它导体和光纤光学器件，包括包含总线602的导线。传输介质还可以采取声波或光波的形式，诸如，在无线电波和红外线数据传输过程中所产生的那些波。
计算机可读介质的常见形式包括例如软盘、柔性盘、硬盘、磁带或任意其它磁介质、CD-ROM、任意其它光学介质、穿孔卡、纸带、具有孔图案的任意其它遗留物(legacy)或其它物理介质、RAM、PROM和EPROM、FLASH-EPROM、任意其它存储器芯片或盒带(cartridge)、如下面描述的载波、或计算机可以从中读取的任意其它介质。
在传送处理器604用于执行的一个或多个指令的一个或多个序列中可以涉及各种形式的计算机可读介质。例如，指令最初可被承载在远程计算机的磁盘上。远程计算机可以将指令装入其动态存储器，并且使用调制解调器在电话线上发送指令。位于计算机系统600的调制解调器可以在电话线上接收数据，并且使用红外线发射器将数据转换为红外线信号。连接到总线602的红外线检测器可以接收红外线信号中携带的数据，并且将该数据放在总线602上。总线602将数据送至主存储器606，处理器604从主存储器606获取并且执行指令。在处理器604执行之前或之后，主存储器606接收的指令可选择地存储在存储设备610上。
计算机系统600还包括连接到总线602的通信接口618。通信接口618提供连接到网络链路620的双路数据传输，网络链路620被连接到本地网络622。例如，通信接口618可以是综合业务数字网络(ISDN)卡或数字订户线路(DSL)、缆线或提供到相应类型的电话线的数据通信连接的其它调制解调器。作为另一个例子，通信接口618可以是提供到兼容LAN的数据通信连接的局域网(LAN)卡。还可以实现无线链路。在任何这些实现中，通信接口618发送并且接收承载表示各种类型信息的数字数据流的电的、电磁的或光学信号。
网络链路620通常通过一个或多个网络给其它数据设备提供数据通信。例如，网络链路620可以通过本地网络622提供到主计算机624或到由因特网服务供应商(ISP)626操作的数据装置的连接。ISP 626又通过现在通常被称为“因特网(Internet)”628的世界范围的分组数据通信网络提供数据通信服务。本地网络622和因特网628两者使用承载数据数据流的电的、电磁的或光学信号。承载着往返于计算机系统600的数字数据的通过各种网络的信号以及网络链路620上的并且通过通信接口618的信号是传送信息的载波的示例形式。
计算机系统600可以通过网络(一个或多个)、网络链路620以及通信接口618发送消息并且接收数据，包括程序代码。在因特网的例子中，服务器630可以通过因特网628、ISP 626、本地网络622和通信接口618传输应用程序的所请求代码。根据本发明，一个这种下载的应用提供此处描述的时间图像预测。
接收到的代码可在被接收时由处理器604执行，和/或被存储在存储装置610或其它非易失性存储设备内以便以后执行。以这种方式，计算机系统600可以获得载波形式的应用代码。
计算机系统600可以是用于电子设备或装置的组件的平台，或被与电子设备或装置的组件一起安置，或被部署为电子设备或装置的组件。为进行时间图像预测与计算机系统600一起运行的设备和装置可以包括但不限于，TV或HDTV、DVD、HD DVD或BD播放器或用于另一种光学编码介质的播放器应用、用于编码的磁的、固态(例如，闪存)或其它存储介质的播放器应用、音频/视频(A/V)接收器、媒体服务器(例如，中央个人媒体服务器)、医疗、科学或其它成像系统、专业视频编辑和/或处理系统、工作站、台式机、膝上电脑、手持或其它计算机、网络元件、能够使用网络的通信和/或计算设备，诸如蜂窝电话、便携式数字助理(PDA)、便携式娱乐设备、便携式游戏设备等。计算机系统600的一个或多个特征可用被配置为执行该特征的集成电路(IC)设备来实现。所述IC可以是专用IC(ASIC)和/或可编程IC设备，诸如现场可编程门阵列(FPGA)或微控制器。
例子
在一个实施例中，一种方法包括承载着一个或多个指令序列的计算机可读介质，当被一个或多个处理器执行时，所述指令使得一个或多个处理器执行如下步骤：对于一个或多个帧，所述一个或多个帧顺序地用作为所述视频序列的一组帧中的参考帧，访问一组运动估计，所述一组运动估计包括：针对所述参考帧的每个区域的第一运动估计，所述第一运动估计表征与所述参考帧的每个区域的像素相关联的相对于所述一组帧中的至少一帧的区域的运动，其中所述至少一帧在时间上相对于所述一组帧中的其它帧有偏移；以及至少一个其它运动估计，所述至少一个其它运动估计表征与所述参考帧的每个区域的像素相关联的相对于所述一组帧中的至少一个第二帧的区域的运动，其中所述至少一个第二帧在时间上偏离所述至少一帧和所述一组帧中的其它帧；基于在所述一组帧上所述参考帧中的区域的对齐，来预测所述一组帧上的一组时间图像预测，其相应于所述第一运动估计和至少一个其它运动估计；混合所述一组时间图像预测；以及基于所述混合步骤，产生所述一组帧上的时间预测器。
在一个实施例中，一种方法或计算机可读介质还包括给一个或多个视频应用提供所述时间预测器。
在一个实施例中，一种方法或计算机可读介质还包括对与所述参考帧和所述至少一个第二帧的像素的运动相关联的至少一个值进行插值，其中所述至少一个值包括分数像素相位值；和基于所述插值步骤，给与所述一个或多个帧中的至少一个帧的像素相关联的运动估计分配基于插值的权重；其中所述混合步骤包括：至少部分地基于所分配的基于插值的权重，计算所述时间预测。
在一个实施例中，一种方法或计算机可读介质还包括估计与每个运动估计相关联的精确度；并且基于与运动估计相关联的精确度，给每个运动估计分配基于精确度的权重；其中所述混合步骤包括至少部分地基于所分配的基于精确度的权重，计算所述时间预测。
在一个实施例中，一种方法或计算机可读介质还包括基于与所述视频图像序列中的每个帧的压缩相关联的估计噪声分量，给每个运动估计分配基于压缩噪声的权重；其中所述混合步骤包括至少部分地基于所述基于压缩噪声的权重，计算最终的时间预测。
在一个实施例中，一种方法或计算机可读介质还包括估计所述估计的压缩噪声分量；或接收所述估计的压缩噪声分量。
在一个实施例中，一种方法或计算机可读介质还包括接收视频流和该组运动估计。
在一个实施例中，一种方法或计算机可读介质还包括基于对来自所述一个或多个帧的数据的插值，为所述一个或多个帧中的每一个帧计算空间预测；和混合所述空间预测和所述多个时间预测以产生相应于所述视频序列的空间时间预测。
在一个实施例中，一种方法或计算机可读介质还包括估计与所述空间预测相关联的精确度；和基于与所述空间预测相关联的精确度，给所述空间预测分配基于空间预测精确度的权重；其中所述混合所述空间预测和所述时间预测的步骤至少部分地基于所述基于空间预测精确度的权重。
在一个实施例中，一种方法或计算机可读介质还包括其中每个运动估计包括多个值，其中所述多个值包括下列中的至少一个：一对正交相关矢量分量，所述一对正交相关矢量分量描述所述段的一个或多个帧之间的与一个或多个区域相关联的平移运动；角分量，所述角分量描述所述段的一个或多个帧之间的与一个或多个区域相关联的旋转运动；或至少六个映射参数，所述至少六个映射参数描述所述段的一个或多个帧之间的与一个或多个区域相关联的仿射运动。
在一个实施例中，一种方法或计算机可读介质还包括其中所述访问步骤包括从一个或多个来源选择运动估计，所述来源包括：大体上直接的运动估计的来源；压缩运动估计的来源；空间细化运动估计的来源；或基本上将出现在运动图像视频序列的多个帧中的每一帧内的一个或多个图像特征与参考帧对齐的运动估计的来源。
在一个实施例中，一种系统包括：总线；连接到所述总线的至少一个处理器；以及连接到所述总线并且具有一个或多个指令序列的计算机可读存储介质，当被所述至少一个处理器执行时，所述指令使得所述至少一个处理器执行包括以下的步骤：对于一个或多个帧，所述一个或多个帧顺序地用作为所述视频序列的一组帧中的参考帧，访问一组运动估计，所述一组运动估计包括：针对所述参考帧的每个区域的第一运动估计，所述第一运动估计表征与所述参考帧的每个区域的像素相关联的相对于所述一组帧中的至少一帧的区域的运动，其中所述至少一帧在时间上相对于所述一组帧中的其它帧有偏移；以及至少一个其它运动估计，所述至少一个其它运动估计表征与所述参考帧的每个区域的像素相关联的相对于所述一组帧中的至少一个第二帧的区域的运动，其中所述至少一个第二帧在时间上偏离所述至少一帧和所述一组帧中的其它帧；基于在所述一组帧上所述参考帧中的区域的对齐，来预测所述一组帧上的一组时间图像预测；混合所述一组时间图像预测，其相应于所述第一运动估计和至少一个其它运动估计；以及基于所述混合步骤，产生所述一组帧上的时间预测器。
在一个实施例中，一种系统还包括与所述至少一个处理器相关联的缓冲器；其中所述缓冲器按照时间有效顺序连续地存储所述视频序列的帧；并且其中所述至少一个处理器从所述缓冲器访问所述视频序列的帧。
在一个实施例中，一种系统还包括其中所述指令还使得所述至少一个处理器在功能上配置时间预测单元，所述时间预测单元包括：插值器，其中所述插值器被配置为执行所述对齐和预测步骤；其中，所述插值器包括值插值器函数，用于对与所述参考帧和所述至少一个第二帧的像素的运动相关联的至少一个值进行插值，其中所述至少一个值包括分数像素相位值；和权重产生器，其中所述权重产生器被配置为基于下列中的至少一个，给每个运动估计分配一个或多个权重：时间预测的精确度；与视频图像的压缩相关联的估计噪声分量；或与所述参考帧和所述至少一个第二帧的像素的运动相关联的插值，其中所述插值包括分数像素相位值。
在一个实施例中，一种系统还包括空间预测器，用于预测与所述多个帧中的每一个帧中的每个图像区域相关联的一组空间预测。
在一个实施例中，一种系统还包括其中所述空间预测器还基于每个空间预测的精确度给每个空间预测分配权重。
在一个实施例中，一种系统还包括其中所述指令还使得所述至少一个处理器进一步配置一个或多个预测混合器，其中所述一个或多个预测混合器中的至少一个预测混合器被配置为执行至少一个混合并且产生处理函数，其中所述一个或多个预测混合器包括：区域评分计算器，用于计算与所述多组时间和空间图像预测中的每个预测相对应的精确度质量；和一个或多个混合产生器，用于：混合所述空间预测中的一个或多个、所述多个时间预测；其中基于与所述一个或多个空间预测和所述多个时间预测中的每一个时间预测相关联的精确度质量，执行所述混合；以及基于所述混合，产生与所述视频序列相对应的最终时间预测或空间时间预测的一个或多个。
在一个实施例中，一种装置包括：至少一个处理器，所述处理器被配置为通过包括以下的步骤处理视频序列：对于一个或多个帧，所述一个或多个帧顺序地用作为所述视频序列的一组帧中的参考帧，访问一组运动估计，所述一组运动估计包括：针对所述参考帧的每个区域的第一运动估计，所述第一运动估计表征与所述参考帧的每个区域的像素相关联的相对于所述一组帧中的至少一帧的区域的运动，其中所述至少一帧在时间上相对于所述一组帧中的其它帧有偏移；以及至少一个其它运动估计，所述至少一个其它运动估计表征与所述参考帧的每个区域的像素相关联的相对于所述一组帧中的至少一个第二帧的区域的运动，其中所述至少一个第二帧在时间上偏离所述至少一帧和所述一组帧中的其它帧；基于在所述一组帧上所述参考帧中的区域的对齐，来预测所述一组帧上的一组时间图像预测，其相应于所述第一运动估计和至少一个其它运动估计；混合所述一组时间图像预测；以及基于所述混合步骤，产生所述一组帧上的时间预测器。
在一个实施例中，一种装置还包括其中所述步骤还包括：基于对来自所述一个或多个帧的数据的插值，为所述一个或多个帧中的每一个帧计算空间预测；以及混合所述空间预测和所述多个时间预测以产生相应于所述视频序列的空间时间预测。
在一个实施例中，一种装置还包括其中所述装置包括下列中的至少一个：视频解码器或编码器中的至少一个；视频编辑设备；电视；用于至少一种光学编码介质的播放器应用；用于编码存储介质的播放器应用；用于流式数字信号的播放器应用；用于显示来自成像应用的信息的监视器；网络元件；便携式通信设备；便携式娱乐设备；音频/视频接收器；媒体服务器；医疗成像设备；科学成像设备；或游戏设备。
在一个实施例中，一种系统包括用于访问针对视频图像序列中的一个或多个帧的一组运动估计的装置，其中所述一组运动估计包括：针对所述参考帧的每个区域的第一运动估计，所述第一运动估计表征与所述参考帧的每个区域的像素相关联的相对于所述一组帧中的至少一帧的区域的运动，其中所述至少一帧在时间上相对于所述一组帧中的其它帧有偏移；以及至少一个其它运动估计，所述至少一个其它运动估计表征与所述参考帧的每个区域的像素相关联的相对于所述一组帧中的至少一个第二帧的区域的运动，其中所述至少一个第二帧在时间上偏离所述至少一帧和所述一组帧中的其它帧；用于基于在所述一组帧上所述参考帧中的区域的对齐，来预测所述一组帧上的一组时间图像预测的装置，所述一组时间图像预测相应于所述第一运动估计和第二运动估计；用于混合所述一组时间图像预测的装置；和用于基于所述混合步骤，产生所述一组帧上的时间预测器的装置。
在一个实施例中，一种系统还包括：用于基于对来自所述一个或多个帧的数据的插值，为所述一个或多个帧中的每一个帧计算空间预测的装置；和用于混合所述空间预测和所述多个时间预测以产生相应于所述视频序列的空间时间预测的装置。
在一个实施例中，一种系统还包括用于基于滤波函数，对与所述参考帧和所述至少一个第二帧的像素的运动相关联的值进行插值的装置，其中所述值包括分数像素相位值；和至少一个用于产生加权值的装置，其中所述加权值包括下列中的一个或多个：与基于下列中的至少一个的运动估计中的每一个相关联的一个或多个权重：时间预测的精确度；与视频图像的压缩相关联的估计噪声分量；与所述参考帧和所述至少一个第二帧的像素的运动相关联的插值，其中所述插值包括分数像素相位值；或与空间预测相关联的精确度。
等同、扩展、替换和杂项
在前面的说明书中，已经参考了可以根据实现而改变的若干特定细节描述了本发明的实施例。因此，本发明是什么以及申请人期望本发明是什么的唯一且排它的指示符是由本申请发布的、以发布权利要求的特定形式，包括任何后续的修正，的权利要求。此处为这些权利要求中包含的术语明确提出的任何定义应当支配用在权利要求中的这些术语的含义。因此，权利要求中未明确表述的限制、元素、属性、特征、优点或性质不应当以任意方式限制本发明的范围。因此，说明书和附图被认为是说明性的而不是约束性的。
权利要求书(按照条约第19条的修改)
1.一种处理视频序列的图像的方法，包括步骤：
对于一个或多个帧，所述一个或多个帧顺序地用作为所述视频序列的一组帧中的参考帧，
访问一组运动估计，所述一组运动估计包括：
针对所述参考帧的每个区域的第一运动估计，所述第一运动估计表征与所述参考帧的每个区域的像素相关联的相对于所述一组帧中的第一帧的区域的运动，其中所述第一帧在时间上相对于所述一组帧中的其它帧有偏移；以及
至少一个第二运动估计，所述第二运动估计表征与所述参考帧的每个区域的像素相关联的相对于所述一组帧中的第二帧的区域的运动，其中所述第二帧在时间上偏离所述第一帧和所述一组帧中的其它帧；
基于在所述一组帧上所述参考帧中的区域的对齐，来预测所述一组帧上的一组时间图像预测，其相应于所述第一运动估计和第二运动估计；
混合所述一组时间图像预测；以及
基于所述混合步骤，产生所述一组帧上的时间预测器。
2.如权利要求1所述的方法，还包括：
给一个或多个视频应用提供所述时间预测器。
3.如权利要求1所述的方法，还包括步骤：
对与所述参考帧和所述第二帧的像素的运动相关联的至少一个值进行插值，其中所述至少一个值包括分数像素相位值；和
基于所述插值步骤，给与所述一个或多个帧的像素相关联的运动估计分配基于插值的权重；
其中所述混合步骤包括：至少部分地基于所分配的基于插值的权重，计算所述时间预测。
4.如权利要求1所述的方法，还包括步骤：
估计与每个运动估计相关联的精确度；以及
基于与每个运动估计相关联的精确度，给每个运动估计分配基于精确度的权重；
其中所述混合步骤包括：至少部分地基于所分配的基于精确度的权重，计算所述时间预测。
5.如权利要求1所述的方法，还包括步骤：
基于与所述视频图像序列中的每个帧的压缩相关联的估计噪声分量，给每个运动估计分配基于压缩噪声的权重；
其中所述混合步骤包括：至少部分地基于所述基于压缩噪声的权重，计算最终的时间预测。
6.如权利要求5所述的方法，还包括下列步骤中的至少一个：
估计所述估计压缩噪声分量；或
接收所述估计压缩噪声分量。
7.如权利要求1所述的方法，还包括步骤：
接收视频流和所述一组运动估计。
8.如权利要求1所述的方法，还包括步骤：
基于对来自所述一个或多个帧的数据的插值，为所述一个或多个帧中的每一个帧计算空间预测；和
混合所述空间预测和所述多个时间预测以产生相应于所述视频序列的空间时间预测。
9.如权利要求8所述的方法，还包括步骤：
估计与所述空间预测相关联的精确度；和
基于与所述空间预测相关联的精确度，给所述空间预测分配基于空间预测精确度的权重；
其中所述混合所述空间预测和所述时间预测的步骤至少部分地基于所述基于空间预测精确度的权重。
10.如权利要求1所述的方法，其中每个运动估计包括多个值，其中所述多个值包括下列中的至少一个：
一对正交相关矢量分量，所述一对正交相关矢量分量描述在所述一组帧中的一个或多个帧之间的与一个或多个区域相关联的平移运动；
角分量，所述角分量描述在所述一组帧中的一个或多个帧之间的与一个或多个区域相关联的旋转运动；或
至少六个映射参数，所述至少六个映射参数描述在所述一组帧中的一个或多个帧之间的与一个或多个区域相关联的仿射运动。
11.如权利要求1所述的方法，其中所述访问步骤包括从一个或多个来源选择运动估计，所述来源包括：
大体上直接的运动估计的来源；
压缩运动估计的来源；
空间细化运动估计的来源；或
基本上将出现在运动图像视频序列的多个帧中的每一帧内的一个或多个图像特征与参考帧对齐的运动估计的来源。
12.一种用于处理视频信号的基于计算机的系统，包括：
总线；
连接到所述总线的至少一个处理器；以及
连接到所述总线并且具有一个或多个指令序列的计算机可读存储介质，当被所述至少一个处理器执行时，所述指令使得所述至少一个处理器执行包括以下的步骤：
对于一个或多个帧，所述一个或多个帧顺序地用作为所述视频序列的一组帧中的参考帧，访问一组运动估计，所述一组运动估计包括：
针对所述参考帧的每个区域的第一运动估计，所述第一运动估计表征与所述参考帧的每个区域的像素相关联的相对于所述一组帧中的第一帧的区域的运动，其中所述第一帧在时间上相对于所述一组帧中的其它帧有偏移；以及
至少一个第二运动估计，所述第二运动估计表征与所述参考帧的每个区域的像素相关联的相对于所述一组帧中的第二帧的区域的运动，其中所述第二帧在时间上偏离所述第一帧和所述一组帧中的其它帧；
基于在所述一组帧上所述参考帧中的区域的对齐，来预测所述一组帧上的一组时间图像预测，其相应于所述第一运动估计和第二运动估计；
混合所述一组时间图像预测；以及
基于所述混合步骤，产生所述一组帧上的时间预测器。
13.如权利要求12所述的系统，所述系统还包括：
与所述至少一个处理器相关联的缓冲器；
其中所述缓冲器按照时间有效顺序连续地存储所述视频序列的帧；并且
其中所述至少一个处理器从所述缓冲器访问所述视频序列的帧。
14.如权利要求12所述的系统，其中所述指令还使得所述至少一个处理器在功能上配置时间预测单元，所述时间预测单元包括：
插值器，其中所述插值器被配置为执行所述对齐和预测步骤；
其中，所述插值器包括值插值器函数，用于对与所述参考帧和所述第二帧的像素的运动相关联的至少一个值进行插值，其中所述至少一个值包括分数像素相位值；和
权重产生器，其中所述权重产生器被配置为基于下列中的至少一个，给每个运动估计分配一个或多个权重：
时间预测的精确度；
与视频图像的压缩相关联的估计噪声分量；或
与所述参考帧和所述第二帧的像素的运动相关联的插值，其中所述插值包括分数像素相位值。
15.如权利要求12所述的系统，还包括：
空间预测器，用于预测与所述一组帧中的每一个帧中的每个图像区域相关联的一组空间预测。
16.如权利要求15所述的系统，其中所述空间预测器还基于每个空间预测的精确度给每个空间预测分配权重。
17.如权利要求16所述的系统，其中所述指令还使得所述至少一个处理器进一步配置一个或多个预测混合器，其中所述一个或多个预测混合器中的至少一个预测混合器被配置为执行至少一个混合并且产生处理函数，其中所述一个或多个预测混合器包括：
区域评分计算器，用于计算与所述多组时间和空间图像预测中的每个预测相对应的精确度质量；和
一个或多个混合产生器，用于：
混合所述空间预测中的一个或多个、所述多个时间预测；
其中基于与所述一个或多个空间预测和所述多个时间预测中的每一个时间预测相关联的精确度质量，执行所述混合；以及
基于所述混合，产生与所述视频序列相对应的最终时间预测或空间时间预测的一个或多个。
18.一种视频处理装置，包括：
至少一个处理器，所述处理器被配置为通过包括以下的步骤处理视频序列：
对于一个或多个帧，所述一个或多个帧顺序地用作为所述视频序列的一组帧中的参考帧，
访问一组运动估计，所述一组运动估计包括：
针对所述参考帧的每个区域的第一运动估计，所述第一运动估计表征与所述参考帧的每个区域的像素相关联的相对于所述一组帧中的第一帧的区域的运动，其中所述第一帧在时间上相对于所述一组帧中的其它帧有偏移；以及
至少一个第二运动估计，所述第二运动估计表征与所述参考帧的每个区域的像素相关联的相对于所述一组帧中的第二帧的区域的运动，其中所述第二帧在时间上偏离所述第一帧和所述一组帧中的其它帧；
基于在所述一组帧上所述参考帧中的区域的对齐，来预测所述一组帧上的一组时间图像预测，其相应于所述第一运动估计和第二运动估计；
混合所述一组时间图像预测；以及
基于所述混合步骤，产生所述一组帧上的时间预测器。
19.如权利要求18所述的装置，其中所述步骤还包括：
基于对来自所述一个或多个帧的数据的插值，为所述一个或多个帧中的每一个帧计算空间预测；以及
混合所述空间预测和所述多个时间预测以产生相应于所述视频序列的空间时间预测。
20.如权利要求19所述的装置，其中所述装置包括下列中的至少一个：
视频解码器或编码器中的至少一个；
视频编辑设备；
电视；
用于至少一种光学编码介质的播放器应用；
用于编码存储介质的播放器应用；
用于流式数字信号的播放器应用；
用于显示来自成像应用的信息的监视器；
网络元件；
便携式通信设备；
便携式娱乐设备；
音频/视频接收器；
媒体服务器；
医疗成像设备；
科学成像设备；或
游戏设备。
21.一种具有编码指令的计算机可读存储介质，当被计算机系统的一个或多个处理器执行时，所述编码指令使得所述处理器执行如下步骤：
对于一个或多个帧，所述一个或多个帧顺序地用作为所述视频序列的一组帧中的参考帧，
访问一组运动估计，所述一组运动估计包括：
针对所述参考帧的每个区域的第一运动估计，所述第一运动估计表征与所述参考帧的每个区域的像素相关联的相对于所述一组帧中的第一帧的区域的运动，其中所述第一帧在时间上相对于所述一组帧中的其它帧有偏移；以及
至少一个第二运动估计，所述第二运动估计表征与所述参考帧的每个区域的像素相关联的相对于所述一组帧中的第二帧的区域的运动，其中所述第二帧在时间上偏离所述第一帧和所述一组帧中的其它帧；
基于在所述一组帧上所述参考帧中的区域的对齐，来预测所述一组帧上的一组时间图像预测，其相应于所述第一运动估计和第二运动估计；
混合所述一组时间图像预测；以及
基于所述混合步骤，产生所述一组帧上的时间预测器。
22.如权利要求21所述的计算机可读存储介质，其中当被所述至少一个处理器执行时，所述编码指令还使得所述至少一个处理器执行如下步骤：
基于对来自所述一个或多个帧的数据的插值，为所述一个或多个帧中的每一个帧计算空间预测；以及
混合所述空间预测和所述多个时间预测以产生相应于所述视频序列的空间时间预测。
23.一种系统，包括：
用于访问针对视频图像序列中的一个或多个帧的一组运动估计的装置，其中所述一组运动估计包括：
针对所述参考帧的每个区域的第一运动估计，所述第一运动估计表征与所述参考帧的每个区域的像素相关联的相对于所述一组帧中的第一帧的区域的运动，其中所述第一帧在时间上相对于所述一组帧中的其它帧有偏移；以及
至少一个第二运动估计，所述第二运动估计表征与所述参考帧的每个区域的像素相关联的相对于所述一组帧中的第二帧的区域的运动，其中所述第二帧在时间上偏离所述至少一个帧和所述一组帧中的其它帧；
用于基于在所述一组帧上所述参考帧中的区域的对齐，来预测所述一组帧上的一组时间图像预测的装置，所述一组时间图像预测相应于所述第一运动估计和第二运动估计；
用于混合所述一组时间图像预测的装置；和
用于基于所述混合步骤，产生所述一组帧上的时间预测器的装置。
24.如权利要求23所述的系统，还包括：
用于基于对来自所述一个或多个帧的数据的插值，为所述一个或多个帧中的每一个帧计算空间预测的装置；和
用于混合所述空间预测和所述多个时间预测以产生相应于所述视频序列的空间时间预测的装置。
25.如权利要求24所述的系统，还包括：
用于基于滤波函数，对与所述参考帧和所述第二帧的像素的运动相关联的值进行插值的装置，其中所述值包括分数像素相位值；和
至少一个用于产生加权值的装置，其中所述加权值包括下列中的一个或多个：
与基于下列中的至少一个的运动估计中的每一个相关联的一个或多个权重：
时间预测的精确度；
与视频图像的压缩相关联的估计噪声分量；
与所述参考帧和所述第二帧的像素的运动相关联的插值，其中所述插值包括分数像素相位值；或
与空间预测相关联的精确度。

Claims (25)

1.一种处理视频序列的图像的方法，包括步骤：
对于一个或多个帧，所述一个或多个帧顺序地用作为所述视频序列的一组帧中的参考帧，
访问一组运动估计，所述一组运动估计包括：
针对所述参考帧的每个区域的第一运动估计，所述第一运动估计表征与所述参考帧的每个区域的像素相关联的相对于所述一组帧中的至少一帧的区域的运动，其中所述至少一帧在时间上相对于所述一组帧中的其它帧有偏移；以及
至少一个其它运动估计，所述至少一个其它运动估计表征与所述参考帧的每个区域的像素相关联的相对于所述一组帧中的至少一个第二帧的区域的运动，其中所述至少一个第二帧在时间上偏离所述至少一帧和所述一组帧中的其它帧；
基于在所述一组帧上所述参考帧中的区域的对齐，来预测所述一组帧上的一组时间图像预测，其相应于所述第一运动估计和至少一个其它运动估计；
混合所述一组时间图像预测；以及
基于所述混合步骤，产生所述一组帧上的时间预测器。
2.如权利要求1所述的方法，还包括：
给一个或多个视频应用提供所述时间预测器。
3.如权利要求1所述的方法，还包括步骤：
对与所述参考帧和所述至少一个第二帧的像素的运动相关联的至少一个值进行插值，其中所述至少一个值包括分数像素相位值；和
基于所述插值步骤，给与所述一个或多个帧中的至少一个帧的像素相关联的运动估计分配基于插值的权重；
其中所述混合步骤包括：至少部分地基于所分配的基于插值的权重，计算所述时间预测。
4.如权利要求1所述的方法，还包括步骤：
估计与每个运动估计相关联的精确度；以及
基于与每个运动估计相关联的精确度，给每个运动估计分配基于精确度的权重；
其中所述混合步骤包括：至少部分地基于所分配的基于精确度的权重，计算所述时间预测。
5.如权利要求1所述的方法，还包括步骤：
基于与所述视频图像序列中的每个帧的压缩相关联的估计噪声分量，给每个运动估计分配基于压缩噪声的权重；
其中所述混合步骤包括：至少部分地基于所述基于压缩噪声的权重，计算最终的时间预测。
6.如权利要求5所述的方法，还包括下列步骤中的至少一个：
估计所述估计压缩噪声分量；或
接收所述估计压缩噪声分量。
7.如权利要求1所述的方法，还包括步骤：
接收视频流和所述一组运动估计。
8.如权利要求1所述的方法，还包括步骤：
基于对来自所述一个或多个帧的数据的插值，为所述一个或多个帧中的每一个帧计算空间预测；和
混合所述空间预测和所述多个时间预测以产生相应于所述视频序列的空间时间预测。
9.如权利要求8所述的方法，还包括步骤：
估计与所述空间预测相关联的精确度；和
基于与所述空间预测相关联的精确度，给所述空间预测分配基于空间预测精确度的权重；
其中所述混合所述空间预测和所述时间预测的步骤至少部分地基于所述基于空间预测精确度的权重。
10.如权利要求1所述的方法，其中每个运动估计包括多个值，其中所述多个值包括下列中的至少一个：
一对正交相关矢量分量，所述一对正交相关矢量分量描述所述段的一个或多个帧之间的与一个或多个区域相关联的平移运动；
角分量，所述角分量描述所述段的一个或多个帧之间的与一个或多个区域相关联的旋转运动；或
至少六个映射参数，所述至少六个映射参数描述所述段的一个或多个帧之间的与一个或多个区域相关联的仿射运动。
11.如权利要求1所述的方法，其中所述访问步骤包括从一个或多个来源选择运动估计，所述来源包括：
大体上直接的运动估计的来源；
压缩运动估计的来源；
空间细化运动估计的来源；或
基本上将出现在运动图像视频序列的多个帧中的每一帧内的一个或多个图像特征与参考帧对齐的运动估计的来源。
12.一种用于处理视频信号的基于计算机的系统，包括：
总线；
连接到所述总线的至少一个处理器；以及
连接到所述总线并且具有一个或多个指令序列的计算机可读存储介质，当被所述至少一个处理器执行时，所述指令使得所述至少一个处理器执行包括以下的步骤：
对于一个或多个帧，所述一个或多个帧顺序地用作为所述视频序列的一组帧中的参考帧，访问一组运动估计，所述一组运动估计包括：
针对所述参考帧的每个区域的第一运动估计，所述第一运动估计表征与所述参考帧的每个区域的像素相关联的相对于所述一组帧中的至少一帧的区域的运动，其中所述至少一帧在时间上相对于所述一组帧中的其它帧有偏移；以及
至少一个其它运动估计，所述至少一个其它运动估计表征与所述参考帧的每个区域的像素相关联的相对于所述一组帧中的至少一个第二帧的区域的运动，其中所述至少一个第二帧在时间上偏离所述至少一帧和所述一组帧中的其它帧；
基于在所述一组帧上所述参考帧中的区域的对齐，来预测所述一组帧上的一组时间图像预测，其相应于所述第一运动估计和至少一个其它运动估计；
混合所述一组时间图像预测；以及
基于所述混合步骤，产生所述一组帧上的时间预测器。
13.如权利要求12所述的系统，所述系统还包括：
与所述至少一个处理器相关联的缓冲器；
其中所述缓冲器按照时间有效顺序连续地存储所述视频序列的帧；并且
其中所述至少一个处理器从所述缓冲器访问所述视频序列的帧。
14.如权利要求12所述的系统，其中所述指令还使得所述至少一个处理器在功能上配置时间预测单元，所述时间预测单元包括：
插值器，其中所述插值器被配置为执行所述对齐和预测步骤；
其中，所述插值器包括值插值器函数，用于对与所述参考帧和所述至少一个第二帧的像素的运动相关联的至少一个值进行插值，其中所述至少一个值包括分数像素相位值；和
权重产生器，其中所述权重产生器被配置为基于下列中的至少一个，给每个运动估计分配一个或多个权重：
时间预测的精确度；
与视频图像的压缩相关联的估计噪声分量；或
与所述参考帧和所述至少一个第二帧的像素的运动相关联的插值，其中所述插值包括分数像素相位值。
15.如权利要求12所述的系统，还包括：
空间预测器，用于预测与所述多个帧中的每一个帧中的每个图像区域相关联的一组空间预测。
16.如权利要求15所述的系统，其中所述空间预测器还基于每个空间预测的精确度给每个空间预测分配权重。
17.如权利要求16所述的系统，其中所述指令还使得所述至少一个处理器进一步配置一个或多个预测混合器，其中所述一个或多个预测混合器中的至少一个预测混合器被配置为执行至少一个混合并且产生处理函数，其中所述一个或多个预测混合器包括：
区域评分计算器，用于计算与所述多组时间和空间图像预测中的每个预测相对应的精确度质量；和
一个或多个混合产生器，用于：
混合所述空间预测中的一个或多个、所述多个时间预测；
其中基于与所述一个或多个空间预测和所述多个时间预测中的每一个时间预测相关联的精确度质量，执行所述混合；以及
基于所述混合，产生与所述视频序列相对应的最终时间预测或空间时间预测的一个或多个。
18.一种视频处理装置，包括：
至少一个处理器，所述处理器被配置为通过包括以下的步骤处理视频序列：
对于一个或多个帧，所述一个或多个帧顺序地用作为所述视频序列的一组帧中的参考帧，
访问一组运动估计，所述一组运动估计包括：
针对所述参考帧的每个区域的第一运动估计，所述第一运动估计表征与所述参考帧的每个区域的像素相关联的相对于所述一组帧中的至少一帧的区域的运动，其中所述至少一帧在时间上相对于所述一组帧中的其它帧有偏移；以及
至少一个其它运动估计，所述至少一个其它运动估计表征与所述参考帧的每个区域的像素相关联的相对于所述一组帧中的至少一个第二帧的区域的运动，其中所述至少一个第二帧在时间上偏离所述至少一帧和所述一组帧中的其它帧；
基于在所述一组帧上所述参考帧中的区域的对齐，来预测所述一组帧上的一组时间图像预测，其相应于所述第一运动估计和至少一个其它运动估计；
混合所述一组时间图像预测；以及
基于所述混合步骤，产生所述一组帧上的时间预测器。
19.如权利要求18所述的装置，其中所述步骤还包括：
基于对来自所述一个或多个帧的数据的插值，为所述一个或多个帧中的每一个帧计算空间预测；以及
混合所述空间预测和所述多个时间预测以产生相应于所述视频序列的空间时间预测。
20.如权利要求19所述的装置，其中所述装置包括下列中的至少一个：
视频解码器或编码器中的至少一个；
视频编辑设备；
电视；
用于至少一种光学编码介质的播放器应用；
用于编码存储介质的播放器应用；
用于流式数字信号的播放器应用；
用于显示来自成像应用的信息的监视器；
网络元件；
便携式通信设备；
便携式娱乐设备；
音频/视频接收器；
媒体服务器；
医疗成像设备；
科学成像设备；或
游戏设备。
21.一种具有编码指令的计算机可读存储介质，当被计算机系统的一个或多个处理器执行时，所述编码指令使得所述处理器执行如下步骤：
对于一个或多个帧，所述一个或多个帧顺序地用作为所述视频序列的一组帧中的参考帧，
访问一组运动估计，所述一组运动估计包括：
针对所述参考帧的每个区域的第一运动估计，所述第一运动估计表征与所述参考帧的每个区域的像素相关联的相对于所述一组帧中的至少一帧的区域的运动，其中所述至少一帧在时间上相对于所述一组帧中的其它帧有偏移；以及
至少一个其它运动估计，所述至少一个其它运动估计表征与所述参考帧的每个区域的像素相关联的相对于所述一组帧中的至少一个第二帧的区域的运动，其中所述至少一个第二帧在时间上偏离所述至少一帧和所述一组帧中的其它帧；
基于在所述一组帧上所述参考帧中的区域的对齐，来预测所述一组帧上的一组时间图像预测，其相应于所述第一运动估计和至少一个其它运动估计；
混合所述一组时间图像预测；以及
基于所述混合步骤，产生所述一组帧上的时间预测器。
22.如权利要求21所述的计算机可读存储介质，其中当被所述至少一个处理器执行时，所述编码指令还使得所述至少一个处理器执行如下步骤：
基于对来自所述一个或多个帧的数据的插值，为所述一个或多个帧中的每一个帧计算空间预测；以及
混合所述空间预测和所述多个时间预测以产生相应于所述视频序列的空间时间预测。
23.一种系统，包括：
用于访问针对视频图像序列中的一个或多个帧的一组运动估计的装置，其中所述一组运动估计包括：
针对所述参考帧的每个区域的第一运动估计，所述第一运动估计表征与所述参考帧的每个区域的像素相关联的相对于所述一组帧中的至少一帧的区域的运动，其中所述至少一帧在时间上相对于所述一组帧中的其它帧有偏移；以及
至少一个其它运动估计，所述至少一个其它运动估计表征与所述参考帧的每个区域的像素相关联的相对于所述一组帧中的至少一个第二帧的区域的运动，其中所述至少一个第二帧在时间上偏离所述至少一帧和所述一组帧中的其它帧；
用于基于在所述一组帧上所述参考帧中的区域的对齐，来预测所述一组帧上的一组时间图像预测的装置，所述一组时间图像预测相应于所述第一运动估计和第二运动估计；
用于混合所述一组时间图像预测的装置；和
用于基于所述混合步骤，产生所述一组帧上的时间预测器的装置。
24.如权利要求23所述的系统，还包括：
用于基于对来自所述一个或多个帧的数据的插值，为所述一个或多个帧中的每一个帧计算空间预测的装置；和
用于混合所述空间预测和所述多个时间预测以产生相应于所述视频序列的空间时间预测的装置。
25.如权利要求24所述的系统，还包括：
用于基于滤波函数，对与所述参考帧和所述至少一个第二帧的像素的运动相关联的值进行插值的装置，其中所述值包括分数像素相位值；和
至少一个用于产生加权值的装置，其中所述加权值包括下列中的一个或多个：
与基于下列中的至少一个的运动估计中的每一个相关联的一个或多个权重：
时间预测的精确度；
与视频图像的压缩相关联的估计噪声分量；
与所述参考帧和所述至少一个第二帧的像素的运动相关联的插值，其中所述插值包括分数像素相位值；或
与空间预测相关联的精确度。
CN200880118271XA 2007-11-30 2008-11-21 时间图像预测的方法和系统 Expired - Fee Related CN101878650B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US99167707P 2007-11-30 2007-11-30
US60/991,677 2007-11-30
PCT/US2008/084395 WO2009073415A2 (en) 2007-11-30 2008-11-21 Temporal image prediction

Publications (2)

Publication Number Publication Date
CN101878650A true CN101878650A (zh) 2010-11-03
CN101878650B CN101878650B (zh) 2013-07-10

Family

ID=40524522

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200880118271XA Expired - Fee Related CN101878650B (zh) 2007-11-30 2008-11-21 时间图像预测的方法和系统

Country Status (5)

Country Link
US (1) US8687693B2 (zh)
EP (1) EP2223530A2 (zh)
JP (1) JP2011505756A (zh)
CN (1) CN101878650B (zh)
WO (1) WO2009073415A2 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104272201A (zh) * 2012-04-27 2015-01-07 株式会社安川电机 时间图制作装置、控制器、机械元件控制系统、时间图制作方法、程序以及信息存储介质
CN103238319B (zh) * 2010-11-29 2016-08-17 联发科技股份有限公司 推导运动向量预测项或运动向量预测项候选项的方法及装置
CN107483957A (zh) * 2011-11-07 2017-12-15 英孚布瑞智有限私人贸易公司 视频数据的解码方法
CN108549069A (zh) * 2018-03-08 2018-09-18 哈尔滨工程大学 一种非理想波导下的warping变换修正方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2494780B1 (en) * 2009-10-29 2020-09-02 Vestel Elektronik Sanayi ve Ticaret A.S. Method and device for processing a video sequence
US8600188B2 (en) 2010-09-15 2013-12-03 Sharp Laboratories Of America, Inc. Methods and systems for noise reduction and image enhancement
US8588535B2 (en) 2010-09-15 2013-11-19 Sharp Laboratories Of America, Inc. Methods and systems for estimation of compression noise
US8532429B2 (en) 2010-09-28 2013-09-10 Sharp Laboratories Of America, Inc. Methods and systems for noise reduction and image enhancement involving selection of noise-control parameter
US8538193B2 (en) * 2010-09-28 2013-09-17 Sharp Laboratories Of America, Inc. Methods and systems for image enhancement and estimation of compression noise
KR20140105103A (ko) * 2013-02-21 2014-09-01 삼성전자주식회사 장기의 움직임을 추적하는 방법, 장치 및 의료 영상 시스템
KR102453803B1 (ko) * 2015-09-10 2022-10-12 삼성전자주식회사 이미지 처리 방법 및 장치
US10257449B2 (en) * 2016-01-05 2019-04-09 Nvidia Corporation Pre-processing for video noise reduction
GB2557622A (en) * 2016-12-12 2018-06-27 V Nova Int Ltd Motion compensation techniques for video
CN109328454B (zh) * 2017-05-30 2020-06-12 奥林巴斯株式会社 图像处理装置
WO2019209887A1 (en) * 2018-04-23 2019-10-31 The Regents Of The University Of Colorado, A Body Corporate Mobile and augmented reality based depth and thermal fusion scan

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2645383B1 (fr) * 1989-03-31 1997-06-27 Thomson Consumer Electronics Procede et dispositif d'interpolation temporelle d'images, a compensation de mouvement corrigee
GB2311184A (en) 1996-03-13 1997-09-17 Innovision Plc Motion vector field error estimation
EP0817499A3 (en) 1996-06-28 2002-05-22 Matsushita Electric Industrial Co., Ltd. Image coding method using extrapolated pixels in insignificant areas of blocks
US6249318B1 (en) 1997-09-12 2001-06-19 8×8, Inc. Video coding/decoding arrangement and method therefor
JP3855522B2 (ja) 1999-02-23 2006-12-13 松下電器産業株式会社 動画変換装置
US7412002B2 (en) 2000-04-28 2008-08-12 Texas Instruments Incorporated Image preprocessing with selective lowpass filtering from motion compensation
JP2002281505A (ja) 2001-03-16 2002-09-27 Toshiba Corp 動画像圧縮装置、同装置のカット検出用データ作成方法およびカット位置データ作成方法ならびにカット検出装置および同装置のカット検出方法
EP1404136B1 (en) 2001-06-29 2018-04-04 NTT DoCoMo, Inc. Image encoder, image decoder, image encoding method, and image decoding method
JP4163618B2 (ja) 2001-08-28 2008-10-08 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化伝送システム、動画像符号化伝送方法、これらに用いて好適な符号化装置、復号化装置、符号化方法、復号化方法及びプログラム
KR100508798B1 (ko) 2002-04-09 2005-08-19 엘지전자 주식회사 쌍방향 예측 블록 예측 방법
CN1744719A (zh) 2002-04-09 2006-03-08 Lg电子株式会社 块的预测方法
JP3807342B2 (ja) 2002-04-25 2006-08-09 三菱電機株式会社 デジタル信号符号化装置、デジタル信号復号装置、デジタル信号算術符号化方法、およびデジタル信号算術復号方法
WO2003098939A1 (en) 2002-05-22 2003-11-27 Matsushita Electric Industrial Co., Ltd. Moving image encoding method, moving image decoding method, and data recording medium
US20040001546A1 (en) 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
KR20050097936A (ko) 2003-01-10 2005-10-10 코닌클리케 필립스 일렉트로닉스 엔.브이. 효과적인 예측 이미지 파라미터 추정
KR20060105409A (ko) 2005-04-01 2006-10-11 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
EP1478189A3 (en) 2003-05-16 2004-12-22 Samsung Electronics Co., Ltd. Method and apparatus for encoding/decoding image using image residue prediction
US7408986B2 (en) 2003-06-13 2008-08-05 Microsoft Corporation Increasing motion smoothness using frame interpolation with motion analysis
US7809059B2 (en) * 2003-06-25 2010-10-05 Thomson Licensing Method and apparatus for weighted prediction estimation using a displaced frame differential
US7333544B2 (en) 2003-07-16 2008-02-19 Samsung Electronics Co., Ltd. Lossless image encoding/decoding method and apparatus using inter-color plane prediction
CN1843037B (zh) 2003-08-26 2010-09-22 汤姆森特许公司 用于编码混合内部-相互编码块的方法和装置
US7894526B2 (en) 2004-02-27 2011-02-22 Panasonic Corporation Motion estimation method and moving picture coding method
EP1617672A1 (en) * 2004-07-13 2006-01-18 Matsushita Electric Industrial Co., Ltd. Motion estimator/compensator including a 16-bit 1/8 pel interpolation filter
KR100888963B1 (ko) 2004-12-06 2009-03-17 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
KR100723403B1 (ko) 2005-02-28 2007-05-30 삼성전자주식회사 컬러 성분간 단일 부호화 모드를 이용한 예측영상 생성 방법 및 장치와, 그를 이용한 영상 및 비디오 부호화/복호화방법 및 장치
KR100703770B1 (ko) 2005-03-25 2007-04-06 삼성전자주식회사 가중 예측을 이용한 비디오 코딩 및 디코딩 방법, 이를위한 장치
FR2889004B1 (fr) 2005-07-22 2007-08-24 Canon Kk Procede et dispositif de traitement d'une sequence d'images numeriques a scalabilite spatiale ou en qualite
JP4236654B2 (ja) 2005-09-13 2009-03-11 株式会社東芝 動画像符号化装置及びその方法
US8059719B2 (en) 2005-09-16 2011-11-15 Sony Corporation Adaptive area of influence filter
US7894527B2 (en) 2005-09-16 2011-02-22 Sony Corporation Multi-stage linked process for adaptive motion vector sampling in video compression
US7957466B2 (en) 2005-09-16 2011-06-07 Sony Corporation Adaptive area of influence filter for moving object boundaries
US7894522B2 (en) 2005-09-16 2011-02-22 Sony Corporation Classified filtering for temporal prediction
WO2007044556A2 (en) 2005-10-07 2007-04-19 Innovation Management Sciences, L.L.C. Method and apparatus for scalable video decoder using an enhancement stream
KR100873636B1 (ko) 2005-11-14 2008-12-12 삼성전자주식회사 단일 부호화 모드를 이용하는 영상 부호화/복호화 방법 및장치
FR2894421B1 (fr) 2005-12-07 2008-01-18 Canon Kk Procede et dispositif de decodage d'un flux video code suivant un codage hierarchique
RU2008146977A (ru) 2006-04-28 2010-06-10 НТТ ДоКоМо, Инк. (JP) Устройство прогнозирующего кодирования изображений, способ прогнозирующего кодирования изображений, программа прогнозирующего кодирования изображений, устройство прогнозирующего декодирования изображений, способ прогнозирующего декодирования изображений и программа прогнозирующего декодирования изображений
JP2007300380A (ja) 2006-04-28 2007-11-15 Ntt Docomo Inc 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラム
EP1855474A1 (en) 2006-05-12 2007-11-14 Sony Deutschland Gmbh Method for generating an interpolated image between two images of an input image sequence

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103238319B (zh) * 2010-11-29 2016-08-17 联发科技股份有限公司 推导运动向量预测项或运动向量预测项候选项的方法及装置
CN107483957A (zh) * 2011-11-07 2017-12-15 英孚布瑞智有限私人贸易公司 视频数据的解码方法
CN107483957B (zh) * 2011-11-07 2020-07-14 英孚布瑞智有限私人贸易公司 视频数据的解码方法
CN104272201A (zh) * 2012-04-27 2015-01-07 株式会社安川电机 时间图制作装置、控制器、机械元件控制系统、时间图制作方法、程序以及信息存储介质
CN108549069A (zh) * 2018-03-08 2018-09-18 哈尔滨工程大学 一种非理想波导下的warping变换修正方法

Also Published As

Publication number Publication date
JP2011505756A (ja) 2011-02-24
CN101878650B (zh) 2013-07-10
EP2223530A2 (en) 2010-09-01
US8687693B2 (en) 2014-04-01
US20120281758A1 (en) 2012-11-08
WO2009073415A3 (en) 2009-07-30
WO2009073415A2 (en) 2009-06-11
WO2009073415A4 (en) 2009-09-17

Similar Documents

Publication Publication Date Title
CN101878650B (zh) 时间图像预测的方法和系统
CN102356637B (zh) 深度图的编码
CN104539966B (zh) 图像预测方法及相关装置
CN104363451B (zh) 图像预测方法及相关装置
CN102362498B (zh) 选择性进行语法元素编码/解码的装置和方法、以及使用其对图像进行编码/解码的装置和方法
CN103563370B (zh) 用于图像运动预测的方法、装置及计算机程序产品
CN101243692B (zh) 对多视角视频进行编码的方法和设备
CN103858431A (zh) 多视点数据编码方法和装置以及解码方法和装置
JP6005865B2 (ja) スケーラブルビデオ符号化のためのエンハンスド参照領域の利用
CN111630859A (zh) 根据图像编码系统中的帧间预测进行图像解码的方法和装置
CN101103632A (zh) 利用动态地基于法向流的量化步长来处理视频信号的方法
CN106961603A (zh) 帧内编码帧码率分配方法和装置
US11115678B2 (en) Diversified motion using multiple global motion models
JP2011505756A5 (zh)
CN110248189B (zh) 一种视频质量预测方法、装置、介质和电子设备
US20170180745A1 (en) Prediction method and Electronic Apparatus of encoding mode of variable resolution
CN109429064B (zh) 一种视频数据的编解码方法、装置和介质
CN111526370A (zh) 视频编码、解码方法及装置和电子设备
CN110572672B (zh) 视频编解码方法和装置、存储介质及电子装置
Zhang et al. A polynomial approximation motion estimation model for motion-compensated frame interpolation
JP2022003779A (ja) 画像復号装置、画像復号方法、及び画像復号プログラム
CN109547781B (zh) 基于图像预测的压缩方法及设备
CN113824960B (zh) 视频编码方法、装置、计算机可读介质及电子设备
WO2020060757A1 (en) Translational and affine candidates in a unified list
RU2789732C2 (ru) Устройство декодирования изображения и способ декодирования изображения

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130710

Termination date: 20181121

CF01 Termination of patent right due to non-payment of annual fee