CN102067583B - 视频处理装置及视频处理方法 - Google Patents

视频处理装置及视频处理方法 Download PDF

Info

Publication number
CN102067583B
CN102067583B CN200880130028XA CN200880130028A CN102067583B CN 102067583 B CN102067583 B CN 102067583B CN 200880130028X A CN200880130028X A CN 200880130028XA CN 200880130028 A CN200880130028 A CN 200880130028A CN 102067583 B CN102067583 B CN 102067583B
Authority
CN
China
Prior art keywords
motion
module
motion vectors
video
produce
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN200880130028XA
Other languages
English (en)
Other versions
CN102067583A (zh
Inventor
张德浩
吕忠晏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=41431261&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN102067583(B) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN102067583A publication Critical patent/CN102067583A/zh
Application granted granted Critical
Publication of CN102067583B publication Critical patent/CN102067583B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/533—Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)

Abstract

本发明提供一种视频处理装置及视频处理方法，所述视频处理装置包含存储接口，其可以在帧率变换与视频压缩之间共享运动估测模块与运动补偿模块的信息及硬件。所述视频处理装置可以同时执行帧率变换以及视频编码操作，或者依次执行帧率变换以及视频编码操作。与现有技术的方法相比，所述视频处理装置可以采用更少的资源以及具有更小的芯片面积。

Description

视频处理装置及视频处理方法
技术领域
本发明是有关于用于帧率变换(frame rate conversion)及视频压缩(videocompression)的联合系统(joint system)，且特别有关于一种可以在帧率变换及视频压缩之间共享运动估测模块以及运动补偿模块的处理(processes)的系统。
背景技术
请参考图1，图1是现有技术中运动估测/补偿(Motion Estimation/Compensation，ME/MC)帧率变换电路100的方块图。帧率变换电路100将取样率(sample rate)为24-30赫兹的电影或动画源(animated source)变换为取样率为50-60赫兹或100-120赫兹的播放视频流(video stream)，其包含运动估测电路110、运动补偿电路120以及动态随机存取存储器(DynamicRandom Access Memory，DRAM)130。DRAM 130暂时存储输入帧，运动估测电路110从DRAM 130中撷取两个帧(一个当前帧和一个先前帧)，并比较所述两个帧以产生用以指示一个像素的运动的运动向量(motion vector)，而该像素的运动是对应于从先前帧至当前帧的该像素的位置移动。运动补偿电路120也从DRAM 130撷取所述两个帧，所述两个帧可与从运动估测电路110接收的运动向量一并处理，以产生插值于当前帧与先前帧之间的一个帧。
所述操作统称为具有影像抖动消除(Movie Judder Cancellation，MJC)的帧率变换。执行所述操作之后，输出视频具有比输入视频更高的帧率，且减少了抖动假影(judder artifact)。因此，即使帧中的物体与背景处于运动中，帧率变换电路100仍可以准确插值中间帧(intermediate frame)。
如图2所示，视频编码中也利用了运动估测及运动补偿。视频编码器200被用来通过移除输入帧的冗余(redundancy)来压缩输入视频流，换句话说，传送至接收端(receiving end)的视频编码器200的输出压缩流仅包含两个相邻帧之间的差异。随后，接收端通过补偿该差异来重建初始帧流。
因此，视频编码器200包含DRAM 230以暂时存储输入帧；视频编码器200也包含运动估测电路210，以从DRAM 230撷取两个帧(即，一个帧内编码帧(intra-coded frame，I frame)及一个预测编码帧(predicted frame，Pframe))，并将两个帧进行比较以产生一个残余(residue)及一个用来指示所述两个帧之间的差异的运动向量。所述残余随后被区块编码电路240编码，并被传送至比特流产生器260以产生压缩比特流。区块译码电路250及运动补偿电路220仿真接收端所采取的操作以重建初始帧：区块译码电路250译码编码的残余，接着，依据区块译码电路250产生的残余以及运动估测电路210产生的运动向量，运动补偿电路220产生重建帧(reconstructed frame)。所述重建帧将作为P-帧而在下一个编码周期中使用。在被运动估测电路210撷取之前，重建帧是存储于DRAM 230中的。
然而，数据压缩以及帧率变换操作经常是独立执行的，这种做法相当浪费资源，其也需要很大的芯片面积以复制运动估测电路及运动补偿电路。
发明内容
本发明提供一种视频处理装置，用于在帧率变换以及视频编码操作(或数据压缩)之间共享存储接口以及运动估测模块与运动补偿模块的操作。所述装置可以同时执行帧率变换以及视频编码，或依次执行所述两种操作，相对于现有技术的方法来说，其需要更少资源以及更小的芯片面积。
本发明所提出的共享概念可以进一步应用于结合其他功能，如解交织、编码、视频降噪、超分辨率以及需要运动估测所产生的运动信息的功能，以减少系统资源需求。
依据本发明的一个实施例，其揭露了一种对输入视频流执行视频编码操作以及帧率变换操作的视频处理装置。所述视频处理装置包含用于存储包含多个帧的输入视频流的存储模块、视频编码模块、运动补偿模块以及运动估测模块。视频编码模块用于编码输入视频流，以及依据多个运动向量产生压缩比特流；运动补偿模块耦接至存储模块及视频编码模块，在变换模式下，运动补偿模块依据输入视频流及多个运动向量对该输入视频流执行影像抖动消除，以产生输出视频流，在编码模式下，运动补偿模块依据输入视频流及多个运动向量产生重建帧，并将重建帧存储至存储模块；以及运动估测模块耦接于存储模块、视频编码模块以及运动补偿模块，用于从存储模块中撷取输入视频流，并依据输入视频流产生多个运动向量。
依据本发明的另一实施例，其揭露了一种对输入视频流执行视频编码以及帧率变换视频处理方法。所述方法包含：存储包含多个帧的输入视频流至存储模块；从存储模块中撷取输入视频流，并依据输入视频流产生多个运动向量；依据多个运动向量对输入视频流进行编码，以产生压缩比特流；依据输入视频流及多个运动向量对输入视频流执行影像抖动消除，以产生输出视频流；以及依据输入视频流及多个运动向量产生重建帧，并将重建帧存储至存储模块。
本发明的附图列举了本发明技术方案的优选实施例，在阅读下文中其详细说明后，本领域的技术人员应可了解本发明的上述及其他目的。
附图说明
图1是现有技术中帧率变换电路的方块图。
图2是现有技术中视频译码器的方块图。
图3是依本发明的一个实施例的视频处理装置的方块图。
图4是依本发明另一个实施例的视频处理装置的方块图。
图5是依本发明另一个实施例的视频处理装置的方块图。
图6是依本发明另一个实施例的视频处理装置的方块图。
图7是依本发明另一个实施例的视频处理装置的方块图。
图8是依本发明另一个实施例的视频处理装置的方块图。
图9是依本发明另一个实施例的视频处理装置的方块图。
具体实施方式
在说明书及权利要求书当中使用了某些词汇来指称特定的元件。所属技术领域的技术人员应可理解，硬件制造商可能会用不同的名词来称呼同一个元件。本说明书及权利要求书并不以名称的差异作为区分元件的方式，而是以元件在功能上的差异作为区分的准则。在通篇说明书及权利要求项中所提及的「包含」为一开放式的用语，故应解释成「包含但不限定于」。此外，「耦接」一词在此包含任何直接及间接的电气连接手段。因此，若文中描述第一装置耦接于第二装置，则代表第一装置可直接电气连接于第二装置，或透过其它装置或连接手段间接地电气连接至第二装置。
请参考图3，图3是依本发明一个实施例的视频处理装置300的方块图。图1及图2中现有技术的系统，每一个系统都需要一个运动估测模块、一个运动补偿模块以及一个存储模块来分别执行帧率变换以及视频编码，而视频处理装置300则与之不同，视频处理装置300可同时提供帧率变换功能以及视频编码功能，而仅需要一个运动估测模块310、一个运动补偿模块320、一个视频编码模块335以及一个存储模块330。
存储模块330可以是DRAM，其存储包含多个帧的输入视频流。在一个实施例中，运动估测模块310仅包含一个运动估测单元，运动补偿模块320也仅包含一个运动补偿单元，而视频处理装置300则包含两个模式，即变换模式与编码模式。
当视频处理装置300切换至变换模式时，控制视频编码模块335以使其禁能，而运动估测模块310与运动补偿模块320则被配置以产生输出视频流，所述视频流的帧率不同于输入视频流的帧率。举例来说，运动估测模块310从存储模块330撷取一个目标帧(target frame)以及一个参考帧(referenceframe)，随后依据所述目标帧以及参考帧产生一个运动向量。所述运动向量被传送至运动补偿模块320，而运动补偿模块320也从存储模块330撷取所述目标帧以及参考帧，并依据所述目标帧、所述参考帧以及所述运动向量来产生插值帧(interpolated frame)。在运动补偿模块320将插值帧插值入输入视频流之后，输出视频流也被产生。
然而，当视频处理装置300处于编码模式时，视频编码模块335被使能，而运动估测模块310与运动补偿模块320则被配置以执行数据压缩程序。运动估测模块310从存储模块330撷取一个目标帧以及一个参考帧，依据所述目标帧以及参考帧，运动估测模块310产生传送至视频编码模块335以及运动补偿模块320的一个运动向量及一个残余。视频编码模块335中的区块编码电路340随后编码所述残余以产生编码的残余，并将编码的残余传送至视频编码模块335中的比特流产生器360以及区块译码电路350。比特流产生器360依据运动向量以及所述编码的残余产生输出的压缩比特流。此外，在编码的残余被区块译码电路350译码之后，处理后的残余、运动向量以及参考帧被一并处理以产生重建帧，所述重建帧被运动补偿模块320回存至存储模块330。
在本实施例中，由于运动估测模块310仅包含一个运动估测单元，运动补偿模块320仅包含一个运动补偿单元，而其又被一个控制信号控制而选择性地处于变换模式或者编码模式，因此视频处理装置300是在不同时间执行帧率变换以及视频编码(视频处理装置300每次仅能依据一种模式执行相关操作)。然而，在变换模式及编码模式下，运动估测模块310的运动估测方法可以有所不同，以得到最佳解决方法。对于帧率变换来说，可以采用第一运动估测方法，例如三维递归搜寻(3D Recursive Search，3DRS)；而对于视频编码来说，则可以采用第二运动估测方法，例如完全搜寻(full search)。
图4是依本发明的另一实施例的视频处理装置400的方块图，视频处理装置400可以同时启动帧率变换功能以及视频编码功能。与上一实施例相比，视频处理装置400的运动补偿模块420包含第一运动补偿单元422以及第二运动补偿单元424两个运动补偿单元，且每一运动补偿单元负责一种功能。举例来说，第一运动补偿单元422负责帧率变换功能，因此，第一运动补偿单元422从存储模块430撷取目标帧以及参考帧，接收运动估测模块410产生的运动向量，并依据所述帧以及运动向量产生输出视频流，其中输出视频流的帧率不同于输入视频流的帧率。同时，第二运动补偿单元424负责视频编码，因此，第二运动补偿单元424依据从视频编码模块435(包含区块编码电路440、区块译码电路450、以及比特流产生器460)处接收的处理后残余、参考帧以及从运动估测模块410处接收的运动向量来产生重建帧，并将重建帧存储至存储模块430。
由于帧率变换功能以及视频编码功能是分别由各自专属的运动补偿单元完成，视频处理装置400不需要两种模式，因此，其可能不需要在两种不同模式之间的切换功能。通过共享运动估测及存储接口，两种功能可以被同时执行。与需要两个运动估测单元与两个运动补偿单元来实现帧率变换以及视频编码的现有技术中的系统相比，存储模块430(例如DRAM)的带宽可大大减少。此外，在本实施例中，由于两种功能同时执行，不管运动向量是用于帧率变换或者用于视频编码，运动估测模块410都会依据单一的运动估测方法来产生运动向量。举例来说，运动估测模块410可以采取3DRS方法，因为对于帧率变换来说，3DRS方法较佳。
考虑到视频处理装置400实现的其它功能，例如数字视频系统具有的立即回放(instant replay)与回播(rewind)，改进的视频处理装置500如图5所示。视频处理装置500可对当前视频流执行视频编码，并对先前视频流执行帧率变换，从而使播放装置，例如数字视频系统中的电视机，可立即回放或回播先前接收的节目。
在本实施例中，第一运动补偿单元422及第二运动补偿单元424利用不同的帧来分别执行帧率变换及视频编码。因此，运动估测模块410并不直接提供运动向量至第一运动补偿单元422，而是将运动向量存储至一个存储空间(在图5中，所述存储空间位于存储模块430内，然而，其也可以位于其它存储装置内)，第一运动补偿单元422进一步从所述存储空间撷取合适的运动向量。通过所述方法，当立即回放/回播功能被使能时，第一运动补偿单元422可以从所述存储空间得到先前输入视频流的运动向量，以产生具有先前接收的节目的输出视频流，而第二运动补偿单元424与视频编码模块435仍产生代表当前输入视频流的输出的压缩比特流。
图6所示为支持立即回放与回播功能的视频处理装置的另一实施例。视频处理装置600更包含耦接至比特流产生器460以及第一运动补偿单元422的译码器670。比特流产生器460将从运动估测模块410接收的运动向量打包至输出的压缩比特流中，并将输出的压缩比特流传送至接收端(未画出)与译码器670。在译码器670将运动向量从输出的压缩比特流中译码之后，运动向量可以被用于由第一运动补偿单元422执行的下一影像抖动消除。
下文将揭露依本发明另一实施例的视频处理装置。图7所示的视频处理装置700包含两个运动估测单元712与714，以及两个运动补偿单元722与724，其中第一运动补偿单元722负责帧率变换的影像抖动消除，第二运动补偿单元724负责视频译码，所述运动补偿单元大致与前面所揭露的运动补偿单元422、424相同。因此，视频处理装置700也可以同时启动帧率变换以及视频压缩。
第一运动估测单元712产生传送至第一运动补偿单元722的运动向量；第二运动估测单元714产生传送至第二运动补偿单元714的运动向量，并产生传送至视频编码模块735的残余。然而，两个运动估测单元712与714可以相互共享必要信息(例如运动向量)，因此，可以减少计算量，并进一步提升运动估测的性能。
举例来说，一个运动估测单元(例如第二运动估测单元714)接收另一运动估测单元(例如第一运动估测单元712)产生的运动向量，而不是自己产生运动向量。因此，可以得到例如计算量减少、收敛快速(fasterconvergence)以及压缩率提升(improved compression efficiency)等优势。从第一运动估测单元712接收到运动向量之后，第二运动估测单元714可以依据与第一运动估测单元712中使用的运动估测方法不同的运动估测方法来净化(refine)所述运动向量，以提升效率及性能。举例来说，第一运动估测单元712依据3DRS方法产生初始运动向量，第二运动估测单元714进一步依据具有较小搜寻范围的完全搜寻方法净化从第一运动估测单元712接收的运动向量，从而减少计算量。
应注意，第一与第二动运动补偿单元722、724之间共享的信息并不限于运动向量，且初始运动向量也可以由第二运动估测单元714产生，并由第一运动估测单元712净化。
类似地，视频处理装置700可被改进以支持例如立即回放及回播的功能。请参考图8及图9，其分别画出了改进的视频处理装置800与900。视频处理装置800将运动估测模块710(例如第一运动估测单元712)产生的运动向量存储至一个存储空间或存储模块730，然后第一运动补偿单元722从所述存储空间或存储模块730撷取合适的运动向量。在图9中，额外提供译码器970以译码输出的压缩比特流中的运动向量，并将所述运动向量提供至第一运动补偿单元722。由于所述实施例已于上文揭露，为简化说明，省略其进一步的描述。
简单来说，在所述实施例中，运动估测模块可以在帧率变换与视频译码操作之间共享信息，例如运动向量，或共享硬件，例如从存储模块撷取帧的数据地址产生器、区块匹配(例如绝对误差和计算)单元、用于快取区块匹配的搜寻范围的片上静态随机存取存储器、运动向量产生器及存储器、或精度为1/4的像素插值器，所述像素插值器可以在运动向量为非整数时使运动向量更精确。所述运动补偿模块可以在帧率变换以及视频编码之间共享硬件，例如数据地址产生器、用于运动补偿的片上静态随机存取存储器、或精度为1/4的像素插值器。此外，存储模块的共享输入/输出接口以及先进先出(First-In-First-Out，FIFO)存取，例如DRAM，也有益于视频处理装置。
当以上所述的视频处理装置实现于电视机产品时，通过存储运动向量至存储模块或其它存储装置而减少DRAM的带宽，其可以以低耗费来支持帧率变换、立即回放应用以及时间平移应用。运动向量的数据率仅为视频流的数据率的1％，因此不会导致干扰或性能减退。当电视机处于正常模式(normalmode)时，第一运动补偿单元执行影像抖动消除以撷取当前运动向量；然而，当电视机处于延迟重放模式(delayed playback mode)时，第一运动补偿单元被控制以撷取存储的运动向量。
更进一步，本发明所建议的共享的概念可扩展至与其它功能相结合，例如解交织(de-interlacing)、编码、视频降噪(Noise Reduction，NR)、超分辨率(super resolution)以及其它需要运动估测与运动补偿所产生的运动信息的功能。另外，系统所需的资源也因此而减少。
在保留本发明教导的情况下，本领域的技术人员也可以对所述的装置及方法实施各种变化与修饰。

Claims (23)

1.一种视频处理装置，用于对输入视频流执行视频编码以及帧率变换，该视频处理装置包含：
存储模块，用于存储包含多个帧的该输入视频流；
视频编码模块，用于编码该输入视频流，以及依据多个运动向量产生压缩比特流；
运动补偿模块，耦接至该存储模块及该视频编码模块，在变换模式下，该运动补偿模块依据该输入视频流及该多个运动向量对该输入视频流执行影像抖动消除，以产生输出视频流，在编码模式下，该运动补偿模块依据该输入视频流及该多个运动向量产生重建帧，并将该重建帧存储至该存储模块；以及
运动估测模块，耦接至该存储模块、该视频编码模块以及该运动补偿模块，用于从该存储模块中撷取该输入视频流，以及依据该输入视频流产生该多个运动向量。
2.根据权利要求1所述的视频处理装置，其特征在于：该运动补偿模块仅包含一个运动补偿单元，且该运动补偿单元由控制信号控制，以在该变换模式及该编码模式之间切换。
3.根据权利要求1所述的视频处理装置，其特征在于：当该运动补偿模块处于该变换模式时，该运动估测模块依据第一运动估测方法产生该多个运动向量；当该运动补偿模块处于该编码模式时，该运动估测模块依据不同于该第一运动估测方法的第二运动估测方法产生该多个运动向量。
4.根据权利要求1所述的视频处理装置，其特征在于：该运动补偿模块包含：
第一运动补偿单元，耦接至该存储模块及该运动估测模块，用于从该存储模块撷取该输入视频流，并依据该输入视频流及该多个运动向量对该输入视频流执行影像抖动消除，以产生该输出视频流；以及
第二运动补偿单元，耦接至该存储模块、该运动估测模块及该视频编码模块，依据该输入视频流及从该运动估测模块接收的该多个运动向量，该第二运动补偿单元从该存储模块撷取该输入视频流，以产生该重建帧，并将该重建帧存储至该存储模块。
5.根据根据权利要求4所述的视频处理装置，其特征在于：该第一运动补偿单元以及该第二运动补偿单元同时运行。
6.根据权利要求4所述的视频处理装置，其特征在于：该运动估测模块依据单一的运动估测方法产生该多个运动向量。
7.根据权利要求4所述的视频处理装置，其特征在于：该第一运动补偿单元直接从该运动估测模块接收该多个运动向量。
8.根据权利要求4所述的视频处理装置，其特征在于：该运动估测模块将该多个运动向量存储至存储空间，且该第一运动补偿单元从该存储空间撷取该多个运动向量。
9.根据权利要求8所述的视频处理装置，其特征在于：该存储空间位于该存储模块中。
10.根据权利要求4所述的视频处理装置，其特征在于：更包含译码器，耦接至该视频编码模块以及该第一运动补偿单元，用于译码该压缩比特流以获取包含于该压缩比特流中的该多个运动向量，以及将该多个运动向量传送至该第一运动补偿单元。
11.根据权利要求1所述的视频处理装置，其特征在于：该运动估测模块包含：
第一运动估测单元；以及
第二运动估测单元，用于接收该第一运动估测单元产生的多个第一运动向量，以及根据接收的该多个第一运动向量及该输入视频流产生多个第二运动向量；
其中，在该变换模式下，该第一运动估测单元及该第二运动估测单元其中之一产生多个运动向量并将产生的该运动向量提供至该运动补偿模块以进行影像抖动消除，在该编码模式下，该第一运动估测单元及该第二运动估测单元中之另一者产生多个运动向量并将产生的该运动向量提供至该运动补偿模块以产生该重建帧。
12.根据权利要求11所述的视频处理装置，其特征在于：该第一运动估测单元依据第一运动估测方法产生该多个第一运动向量，以及该第二运动估测单元依据不同于该第一运动估测方法的第二运动估测方法产生该多个第二运动向量。
13.根据权利要求11所述的视频处理装置，其特征在于：该第一运动估测单元更将产生的该多个第一运动向量存储至存储空间，以及该第二运动估测单元从该存储空间撷取该多个第一运动向量。
14.根据权利要求13所述的视频处理装置，其特征在于：该存储空间位于该存储模块中。
15.根据权利要求11所述的视频处理装置，其特征在于：该第二运动估测单元耦接至该存储模块以及该运动补偿模块，该第一运动估测单元耦接至该存储模块、该视频编码模块以及该运动补偿模块，以及该视频处理装置更包含：
译码器，耦接至该视频编码模块及该第二运动估测单元，用于译码该压缩比特流以获取包含于该压缩比特流中的该多个运动向量，以及将该多个运动向量传送至该第二运动估测单元。
16.一种视频处理方法，用于对输入视频流执行视频编码以及帧率变换，该视频处理方法包含：
(a)存储包含多个帧的该输入视频流至存储模块；
(b)从该存储模块中撷取该输入视频流，并依据该输入视频流产生多个运动向量；
(c)依据该多个运动向量对该输入视频流进行编码，以产生压缩比特流；
(d)在变换模式下，依据该输入视频流及该多个运动向量对该输入视频流执行影像抖动消除，以产生输出视频流；以及
(e)在编码模式下，依据该输入视频流以及该多个运动向量产生重建帧，并将该重建帧存储至该存储模块。
17.根据权利要求16所述的视频处理方法，其特征在于：步骤(b)中该依据该输入视频流产生多个运动向量的步骤更包含：将该多个运动向量存储至存储空间，步骤(d)更包含：从该存储空间撷取该多个运动向量。
18.根据权利要求17所述的视频处理方法，其特征在于：该存储空间位于该存储模块中。
19.根据权利要求16所述的视频处理方法，其特征在于：步骤(d)更包含：译码该压缩比特流，以获取包含于该压缩比特流中的该多个运动向量，以用于产生该输出视频流。
20.根据权利要求16所述的视频处理方法，其特征在于：步骤(d)更包含：依据该输入视频流及步骤(b)中产生的该多个运动向量产生多个运动向量，以用于产生该压缩比特流。
21.根据权利要求20所述的视频处理方法，其特征在于：步骤(b)中的该多个运动向量是依据第一运动估测方法产生，以及步骤(d)中的该多个运动向量是依据不同于该第一运动估测方法的第二运动估测方法产生。
22.根据权利要求16所述的视频处理方法，其特征在于：步骤(e)更包含：依据该输入视频流及步骤(b)中产生的该多个运动向量产生多个运动向量，以用于产生该重建帧。
23.根据权利要求22所述的视频处理方法，其特征在于：步骤(b)中的该多个运动向量是依据第一运动估测方法产生，以及步骤(e)中的该多个运动向量是依据不同于该第一运动估测方法的第二运动估测方法产生。
CN200880130028XA 2008-06-23 2008-10-07 视频处理装置及视频处理方法 Active CN102067583B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/143,854 2008-06-23
US12/143,854 US8284839B2 (en) 2008-06-23 2008-06-23 Joint system for frame rate conversion and video compression
PCT/CN2008/072609 WO2009155759A1 (en) 2008-06-23 2008-10-07 Joint system for frame rate conversion and video compression

Publications (2)

Publication Number Publication Date
CN102067583A CN102067583A (zh) 2011-05-18
CN102067583B true CN102067583B (zh) 2012-10-17

Family

ID=41431261

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200880130028XA Active CN102067583B (zh) 2008-06-23 2008-10-07 视频处理装置及视频处理方法

Country Status (5)

Country Link
US (1) US8284839B2 (zh)
EP (1) EP2304931B1 (zh)
CN (1) CN102067583B (zh)
TW (1) TWI519171B (zh)
WO (1) WO2009155759A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8494058B2 (en) 2008-06-23 2013-07-23 Mediatek Inc. Video/image processing apparatus with motion estimation sharing, and related method and machine readable medium
US8284839B2 (en) 2008-06-23 2012-10-09 Mediatek Inc. Joint system for frame rate conversion and video compression
JP5652391B2 (ja) * 2009-05-07 2015-01-14 コニカミノルタ株式会社 ステレオ画像取得装置
WO2011163422A2 (en) * 2010-06-22 2011-12-29 Newblue, Inc. System and method for distributed media personalization
CN102647559B (zh) * 2012-04-26 2016-04-13 广州盈可视电子科技有限公司 一种云台跟踪录制的方法和装置
US8681270B2 (en) * 2012-07-25 2014-03-25 Vixs Systems, Inc. Motion adaptive deinterlacer and methods for use therewith
RU2656785C1 (ru) * 2017-08-03 2018-06-06 Самсунг Электроникс Ко., Лтд. Оценка движения путем трехмерного рекурсивного поиска (3drs) в реальном времени для преобразования частоты кадров (frc)
US10523961B2 (en) 2017-08-03 2019-12-31 Samsung Electronics Co., Ltd. Motion estimation method and apparatus for plurality of frames
US11722635B2 (en) 2021-06-22 2023-08-08 Samsung Electronics Co., Ltd. Processing device, electronic device, and method of outputting video

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1175157A (zh) * 1996-05-08 1998-03-04 德国汤姆逊-布朗特公司 复合视频波段信号的存储器优化处理的方法和电路装置
CN1330493A (zh) * 2000-06-28 2002-01-09 三星电子株式会社 具有数字图像稳定功能的解码器和数字图像稳定方法
WO2008027508A2 (en) * 2006-08-30 2008-03-06 Broadcom Corporation Framebuffer sharing for video processing

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5247355A (en) * 1992-06-11 1993-09-21 Northwest Starscan Limited Partnership Gridlocked method and system for video motion compensation
US6519287B1 (en) * 1998-07-13 2003-02-11 Motorola, Inc. Method and apparatus for encoding and decoding video signals by using storage and retrieval of motion vectors
DE69942157D1 (de) * 1999-05-13 2010-04-29 St Microelectronics Asia Adaptiver bewegungsschätzer
JP4724351B2 (ja) * 2002-07-15 2011-07-13 三菱電機株式会社 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、および通信装置
US20040179599A1 (en) * 2003-03-13 2004-09-16 Motorola, Inc. Programmable video motion accelerator method and apparatus
CN1914660A (zh) * 2004-01-27 2007-02-14 皇家飞利浦电子股份有限公司 图像运动补偿装置及其方法
MX2007000254A (es) 2004-07-01 2007-04-09 Qualcomm Inc Metodo y aparato para utilizar tecnicas de conversion ascendente de indice de cuadro en codificacion de video que se puede escalar.
EP1772017A2 (en) 2004-07-20 2007-04-11 Qualcomm Incorporated Method and apparatus for encoder assisted-frame rate up conversion (ea-fruc) for video compression
KR100644629B1 (ko) * 2004-09-18 2006-11-10 삼성전자주식회사 하이브리드 블록 매칭 기반의 움직임 추정 방법 및 그를적용한 프레임 레이트 변환 장치
US7778476B2 (en) * 2005-10-21 2010-08-17 Maxim Integrated Products, Inc. System and method for transform coding randomization
US7705885B2 (en) * 2006-06-15 2010-04-27 Freescale Semiconductor, Inc. Image and video motion stabilization system
WO2009066284A2 (en) * 2007-11-20 2009-05-28 Ubstream Ltd. A method and system for compressing digital video streams
US8284839B2 (en) 2008-06-23 2012-10-09 Mediatek Inc. Joint system for frame rate conversion and video compression

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1175157A (zh) * 1996-05-08 1998-03-04 德国汤姆逊-布朗特公司 复合视频波段信号的存储器优化处理的方法和电路装置
CN1330493A (zh) * 2000-06-28 2002-01-09 三星电子株式会社 具有数字图像稳定功能的解码器和数字图像稳定方法
WO2008027508A2 (en) * 2006-08-30 2008-03-06 Broadcom Corporation Framebuffer sharing for video processing

Also Published As

Publication number Publication date
EP2304931A4 (en) 2013-01-02
WO2009155759A1 (en) 2009-12-30
TW201002075A (en) 2010-01-01
TWI519171B (zh) 2016-01-21
US20090316785A1 (en) 2009-12-24
EP2304931B1 (en) 2015-10-28
CN102067583A (zh) 2011-05-18
US8284839B2 (en) 2012-10-09
EP2304931A1 (en) 2011-04-06

Similar Documents

Publication Publication Date Title
CN102067583B (zh) 视频处理装置及视频处理方法
US5923375A (en) Memory reduction in the MPEG-2 main profile main level decoder
KR100542146B1 (ko) Ｍｐｅｇ 코딩된 이미지 표현 데이터의 디지털 데이터스트림을 처리하는 방법 및 시스템
JP4778953B2 (ja) 拡張可能な圧縮を伴い且つ基準フレームデータを記憶して回収するためのバッファを有するビデオデコーダ
US8494058B2 (en) Video/image processing apparatus with motion estimation sharing, and related method and machine readable medium
JPH05236466A (ja) 動き補償フレーム間予測画像符号化装置及び方法
JP2947389B2 (ja) 画像処理用メモリ集積回路
JP2950367B2 (ja) 逆離散余弦変換器におけるデータ出力順序変換方法及び回路
CN101637027B (zh) 解码方法、解码器以及解码装置
KR100203281B1 (ko) 강제적 한방향 운동보상에 근거한 동화상 복호화장치
US8335256B2 (en) Motion compensation in video coding
JPH0393377A (ja) 高能率符号化装置
JPH1175198A (ja) 画像信号圧縮装置及び方法、並びに記録媒体
CN100481954C (zh) 一种运动补偿系统和方法
JP2009071802A (ja) 動画像符号化方法および装置、並びに撮像システム
Fu et al. Efficient reverse-play algorithm for MPEG video streaming with VCR functionality
JP2000059789A (ja) 動画像符号列変換装置及びその方法
JPH0738899A (ja) 画像符号化装置
JP2004274212A (ja) 画像符号化装置
JP2004179810A (ja) 画像符号化装置
EP1768392A1 (en) Apparatus and method for converting a compressed sequence of digital images
JPH10174109A (ja) 画像復号装置
JP2001045487A (ja) 画像再生装置
KR20000050508A (ko) 영상 부호화기의 계층적 움직임 추정 장치
JPH03253191A (ja) 動画像符号化方式

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant