CN101656825B - 一种信号处理的方法及系统 - Google Patents
一种信号处理的方法及系统 Download PDFInfo
- Publication number
- CN101656825B CN101656825B CN2009101709014A CN200910170901A CN101656825B CN 101656825 B CN101656825 B CN 101656825B CN 2009101709014 A CN2009101709014 A CN 2009101709014A CN 200910170901 A CN200910170901 A CN 200910170901A CN 101656825 B CN101656825 B CN 101656825B
- Authority
- CN
- China
- Prior art keywords
- video
- motion vector
- wireless
- frame
- receiver
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 34
- 238000012545 processing Methods 0.000 title claims description 9
- 239000013598 vector Substances 0.000 claims abstract description 166
- 238000006243 chemical reaction Methods 0.000 claims abstract description 78
- 238000013139 quantization Methods 0.000 claims abstract description 45
- 238000000605 extraction Methods 0.000 claims description 37
- 239000000284 extract Substances 0.000 claims description 12
- 238000010295 mobile communication Methods 0.000 claims description 7
- 230000006837 decompression Effects 0.000 abstract description 68
- 230000005540 biological transmission Effects 0.000 abstract description 37
- 230000006835 compression Effects 0.000 description 20
- 238000007906 compression Methods 0.000 description 20
- 238000011002 quantification Methods 0.000 description 18
- 230000008859 change Effects 0.000 description 14
- 230000009467 reduction Effects 0.000 description 14
- 238000001914 filtration Methods 0.000 description 13
- 230000009466 transformation Effects 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 10
- 238000005259 measurement Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000011946 reduction process Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明涉及视频接收器，其可用于通过如无线高清传输链路从视频发射器接收视频流。所述接收的视频流包括多个视频帧和对应的编码信息。所述提取的编码信息，如字块运动矢量、字块式编码、量化电平、和/或量化冗余数据是在所述接收的多个视频帧上执行帧率上变频所提取的。所述编码信息由视频发射器通过熵解码来自视频源(如IP TV网络)的压缩视频产生，当收到未压缩的视频时，视频接收器可使用所述提取的字块运动矢量和相关的可靠性-一致性测量在所述接收的未压缩视频上执行帧率上变频。当收到压缩的视频时，视频接收器配置成在执行帧率上变频之前在所接收的压缩视频上解压缩视频。
Description
相关申请的交叉引用
本申请基准并要求申请日为2008年8月19日、申请号为61/090,075的美国临时专利申请的优先权，并在此将该美国临时专利申请的全文引用入本申请中。
技术领域
本发明涉及数字视频处理，更具体地说，涉及一种对压缩和解压缩视频流执行运动补偿帧率上变频的方法和系统。
背景技术
视频显示技术的重大革命包括基于液晶显示器(LCD)或等离子显示屏(PDP)技术的平面屏幕，其快速地替代了在半个多世纪内作为主要的显示设备的阴极射线管(CRT)技术。这种新的视频显示技术的重大意义是图像可在平面屏幕上以更高的图像速率(picture rate)逐行扫描显示。这种新的视频显示技术也可加速标准清晰度(SD)电视向高清(HD)电视的转变。
低图像速率格式可用在传统的视频压缩系统中以在新式的显示屏上显示传统视频。信道容量的限制可能会影响低像速图像的显示。例如，认为30Hz的视频序列可在移动网络和终端(如，可从服务器接收编码视频序列的移动电话)上传播。然而，由于带宽的限制，只有低比特率的视频序列能进行通信。因此，编码器可能会移出三分之二要传送的图片，这将产生一个例如大约10H的图像速率图像的序列。可用信道的容量在不同的视频服务中可能不同。世界上不同的地区，沿用的系统也可能不同，例如，NTSC、SECAM或PAL。
比较本发明后续将要结合附图介绍的系统，现有技术的其它局限性和弊端对于本领域的普通技术人员来说是显而易见的。
发明内容
本发明提供了一种用于压缩和解压缩视频比特流的运动补偿帧率上变频的系统和/或方法，结合至少一副附图给出了充分地显示和/或描述，并更完整地在权利要求中阐明。
根据本发明的一方面，一种信号处理的方法，包括：
在视频接收器中：
接收视频比特流，所述视频比特流包括多个视频帧和对应的编码信息；
从所述接收的视频比特流中提取所述编码信息；和
使用所述提取的编码信息在所述接收的多个视频帧上执行帧率上变频。
优选地，所述提取的编码信息包括字块运动矢量、字块编码、量化电平、和/或量化冗余数据中的一个或多个。
优选地，所述编码信息由视频发射器基于来自视频源(video feed)的压缩视频通过熵解码产生，所述视频源来自有线电视网、IP电视网络、卫星广播网络、移动通信网络、照相机、和/或摄像机中的一个。
优选地，所述接收的多个视频帧包括在所述视频发射器中通过解压缩来自所述视频源的所述压缩视频所构造的多个解码视频帧。
优选地，所述方法还包括：
基于所述提取的编码信息为所述接收到的多个解码视频帧中的每一个生成像素运动矢量；和
计算运动矢量可靠性和/或运动矢量一致性中的一个或两个用于对应所述生成的像素运动矢量。
优选地，所述方法还包括基于所述生成的像素运动矢量和所述计算的运动矢量可靠性和/或运动矢量一致性中的一个或两个从所述接收的多个解码视频帧中生成多个内插视频帧。
优选地，所述接收的视频比特流包括压缩视频。
优选地，所述方法还包括：将所述接收的压缩视频解压缩成多个解码视频帧。
优选地，所述方法还包括：
基于所述提取的编码信息为所述多个解码视频帧中的每一个生成像素运动矢量；和
计算运动矢量可靠性和/或运动矢量一致性中的一个或两个用于对应所述生成的像素运动矢量。
优选地，所述方法还包括基于所述生成的像素运动矢量和所述计算的运动矢量可靠性和/或运动矢量一致性中的一个或两个从所述多个解码视频帧中生成多个内插视频帧。
根据本发明的另一方面，一种信号处理的系统，包括：
一个或多个在视频接收器中使用的电路，所述一个或多个电路可操作地接收视频比特流，所述视频比特流包括多个视频帧和对应的编码信息；
所述一个或多个电路可操作地从所述接收的视频比特流中提取所述编码信息；
所述一个或多个电路可操作地使用所述提取的编码信息在所述接收的多个视频比特流上执行帧率上变频。
优选地，所述提取的编码信息包括字块运动矢量、字块式编码、量化电平、和/或量化冗余数据中的一个或多个。
优选地，所述编码信息由视频发射器基于来自视频源的压缩视频通过熵解码生成，所述视频源来自有线电视网、IP网络、卫星广播网络、移动通信网络、照相机、和/或摄像机中的一个。
优选地，所述接收的多个视频帧包括在所述视频发射器中通过解压缩来自所述视频源的所述压缩视频所构造的多个解码视频帧。
优选地，所述一个或多个电路可操作地基于所述提取的编码信息为所述接收到的多个解码视频帧中的每一个生成像素运动矢量；和
计算运动矢量可靠性和/或运动矢量一致性中的一个或两个用于对应所述生成的像素运动矢量。
优选地，所述一个或多个电路可操作地基于所述生成的像素运动矢量和所述计算的运动矢量可靠性和/或运动矢量一致性中的一个或两个从所接收的多个解码视频帧中生成多个内插视频帧。
优选地，所接收的视频比特流包括压缩视频。
优选地，所述一个或多个电路可操作地将所述接收的压缩视频解压缩成多个解码视频帧。
优选地，所述一个或多个电路可操作地基于所述提取的编码信息为所述多个解码视频帧中的每一个生成像素运动矢量；和
计算运动矢量可靠性和/或运动矢量一致性中的一个或两个用于对应所述生成的像素运动矢量。
优选地，所述一个或多个电路可操作地基于所述生成的像素运动矢量和所计算的运动矢量可靠性和/或运动矢量一致性中的一个或两个从所述多个解码视频帧中生成多个内插视频帧。
本发明的各种优点、各个方面和创新特征，以及其中所示例的实施例的细节，将在以下的描述和附图中进行详细介绍。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是根据本发明的一个实施例中的从无线HD发射器通过无线HD传送链路向无线HD接收器传送视频比特流的无线HD系统的典型框图；
图2是根据本发明的一个实施例中的可操作地通过无线HD传输链路发送解压缩视频比特流的无线HD发射器的典型示意图；
图3是根据本发明的一个实施例中的在无线发射器中为视频解压缩处理所采用的解压缩引擎的典型示意图；
图4是根据本发明的一个实施例中在无线HD传输链路上接收解压缩视频比特流所采用的的无线HD接收器的典型示意图；
图5是根据本发明的一个实施例中的无线HD接收器为运动补偿内插所采用的帧率上变频引擎的典型示意图；
图6是根据本发明的一个实施例中所内插视频帧在两基准视频帧间内插的框图；
图7是根据本发明的一个实施例中的内插视频帧的运动矢量的典型框图；
图8是根据本发明的一个实施例中的可操作地通过无线HD传输链路发送压缩视频比特流的无线HD发射器的典型示意图；
图9是根据本发明的一个实施例中的用来通过无线HD传输链路来接收压缩视频比特流的无线HD接收器的典型示意图；
图10是根据本发明的一个实施例中的对压缩和解压缩视频比特流用无线HD来进行运动补偿帧率上变频的典型步骤流程图；
图11是根据本发明的一个实施例中视频解压缩的典型步骤流程图；
图12是根据本发明的一个实施例中无线HD接收器对压缩和解压缩视频比特流执行运动补偿帧率上变频的典型步骤流程图。
具体实施方式
本发明的一些实施例可在一种对压缩和解压缩视频比特流执行运动补偿帧率上变频的系统和/或方法中找到。本发明的不同实施例可包括视频接收器(如无线高清接收器)，其可操作地通过诸如无线高清传输链路从诸如无线高清的发射器的视频发射器接收视频比特流。接收的视频比特流可包括多个用于显示的视频帧连同编码信息。编码信息可以提取出来并用作在用于显示的多个视频帧上进行帧率上变频处理。该编码信息，诸如字块运动矢量(block motionvector)、字块式编码(block coding mode)、量化电平(quantization level)、和/或量化冗余数据(quantized residual data)可由无线高清(HD)发射器通过对来自视频源的压缩视频进行熵解码而生成。该视频源来自例如IP电视网络和卫星广播网络。接收的视频比特流可以是未压缩的或压缩的。在收到多个被解码的视频帧的情况下，无线HD接收器可操作地通过用提取的相关编码信息和相关测量结果为所接收的解码视频帧生成多个内插视频帧，相关测量结果如运动矢量的可靠性和/或一致性中的一个或两个。
在收到未压缩的视频(如MPEG-2或MPEG-4)的情况下。无线HD接收器可操作地解压缩收到的压缩视频，导致生成多个解码视频帧。解压缩可能发生在帧率上变频前，如前所述，无线HD接收器可操作地基于生成的多个解码视频帧执行帧率上变频。
图1是根据本发明的一个实施例中的从无线HD发射器通过无线HD传送链路向无线HD接收器传送视频比特流的无线HD系统的典型框图，参照图1所示的无线HD系统100。
无线HD系统100可包括视频源110、无线HD发射器120、天线122、无线HD传输链路130、无线HD接收器140、天线142和显示装置150。视频源110可包括有线电视网111、IP电视网络112、卫星广播网络113、移动通信网络114、照相机115、和/或摄像机11。无线HD系统100能够通过无线链路，如无线HD传输链路130，传送高清音频和视频。无线HD系统可配置成支持多种工业标准，如，无线高清接口标准(wireless HD)和/或有线高清接口(WHD)标准。
视频源110可包括合适的逻辑、电路、和/或代码，用于给无线HD发射器120提供带有低图像速率的压缩视频比特流。压缩视频比特流可使用多种视频压缩算法，如MPEG-2、MPEG-4、MPEG-4/AVC、VC1、VP6指定的、和/或其他可允许前向、后向和双向的预测编码的视频格式来形成。接收到的压缩视频比特流可由各个直接视频源提供，直接视频源例如有照相机115和/或摄像机116。接收到的压缩视频比特流可由间接视频源提供，间接视频源例如有有线电视网111、IP电视网络112、卫星广播网络113和/或移动通信网络114。
天线122可包括合适的逻辑、电路和/或代码，这些合适的逻辑、电路和/或代码，用于在射频(RF)频带下传送信号。在这点上，向无线HD接收器140传送的信号可包括未压缩的视频数据和/或压缩视频数据，尽管图1只示出了单天线122，但本发明不仅仅限于此。因此在不背离本发明的各个实施例的精神和范围的情况下，可使用一个或多个天线从无线HD发射器120在射频(RF)频带上向无线HD接收器140传送信号。
无线HD发射器120可包括合适的逻辑、电路、和/或代码，用于通过无线HD传输链路130向无线HD接收器传送多种数据，例如压缩视频数据和/或解压缩视频数据。无线HD发射器120可配置成能接受来自视频源110的低图像速率的压缩视频比特流。所述接受的低图像速率压缩视频比特流可通过无线HD传输链路130向无线HD接收器140传送。在本发明的一个实施例中，无线HD发射器120可用于与无线HD接收器140进行通信，以确定无线接收器140能支持的视频格式。确定的视频格式可包括，如，未压缩的、MPEG-2、MPEG-4、VC1、和/或VP6，在这点上，无线HD发射器120可配置成能以确定的视频格式发送所接受的压缩视频比特流，确定的视频格式可以是未压缩的或压缩的。
在无线HD发射器可用于向无线HD接收器140发送未压缩视频比特流的例子中，无线HD发射器120可首先配置成能解压来自视频源110的所述接受的压缩视频比特流，然后，通过无线传输链路130向无线HD接收器140传送这些解压缩的视频比特流。在本发明的另一个实施例中，无线HD发射器120可用于从来自视频源110的所述接受的压缩视频比特流中通过例如熵解码方式提取编码信息。所述提取的编码信息可包括与所接受的视频比特流相关的，例如字块运动矢量、字块式编码、量化电平、和/或量化冗余数据。所述提取的编码信息可用确定的视频格式格式化或再格式化(reformat)，且可和所述接受的压缩视频比特流或解压缩视频比特流一起通过无线HD传输链路130向无线HD接收器140发送。
无线HD传输链路130可包括合适的逻辑、电路、和/或代码，用于支持无线高清(HD)信号的传输。无线HD传输链路130可配置成按照例如无线HD的标准来传送HD信号。可基于60GHz射频附近的7GHz连续带宽来特别指定无线HD标准。对于全HD视频及音频与数据信号的组合可采用无线HD来进行未压缩的数字传输。理论上讲，无线HD大致与高清多媒体接口(HDMI)一样。HDMI是一种传送未压缩数字信号的小型音频/视频接口。在这点上，无线HD传输链路130可被配置成使未压缩视频比特流和压缩视频比特流在无线HD发射器120和无线HD接收器140之间传送。无线HD传输链路130可被配置成能处理高达例如25Gbit/s的数据传输率，以使按比例缩放期望的视频比特流以达到更高的分辨率、色深和/或色域。
天线142可包括合适的逻辑、电路和/或代码，用于在射频频带上接收信号。在这点上，天线142可用于从无线HD发射器120接收包括未压缩或压缩视频比特流的视频信号。尽管图1仅示出了单天线142，但本发明不仅仅限于此。因此无线接收器140可使用一个或多个天线在射频(RF)频带下接收信号，而不背离本发明多个实施例的精神和范围。
无线HD接收器140可包括合适的逻辑、电路、接口和/或代码用于通过天线142在无线HD传输链路上从无线HD发射器接收各种数据，如压缩视频比特流和/或解压缩视频比特流。在本发明的一个实施例中，无线HD接收器140可用于与无线HD发射器120进行通信以提供支持的视频格式。所述视频格式可包括，例如，未压缩的、MPEG-2、MPEG-4、VC1、和/或VP6。在这点上，无线HD接收器140可被配置成根据由无线HD发射器120确定的视频格式来接收未压缩视频比特流或压缩视频比特流。在从无线HD发射器120接收未压缩的视频比特流的例子中，无线HD接收器140可用于从所述接收的未压缩的视频比特流中提取编码信息。所述提取的编码信息可包括与所述接收的未压缩视频比特流中的原始压缩视频比特流相关的例如字块运动矢量、字块式编码、量化电平、和/或量化冗余数据。可在无线HD接收器140中使用所述编码信息进行帧率上变频处理。对于接收的未压缩的视频比特流中的每一个未压缩的视频帧，无线HD接收器140在帧率上变频时用于内插一个或多个中间视频帧。
无线HD接收器140可配置成将内插视频帧通过如HDMI接口和/或显示端口的接口向显示装置150发送，以使内插视频帧能显示给用户观看。在从无线HD发射器120接收压缩视频比特流的例子中，无线HD接收器140可通过从所接收的压缩视频比特流中通过熵解码提取编码信息。无线HD接收器140可配置成对所接收的压缩视频比特流进行解压缩以生成解码视频帧序列。无线HD接收器140可用于使用所述解码视频帧序列作为基准视频帧，并参考提取的如字块运动矢量的编码信息进行帧率上变频处理。在进行帧率上变频的过程中，无线HD接收器140可用于对每个解码视频帧内插一个或多个中间视频帧，这可通过诸如HDMI和/或显示端口向显示装置150发送以向用户显示这些内插视频帧。
显示装置150可包括合适的逻辑、电路、和/或代码，用于向用户显示从无线HD接收器140所接收的视频帧。显示装置150可用于使用多种接口与无线HD接收器140进行通信。所述多种接口诸如高清多媒体接口、以太网、和/或显示端口。
尽管无线HD系统在图1中作了说明，但本发明不仅仅限于此。在这点上，在不背离本发明的多个实施例的精神和范围的基础上，无线HD反射器120和无线HD接收器140可用于支持无线或有线的通信，所述无线或有线通信可以是HD或标清(SD)。
在运行中，无线HD发射器120可用于从视频源110通过天线122接受压缩视频比特流。无线HD发射器120可用于从所述接受的视频比特流中提取编码信息。所述提取的编码信息可包括与所述接受的压缩视频比特流相关的诸如字块运动矢量、字块式编码、量化电平、和/或量化冗余数据。无线HD发射器120可用于与诸如无线HD接收器140的目标接收器通过无线HD传输链路130进行通信，以确定用于向无线HD接收器140的视频传输的视频格式，诸如未压缩的、MPEG-2、MPEG-4、VC1、和/或VP6。所述提取的编码信息和所述接受的视频比特流可用所确定的视频格式格式化或重新格式化，且一起发送至无线HD接收器140。无线HD接收器140可用于从所接收的无论是未压缩的或压缩的视频比特流中提取编码信息，以用作执行帧率上变频。在收到的视频比特流是压缩的情况下，无线HD接收器140可用于进行帧率上变频之前进行视频解压缩以生成解码视频帧序列。无线HD接收器可用于在帧率上变频过程中为每个未压缩的视频帧或解码视频帧内插一个或多个中间视频帧。这些内插视频帧可通过诸如HDMI、以太网、和/或显示端口向显示装置150发送，以显示给用户观看。
图2是根据本发明的一个实施例中可操作地通过无线HD传输链路发送解压缩视频比特流的无线HD发射器的典型示意图。无线HD发射器200可包括解压缩引擎(decompression engine)210、处理器220和存储器230。
解压缩引擎210可包括合适的逻辑、电路、接口和/或代码，用于对所述接受的来自视频源110的压缩视频比特流进行解压缩以生成/构造解码视频帧。解压缩引擎210可用于实现多种视频解压缩技术，例如，熵解码(entropydecoding)、反量化(inverse quantization)、逆变换(inverse transform)和运动补偿预测(motion compensated prediction)。解压缩引擎210可用于提供编码信息，例如，字块运动矢量、字块式编码、量化电平、和量化冗余数据。诸如无线HD接收器140的目标接收器可使用这些由解压缩引擎210所提供的编码信息来执行帧率上变频。
处理器220可包括合适的逻辑、电路、接口和/或代码，用于从视频源110接受压缩视频比特流。解码解码，处理器220可用于向解压缩引擎210传送所述接受的压缩视频比特流以用于各种视频解码和/或解压缩操作，如熵解码、反量化、逆变换和运动补偿预测。由解压缩引擎210所提供的解码视频帧和所述提取的编码信息可向诸如无线HD接收器140的目标视频接收器发送。处理器220可用于与存储器230进行通信，来为解码解压缩引擎210提供多种视频解码算法以用于各种解码操作。处理器220可配置成与无线HD接收器140进行通信以确定支持用于对应的视频传输的视频格式。处理器220既可采用确定的视频格式来格式化解码视频帧，又可用来提取向无线HD接收器140传送的编码信息。
存储器230可包括合适的逻辑、电路、接口、和/或代码，用于存储处理器220和解压缩引擎210所使用的信息，诸如可执行指令和数据。所述可执行指令可包括解压缩引擎210为各种视频解码操作所采用的解码算法。所述数据可包括解码视频帧和提取的编码信息，如字块运动矢量、字块式编码、量化电平、和量化冗余数据。存储模块230可包括RAM、ROM、诸低延时的非易失存储器(low latency nonvolatile memory)(如flash存储器)和/或合适的电子数据存储器的。
在运行中，处理器220可用于接受来自诸如IP电视网络112的视频源的带有低帧率的压缩视频比特流。解码解码处理器220可用于向解压缩引擎210传送所述接受的压缩视频比特流，以用于各种视频解码和/或解压缩操作，如熵解码、反量化、逆变换和运动补偿预测。解压缩引擎210可配置成向处理器220提供解码视频帧和相关联编码信息诸如字块运动矢量、字块式编码、量化电平、和量化冗余数据。解压缩引擎210可采用多种存储在存储器230中的解码算法用于对应的视频处理操作。处理器220可用于使得解码视频帧和提取的编码信息以确定的格式组合，所确定的格式适合诸如无线HD接收器140的目标接收器。
图3是根据本发明的一个实施例中在无线传输中为视频解压缩处理所采用的解压缩引擎的典型示意图。参照图3，示出了解压缩引擎300。解压缩引擎300可包括熵解码单元310、反量化单元320、逆变换单元330、组合器340和运动补偿预测单元350。
熵解码单元310可包括合适的逻辑、电路、接口和/或代码，用于熵编码数据进行解码。熵解码单元310可用于将熵编码数据的二进制位转换成符号(量化冗余数据)，这些符号可馈送或传送给后续解码单元(如反量化单元320和逆变换单元330)解码以得到解码视频帧。可用多种方式来完成这种由二进制位到符号(量化冗余数据)的转换，例如在MPEG中，熵解码可通过先使用可变长码解码(variable-length decoding)，然后使用游程长度解码(run-lengthdecoding)来完成。熵解码数据可以是来自视频源110的接受压缩视频比特流。在这点上，熵解码单元310可用于从接受压缩视频比特流中提取编码信息如字块运动矢量。所述提取的编码信息可包括与所述接受压缩视频比特流相关的，例如，字块运动矢量、字块式编码、量化电平、和/或量化冗余数据。
反量化单元320可包括合适的逻辑、电路和/或代码，用于对来自熵解码单元310的解码视频帧的量化冗余数据进行缩放和/或再缩放以构造带有有限色彩组(a limited set)的视频帧，在该有限色彩组中使得每个色彩和它最接近的表现相关联。反量化单元320可被用作诸如在重新构造的图像中减少视觉上的失真。
逆变换单元330可包括合适的逻辑、电路、接口和/或代码，用于结合标准基础格式来为来自反量化单元320的每个反量化视频帧形成冗余宏块(residual macroblocks)。
运动补偿预测(MCP)单元350可包括合适的逻辑、电路、和/或代码，用于为未压缩的视频帧中的宏块提供预测。可基于前/后基准帧内宏块的像素灰度来预测当前帧内宏块的像素灰度。所述预测像素灰度和当前实际的像素灰度的差距可被认为是预测误差。所述预测误差可传送到组合器340，来用作为重新构造当前帧内对应未压缩宏块。
组合器340可包括合适的逻辑、电路、接口和/或代码用于组合来自逆变换单元330的冗余宏块和来自运动补偿预测(MCP)单元350的对应预测误差信息，以生成重构造的未压缩宏块。
在运行时，熵解码单元310可用于接收来自视频源110的压缩视频比特流。熵解码单元310可用于将所述接收的压缩视频源的二进制位转换成视频量化冗余数据。量化冗余数据可馈送到反量化单元320。反量化单元320可用于对量化冗余数据进行再缩放以重新构造带有有限色彩组视频帧。重新构造的视频帧可向逆变换单元330传送。逆变换单元330可用于将重新构造的视频帧反转换以形成包括多个冗余宏块的冗余视频帧。通过比较重新构造的视频帧与一个或多个标准基础格式，可在冗余图像中形成冗余宏块。可在结合器340相结合冗余视频帧和来自运动补偿预测(MCP)单元350的预测误差，以生成重新构造的解码/未压缩视频帧。
图4是根据本发明的一个实施例中的在无线HD传输链路上接收解压缩视频比特流所采用的的无线HD接收器的典型示意图。参照图4，显示了无线HD接收器400。无线HD接收器400可包括帧率上变频引擎410、处理器420和存储器430。
帧率上变频引擎410可包括合适的逻辑、电路、接口和/或代码，用于上变频帧率，来为包括诸如数码摄像机、摄像机视频、和/或电视转换电影的高质量视频源提供高画质效果。在这点上，帧率上变频引擎410可用于通过使用从无线HD接收器400接收的未压缩视频比特流中提取的编码信息来完成帧率上变频。所提取的编码信息可包括与所述接收的未压缩视频比特流的原始的压缩视频比特流相关的运动矢量、字块式编码、量化电平、和量化冗余数据。帧率上变频引擎410可采用多种帧率上变频算法，如通过时间轴滤波(temporalfiltering)的帧重复(frame repetition)和线性内插(linear interpolation)，来构造带有高帧率的内插视频帧以在诸如显示装置150的现有屏幕上显示。
处理器420可包括合适的逻辑、电路、接口和/或代码，用于处理从无线HD发射器120接收的解码视频帧。处理器420可用于将所述接收到的解码或未压缩的视频帧传送给帧率上变频引擎410，以对所接收到的解码视频帧进行帧率上变频。处理器420可用于通过帧率上变频引擎410执行视频帧内插，并且生成的内插视频帧可在显示装置150上显示。
存储器430可包括合适的逻辑、电路、接口和/或代码，用于存储处理器420和帧率上变频引擎410所使用的诸如可执行指令和数据的信息。可执行指令可包括帧率上变频引擎410所使用的帧率上变频算法。数据可包括解码的视频帧和所述提取的编码信息如运动矢量、字块式编码、量化电平、和量化冗余数据。数据可包括为在显示装置150上显示由帧率上变频引擎410构造的内插视频帧。存储器430可包括RAM、ROM、低延时的非易失存储器(如flash存储器)和/或合适的电子数据存储器的。
在运行中，处理器420可用于通过无线HD传输链路130接收无线HD发射器110所发送的带有低帧率的解码或未压缩的视频比特流。处理器420可用于将所述接收到的解码视频比特流传送给帧率上变频引擎410，以对所接收到的解码视频帧进行帧率上变频处理。处理器420和帧率上变频引擎410可使用存储器430用于帧率上变频。帧率上变频引擎410可用于执行帧率上变频，并生成内插视频帧。处理器420可用于与显示装置150进行通信以为用户显示所生成的内插视频帧。
图5是根据本发明的一个实施例中的无线HD接收器为运动补偿插入所采用的帧率上变频引擎的典型示意图，参考图5，示出了数字降噪滤波器510、像素运动矢量生成器520、像素运动矢量评估器(pixel motion vector evaluator)530、帧率上变频器(frame-rate up-convertor)540和情景变化探测器(scenechange detector)550。
数字降噪滤波器510可包括合适的逻辑、电路、接口和/或代码用于对从无线HD发射器110接收的解码视频帧进行将噪声处理。在其它处理前进行降噪处理对得到好的图像质量是至关重要的。在进行帧率上变频前，数字降噪滤波器510在可采用多种降噪技术(诸如去块(de-blocking)、去环(de-ringing)和/或其它的降噪滤波技术)以用于所述接收的解码视频帧(基准图像)。
像素运动矢量生成器520可包括合适的逻辑、电路、和/或代码，用于生成像素运动矢量。像素运动矢量可由从所接收的来自无线HD发射器110的解码视频帧中提取的块运动矢量生成。像素运动矢量生成器520可用于修正(refine)提取的字块运动矢量，并将修正后的字块运动矢量解压缩到像素运动矢量。像素运动矢量可进一步缩放或再缩放以构造内插或插入(inserted)视频帧。像素运动矢量生成器520可配置成向像素运动矢量评估器530和帧率上变频器540传送像素运动矢量。
像素运动矢量评估器530可包括合适的逻辑、电路、接口和/或代码，用于评估与像素运动矢量生成器520生成的像素运动矢量相关的运动矢量可靠性和/或运动矢量一致性中的一个或两个。可用多种典型的方法对所生成的像素运动矢量的可靠性进行计算，所述多种方法包括使用从无线HD发射器110接收的解码视频帧的量化冗余数据和相关的量化电平。量化冗余数据和相关量化电平可从所述接收的解码视频帧中提取。带有越少冗余数据的量化电平越小，可生成的运动矢量可靠性越高。而带有越多冗余数据的量化电平越大，可生成的运动矢量可靠性越低。可通过比较相邻的字块运动矢量和运动补偿字块边界像素的差别来生成运动矢量一致性。例如，可使用运动矢量可靠性和/或运动矢量一致性中的一个或两个来为运动抖动滤波(motion judder filtering)生成一种可靠性-一致性的测量。
帧率上变频器540可包括合适的逻辑、电路、接口和/或代码，用于对所述接收的来自无线HD发射器的解码视频帧进行帧率上转换。帧率上变频器540可用于运用由无线HD发射器110提供的编码信息来执行运动补偿帧率上变频。接收到的解码视频帧的像素运动矢量和/或相关的运动矢量可靠性-一致性可用于运动补偿帧率上变频。帧率上变频器540可用于使用像素运动矢量连同相关的运动矢量的可靠性-一致性测量来内插所述接收到的解码视频帧。例如，在运动矢量可靠性低的例子中，帧率上变频器540可配置成用静止图像内插基准帧，例如，通过帧重复。运动矢量可靠性高可生成一个全运动矢量依赖内插(full motion vector dependent interpolation)，内插视频帧可传送到情景变化探测器550。
情景变化探测器550可包括合适逻辑、电路和/或代码，用于在所接收的内插视频帧中探测情景变化.情景变化探测器550可用于通过诸如非线性滤波处理来对收到的内插视频帧进行处理，以在最后的内插视频帧中减少伪影(artifact)。情景变化探测器550可考虑采用运动矢量的可靠性-一致性测量来确定是否和何时运动补偿内插将会失败。情景变化探测器550可用于通过诸如非线性滤波的多种方法为最终内插视频帧识别问题区域(problematic region)。
在运行时，无线HD接收器120可用于从无线HD发射器110接收解码视频帧。所述接收的解码视频帧在进行其它处理前先传送到数字降噪滤波器510，数字降噪滤波器510可用于使用多种降噪技术(诸如去块、去环或其它降噪滤波技术)来对接收的解码视频帧进行降噪处理。滤波后的解码视频帧可分别传送到像素运动矢量生成器520、像素运动矢量评估器530、帧率上变频器540和情景变化探测器550以进行进一步处理。像素运动矢量生成器520可用于从编码信息(如从滤波后的解码视频帧中提取的字块运动矢量)中生成像素运动矢量。生成的像素运动矢量可分别提供给像素运动矢量评估器530和帧率上变频器540。像素运动矢量评估器530可用于评估所生成的像素运动矢量的运动矢量可靠性和/或运动矢量一致性中的一个或两个，并且向情景变化探测器550提供运动矢量可靠性-一致性测量。帧率上变频器540可用于使用像素运动矢量生成器520生成的像素运动矢量来对滤波后的解码视频帧的帧率进行上变频。从帧率上变频器540的生成的内插视频帧可向情景变化探测器550发送。情景变化探测器550可用于在收到的内插视频帧中探测情景的变化。情景变化探测器550可用于对接收到的内插视频帧进行处理以在最终的内插视频帧中减少伪影。可考虑将相关的运动矢量可靠性和/或运动矢量一致性中的一个或两个的测量用来识别所述接收的内插视频帧中的问题区域。可采用各种装置(如非线性滤波器)来屏蔽所述问题区域。最后的内插视频帧可发送至显示装置150显示。
图6是根据本发明的一个实施例中所内插视频帧在两基准视频帧间内插的框图，参考图6，显示有多个解码视频帧(基准视频帧)，例如P1602和P2604，和内插视频帧606的位置。例如，可从解码视频帧P1602，将内插视频帧606插入k时间单位。
图7是根据本发明的一个实施例中典型的内插视频帧的运动矢量的字块图。参考图7，显示有多个解码视频帧，例如P1702和P2704，和内插视频帧706。例如，例如，可从解码视频帧P1702，将内插视频帧706插入k时间单位运动矢量708可从前一视频帧P1702的区域指向下一视频帧P2704的区域，这样运动矢量708可捕获到发生在原始视频帧P1702和P2704之间的运动。运动矢量709可以是运动矢量708的一个位移版本(shifted version)。可移动运动矢量709来与内插视频帧706对其。
运动矢量709可分解成两个运动矢量，例如，运动矢量MV1709a和MV2709b。可缩放运动矢量MV1709a和MV2709b以用于运动补偿内插。缩放后的运动矢量的方向可彼此相反。每个缩放后的运动矢量的长度可与内插视频帧706和对应的原始视频帧(如视频帧P1702)间的即时差别(temporal difference)成正比。
图8是根据本发明的一个实施例中的可用于通过无线HD传输链路发送压缩视频比特流的无线HD发射器的典型示意图。参照图8，显示有无线HD发射器800。无线HD发射器800可包括熵解码单元810、处理器820和存储器830。
熵解码单元810可包括合适的逻辑、电路、接口和/或代码，用于对熵编码数据进行解码。熵解码单元可与关于图3所描述的熵解码单元310相同的方式来运行。熵解码单元810可用于提供来自接收自视频源110的压缩视频比特流的编码信息。编码信息可包括字块运动矢量、字块式编码、量化电平、和/或量化冗余数据。编码模式可包括诸如基于块间的编码(inter-block basedcoding)或基于块内的编码(intra-block based coding)的信息和字块大小(blocksize)。所述提取的编码信息可发送至处理器820。
处理器820可包括合适的逻辑、电路、接口和/或代码，用于对所述接收自视频源110的压缩视频比特流进行处理。处理器820可用于在所述接收的压缩视频比特流中插入所述提取的编码信息，如字块运动矢量、字块式编码、量化电平、和/或量化冗余数据，以通过无线HD传输链路130与目标视频接收器(如无线HD接收器140)进行通信。处理器820可用于与存储器830通信以提供多种供熵解码单元810所用的算法。处理器820可配置成能与无线HD接收器140通信以确定支持对应的视频传输的视频格式。处理器820用所述确定的视频格式向无线HD接收器140传送压缩的视频比特流连同插入的编码信息。
存储器830可包括合适的逻辑、电路、接口和/或代码，用于存储供处理器820和熵解码单元810所用的信息，如可执行指令和数据。可执行指令可包括供熵解码单元810用于多种熵解码操作的视频解码算法。数据可包括所述接收的压缩视频比特流和所述提取的编码信息。存储器830可包括RAM、ROM、低延时的非易失存储器(如flash存储器)和/或合适的电子数据存储器的。
在运行时，处理器820可用于从诸如IP电视网络112的视频源接收带有低帧率的压缩视频比特流。处理器820可用于向熵解码单元810传输接收的压缩视频比特流以用于熵解码。熵解码单元810可配置成向处理器820提供编码信息，如字块运动矢量、字块式编码、量化电平、和/或量化冗余数据。处理器820可用于将编码信息插入所述接收的压缩视频比特流中，以与无线HD接收器在受支持的格式下进行通信。
图9是根据本发明的一个实施例中的用来通过无线HD传输链路来接收压缩视频比特流的无线HD接收器的典型示意图。参照图9，显示有无线HD接收器900。无线HD接收器900可包括解压缩引擎910、帧率上变频引擎920、处理器930和存储器940。
解压缩引擎910可包括合适的逻辑、电路、接口和/或代码，用于对从无线HD发射器120接收的压缩视频比特流进行解压缩以生成解码视频帧。解压缩引擎910可用于执行各种视频解码/解压缩操作，如熵解码、反量化、逆变换和运动补偿预测。解压缩引擎910可用于向帧率上变频引擎920提供解码视频帧以用于进一步地解码处理。
帧率上变频引擎920可包括合适的逻辑、电路、接口和/或代码，用于上变频帧率来为包括数码摄像机、摄像机、和/或电视转换电影的高质量的视频源提供高画质的效果。在这点上，帧率上变频引擎920可用于来自无线HD发射器120的接收压缩视频比特流中提取编码信息，如字块运动矢量、字块式编码、量化电平、和/或量化冗余数据。所述提取的编码信息可用作在接收的压缩视频比特流上完成帧率上变频。帧率上变频引擎920可采用多种帧率上变频算法，如通过时间轴滤波的帧重复和线性内插，来构造带有高帧率的内插视频帧以在诸如显示装置150的现有屏幕上显示。处理器930可包括合适的逻辑、电路、接口和/或代码，用于处理从无线HD发射器120接收的压缩视频帧。处理器930可用于向解压缩引擎910传送所述接收到的压缩视频比特流以用于所述接收的压缩视频比特流的对应解码视频帧。在帧率上变频中，所述解码视频帧可用作基准视频帧以用于最后的内插视频帧。处理器930可用于向显示装置150传送最终内插视频帧以用于显示。
存储器940可包括合适的逻辑、电路、接口和/或代码，用于存储供处理器930、帧率上变频引擎920和/或解压缩引擎910所用的信息，如可执行指令和数据。可执行指令可包括分别供解压缩引擎910和帧率上变频引擎920所用的各种视频处理算法，如解压缩和帧率上变频。数据可包括从无线HD接收器120所接收的压缩视频比特流、从所述接收的压缩视频比特流中提取的编码信息、解码视频帧、和/或内插视频帧。所述提取的编码信息可包括为帧率上变频引擎920所用的如字块运动矢量、字块式编码、量化电平、和/或量化冗余数据。存储器940可包括RAM、ROM、低延时的非易失存储器(如flash存储器)和/或合适的电子数据存储器的。
在运行时，处理器930可用于从无线HD发射器120接收压缩视频比特流。处理器930可用于向解压缩引擎910传送接收的压缩视频比特流以用于对应的解码视频帧。帧率上变频引擎920可将解码视频帧内插以生成内插视频帧。在这点上，帧率上变频引擎920可用于在帧率上变频中使用从接收的压缩视频比特流中所提取的编码信息。可向显示装置150发送帧率上变频引擎920所构造的最终内插视频帧以用于显示。
图10是根据本发明的一个实施例中的对压缩和解压缩视频比特流用无线HD来进行运动补偿帧率上变频的典型步骤流程图。典型的步骤开始于步骤1002，在此无线HD发射器120可用于从视频源110接收/接受压缩视频比特流。在步骤1004中，无线HD发射器120可用于通过使用熵解码从接收的压缩视频比特流中提取编码信息。所述提取的编码信息可包括，如字块运动矢量、字块式编码、量化电平、和/或量化冗余数据。在步骤1006中，无线HD发射器可用于获得信息，如关于目标接收器(如无线HD接收器140)能够支持的视频格式。
在步骤1008中，可将无线HD接收器140配置成向无线HD接收器120提供视频格式信息以用于视频传输。在步骤1010中，无线HD发射器120可用于确定或选择一个用作与无线HD接收器140视频通信的视频格式。在步骤1012中，无线HD发射器120可用于使用所述确定的或所述选择的视频格式来格式化或重新格式化所述提取的编码信息。在步骤1014中，确定无线HD发射器120是否配置成向无线HD接收器140发送未压缩的视频比特流。在无线HD发射器120可配置成向无线HD接收器140发送未压缩视频比特流的情况下，那么进入步骤1016，无线HD发射器120可用于通过解压缩引擎210对收到的压缩视频比特流解码或解压缩以生成对应的解码视频帧。
在步骤1018中，无线HD发射器120可用于向无线HD接收器140发送未压缩视频比特流，该未压缩的视频比特流包括解码视频帧和格式化的或重新格式化的提取编码信息。在步骤1020中，无线HD接收器140可用于接收所述发送的未压缩的视频比特流。无线HD接收器可配置成能从所述接收的未压缩视频比特流中提取编码信息。在步骤1022中，无线HD接收器可使用提取的编码信息在接收到的解码视频帧上执行帧率上变频，以构造最终的内插视频帧。在步骤1024中，无线HD接收器140可用于向显示装置150传送所述构造的最终内插视频帧以用于显示，该典型的步骤可返回到步骤1002。
在步骤1014中，在无线HD发射器配置成向无线HD接收器140传送压缩视频比特流的情况下，则进入步骤1026，无线HD发射器120可配置成向无线HD接收器140发送所述接收的压缩视频比特流连同格式化或重新格式化的提取的编码信息。在步骤1028中，无线HD接收器140可配置成从来自无线HD发射器120的所述接收的压缩视频比特流中提取编码信息。在步骤1030中，无线HD接收器140可用于对来自无线HD发射器120的所述接收的压缩视频比特流进行解压缩以生成对应的解码视频帧，典型的步骤在步骤1022中继续。
图11是根据本发明的一个实施例中视频解压缩的典型步骤流程图。参照图11，典型步骤开始于步骤1110，在此解压缩引擎，例如无线HD发射器200的解压缩引擎210和/或无线HD接收器900的解压缩引擎910，可用于接收压缩视频比特流。解压缩引擎210接收的压缩视频比特流可直接从视频源110接收。然而，解压缩引擎910接收的压缩视频比特流可由无线HD发射器120通过无线HD传输链路来传送。在步骤1120中，解压缩引擎210或910可用于在所述接收的压缩视频比特流的当前压缩视频帧上执行熵解码以生成当前压缩视频帧的量化冗余数据。
在步骤1122中，确定解压缩引擎是否位于无线发射器120内。在诸如解压缩引擎210的解压缩引擎位于无线HD发射器120内的情况下，接诊进入步骤1130，解压缩引擎210可用于通过熵解码为当前压缩视频帧生成编码信息。在步骤1140中，解压缩引擎210或910通过运动补偿技术使用所述接收的压缩视频比特流的当前压缩视频帧和一个或多个在先解码视频帧所生成的量化冗余数据预测当前未压缩视频帧。
在步骤1150中，解压缩引擎210或910可用于反量化当前压缩视频帧。在步骤1160中，解压缩引擎210或910可用于组合当前反量化压缩视频帧和当前预测的未压缩视频帧以生成当前解码视频帧。在步骤1170中，确定所述接收的压缩视频比特流中的压缩视频帧是否被解码。在所述接收的压缩视频比特流中的压缩视频帧没有被解码的例子中，那么典型的步骤可继续用于所述接收的压缩视频比特流中的下一个可用的压缩视频帧并且返回到步骤1120。
在步骤1122中，在诸如解压缩引擎910的解压缩引擎位于无线HD接收器140内的情况下，然后典型的步骤在步骤1140中继续。在步骤1170中，在所述接收到的压缩视频比特流的压缩视频帧已经被解码的例子中，所述典型的步骤结束于步骤1190。
图12是根据本发明的一个实施例中无线HD接收器对压缩和解压缩视频比特流执行运动补偿帧率上变频的典型步骤的流程图。参照图12，典型的步骤开始于步骤1210，帧率上变频引擎(如位于无线HD接收器140中的帧率上变频引擎410和/或920)可用于接收解码视频帧和相关的编码信息，编码信息包括如，字块运动矢量、字块式编码、量化电平、和/或量化冗余数据。在步骤1220中，帧率上变频引擎(如帧率上变频引擎410和/或920)可用于在接收的解码视频帧上执行数字降噪滤波。
在步骤1230中，帧率上变频引擎(如帧率上变频引擎410和/或920)可通过使用对应的滤波后的解码视频帧和/或一个或多个相关的前向和/或后向滤波后的解码视频帧来修正每个字块运动矢量。在步骤1240中，可为每个修正字块方向矢量确定运动矢量可靠性-一致性测量。在步骤1250中，例如，通过解压缩对应的修正字块运动矢量可为每个滤波后的解码视频帧生成像素运动矢量。在步骤1260中，帧率上变频引擎(如帧率上变频引擎410和/或920)可使用对应所生成的像素运动矢量为每个滤波后的解码视频帧执行运动补偿内插。在步骤1270中，鉴于对应的确定的运动矢量可靠性-一致性测量，可过滤和/或监控(guard)用于每个滤波后的解码视频帧的内插解码视频帧。滤波后的内插解码视频帧可向显示装置150传送以用来显示。典型的步骤返回到步骤1210。
本发明的各个方面提供了用于压缩和解压缩视频比特流的运动补偿帧率上变频的方法和系统。根据本发明的各个实施例，视频接收器(如无线HD接收器140)可用于从通过例如无线HD传输链路130来从视频发射器(如无线HD发射器120)接收视频比特流。所述接收的视频比特流可包括编码信息和用作在显示装置150上显示的多个视频帧。无线HD接收器140可用于从接收的视频比特流中提取编码信息。无线HD接收器可用于使用编码信息通过帧率上变频引擎410或920在所述接收的多个视频帧上执行帧率上变频。无线HD发射器120通过对分别来自视频源110(如有线电视网111、IP电视网络112、卫星广播网络113、移动通信网络114、照相机115、和/或摄像机116的)的压缩视频进行熵解码以生成编码信息。所述提取的编码信息可包括字块运动矢量、字块式编码、量化电平、和/或量化冗余数据中一个或多个。
所述接收的视频比特流可包括未压缩的视频或压缩的视频。在接收的视频比特流中用于显示的多个视频帧包括关于诸如图2到图8所描述的多个解码视频帧情况下，所述接收的多个解码视频帧可由无线HD发射器120生成。所述无线HD发射器120可使用解压缩引擎210对来自视频源110的压缩视频进行解压缩来。解压缩引擎210可用于执行多种视频解码操作，例如，熵解码、反量化、逆变换和运动补偿预测。无线HD接收器400内的数字噪声滤波器510可用于在每个所述接收的多个解码视频帧上执行数字降噪滤波。
像素运动矢量生成器520可利用所述提取的编码信息(如字块运动矢量)和滤波后的解码视频帧来为每个接收的解码视频帧生成像素运动矢量。在像素运动矢量评估器内，可为所生成的像素运动矢量计算相关的运动像素可靠性和/或运动矢量一致性中一个或两个。在可基于所述生成的像素运动矢量和在像素运动矢量评估器530内计算的运动矢量可靠性和/或运动矢量一致性中的一个或两个，通过帧率上变频器540从接收的多个的解码视频帧中生成多个内插视频帧。可对所生成的多个内插视频帧进行处理，例如，通过情景变化探测器550。诸如运动抖动的伪影可通过执行降噪滤波使用所计算的运动矢量可靠性和/或运动矢量一致性信息中的一个或两个来屏蔽。
在接收的视频比特流位于视频接收器(如无线HD接收器900)的例子中，其可包括诸如MPEG-2、MPEG-4、MPEG-4、AVC、VC1和/或VP1。无线HD接收器900可用于在接收的压缩视频上通过解压缩引擎910执行视频解码。解压缩引擎910可采用多种视频解码技术，包括例如熵解码、反量化、逆变换和/或运动补偿预测。构造的多个解码视频帧可通过解压缩引擎910向数字降噪滤波器510传送以进行用于生成的多个视频帧的降噪处理。像素运动矢量生成器520可利用提取的编码信息(如字块运动矢量)和滤波后生成的多个解码视频帧来为多个解码视频帧中的每一个生成像素运动矢量。在像素运动矢量评估器530内，可为生成的像素运动矢量计算相关的运动像素可靠性和/或运动矢量一致性中一个或两个以在所述生成的像素运动矢量上提供测量。可基于生成的像素运动矢量和在所述像素运动矢量评估器计算的运动矢量可靠性和/或运动矢量一致性中的一个或两个，通过帧率上变频器540从接收的多个的解码视频帧中生成多个内插视频帧。可对所述生成的多个内插视频帧进行处理，例如，通过情景变化探测器550。诸如运动抖动的伪影可通过执行降噪滤波使用所计算的运动矢量可靠性和/或运动矢量一致性信息中的一个或两个来屏蔽。
本发明的又一实施例可提供一种机器可读存储器，其内存储的计算机程序包括至少一个代码段，所示至少一个代码段由机器执行而使得所述机器执行上述方法，以用于执行所述压缩和解压缩视频比特流的运动补偿帧率上变频。
因此，本发明可以通过硬件、软件，或者软、硬件结合来实现。本发明可以在至少一个计算机系统中以集中方式实现，或者由分布在几个互连的计算机系统中的不同部分以分散方式实现。任何可以实现方法的计算机系统或其它设备都是可适用的。常用软硬件的结合可以是安装有计算机程序的通用计算机系统，通过安装和执行程序控制计算机系统，使其按方法运行。
本发明还可以通过计算机程序产品进行实施，程序包含能够实现本发明方法的全部特征，当其安装到计算机系统中时，可以实现本发明的方法。本文件中的计算机程序所指的是：可以采用任何程序语言、代码或符号编写的一组指令的任何表达式，该指令组使系统具有信息处理能力，以直接实现特定功能，或在进行下述一个或两个步骤之后实现特定功能：a)转换成其它语言、编码或符号；b)以不同的格式再现。
虽然本发明是通过具体实施例进行说明的，本领域技术人员应当明白，在不脱离本发明范围的情况下，还可以对本发明进行各种变换及等同替代。另外，针对特定情形或材料，可以对本发明做各种修改，而不脱离本发明的范围。因此，本发明不局限于所公开的具体实施例，而应当包括落入本发明权利要求范围内的全部实施方式。
Claims (6)
1.一种信号处理的方法，其特征在于，所述方法包括：
在视频接收器中：
接收视频比特流，所述视频比特流包括多个视频帧和对应的编码信息，所述编码信息由视频发射器基于来自视频源的压缩视频通过熵解码产生，所述接收的多个视频帧包括在所述视频发射器中通过解压缩来自所述视频源的所述压缩视频所构造的多个解码视频帧；
从所述接收的视频比特流中提取所述编码信息；和
使用所述提取的编码信息在所述接收的多个视频帧上执行帧率上变频；
基于所述提取的编码信息为所述接收到的多个解码视频帧中的每一个生成像素运动矢量；
计算运动矢量可靠性和/或运动矢量一致性中的一个或两个用于对应所述生成的像素运动矢量；和
基于所述生成的像素运动矢量和所述计算的运动矢量可靠性和/或运动矢量一致性中的一个或两个从所述接收的多个解码视频帧中生成多个内插视频帧。
2.根据权利要求1所述的方法，其特征在于，所述提取的编码信息包括字块运动矢量、字块式编码、量化电平、和/或量化冗余数据中的一个或多个。
3.根据权利要求1所述的方法，其特征在于，所述视频源来自有线电视网、IP电视网络、卫星广播网络、移动通信网络、照相机、和/或摄像机中的一个。
4.一种信号处理的系统，其特征在于，该系统包括：
一个或多个在视频接收器中使用的电路，所述一个或多个电路可操作地接收视频比特流，所述视频比特流包括多个视频帧和对应的编码信息，所述编码信息由视频发射器基于来自视频源的压缩视频通过熵解码产生，所述接收的多个视频帧包括在所述视频发射器中通过解压缩来自所述视频源的所述压缩视频所构造的多个解码视频帧；
所述一个或多个电路可操作地从所述接收的视频比特流中提取所述编码信息；
所述一个或多个电路可操作地使用所述提取的编码信息在所述接收的多个视频比特流上执行帧率上变频；
所述一个或多个电路可用于基于所述提取的编码信息为所述接收到的多个解码视频帧中的每一个生成像素运动矢量；
所述一个或多个电路可用于计算运动矢量可靠性和/或运动矢量一致性中的一个或两个用于对应所述生成的像素运动矢量；和
基于所述生成的像素运动矢量和所述计算的运动矢量可靠性和/或运动矢量一致性中的一个或两个从所述接收的多个解码视频帧中生成多个内插视频帧。
5.根据权利要求4所述的系统，其特征在于，所述提取的编码信息包括字块运动矢量、字块式编码、量化电平、和/或量化冗余数据中的一个或多个。
6.根据权利要求4所述的系统，其特征在于，所述视频源来自有线电视网、IP TV网络、卫星广播网络、移动通信网络、照相机、和/或摄像机中的一个。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US9007508P | 2008-08-19 | 2008-08-19 | |
| US61/090,075 | 2008-08-19 | ||
| US12/400,736 US20100046623A1 (en) | 2008-08-19 | 2009-03-09 | Method and system for motion-compensated frame-rate up-conversion for both compressed and decompressed video bitstreams |
| US12/400,736 | 2009-03-09 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101656825A CN101656825A (zh) | 2010-02-24 |
| CN101656825B true CN101656825B (zh) | 2012-03-28 |
Family
ID=41346706
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2009101709014A Expired - Fee Related CN101656825B (zh) | 2008-08-19 | 2009-08-18 | 一种信号处理的方法及系统 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20100046623A1 (zh) |
| EP (1) | EP2157791A2 (zh) |
| KR (1) | KR101056096B1 (zh) |
| CN (1) | CN101656825B (zh) |
| HK (1) | HK1141377A1 (zh) |
| TW (1) | TW201026054A (zh) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7276068B2 (en) | 2002-10-04 | 2007-10-02 | Sherwood Services Ag | Vessel sealing instrument with electrical cutting mechanism |
| JP5532232B2 (ja) * | 2010-05-18 | 2014-06-25 | ソニー株式会社 | 映像信号処理装置、映像表示装置および映像表示システム |
| KR101830882B1 (ko) * | 2010-09-02 | 2018-02-22 | 삼성전자주식회사 | 제어 패킷 생성 방법 및 그 장치 |
| CN103718562B (zh) * | 2011-07-26 | 2017-06-20 | Lg电子株式会社 | 发送视频流的装置、接收视频流的装置、发送视频流的方法、接收视频流的方法 |
| KR101482828B1 (ko) * | 2011-12-21 | 2015-01-14 | 인텔 코오퍼레이션 | 압축되지 않은 비디오 인터커넥트들 상의 송신을 위한 이미지 데이터의 지각적 무손실 압축 |
| CN102800182B (zh) * | 2012-07-09 | 2015-02-25 | 纽福克斯光电科技（上海）有限公司 | 一种无线收发模组及其逆变系统 |
| GB2505872B (en) * | 2012-07-24 | 2019-07-24 | Snell Advanced Media Ltd | Interpolation of images |
| EP2755381A1 (en) * | 2012-10-23 | 2014-07-16 | ST-Ericsson SA | Motion compensated frame interpolation with frame skipping handling |
| US9639919B2 (en) * | 2014-10-07 | 2017-05-02 | Stmicroelectronics (Grenoble 2) Sas | Detection and correction of artefacts in images or video |
| CN104683649B (zh) * | 2015-02-11 | 2017-09-08 | 西北大学 | 一种压缩感知矢量几何模型的压缩及恢复方法 |
| US10938503B2 (en) * | 2017-12-22 | 2021-03-02 | Advanced Micro Devices, Inc. | Video codec data recovery techniques for lossy wireless links |
| KR20200060589A (ko) | 2018-11-21 | 2020-06-01 | 삼성전자주식회사 | 병합된 프레임율 컨버터와 비디오 코덱을 갖는 시스템 온 칩 및 그것의 프레임율 변환 방법 |
| US10971161B1 (en) | 2018-12-12 | 2021-04-06 | Amazon Technologies, Inc. | Techniques for loss mitigation of audio streams |
| US11336954B1 (en) * | 2018-12-12 | 2022-05-17 | Amazon Technologies, Inc. | Method to determine the FPS on a client without instrumenting rendering layer |
| US11356326B2 (en) | 2018-12-13 | 2022-06-07 | Amazon Technologies, Inc. | Continuously calibrated network system |
| US11368400B2 (en) | 2018-12-13 | 2022-06-21 | Amazon Technologies, Inc. | Continuously calibrated network system |
| US11252097B2 (en) | 2018-12-13 | 2022-02-15 | Amazon Technologies, Inc. | Continuous calibration of network metrics |
| US11016792B1 (en) | 2019-03-07 | 2021-05-25 | Amazon Technologies, Inc. | Remote seamless windows |
| US11461168B1 (en) | 2019-03-29 | 2022-10-04 | Amazon Technologies, Inc. | Data loss protection with continuity |
| US11245772B1 (en) | 2019-03-29 | 2022-02-08 | Amazon Technologies, Inc. | Dynamic representation of remote computing environment |
| KR102471701B1 (ko) * | 2022-03-11 | 2022-11-28 | (주) 글로벌비엠아이 | 감시카메라 관리 장치 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1964464A (zh) * | 2005-11-08 | 2007-05-16 | 逐点半导体（上海）有限公司 | 一种插帧处理装置及处理方法 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0982726A4 (en) * | 1998-01-19 | 2003-06-04 | Sony Corp | CUTTING SYSTEM, CUTTING CONTROL DEVICE AND CUTTING METHOD |
| WO2001008365A1 (en) * | 1999-07-08 | 2001-02-01 | Koninklijke Philips Electronics N.V. | Receiver with optimal quantization and soft viterbi decoding |
| KR100484182B1 (ko) * | 2002-12-03 | 2005-04-20 | 삼성전자주식회사 | 디인터레이싱 장치 및 방법 |
| KR20050081730A (ko) * | 2004-02-16 | 2005-08-19 | 엘지전자 주식회사 | 움직임 보상 기반의 영상 신호 프레임율 변환 방법 |
| KR100955161B1 (ko) * | 2004-05-04 | 2010-04-28 | 콸콤 인코포레이티드 | 모션 보상된 프레임 레이트 상향 변환을 위한 방법 및 장치 |
| EP2194720A1 (en) * | 2004-07-20 | 2010-06-09 | Qualcom Incorporated | Method and apparatus for encoder assisted-frame rate up conversion (EA-FRUC) for video compression |
| WO2006012382A1 (en) * | 2004-07-20 | 2006-02-02 | Qualcomm Incorporated | Method and apparatus for frame rate up conversion with multiple reference frames and variable block sizes |
| JP4983317B2 (ja) * | 2006-03-09 | 2012-07-25 | ソニー株式会社 | フレームレート変換システム，フレームレート変換方法，受信装置 |
| US20110037561A1 (en) * | 2007-08-13 | 2011-02-17 | Linx Technologies, Inc. | Transcoder apparatus and methods |
| US8243823B2 (en) * | 2007-08-29 | 2012-08-14 | Samsung Electronics Co., Ltd. | Method and system for wireless communication of uncompressed video information |
| US8121197B2 (en) * | 2007-11-13 | 2012-02-21 | Elemental Technologies, Inc. | Video encoding and decoding using parallel processors |
| US9185426B2 (en) * | 2008-08-19 | 2015-11-10 | Broadcom Corporation | Method and system for motion-compensated frame-rate up-conversion for both compressed and decompressed video bitstreams |
-
2009
- 2009-03-09 US US12/400,736 patent/US20100046623A1/en not_active Abandoned
- 2009-08-06 EP EP09010189A patent/EP2157791A2/en not_active Withdrawn
- 2009-08-18 CN CN2009101709014A patent/CN101656825B/zh not_active Expired - Fee Related
- 2009-08-19 KR KR1020090076682A patent/KR101056096B1/ko not_active IP Right Cessation
- 2009-08-19 TW TW098127871A patent/TW201026054A/zh unknown
-
2010
- 2010-08-10 HK HK10107643.4A patent/HK1141377A1/xx not_active IP Right Cessation
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1964464A (zh) * | 2005-11-08 | 2007-05-16 | 逐点半导体（上海）有限公司 | 一种插帧处理装置及处理方法 |
Non-Patent Citations (2)
| Title |
|---|
| JP特开2007-166050A 2007.06.25 |
| 图1、12. |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20100022447A (ko) | 2010-03-02 |
| EP2157791A2 (en) | 2010-02-24 |
| HK1141377A1 (en) | 2010-11-05 |
| TW201026054A (en) | 2010-07-01 |
| KR101056096B1 (ko) | 2011-08-11 |
| US20100046623A1 (en) | 2010-02-25 |
| CN101656825A (zh) | 2010-02-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101656825B (zh) | 一种信号处理的方法及系统 | |
| US9462296B2 (en) | Method and system for motion-compensated frame-rate up-conversion for both compressed and decompressed video bitstreams | |
| JP2019071653A (ja) | 画像処理装置および方法 | |
| EP1725042A1 (en) | Fade frame generating for MPEG compressed video data | |
| US8416852B2 (en) | Video signal coding system and method of coding video signal for network transmission, video output apparatus, and signal conversion apparatus | |
| CN101822060A (zh) | 组合的空间和比特深度可缩放性 | |
| CN110234010B (zh) | 视频编码方法/装置以及视频解码方法/装置 | |
| JP6772275B2 (ja) | ディスプレイストリーム圧縮（ｄｓｃ）におけるひずみを計算するためのシステムおよび方法 | |
| WO2006062333A1 (en) | Method of coding and decoding moving picture | |
| US9258517B2 (en) | Methods and apparatuses for adaptively filtering video signals | |
| US8767831B2 (en) | Method and system for motion compensated picture rate up-conversion using information extracted from a compressed video stream | |
| EP3579559A1 (en) | Transmission device, transmission method, reception device, and reception method | |
| US8848793B2 (en) | Method and system for video compression with integrated picture rate up-conversion | |
| CN108574842A (zh) | 一种视频信息处理方法和处理系统 | |
| US10284890B2 (en) | SHVC-based UHD image data transmission and reception system | |
| JP2016116069A (ja) | 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法及び画像符号化復号システム | |
| Misu et al. | Real-time 8K/4K video coding system with super-resolution inter-layer prediction | |
| Luengo et al. | HEVC Mezzanine Compression for UHD Transport over SDI and IP Infrastructures | |
| KR20140092189A (ko) | 고화질 영상 방송 | |
| KR20040046318A (ko) | 화상통신 시스템에서 영상신호 처리방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 1141377 Country of ref document: HK |
|
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: GR Ref document number: 1141377 Country of ref document: HK |
|
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20120328 Termination date: 20140818 |
|
| EXPY | Termination of patent right or utility model |