CN1288913C - 视频获取设备和通过低数据速率链路传送高质量视频的方法 - Google Patents

视频获取设备和通过低数据速率链路传送高质量视频的方法 Download PDF

Info

Publication number
CN1288913C
CN1288913C CNB028235770A CN02823577A CN1288913C CN 1288913 C CN1288913 C CN 1288913C CN B028235770 A CNB028235770 A CN B028235770A CN 02823577 A CN02823577 A CN 02823577A CN 1288913 C CN1288913 C CN 1288913C
Authority
CN
China
Prior art keywords
frame
coefficient
video
sequence
low frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB028235770A
Other languages
English (en)
Other versions
CN1602634A (zh
Inventor
L·利平科特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN1602634A publication Critical patent/CN1602634A/zh
Application granted granted Critical
Publication of CN1288913C publication Critical patent/CN1288913C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43632—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wired protocol, e.g. IEEE 1394
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440227—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Discrete Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)
  • Television Systems (AREA)

Abstract

诸如个人计算机的视频接收设备，从视频数据产生高质量视频，所述视频数据通过低数据速率通信接口诸如USB接口从视频获取设备接收。该视频数据由接收设备在两次传递中接收。第一次传递提供系数的低频部分，第二次传递提供系数的高频部分。通过对像素块执行离散余弦变换(DCT)并压缩一部分系数，来产生表示视频的系数。在一个实施例中，视频接收设备匹配在第一次传递期间接收的帧与在第二次传递期间接收的帧，和给视频获取设备发信号使之从压缩系数的低频部分切换到压缩高频部分。在替换的实施例中，在接收设备中存储在第一和第二次传递中接收的帧和可以使用关键帧来同步从每一次传递接收的帧。

Description

视频获取设备和 通过低数据速率链路传送高质量视频的方法
技术领域
本发明涉及视频压缩，特别是涉及传输压缩的视频数据，更特别是涉及通过低数据速率接口传输压缩的视频数据来获取高质量视频。
背景技术
随着多媒体系统的发展，期望在计算机系统上获取高质量视频已经变得引人注意。然而，获取高质量视频是困难的，因为视频获取设备通常使用低数据速率接口像通用串行总线(USB)来传送视频数据到计算机。USB接口例如具有比实际视频数据显著小的数据速率和比为了获取高质量视频所需要的小得多的数据速率。
每一视频帧一般采取成千上万像素的形式，其中每一像素可以用几个数据字节表示。例如，一个常规的视频帧可以包括720×480像素，而每一像素可以由三个字节表示。以每秒30帧的常规速率并且不使用压缩技术，则常规视频的传输需要至少每秒250兆位(Mbps)的数据速率。目前，USB接口可以支持大约12Mbps的最大数据速率，其中只有大约5-8Mbps可被保持。在通过USB接口传输之前用以压缩视频数据的常规压缩技术导致差质量的视频，因为压缩技术导致损失数据。
例如，在压缩的视频图像中减少信息的一个常规方法是舍弃视频图像的高频分量。因为人的视觉系统对高频视频分量不像对低频视频分量那样敏感，因此这一技术可以行得通。虽然这一技术确实减少了被传达的信息量，但是视频图像损失了细节，可能变得看起来模糊不清。在压缩的视频图像中减少信息的另一种常规方法涉及量化图像参数。尽管这一技术改善了编码操作，但是图像看起来呈现为块状的(blocky)，因为在视频图像中的渐变可能呈现为台阶式的改变。
因此需要提供一种使用低数据速率接口实现高质量视频获取的方法和装置。还需要一种通过低数据速率接口传送高质量视频的视频获取设备和方法。还需要一种利用通过低数据速率接口接收的信息来产生高质量视频的方法。还需要一种用于压缩和通过USB接口传送视频以获取高质量视频的方法和视频获取设备。
发明内容
本发明涉及一种通过接口传输包括帧序列的视频的方法，该方法的特征在于：压缩系数块的低频部分，其中该序列中的每个帧均包括多个像素块，并且每个像素块由低频部分和高频部分表示；向接口传送压缩的系数的低频部分；重复压缩低频部分并且发送序列中帧的压缩的低频部分；压缩该系数块的高频部分；和向接口传送压缩的系数的高频部分；以及重复压缩高频部分并且发送序列中帧的压缩的高频部分，其中在低频部分发送之后发送高频部分。
本发明还涉及一种根据通过接口接收的系数产生高质量视频位流的方法，其中帧序列的每一帧均包括像素块，并且其中每个像素块由具有高频部分和低频部分的系数矩阵表示，该方法的特征在于：为序列的每个帧解压缩系数矩阵的系数的低频部分；解压缩系数矩阵的系数的高频部分，在接收低频部分之后为序列的每个帧接收高频部分；和组合每一帧的相应系数矩阵的低频和高频部分以产生相应于像素块的组合系数矩阵。
本发明还涉及一种用于产生表示高质量视频的位流的系统，包括：串行接口，用于接收帧序列中的帧的多个系数矩阵的系数的低频部分，其中每一帧包括多个由具有低频部分和高频部分的系数矩阵表示的像素块，该串行接口在接收低频部分之后进一步接收帧的系数矩阵的系数的高频部分；解压缩元件，用于解压缩系数的低频部分和解压缩系数的高频部分；和组合元件，用于基于参考帧组合相应帧的系数的低频部分和高频部分以产生相应于像素块的组合系数矩阵。
本发明还涉及一种视频获取设备，其特征在于：压缩元件，用于将像素块变换为相应的系数矩阵并压缩帧序列的帧的系数的低频部分，其中序列的每一帧均包括多个像素块，每个像素块由具有低频部分和高频部分的系数块表示；串行接口，用于通过串行链路为序列中的每个帧传送压缩的系数的低频部分；和控制器，用于指示压缩元件压缩系数的高频部分，和在压缩的低频部分被传送之后，使序列中的每一帧的压缩的系数的高频部分被传送到串行接口。
附图说明
在所附的权利要求书中，详细地指明了本发明。然而通过结合附图参考详细的说明可以导致对本发明更完整的理解，在所有附图中相似的参考号码指相似的项目：
图1表示根据本发明的实施例的视频获取系统的功能框图；
图2表示根据本发明的另一个实施例的视频获取系统的功能框图；
图3表示根据本发明的实施例的视频获取设备的功能框图；
图4表示根据本发明的实施例的视频接收设备的功能框图；
图5表示根据本发明的实施例的由像素组成的常规视频帧；
图6A表示根据本发明的实施例的像素块；
图6B表示描述根据本发明的实施例的表示像素块的系数矩阵；
图7是根据本发明的实施例的视频获取传输过程的流程图；
图8A和8B是根据本发明的实施例的视频获取接收过程的流程图。
这里叙述的说明表示本发明的各种实施例，这种说明不打算被理解为以任何方式加以限制。
具体实施方式
本发明涉及视频获取方法和视频获取设备。在一个实施例中，视频接收设备诸如个人计算机从两组通过诸如USB接口的低数据速率通信接口接收的压缩系数产生高质量视频。该视频通过两次传递(pass)而被传输到视频接收设备。第一次传递可以提供系数的低频部分，第二次传递可以提供系数的高频部分。可以通过对像素块执行离散余弦变换(DCT)和为每一像素块压缩系数的一部分，来产生系数。在一个实施例中，接收设备匹配在第一次传递期间接收的帧与在第二次传递期间接收到的帧，并发信号通知该接收设备使之从压缩低频系数切换到压缩后继的帧的高频部分。在替换的实施例中，可以在接收设备中存储在第一次传递和第二次传递中接收的帧，和可以使用关键帧来同步从每一次传递接收的帧。
图1表示根据本发明的实施例的视频获取系统的功能框图。视频获取系统100包括视频源102，它由视频链路104连接到视频获取设备106。视频获取系统100还包括连接视频获取设备106与视频接收设备110的链路108。视频接收设备110可以与显示器111连接。根据一个实施例，视频源102通过视频链路104给视频获取设备106提供模拟视频。视频源102可以是任何类型可以以高质量形式提供视频的视频源。视频源102可以以模拟或者数字形式通过视频链路104提供视频。视频源102可以包括盒式录像机(VCR)，摄录机或者其它可以使视频存储在磁带或者其它存储装置上的设备。视频链路104可以是同轴电缆，然而，任何可以传递高质量视频的通信链路都可以是适宜的。视频源102可以以模拟格式提供高质量视频，诸如NTSC或者PAL格式。视频源102可以例如以每秒30帧的速率提供视频，虽然其它速率也同样适合用于本发明。每一视频帧可以由垂直消隐间隔(VBI)分开。每一帧包括多个像素。例如，一帧可以包括720×480像素的阵列。
视频获取设备106处理从视频源102接收的视频，变换该视频为适合通过链路108给视频接收设备110传输的形式。根据本发明的一个实施例，视频以两次传递的形式传输到视频接收设备110。在第一次传递期间，视频获取设备106从像素块产生系数，压缩系数的第一部分，和传送该压缩的第一部分系数到视频接收设备110。在第二次传递期间，视频获取设备106从像素块产生系数，压缩系数的第二部分，和传送该压缩的第二部分系数到视频接收设备110。可以通过编码像素块产生系数。该编码可以包括对8×8像素块执行DCT。
其中，接收设备110分别接收和解压缩第一和第二部分系数，组合解压缩的第一部分系数与解压缩的第二部分系数以产生相应于该像素块的组合的系数矩阵。接收设备110可以是个人计算机或者是其它具有这里说明的功能的设备。链路108可以是任何通信链路，然而，可以使用低数据速率链路。例如，可以由低数据速率通信接口诸如USB接口提供链路108。
图2表示根据本发明的另一个实施例的视频获取系统的功能框图。在图2所示的实施例中，视频记录设备120包括视频记录元件112、视频源114和视频获取芯片118。在这一实施例中，视频记录设备120可以是VCR、摄录机或便携式视频记录设备。视频获取芯片118提供相应于视频获取设备106(图1)的功能，视频源114提供相应于视频源102(图1)的功能。视频记录元件112提供以高质量格式记录和存储视频和传输高质量视频给视频源114。内部链路116可以是总线或者是在视频记录设备120之内适于给视频获取芯片118传输高质量视频的其它通信路径。
图3表示根据本发明的实施例的视频获取设备的功能框图。视频获取设备106可以包括编码元件302用以变换模拟视频帧为数字视频帧和编码该数字帧。压缩元件304处理数字视频帧并可以提供表示该数字视频帧的压缩的系数。串行接口306可以通过链路108传输压缩的系数。控制器308控制压缩元件304和编码元件302的操作，控制器308可以用一个或者多个可用软件配置的处理器实现。
根据一个实施例，高质量模拟视频帧系列的一帧由编码元件302接收。编码元件变换该模拟视频帧系列的一帧为一数字视频帧。该帧的每一像素例如可以用为黑白视频的一个字节和为彩色视频的三个字节表示。在本发明的一个实施例中，视频获取设备106可以接收数字形式的帧系列，并且相应地，编码元件302可以不用执行从模拟到数字的变换。编码元件302编码每一帧的像素块以产生系数块。在一个实施例中，编码元件302对在该帧中的每一8×8像素块执行离散余弦变换(DCT)，产生DCT系数的相应的8×8矩阵。通常，DCT处理是2维的，其中DCT对该块的每一排和列像素执行。
压缩元件304压缩每一系数矩阵的一部分。根据本发明的一个实施例，压缩元件304在第一次传递期间压缩系数的低频部分，在第二次传递期间压缩系数的高频部分。控制器308指示压缩元件304在压缩系数的低频部分和高频部分之间切换。压缩元件304还可以提供压缩的系数给串行接口306，后者传送该压缩的系数给视频接收设备。
图4表示根据本发明的实施例的视频接收设备的功能框图。视频接收设备110包括串行接口402以便从视频获取设备接收压缩的系数。处理器404根据视频获取软件406对该压缩的系数进行操作，以提供表示高质量视频的位流412。视频接收设备110可以是一个用为执行这里说明的操作所需要的软件和硬件配置的计算机。一般说，视频接收设备110可以从由视频获取设备接收的系数产生高质量视频。
根据本发明的一个实施例，以两次传递的形式向视频接收设备110传输视频。第一次传递提供第一部分系数，第二次传递提供第二部分系数。视频获取设备通过编码像素块和压缩一部分系数，为一帧的每一像素块产生该系数。解码和组合元件410组合每一像素块的相应系数，和解码组合的系数矩阵。处理器404可以变换该解码的矩阵为表示该视频的位流。存储器408可以以压缩的或者解压缩的格式存储在第一次传递期间接收的系数，以便在处理在第二次传递期间接收的系数中使用。
解码和组合元件410可以由专用于执行组合和解码操作的硬件加速器组成，或者可以由可用软件配置的处理器组成。在本发明的一个实施例中，解码和组合元件410作为用软件配置的处理器404的一部分实现。表示高质量视频的位流412可以存储在存储器408中，或者可以通过端口414存储到外部存储设备，诸如数字视频盘(DVD)或者可写小型盘(CD)。在一个实施例中，位流可以变换为适合直接在视频显示器111(图1)上显示的形式，所述显示器可以是与视频接收设备110连接的计算机监视器。
图5表示根据本发明的一个实施例的由像素组成的常规视频帧。视频帧500包括多个像素。根据一个实施例，视频帧500包括720×480像素的矩阵，然而，任何具有更多还是更少像素的视频帧都同样适合于本发明。帧500的每一像素502，例如可以用黑和白视频的1字节数据和彩色视频的3字节数据表示。
图6A表示根据本发明的一个实施例的像素块。图6B表示根据本发明的实施例的表示像素块的系数矩阵。像素块600形成视频帧500(图5)的一部分。换句话说，视频帧500(图5)包括多个像素块。在本例中，当像素块600是8×8的块而视频帧500(图5)是720×480像素时，每一视频帧有5400像素块600。
根据本发明的一个实施例，把像素块600变换为系数矩阵610。系数矩阵610的每一系数可以具有来自多个像素块600的像素的贡献。换句话说，系数矩阵610的所有系数表示所有像素块600。系数矩阵610包括具有水平频率分量612和垂直频率分量614的系数。表示较高水平频率的水平频率分量612位于离左边最远的位置，如系数矩阵610所示。表示较高垂直频率的垂直频率分量614位于离顶部最远的位置，如系数矩阵610所示。系数矩阵610的阴影部分表示具有较高垂直和水平频率的分量的矩阵610的系数，而非阴影部分表示具有较低垂直和水平频率的分量的矩阵610的系数。矩阵610的系数可以通过对像素块600执行诸如DCT的变换产生。
根据本发明的一个实施例，在第一次传递期间压缩矩阵610的一部分系数，而在第二次传递期间压缩矩阵610的第二部分系数。例如，可以在第一次传递期间压缩低频部分，在第二次传递期间压缩高频部分。在本实施例中，当系数矩阵610是图示的64系数的块时，在第一次传递期间可以压缩和传送25个低频系数(表示为非阴影的)，而在第二次传递期间可以压缩和传送39个高频系数(表示为阴影的)。在替换的实施例中，在两次传递期间可以传送比所有系数少的系数。
根据本发明的另一个实施例，在第二次传递期间压缩和在第一次传递期间所压缩的同样数目的系数。在本实施例中，当系数矩阵610是具有如图示的64系数的块时，可以在第一次传递期间连同25个低频系数压缩7个较高频率系数，以便在第二次传递期间压缩和传送32个高频系数。
根据本发明的再一个实施例，当系数矩阵610是具有如图示的64系数的块时，在第一次传递期间可以压缩25个低频系数和另外5个较高频率的分量，而在第二次传递期间压缩和传送剩余的34个高频系数。5个较高频率系数可以是块616的系数。压缩系数的其它组合也适用于本发明的各种实施例。
图7是根据本发明的实施例的视频获取传输过程的流程图。视频获取传输过程700一般提供视频到视频接收设备以产生高质量视频。根据在过程700中说明的实施例，视频以两次传递传输到接收设备。第一次传递提供第一部分系数，第二次传递提供第二部分系数。通过编码像素块并为每一像素块压缩一部分系数，来产生系数。视频获取传输过程700可以由诸如视频获取设备106(图3)这样的视频获取设备执行，虽然其它设备也可以是适合的。
在操作702，视频获取设备接收模拟视频帧序列的帧。接收模拟视频帧的速率依赖于视频源。一般，可以以每秒30帧的速率接收模拟视频帧，虽然其它速率可同样适用于本发明。每一模拟视频帧通常用VBI分开。每一帧包括多个像素。例如，帧可以包括720×480像素的矩阵。许多模拟视频格式适用于本发明，包括NTSC和PAL模拟格式。
在操作704，把模拟视频帧序列的帧变换为数字视频帧。该帧的每一像素例如可以由黑白视频的一个字节和彩色视频的3个字节表示。操作704可以由视频获取设备的模数变换器元件执行。在本发明的一个实施例中，视频获取设备可以在操作702接收数字帧序列，相应地，可以不执行操作704。
在操作706，编码数字视频帧序列的帧，并产生表示该帧的系数块。在一个实施例中，对每一像素块执行DCT，产生一个相应的DCT系数矩阵。每一系数具有水平和垂直频率分量。该系数的一部分可以视为高频系数，而该系数的另一部分可以视为低频系数。(例如见图6B。)一般，矩阵的每一系数从该像素块的至少几个像素的贡献产生。换句话说，整个系数块表示整个像素块。其它类型的变换和压缩算法也可以适用于本发明的实施例。
在操作708，压缩系数矩阵的一部分系数。根据一个实施例，在操作708压缩的那一部分系数主要包括系数的低频部分。为帧的每一系数块执行操作708。
在操作710，把系数的压缩的部分通过通信链路传送到视频接收设备。根据一个实施例，通过低数据速率接口向视频接收设备传送DCT系数矩阵的压缩的低频部分。低数据速率接口可以是任何通信链路，包括例如由USB接口或无线接口提供的窄带通信链路。根据本发明的一个实施例，给视频接收设备传送数据的速率可以处于在1和20Mbps之间的范围内。这可以相应于在操作702-712中处理帧的速率，其例如可以是每秒30帧的速率。对帧的每一系数块执行操作710。
操作712决定该序列的所有帧何时由操作702-710处理完毕。当该序列的所有帧尚未处理完毕，对每一帧重复处理702-710，直到已经处理该序列的每一帧。当完成该帧序列后，执行处理714。在操作712完成后，过程700完成了视频的第一次传递。
在操作714，重新开始该帧序列。例如当由VCR或者摄录机提供视频时，将该视频回退并重放。当由存储器或者从盘提供视频时，从开始再次读取该帧序列。在本发明的一个实施例中，可以从视频接收设备接收“重放”信号，而视频获取设备可以通过自动重放该视频来响应这一重放信号。
在操作716，把模拟视频帧变换为数字帧，编码并压缩部分系数。把为该帧的每一像素块压缩的部分系数传送给视频接收设备。一般希望，在操作716压缩和操作708曾经压缩的同一部分系数。为该视频的每一开始帧重复操作716。在一个实施例中，操作716可以包括为该视频的每一开始帧重复操作702到712。
在操作716的执行期间，视频接收设备处理接收的系数以匹配在操作716传送的帧与在第一次传递中(亦即操作702到712)传送的参考帧。当识别到参考帧时，接收设备通知视频获取设备来切换模式。在操作718，视频获取设备可以在后继匹配的帧的帧之间的垂直消隐间隔期间接收“切换模式”信号。响应该“切换模式”信号的接收，视频获取设备切换模式和开始压缩和在操作716曾被压缩和传送的不同部分的系数。
根据本发明的一个实施例，当在第一次传递期间压缩低频系数时，视频获取设备切换到压缩高频系数。视频获取设备可以由硬件加速器或软件配置的处理器实现，用于响应“切换模式”信号和执行系数矩阵的不同部分系数的压缩。
在操作720，把模拟视频帧变换为数字帧，编码并压缩系数的另外的部分。在一个实施例中，压缩系数的高频部分。在本实施例中，系数的高频部分可以不包括在第一次传递期间已被压缩的低频部分的系数。
在操作722，传送在操作720压缩的系数的部分到视频接收设备。操作722可以使用在操作710中使用的同样的通信链路。根据一个实施例，为视频帧的每一像素块执行方框720和722。
操作724决定操作720和724何时处理完参考帧后的、该序列的所有的帧。当尚未处理完该序列的所有帧时，为每一帧重复操作720和722，直到该序列的每一帧被处理完毕。当该序列被完成时，执行操作726。在操作724完成后，过程700完成了该视频的第二次传递。在操作726，视频获取传输过程700完成。
在过程700完成后，视频接收设备现在可以组合相应帧的相应像素块的系数的两部分，以便为每一视频帧的每一像素块产生完全的系数矩阵。然后接收设备可解码每一帧的系数以产生表示该视频的位流并在希望时存储该有代表性的位流。
图8A和8B是根据本发明的实施例的视频获取接收过程的流程图。视频获取接收过程800可以由视频接收设备执行，所述视频接收设备诸如用为执行过程800的操作所需要的软件和硬件配置的计算机。视频接收设备110(图4)还可以适用于执行过程800。一般说，实现过程800的视频接收设备可以从由视频获取设备接收的系数产生高质量视频。根据在过程800中说明的实施例，视频在两次传递中被传输到视频接收设备。第一次传递提供第一部分系数，第二次传递提供第二部分系数。视频获取设备通过编码像素块并为帧的每一像素块压缩一部分系数，来产生系数。根据过程800，组合每一帧的每一像素块的相应系数，解码并变换为表示该视频的位流。
在操作802，启动视频获取接收过程。例如，可以使用软件来配置视频接收设备的元件来执行过程800的后继操作。操作802也可以传送信号给视频获取设备，通知视频获取设备，已经准备好为过程800接收视频数据。
在操作804，视频接收设备接收表示视频帧的像素块的压缩的系数部分。根据一个实施例，被压缩的系数的第一部分从视频获取设备为在帧序列中的一帧的每一像素块接收。该部分系数可以是像素块的被压缩的DCT系数的低频部分。
在操作806，解压缩为帧的每一像素块的系数的被压缩部分，以产生表示像素块的部分系数。在操作808，例如可以在视频接收设备中存储表示帧的每一像素块的系数的解压缩的部分。在本发明的一个实施例中，存储被压缩的系数。
操作810决定序列的所有帧在何时由操作804到808处理完。当该序列的所有帧尚未被处理，则为每一帧重复操作804到808，直到该系列的每一帧被处理。当该帧序列被完成时，执行操作812。在操作810完成后，视频接收设备为该视频的第一次传递执行接收过程800。视频接收设备可以通过决定所接收的帧是否是空白帧或者由噪声组成来执行操作810。在替换的实施例中，在执行操作810期间，视频接收设备可以通过等待预定时期或在接收预定数目的帧之后，决定所有帧已被接收。在本发明的一个实施例中，视频获取设备可以给视频接收设备传送一个指示符，指示已经完成视频的第一次传递。
在操作812，识别参考帧。参考帧可以是序列中靠近该视频开始处的开始帧之一，其用于与后继接收的帧相比较以进行帧同步。配置接收设备以便利用考虑到容易识别的特征来识别参考帧。例如，参考帧可以是从场景变化产生的帧，或者可以是与先前的帧比较具有显著运动的帧。在本发明的一个实施例中，可以识别一个参考帧序列。应该注意，操作812可以在过程800的执行期间在操作806之后的任何时间执行，并可以在接收到序列的开始帧之后与操作804到810同时执行。
在操作814，视频接收设备指示已经准备好接收帧序列的第二部分被压缩的系数。换句话说，视频接收设备准备好接收第二次传递的压缩的系数。在一个实施例中，操作814可以包括，对操作人员显示指示的视频接收设备来显示，应该重放、或重卷并重放视频获取设备上的视频。在另一个实施例中，操作814可以包括通过通信链路给视频获取设备传送“重放”信号的接收设备，引起该视频获取设备重放该视频。
在操作816，序列的开始帧的像素块的系数的被压缩部分在视频接收设备上被接收。在操作816接收的被压缩的系数的部分应该相应于在操作804接收的被压缩的系数的部分，使得帧可以容易地匹配。当系数的被压缩的低频部分在操作804被接收时，在操作816接收到系数的被压缩的低频部分。
在操作818，识别相应于该参考帧的帧。操作818可以包括解压缩系数的被压缩部分和解码该系数，以产生在开始集中的每一帧的像素块，直到识别到匹配帧。在本发明的一个实施例中，操作818可以识别帧的开始集的帧序列为和参考帧序列匹配。可以执行操作816和818，直到识别到匹配参考帧的帧。当识别到匹配该参考帧的帧时，执行操作820。
在操作820，接收设备提供“切换模式”信号，指示视频获取设备切换模式。在操作820，该信号可以在后继匹配的帧的帧之间的垂直消隐间隔期间传输。响应该“切换模式”信号，视频获取设备切换到压缩和在操作804接收的不同部分的系数。在根据本发明的一个实施例中，当低频系数正由操作804接收时，视频获取设备切换到压缩表示像素块的系数矩阵的高频系数。
在操作822，为在帧序列中的帧的每一像素块接收压缩的系数的另外的部分。根据一个实施例，操作822包括接收每一像素块的压缩的高频部分系数。在操作824，为当前正被处理的帧存储在操作822接收的每一像素块的压缩的系数。在本发明的一个实施例中，系数在存储前被解压缩。
操作826决定该序列的所有帧何时由操作822和824处理完。当该序列的所有帧尚未处理，为每一帧重复操作822和824，直到该序列的每一帧被处理。当完成该帧序列时，执行操作828。操作826完成后，过程800已经接收到该视频的第二次传递的压缩的系数，可以开始构造高质量视频。
在操作828，先前在操作808和824存储的两部分系数可以被解压缩，如果该系数原来以压缩形式存储的话。当系数以解压缩的形式存储时，可以不执行操作828。
在操作830，为相应帧的相应相似块组合来自每一部分的解压缩的系数，为帧的每一像素块产生完整的系数矩阵。在一个实施例中，在第一次传递期间接收到的系数的低频部分与在第二次传递期间接收到的系数的高频部分组合，以便为组成帧的每一像素块产生完整的系数矩阵。
在操作832，变换帧的每一完整的系数矩阵为表示该帧的位流的位。操作832可以对每一完整的系数矩阵执行逆DCT，例如当在视频获取设备上对系数块曾执行DCT。
在本发明的替换的实施例中，可以跳过操作812到820。在这一实施例中，视频接收设备存储由在第一次传递期间接收的低频系数组成的帧序列以及由在第二次传递期间接收的高频系数组成的帧序列。可以在操作830组合相应帧之前使用一个或者多个关键帧来同步来自每一次传递的帧。可以在关键帧的视频流中作标记，关键帧可以是容易识别的帧，诸如场景的变换。在本实施例中，操作828-832可以在接收到第二次传递的帧后执行任何次数。在本发明的一个实施例中，在两次传递期间连同视频接收音轨。在这一实施例中，音轨可以用于对齐在第一次传递期间接收的帧和在第二次传递期间接收的帧。
根据本发明的一个实施例，不存储在第二次传递期间接收到的系数，并可以不执行操作824。在这一实施例中，执行操作828到832，当为每一帧接收到了压缩的系数时。在这一实施例中，可以在操作832之后执行操作826。在操作834，在接收设备中存储表示序列帧的位流。
这样，说明了视频获取设备、视频接收设备和产生高质量视频的方法。高质量视频从通过低数据速率通信接口诸如USB接口接收的两组系数产生。根据各个实施例，这些系数在两次传递中传输到接收设备。第一次传递提供系数的低频部分，第二次传递提供系数的高频部分。该系数可以通过对像素块执行变换并压缩一部分系数，来产生。接收设备匹配在第一次传递期间接收的帧与在第二次传递期间接收的帧，并给视频获取设备发信号使之从压缩低频系数切换到为后继帧压缩高频部分。
前面对具体实施例的说明充分揭示了本发明的一般本质，以致其他人可以应用现在的知识容易地修改和/或改编它用于各种应用而不离开总的概念，因此这种改编和修改意图被理解为在公开的实施例的等价方案的意义和范围之内。
应该理解，这里使用的短语或者术语是为说明而非限制的目的。因此，本发明打算把所有这种备选方案、修改、等价方案以及各种变体包含在所附权利要求的精神和广阔范围之内。

Claims (28)

1.一种通过接口传输包括帧序列的视频的方法，该方法的特征在于：
压缩系数块的低频部分，其中该序列中的每个帧均包括多个像素块，并且每个像素块由低频部分和高频部分表示；
向接口传送压缩的系数的低频部分；
重复压缩低频部分并且发送序列中帧的压缩的低频部分；
压缩该系数块的高频部分；和
向接口传送压缩的系数的高频部分；和
重复压缩高频部分并且发送序列中帧的压缩的高频部分，
其中在低频部分发送之后发送高频部分。
2.如权利要求1所述的方法，其中，接收设备在接收压缩的序列帧的高频部分之前接收压缩的序列帧的低频部分，和
其中，该接收设备解压缩系数的低频和高频部分，与帧序列的参考帧同步，以及基于与参考帧的同步组合解压缩的系数的低频部分与解压缩的对应帧的系数的高频部分以产生相应于序列中每个帧的每一个像素块的组合系数矩阵。
3.如权利要求1所述的方法，其中，每个系数块包括系数矩阵，该系数矩阵包括从传送对应的像素块产生的高频和低频部分。
4.如权利要求1所述的方法，进一步的特征在于：
为所述序列的一组开始帧重复压缩和传送系数的低频部分；和
在接收切换模式信号后为帧的每一像素块执行压缩和传送系数的高频部分，
其中，接收设备为每一帧解压缩和解码系数的低频部分以将该开始帧之一与一个先前传送的帧相匹配，
该方法进一步的特征在于：
从接收设备接收切换模式信号；和
从压缩和传送系数的低频部分切换到压缩和传送系数的高频部分。
5.如权利要求3所述的方法，其中，系数的高频部分与对应系数矩阵的低频部分的系数互不相交，和
其中，系数矩阵的系数的高频和低频部分都表示对应像素块的频率分量。
6.如权利要求1所述的方法，其中，帧序列是数字帧的序列并且其中视频由数字帧序列组成，并且其中所述方法包括：
对序列帧的每一个像素块执行变换，从而产生对应于每一个像素块的系数矩阵；
接收模拟视频帧序列；和
变换模拟视频帧序列为数字帧序列，其中，每一像素由至少一个字节表示。
7.如权利要求1所述的方法，其中，所述接口是低数据速率接口，提供与接收设备的通信链路并具有在1和20Mbps之间的数据速率。
8.如权利要求7所述的方法，其中，所述接口是通用串行总线(USB)接口。
9.如权利要求1所述的方法，进一步的特征在于：对序列帧的每一个像素块执行变换以产生相应于每一个像素块的系数矩阵。
10.如权利要求9所述的方法，其中，执行变换包括对每一个像素块执行离散余弦变换(DCT)，从而为每一个像素块产生包括高频和低频部分的DCT系数矩阵。
11.一种根据通过接口接收的系数产生高质量视频位流的方法，其中帧序列的每一帧均包括像素块，并且其中每个像素块由具有高频部分和低频部分的系数矩阵表示，该方法的特征在于：
为序列的每个帧解压缩系数矩阵的系数的低频部分；
解压缩系数矩阵的系数的高频部分，在接收低频部分之后为序列的每个帧接收高频部分；和
组合每一帧的相应系数矩阵的低频和高频部分以产生相应于像素块的组合系数矩阵。
12.如权利要求11所述的方法，进一步的特征在于：识别参考帧以用于组合高频和低频部分。
13.如权利要求11所述的方法，其中，所述方法进一步的特征在于：
第二次为该序列的开始帧的每一像素块接收系数的低频部分；
将开始帧之一与一个先前接收的帧相匹配以识别参考帧；和
向视频获取设备发信号使之为继该参考帧之后的帧的每一像素块传送系数的高频部分。
14.如权利要求13所述的方法，其中，向视频获取设备发信号指示该视频获取设备从压缩和传送矩阵的低频系数切换为压缩和传送矩阵的高频系数。
15.如权利要求11所述的方法，其中，视频由帧序列组成，并且其中所述方法进一步的特征在于：
通过接口为该序列的帧的每一像素块接收系数的低频部分；
为该序列的帧的每一像素块存储系数的低频部分；和
在完成接收系数的低频部分后，为该序列的帧的每一像素块接收系数的高频部分。
16.如权利要求12所述的方法，进一步的特征在于：
提供一个指示，以便在完成接收该序列的每一帧的每一像素块的系数的低频部分后，为该序列的开始帧重新传送系数的低频部分；和
从开始帧中识别参考。
17.如权利要求16所述的方法，其中，所述指示包括向视频获取设备传送重放信号。
18.如权利要求16所述的方法，其中，所述指示包括显示重放信号以指示用户重放视频。
19.如权利要求11所述的方法，进一步的特征在于：
把序列的每一帧的每一像素块的组合系数矩阵进行变换以产生表示该视频的位流；和
存储该位流。
20.一种用于产生表示高质量视频的位流的系统，包括：
串行接口，用于接收帧序列中的帧的多个系数矩阵的系数的低频部分，其中每一帧包括多个由具有低频部分和高频部分的系数矩阵表示的像素块，该串行接口在接收低频部分之后进一步接收帧的系数矩阵的系数的高频部分；
解压缩元件，用于解压缩系数的低频部分和解压缩系数的高频部分；和
组合元件，用于基于参考帧组合相应帧的系数的低频部分和高频部分以产生相应于像素块的组合系数矩阵。
21.如权利要求20所述的系统，进一步的特征在于：处理元件，该处理元件用于将一个开始帧与一个先前接收到的帧相匹配，并在垂直消隐间隔期间向所述接口传送信号，该信号请求视频获取设备压缩并传送系数的高频部分。
22.如权利要求20所述的系统，进一步的特征在于：
处理元件从表示序列帧的组合系数矩阵产生位流，并且
存储元件用于存储该位流。
23.一种视频获取设备，其特征在于：
压缩元件，用于将像素块变换为相应的系数矩阵并压缩帧序列的帧的系数的低频部分，其中序列的每一帧均包括多个像素块，每个像素块由具有低频部分和高频部分的系数块表示；
串行接口，用于通过串行链路为序列中的每个帧传送压缩的系数的低频部分；和
控制器，用于指示压缩元件压缩系数的高频部分，和在压缩的低频部分被传送之后，使序列中的每一帧的压缩的系数的高频部分被传送到串行接口。
24.如权利要求23所述的设备，其中，控制器指示压缩元件响应于来自与串行接口耦合的接收设备的切换模式信号压缩系数的高频部分。
25.如权利要求23所述的设备，其中，视频由帧序列组成，并且其中压缩元件将每一像素块变换为相应于每一像素块的系数矩阵。
26.如权利要求25所述的设备，其中，压缩元件压缩序列中的帧的每一系数矩阵的系数的低频部分，并且该接口在为序列帧的每一像素块传送压缩的系数的高频部分之前为序列帧的每一像素块传送压缩的系数的低频部分。
27.如权利要求25所述的设备，其中，帧序列是模拟视频帧的序列，并且
其中该设备进一步包括解码器元件，用于接收模拟视频帧序列，和变换该模拟视频帧序列为数字视频帧序列，其中，每一像素由至少一个字节表示。
28.如权利要求23所述的设备，其中，串行接口是通用串行总线(USB)接口，用于提供与接收设备的通信链路并具有在1和20Mbps之间的数据速率，并且
其中，处理器包括硬件加速器，用于对像素块执行离散余弦变换(DCT)，以产生相应于每一个像素块的DCT系数矩阵。
CNB028235770A 2001-09-27 2002-09-26 视频获取设备和通过低数据速率链路传送高质量视频的方法 Expired - Fee Related CN1288913C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/965,491 US6934337B2 (en) 2001-09-27 2001-09-27 Video capture device and method of sending high quality video over a low data rate link
US09/965,491 2001-09-27

Publications (2)

Publication Number Publication Date
CN1602634A CN1602634A (zh) 2005-03-30
CN1288913C true CN1288913C (zh) 2006-12-06

Family

ID=25510043

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB028235770A Expired - Fee Related CN1288913C (zh) 2001-09-27 2002-09-26 视频获取设备和通过低数据速率链路传送高质量视频的方法

Country Status (8)

Country Link
US (1) US6934337B2 (zh)
EP (1) EP1433331A2 (zh)
JP (1) JP4808377B2 (zh)
KR (1) KR100578438B1 (zh)
CN (1) CN1288913C (zh)
AU (1) AU2002340029A1 (zh)
TW (1) TWI231144B (zh)
WO (1) WO2003028382A2 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3811046C2 (de) * 1988-03-31 1994-05-26 Heidelberger Druckmasch Ag Verfahren und Vorrichtung zur Bestimmung des Übersetzungsverhältnisses an einer Druckmaschine
JP2007243399A (ja) * 2006-03-07 2007-09-20 Matsushita Electric Ind Co Ltd データ圧縮方式およびその関連技術
KR20080008137A (ko) 2006-07-19 2008-01-23 삼성전자주식회사 영상 복원 장치 및 방법
US8928809B2 (en) * 2010-09-15 2015-01-06 Verizon Patent And Licensing Inc. Synchronizing videos
EP2876890A1 (en) * 2013-11-21 2015-05-27 Thomson Licensing Method and apparatus for frame accurate synchronization of video streams
US10284880B2 (en) * 2014-03-07 2019-05-07 Eagle Eye Networks Inc Adaptive security camera image compression method of operation
US9805662B2 (en) * 2015-03-23 2017-10-31 Intel Corporation Content adaptive backlight power saving technology
US20210352341A1 (en) * 2020-05-06 2021-11-11 At&T Intellectual Property I, L.P. Scene cut-based time alignment of video streams

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4698689A (en) 1986-03-28 1987-10-06 Gte Laboratories Incorporated Progressive image transmission
US5845041A (en) * 1991-11-12 1998-12-01 Mitsubishi Denki Kabushiki Kaisha Video signal recording and reproducing apparatus with high efficiency encoding
US6356663B1 (en) * 1994-09-09 2002-03-12 Intel Corporation Processing image signals using spatial decomposition
GB9505469D0 (en) 1995-03-17 1995-05-03 Imperial College Progressive transmission of images
US6101276A (en) 1996-06-21 2000-08-08 Compaq Computer Corporation Method and apparatus for performing two pass quality video compression through pipelining and buffer management
GB9703441D0 (en) * 1997-02-19 1997-04-09 British Tech Group Progressive block-based coding for image compression
AU6672298A (en) 1997-02-25 1998-09-09 Intervu, Inc. System and method for sending and receiving a video as a slide show over a computer network
US6184936B1 (en) 1997-10-06 2001-02-06 Sigma Designs, Inc. Multi-function USB capture chip using bufferless data compression
GB9909607D0 (en) 1999-04-26 1999-06-23 Telemedia Systems Ltd Method of copying a media file
US6263022B1 (en) 1999-07-06 2001-07-17 Philips Electronics North America Corp. System and method for fine granular scalable video with selective quality enhancement

Also Published As

Publication number Publication date
JP2005528813A (ja) 2005-09-22
TWI231144B (en) 2005-04-11
JP4808377B2 (ja) 2011-11-02
WO2003028382A2 (en) 2003-04-03
KR20040037190A (ko) 2004-05-04
AU2002340029A1 (en) 2003-04-07
CN1602634A (zh) 2005-03-30
KR100578438B1 (ko) 2006-05-11
US6934337B2 (en) 2005-08-23
EP1433331A2 (en) 2004-06-30
US20030058935A1 (en) 2003-03-27
WO2003028382A3 (en) 2004-03-04

Similar Documents

Publication Publication Date Title
CN1087124C (zh) 具有模拟和数字两种视频方式的接收机及其接收方法
CN1175667C (zh) 对预定场奇偶性的场进行解码的装置和方法
RU2479937C2 (ru) Устройство и способ обработки информации
KR101377021B1 (ko) 부호화 장치 및 방법, 복호 장치 및 방법, 및 전송 시스템
CN1126086C (zh) 以非标准速度重放的数字盒式录象机
CN1140133C (zh) 通用串行总线连接的双重压缩图像比特流摄像机的装置与方法
CN1156167C (zh) 运动图象编码方法和运动图象编码设备
US5930526A (en) System for progressive transmission of compressed video including video data of first type of video frame played independently of video data of second type of video frame
CN1256048A (zh) 用于视频图像的误差消除方法和装置
CN1723710A (zh) 用于对视频数据编码的系统和用于对视频数据解码的系统
US20020057898A1 (en) Method and apparatus for trick play of bitstream data
CN1090871C (zh) 记录装置和方法、重放装置和方法、记录/重放方法
CN1522539A (zh) 视频数据流的转码
CN1381993A (zh) 视频点播系统中活动图象的流动方法
CN1288913C (zh) 视频获取设备和通过低数据速率链路传送高质量视频的方法
CN1065701C (zh) 活动图像专家组4图像设备的物体背景信息编码设备和方法
CN1147157C (zh) 解码装置和解码方法
CN1454429A (zh) 多媒体通信终端
JPH09172378A (ja) モデルベースの局所量子化を使用する画像処理のための方法および装置
CN117459728A (zh) 无人机视频数据压缩与传输系统
JPH0730850A (ja) 圧縮画像記録再生装置
JP2000350155A (ja) 静止画記録装置、静止画再生装置、静止画記録方法及び静止画再生方法
JPH104498A (ja) 画像符号化／画像復号化装置及びその方法
KR20020074526A (ko) 동영상 압축 방법 및 시스템

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20061206

Termination date: 20100926