CN1151680C - 同步动态随机存取存储器带宽优化 - Google Patents

同步动态随机存取存储器带宽优化 Download PDF

Info

Publication number
CN1151680C
CN1151680C CNB001004719A CN00100471A CN1151680C CN 1151680 C CN1151680 C CN 1151680C CN B001004719 A CNB001004719 A CN B001004719A CN 00100471 A CN00100471 A CN 00100471A CN 1151680 C CN1151680 C CN 1151680C
Authority
CN
China
Prior art keywords
pixel
pixel data
data
memory
horizontal direction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
CNB001004719A
Other languages
English (en)
Other versions
CN1265552A (zh
Inventor
王金保
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google Technology Holdings LLC
Original Assignee
General Instrument Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Instrument Corp filed Critical General Instrument Corp
Publication of CN1265552A publication Critical patent/CN1265552A/zh
Application granted granted Critical
Publication of CN1151680C publication Critical patent/CN1151680C/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H04N19/427—Display on the fly, e.g. simultaneous writing to and reading from decoding memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H04N19/428—Recompression, e.g. by spatial or temporal decimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42692—Internal components of the client ; Characteristics thereof for reading from or writing on a volatile storage medium, e.g. Random Access Memory [RAM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

缩小数字视频图象如MPEG-2标准的图象的尺寸的方法和设备。对原始图象的水平邻接象素对取平均来提供作水平缩小尺寸象素数据并存贮进多存储单元存贮器的第一存储单元。原始图象的每隔一象素的数据被存贮在此双存储单元的第二存贮单元。为得到被缩小尺寸的图象，由第一存储单元检索作水平缩小尺寸象素数据的垂直邻接行，求取平均来提供作垂直和水平缩小尺寸的象素数据。为恢复对应于原始图象的象素数据，可由第一存储单元检索作水平缩小尺寸象素数据的部分同时由第二存储单元得到数据的对应部分。

Description

同步动态随机存取存储器带宽优化
技术领域
本发明是关于为减小数字视频图象例如对应于MPEG-2标准的图象尺寸的方法和设备。本发明特别适宜于为电视上的画中画模式提供缩小的图象。
背景技术
通过宽带通信系统例如在有线电视或卫星电视网络传输数字视频数据日益普及。用户家中设置数字译码器例如机顶盒用于接收数字视频信号和处理适宜于在电视、视频显示终端之类上显示的格式中的信号。但这样的机顶盒的处理和存贮器存贮需求很关键而必须保持尽可能的低以便能维持网络的商业实用性。
特别是，许多情况中希望提供将全尺寸的数字视频图象例如720×480(NTSC)或720×576(PAL)象素变换到较小的显示图象的能力。这一特点为例如画中画模式的应用程序所需求，在此由一个节目得的缩小尺寸图象被显示为重叠到由第二节目得的图象，或者对节目导引显示模式，在此一被缩小的显示图象被提供在一节目表、菜单等的旁边。
但惯常的配置不能用于图象缩小尺寸，因为无额外的存贮器空间可用来存贮平均的象素值。一般，因进行MPEG视频解压缩和完全尺寸显示的复杂性，没有任何动态随机存取存贮(DRAM)带宽可用于例如采用54MHz同步DRAM(SDRAM)和16位宽的数据总线来进行额外的显示缩小尺寸。这一带宽问题理论上说例如可通过增加SDRAM的速度从54MHz到81MHz或更高来解决。这样可能由于SDRAM数据总线的较高速度阻塞、所需高级存贮器部分的额外成本、和高速设计的综合困难而对系统造成严重破坏。
因而希望提供能无需额外的处理速度或存贮器应用需求实现降低显示尺寸的方法和设备。此系统将具有按需要提供全尺寸的、增大尺寸的、或降低尺寸的图象的能力。此系统将与MPEG-2或其他数字视频标准相兼容。在一特定实施方案中，此系统提供仅采用54MHz的16M位SDRAM和16位宽的数据总线的体系结构和方法。
此系统将利用现存的片载存贮器例如行缓存器(line buffer)或寄存器文件，这些在减小尺寸期间一般是不会利用的。
系统与场模式(例如隔行扫描)和帧模式(例如逐行扫描)视频相兼容。
发明内容
本发明提供一具有上述和其他优点的系统。
本发明是关于减小数字视频图象例如对应于MPEG-2标准的图象尺寸的方法和设备。
用于缩小数字视频图像的方法包括有步骤：解压缩从一信道接收到的压缩数字视频象素数据来提供原始图象的象素的象素数据；取至少一部分原始图象的水平邻接象素对的平均值来提供水平方向缩小尺寸的象素数据；存贮水平方向缩小尺寸的象素数据进存贮器的第一存储单元；和将此至少一部分原始图象的每隔一象素的数据存贮进存贮器的第二存储单元。可采用二抽头滤波器来取水平邻接象素对的平均值。
存贮器可以是例如说双存储单元或多存贮单元的存贮器。
通过检索水平方向缩小尺寸的象素数据和在即将显示前取对应的每隔一象素的垂直邻接数据平均值可得到水平方向和垂直方向缩小尺寸的图象。通过逐个象素地将第一存储单元的水平方向缩小尺寸象素数据加到行缓存器可完成垂直方向平均处理。此行缓存器的大小应能存储至少水平方向缩小尺寸的象素数据一行的象素外加一个象素。采用这种配置，行缓存器中将可能有连续的垂直邻接象素对输出到一平均电路作平均处理。象素对在即将显示之前被加以平均。
此外，原始图象的象素数据还可通过检索水平方向缩小尺寸象素数据和每隔一象素的数据并执行简单的算法计算以便加以恢复。具体说，为恢复对应于原始图象的象素数据，计算(a)各个检测部分的值的二倍与(b)各个检索的对应部分的值之间的差。为解压缩预测编码图象最好恢复对应于原始图象的象素数据。
此方法包括的另外步骤有：从第一存储单元检索水平方向缩小尺寸象素数据的垂直邻接行；和取该行的平均值来提供用于显示的垂直方向和水平方向缩小尺寸的象素数据。例如，可采用二抽头滤波器来取垂直邻接行中象素数据的平均。
此方法包括有另外的步骤：从第一存储单元检索部分水平方向缩小尺寸的象素数据；从第二存储单元检索每隔一象素的对应的部分数据；和处理所检索部分及所检索的对应部分来恢复原始图象的象素数据。这可利用加法器电路来实现。
此方法包括有另外的步骤：提供在解压缩步骤中使用的被恢复的原始图象的象素数据。例如，被恢复的象素数据可表述被用于当前的原始图象的短暂(例如帧间的)预测的过去的或未来的图象。在这种情况下，为运动补偿和/或评估而需要恢复的象素数据。如果当前的原始图象是帧内编码图象既无需这一步骤。
另外，B-图形数据不被用作为运动补偿和/或评估的基准图象，所以对这一类型的数据，仅仅存贮被作水平方向平均的象素数据而不存贮原始图象每隔一象素的数据就足够了。对于I-图形和P-图形，则应同时存贮被作水平方向平均的象素数据和原始图象每隔一象素的数据。
存贮器可以是例如一SDRAM，虽然本发明可以采用现今或将来所可能的存在的虚拟任何类型的多存储单元存贮器。
而且，对水平缩小尺寸的象素数据和每隔一象素的数据的存贮不应迟于一半原始图象被译码之后以避免译码追上象素数据的显示，这一情况将损害数据的显示。
对于场模式视频，各场的视频象素数据被分开处理。
同时提供了对应的设备。
附图说明
现对所列附图作简要说明：
图1(a)描述作缩小尺寸前的示例视频图象；
图1(b)描述水平方向缩小尺寸后图1(a)的图象；
图1(c)描述水平方向和垂直方向缩小尺寸后图1(a)的图象；
图2描述按照本发明的具有缩小尺寸显示的数字视频译码器；
图3描述按照本发明的双存储单元存贮器存储结构；
图4描述按照本发明用于处理数据的时间行。
具体实施方式
本发明为关于缩小数字视频图象例如对应于MPEG-2标准的图象的尺寸的方法和设备。
在例如采用MPEG解压缩引擎的数字视频译码器中，可将存贮器配置成二个存储单元。一种可能的途径是，在数字视频图象利用惯常的译码步骤包括运动评估和补偿重构后，可交替地将象素数据对存贮在二存储单元中。例如，假定在一个视频行中的象素自左向右被表示为A1、A2、A3、A4、A5、A6、A7、A8、A9、A10…，可将A1和A2存贮在存储单元1中，然后将A3和A4存贮在存储单元2中，A5和A6存在存储单元1中，A7和A8存在存储单元2中，而后A9和A10存在存储单元1中，等等。但下面将讨论一种改善的方法。
典型地，存贮器为带有内部双存储单元存贮器的SDRAM，和每一象素以8位值表述。借助SDRAM的存储单元1与存储单元2间的转换，可利用一54MHz的数据速率(每列读2象素或16位)。
同步DRAM被编排进双存储单元来实现高速度数据传送速率。在相同行和列地址内从一存储单元转换到另一存储单元不花费任何存贮器带宽。在一示例实施方案中，本发明提供一具有以54MHz运行的SDRAM的存贮器存储方案，这是对MPEG-2视频解压缩的典型速度需求。
MPEG译码过程可被细分成数个较小的过程，其中每一个均要求进行DRAM存取。这些过程为(1)预测计算；(2)显示处理；(3)包处理；和(4)视频语法分析。本发明的着重点在于预测计算和显示处理。为显示缩小尺寸，本发明采用54MHz的数据速率来有效地进行水平和垂直方向双方面的象素平均。依靠如这里所讨论的取二存储单元中数据的平均，即可实现这一数据速率。
图1(a)至1(c)中描述图象缩小尺寸过程的示例。将会理解这是一简化的举例，因为表示出的原始图象只有6列×4行(例如6×4象素)。如前面提到的，全尺寸的图象通常包括720象素×480行(NTSC格式)或720象素×576行(PAL格式)。总体表示为100的原始视频包括有4行象素L1、L2、L3和L4。例如，L1包括象素A1～A6，L2包括A7～A12，L3包括象素A13～A18，和L4包括象素A19～A24。
图1(b)描述水平方向缩小尺寸后图1(a)的图象。以120总体表示的水平缩小尺寸图象包括有象素行L1’、L2’、L3’和L4’。这里，图1(a)的图象100按因子2∶1水平缩小尺寸，得到3×4的图象120。基本上，是以取水平邻接象素对的平均来实现水平缩小尺寸。例如说，行L1’的第一象素为A1和A2的平均。行L1’的第二象素为象素A3和A4的平均，等等。
图1(c)描述在水平方向和垂直方向缩小图象尺寸后图1(a)的图象。总体以140表示的经水平方向和垂直方向缩小尺寸的图象包括有行L1”和行L2”。这里，各被缩小尺寸象素值是依靠取图1(a)原始图象100的4个相邻象素的平均，或依靠取图1(b)的水平缩小尺寸图象120的垂直邻接象素对的平均。例如，行L1”中第一象素对应于象素值A1、A2、A7和A8的平均。这里发生2∶1的垂直方向缩小尺寸。从而，图1(a)的原始全尺寸的6×4图象即被缩小采样成提供图1(c)的3×2的图象。
可任选地，也可从2∶1缩小尺寸推演到按其他比例例如3∶1或4∶1的缩小尺寸。例如，二个2∶1缩小尺寸的象素可生成一个4∶1缩小尺寸的象素(如Y1＝(1/2)((A1+A2)/2+(A3+A4)/2))。同样，三个2∶1缩小尺寸的象素可生成二个3∶1缩小尺寸的象素(如Y1＝(5/8)((A1+A2)/2)+(3/8)((A3+A4)/2)，Y2＝(3/8)((A3+A4)/2)+(5/8)((A5+A6)/2))。
另外，水平和垂直方向还可采用不同的缩小尺寸比例。
图2描述按照本发明具有缩小显示尺寸的数字视频译码器。总的以200表示的译码器从一信道例如宽带通信网络接收被压缩的数字视频数据。一般采用有线或卫星电视网络。
译码器200包括执行例如用于运动补偿和运动估计的预测计算的解压缩引擎210。解压缩引擎210的输出为全尺寸的图象。水平象素平均功能部件(function)230接收全尺寸图象的象素数据，通过以取各图象行中的邻接象素对的平均值来进行水平平均。例如，再次参看图1(a)的图象100，水平象素平均功能部件230将接收行1的象素A1～A6，并将输出对应于图1(b)的图象120中行L1’的象素值。
然后提供作水平方向平均的数据以便存储在例如为一16M位SDRAM的双存储单元存贮器240。此存贮器240包含有为存放I-帧(内部编码帧)数据的存贮器空间242，为存放P帧数据的存贮空间244，为存放B-帧数据的存贮器空间248，和为提供视频缓存器校对机(VBV)缓存器的存贮器空间250。在一给定时间存贮器空间248仅有一部分246用于当前的B-帧数据。未被用于当前的B-帧数据的部分可用于存放下一个B-帧的数据。
水平象素重构功能部件220可通过一双存储单元访问路径225访问存贮器240以便恢复对应于原始图象象素的象素数据供解压缩引擎应用。
按照本发明，水平象素平均功能部件230提供存贮在存贮器240的第一存储单元中的平均象素数据，和存放在存贮器240的第二存储单元中的未作平均象素数据。这将在下面结合图3作详细说明。对于运动补偿或估算中不被应用的、无需被恢复到它们的原始状态的能力的图形例如B-图形的象素数据，未作平均象素数据不必被存放在存贮器240的第二存储单元中。此数据仅需被存放在存贮器240的第一存储单元中。
被用于运动补偿或估算中的I-和P-图形的象素数据将被存贮在存贮器240的二个存储单元中。
水平象素重构功能部件220能访问存贮器240的任一个存储单元以恢复对应于最初由解压缩引擎210提供的未作平均象素数据的数据。这样，暂时领先于和/或跟随当前图象之后的图象的象素数据可被解压缩引擎210访问用于通常的运动补偿和估算解压缩处理。
存贮器240提供象素数据到包括有行缓存器275和垂直象素平均功能部件178的显示功能部件270，在下面讨论。
应指出，显示功能部件270包括有未被明确表示的其他功能部件。例如，可设置水平象素平均功能部件。
图3描述按照本发明的双存储单元存贮器存储配置。图2的双存储单元存贮器240包括第一存储单元(BANK1)300和第二存储单元(BANK2)350。每一存贮单元被配置在多个存贮器行中，其中各存贮器行均具有多个可寻址列。例如，第一存储单元300包括具有16列310的存贮器行0(330)。各存贮器空间具有例如16位的大小，而因此能容纳二个8位的象素值。例如说，存贮器空间320可容纳区域324中的第一象素值和区域322中的第二象素值。按照本发明，水平象素对的平均被存贮在第一存储单元的各区域中。例如，区域324存贮对应于象素A1和A2的平均值的象素数据。
第二存储单元350被类似于第一存储单元300地配置，包括具有16列312的存贮器行0(370)。一16位的存贮器单元360包括存贮区域364和362。按照本发明，从解压缩引擎210输出的原始图象的每隔一未作平均的象素值也被存贮在第二存储单元中。例如，象素值A2被存贮在区域364中，和象素值A4被存贮在区域362中，等等。另一方面，A1、A3等等可被存贮在第二存储单元350中。
应指出，虽然在所描述的实施方案中对存贮器空间和象素字的大小设置特定值，而本发明也意图包括其他值。
现在可由下面的示例了解图2的水平象素重构功能部件220的操作。利用存放在第一存储单元300的区域324中的值(A1+A2)/2和存放在第二存储单元350的区域364中的象素值A2，可由方程A1＝2*(A1+A2)/2-A2恢复值A1。同样，可借助由存储单元300的区域322检索平均值(A3+A4)/2和由存储单元350区域362检索象素A4并计算A3＝2*(A3+A4)/2-A4来恢复A3。
另一方面，也可利用存贮在第二存储单元350中的A1、A3等，由方程A2＝2*(A1+A2)/2-A1能恢复值A2。由方程A2＝2*(A3+A4)/2-A3能恢复值A4，等等。
可应用任何已知的硬件、软件和/或固件(firmware)来进行必须的计算。
因此，由于可直接从第二存贮单元350得到原始图象的每隔一个的象素，如A2、A4、…，而如已讨论的，剩余的交替象素如A1、A3、…能容易地加以计算，所以水平象素重构功能部件320可恢复对应于原始未作平均的图象数据的象素数据。
这样，依靠如所讨论的安排SDRAM数据，即可实现缩小显示尺寸的特点而没有额外的处理速度或存贮器利用需求。水平缩小尺寸在数据被存进帧缓存器(例如存贮器240)前在译码侧进行。被水平缩小尺寸的数据存放在一个存储单元中而原始图象的每隔一个的象素(即每个交替象素)则被存于另一存储单元中，所以解压缩依然可进行。
为显示缩小尺寸，显示过程要求对SDRAM的54MHz的数据速率以便能有有效地实现水平和垂直方向两者的平均。
对于显示处理，仅读取第一存储单元300来获得缩小尺寸的图象。而且，由于仅一半的行时间用来进行水平缩小尺寸，行时间的剩余即可用来预先提取下一行从而能进行垂直方向缩小尺寸。借助从第一存储单元300读取水平方向缩小尺寸的象素数据和进行垂直邻象素的平均来进行垂直的缩小尺寸。这可对照图1(b)和1(c)来理解，此时由对图象120的各个垂直邻接象素对取水平方向缩小尺寸的行L1’和L2’的象素数据的平均来得到行L1”的水平方向和垂直方向缩小尺寸的数据。例如在图1(b)中，(A1+A2)/2和(A7+A8)/2为垂直邻接象素对。
为在解压缩引擎210作预测计算，需要原始的未作平均的象素数据。通过读取二存贮器存储单元，可得到具有很小损失的所需的象素，这种损失是由对作平均的象素数据的舍入化误差所造成的。
参看图2，带行缓存器275的显示功能部件270通过单一或双存储单元访问从存贮器240接收数据。行缓存器275(或寄存器文件)逐个象素地从存贮器240接收象素数据，和包括有足够的被分配空间来存贮一行加一象素的象素数据，或字。以这种方式，来自不同行的至少一垂直邻接象对的数据即出现在行缓存器275中。
垂直象素平均功能部件278，例如二抽头滤波器，可被提供在显示功能部件270中，用于在随着输出数据进行显示时对不同行的象素数据作平均。有利的是，作垂直方向平均的数据无需加以存贮而是立即显示。
从显示功能部件270输出的、可能对应于CCIR标准的显示被提供给通常的显示装置，如电视机。在缩小尺寸显示模式中，仅需要访问存贮器的单个存储单元。具体地说，如需要即进行对第一存储单元300的访问来获取水平方向平均的象素数据。如已讨论的，通过在邻接象素行中取水平缩小尺寸的象素数据的平均值来完成垂直方向缩小尺寸。对于放大尺寸或完整的大小，为恢复原始的未作平均的象素值则需要访问存贮器240的二个存储单元。显示功能部件270可如先前讨论的那样进行类似于水平象素重构功能部件220的处理来恢复对应于原始的未作平均的象素值的数据。
图4描述用于按照本发明处理数据的总体表示为400的时间行。在视频图象中可能是第22行的垂直消隐期间(VBI)行标410发出信号表明从存贮器240的第一存贮单元300读取水平方向缩小尺寸行L1’的象素数据和将其存贮进行缓存器275的时间的开始。象素数据逐个象素地读取(例如一个字一个字地)。这一动作可在显示半行原始图象的时间内完成，因为行已按2∶1水平方向缩小尺寸。
下一行(即行23)始于时标420。在这一时间与时标425所指明时间之间，从第一存储单元300读取第二行L2’的水平缩小尺寸数据并存进行缓存器275。另外，从行缓存器275输出第一和第二水平方向缩小尺寸行的象素数据的平均值，例如(L1’+L2’)/2，用于显示。如已提到的，针对在行缓存器接收的每一水平方向缩小尺寸的象素输出一水平方向和垂直方向缩小尺寸的象素的数据用于显示。
在信号通知行24的开始的丛时标425到时标430的时间内，从第一存储单元300读取第三水平方向缩小尺寸的行L3’并存贮进行缓存器275。
在从行24的起始例如时标430到时标435的时间内，从第一存储单元300读取第四水平方向缩小尺寸的行L4’和存贮进行缓存器275。另外，从行缓存器275输出第三和第四行的平均值如(L3’+L4’)/2用于显示。在从时标435到时标440的行25的开始的时间内，读取原始图象的第五水平方向缩小尺寸行L5’存贮进行缓存器，等等。
本发明一重要特点是对存贮器带宽的管理。例如说，如果在垂直象素平均功能部件278中采用二抽头滤波器来为垂直方向缩小尺寸取二行的平均，则对要从显示功能部件270输出和显示的每一行均必须从存贮器240读入二行数据(无重叠行)。但由于输出行已被削减一半(为作2∶1水平缩小尺寸)，所以具有多余时间用来预先提取(如读入)下一行的象素数据。
由于显示用图象被缩减到其原始大小的一半，因而只存贮译码图象的一半，但存贮器带宽则保持相同。例如，假定一704×480图象被译码并作352×240显示，和用户希望输出的图象要在显示屏幕的第一象限(如左上部)。对于B-帧，MPEG要求显示紧随着译码，亦即，图象一被译码就必须加以显示。
但由于译码速率是可变的(例如因为数据量和不同图象的复杂程度)，所以最好能提前对图象译码，例如在要显示图象之前半帧。而且，译码是在覆盖二场的宏块级进行的，而显示(如应用CCIR656标准)则是以场为基础的。这就是说，场1首先输出，然后是场2，或反之。
这样，在半帧时间内，可加以编码的最多量为约场1的1/4和场2的1/4。因此，显示恒定不变并因而将追上译码，而可能出现问题。解决方法是或者提高存贮器带宽或提高译码速度，或使得译码能走在显示之前以便显示将决不能追上译码。这样，通过仅在一半图象被译码(例如解压缩)之后存贮象素数据，即可利用B-缓存器中多余的有效空间来使得译码能进一步超前显示。
相应地可以看到，本发明提供一个无额外存贮器或处理速度需求的缩小数字视频图象尺寸的系统。在存贮象素数据进存贮器之前在译码侧进行水平平均，和在从存贮器恢复象素数据并存贮进行锾存器之后和在紧接显示之前于输出侧(例如即显示侧)进行垂直平均。而且，按需要该系统也可提供全尺寸的图象用于解压缩预测编码的图象。
虽然本发明是结合各不同具体实施例加以说明的，但本技术领域中的熟悉人士将理解，可对之作大量的适应和修改而不背离权利要求中所表明的发明精神和范畴。
例如说，尽管本发明被结合与有线或卫星电视宽带通信网进行讨论，而可以理解其他网络如局域网(LAN)、都市区域网络(MAN)、广域网(WAN)、中间网络、内部互连网络和互联网均可采用。
另外，本发明亦可适配应用除SDRAM外的其他类型多存储单元存贮器。本发明也可适配应用多于二存储单元的多存储单元存贮器。再有，虽然为与MPEG-2视频解压缩相兼容性讨论了54MHz存贮器速度和16M位的存贮器，本发明也期望包括其他存贮器速度和容量。
再者，本发明也与MPEG-2之外的数字视频标准相兼容。

Claims (18)

1、一种用于缩小数字视频图像的方法，包括步骤：
解压缩从一个信道接收的经压缩的数字视频象素数据来提供原始图象的象素数据；
对至少一部分所述原始图象的水平邻接象素对进行平均以提供水平方向缩小尺寸的象素数据；
将所述水平方向缩小尺寸的象素的数据存贮进一个存贮器的第一存储单元；和
将所述至少一部分所述原始图象的每隔一象素的数据存贮进所述存储器的第二存储单元。
2、如权利要求1中所述方法，其特征是包括进一步步骤：
从所述第一存储单元检索所述水平方向缩小尺寸的象素数据；和
取所述水平方向缩小尺寸象素数据的垂直邻接象素的数据的平均以提供用于显示的垂直方向和水平方向缩小尺寸的象素数据。
3、如权利要求2中所述方法，其特征是包括进一步步骤：
在所述垂直方向取平均步骤前提供所述被检索的水平方向缩小尺寸的象素数据到一其大小被定制成存放至少一行所述水平方向缩小尺寸的象素数据加一象素的行缓存器。
4、前述权利要求之一所述方法，其特征是：
所述存贮器包括同步动态随机存取存贮器。
5、如权利要求1、2或3所述方法，其特征是：
所述水平方向缩小尺寸的象素数据和每隔一象素的所述数据的所述存贮在不迟于一半所述原始图象已被解压缩之后发生。
6、如权利要求1所述方法，包括进一步步骤：
从所述第一存储单元检索所述水平方向缩小尺寸的象素数据的部分；
从所述第二存储单元检索每隔一象素的所述数据的对应部分；和
处理所述被检索部分和所述被检索的对应部分以恢复对应于所述原始图象的象素数据。
7、如权利要求6所述方法，其特征是包括进一步步骤：
提供所述原始图象的所述被恢复的象素数据供所述解压缩步骤中利用。
8、如权利要求6或7所述方法，其特征是所述处理步骤包括步骤：
计算各个被检索部分的值的二倍与各个被检索的对应部分的值之差来恢复对应于所述原始图象的所述象素数据。
9、如权利要求1、2或3所述方法，其特征是：
所述存贮器为双存储单元存贮器。
10、一种用于缩小数字视频图像的设备包括：
用于解压缩由一信道接收的经压缩的数字视频象素数据来提供原始图象的象素数据的解压缩引擎；
用于取所述原始图象的至少一部分的水平邻接象素对的平均以提供水平方向缩小尺寸的象素数据的水平象素平均功能部件；和
一存贮器，包括有用于存贮所述水平方向缩小尺寸的象素数据的第一存贮单元和用于存储所述原始图象的所述至少一部分的每隔一象素的数据的第二存储单元。
11、权利要求10所述设备，其特征是还包括：
用于从所述第一存储单元检索所述水平方向缩小尺寸的象素数据的装置；和
垂直象素平均功能部件，对来自于所述水平方向缩小尺寸的象素数据的垂直邻接象素的数据取平均，来提供用于显示的垂直方向和水平方向缩小尺寸的象素数据。
12、权利要求11所述设备，其特征是还包括：
大小被定制成存贮所述水平方向缩小尺寸的象素数据的至少一行加一个象素的行缓存器；
其中，所述行缓存器接收来自所述存贮器的所述第一存储单元的所述水平方向缩小尺寸的象素数据，和提供其成对的垂直邻接象素到所述垂直象素平均功能部件用于在此进行所述平均处理。
13、如权利要求10或11所述设备，其特征是：
所述存贮器包括同步动态随机存取存贮器。
14、如权利要求10或11所述设备，其特征是：
所述水平方向缩小尺寸的象素数据和每隔一象素的所述数据在不迟于一半所述原始图象被解压缩之后被存贮进所述存贮器中。
15、权利要求10所述的设备，其特征是，还包括一水平象素重构的功能部件，其用于：
从所述第一存储单元检索所述水平方向缩小尺寸的象素数据的部分；
从所述第二存储单元检索每隔一象素的所述数据的对应部分；和
处理所述检索部分和所述被检索对应部分来恢复对应于所述原始图象的象素数据。
16、权利要求15所述设备，其特征是还包括：
提供所述原始图象的所述被恢复象素数据以便所述解压缩引擎应用的装置。
17、权利要求15或16所述设备，其特征是：
所述水平象素重构功能部件通过计算各个被检索部分的值的二倍与各个被检索对应部分的值之差处理所述被检索部分和所述被检索对应部分，以便恢复对应于所述原始图象的所述象素数据。
18、如权利要求10或11所述设备，其特征是：
所述存贮器为双存储单元存贮器。
CNB001004719A 1999-01-27 2000-01-27 同步动态随机存取存储器带宽优化 Expired - Lifetime CN1151680C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/238,951 US6377713B1 (en) 1999-01-27 1999-01-27 Synchronous DRAM bandwidth optimization for display downsizing of an MPEG-2 image
US09/238,951 1999-01-27

Publications (2)

Publication Number Publication Date
CN1265552A CN1265552A (zh) 2000-09-06
CN1151680C true CN1151680C (zh) 2004-05-26

Family

ID=22899999

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB001004719A Expired - Lifetime CN1151680C (zh) 1999-01-27 2000-01-27 同步动态随机存取存储器带宽优化

Country Status (6)

Country Link
US (1) US6377713B1 (zh)
EP (1) EP1026889A3 (zh)
KR (1) KR20000053636A (zh)
CN (1) CN1151680C (zh)
CA (1) CA2297474C (zh)
TW (1) TW457816B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0107198D0 (en) * 2001-03-22 2001-05-16 Pace Micro Tech Plc Picture in picture display
KR100770453B1 (ko) * 2001-11-19 2007-10-26 매그나칩 반도체 유한회사 픽쳐-인-픽쳐 구현방법
US7050113B2 (en) * 2002-03-26 2006-05-23 International Business Machines Corporation Digital video data scaler and method
KR100484158B1 (ko) * 2002-09-06 2005-04-19 삼성전자주식회사 영상신호 처리 시스템에 있어서 수직 다운 스케일링 장치및 방법
EP1557044A1 (en) * 2002-10-21 2005-07-27 Koninklijke Philips Electronics N.V. Manipulating sub-pictures of a compressed video signal
BR0306987A (pt) 2002-11-20 2004-12-14 Matsushita Electric Ind Co Ltd Método de prognóstico de imagem em movimento, método e aparelho de codificação de imagem em movimento e método e aparelho de decodificação de imagem em movimento
US6927754B2 (en) * 2003-02-06 2005-08-09 Wintek Corporation Method and apparatus for improving resolution of display unit
GB2413450A (en) * 2004-04-19 2005-10-26 Forbidden Technologies Plc Video navigation using image tokens displayed within a continuous band of tokens
US8514938B2 (en) * 2004-10-07 2013-08-20 Hewlett-Packard Development Company L.P. Picture coding apparatus for a still picture sequence and picture decoding apparatus for a still picture sequence
US7574059B2 (en) * 2004-10-29 2009-08-11 Broadcom Corporation System, method, and apparatus for providing massively scaled down video using iconification
US7712052B2 (en) 2006-07-31 2010-05-04 Microsoft Corporation Applications of three-dimensional environments constructed from images
US7764849B2 (en) * 2006-07-31 2010-07-27 Microsoft Corporation User interface for navigating through images
US8130229B2 (en) 2009-11-17 2012-03-06 Analog Devices, Inc. Methods and apparatus for image processing at pixel rate
US9544587B2 (en) 2012-05-14 2017-01-10 Google Technology Holdings LLC Scalable video coding with enhanced base layer
KR102060788B1 (ko) 2012-12-31 2019-12-31 삼성디스플레이 주식회사 표시 장치 및 그 구동 방법
CN104407826B (zh) * 2014-10-29 2018-01-23 京东方科技集团股份有限公司 显示数据写入方法和显示装置
CA3094722A1 (en) * 2018-03-22 2019-09-26 Bedford Systems Llc Beverage appliance with pod recognition system

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0636182B2 (ja) * 1988-02-06 1994-05-11 大日本スクリーン製造株式会社 画像ファイリング・検索方法および装置
US5315388A (en) 1991-11-19 1994-05-24 General Instrument Corporation Multiple serial access memory for use in feedback systems such as motion compensated television
US5386212A (en) 1992-11-19 1995-01-31 General Instrument Corporation Double buffer scheme for variable length decoder
US5694149A (en) * 1993-07-01 1997-12-02 Intel Corporation Vertically scaling image signals using digital differential accumulator processing
TW245871B (en) 1994-08-15 1995-04-21 Gen Instrument Corp Method and apparatus for efficient addressing of dram in a video decompression processor
JPH08123953A (ja) * 1994-10-21 1996-05-17 Mitsubishi Electric Corp 画像処理装置
US5920352A (en) * 1994-10-28 1999-07-06 Matsushita Electric Industrial Co., Ltd. Image memory storage system and method for a block oriented image processing system
US5638128A (en) 1994-11-08 1997-06-10 General Instrument Corporation Of Delaware Pixel interpolation filters for video decompression processor
GB2296618B (en) * 1994-12-30 2003-03-26 Winbond Electronics Corp System and method for digital video decoding
US5818530A (en) * 1996-06-19 1998-10-06 Thomson Consumer Electronics, Inc. MPEG compatible decoder including a dual stage data reduction network
JP4034380B2 (ja) * 1996-10-31 2008-01-16 株式会社東芝 画像符号化／復号化方法及び装置

Also Published As

Publication number Publication date
TW457816B (en) 2001-10-01
EP1026889A3 (en) 2003-08-06
CN1265552A (zh) 2000-09-06
EP1026889A2 (en) 2000-08-09
CA2297474C (en) 2011-08-23
KR20000053636A (ko) 2000-08-25
US6377713B1 (en) 2002-04-23
CA2297474A1 (en) 2000-07-27

Similar Documents

Publication Publication Date Title
CN1151680C (zh) 同步动态随机存取存储器带宽优化
JP3793225B2 (ja) 低解像度ｈｄｔｖ受信機
US8811494B2 (en) Local macroblock information buffer
CN1136736C (zh) 具有简缩装置的mpeg译码器和处理mpeg编码数据流的方法
CN1122414C (zh) 将图象数据存入存储器前按显示装置分辨率对图象数据去压缩和再压缩的mpeg系统和方法
US8031960B2 (en) Wavelet transformation device and method, wavelet inverse transformation device and method, program, and recording medium
CN1220065A (zh) 从经压缩的正常播放图像比特流中建立特技播放图像流的系统和方法
CN1121673A (zh) 视频解压缩处理器中存储器的定址方法及装置
CN1845609A (zh) 运动图象解码方法和运动图象解码设备以及记录介质
CN101031052B (zh) 图像在存储器中的地址映射方法
CN1164078C (zh) 通过字母框法对mpeg图象作16∶9宽高比变换
CN1848908A (zh) 在压缩的视频图像中减少压缩噪声的方法和设备
CN1939063A (zh) 利用来自压缩比特流的编码信息来增强视频质量和/或减少伪像
Jacobs et al. A brief history of video coding
US20060291566A1 (en) Context buffer address determination using a plurality of modular indexes
CN1246019A (zh) 用于从编码高分辨率视频信号中产生解码低分辨率视频信号的系统
CN110062238B (zh) 一种用于四分量视频的编解码方法
CN101860711B (zh) 一种数字电视上显示小视频的方法及装置
CN1692625A (zh) 图像变换装置及图像变换方法和记录媒体
KR100998545B1 (ko) 고속 멀티-스트림 ｍｐｅｇ 프로세서를 제공하는 방법 및시스템
US20100124278A1 (en) Motion Compensation in Video Coding
CN103974073B (zh) 影像数据处理方法以及影像处理装置
JP3708745B2 (ja) 動画像復号装置および動画像復号方法
CN101282474A (zh) 影像解码处理系统及方法
WO2011009289A1 (zh) 一种在数字电视接收中实现图像旋转的方法和系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MOTOROLA MOBILITY LLC

Free format text: FORMER OWNER: GENERAL INSTRUMENT HOLDING CO., LTD.

Effective date: 20130918

Owner name: GENERAL INSTRUMENT HOLDING CO., LTD.

Free format text: FORMER OWNER: GENERAL INSTRUMENT CORPORATION

Effective date: 20130918

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20130918

Address after: Illinois State

Patentee after: MOTOROLA MOBILITY LLC

Address before: California, USA

Patentee before: General Instruments Holding Co.,Ltd.

Effective date of registration: 20130918

Address after: California, USA

Patentee after: General Instruments Holding Co.,Ltd.

Address before: American Pennsylvania

Patentee before: GENERAL INSTRUMENT Corp.

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20160315

Address after: California, USA

Patentee after: Google Technology Holdings LLC

Address before: Illinois State

Patentee before: MOTOROLA MOBILITY LLC

CX01 Expiry of patent term

Granted publication date: 20040526

CX01 Expiry of patent term