CN1575608A - 以可变采样模式使用行缓冲器方法对像素数据进行预取 - Google Patents

以可变采样模式使用行缓冲器方法对像素数据进行预取 Download PDF

Info

Publication number
CN1575608A
CN1575608A CNA028210468A CN02821046A CN1575608A CN 1575608 A CN1575608 A CN 1575608A CN A028210468 A CNA028210468 A CN A028210468A CN 02821046 A CN02821046 A CN 02821046A CN 1575608 A CN1575608 A CN 1575608A
Authority
CN
China
Prior art keywords
pixel
line buffer
window size
group
sampling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA028210468A
Other languages
English (en)
Inventor
林谦信
K·陈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=21940594&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN1575608(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1575608A publication Critical patent/CN1575608A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Input (AREA)

Abstract

像素数据处理电路使用由可变定义的采样窗口定义的不规则采样模式交付固定数目的像素给视频处理级。在一个针对处理相应于一个视频像素阵列的输入像素流的示范实施例中，窗口大小是从用于采样该阵列子集的各种选项中选择的，作为覆盖该阵列中的像素的一个二维窗口。这样使用采样窗口，使得窗口大小是采样窗口大小的倍数，且采样窗口大小定义固定的像素数目。所述处理包括并发地移动像素数据从输入流到第一组行缓冲器中，在第一组行缓冲器存储的像素包括对应已确立的窗口大小的像素，把存储的像素从第一组行缓冲器预取到第二组行缓冲器中，该第二组行缓冲器长到足以存储至少相应于已确立的采样窗口大小的像素，和从第二组行缓冲器取固定数目的像素。在各种应用中，除灵活性之外，本发明还实现增加的通过量。

Description

以可变采样模式使用行缓冲器方法对像素数据进行预取
相关专利文献
本专利申请与同时提交的名称为“Motion Compensation WithSubblock Scanning(使用子块扫描的运动补偿)”的共同待审的美国专利申请(律师卷宗号VLSL310PA/US018142)相关，在此完全引用作为参考。
技术领域
本发明针对视频信号处理，更具体地说，针对视频信号处理中的运动补偿。
背景技术
计算机装置，包括微处理器和数字信号处理器，已经设计为广阔范围的应用，并且事实上已经用于每一工业领域。出于各种理由，许多这种应用被导向处理视频数据，并要求最小量级的功耗和紧凑性。一些应用进一步要求可以有效地在实时或者近似实时的基础上执行的高速计算引擎。许多这些视频处理应用需要能够以不断增加的速度执行多种功能的数据信号处理电路。
然而，增加这种计算引擎的能力和通用性可能削弱其它重要的目标。例如，更快的计算引擎消耗更多的功率和电路实际面积(circuitreal estate)，而理想的引擎使功耗和为实现该计算引擎所需要的电路的数量两者都最小化。
此外，提供通用性和高能力通常会加剧电路实际面积的问题，这是因为需要各种类型的处理电路，每一种处理电路要专门设计和为不同的处理功能有选择地起动。当比较例如在视频应用中相对慢的通用处理和用于实时压缩和解压缩视频数据的专门化视频信号滤波处理时，这一现象可以被理解。因为专门化处理电路通常被优化以跟上视频数据的实时速度，因此经常很难提供一种充分通用的单一的视频数据处理电路，而不用提供仅对有限应用看起来过量的电路。
作为一个更特别的例子，许多视频信号处理应用使用各种专门化视频信号处理结构，用于高速处理施加到视频数据的功能。除别的事项外，这些高速处理功能包括普通低通和高通滤波、运动补偿的扫描速率变换、和缩放和峰值滤波。在视频处理应用中，这些功能经常通过操作所存储的表示用于刷新表示显示的像素的显示数据的水平线和垂直线的数据来执行。
在每一个上述视频处理应用中，有与设计、制造和维护用以提供这种功能的集成电路相关联的很大的成本。例如，运行在较少噪声环境中的一种高速实现可以允许以较不频繁的速率采样相应于一个视频帧的像素数据，例如，所述视频帧存储在存储器中或者通过摄像机拍摄，而另一高速实现可能需要以较频繁的速率采样像素数据。用于后处理(例如滤波)这种不同采样的数据的高速结构通常用不同方式实现。在每一种这样的应用中，与这种结构不兼容的结构相关联的成本是很大的。
因此，存在一种广泛被认知的需要，即开发一种较紧凑的视频处理结构，它可以包容这些多种功能，而不会显著损失数据处理通过量。一直特别困难维持高的通过量和提供一种足够灵活用于广阔范围应用的结构；因而为实现这种目标的努力一直是紧张的竞争。本发明针对一种数据处理结构，使用可以从可选择的采样窗口的范围定义的采样模式，它可以给这种视频处理级交付固定数目的像素。
发明内容
本发明的各方面针对一种数据处理方法，该数据处理方法使用可能被视频处理级所需要的、被去耦合(decouple)且可以交付固定数目像素的行缓冲器，使用被定义为多个可选择的采样窗口之一的采样模式。其优点包括最小化行缓冲器的使用，像素数据处理中的等待时间，和随之而来的功耗。
与一个示范实施例一致，本发明针对处理相应于一个视频像素阵列的输入像素流，其中，作为覆盖该阵列中的像素的二维窗口的可变窗口大小被用来采样该阵列的子集。所述方法首先通过确立一窗口大小和一采样窗口大小，以固定数目像素的形式把输入的像素流交付到视频处理级。在一个更具体的实施例中，窗口大小是采样窗口大小的倍数，而采样窗口大小定义固定的像素数目。所述处理包括并发地：把来自输入流的像素存储到第一组行缓冲器中，在该第一组行缓冲器中存储的像素相应于已确立的窗口大小；把存储的像素从第一组行缓冲器中预取到第二组行缓冲器中，该第二组行缓冲器长到足以存储至少相应于已确立的采样窗口大小的像素；以及为视频处理级从第二组行缓冲器中取固定数目的像素。
在另一个相关的示范实施例中，视频处理电路包括可编程电路，用于确立一窗口大小和一采样窗口大小，使得该窗口大小是该采样窗口大小的倍数，并且该采样窗口大小定义固定的像素数目，和使用第一和第二组行缓冲器处理数据。数据处理电路通过并发执行上述把来自输入流的像素存储到第一组行缓冲器中、把存储的像素从第一组行缓冲器预取到第二组行缓冲器、和从第二组行缓冲器取固定数目的像素的任务来处理视频像素。
本发明的其它示范实施例分别针对其它各种相关方面，包括这种处理的方法、电路、和基于系统的实现。例如，一个这种方面针对一种应用，在该应用中第二组行缓冲器包括依据相对于一个当前像素定义的距离参数而被寻址的像素，而距离参数是依据X行和Y列的窗口大小定义的，这里X是固定的整数，Y被选择用来确立采样窗口大小。另一方面与这样的应用相关，在该应用中使用第一组行缓冲器来从第二组行缓冲器去耦合输入的像素流。再一个方面相关于这样的应用，在该应用中所述各行缓冲器具有被定义成用于优化通过量的长度，并且其中，数据处理电路进一步被配置为和安排为通过各行缓冲器传送(pan)像素数据以减小周期时间。
本发明的上述概述不打算说明每一图示的实施例或者本发明的每一实现。后面的附图和详细的说明更具体地举例说明这些实施例。
附图说明
结合附图考虑本发明的各种实施例的下面的详细说明，可以更全面地理解本发明，附图中：
图1A是表示根据本发明的具有5×5像素阵列的二维窗口的一个示范实施例的图；
图1B是表示根据本发明的具有10×5像素阵列的二维窗口的一个示范实施例的图；
图2是表示二维采样窗口的一个示范实施例的图，说明根据本发明的相对寻址系统；
图3是表示具有20×5像素阵列的二维窗口的一个示范实施例的图，说明根据本发明的相对寻址系统；以及
图4是表示一个像素数据处理电路的示范实施例的图，该电路具有根据本发明的视频处理电路。
尽管本发明适合于各种修改和替换的形式的，附图中用示例方式表示出其特征，并将详细说明。然而，应该理解，本发明不限于所说明的特定实施例。相反，意图是覆盖落入由所附权利要求所定义的本发明的精神和范围中的所有的修改、等价物和替换形式。
具体实施方式
相信本发明高度可应用于像素数据处理的方法和装置，和在从不规则采样窗口采样像素数据的应用中，包括使用行缓冲器通用去耦合输入和处理采样数据速率。数字视频图像是由像素数据的阵列或矩阵组成的。像素数据通常安排在像素的行和列中。发现本发明特别有利于需要或得益于使用不规则(变化的)大小的滑动窗口的二维像素采样的视频像素处理装置，例如设置为处理变化大小(亦即变化的像素数据阵列大小)的数字图像的视频像素处理装置，或者在滑动窗口大小根据从先前窗口样本中导出的反馈信息变化的场合。虽然本发明不一定限于这种应用，不过通过对在这种环境中的例子的讨论能最好地获得对本发明的各个方面的理解。
数字视频图像由二维像素阵列组成，例如通常是通过在视频显示器上的720×512像素阵列显示的图像。视频图像随时间的运动或者其它改变在视频图像的“快照”中捕获，这些快照一起观看并统称为帧。数字视频图像的每一个像素用一组数据表示(“像素数据”)。一个特定像素的质量(例如亮度等)可以响应从帧到帧的一个像素的像素数据的改变从帧到帧改变。来自每一720×512像素阵列的像素数据通常存储在帧存储器中，并且随后被处理以控制视频图像。
一个特定像素的质量，作为集成的数字图像的一部分，通常以某种方式与附近的像素质量相关。另外，其它公共方式特征，诸如噪声，经常要求在处理特定像素的像素数据时考虑附近的像素。考虑围绕感兴趣的像素的二维像素子集(亦即窗口)是公知的，将该感兴趣的像素的数据以及在该窗口中的附近的像素以某种方式作为一组被一起处理。通常，随着显示器中每一相继的像素的数据的处理窗口沿显示器滑动，保持相对于感兴趣的像素的位置一个特定的取向。按常规，根据像素相对于显示器的位置处理像素，从显示器的左上角的像素开始，从左到右从上到下进行。在处理(例如调整或修改)感兴趣的像素的数据时确定有关在该滑动窗口内的像素的行为的某些信息。
某些视频数据操作对固定数量的数据进行操作，例如同时操作N个像素。处理视频数据的一种方法是选择围绕感兴趣的像素只包括N个像素的统一的窗口，N是一次可以操作的像素的数量。窗口的大小，从而围绕感兴趣的像素的范围(例如距离)受N的大小限制。在某些像素数据处理方法(例如噪声滤波)中，希望考虑围绕感兴趣的像素的一个宽广的范围，但是这样做而不增加N的数量，以保持处理效率和速度。
一种考虑围绕感兴趣的像素的较宽的窗口的方法是从该窗口内选择代表性的像素数据的子集，并且进一步只处理选择的像素数据以确定某些信息。在一个示范实施例中，当在从窗口内的像素数据导出的信息中没有检测到多少变化时，扩展围绕感兴趣的像素的像素窗口的窗口大小。反之，当检测到导出的信息的变化的某些阈值时收缩窗口大小。中央处理单元(CPU)或其它逻辑电路动态确定和改变窗口大小，从而改变在该窗口内包含的像素的数量。然而，如果下游数据操作速率保持固定，则会产生复杂的数据同步问题。根据本发明的方法，一种解决方案是从该窗口内选择另外的N个像素的代表性的子集(例如抽样窗口)，只把选择的像素数据传递给MMIO。
与一般实施例一致，本发明以像素数据处理电路的形式实现，该电路具有连接到中间预取缓冲器的去耦合行缓冲器电路，该去耦合行缓冲器电路、中间预取缓冲器和其间的通信由逻辑电路控制。本发明的像素数据处理电路处理例如从MMIO选择的相应于来自一个可变大小的二维窗口的视频像素阵列的像素输入流。处理后的像素数据被输出到另外的一个数据操作级，例如设置为同时操作固定数量的像素的低通滤波器视频处理级。于是像素数据处理电路的输出速率固定在下游数据操作级的输入速率上，它可能不同于输入数据速率。本发明的像素数据处理电路被配置为和安排为最小化在输入数据流和下游数据操作级从像素数据处理电路所取的像素数据之间的像素等待时间。
到本发明的电路的输入像素数据流包括根据预先确定的取向从可变大小的窗口中选择的和预先安排在具有固定大小的采样窗口阵列中的像素数据。本发明的电路进一步准备样本窗口像素数据以便交付到数据操作级。预先定义采样窗口大小以容纳固定数量N的像素，N是数据操作级可以同时操作的像素数据的数量。
在一个示范实施例中，可变窗口大小优选具有固定的像素行数量，X，但是具有可变的像素列数量，Y。在另外可选择的实施例中，像素行的数量X也是可变的。去耦合行缓冲器电路被配置成具有X+1个行缓冲器，每一行缓冲器的长度足以存储相应于多于YMAX个像素的数据，这里YMAX是最大期望窗口大小的像素列的数目。预取中间缓冲器被耦合到去耦合行缓冲器电路。逻辑电路被配置和安排成用于控制在去耦合行缓冲器电路和预取中间缓冲器之间及通过它们的像素数据的传送。
在本发明的一个更特定的示范实施例中，本发明的视频处理电路作为功能块被紧接地包含在上述参考的共同待审的美国专利申请中说明的视频信号处理装置中的“SWAN”单元之前，所引用的美国专利申请的名称为“Motion Compensation With Subblock Scanning”。“SWAN”单元是包括像素数据的低通滤波的数据操作级。
本发明的视频处理电路包括去耦合行缓冲器电路，它由一组行缓冲器和一个第二中间预取缓冲器组成。视频处理电路接收串行输入的像素数据流，该像素数据是从围绕感兴趣的像素的窗口中选择的采样窗口像素数据。感兴趣的像素被包含在采样窗口像素数据中。输入的像素数据流表示相应于具有可变窗口大小的视频像素阵列的像素，所述可变窗口大小作为覆盖显示阵列中的像素的二维窗口且用于采样像素的视频显示阵列。视频处理电路安排固定数量的像素数据以便并行输出到一个数据操作级，从而减小对该数据操作级的重新加载时间并节约带宽。下游数据操作级同时(亦即并行)取N个像素，N优选为等于一个完全平方的数。在本发明的一个示范实施例中，数据操作级同时取表示25个像素的像素数据。
在一个示范实施例中，可变窗口大小优选具有固定的X个(行的)像素的高度和可变的Y个(列的)像素的宽度。另外，Y优选是X的整数倍n。在一个可选择的实施例中，X不需要固定。Y不需要是X的整数倍。采样窗口优选为对称的，具有X×X的尺度。从可变窗口选择的像素被安排在采样窗口中，其彼此的相对位置取向在采样窗口中和在可变窗口中保持的像素一样。对于本发明的实施例，当N是一个完全平方时，采样窗口被配置成具有等于X的均匀尺度，X是N的平方根。最小可变窗口大小是采样窗口大小。例如，N个像素在具有等于X×X的尺度的阵列中安排。用于采样的最大窗口大小对于一个特定的像素数据处理电路应用来说也是预先定义的。
在本发明的一个示范实施例中，最大期望窗口大小是20×5，该最大窗口大小包括100个像素。作为X×X的采样窗口大小因此是5×5，采样窗口包括25个像素的固定数量。下游数据操作级从本发明的视频处理电路同时取25个像素(即一个采样窗口的像素)的像素数据供进一步的数据操作。在采样窗口位于像素显示区域的边缘而使得邻近当前像素的像素不存在的场合，复制最近的像素列/行并用以代替不存在的像素列/行；因此该实现很容易执行，例如使用行选择多路选择。
图1A表示窗口实施例100的一个特定例子，其中窗口大小和采样窗口大小相同，两者都是5个像素(亦即行)高乘5个像素宽(即5列)，包含25个像素110。窗口(和采样窗口)像素阵列围绕当前中心像素120对称。当前中心像素位于当前行122上。视频图像行常规地是从左到右，从上到下编号的，从显示器的左上角开始。当前行被定义为这样的行，在其上有当前感兴趣的像素。为了参照，窗口(和采样窗口)100的每一行被相关于当前行命名，当前行下面的1行的被标注为“行+1”124，当前行上面的1行的被标注为“行-1”126，低于当前行的2行的被标注为“行+2”128，高于当前行2行的被标注为“行-2”130。行“行-1”和“行+1”相对于当前行对称，行“行-2”和“行+2”也相对于当前行对称，分别在“行-1”和“行+1”之外，如图所示。
图1B表示另一种窗口实施例140的一个特定的示范实施例，窗口尺度为5个像素(亦即行)高、10个像素宽。因此该窗口实施例包含50个像素110，包括当前中心像素120。像素110不需要相对于当前中心像素120对称，如图1B所示的情况。像素行如图1A中表示。当前中心像素120位于当前行122中。窗口140的采样窗口大小是X×X，即5×5，采样窗口包括25个像素。窗口参数可以被编程，最大窗口大小被预先确定。来自窗口的像素数据由数据操作电路以一次N个像素的固定速率处理，换句话说，一次一个采样窗口，因为每一采样窗口包括N个像素。
图2表示本发明的窗口200(并且在本实施例中，还有采样窗口，因为窗口尺度是对称的)的一个示范实施例，并表示在5×5窗口内相对像素寻址的系统。每一像素位置由相对于当前中心像素120的一组变量说明。与其它像素相关的当前中心像素120可选地偏离窗口的中心，例如当窗口列数是偶数时，不可能使当前中心像素120左边和右边的像素数量相等。表1列出了用于根据本发明的像素相对寻址的一个示范系统的相对寻址变量。
表1
名称 说明
cn_dist[1，4] 当前中心像素和在当前行上的附近像素之间的左/右偏移
ce_dist[2，8] 当前中心像素和在当前行上的端像素之间的左/右偏移
nn_dist[1，4] 当前中心像素和在行“行-1”和“行+1”上的附近像素之间的左/右偏移
ne_dist[2，8] 当前中心像素和在行“行-1”和“行+1”上的端像素之间的左/右偏移
en_dist[1，4] 当前中心像素和在行“行-2”和“行+2”上的附近像素之间的左/右偏移
ee_dist[2，8] 当前中心像素和在行“行-2”和“行+2”上的端像素之间的左/右偏移
n_rsh[0，3] 行“行-1”和“行+1”向右的行位移偏移
e_rsh[0，3] 行“行-2”和“行+2”向右的行位移偏移
例如，当前中心像素120和在当前行上的附近像素(亦即一行上的非端像素)之间的左/右偏移是“cn_dist”，并在本发明的相对寻址系统中被允许在从1到4(含)的整数范围内变化。变量“cn_dist”标签包括“c”，表示正被寻址的像素在当前行内，“n”表示附近像素(相对于端像素)，而“dist”表示距离。变量“ce_dist”的e表示端像素，变量标签的其它部分表示的特征如上所述。
窗口200的每一像素在图2中都用一个参考号码标记，表2使用表1的相对寻址变量把窗口200的每一像素的该参考号码与一个表达式相关，说明每一像素如图2所示的位置。
表2
参考号码  像素相对寻址说明 行
120  Px，当前中心像素 当前行
202  px+e_rsh-ee_dist 行-2
204  px+e_rsh-en_dist 行-2
206  px+e_rsh 行-2
208  px+e_rsh+en_dist 行-2
210  px+e_rsh+ee_dist 行-2
212  px+n_rsh-ne_dist 行-1
214  px+n_rsh-nn_dist 行-1
216  px+n_rsh 行-1
218  px+n_rsh+nn_dist 行-1
220  px+n_rsh+ne_dist 行-1
222  px-ce_dist 当前行
224  px-cn_dist 当前行
228  px+cn_dist 当前行
230  px+ce_dist 当前行
232  px+n_rsh-ne_dist 行-1
234  px+n_rsh-nn_dist 行-1
236  px+n_rsh 行-1
238  px+n_rsh-nn_dist 行-1
240  px+n_rsh+ne_dist 行-1
242  px+e_rsh-ee_dist 行-2
244  px+e_rsh-en_dist 行-2
246  px+e_rsh 行-2
248  px+e_rsh+en_dist 行-2
250  px+e_rsh+ee_dist 行-2
从窗口内任何像素(亦即一个被采样的像素)相对于在当前行上的当前中心像素的距离由表2内定义的相对寻址表达式指示。因为窗口参数(亦即尺度)可编程，因此窗口和采样窗口的每一像素的位置两者都可以相对于分别用该窗口和采样窗口选择的当前中心像素说明。
图3表示可变窗口300的示范实施例，它包括20×5的像素阵列。用圆圈表示的像素是从窗口300中由CPU选择的，选择的像素由上述相对寻址表达式确定。图3中被选择的像素被赋予与图2表示的参考编号相似的参考编号，不过增加100以表示图3的某些像素是根据相应于图2所示的相似参考的像素的表达式确定的。窗口300内用圆圈符号(而不是用“×”符号)指示的像素，是由表1和表2的相对寻址表达式的应用选择的，具有相对于窗口300内的其它选择的像素的每一个的取向，它们相似于窗口200的相似参考的像素之间的取向。
图4表示本发明的一个像素数据处理电路400的示范实施例，具有去耦合行缓冲器电路410、中间预取缓冲器420和控制逻辑电路430。从显示缓冲器(未图示)传送来的像素数据以第一速率由电路400串行接收，并以例如具有6行每一行256个像素总共1536像素的结构排列在去耦合行缓冲器电路410中。在另一个实施例中，去耦合行缓冲器电路配置被针对5行128个像素加以配置。无论哪种情况，这些像素数据由控制逻辑电路430串行导入到去耦合行缓冲器电路410中。
控制逻辑电路430，从去耦合行缓冲器电路410的6行中的每一行开始把首先到达的32个像素复制到中间预取缓冲器组、或像素单元阵列的相应的一个中中，被描述为项420a-420f。根据先前讨论的采样窗口配置，这一复制包括传递相应于当前采样窗口的像素数据。
在本发明的一个示范实施例中，采样窗口阵列具有5行像素数据，来自去耦合行缓冲器电路410的6行中的5行被用来保存输入像素数据和从视频处理电路的处理(亦即输出)速率中去耦合视频处理电路的像素数据输入速率。如上所述，根据采样窗口配置，去耦合行缓冲器电路410中的5个行缓冲器中的每一个被用来来供给中间预取缓冲器组420a-420f之一。
在一个示范实现中，控制逻辑430包括基于多路选择器的逻辑电路，它具有5个选择输入，用于选择先前讨论的对应中间行缓冲器的25个单元中的每一个。在另一个可选择的实施例中，例如由在互连总线上引导像素数据传递的控制逻辑电路430，通过软件操作去耦合行缓冲器电路410和中间预取缓冲器420之间的像素数据来实现选择逻辑。
中间预取缓冲器420通过并行通道450通信地连接到数据操作级440，并行通道450设置为同时传递采样窗口的所有N个像素。图4表示在中间预取缓冲器420的每一像素单元阵列内的阴影像素位置，表示同时用时钟触发到并行通道450上供传递到数据操作级440的像素单元位置。每一阴影像素单元阵列位置耦合到在一个示范实施例中以硬件实现的通道450上，例如通过专用数据通信路径(亦即硬接线)，或者另外可选择通过解复器的装置。在本发明的另一个实施例中，例如由引导像素数据通信的控制逻辑电路430，通过软件操作在中间预取缓冲器420和通道450之间的像素数据实现这一耦合，。
在图4所示的一个示范实施例中，行缓冲器412保持对应5×5采样窗口的当前行的5个像素的像素数据。行缓冲器414保存对应5×5采样窗口的行+1的5个像素的像素数据。行缓冲器414的每一像素根据上面表2中叙述并示于图2的方法参照，行缓冲器414中的像素数据被复制并被存储到像素单元阵列423中，表示为以5行安排，每一行具有来自行缓冲器414的当前行像素数据的5个像素。在另外可选的实施例中，在每一像素单元阵列内的像素数据的取向可以根据图4的所示加以取向修改，例如像素的顺序在像素单元阵列中以逆序存储，使得像素232占据“右上”位置和像素240占据“左下”位置，从而可以从顶到底沿通道450安排像素数据，所用方式为当从位于采样窗口的左上角的像素从左向右和从上向下运动时会遇到像素(例如参考图2并从像素202开始，向右运动先遇到像素204，然后206、208、210，然后212、214等，直到最后遇到像素250)。在通道450中的、要提供到数据操作级440的像素数据的配置由电路设计者和/或目标应用确定。
因此，本发明的各种示范实现的描述数据处理方法的特征，它们包括用于去耦合到来的像素显示数据和通过并行通道交付固定数目的像素的行缓冲器，例如它可能是一个视频处理级诸如用作级440的低通滤波器所需要。这些示范实现的各个方面可以实现成减小像素等待时间，节省硬件和设计费用，和补偿在需要能力来处理从可变大小窗口导出的像素数据的像素数据处理应用中的复杂性。在本发明的各种实现中，预取像素数据到中间预取缓冲器提供灵活性和减小对下游级的重新加载时间。这种实现可以与相对寻址方法一起使用，提供包含在可变大小的窗口中的可变像素数据数量和固定的数据操作级之间的去耦合，从而允许在有利于整体视频图像处理模式的场合改变窗口大小。
本发明不应该考虑为限制在上面说明的特定实施例。各种修改、等效的处理、以及本发明可以应用于其上的大量结构都落入本发明的范围内，这在所附权利要求中清楚地说明。

Claims (16)

1.在具有相应于一个视频像素阵列的输入像素流、具有作为覆盖该阵列中像素的二维窗口且用于采样阵列的子集的可变窗口(300)大小、具有使用固定的像素数目输入像素的视频处理级(440)的视频处理电路中，一种用于把输入像素流交付给视频处理级(440)的方法，所述方法包括：
-确立一窗口大小和一采样窗口大小，使得该窗口大小是该采样窗口大小的倍数，且该采样窗口大小定义固定的像素数目；和
并发地
-把来自输入流的像素存储到第一组行缓冲器(410)中，在第一组行缓冲器中存储的像素包括对应已确立的窗口大小的像素，
-把存储的像素从第一组行缓冲器预取到第二组行缓冲器(420)中，该第二组行缓冲器长到足以存储至少相应于已确立的采样窗口大小的像素，和
-为视频处理级(440)从第二组行缓冲器取固定数目的像素。
2.如权利要求1所述的方法，其中，每一视频像素阵列表示一个视频帧。
3.如权利要求2所述的方法，其中，窗口大小具有X行和Y列，采样窗口大小具有X行，这里X是固定的整数。
4.如权利要求3所述的方法，其中，确立窗口大小包括从一组可能的整数中选择Y。
5.如权利要求4所述的方法，其中，固定的像素数目等于25，X等于5，和用于Y的可能的整数集合是1到4。
6.如权利要求1所述的方法，其中，使用第一组行缓冲器(410)从第二组行缓冲器(420)去耦合输入像素流。
7.如权利要求1所述的方法，其中，第二组行缓冲器(420)包括根据相对于当前像素(120)定义的距离参数而被寻址的像素。
8.如权利要求7所述的方法，其中，根据窗口大小定义距离参数。
9.如权利要求1所述的方法，其中，第二组行缓冲器包括根据相对于当前像素定义的距离参数而被寻址的像素，其中，距离参数根据X行和Y列的窗口大小定义，这里X是固定的整数，Y被选择用来确立采样窗口大小。
10.如权利要求1所述的方法，其中，所述各行缓冲器(410&420)具有被规定成用于优化通过量的长度，及其中，所述预取和所述取包括通过各行缓冲器传送像素数据以减小周期时间。
11.如权利要求1所述的方法，其中，窗口大小具有X行和Y列，这里X是固定的整数，Y被选择用来确立采样窗口大小，并且第二组行缓冲器包括分别用于存储X行像素的X个行缓冲器，。
12.如权利要求11所述的方法，其中，第二组行缓冲器(420)的X个行缓冲器包括用于存储相应于窗口的当前行(122)的一行像素的中心行缓冲器(412)，和至少一个用于存储另一行像素(例如124)的行缓冲器(例如414)。
13.如权利要求11所述的方法，其中，固定的像素数目等于25，X等于5，和用于Y的可能的整数集合是1到4。
14.在具有相应于一个视频像素阵列的输入像素流、具有作为覆盖该阵列中像素的二维窗口且用于采样阵列的子集的可变窗口大小、具有使用固定的像素数目输入像素的视频处理级的视频处理电路中，一种用于把输入像素流交付给视频处理级的方法，所述方法包括：
-确立一窗口大小和一采样窗口大小，使得该窗口大小是该采样窗口大小的倍数，且该采样窗口大小定义固定的像素数目；和
并发地
-通过使用第一组行缓冲器存储来自输入流的像素而从输入流去耦合像素，在第一组行缓冲器中存储的像素包括对应已确立的窗口大小的像素，
-把存储的像素从第一组行缓冲器预取到第二组行缓冲器中，该第二组行缓冲器长到足以存储至少相应于已确立的采样窗口大小的像素，和
-通过根据相对于在第二组行缓冲器中存储的一个当前像素定义的距离参数寻址，为视频处理级从第二组行缓冲器取固定数目的像素，其中，距离参数按照X行Y列的窗口大小定义，这里X是固定的整数，Y被选择用来确立采样窗口大小。
15.在具有相应于一个视频像素阵列的输入像素流、具有作为覆盖阵列中像素的二维窗口且用于采样阵列的子集的可变窗口(300)大小、具有使用固定的像素数目输入像素的视频处理级(440)的视频处理电路中，一种用于把输入像素流交付给视频处理级的电路装置，所述电路装置包括：
-用于确立一窗口大小和一采样窗口大小的装置，使得该窗口大小是该采样窗口大小的倍数，且该采样窗口大小定义固定的像素数目；
-第一组行缓冲器；
-第二组行缓冲器；和
-用于并发地执行下述操作的装置
-把来自输入流的像素存储到第一组行缓冲器中，在第一组行缓冲器中存储的像素包括对应已确立的窗口大小的像素，
-把存储的像素从第一组行缓冲器预取到第二组行缓冲器中，该第二组行缓冲器长到足以存储至少相应于已确立的采样窗口大小的像素；和
-为视频处理级从第二组行缓冲器取固定数目的像素。
16.在具有相应于一个视频像素阵列的输入像素流、具有作为覆盖该阵列中像素的二维窗口且用于采样阵列的子集的可变窗口大小、具有使用固定的像素数目输入像素的视频处理级的视频处理电路中，一种用于把输入像素流交付给视频处理级(440)的电路装置，所述电路装置包括：
-可编程电路，用于确立一窗口大小和一采样窗口大小，使得该窗口大小是该采样窗口大小的倍数，且该采样窗口大小定义固定的像素数目；
-第一组行缓冲器(410)；
-第二组行缓冲器(420)；和
-数据处理电路(43)，被配置并安排为并发地执行下述操作来处理视频像素
-把来自输入流的像素存储到第一组行缓冲器中，在第一组行缓冲器中存储的像素包括对应已确立的窗口大小的像素，
-把存储的像素从第一组行缓冲器预取到第二组行缓冲器中，该第二组行缓冲器长到足以存储至少相应于已确立的采样窗口大小的像素，和
-为视频处理级从第二组行缓冲器取固定数目的像素。
CNA028210468A 2001-10-26 2002-10-25 以可变采样模式使用行缓冲器方法对像素数据进行预取 Pending CN1575608A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/045,929 US7750979B2 (en) 2001-10-26 2001-10-26 Pixel-data line buffer approach having variable sampling patterns
US10/045,929 2001-10-26

Publications (1)

Publication Number Publication Date
CN1575608A true CN1575608A (zh) 2005-02-02

Family

ID=21940594

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA028210468A Pending CN1575608A (zh) 2001-10-26 2002-10-25 以可变采样模式使用行缓冲器方法对像素数据进行预取

Country Status (8)

Country Link
US (1) US7750979B2 (zh)
EP (1) EP1442611A2 (zh)
JP (1) JP2005506641A (zh)
KR (1) KR100917749B1 (zh)
CN (1) CN1575608A (zh)
AU (1) AU2002339637A1 (zh)
TW (1) TWI259713B (zh)
WO (1) WO2003036601A2 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011002824A1 (de) 2011-01-18 2012-07-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bildsensor, Bildaufnahmesystem und Verfahren zum Aufnehmen eines Bildes
USD742893S1 (en) 2013-06-09 2015-11-10 Apple Inc. Display screen or portion thereof with graphical user interface
USD750130S1 (en) * 2013-06-10 2016-02-23 Apple Inc. Display screen or portion thereof with graphical user interface
USD737853S1 (en) 2013-10-21 2015-09-01 Apple Inc. Display screen or portion thereof with graphical user interface
USD880517S1 (en) * 2015-08-21 2020-04-07 Sony Corporation Display panel or screen with graphical user interface
KR102464253B1 (ko) 2016-07-07 2022-11-09 삼성전자주식회사 전자 장치 및 이의 영상 데이터 처리 방법
USD877188S1 (en) * 2018-03-16 2020-03-03 Magic Leap, Inc. Display panel or portion thereof with a transitional mixed reality graphical user interface
EP4152309A4 (en) * 2020-12-01 2023-09-13 BOE Technology Group Co., Ltd. DATA PROCESSING METHOD AND APPARATUS, AND DISPLAY APPARATUS

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3141196A1 (de) * 1980-10-17 1982-06-24 Micro Consultants Ltd., Newbury, Berkshire Videobildverarbeitungsvorrichtung
US5075673A (en) * 1989-06-16 1991-12-24 International Business Machines Corp. Variable speed, image pan method and apparatus
US5359674A (en) * 1991-12-11 1994-10-25 David Sarnoff Research Center, Inc. Pyramid processor integrated circuit
US5422827A (en) 1993-02-12 1995-06-06 Cirrus Logic, Inc. Integrated video scaling and sharpening filter
US5731850A (en) * 1995-06-07 1998-03-24 Maturi; Gregory V. Hybrid hierarchial/full-search MPEG encoder motion estimation
JPH09102954A (ja) 1995-10-04 1997-04-15 Matsushita Electric Ind Co Ltd １つまたは２つの予測ブロックからブロックの画素値を計算する方法
US6567564B1 (en) * 1996-04-17 2003-05-20 Sarnoff Corporation Pipelined pyramid processor for image processing systems
EP1139669A1 (en) * 2000-03-28 2001-10-04 STMicroelectronics S.r.l. Coprocessor for motion estimation in digitised video sequence encoders

Also Published As

Publication number Publication date
US20030081684A1 (en) 2003-05-01
WO2003036601A3 (en) 2004-02-05
WO2003036601A2 (en) 2003-05-01
US7750979B2 (en) 2010-07-06
KR20040045926A (ko) 2004-06-02
JP2005506641A (ja) 2005-03-03
AU2002339637A1 (en) 2003-05-06
EP1442611A2 (en) 2004-08-04
TWI259713B (en) 2006-08-01
KR100917749B1 (ko) 2009-09-15
TW200407035A (en) 2004-05-01

Similar Documents

Publication Publication Date Title
US5097518A (en) Technique for performing digital image scaling by logically combining or replicating pixels in blocks of differing groupsizes
US5113455A (en) Digital image scaling by stepwise pixel movement
US7797493B2 (en) Enhancing performance of a memory unit of a data processing device by separating reading and fetching functionalities
US20040222941A1 (en) Multi-display architecture using single video controller
US7447997B2 (en) Reducing information transfer in screen capture series
CN1957371A (zh) 用于查看与增强图像的方法和系统
CN1012302B (zh) 彩色图像显示系统
CN1554184A (zh) 使用颜色匹配的图像稳定化
CN1122035A (zh) 用于具有分割复位寻址的空间光调制器的脉宽调制
CN1575608A (zh) 以可变采样模式使用行缓冲器方法对像素数据进行预取
US10929965B2 (en) Histogram statistics circuit and multimedia processing system
CN108521824A (zh) 图像处理装置、方法及相关电路
CN1575587A (zh) 在像素处理装置中的组合垂直峰值和缩放比例的多相滤波器
US9030570B2 (en) Parallel operation histogramming device and microcomputer
CN100553305C (zh) 电视图像缩放装置
CN1179269C (zh) 一种准确获取计算机屏幕变化的方法
US6425026B1 (en) Distribution, processing, and reconstruction of variable-sized images using multiple processor arrays
CN1920942A (zh) 图像显示系统及方法
CN110087088B (zh) 一种基于运动估计的数据存储方法、终端设备及存储介质
CN1293514C (zh) 一种数字图像的缩放处理系统
CN1386245A (zh) 用于处理不同类型数据的数据处理装置
CN113095493A (zh) 降低神经网络中的内存需求的系统和方法
CN101984668B (zh) 适用于各种4×4插值滤波器的实时图像缩放引擎
CN2736865Y (zh) 一种数字图像的缩放处理系统
CN1320237A (zh) 包含多个处理电路和存储电路的数据处理装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: NXP CO., LTD.

Free format text: FORMER OWNER: KONINKLIJKE PHILIPS ELECTRONICS N.V.

Effective date: 20070817

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20070817

Address after: Holland Ian Deho Finn

Applicant after: Koninkl Philips Electronics NV

Address before: Holland Ian Deho Finn

Applicant before: Koninklijke Philips Electronics N.V.

C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Open date: 20050202