CN101015202A - 用于处理视频数据的设备和方法 - Google Patents

用于处理视频数据的设备和方法 Download PDF

Info

Publication number
CN101015202A
CN101015202A CNA2005800298912A CN200580029891A CN101015202A CN 101015202 A CN101015202 A CN 101015202A CN A2005800298912 A CNA2005800298912 A CN A2005800298912A CN 200580029891 A CN200580029891 A CN 200580029891A CN 101015202 A CN101015202 A CN 101015202A
Authority
CN
China
Prior art keywords
video field
field memory
memory
previous
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2005800298912A
Other languages
English (en)
Inventor
A·A·阿布博
R·P·克莱霍斯特
O·P·冈沃尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN101015202A publication Critical patent/CN101015202A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012—Conversion between an interlaced and a progressive signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Television Systems (AREA)

Abstract

SIMD处理器结构包括具有多个处理器单元(PE)(42)的线性处理器阵列(LPA)(41)。每个PE(42)根据从全局控制处理器(44)广播到所有PE(42)的共同指令对它的像素数据进行操作。为了增强处理器在处理去隔行算法时的能力，提供了场存取模块(FAM)(47)、输入行存储器(48)、和在工作行存储器(43)内的阴影存储器(49)。输入行存储器(48)包括用于存储来自前一个视频场的第一多个像素的前一个视频场存储器(481)、用于存储来自当前视频场的多个像素的当前视频场存储器(482)和用于存储来自下一个视频场的多个像素的下一个视频场存储器(483)。同样地，阴影存储器(49)包括前一个拷贝视频场存储器(491)、当前的拷贝视频场存储器(492)和下一个拷贝视频场存储器(493)。提供分开的存储器允许处理单元同时访问前一个、当前的和下一个视频场数据，由此提高去隔行操作的效率。

Description

用于处理视频数据的设备和方法
发明领域
本发明涉及用于处理视频数据的设备和方法，特别地，涉及适合于处理去隔行的算法的单指令多数据(SIMD)处理器。
发明背景
视频信号以不同的帧速率出现，因此使得视频格式变换成为几乎所有视频处理设备的核心任务。例如，电影图像以24，25或30Hz被记录，而TV信号以50Hz或60Hz被隔行。除此以外，现代显示器为了减小闪烁常常以较高的显示速率工作(例如，以75Hz，90Hz，100Hz等等隔行)。鉴于上述内容，视频帧速率变换成为在沟通不同领域时的重要的功能，包括在基于逐行扫描的计算机监视器上显示隔行的TV信号。
去隔行是从偶数场计算奇数行的任务，以及反之亦然。在性能指标的低端是执行行重复或行平均的算法(二者都是场内的插值法)。对于非运动序列，这些算法的结果受到原先的25或30Hz行闪烁影响。另一个去隔行方法是行插入。这里，丢失的行根据来自前一场的同一个垂直位置被复制(这是场间插值法)。对于非运动序列，该算法执行得非常好。然而，即使有稍微一点运动的序列，在显示的图像上就可以看见恼人的伪像。
过去几十年来已进行大量工作，经由从集成电路不断增长的计算能力获益的智能算法来提高显示的视频材料的质量。已知的方法提供专用ASIC来对付高性能算法的计算复杂性，或在诸如申请人的TriMedia处理器那样的媒体处理集成电路上实施部分算法。先进的帧速率变换技术应用运动补偿和依赖于方向(依赖于边缘)的去隔行的方法来生成高质量显示图像。在性能指标的高端是使用按照适当的运动向量而移位的、来自过去的信息的运动补偿算法。依赖于边缘去隔行是一种用于从隔行视频中有效地去除锯齿边缘的方法。它在高端同样也在低成本的隔行的应用中，为了最佳的图像内插而检测和量化边缘。先进的去隔行的例子在G.de Haan，“IC for Motion-CompensatedDe-Interlacing，Noise reduction and Picture Rate Conversion(用于运动补偿的去隔行、噪声减小和图像速率变换的IC)”，IEEETransactions on CE，Vol.45，No.3，August 1999中被公开。
图1显示先进的去隔行算法的一个例子。存储在场存储器3中的视频输入信号1通过使用基本去隔行功能块5与依赖于边缘后处理功能块7相组合而进行处理以提供视频输出信号9。基本去隔行功能块与依赖于边缘后处理的组合增强了去隔行图像的质量。
图2显示使用来自前一场21、下一场23和当前场25的数据来填充当前场25中丢失的行的三场去隔行算法。未画阴影的线代表在三个场21，23，25中丢失的行。多数选择(majority select)去隔行处理过程使用在全部三个场21，23，25中“邻居”行中的数据来计算当前的场25中丢失的行的数值。例如，丢失的行25x的数据使用来自在前一场21中的行21Ap，21A和21An的数据、来自在当前场25中的行25B和25c的数据、和来自在下一场23中的行23D的数据进行计算。
图3a和3b分别显示用于实行去隔行用的多数选择中值滤波和依赖于边缘后处理功能块的准代码的例子。应当指出，中值滤波去隔行算法组合了行重复与行插入的优点，这里要取来自当前场中相邻行的两个像素与来自以前一场中同一个垂直位置的行的一个像素的平均值来计算丢失行中的像素值。所有的这些高端算法是计算量很大的，并要求高性能的图像。
虽然已知以并行处理阵列实施这样的算法，但这样的系统没有有效地利用去隔行功能。
所以，本发明的目的是提供适合于更有效地处理去隔行算法的SIMD处理器。
发明概要
按照本发明的第一方面，提供了用于使视频数据信号去隔行的处理器阵列，处理器阵列包括：处理单元阵列，用于处理视频数据信号以产生去隔行的视频信号；前一个视频场存储器，该前一个视频场存储器存储来自前一个视频场的第一多个像素；当前视频场存储器，该当前视频场存储器存储来自当前视频场的多个像素；和下一个视频场存储器，该下一个视频场存储器存储来自下一个视频场的多个像素，其中处理器阵列被配置成使得在去隔行操作期间可以同时访问前一个视频场存储器、当前视频场存储器、和下一个视频场存储器。
上述的结构提供高性能、灵活性和低功率。
按照本发明的另一个方面，提供了通过使用处理器阵列对视频数据信号进行去隔行的方法，该处理单元阵列具有多个处理单元，用于处理视频数据信号以产生去隔行的视频信号，该方法包括以下步骤：把来自前一个视频场的第一多个像素存储在前一个视频场存储器；把来自当前视频场的多个像素存储在当前视频场存储器；把来自下一个视频场的多个像素存储在下一个视频场存储器；以及使得在去隔行操作期间能同时访问前一个视频场存储器、当前视频场存储器、和下一个视频场存储器。
附图简述
为了更好地了解本发明，和更清楚地显示如何实施本发明，现在参考仅作为例子的附图，其中：
图1显示依赖于边缘的去隔行的示意图；
图2显示已知的三场去隔行算法；
图3a显示用于去隔行的多数选择中值滤波的典型的准代码；
图3b显示用于依赖于边缘后处理的典型的准代码；
图4显示按照本发明的适合于去隔行的处理器阵列结构；以及
图5显示在图4的线性处理器阵列中流水线的去隔行操作。
本发明的优选实施例的详细说明
图4显示按照本发明用于处理去隔行算法的SIMD处理器结构。
正如传统的SIMD处理器那样，该结构包括信息处理器阵列(LPA)41，它具有多个处理单元(PE)42。LPA41例如可以具有与在一行中像素的数目一样多的PE42。每个PE42根据从全局控制处理器44广播到所有的PE42的公共指令来对它的像素数据进行处理。PLA41的结果被并行地写入到输入行存储器45。串行处理器46对输出的视频数据执行适当的后处理(例如，格式变换和统计处理)。
取决于选择的工作频率，LPA41可以按图像行执行预定数目的操作。由于像素级别并行性，为处理每个像素可以得到相同数目的指令。
全局控制处理器44负责整个SIMD处理器结构的同步。全局控制处理器44的主要任务是更新程序计数器以便获取指令和译码，并把它们传送到LPA41。另外，全局控制处理器44可以从串行处理器46接收统计信息，并执行滤波器系数的动态修正，或甚至可以控制实际的程序的流程。全局控制处理器44还和外面的世界接口以便下载程序和传送状态信息。这些特性在SIMD结构中是共同的。
按照本发明，上述的SIMD处理器结构适合于使得处理器能够更有效地执行去隔行任务。这种增强包括场存取模块(FAM)47、输入行存储器48和在工作行存储器43内的阴影存储器49。输入行存储器48包括前一个视频场存储器481、当前视频场存储器482和下一个视频场存储器483。前一个视频场存储器481存储来自前一个视频场的第一多个像素，当前视频场存储器482存储来自当前视频场的多个像素，以及下一个视频场存储器483存储来自下一个视频场的多个像素。
同样地，阴影存储器49包括前一个拷贝视频场存储器491、当前拷贝视频场存储器492和下一个拷贝视频场存储器493。前一个拷贝视频场存储器491存储来自前一个拷贝视频场的第一多个像素，当前拷贝视频场存储器492存储来自当前拷贝视频场的多个像素，以及下一个拷贝视频场存储器493存储来自下一个拷贝视频场的多个像素。
对接收的视频信号进行操作的去隔行算法(例如依赖于边缘去隔行算法)，连同其它视频处理代码一起，被存储在程序存储器50，并对于三个视频场(即，前一个、当前的和下一个视频场)进行操作。处理以流水线方式进行，其中处理器阵列对阴影存储器491，492和493进行操作，而输入行存储器481，482，483以新的数据填充。结构是可容易地缩放的，从而与所需的面积、速度和功耗权衡相配。
场存取模块47、输入行存储器48、和阴影存储器49一起工作以便寻址数据准备部分，从而使得能够有效地利用用于实施去隔行算法的SIMD结构。场存取模块47被配置成通过适当的寻址和同步而在多端口场存储器51和输入行存储器481，482，483之间提供接口。场存取模块47注意到场存储器51中前一个、当前和下一个场的位置变化。
提供一个以前一个、当前和下一个视频场存储器形式的输入行存储器48方便了由线性处理器阵列41对前一个、当前和下一个视频场的三场同时访问。同样，前一个拷贝、当前拷贝和下一个拷贝存储器491、492和493的存储使得线性处理器阵列41能同时访问这些存储器。下面将提供有关在典型的去隔行过程期间如何利用输入行存储器481，482，483和阴影存储器491，492，493的进一步的细节。
因此，按照本发明的处理器结构，在LPA41忙于准备下一个输出行的同时，视频输入端口和串行处理器也分别忙于接收和发出视频数据。
为了便于使用所提出的结构增强，全局控制处理器优选地具有一个阴影和输入存储器排序器(SIMS)模块51。SIMS模块51是利用全局控制处理器44的指数旋转单元的专用任务，以便在去隔行期间管理该序列和更新行存储器块。
场存取模块47、输入行存储器48、和阴影存储器49利用SIMD结构的性能来执行去隔行任务。例如，在图3a和3b上给出的基于边缘的去隔行算法在图4建议的结构上的实施是在总共245个时钟周期内完成的(基本去隔行功能用了15个周期和依赖于边缘后处理用了230个周期)。将会看到，精确的周期数将取决于多种因素，包括视频格式和在LPA41中的PE42的数目。例如，周期数对CIF是15；230，对VGA是30；460，对SVGA是60；920等等。
虽然图3a的去隔行子程序要用来自三个场的6个输入行来计算丢失行，但从场存储器51同时读出的实际的行数是3。剩余行放置在阴影存储器49内。
图5显示连同着输入和阴影行存储器的更新的内容和时刻一起进行的流水线去隔行任务。行的处理被分类为对于丢失行的DIEPP(去隔行和边缘后处理)和对于所有的图像行共同的EXT(额外)。带阴影的片段表示根据来自前一个场的行[Pj，Pj+1，Pj+2]、来自当前场的行[Cj，Cj+1]、和来自下一个场的行[Nj]来计算当前的帧的单个丢失行[Mj]所需的步骤。在输入和阴影行存储器中被更新的行用黑点标记。
该结构的特性之一是由结构的可编程性带来的它的灵活性。可以使实际的像素处理被修整成适合于视频信号的动态特性。而且，所使用的滤波器的系数或甚至算法流程都可以在进行时改变。
所建议的方法导致高性能但却是低功耗的，因为数据处理的并行性使得数据访问局部化，并且允许使用较低的系统时钟频率。因此，切换功耗减小。
虽然优选实施例是以具有用于处理来自当前的、以前的和下一个场的数据的三个场存储器描述的，但将会看到，可以提供一个或多个场存储器，如果在处理操作中用来自另一个或多个场的数据的话。同样地，可以使用较少的场存储器，如果在数据处理中用较少数据的话。
而且，虽然优选实施例公开了以三个场存储器作为逻辑上分开的存储器，但将会看到，三个场存储器可以变换成具有宽接口的一个存储器来满足带宽要求。
应当指出，上述的实施例是说明而不是限制本发明，本领域技术人员将能够设计许多替换实施例，而不背离所附权利要求的范围。单字“包括”不排除除了权利要求中阐述的以外的单元或步骤的存在。

Claims (16)

1.一种用于去隔行视频数据信号的处理器阵列，该处理器阵列包括：
处理单元阵列，用于处理视频数据信号以产生去隔行的视频信号；
前一个视频场存储器，该前一个视频场存储器存储来自前一个视频场的第一多个像素；
当前视频场存储器，该当前视频场存储器存储来自当前视频场的多个像素；和
下一个视频场存储器，该下一个视频场存储器存储来自下一个视频场的多个像素，
其中处理器阵列被配置成使得在去隔行操作期间可以同时访问前一个视频场存储器、当前视频场存储器、和下一个视频场存储器。
2.如在权利要求1中要求的处理器阵列，还包括场存取模块，该场存取模块被连接到接收要被去隔行的视频数据信号的场存储器，和适合于把输出信号分别提供到前一个视频场存储器、当前视频场存储器，和下一个视频场存储器。
3.如在权利要求2中要求的处理器阵列，其中场存取模块适合于处理在场存储器中前一个、当前、和下一个视频场的位置的改变。
4.如在权利要求1中要求的处理器阵列，还包括工作行存储器，工作行存储器包括：
前一个拷贝视频场存储器，该前一个拷贝视频场存储器存储来自前一个拷贝视频场的第一多个像素；
当前拷贝视频场存储器，该当前拷贝视频场存储器存储来自当前拷贝视频场的多个像素；以及
下一个拷贝视频场存储器，该下一个拷贝视频场存储器存储来自下一个拷贝视频场的多个像素。
5.如在权利要求1中要求的处理器阵列，还包括全局控制处理器，该全局控制处理器包括用于控制存储器的装置。
6.如在权利要求5中要求的处理器阵列，其中该用于控制存储器的装置适合于利用全局控制处理器的一个指数旋转单元在去隔行期间管理存储器的排序和更新。
7.如在权利要求1到6的任一项中要求的处理器阵列，其中多个场存储器是逻辑上分开的存储器。
8.如在权利要求1到6的任一项中要求的处理器阵列，其中多个场存储器被映射成具有能满足带宽要求的宽接口的一个逻辑存储器。
9.如在权利要求1中要求的处理器阵列，包括一个或多个另外的存储器装置，用于存储在去隔行操作中使用的来自一个或多个其它场的数据。
10.一种使用处理器阵列对视频数据信号的方法进行去隔行，该处理单元阵列具有多个处理单元，用于处理视频数据信号以产生去隔行的视频信号，该方法包括以下步骤：
把来自前一个视频场的第一多个像素存储在前一个视频场存储器；
把来自当前视频场的多个像素存储在当前视频场存储器；
把来自下一个视频场的多个像素存储在下一个视频场存储器；以及
使得在去隔行操作期间能同时访问前一个视频场存储器、当前视频场存储器、和下一个视频场存储器。
11.如在权利要求10中要求的方法，还包括以下步骤：提供被连接到场存储器的一个场存取模块，它接收要去隔行的视频数据信号，和把来自场存取模块的信号输出到前一个视频场存储器、当前视频场存储器、和下一个视频场存储器。
12.如在权利要求10中要求的方法，还包括以下步骤：
把来自前一个视频场拷贝的第一多个像素存储到前一个拷贝视频场存储器；
把来自当前的视频场拷贝的多个像素存储到当前的拷贝视频场存储器；以及
把来自下一个视频场拷贝的像素存储到下一个拷贝视频场存储器。
13.如在权利要求10中要求的方法，还包括提供用于控制存储器的全局控制处理器的步骤。
14.如在权利要求13中要求的方法，还包括在去隔行期间使用全局控制处理器的一个指数旋转单元来管理存储器的排序和更新的步骤。
15.如在权利要求10到14的任一项中要求的方法，其中在去隔行操作期间访问前一个视频场存储器、当前视频场存储器、和下一个视频场存储器的步骤包括访问多个分开的存储器的步骤。
16.如在权利要求10到14的任一项中要求的方法，其中在去隔行操作期间访问前一个视频场存储器、当前视频场存储器、和下一个视频场存储器的步骤包括访问具有宽口的单独一个存储器的步骤。
CNA2005800298912A 2004-09-08 2005-09-06 用于处理视频数据的设备和方法 Pending CN101015202A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GBGB0419870.1A GB0419870D0 (en) 2004-09-08 2004-09-08 Apparatus and method for processing video data
GB0419870.1 2004-09-08

Publications (1)

Publication Number Publication Date
CN101015202A true CN101015202A (zh) 2007-08-08

Family

ID=33186621

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2005800298912A Pending CN101015202A (zh) 2004-09-08 2005-09-06 用于处理视频数据的设备和方法

Country Status (8)

Country Link
US (1) US20100066901A1 (zh)
EP (1) EP1792480A1 (zh)
JP (1) JP2008512923A (zh)
KR (1) KR20070097021A (zh)
CN (1) CN101015202A (zh)
GB (1) GB0419870D0 (zh)
TW (1) TW200631414A (zh)
WO (1) WO2006027741A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8952976B2 (en) * 2008-08-06 2015-02-10 Nxp B.V. SIMD parallel processor architecture
CN104796654B (zh) * 2015-04-30 2018-07-03 武汉精测电子集团股份有限公司 基于fpga实现8lane、16lane mipi信号的方法和装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3740782A1 (de) * 1987-12-02 1989-06-15 Blaupunkt Werke Gmbh Fernsehempfaenger mit einer einrichtung zur unterdrueckung von flimmerstoerungen
DE69031865T2 (de) * 1990-02-28 1998-08-06 Texas Instruments Inc Ein SIMD-Prozessor als digitales Filter
KR960020415A (ko) * 1994-11-23 1996-06-17 윌리엄 이. 힐러 디지탈 텔레비젼을 위한 특수 기능
US5661525A (en) * 1995-03-27 1997-08-26 Lucent Technologies Inc. Method and apparatus for converting an interlaced video frame sequence into a progressively-scanned sequence
US20010017658A1 (en) * 1996-02-29 2001-08-30 Toshihisa Kuroiwa Frame memory device and method
JPH11298862A (ja) * 1998-04-10 1999-10-29 Seiko Epson Corp 画像処理方法及び画像表示装置
JP3998399B2 (ja) * 1999-12-03 2007-10-24 松下電器産業株式会社 映像信号変換装置
JP2002064792A (ja) * 2000-08-14 2002-02-28 Sony Corp 画像信号処理装置およびその方法
US6456414B1 (en) * 2000-08-15 2002-09-24 The United States Of America As Represented By The Secretary Of The Navy Sequential color scanner
US7761683B2 (en) * 2002-03-05 2010-07-20 Hewlett-Packard Development Company, L.P. Variable width memory system and method

Also Published As

Publication number Publication date
WO2006027741A1 (en) 2006-03-16
KR20070097021A (ko) 2007-10-02
JP2008512923A (ja) 2008-04-24
US20100066901A1 (en) 2010-03-18
EP1792480A1 (en) 2007-06-06
TW200631414A (en) 2006-09-01
GB0419870D0 (en) 2004-10-13

Similar Documents

Publication Publication Date Title
US6411333B1 (en) Format conversion using patch-based filtering
CN102088589B (zh) 基于双向的局部和全局运动估计的帧率转换
US10356385B2 (en) Method and device for stereo images processing
JP4975016B2 (ja) サーキュラー・バッファ・メモリを用いて蛇行走査順序でデータ・アレイを処理する方法
US6556193B1 (en) De-interlacing video images using patch-based processing
CN102376293A (zh) 一种基于fpga的图像拼接处理器及图像拼接方法
US10540734B2 (en) Processor, system, and method for efficient, high-throughput processing of two-dimensional, interrelated data sets
CN111698463A (zh) 使用神经网络进行视图合成
CN102014249A (zh) 图像处理装置和成像设备
CA2661678A1 (en) Video multiviewer system using direct memory access (dma) registers and block ram
US6563511B1 (en) Anti-flickering for video display based on pixel luminance
CN103916612A (zh) 一种任意比例缩放系统及方法
CN108521824A (zh) 图像处理装置、方法及相关电路
CN101015202A (zh) 用于处理视频数据的设备和方法
CN105160622B (zh) 基于fpga的图像超分辨率的实现方法
CN102073987A (zh) 一种yuv420图像转换成rgb565图像的方法和系统
US8731071B1 (en) System for performing finite input response (FIR) filtering in motion estimation
JP2008523489A (ja) 画像サイズを変更する方法および装置
CN106780291B (zh) 一种实时畸变图像处理加速装置
US6411334B1 (en) Aspect ratio correction using digital filtering
CN107071326A (zh) 视频处理方法及装置
CN101984668B (zh) 适用于各种4×4插值滤波器的实时图像缩放引擎
RU168781U1 (ru) Устройство обработки стереоизображений
CN110602426B (zh) 一种视频图像边缘提取系统
US9277168B2 (en) Subframe level latency de-interlacing method and apparatus

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication