CN1771739A - 用于高错误率条件下自适应像素估算的方法和装置 - Google Patents

用于高错误率条件下自适应像素估算的方法和装置 Download PDF

Info

Publication number
CN1771739A
CN1771739A CNA200380101718XA CN200380101718A CN1771739A CN 1771739 A CN1771739 A CN 1771739A CN A200380101718X A CNA200380101718X A CN A200380101718XA CN 200380101718 A CN200380101718 A CN 200380101718A CN 1771739 A CN1771739 A CN 1771739A
Authority
CN
China
Prior art keywords
class
pixel
filter
information
estimation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA200380101718XA
Other languages
English (en)
Other versions
CN1771739B (zh
Inventor
J·J·小卡里格
M·帕尼科尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Electronics Inc
Original Assignee
Sony Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Electronics Inc filed Critical Sony Electronics Inc
Publication of CN1771739A publication Critical patent/CN1771739A/zh
Application granted granted Critical
Publication of CN1771739B publication Critical patent/CN1771739B/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

公开一种用于高错误率条件下自适应像素估算的方法和装置。创建类，确定可行的类，并应用最佳滤波器来执行像素估算。

Description

用于高错误率条件下自适应像素估算的方法和装置
发明领域
本发明涉及图像处理。更具体地说，本发明涉及用于高错误率条件下自适应像素估算的方法和装置。
发明背景
由于来自编码的量化影响，过去为像素错误恢复和后处理改进提出的技术通常使用一种三级方法。第一级使用基本内插程序为整个图像帧提供粗略的隐匿。第二级通过重新访问每个错误像素和使用邻近数据，根据局部空间、运动和错误分类选择滤波器来改进帧。对应于每个分类，提前准备一个估算滤波器。第三级应用一个固定平滑滤波器来降低量化影响。
提前准备的滤波器严格地限定可被考虑的错误模式(丢失像素模式)的数目。为了对此进行补偿，过去的技术可能使用了一种亚最佳的粗略恢复状态。像素恢复和像素改进作为分开的处理要求较长的处理时间。这些提出了问题。
附图简述
本发明通过举例来说明，并不局限于附图中的图，图中类似的参考表示相似的元件，以及其中：
图1说明一个其中可实现本发明的方法和/或装置的网络环境；
图2以计算机系统框图形式说明了一个实施例，在该系统中可实现本发明的方法和/或装置；
图3说明以一定顺序编号的可能训练抽头的一个实施例，该顺序表明在估算中心抽头附近像素时每个位置假定的重要性；
图4说明用于恢复视频流中受损像素的算法流程的一个实施例；
图5说明用于恢复静止图像中受损像素的算法流程的一个实施例。
详细描述
描述用于高错误率条件下自适应像素估算的方法和装置。
在一个实施例中，本发明是一种定制的算法和体系结构，用几种方法来改进以往的技术。首先，对于图像中要恢复和改进的每个像素，实时地产生一种定制滤波器，而在过去，提前准备滤波器，严格限定可考虑的错误模式(丢失像素模式)的数目。为了对此进行补偿，以往技术使用了亚最佳的粗略恢复级，这一级在本发明的一个实施例中可从处理中消除。
在本发明的另一个实施例中，第二个改进是将像素恢复和改进合并成单个一次完成的过程。这可降低处理延迟(因为它是单遍的)，并且通过在平滑过程中加入自适应和通过可能消除中间有限精度结果，可在数值上改进结果。
数学回顾
用于设计估算滤波器的一种技术是使用训练来确定在预定的一组图像上的最小平方最佳滤波器。训练数据可被累积到观察矩阵A和期望响应向量b中。为了读者的利益，我们快速回顾这些量、它们的使用以及关于它们有效应用的要点。
考虑例如图3所示的估算抽头300，其中编号从1到40的像素代表那些可能用来估算标有x的中心像素的像素。每次这个抽头填满图像数据，可向矩阵A和向量b加一行。明确地说，这40个观察像素按照图3中的编号所示的顺序排列，值x给向量b贡献一行。在训练的末端，有m乘40的矩阵A和m元向量b，其中m是训练的次数。通过关于x使下式(1)最小，找到最小平方最佳滤波器(如果解不是唯一的，则选择最小范数解)。解向量xLS提供最佳滤波器的系数。
              ‖Ax-b‖2 2                         (1)
作为选择，可以累积和存储矩阵R＝ATA和向量y＝ATb来替代累积和存储矩阵A和向量b。由于xLS也是下式(2)的最小范数解，因此这是充分的。
              RxLS＝y                            (2)
通常每个训练像素向A和b贡献一个新的行。这相当于按如下公式更新R和y：
R k + 1 = R k + a k + 1 + a k + 1 T · · · ( 3 )
y k + 1 = y k + b k + 1 a k + 1 T · · · ( 4 )
其中ak T是矩阵A的第k行，bk是向量b的第k行，R和y的下标表示更新的次数。R0和y0被定义成使所有分量等于零。为了防止溢出，只要每个量采用相同的比例因子，从下列等式中消去比例因子α后，就可能存储R和y的缩放版本：
               αRxLS＝αy                        (5)
假定已累积了Rm和ym，现在要找到由训练抽头的子集定义的最佳滤波器。每个抽头对应于矩阵A的一列。如果一个抽头不能使用，则可通过移走矩阵A中相应的列来定义一个较小的系统。同样，也可能从矩阵Rm和ym中移走相应的一些行和列。
假定已对两个不同的训练数据集累积了Rm和ym，这个信息将被合并成一个大的集合。为了便于标记，使用有标号的上标来标记这些分开的训练类。例如Rm (1)表示在训练集1上累积的矩阵，包括m个训练样本。可以通过简单地相加乘以适当权重(通常，训练样本的数量或者训练样本总数的百分比)后的训练矩阵来组合训练数据。例如
R = m 1 m 1 + m 2 R m 1 ( 1 ) + m 2 m 1 + m 2 R m 2 ( 2 ) · · · ( 6 )
y = m 1 m 1 + m 2 y m 1 ( 1 ) + m 2 m 1 + m 2 y m 2 ( 2 ) · · · ( 7 )
用例子描述算法
本发明的一个实施例被如下详细描述成算法技术。合并到此描述中的是基于下面数据和滤波器抽头的详细实例。在这个实例中，使用了相当小的抽头，以便所包含的所有数字都可示出，以免使本发明不清楚。
假定下面以前的帧数据已经被输出装置(解码器)接收并处理。
先前帧数据：恢复的
133    136    103
156    146    103
89     84     70
下列数据表示答案，即试图获得的像素值。
当前帧数据：原始的(对解码器来说是未知的)
136    122    59
159    131    62
92     79     46
下列数据表示由于解压缩而产生丢失像素的当前帧数据的被量化和被损版本。N/A表示由于某些传输损耗而不可得到的像素值。在情形1，解码器将应用滤波器，以期改进中心值，使其与上述答案中所示的更相似。
当前帧数据：被量化的和被损的(情形1：改进)
131    112    49
159    110    N/A
97     68     37
情形2，假定中心像素也被丢失，因此编码器必须仅使用可得到的数据来恢复它。
当前帧数据：被量化的和被损的(情形2：恢复)
131    112    49
159    N/A    N/A
97     68     37
此外，在这个实例中，假定使用具有以下形状的抽头来测量局部运动，
O    o    o
O    o    o
O    o    o
该形状以感兴趣的像素为中心，并由当前帧和先前帧来定义。随后，使用具有以下形状的抽头来测量空间纹理，
     o
O    o    o
     o
该形状以感兴趣的像素为中心，并仅由当前帧来定义。在一个实际系统中，抽头也可根据先前帧来定义，但是此实例中抽头数目被限制，以使矩阵保持适合打印的尺寸。接下来应用使用具有以下形状的抽头的滤波器，
O    o    o
O    o    o
O    o    o
该形状以感兴趣的像素为中心，并由当前帧定义。在每种情况下，仅使用可得到的像素。训练矩阵数据排列成行和列，其中行/列数目对应于按照下列扫描顺序的抽头位置：
1    2    3
4    5    6
7    8    9
1：确定可行的运动类
假定被恢复的像素是视频序列的一部分，那么通过运动类或运动补偿的使用可提高性能。运动分类的一个例子是计算当前帧和先前帧之间的平均绝对像素差，并与阈值比较，以确定运动类，MC＝0、1、2或3。从这一过程中消除错误像素。例如在情形1中，使用8对未受损像素计算出当前帧和先前帧的平均绝对差是22。不失一般性，假定平均差超过13并小于25的像素属于运动类2，则运动类(MC)可设置成MC＝2。类似地，在情形2中，使用7对未受损像素计算当前帧和先前帧的平均绝对差得到20。结果又一次落入运动类2。
2：确定可行的空间类
某些技术中，第一遍先估算类抽头中的受损像素，然后把这个估算值用于分类步骤中，保留在第一遍估算中的错误可能导致分类错误，与这些技术相比，本发明创建了可行空间类的列表。假定空间类如下定义。使用在感兴趣的像素周围构成加号的五个像素来取平均值。
例如，在情形1，使用：
       112
159    110    N/A
       68
并计算平均值为112.25。任何比平均值大的像素值被赋值为1，否则为0，扫描这些二进制数以便构成一个数字。在这种情况下，将上面的值与112.25比较，结果为：
     0
1    0    N/A
     0
当扫描后(从左到右，从上到下)，这构成了数字010x0，其中x表示该值本身是未知的(即N/A)。建立与错误相一致的所有可能的空间类的列表，而不是强行分配给唯一的空间类。这样，可以看到该类本身是01000(＝8)或01010(＝10)，取决于x是0还是1。
类似地，在情形2中，计算的均值为113，应用阈值得到
    0
1   N/A    N/A
    0
构成二进制数01xx0。这样，空间类可以是01000(＝8)、01010(＝10)、01100(＝12)或者01110(＝14)。因为有两个丢失的位，所以有4种可能的类。
3：确定可行的类
结合上述1：和2：的结果，确定所有可能的类。例如，全体类可被定义为：
ClassID＝4×SC+MC
例如，如果MC是2，SC是8或10其中之一，如情形1，则类ID是4*8+2＝34或4*10+2＝42其中之一。类似地，在情形2，可能的类ID是34、42、50或58。
4：从可行类中合并矩阵
现在考虑怎样通过应用公式(6)和(7)来合并来自所有可行类的信息。
假定提前准备了以下训练矩阵并存储在ROM中。
类ID＝34，根据48000个样本训练的。
R ( 34 ) = 1.0000 0.9973 0.9932 0.9925 0.9907 0.9882 0.9876 0.9863 0.9846 0.9973 1.0000 0.9973 0.9914 0.9925 0.9907 0.9874 0.9876 0.9863 0.9932 0.9973 1.0000 0.9893 0.9914 0.9925 0.9866 0.9874 0.9876 0.9925 0 . 9914 0.9893 1.0000 0.9973 0.9932 0.9925 0.9907 0.9882 0.9907 0.9925 0.9914 0.9973 1.0000 0.9973 0.9914 0.9925 0.9907 0.9882 0.9907 0.9925 0.9932 0.9973 1.0000 0.9893 0.9914 0.9925 0.9876 0.9874 0.9866 0.9925 0.9914 0.9893 1.0000 0.9973 0.9932 0.9863 0.9876 0.9874 0.9907 0.9925 0.9914 0.9973 1.0000 0.9973 0.9846 0.9863 0.9876 0.9882 0.9907 0.9925 0.9932 0.9973 1.0000
y ( 34 ) = 0.9907 0.9925 0.9914 0.9973 1.0000 0.9973 0.9914 0.9925 0.9907
类ID＝42，根据24000个样本训练的。
R ( 42 ) = 1.0000 0.9984 0.9963 0.9980 0.9966 0.9947 0.9939 0.9926 0.9910 0.9984 1.0000 0.9984 0.9965 0.9980 0.9966 0.9925 0.9939 0.9926 0.9963 0.9984 1.0000 0.9945 0.9965 0.9980 0.9908 0.9925 0.9939 0.9980 0.9965 0.9945 1.0000 0.9984 0.9963 0.9980 0.9966 0.9947 0.9966 0.9980 0.9965 0.9984 1.0000 0.9984 0.9965 0.9980 0.9966 0.9947 0.9966 0.9980 0.9963 0.9984 1.0000 0.9945 0.9965 0.9980 0.9939 0.9925 0.9908 0.9980 0.9965 0.9945 1.0000 0.9984 0.9963 0.9926 0.9939 0.9925 0.9966 0.9980 0.9965 0.9984 1.0000 0.9984 0.9910 0.9926 0.9939 0.9947 0.9966 0.9980 0.9963 0.9984 1.0000
y ( 42 ) = 0.9966 0.9980 0.9965 0.9984 1.0000 0.9984 0.9965 0.9980 0.9966
类ID＝50，根据38400个样本训练的。
R ( 50 ) = 1.0000 0.9988 0.9972 0.9983 0.9972 0.9957 0.9949 0.9939 0.9927 0.9988 1.0000 0.9988 0.9974 0.9983 0.9972 0.9941 0.9949 0.9939 0.9972 0.9988 1.0000 0.9960 0.9974 0.9983 0.9930 0.9941 0.9949 0.9983 0.9974 0.9960 1.0000 0.9988 0.9972 0.9983 0.9972 0.9957 0.9972 0.9983 0.9974 0.9988 1.0000 0.9988 0.9974 0.9983 0.9972 0.9957 0.9972 0.9983 0.9972 0.9988 1.0000 0.9960 0.9974 0.9983 0.9949 0.9941 0.9930 0.9983 0.9974 0.9960 1.0000 0.9988 0.9972 0.9939 0.9949 0.9941 0.9972 0.9983 0.9974 0.9988 1.0000 0.9988 0.9927 0.9939 0.9949 0.9957 0.9972 0.9983 0.9972 0.9988 1.0000
y ( 50 ) = 0.9972 0.9983 0.9974 0.9988 1.0000 0.9988 0.9974 0.9983 0.9972
类ID＝58，根据58560个样本训练的。
R ( 58 ) = 1.0000 0.9950 0.9879 0.9908 0.9874 0.9825 0.9847 0.9820 0.9784 0.9950 1.0000 0.9950 0.9871 0.9908 0.9874 0.9816 0.9847 0.9820 0.9879 0.9950 1.0000 0.9820 0.9871 0.9908 0.9777 0.9816 0.9847 0.9908 0.9871 0.9820 1.0000 0.9950 0.9879 0.9908 0.9874 0.9825 0.9874 0.9908 0.9871 0.9950 1.0000 0.9950 0.9871 0.9908 0.9874 0.9825 0.9874 0.9908 0.9879 0.9950 1.0000 0.9820 0.9871 0.9908 0.9847 0.9816 0.9777 0.9908 0.9871 0.9820 1.0000 0.9950 0.9879 0.9820 0.9847 0.9816 0.9874 0.9908 0.9871 0.9950 1.0000 0.9950 0.9784 0.9820 0.9847 0.9825 0.9874 0.9908 0.9879 0.9950 1.0000
y ( 58 ) = 0.9874 0.9908 0.9871 0.9950 1.0000 0.9950 0.9871 0.9908 0.9874
继续这些实例，考虑如果未知位没有用来定义分类，训练结果将是怎样的。在该情况下，类34和42将合成一个类。根据公式(6)和(7)，简单地通过把加权后的训练矩阵相加来构成用于此合并类的训练矩阵是可能的，并使用合并数据推导出最小平方最佳滤波器。
在情形1，构成
R＝(2/3)R(34)+(1/3)R(42)
和
y＝(2/3)y(34)+(1/3)y(42)
在情形2，构成
R＝0.28409R(34)+0.14205R(42)+0.22727R(50)+0.34659R(58)
和
y＝0.28409y(34)+0.14205y(42)+0.22727y(50)+0.34659y(58)
5：为滤波器估算提取子矩阵
在情形1，第二行第三列的像素是不可用的。因为这对应于位置编号6，我们从R中移走第6行和第6列，从y中移走第6行。在情形2，第二行第二、三列的像素是不可用的。因为这些对应于位置5和6，我们从R中移走第5和6行、第5和6列，从y中移走第5和6行。
6：根据训练构成LS最佳滤波器
一旦可得到仅对应于未受损数据点的简化训练矩阵，可以通过求出方程(2)的最小范数解来构成最小平方最佳滤波器。
在情形1，求解8乘8系统以获得滤波器
-0.0478660    0.0588177    -0.0180069
0.0695816     0.9194729    N/A
-0.0282933    0.0513595    -0.0038462
在情形2，求解7乘7系统以获得滤波器
-0.3732434    0.4361604    0.0082201
0.8240423     N/A          N/A
-0.3457898    0.4553740    -0.0032269
7：应用滤波器来估算数据
然后应用该滤波器来形成丢失像素的估算值，该过程继续到下一个受损像素。在情形1，获得112.25的估算值。在情形2，获得128.69的估算值。注意，在情形1--改进状况--中心抽头具有很大的值，意味着现有的值是最关键的值。这禁止现有值的大变化。
图4示出用于处理视频的可能算法流程400。在视频情况下，运动、空间和滤波器抽头被定义成三维。例如，图3所示的抽头可能被应用到当前和先前帧，构成一个三维滤波器。
在框402的一个例示中(确定可行的运动类)，确定可能包括计算绝对像素差的平均值(或0，如果没有像素可用)。在这种情况下，始终确切地有一个可行的运动类。
在402确定可行的运动类。在404确定可行的空间类。在406根据可行的运动类402和可行的空间类404来确定可行的类。接下来，合并(408)来自可行类的训练数据(在406确定的)。接下来，在410为滤波器估算提取一个子矩阵。在412构成滤波器并且在414应用滤波器。
图5示出用于处理静止图像的可能算法流程500。在这种情况下，没有运动类确定，滤波器仅以两维来定义。
在502确定可行的空间类。接下来在504，合并来自(在502确定的)可行类的训练数据。在506为滤波器估算提取一个子矩阵。在508构成滤波器并且在510应用滤波器。
用有限的资源实现
给定计算能力的大小，通常将使用尽可能多的抽头。为了实现这个，一个实施例可以首先定义可能抽头位置的大域(例如，如图3所示)，然后选择这些中的一个子集来使用。
假定有足够的计算能力可以使用K抽头估算滤波器来估算丢失的像素数据。接下来，从所有可得到的数据中选择最重要的K个抽头。为了达到这一目的，按照图3所示的顺序检查用于滤波器抽头的未受损数据的可用性。一旦选择了K个抽头，提取R的相应行和列，以及y的行(如上述“5：为滤波器估算提取子矩阵”阐明的)以构成简化的系统。
以并行存储器实现
在此过程中的大量计算和每个像素恢复的独立性表明，使用简单分治策略能有效利用大量并行的实现。例如，在一个实施例中，可以建立一个智能存储器，其中每个单元能根据上述策略识别它可能的类ID。处理可通过广播来自共享ROM中的参考R和y数据开始。每个单元可保存对应于它自己兴趣的数据。每个单元可独立地解出它自己的最佳滤波器并应用滤波器来修理受损数据。然后可移出正确数据，并可移入下一个受损图像部分。
因此，所描述的是一种用于高错误率条件下自适应像素估算的方法和装置。
图1说明一个网络环境100，其中可应用所述技术。如图所示，形式为S服务器104-1到104-S、C客户机108-1到108-C的几个计算机系统通过网络102彼此连接，网络102可能是例如基于家庭的网络。注意，作为选择，网络102也可能是或者包括因特网、局域网(LAN)、广域网(WAN)、卫星链接、光纤网、电缆网中的一个或多个，或者是这些网络的组合和/或其他网络。服务器可代表例如单独的盘存储系统或者存储和计算资源。同样地，客户机可具有计算、存储和观察能力。这里描述的方法和装置可被应用于基本上任何类型的通信工具或装置，无论是本地的还是远程的，诸如LAN、WAN、系统总线等。
图2以框图形式说明一种计算机系统200，它可以代表图1所示的客户机和服务器中的任一个。框图是一种高级概念表示，可通过各种方式和各种体系结构来实现。总线系统202将中央处理器(CPU)204、只读存储器(ROM)206、随机存取存储器(RAM)208、存储装置210、显示器220、音频222、键盘224、指示器226、各种各样的输入/输出(I/O)装置228和通信230相互连接。总线系统202可以是例如一个或多个这样的总线，诸如系统总线、外围部件互连(PCI)、高级图形端口(AGP)、小型计算机系统接口(SCSI)、电气和电子工程师协会(IEEE)标准号1394(火线)、通用串行总线(USB)等。CPU204可以是单个的、多个的、或甚至分布式计算资源。存储装置210可以是小型盘(CD)、数字通用盘(DVD)、硬盘(HD)、光盘、磁带、闪存、记忆棒、录像机等。显示器220可以是例如阴极射线管(CRT)、液晶显示器(LCD)、投影系统、电视(TV)等。注意，根据计算机系统的实际实现，计算机系统可包括框图中的组件中的一些、全部、更多或重新布置。例如，薄客户机可能由没有例如传统键盘的无线手持装置组成。因此，图2的系统的许多变更都是可能的。
为了论述和理解本发明，应当理解，本领域技术人员使用各种术语来描述技术和方法。此外，在描述中，为了说明，提出了许多特定细节以便提供本发明的完整理解。然而，对本领域的技术人员来说，显然没有这些特定细节也可实施本发明。在一些例子中，为了避免使本发明不清楚，公知的结构和装置以框图形式示出而不是详细示出。足够详细地描述这些实施例以使本领域的技术人员能够实施本发明，要理解，可利用其他实施例，且可以进行逻辑的、机械的、电子的和其他变化而没有脱离本发明的范围。
描述的某些部分可以用算法和对例如计算机内存中数据位的操作的符号表示的形式来提供。这些算法描述和表示是数据处理领域的那些技术人员用来最有效地将他们工作的实质内容传递给本领域的其他技术人员的工具。这里，算法通常被构思成一个能导致预期结果的自给的动作序列。这些动作是那些要求对物理量进行物理处理的动作。通常，尽管不是必需的，这些量采取能够被存储、传递、组合、比较和其他处理的电或磁信号的形式。主要为了通用的原因，称这些信号为位、值、元素、符号、特征、术语、数字等已证实有时是很方便的。
然而，应当记住，所有这些量和类似的术语是与适当的物理量有关的，并只是应用于这些量的便利标志。除非特别声明，否则在论述中显然要理解，在整个描述中，使用如“处理”或“计算”或“运算”或“确定”或“显示”等术语的论述可以指计算机系统或类似电子计算装置的动作或处理，它们把计算机系统的寄存器和存储器内表示成物理(电子)量的数据处理和转换成计算机系统存储器或寄存器或其它这类信息存储、传输或显示装置内同样表示成物理量的其它数据。
本发明可由用于实现这里操作的装置来实现。该装置可以是为了所需目的而特别构建的，或者它可包含由存储在计算机中的计算机程序有选择地激活或重新配置的通用计算机。这样的计算机程序可存储在计算机可读存储媒体上，例如但不限于任何类型的盘，包括软盘、硬盘、光盘、小型盘-只读存储器(CD-ROM)和磁光盘、只读存储器(ROM)、随机存取存储器(RAM)、电子可编程只读存储器(EPROM)、电子可擦可编程只读存储器(EEPROM)、闪速存储器、磁或光卡等、或者适合于存储电子指令、位于计算机本地或远离计算机的任何类型的媒体。
这里提出的算法和显示不是固有地与任何特定计算机或其他装置相关。可使用各种通用系统和按照这里理论的程序，或可以证实构建更专门化的装置来实现所需方法是方便的。例如，根据本发明的任何方法可以通过对通用处理器编程或通过软硬件结合在硬连线电路中实现。本领域的技术人员可立即理解本发明可由除了那些描述以外的计算机系统配置来实施，包括手持装置、多处理器系统、基于微处理器的或可编程的用户电子装置、数字信号处理(DSP)装置、机顶盒、网络PC、小型计算机、大型计算机等。本发明还可在分布式计算环境中实施，其中任务由通过通信网络链接的远程处理装置来实现。
本发明的方法可用计算机软件来实现。如果用符合公认标准的编程语言来写，那么被设计用来实现方法的指令序列可被编译成能在各种硬件平台上执行并与各种操作系统接口。此外，本发明未参照任何特定编程语言来描述。应理解，可用各种编程语言来实现这里所描述的本发明的理论。此外，在本领域中以一种形式或另一种形式提到软件(如程序、过程、应用、驱动器)，常常是说成执行某个动作或导致某个结果。这种表述只是一种说计算机执行软件导致计算机处理器执行动作或产生结果的简单说法。
要理解，本领域技术人员用各种术语和技术来描述通信、协议、应用、实现和机制等。一种这样的技术是以算法或数学表达式的形式描述技术实现。也就是说，虽然技术可例如被实现成计算机上的执行代码，但是技术的表述可以作为公式、算法或数学表达式来更适当和简明地传达和沟通。这样，本领域的技术人员将认识到，把A+B＝C标成加法函数的框，它的硬件和/或软件实现将采取两个输入(A和B)并产生一个和输出(C)。这样，如所描述的，公式、算法或数学表达式的使用要被理解成具有在至少硬件和/或软件中的物理实施例(诸如计算机系统，其中本发明的技术可被作为一个实施例来实施和实现)。
机器可读媒体被理解成包括任何用于以机器(如计算机)可读形式存储或传送信息的机构。例如，机器可读媒体包括只读存储器(ROM)；随机存取存储器(RAM)；磁盘存储介质；光存储介质；闪存装置；电的、光的、声的或其他形式的传播信号(例如载波，红外信号，数字信号等)；等等。
术语“可行的”类和“可能的”类以被认为是可互换的方式使用。例如，确定可行的类可通过确定可能的类来实现。这样，可能的类可被视为可行的类。
因而，描述了用于高错误率条件下自适应像素估算的方法和装置。

Claims (21)

1.一种用于像素估算的方法，包括：
确定可能的运动类；
确定可能的空间类；
确定可能的整体类；
合并所述可能的整体类；
为滤波器估算提取信息；
构造最佳滤波器；以及
应用所述最佳滤波器。
2.如权利要求1所述的方法，其特征在于，确定所述可能的运动类包括为静止图像确定零运动类。
3.如权利要求1所述的方法，其特征在于，确定所述可能的空间类还包括：
从所述被估算的像素附近的选定像素中导出阈值；以及
根据给定的已知像素与所述阈值的关系赋予二进制值，或者为给定的未知像素值赋予两个二进制值。
4.如权利要求1所述的方法，其特征在于，确定所述可能的整体类是使用所述可能的运动类和所述可能的空间类得到的。
5.如权利要求1所述的方法，其特征在于，合并所述可能的整体类还包括合并来自所述可能的整体类的矩阵。
6.如权利要求1所述的方法，其特征在于，合并所述可能的整体类还包括合并来自所述可能的整体类的训练数据。
7.如权利要求1所述的方法，其特征在于，为所述滤波器估算提取信息还包括为所述滤波器估算提取子矩阵。
8.如权利要求7所述的方法，其特征在于，为所述滤波器估算提取所述子矩阵还包括：
确定可能的抽头位置的大域；以及
选择所述可能的抽头位置的子集。
9.如权利要求8所述的方法，其特征在于，所述选择所述可能的抽头位置的子集还包括根据从由用于给定的K个抽头位置的可用计算能力和用于给定的抽头位置的未受损数据组成的组中选出的标准进行选择。
10.如权利要求1所述的方法，其特征在于，构造所述最佳滤波器还包括构造最小平方最佳滤波器。
11.如权利要求10所述的方法，其特征在于，所述最小平方最佳滤波器是基于训练的。
12.一种其中存储了指令的机器可读媒体，这些指令被执行时，实现权利要求1的方法。
13.一种包括与存储器耦合的处理器的处理系统，所述系统当执行一组指令时，实现权利要求1的方法。
14.一种用于像素估算的装置，包括：
用于确定可能的运动类的部件；
用于确定可能的空间类的部件；
用于确定可能的整体类的部件；
用于合并所述可能的整体类的部件；
用于为滤波器估算提取信息的部件；
用于构造最佳滤波器的部件；以及
用于应用所述最佳滤波器的部件。
15.一种机器可读媒体，其中存储了表示权利要求14的装置的信息。
16.一种用于像素估算的装置，包括：
输入和输出，所述输入被耦合成接收像素信息；
具有输入和输出的存储器，所述输入被耦合成接收并存储矩阵信息；以及
多个互连的具有输入和输出的单元，所述单元输入被耦合成接收所述矩阵信息和所述像素信息，并且所述互连单元输出耦合到所述输出。
17.如权利要求16所述的装置，其特征在于，所述矩阵信息是从所述像素信息导出的。
18.如权利要求16所述的装置，其特征在于，所述多个互连单元中的每一个还包括与本地算术单元耦合的本地存储器。
19.一种机器可读媒体，其中存储了表示权利要求16的装置的信息。
20.一种用于实时像素恢复和增强的方法，所述方法包括：
实时地接收多个像素；以及
对于每个要恢复和增强的像素，实时地构造定制滤波器。
21.如权利要求21所述的方法，其特征在于，用于每个要恢复和增强的像素的所述定制滤波器是最小平方滤波器。
CN200380101718XA 2002-10-23 2003-10-22 用于高错误率条件下自适应像素估算的方法和装置 Expired - Fee Related CN1771739B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10/279,354 2002-10-23
US10/279,354 US6898328B2 (en) 2002-10-23 2002-10-23 Method and apparatus for adaptive pixel estimation under high error rate conditions
PCT/US2003/033815 WO2004038642A2 (en) 2002-10-23 2003-10-22 Method and apparatus for adaptive pixel estimation

Publications (2)

Publication Number Publication Date
CN1771739A true CN1771739A (zh) 2006-05-10
CN1771739B CN1771739B (zh) 2011-12-28

Family

ID=32106686

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200380101718XA Expired - Fee Related CN1771739B (zh) 2002-10-23 2003-10-22 用于高错误率条件下自适应像素估算的方法和装置

Country Status (6)

Country Link
US (1) US6898328B2 (zh)
EP (1) EP1573642A4 (zh)
JP (1) JP2006512799A (zh)
CN (1) CN1771739B (zh)
AU (1) AU2003284913A1 (zh)
WO (1) WO2004038642A2 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7129988B2 (en) * 2002-02-25 2006-10-31 Chrontel, Inc. Adaptive median filters for de-interlacing
US8503530B2 (en) * 2004-05-27 2013-08-06 Zhourong Miao Temporal classified filtering for video compression
US7894527B2 (en) * 2005-09-16 2011-02-22 Sony Corporation Multi-stage linked process for adaptive motion vector sampling in video compression
US7865035B2 (en) * 2005-10-06 2011-01-04 Samsung Electronics Co., Ltd. Video quality adaptive coding artifact reduction
KR102649600B1 (ko) * 2020-01-17 2024-03-22 삼성디스플레이 주식회사 클럭 생성기 및 이를 포함하는 표시 장치

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5631979A (en) * 1992-10-26 1997-05-20 Eastman Kodak Company Pixel value estimation technique using non-linear prediction
US6002801A (en) * 1995-04-18 1999-12-14 Advanced Micro Devices, Inc. Method and apparatus for improved video decompression by selection of IDCT method based on image characteristics
US6075538A (en) * 1996-07-25 2000-06-13 Institute Of High Performance Computing Time and space efficient data structure and method and apparatus for using the same for surface rendering
US5936676A (en) * 1997-08-21 1999-08-10 Miranda Technologies Inc. Apparatus and method for line interpolating an interlaced video signal
US6091767A (en) * 1997-02-03 2000-07-18 Westerman; Larry Alan System for improving efficiency of video encoders
US6115420A (en) * 1997-03-14 2000-09-05 Microsoft Corporation Digital video signal encoder and encoding method
US5970174A (en) * 1997-06-19 1999-10-19 Electronics For Imaging Method and apparatus for data compression and gray value estimation
JP3925588B2 (ja) * 1997-11-25 2007-06-06 セイコーエプソン株式会社 画像処理装置、画像処理方法および画像処理制御プログラムを記録した媒体
US6192079B1 (en) * 1998-05-07 2001-02-20 Intel Corporation Method and apparatus for increasing video frame rate
US6535643B1 (en) * 1998-11-03 2003-03-18 Lg Electronics Inc. Method for recovering compressed motion picture for eliminating blocking artifacts and ring effects and apparatus therefor
US6192161B1 (en) * 1999-02-12 2001-02-20 Sony Corporation Method and apparatus for adaptive filter tap selection according to a class
US6522785B1 (en) 1999-09-24 2003-02-18 Sony Corporation Classified adaptive error recovery method and apparatus
US6351494B1 (en) * 1999-09-24 2002-02-26 Sony Corporation Classified adaptive error recovery method and apparatus
US6754371B1 (en) 1999-12-07 2004-06-22 Sony Corporation Method and apparatus for past and future motion classification
US6681054B1 (en) * 2000-05-01 2004-01-20 Eastman Kodak Company Noise reduction method utilizing probabilistic weighting, apparatus, and program for digital image processing
US6661842B1 (en) * 2000-09-22 2003-12-09 General Dynamics Decision Systems, Inc. Methods and apparatus for error-resilient video coding

Also Published As

Publication number Publication date
US20040081365A1 (en) 2004-04-29
CN1771739B (zh) 2011-12-28
US6898328B2 (en) 2005-05-24
AU2003284913A1 (en) 2004-05-13
EP1573642A2 (en) 2005-09-14
WO2004038642A3 (en) 2005-12-01
WO2004038642A2 (en) 2004-05-06
EP1573642A4 (en) 2009-05-27
AU2003284913A8 (en) 2004-05-13
JP2006512799A (ja) 2006-04-13

Similar Documents

Publication Publication Date Title
Kim et al. A real-time convolutional neural network for super-resolution on FPGA with applications to 4K UHD 60 fps video services
CN110637460B (zh) 利用深层神经网络的视觉质量保持量化参数预测
EP2735158B1 (en) Adaptive interpolation for spatially scalable video coding
CN100351868C (zh) 利用多帧图像的静止图像的生成
CN1232122C (zh) 用于编码和/或解码运动图像的方法和装置
Zhan et al. Achieving on-mobile real-time super-resolution with neural architecture and pruning search
US8270772B2 (en) Image resizing for web-based image search
EP2916543A1 (en) Method for coding/decoding depth image and coding/decoding device
CN1713730A (zh) 估计图像噪声的方法和设备和消除噪声的方法和记录介质
US20210185320A1 (en) Processing signal data using an upsampling adjuster
CN1697328A (zh) 快速视频编解码变换实现
US11856210B2 (en) Apparatuses, methods, computer programs and computer-readable media
JP6065613B2 (ja) 動画像符号化装置
CN1543221A (zh) 1/4像素精度插值的方法和装置
CN1771739A (zh) 用于高错误率条件下自适应像素估算的方法和装置
CN1808181A (zh) 基于贝叶斯线性估计的遥感图像融合方法
US20070047830A1 (en) Image processing apparatus, image processing method, and program
CN112637604A (zh) 低时延视频压缩方法及装置
CN1620143A (zh) 使用基于非线性近似的估计对奇异系数的带间和带内预测
Behnad et al. Image interpolation with hidden Markov model
CN111553961B (zh) 线稿对应色图的获取方法和装置、存储介质和电子装置
CN1236456A (zh) 数字信号变换方法和装置、变换矩阵产生方法和装置及提供介质
JP2016115313A (ja) 超解像装置およびプログラム
WO2023169501A1 (en) Method, apparatus, and medium for visual data processing
WO2023155848A1 (en) Method, apparatus, and medium for data processing

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20111228

Termination date: 20151022

EXPY Termination of patent right or utility model