CN1666229A - 信号处理方法和设备、计算机程序产品、计算系统和摄影机 - Google Patents
信号处理方法和设备、计算机程序产品、计算系统和摄影机 Download PDFInfo
- Publication number
- CN1666229A CN1666229A CN038158973A CN03815897A CN1666229A CN 1666229 A CN1666229 A CN 1666229A CN 038158973 A CN038158973 A CN 038158973A CN 03815897 A CN03815897 A CN 03815897A CN 1666229 A CN1666229 A CN 1666229A
- Authority
- CN
- China
- Prior art keywords
- pixel
- filter
- green
- color
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000012545 processing Methods 0.000 title claims description 22
- 238000004590 computer program Methods 0.000 title claims description 7
- 230000003287 optical effect Effects 0.000 claims abstract description 42
- 239000011159 matrix material Substances 0.000 claims abstract description 29
- 238000001914 filtration Methods 0.000 claims description 27
- 238000003672 processing method Methods 0.000 claims description 5
- 230000008676 import Effects 0.000 claims description 2
- 239000004065 semiconductor Substances 0.000 claims description 2
- 238000012546 transfer Methods 0.000 abstract description 2
- 230000006835 compression Effects 0.000 description 25
- 238000007906 compression Methods 0.000 description 25
- 230000005540 biological transmission Effects 0.000 description 23
- 230000006870 function Effects 0.000 description 14
- 230000005055 memory storage Effects 0.000 description 11
- 230000008878 coupling Effects 0.000 description 10
- 238000010168 coupling process Methods 0.000 description 10
- 238000005859 coupling reaction Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 238000013461 design Methods 0.000 description 8
- 238000003860 storage Methods 0.000 description 8
- 230000008901 benefit Effects 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000007688 edging Methods 0.000 description 6
- 230000008034 disappearance Effects 0.000 description 5
- 230000004907 flux Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 108010023321 Factor VII Proteins 0.000 description 2
- 108010074864 Factor XI Proteins 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000004040 coloring Methods 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 229920006395 saturated elastomer Polymers 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/841—Camera processing pipelines; Components thereof for processing colour signals to modify gamut
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
- Hardware Redundancy (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
提出一种基于白补偿的亮度重构并使用被称作smartgreen参数的滤波器权重的重构方法。即使在摄影机没有光学低通滤波器的情况下，在样本频率的各倍数下也能实现无混叠的亮度信号。此外，这个经白补偿的亮度信号还没有信号失真。所提出的方法允许增加或者组合一个适当的低通滤波器，并且特别适于实现各种无混叠的颜色和轮廓滤波器。利用可作为传感器矩阵的重量以及摄影机的光学传输的函数而被选择的滤波器权重来重构RGB颜色信号。
Description
本发明涉及信号处理方法，其中，提供图像传感器的传感器信号作为输入，并且该输入在一个滤波器中被重构，以建立一个用于进一步处理的输出，其中，所述滤波器包含至少一个从由亮度重构滤波器、红-绿-蓝颜色重构滤波器和轮廓重构滤波器组成的组中选择的重构滤波器，其中，该输入包含多个像素，并且一个像素提供被赋予红色、绿色或蓝色中至少之一的一个颜色值。本发明也涉及一种特别适合于执行所述方法的信号处理设备，包含一个用于提供传感器信号作为输入的图像传感器和一个用于重构该输入以建立用于进一步处理的输出的滤波器，其中，所述滤波器包含至少一个从由亮度重构滤波器、红-绿-蓝颜色重构滤波器、轮廓重构滤波器组成的组中选择的重构滤波器，其中，该输入包含多个像素，并且一个像素提供被赋予红色、绿色或蓝色中至少之一的一个颜色值。本发明进一步涉及适于信号处理的计算机程序产品、计算系统和摄影机。
背景技术
基于例如对视频和静止图像的数字信号图像传感的数字摄影机可有利地配备一个包含一个红-绿-蓝(RGB)拜尔(Bayer)颜色滤波器阵列的图像传感器。在这样一个RGB拜尔颜色滤波器阵列中，每个像素检测一个预先确定的图案(pattern)中的红、绿或蓝原色(primarycolor)。这个图案是由交错的绿/红列和绿/蓝列构成的。这样一个传感器与对于每个原色使用一个单独的图像传感器的摄影机相比，可能具有有限的分辨率。然而，一个带有三个图像传感器的摄影机具有三倍于单一的RGB拜尔传感器的对分辨率有贡献的像素。由于应用的成本和大小要求，使用三个传感器对多数应用来说是不利的。另一方面，当使用一个单一的图像传感器检测一个单一的阵列内的(有利地是RGB拜尔颜色滤波器阵列中的)所有红、绿、蓝三原色时，有必要重构某些颜色的缺失的(missing)像素，以处理一个一致的完整画面。由于RGB拜尔结构，分别对应于绿、红和蓝色的不同的奈奎斯特域(Nyquist-domains)导致依赖颜色的分辨率并且可能导致混叠的(aliasing)图案。不过，RGB拜尔结构是表现最佳的信号颜色阵列之一。
可以提供几种插值(interpolation)方案来提高信号质量。W099/39504中相当概括地描述了一种常规的插值方法，其中，在不存在给定颜色的信号的位置处插值一个中间颜色信号，并生成一个给定颜色的平均。
另一个信号处理方法使用一个如在WO99/04555中和在尚未公布的申请号为EP 01 200 422.2的欧洲专利申请中描述的更有利的插值方案。然而，这样的方法仍然遭受例如自由亮度信号的混叠或进一步的信号失真(distortion)。这样的信号失真尤其导致虚假颜色(false colors)在图像中的错误生成。
在WO 99/04555中已经描述了一种用于RGB拜尔图像传感器的绿色重构方法，该方法只涉及绿颜色的重构。红色和蓝色依然被以传统方式重构。仅仅是缺失的绿色像素被重构。对缺失的绿色像素的重构，是通过一个分类(sorting)三个特定变量的中值(median)滤波器执行的：其中两个变量得自绿色，第三个变量得自红色或蓝色。这个方法的一个缺点是，对于高度饱和的彩色边缘来说，引入了看起来像邮票边沿的假象(artifacts)。在WO99/04555中公开的算法将被称作smartgreen1算法。该算法所根据的概念是，在靠近白色场景的部分，分辨率损失在高频下被最好地观察到，在靠近彩色部分则不太好观察。记住这一点，红色和蓝色像素的贡献被用来帮助确定缺失的绿色像素的重构值。Smartgreen1重构的目的，是最大化绿色的分辨率。为此，以下述方式应用中值滤波器算法：自然地，由一个红色(R)或蓝色(B)像素占据的位置，是一个缺失的绿色像素的位置。在smartgreen1重构算法中，一个3×3像素阵列的中心值(也称中值(median value))被应用于缺失的绿色像素的重构。因此，用于绿色的简单的中值滤波器仅仅代替传统的绿色重构插值概念，而传统的红色和蓝色重构方法被保持为简单的插值。亮度滤波、颜色滤波和轮廓(contour)滤波也被限于对绿色的滤波。此外，虚假颜色检测仅仅根据传统的绿色重构插值概念，同样，传统的红色和蓝色重构方法被保持为简单的插值。
这样的smartgreen1重构方法借助一个红色和/或蓝色像素的信息改善水平方向和垂直方向上的绿色的分辨率。这个传统的方法依赖于插值颜色样本，所述颜色样本要依赖于相同颜色的相邻的颜色样本和仅仅来自相同位置的不同颜色的样本被插值。因此，重构的信号遭受红和/或蓝色的混叠。垂直和水平的彩色边缘在相应的方向上遭受像邮票的边沿一样的绿色强度调制。
在EP 01200422.2中概述的进一步的改进(这里称作smartgreen2重构算法)能显著改善分辨率，但是不能除去所提到的信号失真和信号混叠的缺点。特别地，在边缘和高频率下，仍然可见一些信号失真，诸如与邻近像素交替的颜色。假象的黑点和白点也被错误地生成。
这是本发明的切入点，本发明的目的是规定一种信号处理方法和设备，用于信号处理的计算机程序产品、计算系统和适于进行信号处理以改善信号质量的摄影机。特别地，应当针对信号失真和混叠而改善信号，但是该信号仍然提供足够的分辨率。
关于所述方法，其目的是通过在介绍部分提及的方法实现的，其中，按照本发明，该方法进一步包含以下步骤：
—把重构滤波器应用于一个具有预定阵列大小的、包含多个像素的像素阵列，其中，所述多个像素中的至少一个是由一个被赋予红色的红色像素构成的，所述多个像素中的至少一个是由一个被赋予蓝色的蓝色像素构成的，所述多个像素中的至少一个是由一个被赋予绿色的绿色像素构成的；以及
—用一个绿色参数加权红色和/或蓝色像素；以及
—把阵列的像素总合成一个输出像素；以及
—把输出-像素在阵列中居中；以及
关于所述设备，其目的是通过在介绍部分提及的设备实现的，其中，按照本发明，提出
—重构滤波器适于被应用于一个具有预定阵列大小的、包含多个像素的像素阵列，其中，所述多个像素中的至少一个是由一个被赋予红色的红色像素构成的，所述多个像素中的至少一个是由一个被赋予蓝色的蓝色像素构成的，所述多个像素中的至少一个是由一个被赋予绿色的绿色像素构成的，该设备进一步包含：
—用于用一个绿色参数加权红色和/或蓝色像素的装置；
—用于把阵列的像素总合成一个输出像素的装置；以及
—用于把输出像素在阵列中居中的装置。
术语像素在这里特别是指信号中的一个颜色样本值。
本发明来自为图像重构提供灵活的设计的概念、并且基于白补偿的亮度重构的构思。该构思基本上是通过用一个绿色参数加权红色和/或蓝色像素来实现的，而现有技术的概念仅仅依赖于缺失的绿色像素的重构。所提出的重构滤波器被设计成要被应用于一个预定阵列大小的像素阵列。因此以有利的方式对这个阵列进行滤波。传统的方法依赖于根据相邻样本或相同位置的样本的简单插值，而所提出的概念提供特别适配的考虑了阵列的所有像素的重构滤波器。即使在没有光学低通滤波器的摄影机的情况下，在样本频率的各倍数下，所提出的白补偿的概念也有益地导致无混叠的亮度信号。此外，这个往白补偿的亮度信号没有信号失真。所提出的基本方法和设备适于提供一个宽而灵活的扩展。有可能提供例如可根据光学系统的光学传输和/或图像传感器的传感器矩阵而被选择和调整的若干不同的重构滤波器。所提出的方法和设备能够保持与光学低通滤波器的相当的独立性。这是特别有益的，因为潜在客户的摄影机设计可能不同。所提出的方法和设备能够如下文所概述的那样以各种方式简单地实现可调整的虚假颜色滤波器。
在从属方法权利要求中描述了所述方法的继续开发的配置。所提出的设备可以利用用于执行该方法的对应装置得到改善。
特别地，优选地将第一滤波器之后的第二滤波器的中央输出像素定位成与输出像素同相，特别是将该中央输出像素居中在与输出像素相同的阵列中央位置。这最好通过一个附加的后置滤波器进行，特别是通过一个如下文进一步描述的后置滤波器进行。
在一个优选配置中，重构滤波器是由一个亮度重构滤波器构成的，阵列的像素一起被相加在一个作为输出像素的白像素中。最优选的是根据图像传感器的传感器矩阵选择所述绿色参数或多个绿色参数。最优选的是提供两个绿色参数。此外，可以根据一个向图像传感器提供图像信号的光学系统的光学传输选择所述绿色参数或多个绿色参数。由此，用可以作为摄影机的光学传输的函数而被选择的滤波器权重与传感器阵列的重量相组合地有益地重构RGB颜色信号。由此实现特定于应用和图像的质量改善。
如上利用一个或多个优选配置所描述的亮度重构的基本概念，在下文中被称作RGB拜尔图像传感器的″白补偿的亮度重构″，或简称″RGB重构″。绿色参数也被称作″smartgreen参数″。如所提出的方法及其进一步开发的配置所定义的那样还与红色和/或蓝色像素一起使用smartgreen参数，将被称作″smartgreen3″重构方法。确定绿色参数的具体方式也在WO 99/04555和EP 01200422.2中描述，并且也可在smartgreen3内被应用和使用。
所提出的方法对滤波器和滤波器大小的特定种类的安排导致无混叠的信号，特别是也导致无绿-绿差异(green-green differences)的信号。在详细说明的第2和第3章中将结合优选实施例并参照附图对细节作进一步概述。具体来说，将一个亮度重构滤波器应用于一个具有2×2或4×4或6×6或优选的话更大的阵列大小的阵列的像素。在一个特定的优选配置中，将亮度重构滤波器应用于2×2或4×4的阵列大小。滤波器的大小可以作为光学传输的一个函数而被选择。相应滤波器的权重也可以不同地选择。有利地提供各种亮度重构滤波器以用于应用，特别地，在没有光学低通滤波或者只有轻微的光学低通滤波的情况下，把亮度重构滤波器应用于2×2的阵列大小，另外，在更重的低通滤波后，把相应的亮度重构滤波器应用于增加了的4×4或6×6的阵列大小。
此外，可以通过分别向4×4或6×6的阵列大小应用一个低通滤波器而有益地生成一个低通亮度信号。在一个有益的配置中，将4×4或6×6低通滤波器分别与2×2或4×4亮度重构滤波器组合，以建立一个单一的滤波器。所生成的信号都没有遭受由传感器引起的绿色不均匀性假象。
然而，取决于光学传输和矩阵，按照奈奎斯特法则，重构的RGB信号仍然可遭受剩余量的彩色混叠。为了再减少剩余的混叠量，除了亮度重构滤波器外还可应用颜色重构滤波器和/或轮廓重构滤波器。因此，特别地，可以应用虚假颜色滤波器来消除输入中的虚假颜色。优选地，颜色重构滤波器包含虚假颜色滤波器。
另外有利地实现一个具有与总的RGB传输尽可能相等的传输特性的低通亮度信号，如在详细说明的第3.3章中、特别是参照附图15、16和17、18所述的那样。优选地用一个2×2后置滤波器实现4×4或6×6低通亮度滤波器分别与3×3或5×5绿色重构滤波器的匹配。这参照附图和详细说明的第3章中的一个优选实施例作详细说明。
在另一个优选配置中，根据向图像传感器提供图像信号的光学系统的光学传输应用一个高频亮度滤波器。由此，可以把一个高频无混叠的亮度分量加到低频重构的颜色信号，以屏蔽颜色假象。对应的优选实施例在详细说明中参照附图2和12作说明。
所提出的方法被适配成使得摄影机的光学传输不限制适当的滤波器的应用。换言之，可以有益地应用任意的光学低通滤波器，这仅仅取决于客户的应用。甚至根本不应用光学低通滤波器也是可以接受的。特别地，这是通过应用所提出的虚假颜色滤波器而实现的，该虚假颜色滤波器特别是可根据摄影机的光学传输或根据传感器矩阵调整的。特别地，虚假颜色滤波器能在像素频率的一半下作为摄影机的光学传输的一个函数被调整。同样，可以根据光学传输和传感器矩阵提供一个颜色重构滤波器。作为光学传输和传感器矩阵的函数的颜色重构滤波器的系数的适当选择，最大化对于一般场景来说似乎是最重要的引人注目的部分的接近白色的颜色的分辨率。特别是在信号失真量被最小化的同时提供足够的分辨率。这将在详细说明的第4章中特别加以概述。
在上述的整个处理链(即RGB重构中)，特别是包含：
-用于相位匹配的后置滤波器的实现；
-亮度信号处理；
-特别包含虚假彩色滤波器以及进一步的后置滤波器的实现的颜色重构信号处理；以及
-轮廓信号处理。
这对最终的JPEG转换(JPEG-conversion)也成立。在一个优选的配置中，也可以进行按列或按行的处理，以按照所提出的方法执行smartgreen3重构算法。这样的处理有益地减少内部存储器的存储量以及向外部存储器或从外部存储器的数据交换量。这将支持处理效率和速度。即使所有数据传输被旋转90°，这样的措施也成立。
所提出的方法有益地被在上文所提出的设备上执行，特别是在计算系统和/或半导体器件上执行。这样的系统可有益地包含一个位于图像传感器和处理芯片之间的中间存储器接口。由此有利地不再限制要被滤波的像素阵列的行长度和行数，向外部存储器或从外部存储器的数据交换量当然也不应太多地延迟处理时间。因此实时处理仍然是可能的。所述计算系统可以是任何种类的处理器单元或系统或计算机。
在没有任何作为中间接口的存储器的情况下优选地也可以进行实时处理。然而，在这种情况中，出于成本的原因，可以限制可用的行延迟的总数量，特别地限制到两个。这可导致只有三个垂直抽头(taps)可用于RGB重构以及用于轮廓信号的实现。
本发明进一步导致一个可存储在一个可由计算系统读取的介质上的计算机程序产品，其包含一个软件代码段，当所述程序产品在计算系统上、特别是在摄影机的计算系统上被执行时，该软件代码段使所述计算系统执行所提出的方法。
现在将参照附图说明本发明。详细说明将例示和说明被认为是本发明的优选实施例的内容。当然应当明白，在不偏离本发明的精神的情况下可以在形式上或细节上作出各种修改和改变。因此不应把本发明限制于这里所展示和说明的精确形式和细节，也不应将其限制于少于如本文这里所公开的和此后所要求保护的本发明的整体的任何局部。另外，在说明书和附图以及权利要求书中所描述的公开本发明的特征，无论单独地还是组合地考虑，对本发明来说都是本质性的。
伴随附图的详细说明提供以下章节：
1.
白补偿的亮度重构方法的处理流程
2.
经白补偿的亮度信号
3.
经低通滤波的亮度信号YIf
3.1在矩阵和白平衡后增加高频分量
3.2在彩色边缘的饱和度降低
3.3定义YIf滤波器传输
3.4简化电路
4.
定义Smartgreen3作为光学传输和传感器矩阵的函数
5.
结论
附图说明
附图表示本发明的各优选实施例，列举如下：
图1：RGB重构和轮廓重构在基于存储器的体系结构中的位置；
图2：smartgreen3重构的基本框图；
(关于用smartgreen参数与红色和蓝色相乘的方框的特定信息可从WO 99/04555中获得。)
图3：经白补偿的亮度像素Yn的实现；
图4：原始场景(左上方)和传感器信号(右下方)的例子；
图5：没有白补偿的(左上方)和有白补偿的(右下方)2×2滤波的亮度的例子；
图6：几个白补偿的亮度重构滤波器；
图7：第一2×2Yn滤波器的传输值；
图8：第二Yn滤波器的传输值；
图9：第三Yn滤波器的传输值；
图10：在4×4Yn滤波器中消除绿-绿差异的方案；
图11：消除彩色区域中的调制的方案；
(图3至11表示一个优选实施例的有益地没有绿-绿差异的经白补偿的亮度信号。绿-绿差异可以通过恢复拜尔图像的绿色均匀性而被去除，这允许在保持拉普拉斯(即smartgreen)RGB重构方法且没有可见的分辨率损失的情况下消除传感器的绿色信号中的绿-绿差异。绿-绿差异也可以通过防止RGB拜尔图像传感器的并行轮廓信号中的绿色不均匀性而去除，这可以通过开发一种用来消除由图像传感器引起的绿-绿差异的二维并行轮廓滤波器而进行。)
图12：作为一个优选实施例的使用来自外部存储器的按列的包传输的2×2后置滤波的基本框图；
图13：在矩阵和白平衡之后增加了(Yn-Ylf)的传感器信号(左上方)和在之前增加了(Yn-YIf)的传感器信号(右下方)的例子；
图14：作为Rlf、Glf、Ylf和Yn的传输特性的函数的颜色饱和度降低；
图15：后面紧跟2×2后置滤波器的3×3RGB传输特性的总值；
图16：4×4亮度Ylf低通滤波器的匹配；
图17：后面紧跟2×2后置滤波器的5×5G传输特性的总值；
图18：6×6亮度Ylf低通滤波器的匹配；
图19：3×3RGB颜色重构的带宽，包括用于统一矩阵(右方)的(Yn-4×4Ylf)的和没有的情况(左方)；
图20：5×5RGB颜色重构的带宽，包括用于统一矩阵(右方)的(Yn-6×6Ylf)的和没有的情况(左方)；
(图15至20表示一个优选实施例，即无混叠的低频亮度信号的实现。)
图21：三个组合的(Yn-Ylf)滤波器的例子；
图22：通过组合(Yn-Ylf)滤波器权重的smartgreen3的简化框图；
图23：2×2Yn滤波器和4×4Ylf的高通传输特性；
(图21至23表示一个优选实施例，即把4×4或6×6低通亮度信号与经白补偿的亮度信号组合。)
图24：使用来自外部存储器的按列的包传输的2×2RGB和Ylf后置滤波的基本框图；
(图24表示一个特别是关于后置滤波的优选实施例。)
1.白补偿的亮度重构方法的处理流程
在图1中，表示了一个带有中央总线和外部存储器接口的集成电路的总体体系结构的一部分。通过中央总线向外部存储器提供一个传感器信号。为了RGB颜色重构和并行轮廓重构的实现，通过中央总线从外部存储器检索传感器数据以用于重构。在重构之后，数据被直接发送到处理块或发送回外部存储器。
处理块或多或少含有一些如矩阵、白平衡(white balance)、拐点调整(knee)和伽马(gamma)之类的标准化的摄影机功能。向所述处理发送重构的数据是一个重要的问题，因为为了获得对静止画面或对视频数据的快速的执行时间，应当限制向存储器或从存储器的耗时的数据交换量。
在图2中，表示了所提出的方法的一个优选实施例的更详细的框图，以下称该方法为″smartgreen3″信号重构。通过中央总线，传感器数据被以小包(packets)的形式从外部存储器发送到重构块中的小内部存储器阵列。从图2中的这个[1S×64H×6V]阵列(例如含有1个信号(16位)和64水平×6垂直像素(768字节))，原始传感器数据能被随机地检索以供重构。特别地，一行传感器数据能按(64-2*ho)的倍数的像素被处理，其中，ho是滤波器阵列的水平偏移量(horizontaloffset)。对于一个n×m重构阵列(其中″n″是水平的像素、″m″是垂直的像素)，偏移量是ho＝n div 2，″div″的意思是在朝零的方向上取整到最接近的整数。因此，成立以下关系：n＝3则ho＝1，n＝4或n＝5则ho＝2，n＝6则ho＝3。第一个能被重构的像素位于位置1+ho，最后一个位于位置N-ho，其中N是一个传感器行中的像素的总数。重构一个完整的传感器行需要把N/(64-2*ho)个包发送到重构块。在图2的下部，RGB颜色信号被用原始传感器数据重构。通过对滤波器权重的选择，(低)频率传输取决于摄影机的光学传输。是否使用虚假颜色消除器和2×2后置滤波器也取决于光学传输。在图2的上部，将R和B像素与smartgreen参数相乘。Smartgreen参数例如可按照在WO99/04555或EP 01 200 422.2中公开的方法检索。利用这个特定的信号，三个无混叠的亮度信号被重构：轮廓信号、经白补偿的亮度信号Yn和低频亮度信号Ylf。后一个具有与重构的RGB信号大致相同的传输特性。通过从经白补偿的亮度信号Yn中减去低频亮度信号Ylf，生成一个高频亮度分量：(Yn-Ylf)。认识这样的事实是重要的，即在此优选实施例中，为了防止高频下的不想要的虚假颜色，如果可能的话，不应当比在处理块中的矩阵和白平衡功能之后更早地将(Yn-Ylf)信号加到每个颜色信号。对轮廓信号来说这也完全一样。防止所提及的不想要的虚假颜色，是重构块的总输出由四个或分别地三个信号组成的原因。除了尽可能最快的执行时间之外，这是为什么优选地直接向处理块发送所有信号的第二个原因。第三个原因可能是：这让两倍的[4S×64H×1V]内部存储器成为多余，其中一个在重构块中用于向外部存储器发送四个信号，一个在处理块中用于再次检索所述信号。[4S×64H×1V]内部存储器代表对一个垂直行的(64-2*ho)个水平像素的四个(16位)信号的存储，其在凑整到64个像素是含有总共640个字节。
如果例如对于通过CPU利用特定的软件进行的耗时的重构和/或处理需要设计的最大灵活性，则应当应用两个[4S×64H×1V]内部存储器，一个用于重构，一个用于处理。
在图2的上部，实现无混叠的轮廓，紧接着是过冲(overshoot)控制处理器，其防止在较低频率下的过冲和下冲(undershoot)。使用二维分步瞬时信号(step transient signal)的二维清晰度改善，是通过一个适于控制过冲的二维检测信号的实现而达成的。这个所谓的分步瞬时信号能被用于若干过冲(和下冲)控制方法，并导致非常吸引人的清晰度改善，而没有夸大的、看起来不自然的过冲。允许把轮廓信号和(Yn-Ylf)信号相加到一个单一的信号，并向内部[4S×64H×1V]存储器发送。
可以对以下章节概括如下。
在第2章中，描述用2×2和4×4滤波器阵列实现无混叠和零失真的亮度信号Yn。接着是低频RGB重构的实现。在内部文件号为ID606638-I的专利申请中公开了颜色重构滤波器的细节，该申请与本申请同日提交，在此引用作为参考。在第3章中将解释利用一个4×4和一个6×6低通滤波器阵列的低频亮度信号。作为对5×5无混叠轮廓重构滤波器的替代或补充，也可以使用4×4和6×6无混叠轮廓信号。在内部文件号为ID505538-III的专利申请中公开了轮廓重构滤波器的细节，该申请与本申请同日提交，在此引用作为参考。所提出的概念可作为光学传输和传感器矩阵的一个函数而被灵活地适配，这在第4章中做了详细说明。
2.
经白补偿的亮度信号
经白补偿的亮度是基于smartgreen参数的计算。在WO 99/04555和EP 01 200 422.2中给出了例子。SmartGcntrlR和SmartGcntrlB参数被分别称作wbr和wbb。图3显示，红色和蓝色像素被乘以smartgreen参数。然后，四个像素被相加在一起，得到一个经白补偿的亮度像素Yn。考虑作为第一个像素的R像素，Yn像素的中央被向右和向下移位半个像素。结果是，必须被重构的所有其它信号(即红-绿-蓝和轮廓)都应当获得与这个Yn信号相同的中央位置。
经白补偿的亮度信号Yn的优点与5×5无混叠轮廓信号的完全相同。RGB拜尔图像传感器的一个无混叠的轮廓信号是基于一个独有的5×5并行轮廓滤波器，其在不需要光学低通滤波器的情况下，在第一RGB样本频率下有一个零通量。它的信号失真几乎是零，导致一个没有可见的假象的轮廓信号。迄今已知的轮廓滤波器也放大传感器的奈奎斯特域以外的反折的和不希望有的频率。这将导致失真并因此导致多余的混叠分量在画面中更好的能见度。这个独有的5×5轮廓滤波器防止那些混叠的假象，此外还消除在图像传感器的绿色通道中引起的绿-绿差异。具体优点是：
1.在不需要OLPF(光学低通滤波器)的情况下，Yn信号在第一RGB样本频率下有一个零通量，因此它在这些点将不引起混叠。在样本频率的第二和更高的倍数下通量低，但是透镜的低通和传感器的调制传输函数(MTF)在这里也将是有效的。
2.信号失真几乎是零，导致一个没有可见的假象的亮度信号Yn。
以下将解释为什么2×2白补偿的亮度滤波器特别有益。
1.在图像传感器的顺序RGB拜尔颜色信号中的调制颜色信息的消除和由图像传感器引起的绿色不均匀性的消除，需要2×2统一(unity)。防止RGB拜尔图像传感器的并行轮廓信号中的绿色不均匀性，是通过一个开发用来消除由由图像传感器引起的绿-绿差异的二维并行轮廓滤波器的方法实现的。对拜尔图像传感器的并行轮廓处理，允许使用来自图像传感器的绿色信号以用于与RGB颜色重构并行地生成二维轮廓信号。
其优点是不像在串行轮廓处理中那样需要额外的行延迟。应当注意的是，无论使用了什么OLPF类型，它既不影响大的饱和颜色区域中的这个颜色调制，又不影响绿色不均匀性。
2.为了消除矩阵的和/或环境色温影响，需要乘以smartgreen参数，其中，矩阵的系数的总和不等于统一。
这是为什么计算smartgreen参数的两个原因。如果这些参数不统一，颜色传感器将不起黑白传感器的作用。
图4中，在左上部分表示一个测试图像的原始场景，而在右下部分则表示如用一个理论上的FT33矩阵实现的来自图像传感器的图像的一个信号。显然可以看到彩色场景部分中的调制，当然还有RGB奈奎斯特域外的混叠。
图5中，在左上部分表示没有经白补偿的2×2滤波的亮度信号，而在右下部分则表示应用了白补偿后的亮度信号。这两部分都是用理论上的FT33矩阵模拟的，该矩阵的samrtgreen参数是与统一不相等的。这清楚地表明这些参数对于实现所想要的无混叠和零失真亮度信号Yn来说的好处。
经2×2白补偿的亮度信号Yn的微小缺点可能是当应用光学低通滤波器(OLPF)时分辨率将降低。然而，这可通过应用4×4滤波器重构Yn而得到补偿。根据OLPF的低通传输的量，可选择具有更重权重的Yn滤波器。在图6的左手端，表示了已经描述过的2×2Yn滤波器。在中间和右手端，表示了两个4×4Yn滤波器。右边的那个是“最重的”滤波器。除了用于补偿OLPF的传输损失，它们也能被应用于补偿透镜的传输损失。
在图7、8和9中，显示了图6的亮度滤波器的对应的3D图。这些3D图显示了垂直方向上的绝对传输值。视最终想要的传输特性而定，当然可以把第二和第三滤波器的权重改变为其它值。
4×4Yn滤波器恢复绿色不均匀性，也消除彩色区域中的调制。绿色不均匀性恢复，可以通过防止RGB拜尔图像传感器的并行轮廓信号中的绿色不均匀性而实现，这可以通过开发一种用来消除由图像传感器引起的绿-绿差异的二维并行轮廓滤波器而进行。对拜尔图像传感器的并行轮廓处理，允许使用来自图像传感器的绿色信号以用于与RGB颜色重构并行地生成一个二维的轮廓信号。其优点是不需要额外的行延迟，而在串行轮廓处理中这是需要的。作为规则可以说：相邻对角线滤波器系数的相减应导致零贡献。这将平均相邻绿色像素的绿-绿差异，并因此消除绿-绿差异。
图10中表示如何按照该规则消除绿-绿差异。
图11中表示消除彩色区域中的调制的两种方式。中间的带有正系数的圆圈，总是把两个绿色像素和一个红色和一个蓝色像素相加。所显示的负系数的组合总是导致两个绿色像素和一个红色和一个蓝色像素的相加，该组合也有对于彩色调制的零传输的优点。要注意的是，视总的光学传输和一个任意4×4Yn滤波器的重量的组合而定，最终可能发生不想要的过冲和下冲。仅当光学传输是已知的，才能例如通过拍摄(shooting)和处理一个波带片场景而对系数进行选择。
3.经低通滤波的亮度信号YIf
图12是另一个显示包括2×2后置滤波所需的内部存储器的按列的包传输的基本框图，其中存储器只有64像素宽。
优选地在与3×3或5×5RGB重构滤波器匹配的附近实现一个经低通滤波的亮度信号Ylf。经白补偿的亮度信号Yn与经低通滤波的信号Ylf之间的差(即信号(Yn-Ylf))将起低通重构的RGB颜色信号的补充的高通滤波器的作用。这个高通信号被增加到每个RGB颜色信号。首先将解释为什么在矩阵和白平衡之后优选地必须这样做的理由。
3.1在矩阵和白平衡后增加高频成分
图13的左上部分表示在矩阵和白平衡之后把高频亮度分量Yhf加到RGB颜色信号的结果。这里的Yhf等于(Yn-Ylf)，但是对于象轮廓信号一样的其它被增加的高频信号，这一点完全相同。右下部分表示在当在矩阵之前增加Yhf时的不想要的虚假颜色。把一个相等的高频分量Yhf加到RGB颜色，意味着把一个黑白(即灰色)分量加到现有的彩色边缘。如果由于矩阵和白平衡，所增加的灰色分量被干扰，则在更高的频率下出现虚假颜色。如果在矩阵和白平衡之前加上Yhf，则以下关系成立：
Ro′＝(a11*(Ri+Yhf)+a12*(Gi+Yhf)+a13*(Bi+Yhf))*awbR
Go′＝(a21*(Ri+Yhf)+a22*(Gi+Yhf)+a23*(Bi+Yhf))
Bo′＝(a31*(Ri+Yhf)+a32*(Gi+Yhf)+a33*(Bi+Yhf))*awbB
Ro′、Go′和Bo′是矩阵和白平衡之后的输出信号。参数″axx″是传感器矩阵值。(Ri+Yhf)、(Gi+Yhf)和(Bi+Yhf)是矩阵之前的颜色输入信号，其中增加了一个相等的Ylf分量。白平衡参数是awbR和awbB。如果分离输出信号的高频分量则变成：
Ro′＝(a11l*Ri+a12*Gi+a13*Bi)*awbR+Yhf*(a11+a12+a13)*awbR
Go′＝(a21*Ri+a22*Gi+a23*Bi)+Yhf*(a21+a22+a23)
Bo′＝(a31(Ri+a32*Gi+a33*Bi)*awbB+Yhf*(a31+a32+a33)*awbB
矩阵系数中的每一个与白平衡参数awbR和awbB相组合的和是统一(unity)的机会非常小。只有在这个非常不可能的情况中，在更高频率下的颜色平衡才不受干扰，而在所有其它情况中，则都会受到干扰。为了防止干扰，应当在矩阵和白平衡之后加上高频分量Yhf。这将有益地导致：
Ro′＝(a11*Ri+a12*Gi+a13*Bi)*awbR+Yhf
Go′＝(a21*Ri+a22*Gi+a23*Bi)+Yhf
Bo′＝(a31(Ri+a32*Gi+a33*Bi)*awbB+Yhf
3.2在彩色边缘的饱和度降低
通过把(Yn-Ylf)信号加到每个RGB颜色信号，颜色信号的带宽将增加，但是被增加的频率分量越高，颜色饱和度就越低。在边缘处的颜色饱和度降低的量，取决于被重构的RGB信号与(Yn-Ylf)信号的传输特性之间的差异。在(Yn-Ylf)信号的最高频率处，饱和度将变成零，导致黑白的RGB颜色信号。在图14中，给出了由于Yn信号与颜色和亮度低频信号Rolf、Glf、Blf和Ylf的传输特性之间的差异而导致的饱和度降低的例示。假设Rolf、Glf、Blf和Ylf在理想情况下都具有相同的传输特性。在这个特例中低频Yif和Yn传输曲线之间的区域是被加到每个颜色的亮度分量(Yn-Ylf)。
增加Yn信号的带宽(如图6的滤波器有益地实现的那样)或者通过增益控制增加(Yn-Ylf)高频分量(如图2中所示的优选实施例)，也将增加作为频率函数的饱和度降低。对于轮廓滤波器来说，适用与(Yn-Ylf)信号的相同的饱和度降低的规则。
3.3定义YIf滤波器传输
比饱和度降低方面更重要的是通过把(Yn-Ylf)加到一个颜色信号而获得的清晰度。在实践中，Ylf与颜色滤波器传输特性的匹配不是关键的。然而这里提出两个良好匹配的低通亮度滤波器，一个用于3×3颜色重构滤波器，一个用于5×5颜色重构滤波器的，二者都包括2×2后置滤波。
由于滤波器权重相等，总的R、G和B传输特性完全相等。″总的″意思是，包括2×2后置滤波器在内的一个颜色的全部滤波器权重都被用于获得Ylf滤波器必须要与其匹配的基准传输特性。图15中表示了总的RGB传输特性，图16中显示了很好地匹配的Ylf传输。这些4×4滤波器权重已经被选择为使得调制的颜色信息(如在第2章的开头中所解释的那样)以及绿色不均匀性将被消除。在图15和16的左上角，表示了滤波器权重。
因为5×5颜色重构滤波器的红色/蓝色和绿色传输特性一般不完全匹配，必须选择绿色传输作为基准。对人眼来说，绿光有最大的亮度贡献。在图17中，表示了总的5×5绿色传输特性，包括2×2后置滤波。图18表示精密匹配的6×6低通Ylf传输曲线。这个滤波器也消除调制的颜色信息和绿色不均匀性。
在图19的右手端，表示在把(Yn-4×4Ylf)高频信号加到左手端的经3×3RGB重构和2×2后置滤波的信号时的清晰度改善。已经应用了一个2×2Yn信号和一个统一矩阵。图20中显示一个类似的结果。在右手端，可以看到在把(Yn-6×6Ylf)高频信号加到左手端的经5×5 3×3RGB重构和2×2后置滤波的信号时的清晰度改善。这里已经应用了一个2×2Yn信号和FT19矩阵。
如果低通滤波的亮度信号的带宽相对于颜色信号来说太大，则高频分量(Yn-Ylf)将给出较小的贡献。如果该带宽太低，则(Yn-Ylf)的贡献将更大。视优选较小的还是较大的带宽而定，优选地可以像图12中所示的那样用增益控制来改变(Yn-Ylf)的幅度，而不是试验所有类型的其它Ylf滤波器。控制高频传输的另一个可能性是通过对一个4×4Yn信号的选择(如图6中所示)而提供的。图12是包括2×2后置滤波器需要的内部存储器的按列的包传输的基本框图，其中存储器只有64像素宽。
以下表示Ylf和颜色传输特性的完全匹配的一个可能性：有可能用与图15和17的总的3×3和5×5颜色滤波器的完全相同的系数实现一个低通Ylf滤波器。通过增加如图24中所示的某个附加的内部存储器，可以实现一个2×2后置滤波器。Ylf传输特性现在将完全与颜色传输曲线完全匹配。后置滤波器也将消除5×5绿色滤波器的绿色不均匀性。因为匹配并不是那么关键并且能排除简化电路的可能性(见第3.4章)，这个完全匹配不是优选的选项，但是也是可能的。
3.4简化电路
定义了Yn和Ylf滤波器权重后，就有可能如图12的框图中所示的那样组合Yn和Ylf滤波器。
作为第一个例子，组合图6的2×2Yn滤波器和图16的4×4Ylf滤波器。两个滤波器的总的权重因子应变得相等。通过把Yn滤波器的权重乘以11，对于二者来说，总的权重已变成44。为了用一个而不是两个滤波器获得(Yn-Ylf)信号，必须要从Yn权重中减去Ylf权重。这得到如图21的左手端所示的滤波器权重。为了保持幅度，必须把这个滤波器的输出信号除以因数22。在图23中表示了对应的高通传输特性。
作为第二个例子，把图6的中间的Yn滤波器和图16的Ylf滤波器组合。它们的权重的和分别是28和44。通过把它们除以4，获得最小的和因子7和11。现在把Yn滤波器的所有的权重乘以因数11，把Ylf滤波器的所有权重乘以因数7，得到二者相同的总的权重308，它需要9位比特。通过从Yn滤波器的被相乘的权重因子中减去Ylf滤波器的被相乘的权重因子，获得如图21的中间所示的组合的滤波器。为了保持输出幅度，需要除以因数308。
作为最后一个例子，把图6的中间的Yn滤波器和图18的Ylf滤波器组合。它们的权重的和分别是28和84。通过把它们除以28，获得最小的和因子1和3。现在把Yn滤波器的所有的权重乘以因数3，把Ylf滤波器的所有权重乘以因数1，得到二者相同的总的权重84。通过从Yn滤波器的被相乘的权重因子中减去Ylf滤波器的被相乘的权重因子，获得如图21的右手端所示的组合的滤波器。为了保持输出幅度，需要除以因数84。
图22中表示smartgreen3的一个简化框图，这是从图12中衍生的。对于做实验来说，这个配置与图12的相比略为不够灵活，但是对于最终的芯片设计来说这不是一个真正的缺点。为此，芯片面积的减小和复杂性的降低以及增加速度可能更加重要。取消这个简化建议的另一个理由：在过冲控制处理器中对Yn信号的需要。
4.定义Smartgreen3作为光学传输和传感器矩阵的函数
至此对smartgreen3的说明使得有可能把它的配置定义为传感器矩阵的重量和光学传输的一个函数。
·如果是重矩阵，则独立于光学传输，总是应当应用一个5×5颜色重构滤波器。必须应用图6的第一、第二还是第三Yn滤波器，取决于光学传输。如果光学传输高，则应当使用第一2×2Yn信号，如果光学传输较低，则应当使用第二个或者可能应当第三个。为了消除红色/蓝色奈奎斯特频率周围的虚假颜色，即时在重OLPF的情况中，也应当开通虚假颜色消除器。
·如果是轻矩阵以及从红色/蓝色样本频率开始的通量几乎是零的重OLPF，则可以选择一个3×3颜色重构滤波器。因此选择图16的3×3彩色滤波器和4×4Ylf滤波器。为了获得某一分辨率，可以应用图6的第二、甚至第三Yn滤波器。虚假颜色消除器可以被开通，但是如果它几乎没有效果则可以将其关闭(switched off)。如果几乎没有或根本没有OLPF，也可以使用图16的3×3颜色重构滤波器、4×4Ylf滤波器以及2×2Yn信号。虚假颜色消除器应当被开通。显然，对图6中的左边、中间或右边的Yn滤波器的选择，将取决于光学低通滤波的量。如果几乎没有或根本没有OLPF则选择2×2Yn信号，否则，如果使用更重的OLPF，则选择4×4Yn滤波器。对于smartgreen3颜色重构，虚假颜色消除器的调整的重要性大大低于对于现有技术的smartgreen1/2方法的重要性。也可以应用一个调整程序。
对轮廓滤波器的选择和调整，取决于个人爱好。唯一的指示是在3×3颜色重构的情况下应用4×4轮廓滤波器，在5×5颜色重构的情况下应用6×6轮廓滤波器。在这些情况下也要特别注意彩色边缘的饱和度降低。
5.结论
以下的特定优点是通过与smartgreen1-和smartgreen2-2方法相比用smartgreen3重构方法达成的：
·这是一个灵活的设计。视传感器矩阵的重量而定，能在两个颜色重构滤波器之间作出一个选择。结果，(低通)亮度滤波器能被定义为特定于应用的。可以按摄影机的光学传输的一个函数选择和调整几个高频亮度滤波器。
·如果需要虚假颜色消除器，则视所选择的颜色重构而定，信号几乎没有或者根本没有可见的假象(黑白点)。理由是与smartgreen1和smartgreen2相比使用了更强的低通滤波的颜色重构。
·通过与滤波器权重相组合的所谓亮度白补偿，所有生成的亮度信号都没有混叠和失真。
·这里所提出的smartgreen3设计的所有滤波器消除由传感器引起的绿色不均匀性。5×5绿色重构滤波器最后借助2×2后置滤波器消除该绿色不均匀性。
总之，由于其灵活性、没有信号失真以及由于其可选的虚假颜色消除器，smartgreen3很适合对数字图像的重构和处理，以及对具有拜尔颜色滤波器阵列的传感器的毗邻视频像素的重构和处理。
Claims (17)
1.一种信号处理方法，其中，提供图像传感器的传感器信号作为输入，并且该输入在一个滤波器中被重构，以建立一个用于进一步处理的输出，其中，所述滤波器包含至少一个从由亮度重构滤波器、红-绿-蓝颜色重构滤波器和轮廓重构滤波器组成的组中选择的重构滤波器，其中，
—该输入包含多个像素，一个像素提供被赋予红色、绿色或蓝色中至少之一的一个颜色值，
其特征在于
—把重构滤波器应用于一个具有预定阵列大小的、包含多个像素的像素阵列，其中，所述多个像素中的至少一个是由一个被赋予红色的红色像素构成的，所述多个像素中的至少一个是由一个被赋予蓝色的蓝色像素构成的，所述多个像素中的至少一个是由一个被赋予绿色的绿色像素构成的；和
—用一个绿色参数加权红色和/或蓝色像素；
—把阵列的像素总合成一个输出像素；以及
—把输出像素在阵列中居中。
2.如权利要求1中所要求的方法，其特征在于，把第一滤波器之后的第二滤波器的中央输出像素定位成与所述输出像素同相位，特别是把中央输出像素居中在阵列中与该输出像素相同的中央位置。
3.如权利要求1或2中所要求的方法，其特征在于，所述重构滤波器是亮度重构滤波器，所述阵列的像素在一个作为输出像素的白色像素中被相加在一起。
4.如前述权利要求的任何一项中所要求的方法，其特征在于，根据图像传感器的传感器矩阵选择所述绿色参数。
5.如前述权利要求的任何一项中所要求的方法，其特征在于，根据向图像传感器提供图像信号的光学系统的传输特性选择所述绿色参数。
6.如前述权利要求的任何一项中所要求的方法，其特征在于，把所述亮度重构滤波器应用到一个2×2或4×4或6×6的阵列大小。
7.如权利要求6中所要求的方法，其特征在于，把低通滤波器应用到一个4×4或6×6的阵列大小。
8.如权利要求6或7中所要求的方法，其特征在于，把所述亮度重构滤波器与低通滤波器组合成单一的滤波器。
9.如前述权利要求的任何一项中所要求的方法，其特征在于，在所述亮度重构滤波器之后应用颜色重构滤波器，其中，该颜色重构滤波器特别包含一个用于从输入中消除虚假颜色的虚假颜色滤波器。
10.如前述权利要求的任何一项中所要求的方法，其特征在于，应用一个后置滤波器，以在其输出中保持相对于在先应用的重构滤波器的输出的一个相位，特别是在一个虚假颜色滤波器之后应用一个后置滤波器，以保持相对于在先应用的亮度重构滤波器一个相位。
11.如权利要求10中所要求的方法，其特征在于，在一个虚假颜色滤波器之后应用一个2×2阵列大小的后置滤波器，以把一个预定的小绿色像素阵列的一个中央输出像素定位成与一个白色像素同相位，该白色像素被相对于已经被应用过一个亮度重构滤波器的相同的矩阵居中。
12.如前述权利要求的任何一项中所要求的方法，其特征在于，提供各种亮度重构滤波器以用于应用，特别地，如果没有光学低通滤波或者只有轻微的光学低通滤波，则把亮度重构滤波器应用于一个2×2的阵列大小，以及/或者在更重的光学低通滤波后，把相应的亮度重构滤波器应用于一个增加了的4×4或6×6的阵列大小。
13.如前述权利要求的任何一项中所要求的方法，其特征在于，提供各种颜色重构滤波器以用于应用，特别地，在4×4亮度重构滤波器的情况下应用一个3×3颜色重构滤波器，以及/或者在6×6亮度重构滤波器的情况下应用一个5×5颜色重构滤波器。
14.一种信号处理设备，特别适于执行如权利要求1至13中所要求的方法，包含一个用于提供传感器信号作为输入的图像传感器和一个用于重构该输入以建立用于进一步处理的输出的滤波器，其中，所述滤波器包含至少一个从由亮度重构滤波器、红-绿-蓝颜色重构滤波器和轮廓重构滤波器组成的组中选择的重构滤波器，其中
—该输入包含多个像素，一个像素提供被赋予红色、绿色或蓝色中的至少之一的一个颜色值，
其特征在于
—重构滤波器适于被应用于一个具有预定阵列大小的、包含多个像素的像素阵列，其中，所述多个像素中的至少一个是由一个被赋予红色的红色像素构成的，所述多个像素中的至少一个是由一个被赋予蓝色的蓝色像素构成的，所述多个像素中的至少一个是由一个被赋予绿色的绿色像素构成的，并且
该设备进一步包含：
—用一个绿色参数加权红色和/或蓝色像素的装置；
—用于把该阵列的像素总合成一个输出像素的装置；和
—用于把该输出像素在该阵列中居中的装置。
15.一个可存储在一个可由计算系统、特别是摄影机的计算系统读取的介质上的计算机程序产品，该程序产品包含一个软件代码段，当所述程序产品在计算系统、特别是摄影机的计算系统上被执行时，所述软件代码段使所述计算系统执行如权利要求1至13的任何一项中所要求的方法。
16.一种计算系统和/或半导体器件、特别是摄影机的计算系统，用于在其上执行和/或存储如权利要求15中所要求的计算机程序产品。
17.一种包含一个光学系统、一个图像传感器和一个如权利要求12中所要求的设备或一个如权利要求16中所要求的计算系统的摄影机。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP02077689 | 2002-07-04 | ||
| EP02077689.4 | 2002-07-04 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN1666229A true CN1666229A (zh) | 2005-09-07 |
Family
ID=30011155
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN038158973A Pending CN1666229A (zh) | 2002-07-04 | 2003-06-24 | 信号处理方法和设备、计算机程序产品、计算系统和摄影机 |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US7573515B2 (zh) |
| EP (1) | EP1522046B1 (zh) |
| JP (1) | JP2005532004A (zh) |
| CN (1) | CN1666229A (zh) |
| AT (1) | ATE426869T1 (zh) |
| AU (1) | AU2003239746A1 (zh) |
| DE (1) | DE60326852D1 (zh) |
| WO (1) | WO2004006565A2 (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2003236988A1 (en) * | 2002-07-04 | 2004-01-23 | Koninklijke Philips Electronics N.V. | Method and apparatus for signal processing, computer program product, computing system and camera |
| JP2005532002A (ja) * | 2002-07-04 | 2005-10-20 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 信号処理方法、信号処理装置、コンピュータプログラムプロダクト、コンピュータシステム、および、カメラ |
| US7456881B2 (en) | 2006-01-12 | 2008-11-25 | Aptina Imaging Corporation | Method and apparatus for producing Bayer color mosaic interpolation for imagers |
| US8005297B2 (en) * | 2006-01-18 | 2011-08-23 | Qualcomm Incorporated | Method and apparatus for adaptive and self-calibrated sensor green channel gain balancing |
| EP2377307B1 (en) * | 2008-12-18 | 2015-11-11 | Omnivision Technologies, Inc. | Image sensor apparatus and method for line buffer efficient lens distortion correction |
| KR101391161B1 (ko) * | 2009-12-04 | 2014-05-07 | 캐논 가부시끼가이샤 | 화상처리장치 |
| CN105556944B (zh) * | 2012-11-28 | 2019-03-08 | 核心光电有限公司 | 多孔径成像系统和方法 |
| CN116074484A (zh) * | 2023-01-15 | 2023-05-05 | 山东产研卫星信息技术产业研究院有限公司 | 一种CMOS卫星影像的Bayer色彩重建方法 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3704238B2 (ja) * | 1997-03-31 | 2005-10-12 | 株式会社リコー | 撮像装置 |
| WO1999004555A2 (en) | 1997-07-15 | 1999-01-28 | Koninklijke Philips Electronics N.V. | Color sample interpolation |
| JP4408962B2 (ja) | 1998-01-29 | 2010-02-03 | エヌエックスピー ビー ヴィ | 色信号補間方法、装置及びカメラ |
| US6507364B1 (en) * | 1998-03-13 | 2003-01-14 | Pictos Technologies, Inc. | Edge-dependent interpolation method for color reconstruction in image processing devices |
| US6330029B1 (en) * | 1998-03-17 | 2001-12-11 | Eastman Kodak Company | Particular pattern of pixels for a color filter array which is used to derive luminance and chrominance values |
| US6320593B1 (en) * | 1999-04-20 | 2001-11-20 | Agilent Technologies, Inc. | Method of fast bi-cubic interpolation of image information |
| US6791609B2 (en) * | 1999-12-20 | 2004-09-14 | Texas Instruments Incorporated | Digital still camera system and method |
| NL1014018C2 (nl) | 2000-01-05 | 2001-07-24 | Arnoud Bruins Jan Van Houten | Serviceplatform voor interactief berichtenverkeer. |
| JP3706789B2 (ja) * | 2000-05-12 | 2005-10-19 | キヤノン株式会社 | 信号処理装置及び信号処理方法 |
| JP4055927B2 (ja) * | 2000-08-25 | 2008-03-05 | シャープ株式会社 | 画像処理装置およびデジタルカメラ |
-
2003
- 2003-06-24 EP EP03732935A patent/EP1522046B1/en not_active Expired - Lifetime
- 2003-06-24 WO PCT/IB2003/002656 patent/WO2004006565A2/en active Application Filing
- 2003-06-24 CN CN038158973A patent/CN1666229A/zh active Pending
- 2003-06-24 JP JP2004519066A patent/JP2005532004A/ja not_active Withdrawn
- 2003-06-24 US US10/519,060 patent/US7573515B2/en not_active Expired - Fee Related
- 2003-06-24 AT AT03732935T patent/ATE426869T1/de not_active IP Right Cessation
- 2003-06-24 AU AU2003239746A patent/AU2003239746A1/en not_active Abandoned
- 2003-06-24 DE DE60326852T patent/DE60326852D1/de not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| US20050254117A1 (en) | 2005-11-17 |
| JP2005532004A (ja) | 2005-10-20 |
| AU2003239746A1 (en) | 2004-01-23 |
| US7573515B2 (en) | 2009-08-11 |
| WO2004006565A3 (en) | 2004-03-04 |
| ATE426869T1 (de) | 2009-04-15 |
| EP1522046A2 (en) | 2005-04-13 |
| EP1522046B1 (en) | 2009-03-25 |
| DE60326852D1 (de) | 2009-05-07 |
| WO2004006565A2 (en) | 2004-01-15 |
| AU2003239746A8 (en) | 2004-01-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN1089977C (zh) | 图像处理方法 | |
| JP4698743B2 (ja) | 画像圧縮方法、画像圧縮装置、画像形成装置、コンピュータプログラム及び記録媒体 | |
| US6580825B2 (en) | Contrast enhancement of an image using luminance and RGB statistical metrics | |
| CN1943248A (zh) | 摄像装置及摄像单元 | |
| CN1293764C (zh) | 彩色信号校正装置和方法及使用它们的图像处理系统 | |
| CN1320324A (zh) | 数字图像轮廓增强方法和装置 | |
| WO2008135995A2 (en) | Image restoration with enhanced filtering | |
| EP2100257A2 (en) | Improved processing of mosaic images | |
| CN107534735A (zh) | 终端的图像处理方法、装置和终端 | |
| EP1500046A2 (en) | Local color correction | |
| CN1798244A (zh) | 图像处理装置、图像处理方法及图像处理程序 | |
| CN102318330A (zh) | 用于处理数字图像的图像处理系统和处理数字图像的图像处理方法 | |
| CN101047773A (zh) | 成像设备、视频信号处理电路和方法、及计算机程序产品 | |
| CN1621967A (zh) | 光谱复用、再现和解复用系统中性施照体的灰成分替代 | |
| CN1578386A (zh) | 减色处理设备和减色方法 | |
| JP4197276B2 (ja) | 画像処理装置、画像読取装置、画像形成装置、および画像処理方法 | |
| CN1666229A (zh) | 信号处理方法和设备、计算机程序产品、计算系统和摄影机 | |
| JP4079814B2 (ja) | 画像処理方法、画像処理装置、画像形成装置、撮像装置、及びコンピュータプログラム | |
| CN1969534A (zh) | 利用顺序抖动技术处理数字图像的方法 | |
| CN1301002C (zh) | 图像处理、形成装置、图像处理方法、程序、以及记录媒体 | |
| JPWO2006059365A1 (ja) | 画像処理装置、非撮像色信号算出装置及び画像処理方法 | |
| US20060232797A1 (en) | Image processing for expressing gradation | |
| JP4112413B2 (ja) | 画像処理装置、画像形成装置、画像処理方法、画像処理プログラム、及び画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| CN1666230A (zh) | 信号处理方法和设备、计算机程序产品、计算系统和摄影机 | |
| US8233195B2 (en) | Method for reducing image noise |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20050907 |
|
| C20 | Patent right or utility model deemed to be abandoned or is abandoned |