CN105247568B - 用带有色滤器的传感器生成改进的彩色图像的方法和装置 - Google Patents
用带有色滤器的传感器生成改进的彩色图像的方法和装置 Download PDFInfo
- Publication number
- CN105247568B CN105247568B CN201480004447.4A CN201480004447A CN105247568B CN 105247568 B CN105247568 B CN 105247568B CN 201480004447 A CN201480004447 A CN 201480004447A CN 105247568 B CN105247568 B CN 105247568B
- Authority
- CN
- China
- Prior art keywords
- color
- image processing
- value
- pixel
- color component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title description 51
- 238000012545 processing Methods 0.000 claims abstract description 74
- 238000003384 imaging method Methods 0.000 claims abstract description 31
- 239000011159 matrix material Substances 0.000 claims description 108
- 238000012937 correction Methods 0.000 claims description 25
- 230000008859 change Effects 0.000 claims description 18
- 238000003860 storage Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000003672 processing method Methods 0.000 claims description 6
- 238000003707 image sharpening Methods 0.000 claims description 5
- 241001062009 Indigofera Species 0.000 claims description 3
- 238000009434 installation Methods 0.000 claims description 2
- 230000001105 regulatory effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 34
- 230000008569 process Effects 0.000 description 34
- 230000006870 function Effects 0.000 description 25
- 239000003086 colorant Substances 0.000 description 21
- 238000004422 calculation algorithm Methods 0.000 description 16
- 230000009286 beneficial effect Effects 0.000 description 11
- 230000008901 benefit Effects 0.000 description 11
- 230000006872 improvement Effects 0.000 description 11
- 230000009467 reduction Effects 0.000 description 8
- 230000002829 reductive effect Effects 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- 239000000203 mixture Substances 0.000 description 5
- 239000000047 product Substances 0.000 description 5
- 239000004065 semiconductor Substances 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 201000005569 Gout Diseases 0.000 description 3
- 235000013399 edible fruits Nutrition 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000035515 penetration Effects 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 229910052710 silicon Inorganic materials 0.000 description 3
- 239000010703 silicon Substances 0.000 description 3
- 238000001179 sorption measurement Methods 0.000 description 3
- IJGRMHOSHXDMSA-UHFFFAOYSA-N Atomic nitrogen Chemical compound N#N IJGRMHOSHXDMSA-UHFFFAOYSA-N 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 235000009508 confectionery Nutrition 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012067 mathematical method Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 235000012736 patent blue V Nutrition 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- AXDJCCTWPBKUKL-UHFFFAOYSA-N 4-[(4-aminophenyl)-(4-imino-3-methylcyclohexa-2,5-dien-1-ylidene)methyl]aniline;hydron;chloride Chemical group Cl.C1=CC(=N)C(C)=CC1=C(C=1C=CC(N)=CC=1)C1=CC=C(N)C=C1 AXDJCCTWPBKUKL-UHFFFAOYSA-N 0.000 description 1
- 241000675108 Citrus tangerina Species 0.000 description 1
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000739 chaotic effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 239000003574 free electron Substances 0.000 description 1
- 238000003706 image smoothing Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 229910052757 nitrogen Inorganic materials 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 229910052698 phosphorus Inorganic materials 0.000 description 1
- 239000011574 phosphorus Substances 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000012372 quality testing Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000035922 thirst Effects 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2209/00—Details of colour television systems
- H04N2209/04—Picture signal generators
- H04N2209/041—Picture signal generators using solid-state devices
- H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
- H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
- H04N2209/046—Colour interpolation to calculate the missing colour values
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Quality & Reliability (AREA)
- Color Television Image Signal Generators (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种图像处理装置，用于处理来自包含图像传感器的数码相机的图像数据，该图像传感器具有规则的像素布置和预设色彩模式的相关色滤器。所述图像处理装置(133)设计为对于相关像素(130)使用来自包含若干像素的单个预设的环境(131)的图像数据执行所有图像处理操作。
Description
技术领域
本发明涉及一种相机的图像生成装置和方法，尤其涉及带有色滤器传感器的数码工业相机。
背景技术
在工业环境中，数码相机经常用于监控生产流程、机器或物体。这类工业相机用于简单的监视功能和计量任务，例如：通过图像处理进行质量控制。它们的集成进布置的能力和它们的高画质是十分卓越的。
拜耳传感器是一种覆盖有色滤器的传感器的名称，类似于棋盘格滤镜。多数情况下，拜耳传感器包括50％的绿色、各25％的红色和蓝色。这种情况下，其假设人的肉眼对绿色的反应比其他颜色更敏感。许多数码照相机和数码摄影机中传统的CCD传感器应用了拜耳矩阵(或拜耳模式)的理念。“拜耳”矩阵或“拜耳”滤光镜以发明人布赖斯·拜耳(BryceE.Bayer)的名字命名，在US 3,971,065中有更详尽的说明。
图像传感器半导体材料的光敏元件仅可以检测到荧光值。为了获取色彩信息，每个独立元件之前都放置有细小的色滤器，该色滤器的颜色是红、绿、蓝三基色的其中一种。例如：所述色滤器在奇数行按照绿-红-绿-红的顺序排列，在偶数列按照蓝-绿-蓝-绿的顺序排列。所述图像传感器每个拥有这类色滤器的光敏元件(像素)，仅在此位置为单一色彩分量相应提供信息。然而，为了获取整个彩色图像，每个像素需要色彩值，其包括若干色彩组成，例如：红、绿和蓝。如果待产生的整个彩色图像有相同的维度和相同的分辨率，根据相邻像素的值内插丢失的色彩信息是必需的。如此，彩色图像中绿色值的50％是由计算得到的，对于蓝色和红色，其色彩值的各75％(或，在一行中是50％，在下一行中是100％)，由计算填补。这种内插是基于图像中相邻像素之间仅发生微小色彩差异的假设。但是，这并不自然适用于每个图像主题。因此，严格说来，考虑无伪影的彩色图像，拜耳传感器只提供了虚拟像素的四分之一。
图1示出一种示范性工业数码相机应用。工业数码相机10用于集成在工业设备23中，作为其检测目标(例如：物体14、15或人)的部件。这些图像转化为图像数据16，以便其可被评估和/或存档。该评估常常由图像处理工具18自动完成。通常，自动操作响应于适用于设备23的评估结果而执行。如此，亮物体14和暗物体15，其可被按它们的颜色进行区分，基于光学标准被自动分类。这种分类在不同的工业领域很常见。举例来说，按照标准区分食品例如谷物与污物、矿石和岩石碎片，基于其颜色或其亮度；邮政物品基于其上安置的地址(分类)；刹车盘和密封环基于它们遵守正确的形状和遵守特定的标称尺寸(分类)；或可回收空瓶基于正确的形状和安置其上的条形码(分类)。这些分类常常服务于质量检测和保证。
所述工业设备23常包括，例如带有驱动马达12和传送速率13的传送带11的驱动组件，其传送物体14、15。所述相机10通过诸如物镜的光学装置22记录合适位置的图像。因此，所述相机10可被设置为区域-扫描相机、行-扫描相机或多行-扫描相机，例如，如EP 1 919197 A2中所述。所述相机将所记录图像的图像信号16转发至图像处理装置18(例如，计算机(C))。进一步的，图像处理装置18可选的被提供关于所述传送带11的传送速率13的信息17，其可由诸如旋转编码器决定。因此，该图像处理装置可确定合适的时间点，在该点一个物体经过诸如掉下过去数个可控的空气喷射器的元件的促动器19，并且可向促动器19提供控制信号24，基于该控制信号执行动作，其适于引导相应物体分类。举例来说，对空气喷射器的控制可以决定：如果气流被关闭，物体是否落入第一容器20；或如果气流被打开，是否偏斜到第二容器21。
在这一应用中，如果该相机10尽可能快的传递图像是有益的，以便图像处理装置18尽可能快的为促动器19生成控制信号24，以此在早期阶段启动期望的控制动作。因此，设备23可运行更快。在特定应用中，特别是当物体14和15在传送带11上移动，如滚动时，可获取更高的精确度或位置，或者优化其他参数。
在另一些应用实例中，也加入对环境的记录和/或归档。举例来说，记录在公路交通中无序行驶(例如：当违反速度限制或闯红灯)汽车的图像，例如DE 10 2010 003 039 A1中所述。举个例子，渡轮的装载与卸载也可能伴随记录汽车的图像，为了能够在发生索赔请求的情况下确定渡轮上是否发生损害。在这类应用中，正确再现物体和特定环境的色彩(例如：红色交通灯)是必需的。进一步的，图像拥有好质量是重要的。如果图像中的物体可以很容易地识别，和字母——特别其为黑白对比——是以清晰和易读的方式再现，尤其属于这种情况。
图2为一种带有镜头22的数码相机10的结构示意图。图像场景30通过该镜头22再现于包括规则排列的光敏元件(像素)的图像传感器31上。该图像传感器31转发电子数据至大多包含在相机10中的处理单元32，其包括诸如处理器、数字信号处理器(DSP)或所谓现场可编程门阵列(FPGA)。这种情况下，可能需要将模拟图像数据转化为数字图像数据，通过诸如模数转化器(AD-converter)。在该处理单元中，图像数据转化为用户适用格式随后通过接口33以电子信号34输出。
这类数码彩色相机的用户往往想要使用彩色图像，其中完整的色彩值可用于每个像素的位置。这个色彩值随后被作为位置或色彩空间位置来理解，其中，三维色彩空间的位置定义由至少三个分量指示实现。最常见的色彩空间是三维的，例如：RGB、XYZ、YUV和L*a*b*色彩空间。一个色彩空间的色彩值可转化为另一个色彩空间的色彩值，例如参见A.Koschan和M.Abidi的《数字彩色图像处理》(John Wiley&Sons,Hoboken2008,ISBN 978-0-470-14708-5)。进一步的，色彩值转换方法是已知的，比如：8位RGB、12位RGB或YUV 4-2-2。
由于每个像素只对一种色彩敏感，所以它仅提供一维信息，作为三维色彩空间值这类像素的色彩值定义是待决的。所以，确定缺失信息通常依靠引入相邻像素信号，特别是这些像素拥有其它颜色的色彩掩膜。相应的计算称为去拜耳算法(debayering)，去马赛克，或色滤镜阵列(CFA)插值，例如US 6,181,376中所述。作为去拜耳算法的结果,可为每个像素获取一个多维色彩值。
已知的工业相机中，执行去拜耳算法。并且，所提到的相机向计算机传输的图像不是作为色彩值而是作为原始数据。之后，在计算机中执行去拜耳算法是必需的。这里，去拜耳算法可在用于接收图像数据的插件上执行，称之为帧捕获器(Frame Grabber)，或者在计算机或图形板卡的处理器上执行。也有提供所谓软件实现驱动的相机，通常包括执行去拜耳算法的程序代码。已知执行去拜耳算法时可能出现不利的错误色彩，被称为色彩失真(Color aliasing)。这个问题在例如US 20100085452 A中被广泛讨论。防止这类颜色失真的方案被称为反锯齿(anti-aliasing)，特别在US 6,819,801中有描述。
对于一个数码(工业)相机，速度和图像质量尤其至关重要。后者依据当前版本为3.0的标准EMVA 1288(www.emva.org)而确定。进一步的，图像的主观人体感受也被用户作为评价图像质量的重要标准而使用。
数码工业相机应用于不同的工业领域，例如：食品工业、物流、运输、汽车工业、机器人工业等。在这些工业领域中，基于不同的需求有许多不同的更深入的应用，例如：有关于图像传感器的尺寸，由像素数目给定的光学分辨率；有关于计算每秒图像数(fps)中重复率；有关于数据的格式转换，例如：遵循CameraLink、IEE 1394、GigE Vision或USB标准等。已知的数码工业相机取得了高数据速率，诸如：CameraLink可达800Mbyte每秒或是GigEVision可达100Mbyte每秒。在需求如此多样的情况下，为保证生产效率，这类相机往往模块化设置，例如：包含拥有图像传感器的传感器模块、处理器模块和拥有接口的接口模块。由于要求处理模块能适应多种不同的传感器模块和接口模块，如果它可以被软件配置将是十分有益的，凭借各种不同类型的处理器模块和相关的改进努力，可减少生产和后期处理。进一步的，需要取得高数据吞吐量从而取得需要的高数据速率。这种情况下，处理模块常常作为中心组件由FPGA实现。
包含在一个数学图像处理方法中的操作数量应尽可能小。在使用FPGA的情况下，这会导致一个逻辑单元的使用率低，有利于允许使用廉价FPGA或为其他功能腾出更多可用的FPGA空闲逻辑单元。在使用DSP或其他处理器的情况下，低操作数意味着它们可在给定时间范围内应用于更高数量的像素，从而使得以更高数据速率输出图像成为可能。并且，由于图像处理操作数量低，可使用低功率因而廉价的处理器，而且可以因此降低电路复杂度。
发明内容
本发明的目的在于提供一种带有拜耳模式传感器的相机，其对存储器容量和内存访问带宽的要求都很低，能生成低延迟和高图像清晰度的高质量图像，同时防止噪声和色彩失真。
根据本发明，上述目标的实现通过一种根据权利要求1所述的图像处理装置、一种根据权利要求11所述的数码相机、一种根据权利要求12所述的图像处理系统、一种根据权利要求13所述的图像处理方法、一种根据权利要求14所述的计算机装置和一种根据权利要求15所述的计算机程序产品。
于是，依据本发明基于整体数学方法的图像处理流程的方案使得可在基于单个预设的图像点环境的有限资源下进行图像处理，其中，为全体色彩分量增加一个相同的增量值，导致色彩值并行于相应的色彩空间的非彩色线移动。如此，通过所述增量取得噪声的合并，不会导致不利的彩色噪声而只有一个非彩色的噪声。
进一步的，图像处理的低操作数导致FPGA逻辑单元的使用率低，因此更多的空闲逻辑单元可用于其他功能。在使用DSP或其他处理器的情况下，低操作数意味着它们可适用于在给定时间跨度内众多像素，从而在输出时取得更高数据速率。
依据第一有益改进，所述图像处理操作适用于基于所述环境中第一色彩分量(例如：绿色分量)的图像数据确定修正值，该修正值分别以不同的符号加到第二和第三色彩分量(如：红色和蓝色分量)的图像数据。
依据第二有益改进，所述图像处理操作适用于通过一个值与一个方向估计值相乘确定修正值，该值由所述第一色彩分量的图像数据与预定卷积矩阵卷积而确定，该方向估计值取决于图像结构的主导方向。
依据第三有益改进，所述图像处理操作适用于基于环境中水平和垂直方向的亮度变化的差确定所述方向估计值。
依据第四有益改进，所述图像处理操作适用于利用卷积矩阵从所述环境中预设的第一色彩分量图像数据中确定结构化信息，如此，利用所述符号对图像结构的方向依赖进行编码。
依据第五有益改进，所述图像处理操作适用于通过结构化信息抵消修正项而修正绿-绿失衡，该结构化信息取决于所述环境中第一色彩分量的图像数据。
依据第六有益改进，所述图像处理操作适用于将有着第一设定值的第一非线性函数应用于取决于所述环境中第一色彩分量的图像数据的第一结构化信息；将有着第二设定值的第二非线性函数应用于取决于所述环境中第一色彩分量的图像数据的第二结构化信息；将所述第一和第二非线性函数的结果相加以获得一低噪声结构化信息。
依据第七有益改进，所述图像处理操作适用于执行图像锐化，通过将由所述环境中第一色彩分量的图像数据确定的第一结构化信息乘以一修正值。
附图说明
现基于以下附图解释本发明优选实施例。
图1示出一种工业相机示范性应用的原理示意图；
图2示出一种数码工业相机示范性结构；
图3a至3b示出拜耳模式的示意图；
图4a至4b示出不同像素密度的带有拜耳模式色彩掩膜的像素的局部示意图；
图5示出一带有拜耳模式的现代图像色彩传感器的量子效率曲线图；
图6示出一RGB色彩空间立方体的示意图；
图7a至7d示出在RGB色彩空间中不同的噪声云的示意图；
图8示出像素的不同环境示意图；
图9示出逐行读出流程原理示意图；
图10示出读出延迟原理示意图；
图11示出与环境有关的系列图像处理过程的示意流程图；
图12示出整体图形处理过程的示意流程图；
图13示出拜耳模式四个相位关系的示意图；
图14示出根据第一实施例重建色彩分量的示意流程图；
图15示出一示范性卷积矩阵；
图16示出在相位关系cR、cGr、cGb和cB中用于确定值R1、G1和B1的示范性卷积矩阵；
图17示出在相位关系cR、cGr、cGb和cB中用于确定值GS的示范性卷积矩阵；
图18a至18d示出在小结构中发生错误色彩的原理示意图；
图19示出根据第二实施例的利用补充修正错误色彩，重建色彩分量的示意流程图；
图20示出根据第三实施例针对颜色修正考虑小结构方向，重建色彩分量的示意流程图；
图21示出用于确定值AA的示范性卷积矩阵；
图22a至22d示出确定亮度变化和内部区域亮度变化结果的原理示意图，其中，a)为水平方向的变化，b)为垂直方向变化，c)为水平方向的变化结果，d)为垂直方向的变化结果；
图23示出针对方向估计的示范性卷积矩阵；
图24示出一个常见基本滤波器的例子；
图25示出估计问题的原理示意图；
图26示出根据第四实施例考虑小结构方向，重建色彩分量的示意流程图；
图27示出示范性卷积矩阵FGScG、FGScRB和FRBScRB用于计算GScG、GScRB和RBScRB；
图28示出第二基本滤波器的例子；
图29示出根据第五实施例考虑小结构方向，重建色彩分量的示意流程图；
图30示出利用各自距离中心像素最近的色彩值确定值R2和B2的示范性卷积矩阵；
图31示出根据第六实施例的利用改进的图像锐度重建色彩分量的示意流程图；
图32示出根据第七实施例的利用降噪重建色彩分量的示意流程图；
图33a和33b示出用于降低结构性信息中噪声的非线性函数示意图；
图34示出一消减后环境示例的示意图；以及
图35示出9x9环境下的基本滤波器示例。
具体实施方式
根据以下实施例，描述一种带有改进后效率更高的图像处理的数码工业相机。单一色彩的单色相机和多色彩的彩色相机都用作数码工业相机。彩色图像的记录通常是通过使用具有拜耳模式的所谓的马赛克滤镜。
图3a至3b示出拜耳模式的示意图。这种情况下，红、绿、蓝色滤镜的常规模式按照图3a布置于像素上，使得每一像素只对各自的色彩敏感。如此，像素贡献的信号对应于入射光各个色彩分量的强度。带有红色色滤镜的像素被称为红像素(R)，带有绿色色滤镜的像素被称为绿像素(G)，以及相应地，带有蓝色色滤镜的像素被称为蓝像素(B)。在拜耳模式下，绿像素(G)的数量是红像素(R)和蓝像素(B)各自数量的两倍。
如图3b所示，绿像素可区分为第一绿像素(Gr)和第二绿像素(Gb)，举例而非限制，可以认为第一绿像素(Gr)位于红像素行而第二绿像素(Gb)位于蓝像素(B)行。
图4a至4b示出不同像素密度的带有拜耳模式色彩掩膜的像素的局部示意图，其中图4b中提供的像素比图4a中的更多、更小。
用于数字工业相机的图像传感器通常由图4a、4b中的半导体材料43、53制成，在大多数情况下是硅。该半导体材料包括掺杂磷和氮，以向其提供它们的电子特性。特别是，分别提供掺杂区44、45和54、55，被安排用于吸引和储存自由电子。通常，每个像素都包含这样的掺杂区。在半导体材料之上，分别提供电隔离层42和52，通常在其中嵌入电子电路的电气连接。在此之上，分别设有色彩掩膜层40、41和50、51，它根据拜耳模式相邻像素之间彼此不同。以这种方式，例如，一个带有红色掩膜的像素，为了简化，在这里简称为“红像素”，分别包括掺杂区44或54、和红色掩膜41或51，而相邻的绿像素分别包括掺杂区45或55，和绿掩膜40或50。如果现在红光照射在传感器上，吸收主要发生在绿色色滤器，而传输主要发生在红色色滤器。因此，红色光子46或56分别穿过红掩膜41或51、以及位于下方的隔离层42或52，可以进入半导体层43或53，从而可以分别生成一个自由光电子47或57。该自由光电子分别被吸附于附近的掺杂区44/45和54/55，其中距离越短吸附力越强，促使自由光子分别移向掺杂区44和45其中之一或者掺杂区45和55二者，其遵从由不同吸附力和不同距离长度(反比的)确定的统计概率。
单位图像传感器集成了越来越多的像素，而且为节约成本，图像传感器的总面积变得越来越小，基于这样的事实，图4b中像素的掺杂区54和55之间的距离就要小于图4a中掺杂区44和45之间的距离，并且，图4b中彩色掩膜50和51之间的距离也小于图4a中彩色掩膜40和41之间的距离。因此，光电子57与相邻像素的掺杂区55的距离，相较于光电子47与掺杂区45的距离要更小。由于距离较小，相邻像素的吸附力强度增加，同时其距离的长度减小。因此，相较于在图4a中的对应情况，即所述红光48产生的光电子47漂移至错误的掺杂区45(沿箭头49)而非正确的掺杂区44(沿箭头48)，由所述红光58产生的光电子57漂移至错误的掺杂区55(沿箭头59)而非正确的掺杂区54(沿箭头58)的统计概率有所增长。
光电子错误漂移到邻近的掺杂区的效应被专家们称为“串扰”。如果现将拜耳模式设置于传感器上，由上述两个趋势引起的串扰增长，将导致越来越多的光电子被分配到相邻像素的错误色彩，因为拜耳模式在水平的或垂直的相邻像素之间总是包含不同颜色的色滤器。这导致了一个不利的坏颜色分离。
硅的一个物质属性是：波长相对长的红色光子对它的穿透深度明显高于波长相对小的蓝色光子对它的穿透深度。因此，在相同信号密度下，由红像素引起的串扰发生频率往往高于由蓝像素引起的。
图5示出一带有拜耳模式的现代色彩图像传感器的量子效率曲线示意图。特别的，量子效率曲线(quantum efficiency curves，QE)60、61和62分别示出红像素、绿像素和蓝像素。如果将这些曲线与人类视觉的灵敏度曲线即所谓的CIE基色系统(CIE Norm ValentSystem)的X、Y和Z进行比较，将明确严重的差异，特别的：在图5所示的曲线在任何波长下的量子效率均不为0。然而，根据CIE基色系统，举例来说，红像素的量子效率曲线60在波长λ等于400nm和500nm处和蓝像素的量子效率曲线62在600nm及以上处实际应该为0。这种偏差可以由上述坏颜色分离解释。
由于所述坏颜色分离，将发生不利的色彩错误，例如，某个颜色饱和度太小。这可以通过根据EP 2383974B1描述的方案或其他已知的方法进行修正，例如，通过一个技术上的常见的3x3的色彩矩阵。
此外，取决于图像传感器的精确设计，使串扰各向异性地的发生是可能的，即：发生在垂直相邻的像素之间的串扰部分与水平相邻像素之间的不同。这里，术语“垂直相邻”和“水平相邻”是根据图3所示的表达。
如果现在假定一个均匀的明亮的灰色区域被图像传感器以合适的白平衡记录。那么，由于是灰色，红像素的信号与蓝像素的信号大致相同。如果绿像素是大体一致，而不论它们的位置，并且如果垂直相邻像素之间的串扰高于水平相邻像素之间的，且如果由于已知红色光子在硅中相比蓝色光子具有较大的穿透深度，红像素所产生的串扰高于由蓝像素所产生的，将出现以下情况：由于从红像素(R)到第一和第二绿像素(Gr)和(Gb)的串扰，它们各自的信号增强。由于垂直相邻像素之间的串扰高于水平相邻像素之间的，所以垂直相邻的第二绿像素(Gb)信号增加相比于横向相邻的第一个绿像素(Gr)信号增加更有力。同样，通过从蓝像素到垂直相邻的第一个绿像素(Gr)的串扰，它们的信号增加相比于水平相邻第二绿像素(Gb)的要稍强一些，第二绿像素(Gb)信号增加的少些。由于根据红像素所产生的串扰高于蓝像素所产生的这一假设，第二绿像素(Gb)信号增加的总和强于第一绿像素(Gr)信号增加的总和。因此，第一和第二绿像素信号(Gr)和(Gb)彼此之间发生了偏差，这被命名为所谓的“绿-绿失衡”。
根据标准EMVA 1288可知，图像传感器以及数码工业相机的图像都包括具有这里所描述的特征的噪声。这种噪声可受到数学校正过程(如去拜耳算法和色彩误差校正)应用的影响，并且主要是放大。在这种情况下，像素信号和色彩值，可以被分别解释为测量值，而噪声可以被解释为测量误差。
图6示出一RGB色彩空间立方体的示意图。该RGB色彩空间及其分量范围限值可以表示为一个立方体。其顶点都指定了字符，其中，K用于代表黑色，是该色彩空间的原点，R为红色，G为绿色，B为蓝色，Y为黄色，C为青色，M为洋红(magenta)，而W为白色。从K到W的连接线称为非彩色线70。黑色、白色和多个灰色调置于其上。此外，垂直于非彩色线的方向称之为色彩方向71和72。
图7a至7d示出在RGB色彩空间中不同的噪声云的示意图。为了说明颜色校正对噪声的作用，假设一个64x64像素的均匀的灰度图像，由一个带有拜耳模式的图像传感器记录。在灰度图像上叠加了一个规则分布的噪声，其在色滤器的颜色中是恒定的。去拜耳算法通过常用的2x2法来执行，其中，像素缺失色彩R或B的缺失值由向左或向上或向左上搜索各个缺失色彩的各自的相邻像素而确定，并且可以直接获取数值，并且为了确定G值，总是产生绿像素的平均值，绿像素向左边和向上边安置或在像素自身以及安置在左上方。绘制在RGB色彩空间中绘制由此获取的色彩值80，其中，K是黑色原点，R、G和B是RGB色彩空间的基向量。图7a和7b是同一色彩值云的不同视图。图7a中，观察者自垂直于非彩色线的红色方向观察，而图7b中，自平行于非彩色线方向观察，于是，原点K被该色彩值云所隐藏。
现在，将实际中使用的颜色校正应用于图7a和7b所示的色彩值80的云，如此，得到校正后色彩值81，它们被以与色彩值80在图7a和7b中相同的方式在图7c和7d中示出，因此，可以直接进行比较。云的范围扩展这里可以解释为对噪声强度的直观估量。因此，如果获取的是小色彩值云是有利的，因为其对应于更小噪声，这会带来一个更好的感知图像质量。直接比较表明校正后色彩值81的云相较于原色彩值80的云在彩色方向上有实质地更高扩展，这就表明通过不利方式的颜色校正，色彩噪声有了实质性增长。
已知的数学图像处理过程，可将数码相机的图片进行软化。通过软化，噪声被有利的减少，然而，同时图像清晰度降低。为减少不利像噪声的数学图像处理过程被称为“降噪”。
图8示出像素的不同环境示意图。多数上述数学图形处理过程需要周边像素98的值，用以计算中心像素97的值。因此，许多这类数学图形处理过程不能基于1x1环境91，而需要更大的环境，例：如2x2环境92、3x3环境93、5x5环境94或7x7环境95。同时，非正方的环境也是可行的，例如：7x3环境96。
图9示出一逐行读出流程原理示意图。图像传感器输出图像通常以逐行的方式进行，也被称为逐行读出。在这种情况下，像素信号100最初以行方向102输出，然后是其右侧的邻近像素信号101，以此类推，按照读取方向。如果已经达到行103的最后一个像素，逐行方式读出产生向下一行105的跳104，并再次从第一个像素开始。
由于大多数上述数学图像处理过程需要环境(数据)，必须借助环境的帮助来计算像素的值，其中，相关像素位于中心。为了建立这样一个环境，存储器是必要的。在逐行读出的情况下，N-1行的全行数据必须存储在该存储器中。此外，还需要存储N-1个像素的存储器。在传统的图像传感器中，行长度远远大于N-1，因而所需要存储器的大小是主要由行数决定的。
图10示出读出延迟原理示意图。如果像素111的信号被渐进传输，并且进行一个数学图像处理过程，其需要一个环境，例如：5x5环境110，应当被用于计算该像素的值，这是不可能立即进行的，因为像素111右侧相同行的像素值以及位于像素111之下的所有值都还没有被传输到相应的处理单元，因此它还不知道。最后面的像素，是指像素的信号传输在时间上是最后的像素，并且传输像素112的信号之后，完整5x5环境110的信号被呈现，该像素是中心像素112。从获知像素112值的时刻，中心像素111的值，例如色彩值，就可以被计算，然后逐步通过一个接口传输。这意味着，最终图像值的逐渐传递最早在水平延迟113加垂直延迟114之后才能被影响，这里，延迟的时间可以根据数据速率、行的长度以及相邻像素112相对于中心像素111的相对位置来计算。如上述解释，由于相机的图像输出快速是有利的，所以水平延迟113和垂直延迟114应尽可能小。由于垂直延迟114大多比水平延迟113大几个量级，在逐行输出图像的情况下，垂直延迟114尤其应尽可能小。
由NxN环境而产生的垂直延迟相当于至少是(N-1)/2行，而水平延迟是(N-1)/2像素。在上面的例子中，需要额外的存储器用于建立环境110，在其中存储像素112的信号，并且可以从中恢复环境110的所有其他像素的信号以构建环境110。如前所述，由于数字工业相机的图像应尽可能以高数据速率输出，访问所述存储器也应尽可能以高数据速率。
此外，当使用环境时，需要来自环境的多个信号来计算一个像素的值，例如，在一个5x5环境的情况下需要计算25个值。由此，只有像素112的信号刚被发送，因此，在根据上述图10的例子中，最多24个值从所述存储器中恢复。这意味着访问所述存储器的数据速率必须数倍高于数码工业相机的图像输出数据速率。例如：如果该数码工业相机应以每秒1亿(108)像素输出图像，则每秒计算108个值需要每秒对存储器进行108个写操作，以及每秒对存储器进行24x108＝2.4x109个读操作。能够支持如此高访问数据速率的存储器自然是小的，也即，它们的存储容量很小，并且很贵。例如：FPGA中所谓的嵌入式RAM(Random AccessMemory)、或者这里可能提及的DSP中的Level-1Cash。如果使用的数学图形处理过程需要的存储器容量尽可能小、数据访问速率尽可能小，是十分有利的。就是说，应尽可能选择小环境。
图11示出与环境有关的系列图像处理过程的示意流程图。这些是图像处理动作，其中，像素120的信号依次进行不同的数学图像处理过程123、126和129。第一过程(M1)123需要一个环境121，其由通过第一存储器(S1)122获取的像素120信号数据流产生。由于随后的第二过程(M2)126在某种程度上使用第一过程123的结果，致使由第一过程123结果的像素组成的第二环境124是必需的，该第二环境124必须通过第二存储器(S2)产生。同样的，第三环境127必须由第二过程126结果通过第三存储器(S3)产生，如果第三过程(M3)需要它们。以这种方式，一个任意数量的过程可以一个接一个进行。最后，一个最后值130作为结果输出。如果存储器122、125和128被配置为分离的装置，则该相机的复杂性增加。如果存储器122、125和128被集成于一个组件中，则相比分离存储器所需的带宽，组合存储器必须拥有更高的访问带宽。而且，每一后续环境都导致不利的延迟增加至少(N-1)/2行和(N-1)/2列。
在下面的实施例中，提供一个包括具有拜耳模式图像传感器以及包括处理单元的数字工业相机、或帧捕获器(Frame Grabber)、或计算机，用于提供整体数学图像处理过程，其能根据图像传感器信号生成高质量彩色图像，其中只需特别小的存储器容量并提供特别低存储器访问带宽。图像能以特别小的垂直和水平延迟输出，其中执行去拜耳算法以生成高质量、低噪声的彩色图像。因此，在保持低噪声(特别是彩色噪声低)且好的图像锐度的同时，避免了色彩失真和绿-绿失衡。这里，整体数学图像处理过程应被理解为在单一环境中执行所需的所有图像处理过程的过程。
图12示出整体图形处理过程的示意流程图。这里，根据使用存储器(S132)的所考虑像素130的信号数据流仅仅建立单一环境131。基于该环境131，通过整体数学过程(M)133计算出的结果值134，其中整体数学过程(M)133至少从以下图像处理中选择一种执行：去拜耳算法、反锯齿处理、降噪处理、锐化处理、绿-绿失衡校正。因此，对存储器的需求保持低水平，并且访问存储器需要相对小的带宽，从而导致低延迟。环境131可以是正方形，即NxN像素大小。因此，它具有一个在水平方向和垂直方向上的镜像对称性，以及90°旋转对称性，并且允许使用相应的对称图像处理过程。这些是有利的，没有用户所讨厌的水平的或垂直的主导方向可见。
此外，NxN环境131可以选择N是奇数。这导致以下优势：给定中心像素111，从中心像素的位置，环境131在水平反向、垂直方向或对角线方向覆盖相同数目的像素。这提供以下优点：可以在无不利相移的条件下使用计算规则。而且，还具有可以防止从结果值得到图像中有可见的主导方向的优点。
图13示出拜耳模式四个相位关系示意图。关于一个环境，拜耳模式恰好有四个相位关系。中心像素是红色(R)的情况被称为“cR”，中心像素是绿色(G)，水平相邻像素是红色(R)的情况被称为“cGr”，中心像素是绿色(G)，水平相邻像素是蓝色(B)的情况被称为“cGb”，以及中心像素是蓝色(B)的情况被称为“cB”。
如果NxN环境选择N＝5是有利的。如果N＝1，去拜耳算法不可能进行，因为1x1环境没有包含所有的颜色。如果N＝3，所有颜色实际上包含于环境中，但对于cR和cB的情况，有一个颜色仅出现一次。对于带有少许噪声的去拜耳算法，如果环境中每个颜色都包含数个像素总归是有利的，因为这些像素可以互相抵消而噪声有利地降低。然而，这仅在环境大小N＝5或更大的前提下。也可以用于N＝7、N＝9、N＝11等。但，更大的N>5的环境需要更多的存储器容量和更高的存储器访问带宽。总之，以下实施例也可以在更大的环境中实施。
图14示出根据第一实施例重建色彩分量的流程示意图。
如前所述，结果值134的色彩值包括一个RGB色彩空间中的色彩向量，红、绿、蓝色彩分量这里分别被称为“Rout”、“Gout”和“Bout”。建议：这些分量通过所述整体数学图像处理过程133计算，以低噪声色彩分量R1、G1和B1首先被确定的方式进行，通过各自的加法器135为R1、G1和B1增加一个绿色结构化信息GS。由于下述原因，这样设计可导致低的彩色噪声。首先，色彩分量R1、G1和B1定义为低噪声的。三个色彩分量都增加相同的值使得色彩值沿平行于RGB色彩空间的非彩色线方向移动。这样，通过值GS产生的噪声增量不会在结果值134中引起不利的彩色噪声，仅仅是非彩色噪声。
图15示出一示范性卷积矩阵140。从环境中进行值计算可通过应用如图15所示的卷积矩阵140在目标像素的环境上来获得。如果卷积矩阵140中的许多元素都为0，这样的卷积仅需要很少的计算开销，因为分配到这些元素的数学运算都可以免除。这里，元素a00、a01、a02、a03、a04、a10、a14、a20、a24、a30、a34、a40、a41、a42、a43和a44被称为边缘元素141，而元素a11、a12、a13、a21、a22、a23、a31、a32和a33作为内部元素142。
如果用于确定值R1、G1和B1的三个卷积矩阵是以如下方式构造的是有利的：尽可能正确的重建红色、绿色和蓝色。在计算R1时，需要卷积矩阵中所有针对红像素值偏移的元素总和，引起值“1”；所有针对绿像素值偏移的元素总和，引起值“0”；以及所有针对蓝像素值偏移的元素总和，也引起值“0”。同样的方法，在计算G1时，需要卷积矩阵中所有针对绿像素值偏移的元素总和，引起值“1”；所有针对红像素值偏移的元素总和，引起值“0”；以及所有针对蓝像素值偏移的元素总和，也引起值“0”。同样的方法，在计算B1时，需要卷积矩阵中所有针对蓝像素值偏移的元素总和，引起值“1”；所有针对红像素值偏移的元素总和，引起值“0”；以及所有针对绿像素值偏移的元素总和，也引起值“0”。基于相同的原因，在计算GS时，需要卷积矩阵的元素总和们，每个元素总和被分配给红像素、绿像素和蓝像素三者之一，各引起一个值“0”。根据相位关系cR、cGr、cGb和cB，由于红像素、绿像素和蓝像素位于不同位置，因此适合为四个相位关系的每一者和三个颜色的每一者使用各自的卷积矩阵，从而为三个颜色和四个相位关系获取12个卷积矩阵。然后，从通过在根据相位关系的环境中应用所述卷积矩阵所获取的数值中选择特征值R1、G1和B1。或者，也可能进行这样的卷积，它的结果值是实际需要的。例如如果使用DSP，后者是有利的，因为计算开销缩减。
而且，使用拜耳模式的相位对称性有利于减少计算开销。这种情况下，红像素在cR中的位置正好是蓝像素在cB中的位置，则在cR中计算R1的相同卷积矩阵可以被用于在cB中计算B1。因此，下表中列出的所有对称位置可以被使用，它们中的每一个均允许对计算结果的联合使用，如此将计算R1、G1和B1的计算开销降低一半，也即，由12个卷积矩阵降为6个。
| 第一相位关系 | 第一计算结果 | 第二相位关系 | 第二计算结果 |
| cR | R1 | cB | B1 |
| cR | G1 | cB | G1 |
| cR | B1 | cB | R1 |
| cGr | R1 | cGb | B1 |
| cGr | G1 | cGb | G1 |
| cGr | B1 | cGb | R1 |
为了配合上述有利的对称性需求，如果分别选择卷积矩阵是在水平方向和垂直方向上镜像对称的，以及90°旋转对称的，是有利的，只要在拜耳矩阵中颜色的位置是允许的。根据EMVA 1288，假设图像传感器不同像素的信号噪声是彼此不相关的，即它是统计上独立随机事件。因此，使用像素信号环境的卷积的影响可以通过误差传播计算来估算。当且仅当卷积矩阵的元素尽可能小并且都为正时，卷积矩阵的噪声传播尤其低。这是有利的，因为通过这样的卷积矩阵可产生低噪声值。
在FPGA中，以位向量也即二进制的数来表示值。乘以2或1/2的常倍数乘法在其中能以低开销被执行，因为包含这些数的各个寄存器必须只能以不同方式(即移位方式)进行访问。当卷积矩阵的元素均为2或1/2的倍数，可在不使用硬件资源(例如：固定有线乘法器)的情况下提供相应的分配的乘法，从而节省硬件资源。
在使用卷积矩阵的情况下，某个颜色的边缘元素的值大于或等于同一颜色的内部元素的值，将观察到不利的图像瑕疵。例如，只要提供的正值元素为同一值以及其他元素都为0时，就产生图像伪影，其不利地使得图像看起来像马赛克。可通过将边缘元素的绝对值选定为小于内部元素的值来避免这类伪影。
16示出在相位关系cR、cGr、cGb和cB中用于确定值R1、G1和B1的示范性卷积矩阵，其满足上述的有利的需求。在每一种情况下，实际的卷积矩阵前面的分数值意味着卷积矩阵的所有值必须乘以这个分数值。此外，这里约定，所有的空白处包含值“0”。从而，在以下取得更方便的记述和更好的可读性。
于相位关系cR，卷积矩阵FR1cR用于确定R1，卷积矩阵FG1cR用于确定G1，卷积矩阵FB1cR用于确定B1。对于相位关系cGr，卷积矩阵FR1cGr用于确定R1，卷积矩阵FG1cGr用于确定G1，卷积矩阵FB1cGr用于确定B1。对于相位关系cGb，卷积矩阵FR1cGb用于确定R1，卷积矩阵FG1cGb用于确定G1，卷积矩阵FB1cGb用于确定B1。对于相位关系cB，卷积矩阵FR1cB用于确定R1，卷积矩阵FG1cB用于确定G1，卷积矩阵FB1cB用于确定B1。
图17示出在相位关系cR、cGr、cGb和cB中用于确定绿色结构性信息GS的示范性卷积矩阵。对于相位关系cR或cB，分别通过使用卷积矩阵FGScR或FGScB确定GS，对于相位关系cGr和cGb，分别通过使用卷积矩阵FGScGr和FGScGb来确定GS。在这一实施例中，也满足前述有利特性，除了卷积矩阵的所有元素均为正。此处有意避免满足这一特性，为了能满足确定所述绿色结构化信息GS值的需要，即所有元素之和为零。
如图17所示的这类卷积矩阵，以一种方式提供来自绿色值G1的结构偏差作为绿色结构化信息GS，这种方式使得结构化信息的增加以有利的方式贡献结构上更丰富的值。
图18a至图18d示出在小结构中发生错误色彩的原理示意图。当带有拜耳模式的图像传感器记录小结构，并且随后通过去拜耳算法计算色彩值时，经常发生不利的错误色彩。它们的原因可以通过图18a至图18d解释。如图18a所示，假设图像传感器记录了一个水平的黑白条图案，它包括水平指向的亮条160、162和164和与亮条平行的暗条161和163，其中，红、绿和蓝的信号彼此相同，这适用于亮条和暗条160至164。注意到：所有的红像素都为亮而所有的蓝像素均为暗。这个条纹图案作为数据流被传输，而在图像处理计算单元中，由此建立了一个环境，基于该环境，利用图16所示的卷积矩阵FR1cR、FG1cR和FB1cR计算色彩值R1、G1和B1。注意到：卷积矩阵FR1cR仅根据亮条160、162和164的明亮红色信号行计算卷积和，另一方面，卷积矩阵FB1Cr仅根据暗条161和163的黑暗蓝色信号行计算卷积和。如果以类似的方式考虑卷积矩阵FG1cR的影响，由此产生一个具有色彩分量R1、G1和B1的桔橙色值和一个具有色彩分量Rout、Gout和Bout的橙色值。这些橙色值对应于非期望的错误色彩，因为原始记录的条纹图像是完全非彩色的。
图18b中取得了相似的情况。这里，还假设水平的黑白条图像包括暗条165、167和169，以及亮条166和168。这种情况下，蓝像素是亮的，而红像素是暗的，在使用卷积矩阵FR1cR、FG1cR和FB1cR下，将获得一个天蓝颜色值，其同样对应于不利的错误色彩。
图18c示出了相同的情况。只是这次，针对竖直方向的黑白条图像包括亮条170、172和174，以及暗条171和173。与图18a中类似，得到一个非期望的橙色错误色彩作为结果色彩值。
最后，图18d中示出了与图18c相同的情况。然而，亮条176和178没有位于红像素上而是在蓝像素上，而暗条175、177和179没有位于蓝像素上而是在红像素上。据此，得到一个非期望的天蓝错误色彩。
图19示出根据第二实施例利用错误色彩的增量校正，重建色彩分量的示意流程图。其中，数学图像处理过程133以如下方式改进：从环境131中计算一个增量校正值DAA，以去除错误色彩；通过一个带有取决于相位关系的符号的加法器/减法器180，该增量校正值分别被添加至分量值R1和B1或自分量值R1和B1减去，即添加至一个值或自其它值减去。图19中，示出计算增量校正值DAA的一个例子。
这种方法是基于认识到在绿像素上也可找到明暗交替的条纹图案。由于对于不同颜色和不同条纹方向的几何情形包括颜色和空间的对称性，添加至色彩分量R1和B1其中之一的校正值DAA与各自色彩分量的另一个色彩分量必须减去的校正值完全相同。
图20示出根据第三实施例考虑小结构方向对示出校正值的影响，重建色彩分量的示意流程图。
比较图18a和图18c以及图18b和图18d的示例性情形，得出以下结果：在对应的第一情形中亮的绿像素在对应的第二情形中都是暗的。如此，通过环境131中绿像素信号分别卷积确定值AA、通过乘法器190将该值乘以一个正的或负的方向估值D(其中，该方向估值D的符号取决于图像中水平或竖直的主导方向)，从而以合适的方式确定校正值DAA是可行的。如此，第三实施例能以简单方式实现，仅适用少量硬件开销和计算时间，而可以减少或去除错误色彩。
作为替代，还可以其他方式使用方向估值D，例如：用于计算一个加权平均的权重，并将此加权平均值应用于分配给不同方向的两个值之间。
同时，基于方向估计，在不同方向值进行选择是可行的替代方案。因此，可以减少对FPGA逻辑资源的需求。
进一步的，按照以下方式设计用于确定值AA的对应卷积矩阵是有利的：卷积矩阵中每行和每列的标志均变换，其后为在每行每列改变的光照强度获取到一个有效的校正项。同时，如果用于确定AA的卷积矩阵的元素总和结果为“0”是有利的。从而，在无结构化区域中，也可避免错误色彩。
图21示出用于确定值AA的示范性卷积矩阵。这里，卷积矩阵FAAcG用于相位关系cGr和cGb，而卷积矩阵FAAcRB用于相位关系cR和cB。这些卷积矩阵满足上述需求并提供额外的优势，即所有的元素的绝对值均是2的幂，从而在图像处理(例如：在FPGA中)中通过简单的二进制数值移位以简单的、节省资源的方式实现乘法。
如上所述，方向估值D可按照一个方式确定，使得它包括一个在水平结构情况和垂直结构情况下有不同符号的值，并且在例如光滑平面等没有主导方向的结构时，该值接近为0。进一步的，如果计算规则例如卷积矩阵，对于水平相邻像素的相位关系，行总和是一致的；而对于垂直相邻像素的相位关系，列总和是一致的。因此，可避免可能导致非期望的混乱伪影的方向估值的不断变化。
这类混乱伪影的影响可通过例如预设的测试图像检查。为此，可使用图像kodim19.png(在http://optipng.sourceforge.net/pngtech/corpus/kodak/ kodim19.html中下载)。这幅图像常常被专家用于测试数学图像处理过程。在这种情况下，人工传感器的图像信号是从原始彩色图像产生的，通过逐个像素的方式选择一个由拜耳模式预定义的颜色成分，并使用去拜耳算法。
那么，通过比较两个值DH和DV确定方向估值D，其中，DH代表水平方向的亮度变化，而DV代表竖直方向的亮度变化，根据所述两个值哪个更高，将一个正的或负的符号分配到方向估值D。如果两个值相等，方向估值设为“0”，如此，方向估值D以简单方式被确定。
从获得的值DH和DV的差值来确定方向估值D是可能的。如果得到的差值超出预设的上限值或低于预设的下限值，方向估值D可设为上限值或下限值，从而采用的上下限。可以将上限值设为“1”，下限值设为“-1”，从而方向估值D的取值范围限制在-1到1。这提供下述优势：对于高差值的结构方向可清楚确定的情形，方向估值D设定为“-1”或“1”，从而能容易地形成DAA值。而且，对结构方向不能清楚确定的情形，其好处是为方向估值D设定的值的绝对值小于1，因此DAA的绝对值更小，从而避免在图像平滑平面进行过度校正。
图22a至22d示出确定亮度变化和内部区域亮度变化结果的原理示意图，其中，22a)为水平方向的变化，22b)为垂直方向变化，22c)为水平方向的变化结果，22d)为垂直方向的变化结果。
分别以水平方式或垂直方式的亮度变化可以通过为环境131的内部区201中每个像素确定一个值来确定，该值为分别在水平方向或垂直方向上的相邻两像素差的绝对值。而如图22a所示，值h表示针对像素202水平方向的亮度变化，其可被确定为水平相邻像素l和r的差值绝对值。类似的，如图22b所示，值v表示针对像素202垂直方向的亮度变化，其可被确定为垂直相邻像素o和u的差值绝对值。依据相位关系和中心像素203的颜色，分配给像素202的值h和v表示特定的颜色。对于相位关系cGr(例如图22a和22b中)中心像素203是绿色，带有值l的像素和带有值r的像素都为蓝色，带有值o的像素和带有值u的像素都为红色。因此，对于像素202，值h表示蓝像素之间的差异值，值v表示红像素之间的差异值。
图22c示出表示水平亮度变化的值h基于色彩的关系，如前所示，值h有关于像素202的蓝色(B)。图22d示出表示垂直亮度变化的值v基于色彩的关系，如前所示，值v有关于像素202的红色(R)。
图23示出用于方向预估的示范性卷积矩阵210。为了防止颜色依赖性的结果，这样是有利的：如果当从值h和v确定值DH和DV时，不同的颜色的差值中都输入与它们在拜耳模式中出现频率对应的部分。这可以通过将卷积矩阵210的内部区的值h和v分别乘以一个2的幂的简单方式来获得。例如，如果卷积矩阵210应用于图22a至22d的区204和205，红色和蓝色差的绝对值采用因子1/4计算，而绿色采用因子1/2计算。
进一步的，卷积矩阵210具有可避免非预期的方向估计变化和与之相关的混乱伪影的特性。常常可见另一种不同的方向估计的原因在于：对水平相邻的相位关系的不同颜色以逐行的方式引入卷积，相应的，对垂直相邻的相位关系的不同颜色以逐列的方式将不同的因子引入卷积。为避免混乱伪影，对于水平相邻相位关系(例如：cR和cGr、cGb和cB)，应使得其中对于每一行和行中的每一个颜色，属于相同颜色的卷积矩阵元素的行总和是相等的。进一步的，对于垂直相邻相位关系(例如：eR和cGb、cGr和cB)，应使得其中对于每一列和列中的每一个颜色，属于相同颜色的卷积矩阵元素的列总和是相等的。
在图23中卷积矩阵210中，对于水平相邻相位关系，不同颜色的因子之和的各自行总和相等，因此避免了混乱伪影。
进一步的，如果图16、17和21中的常规卷积矩阵可以由常规基本滤波器导出是有好处的。这样，所有滤波器在空间上是相协调的，可以有效避免扰乱色彩条纹。此外，对于每个颜色和每个相位，卷积矩阵可分别用于水平插值(IHF)或垂直插值(IVF)。例如，在红像素位置的红色值可通过一个仅在中心为“1”其他位置仅为“0”的卷积矩阵来确定。此外，在与红像素水平相邻的绿像素位置的红色值，可通过对环绕在该绿像素周围的红色值取平均值来计算。故，卷积矩阵IHF在中心像素的左侧和右侧可包含值“1/2”，其他位置为“0”。类似的，可提供更复杂的插值卷积矩阵IHF和IVF，例如考虑其他颜色在值范围的弯曲。
最后，可假设一个改进的卷积运算，其中，计算环境的大小保存在该卷积中，并且在出现边缘问题时，通过合适的假定，例如：通过在保持拜耳模式的同时为计算设定一个周期性的扩展，可获取基于颜色的校正结果。如果针对不同颜色，插值卷积矩阵以合适的方式抵消不同相位不同颜色的矩阵位置，并且如果将结果以图20所示进行分离，当忽略非常小的贡献或差异时，则可获得上述矩阵。
图24示出一个常见基本滤波器的例子。所述基本滤波器一方面提供强减小噪声的特性，另一方面获得可在开销很小的图像处理计算单元(例如FPGA)中实现的卷积矩阵。如此，本实施例中所提及的关于R1、G1、B1、GS和AA的计算规则都可通过例如这个基本滤波器来实现。
图25示出有关估计问题的原理示意图。如果方向估计是有效的，则在图18a至18d中说明的估计问题结合例如上述绿色的插值一起提出。这里，应该为中心像素154估计绿色值。假定水平相邻绿像素150和151是亮的，并且垂直相邻像素152和153是暗的。对于中心像素154的绿色值是明是暗的问题，可以基于进一步的信息来决定。根据本发明，该信息可从方向估值D中导出，由以下第四实施例来说明。
图26示出根据第四实施例考虑小结构方向，重建色彩分量的示意流程图。
在本第四实施例中，除了生成结构化信息GS，还生成第二详细结构化信息，在此称为GS2，在。为了计算GS2，需要通过选择单元221按情形区分下面两个方面：一方面，相位关系cGr和cGb概况为为相位关系cG，另一方面，相位关系cR和cB概况为相位关系cRB。在相位关系cG的情况，选择GScG作为结构化信息。另一方面，在相位关系cRB的情况，RBScRB与由乘法器220产生的GScRB和方向估值D的乘积的和作为第二结构化信息。
这是基于以下想法：在相位关系cG中，环境131的中心像素已经是绿像素，其信号是可用的并可直接用于产生第二结构化信息GScG。而在相位关系cRB中，在所述绿色通道中得到图26所示的估计问题。根据本发明，这个可以通过GScRB卷积矩阵确定该绿色通道的结构化信息来解决，如此，方向依赖通过符号编码。当GScRB通过乘法器220乘以方向估值D(其中也通过符号编码了方向信息)时，获得结构化信息，从而以正确方式解决上述问题。可通过利用加法器223加入值RBScRB在细节程度上进一步改进该第二结构化信息。根据相位关系cRB对应于相位关系cR还是cB，值RBScRB本身包含了详细红色或蓝色像素的结构化信息，。
第二结构化信息另外提供的好处是：图像的清晰度得以改善，并获得一个更简化的图像处理，例如：写入检测。如果GScG、GScRB和RBScRB对应的卷积矩阵FGScG、FGScRB和FRBScRB每一者都包括“0”在它们的总和中，则是有利的，因为可避免不利的亮度错误。此外，如果卷积矩阵FGScG和FRBScRB均是90°旋转对称同时也是自身镜面对称，则是有利的，因为可避免在结果图像中出现不利的主导方向。进一步的，如果卷积矩阵FGScRB是水平和垂直镜面对称的，并以旋转90°变化符号，则是有利的。如此，可获得与乘以方向估值D相关的预期功能。
图27示出示范性卷积矩阵FGScG、FGScRB和FRBScRB用于计算GScG、GScRB和RBScRB，它们满足上述所有的有利特征。此外，可使用上述第二基本滤波器GF2计算卷积矩阵。所有的卷积矩阵尺寸很小，且仅为2的幂或负的2的幂，因此图像处理计算单元(例如：FPGA)保持低的计算开销。
图28示出第二基本滤波器GF2的例子。该滤波器有利地包括高空间频率和与第一基本滤波器GF相同的对称性。
图29示出根据第五实施例考虑小结构方向，重建色彩分量的示意流程图。
在上述第四实施例中，可能发生非预期交错的图像伪影。这可被归为绿-绿失衡。通过使用不同的图像传感器、不同的照度和不同的物体颜色，可证实图像中某处的绿-绿失衡分别与那里的红色信号和那里的有效蓝色信号成比例。因此，绿-绿失衡可通过使用色彩分量R1和B1进行线性校正。通过测量不同颜色，可为不同的图像传感器分别确定值RXG和BXG，其分别表明绿-绿失衡值dG与红色值和蓝色值按比例变化的强度。从而，值dG定义为Gr减去Gb的差。
进一步的，考虑到值R1、G1、B1、GS、RBSeRB和方向估值D都不受绿-绿失衡的影响。相反，值GScG和GScRB受到绿-绿失衡的影响强烈。理论上，值AA也受到绿-绿失衡的影响，虽然实践中没有看到效果，故省略关于绿-绿失衡对值AA的校正。
由于绿-绿失衡对值GScG和GScRB的校正需要在第五实施例中做出以下改进。颜色值R1和B1在相应的乘法器230、231中分别乘以对应的值RXG和BXG。从而在获取的结果中，通过减法器232得到差值，根据相位关系，将得到的差值在对应的逻辑元件234、235中要么与值GScG和GScRB相加，要么与它们相减。绿-绿失衡主要由与绿像素相邻的红像素和蓝像素引起的。而为了计算R1、G1和B1的值，可能利用稍远些的红色或蓝色像素，从而导致在图像边缘发生非预期的锯齿伪影。这类不利的图像伪影可根据需要予以避免，通过将为计算绿-绿失衡校正值的值R1和B1替换其他值R2和B2，其中，值R2是通过考虑距离环境131的中心像素236最近的红像素信号对应的相位关系来确定的，而值B2是通过考虑距离环境131的中心像素236最近的蓝像素信号对应的相位关系来确定的。
图30示出利用各自距离中心像素236最近的色彩值确定值R2和B2的示范性卷积矩阵。在相位关系cR中，值R2由卷积矩阵FR2cR确定，而值B2由卷积矩阵FB2cR确定。另外，在相位关系cGr中值R2由卷积矩阵FR2cGr确定，而值B2由卷积矩阵FB2cGr确定。在相位关系cGb中，值R2由卷积矩阵FR2cGb确定，而值B2由卷积矩阵FB2cGb确定。最后，在相位关系cB中，值R2由卷积矩阵FR2cB确定而值B2由卷积矩阵FB2cB确定。这种计算是简单并节省资源的，特别是，由于卷积矩阵FR2cR和FB2cB、卷积矩阵FR2cGr和FB2cGB、卷积矩阵FR2cGb和FB2cGr，以及卷积矩阵R2cB和B2cR的相似性，如图30所示，该相似性是由拜耳模式的对称特性引起的。
在之前和之后的实施例中，凡是值R1和B1与值RXG和BXG一同执行的乘法运算，也可以应用为值R2和B2与值RXG和BXG一同执行。
如果假定环境131的空间中心像素236的信号为最大可能值(例如：8位二进制数的值255)，即该值饱和，针对绿-绿失衡的值GScG和GScRB的校正可能引起进一步不利的图像伪影。例如，如果在环境131中呈现饱和值，因为在环境131中没有呈现图像结构变化，GScG和GScRB的值通常为0。然后可能发生：在至少一个相位关系中，逻辑元件234或235减去从减法器232处获得的一个正值，结果导致选择单元221选择了一个负的结构化信息，从而在结果图像中出现一个规则点模糊状的带纹结构，其构成一个非预期伪影。
这一问题的解决可通过确定一个逻辑值CCmax，其用于指示中心像素236的信号是否是饱和。基于这个逻辑值CCmax，随后的选择单元233执行一个选择：逻辑元件234和235是否被填充为“0”(中心像素236饱和)或填充为减法器232的结果(中心像素236不饱和)。当然，替代该选择单元233，依据值CCmax可在逻辑元件234和235中分别提供加法或减法。从而，上述问题得以解决，开销小同时避免了图像瑕疵。
图31示出根据第六实施例的重建图像清晰度改进的色彩分量的示意流程图。
常常渴望图像清晰度的进一步改善。在本第六实施例中实现了这改善：通过在乘法器240中将加法器222的输出的结构化信息的总和乘以值Sh。如果Sh的值大于1，则导致一个被放大的结构化信息在加法器135中被加到色彩值R1、G1和B1上。该放大的结构化信息提供了有利的图像锐化外观、强化细节。如果被记录的图像仅具有少量尖锐的细节，可通过将Sh设为0≤Sh<1来减少该图像结构的部分。在强噪声图像的情况下，这样做可使得感知到的非彩色噪声被有利地缩减。非彩色噪声是指在平行于非彩色线的色彩空间的方向上产生的噪声。如果Sh设为1，则不会得到与Sh有关的图像变。
当然，可在执行加法器222的加法之前进行结构化信息乘以值Sh。而这种情况下，需要多个乘法器。
并且，可提供一个控制元件来设定值Sh。通常，可以直接在相机中提供该控制元件。也可提供一个寄存器来设定值Sh，这样程序或用户可通过电子接口来设定值Sh。进一步的，也可提供一个计算机程序，是用户可以输入或设定Sh的值，例如：通过软件实现的输入域或滚动条或旋转控制器。通过控制元件，用户(可以是人或计算机程序)能够影响图像的清晰度和期望的图像操作点。
图32示出根据第七实施例通过降噪重建色彩分量的示意流程图。
如已经提到的，根据前面的实施例，在彩色图像中尤其能够发生非彩色噪声，该噪声在此称为灰噪声，这是由于彩色噪声在前面提到的实施例中基本上已经被降低。在第七实施例中降低灰噪声，通过使结构化信息GS经历具有第一设定值Th2的第一非线性函数(f)250，使选择单元221输出的第二结构化信息经历具有第二设定值Th1的第二非线性函数(f)251。非线性函数(f)250和251的输出结果都提供给加法器222，从而获得一个低噪声的结构化信息。因此，特别是可以降低尤其令人讨厌的光滑平面内的噪声。
图33a和33b示出用于降低结构性信息中噪声的非线性函数示意图。非线性函数f可以是通过坐标原点(0，0)的连续函数，可以是连续不变或者单调递增，其中，在原点处的上升小于远离原点的至少一处的上升。图33a示出这样一个示例性函数。例如，既然该函数用于产生输入值和参数TH的乘积，这里可应用一个参数为Th的缩放。
如果这类非线性函数是分段线性的，其可以在FPGA中以尤其低的资源需求实现。因而，上述非线性函数可以近似为如图33b所示的分段线性函数。该函数在–Th以下是线性的(例如：斜率为1)，接着在–Th和Th之间持续为0，在Th以上又为线性的(例如：斜率为1)。
应用这样的函数是基于以下发现：噪声图像的结构化值包括一个特定的噪声振幅。因此，使噪声振幅内的值(即：–Th和Th之间的值)经过一个降低噪声的函数是有好处的。根据Carl-Friedrich Gauss的误差传播理论，如果施加到噪声至的函数的一阶导数的绝对值很小，那么可以降低理解为像素的测量误差的噪声。因此，如果在接近原点、即在噪声振幅内的函数f的斜率的绝对值很小是有利的。如果在接近原点、即在噪声振幅内的函数f的斜率的绝对值是零，并且函数f自身的绝对值也是零将是特别有利的，这是因为该非线性函数f降低了噪声振幅内的噪声。这种情况下，绝对值小于噪声振幅的这类图像结构也被从图像中移除。由于这类结构几乎看不到，因此这也不会导致图像质量显著下降。
类似于提供设定Sh的控制元件，可提供用于设定Th1和Th2的值的控制元件。此外，不同噪声振幅的理论关系可通过将误差传播原理应用于计算所述第一和第二结构化信息来确定。为简化该操作，这样是有利的，通过计算获得的固定因子将Th1和Th2的值彼此配对设定，并且针对Th值只提供一个控制元件，利用固定因子将Th值转换为Th1和Th2的值。这样，一个控制元件用于设定值Th。通常，可以直接在相机中提供该控制元件。也可提供一个寄存器来设定值Th，这样程序或用户可通过电子接口来设定值Th。进一步的，也可提供一个计算机程序，是用户可以输入或设定Th的值，例如：通过软件实现的输入域或滚动条或旋转控制器。通过控制元件，用户(可以是人或计算机程序)能够控制降噪和设定期望的图像操作点。
根据EMVA 1288的教导，图像传感器的噪声振幅依赖于亮度值。认为图像传感器噪声包含一个恒定电子噪声和一个根据光量的光子噪声。因此，图像暗区的噪声振幅通常小于图像亮区的。通过了解传感器相关的暗噪声值和转换增益，设定的当前亮度的噪声振幅可根据一个模型计算，并用作值Th以确定Th1和Th2。从而，图像暗区所选定的Th1和Th2的值小于图像亮区的。从噪声更少的图像暗区移除更少的结构化信息是有利的。此外，合适的Th值的选取不必通过用户手动或机械化的操作也是有益的。
本发明实施例中的各种卷积矩阵显示了系统化的相似性。例如：卷积矩阵FG1cGr是通过卷积矩阵FR1cR和FB1cR取平均得到。因为如果计算平均值是根据两个之前已确定的值，能总体上节省更多资源，故在环境上使用一个卷积矩阵，这样，可以利用系统化的相似性以进一步减少计算开销和输入资源。
进一步的，在逐行读出的情况下，可适当利用时间相关性和空间相关性来减少储存和计算开销，使得可能进一步节省资源。如果水平像素按照从左到右的方向传输，并且以行内传输时每时钟周期传输一个像素的方式进行，同时忽略边缘部分的问题，则环境中的值每时钟周期向左移动一个位置。例如，如果使用卷积矩阵FB1cGr，且应该确定该卷积的结果，则被设为“1”的卷积矩阵中两个右边像素的平均值可以在第一时钟周期中产生，结果Avg11_1被暂存在第二、第三、第四和第五时钟周期内，暂存为Avg11_2、Avg11_3、Avg11_4和Avg11_5。在第三时钟周期，结果对应于设为“2”的两个右侧中心像素的平均值，在第五时钟周期，结果对应于设为“1”的两个右侧中心像素的平均值。这样，通过应用卷积矩阵FB1cGr得到的值B1cGr确定为(Avg11_1+2xAvg11_3+Avg11_5)/4.此外，在相同过程和取自相同暂存值，通过应用卷积矩阵FB1cR得到的值B1cR确定为(Avg11_2+Avg11_4)/2。通过这些和其他各种总结，可实质性的减少计算操作的数量，从而需要更少的资源用于计算。
图34示出一消减后环境示例的示意图。通过上述方法，不再需要存储环境的所有值。图34示出在5x5环境中实际需要哪些值来实现根据上述实施例的数学图像处理过程，从而进一步以有利的方式节省了资源。
根据本发明实施例的整体数学图像处理过程的方案，可能是第一次提供以下述为目标的相机解决方案：使用有限资源的简单FPGA、尤其是内部存储器即所谓嵌入式RAM。具有这类FPGA的相机能够以低的生产开销高效生产。
提出的数学图像处理也能应用于具有处理单元的相机，该处理单元中不提供FPGA作为中心组件，而提供DSP。在原始数据被直接从相机中输出的情况下，针对相机处理单元在实施例中描述的数学图像处理也可以应用于帧捕获器或计算机处理器中，特别是利用软件，例如：控制相关处理步骤的驱动程序。
也可以将包含有色彩分量Rout、Gout和Bout的结果色彩值转换至其他色彩空间的色彩值，例如：转换为YUV色彩空间的色彩分量Y、U、V。进一步，还可以将这种下游转换也集成在所述整体图像处理的早期阶段。
进一步的，本领域技术人员可以将已说明的教导引申至带有其他色彩模式(例如：马赛克滤波器)的图像传感器的相机中，其他色彩模式是指包括颜色红、绿和蓝但以其他更多的方式布置，或者有多于红、绿和蓝的其他颜色。这种马赛克滤波器在例如US 5,631,703、US 5,251,019、US 6,330,029B1和US 7,057,654B2中有说明。例如，如果使用了不是红、绿的三种其它颜色，可以依据本文结合红、绿和蓝描述的数学方式来处理三种其他颜色。这种情况下，仍然可以从不同于绿色的色彩中获取结构化信息，更可取地是从特别经常提供在色滤器中的颜色中获取。
如果例如US 6,330,029中的使用四个或更多的颜色，这里已说明的关于红、绿和蓝的教导可以被引申应用于四个颜色，然后进一步扩展到更多颜色。这种情况下，不仅从绿色的值中而且从颜色组合中计算第一和第二绿色结构化信息是合适的，例如DE 10 2010052 438 A1中所述。
同样，对于已知的包括红、绿、蓝和白的色滤器，要应用这里提到的教导，建议从白像素中生成结构化信息，因为白色具有特别良好的信噪比。
将这里提到的教导应用于具有超过两个像素值的空间周期，例如拜耳矩阵(Bayermatrix)，需要使用大于5x5的环境，从而保证为每个颜色在环境中分别提供几个像素，以及可观察得到必要的对称特性。
基于更大的基本滤波器GF，整体数学方法能够表达大于5x5的环境，例如：7x7、9x9、15x15或31x31。如此，一方面图像质量得以改善，然而另一方面，存储器需求、计算开销以及资源输入都有所增加。
图35示出以9x9环境下的基本滤波器示例。这里基本滤波器GF表示卷积矩阵，基于该卷积矩阵，可执行其他的卷积矩阵的计算。
提出的整体数学图像处理过程包括解决几个不同问题的几个方面。依据应用，一个方面是有利于省略特定的处理步骤。可以想到的是，例如使用一个没有明显绿-绿失衡的图像传感器，这种情况下，绿-绿失衡的校正以及值RXB和BXB、乘法器230和231、减法器232的确定，值CCmax和选择单元233以及逻辑元件234和235的确定都可被省略。通过这样的省略，可以减少计算开销，从而需要更少的资源，通过省略处理步骤避免噪声增加的可能。
例如，也可以想到的是，数码相机包含的像素数量远远大于其光学元件能够光学分辨的。这种情况下，经常倾向于省略第二结构化信息GS2，细微的结构不能被光学元件再现，因此，可省略在乘法器220、加法器223和选择单元221上GScRB、RBSeRB和GScG的值的计算、省略应用非线性函数251和加法器222。此外，也是在这种情况下，上述用于校正绿-绿失衡的处理步骤可被省略。因此，处理开销也不降低，节省的资源。进一步的，省略导致降低图像噪声的优点，其可通过免除由于计算第二结构化信息的处理步骤的误差传播噪声贡献来解释。
进一步的，同样可以想到的是，相机中或这类相机的应用中不会发生有关于色彩失真的相关问题时，值AA的计算和乘法器190都可被省略。因此，以好的方式减少了计算开销，并节省了资源。
同样，不难想到不使用图像锐化的情形。在该情形下，可以省略具有图像锐化益处的乘法器240。
类似的，可以想到省略整体数学图像处理过程的其他方面。那么，剩下部分组成的数学图像处理过程通常需要更少的计算开销和更少的资源需求。
根据实施例呈现的可替换的方案可以应用在具有拜耳模式或类似滤色结构的图像记录装置和相机中。
总体来说，描述了一种图像处理装置，用于处理从带有图像传感器的数码相机的图像数据，其图像传感器具有规则像素安排和相关拜耳模式的色滤器，其中，对于相关像素，图形处理装置使用来自包含若干像素的单个预设的环境的图像数据执行所有图像处理操作。
Claims (15)
1.一种图像处理装置，用于处理图像传感器(31)的图像数据，其图像传感器(31)具有规则的像素布置和具有拜耳模式的相关色滤器，该拜耳模式具有第一色彩分量绿，第二色彩分量红和第三色彩分量蓝，其中所述图像处理装置使用包含相关像素(130)的几个像素的预设环境(131)的图像数据来执行图像处理操作，且其中，
所述图像处理操作包括：通过将图像数据的色彩分量(R1,G1,B1)的色彩值都加上相同的结构值(GS)，使色彩分量平行于色彩空间的非彩色线偏移；
所述图像处理操作用于基于环境(131)第一色彩分量绿的图像数据确定校正值(DAA)，该校正值(DAA)以分别不同的符号加入第二色彩分量红和第三色彩分量蓝的图像数据。
2.根据权利要求1所述的图像处理装置，其中，所述预设的环境(131)是具有规则像素布置的方形区域，包括至少5行和5列。
3.根据权利要求1所述的图像处理装置，其中，通过将由第一色彩分量绿的图像数据的卷积预设的卷积矩阵确定的值(AA)乘以由图像结构的主导方向决定的方向估值(D)，所述图像处理操作能确定所述校正值。
4.根据权利要求3所述的图像处理装置，其中，所述图像处理操作能通过所述第一色彩分量绿的图像数据的卷积确定所述值(AA)，在该卷积操作中，所述卷积矩阵的行和列作为对应的交替符号来考虑。
5.根据权利要求3所述的图像处理装置，其中，基于环境(131)中水平方向亮度变化与垂直方向亮度变化的差，通过利用水平和垂直相邻像素的卷积矩阵并比较所得的结果，所述图像处理操作能确定所述方向估值(D)。
6.根据前述权利要求5所述的图像处理装置，其中，所述卷积矩阵适用于使得水平相邻相位关系情形下，对于每一行每一色彩，属于该色彩的矩阵元素的行总和是相等的，以及垂直相邻相位关系情形下，对于每一列每一色彩，属于该色彩的矩阵元素的列总和是相等的。
7.根据前述权利要求之一所述的图像处理装置，其中，所述图像处理操作用于校正绿-绿失衡，通过一个校正项(RXG,BXG)抵消由所述环境(131)中预设的色彩分量的图像数据确定的结构化信息。
8.根据权利要求1所述的图像处理装置，其中，通过将由所述环境(131)中预设的色彩分量的图像数据确定的结构化信息乘以校正值(Sh)，所述图像处理操作能执行图像锐化。
9.一种图像处理装置，用于处理图像传感器(31)的图像数据，其图像传感器(31)具有规则的像素布置和具有拜耳模式的相关色滤器，其中所述图像处理装置使用包含相关像素(130)的几个像素的预设环境(131)的图像数据来执行图像处理操作，其中，所述图像处理操作用于将具有第一设定值(Th2)的第一非线性函数(250)应用于由所述环境(131)中第一色彩分量的图像数据确定的第一结构化信息；将具有第二设定值(Th1)的第二非线性函数(251)应用于由所述环境(131)中预设的色彩分量的图像数据确定的第二结构化信息；并将所述第一和第二非线性函数的结果相加以获得低噪声的结构化信息，且其中所述图像处理操作包括：通过将图像数据的色彩分量(R1,G1,B1)的色彩值都加上(135)相同的结构值(GS)，使色彩分量平行于色彩空间的非彩色线偏移。
10.根据前述权利要求9所述的图像处理装置，其中，在拜耳模式的中心绿像素的相位关系cG条件下，所述图像处理操作将所述第二结构化信息确定为绿结构化信息GScG，而在在拜耳模式的中心红或蓝像素的相位关系cRB条件下，所述图像处理操作通过引入方向估值(D)而估计所述第二结构化信息。
11.根据权利要求9或10所述的图像处理装置，其中，通过将由所述环境(131)中预设的色彩分量的图像数据确定的结构化信息乘以校正值(Sh)，所述图像处理操作能执行图像锐化。
12.一种数码相机，其包括权利要求1至11任意一项所述的图像处理装置。
13.一种图像处理方法，用于处理图像传感器(31)的图像数据，所述图像传感器(31)具有规则像素布置和具有拜耳模式的相关色滤器，该拜耳模式具有第一色彩分量绿，第二色彩分量红和第三色彩分量蓝，其中，所述图像处理方法使用包含相关像素(130)的几个像素的预设环境(131)的图像数据执行图像处理操作，其中，所述图像处理操作包括：通过将图像数据的色彩分量(R1,G1,B1)的色彩值都加上相同的结构值(GS)，使色彩分量平行于色彩空间的非彩色线偏移，且其中所述图像处理操作用于基于环境(131)第一色彩分量绿的图像数据确定校正值(DAA)，该校正值(DAA)以分别不同的符号加入第二色彩分量红和第三色彩分量蓝的图像数据。
14.一种图像处理方法，用于处理图像传感器(31)的图像数据，所述图像传感器(31)具有规则像素布置和具有拜耳模式的相关色滤器，其中所述图像处理装置使用包含相关像素(130)的几个像素的预设环境(131)的图像数据来执行图像处理操作，其中，所述图像处理操作用于将具有第一设定值(Th2)的第一非线性函数(250)应用于由所述环境(131)中第一色彩分量的图像数据确定的第一结构化信息；将具有第二设定值(Th1)的第二非线性函数(251)应用于由所述环境(131)中预设的色彩分量的图像数据确定的第二结构化信息；并将所述第一和第二非线性函数的结果相加以获得低噪声的结构化信息。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，当所述计算机程序在计算机装置上执行时，该计算机程序致使所述计算机装置执行根据权利要求13或14所述的图像处理方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102013000301.6 | 2013-01-10 | ||
| DE102013000301.6A DE102013000301A1 (de) | 2013-01-10 | 2013-01-10 | Verfahren und Vorrichtung zur Erzeugung eines verbesserten Farbbildes mit einem Sensor mit Farbfilter |
| PCT/EP2014/050408 WO2014108512A1 (de) | 2013-01-10 | 2014-01-10 | Verfahren und vorrichtung zur erzeugung eines verbesserten farbbildes mit einem sensor mit farbfilter |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105247568A CN105247568A (zh) | 2016-01-13 |
| CN105247568B true CN105247568B (zh) | 2019-02-22 |
Family
ID=49955372
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201480004447.4A Active CN105247568B (zh) | 2013-01-10 | 2014-01-10 | 用带有色滤器的传感器生成改进的彩色图像的方法和装置 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US9552624B2 (zh) |
| EP (1) | EP2929503B1 (zh) |
| JP (1) | JP5918915B2 (zh) |
| CN (1) | CN105247568B (zh) |
| DE (1) | DE102013000301A1 (zh) |
| WO (1) | WO2014108512A1 (zh) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9692992B2 (en) * | 2013-07-01 | 2017-06-27 | Omnivision Technologies, Inc. | Color and infrared filter array patterns to reduce color aliasing |
| US9667933B2 (en) * | 2013-07-01 | 2017-05-30 | Omnivision Technologies, Inc. | Color and infrared filter array patterns to reduce color aliasing |
| US9467665B1 (en) * | 2015-06-29 | 2016-10-11 | Omnivision Technologies, Inc. | Color filter array patterns for reduction of color aliasing |
| JP6333871B2 (ja) * | 2016-02-25 | 2018-05-30 | ファナック株式会社 | 入力画像から検出した対象物を表示する画像処理装置 |
| DE102016112968B4 (de) | 2016-07-14 | 2018-06-14 | Basler Ag | Bestimmung von Farbwerten für Pixel an Zwischenpositionen |
| CN106339753A (zh) * | 2016-08-17 | 2017-01-18 | 中国科学技术大学 | 一种有效提升卷积神经网络稳健性的方法 |
| JP6834543B2 (ja) * | 2017-02-01 | 2021-02-24 | セイコーエプソン株式会社 | 画像表示装置およびその調整方法 |
| DE102017110129B4 (de) | 2017-05-10 | 2020-07-09 | Basler Ag | Verbesserung eines Pixelqualitätswertes |
| US10607047B2 (en) * | 2017-12-06 | 2020-03-31 | Cognex Corporation | Local tone mapping for symbol reading |
| CN108499904A (zh) * | 2018-03-28 | 2018-09-07 | 合肥欣畅源光电科技有限公司 | 建筑垃圾砖砼骨料分选装置及方法 |
| DE102018115991B4 (de) | 2018-07-02 | 2023-12-07 | Basler Ag | Digitale schaltung zur korrektur eines vignettierungseffekts in werten von pixeln eines bildes einer elektronischen kamera |
| CN109658358B (zh) * | 2018-12-25 | 2023-05-12 | 辽宁工程技术大学 | 一种基于多导向滤波的快速bayer彩色重建方法 |
| CN111612915B (zh) * | 2019-02-25 | 2023-09-15 | 苹果公司 | 渲染对象以匹配相机噪声 |
| DE102020127482B4 (de) | 2020-10-19 | 2022-06-09 | Basler Aktiengesellschaft | Aufnahmeverfahren und Aufnahmesystem zum sukzessiven Aufnehmen eines relativ zu einer Kamera bewegten Objekts |
| DE102020127495B4 (de) | 2020-10-19 | 2022-05-25 | Basler Aktiengesellschaft | Aufnahmeverfahren und Aufnahmesystem zum sukzessiven Aufnehmen eines relativ zu einer Kamera bewegten Objekts |
| WO2023206081A1 (en) * | 2022-04-26 | 2023-11-02 | Huawei Technologies Co.,Ltd. | Content-adaptive random spatial dithering |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101281521A (zh) * | 2007-04-05 | 2008-10-08 | 中国科学院自动化研究所 | 一种基于多分类器融合的敏感网页过滤方法及系统 |
| CN102177705A (zh) * | 2008-09-04 | 2011-09-07 | 晶像股份有限公司 | 用于平滑图像边缘以去除不规则的系统、方法和装置 |
Family Cites Families (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE1160001B (de) | 1962-01-31 | 1963-12-27 | Fernseh Gmbh | Verfahren zur AEnderung von Farbsignalen hinsichtlich ihrer Farbsaettigung |
| US3971065A (en) | 1975-03-05 | 1976-07-20 | Eastman Kodak Company | Color imaging array |
| US4561022A (en) | 1983-08-11 | 1985-12-24 | Eastman Kodak Company | Image processing method based on processing of interrelated image gradients |
| US5251019A (en) | 1991-01-25 | 1993-10-05 | Eastman Kodak Company | Solid state color image sensor using a field-staggered color filter pattern |
| US5631703A (en) | 1996-05-29 | 1997-05-20 | Eastman Kodak Company | Particular pattern of pixels for a color filter array which is used to derive luminance and chrominance values |
| US6181376B1 (en) | 1997-10-14 | 2001-01-30 | Intel Corporation | Method of determining missing color values for pixels in a color filter array |
| JPH11225343A (ja) * | 1998-02-06 | 1999-08-17 | Toshiba Corp | 単板撮像装置 |
| US6330029B1 (en) | 1998-03-17 | 2001-12-11 | Eastman Kodak Company | Particular pattern of pixels for a color filter array which is used to derive luminance and chrominance values |
| US6819801B2 (en) | 2001-06-19 | 2004-11-16 | Agilent Technologies, Inc. | System and method for processing demosaiced images to reduce color aliasing artifacts |
| US7057654B2 (en) | 2002-02-26 | 2006-06-06 | Eastman Kodak Company | Four color image sensing apparatus |
| US7613335B2 (en) * | 2003-02-12 | 2009-11-03 | The University Of Iowa Research Foundation | Methods and devices useful for analyzing color medical images |
| JP2005117540A (ja) * | 2003-10-10 | 2005-04-28 | Sony Corp | 画像処理装置および画像処理方法、並びに、プログラム |
| US7425933B2 (en) * | 2004-04-14 | 2008-09-16 | Samsung Semiconductor Israel R&D Center (Sirc) | Systems and methods for correcting green disparity in imager sensors |
| WO2006020661A2 (en) * | 2004-08-10 | 2006-02-23 | Nicholson Bruce A | Sodium screen digital traveling matte methods and apparatus |
| US7397933B2 (en) * | 2005-05-27 | 2008-07-08 | Microsoft Corporation | Collusion resistant desynchronization for digital video fingerprinting |
| DE102006051950B3 (de) | 2006-11-01 | 2007-12-13 | Basler Ag | Steuerung für eine elektronische Zeilenkamera |
| WO2008067472A2 (en) | 2006-11-29 | 2008-06-05 | President And Fellows Of Harvard College | A new spatio-spectral sampling paradigm for imaging and a novel color filter array design |
| US8164597B2 (en) * | 2007-04-10 | 2012-04-24 | Kawasaki Microelectronics, Inc. | Color conversion circuit and method of color conversion using interpolation from conversion coefficients some of which are substituted |
| US7830428B2 (en) * | 2007-04-12 | 2010-11-09 | Aptina Imaging Corporation | Method, apparatus and system providing green-green imbalance compensation |
| JP4925198B2 (ja) * | 2007-05-01 | 2012-04-25 | 富士フイルム株式会社 | 信号処理装置および方法、ノイズ低減装置および方法並びにプログラム |
| US7777760B2 (en) * | 2007-06-29 | 2010-08-17 | Apple Inc. | Display color correcting system |
| US8189910B2 (en) * | 2009-06-05 | 2012-05-29 | Altek Corporation | Color interpolation method for digital image |
| DE102010003039A1 (de) | 2010-03-18 | 2011-09-22 | Basler Ag | Farbsättigungskorrektur |
| EP2383974B1 (de) | 2010-04-30 | 2012-10-03 | Basler AG | Bildverarbeitungsmittel, insbesondere in einer Farbkamera, mit universellem Farboperator |
| JP2012004787A (ja) * | 2010-06-16 | 2012-01-05 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
| DE102010052438B4 (de) | 2010-11-24 | 2013-07-04 | Basler Ag | Verfahren und Vorrichtung zur Bildverarbeitung durch Demosaicing |
-
2013
- 2013-01-10 DE DE102013000301.6A patent/DE102013000301A1/de not_active Withdrawn
-
2014
- 2014-01-10 EP EP14700304.0A patent/EP2929503B1/de active Active
- 2014-01-10 JP JP2015552057A patent/JP5918915B2/ja active Active
- 2014-01-10 WO PCT/EP2014/050408 patent/WO2014108512A1/de active Application Filing
- 2014-01-10 US US14/759,996 patent/US9552624B2/en active Active
- 2014-01-10 CN CN201480004447.4A patent/CN105247568B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101281521A (zh) * | 2007-04-05 | 2008-10-08 | 中国科学院自动化研究所 | 一种基于多分类器融合的敏感网页过滤方法及系统 |
| CN102177705A (zh) * | 2008-09-04 | 2011-09-07 | 晶像股份有限公司 | 用于平滑图像边缘以去除不规则的系统、方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| DE102013000301A1 (de) | 2014-07-10 |
| WO2014108512A1 (de) | 2014-07-17 |
| CN105247568A (zh) | 2016-01-13 |
| JP2016504882A (ja) | 2016-02-12 |
| JP5918915B2 (ja) | 2016-05-18 |
| EP2929503A1 (de) | 2015-10-14 |
| US9552624B2 (en) | 2017-01-24 |
| US20150356710A1 (en) | 2015-12-10 |
| EP2929503B1 (de) | 2016-10-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105247568B (zh) | 用带有色滤器的传感器生成改进的彩色图像的方法和装置 | |
| CN102870417B (zh) | 彩色成像设备 | |
| Narasimhan et al. | Enhancing resolution along multiple imaging dimensions using assorted pixels | |
| CN101889452B (zh) | 图像生成装置及图像生成方法 | |
| CN106341628A (zh) | 具有宽动态范围的图像传感器、像素电路和操作方法 | |
| US7755682B2 (en) | Color interpolation method for Bayer filter array images | |
| US8164662B2 (en) | Image-processing device for color image data and method for the image processing of color image data | |
| US20140247979A1 (en) | Method and device for generating high dynamic range images | |
| US20040150734A1 (en) | Interpolation of edge portions of a digital image | |
| US7525583B2 (en) | Decreasing aliasing in electronic images | |
| US20190139189A1 (en) | Image remosaicing | |
| CN103491280B (zh) | 一种拜耳图像联合去噪插值方法 | |
| CN104412579A (zh) | 彩色摄像元件以及摄像装置 | |
| EP2002663A2 (en) | Method and arrangement for generating a color video signal | |
| CN101227621A (zh) | 在cmos传感器中对cfa进行插值的方法及电路 | |
| US20090263047A1 (en) | Converting bayer pattern rgb images to full resolution rgb images via intermediate hue, saturation and intensity (hsi) conversion | |
| CN105430357B (zh) | 图像传感器的去马赛克方法及装置 | |
| CN104025578B (zh) | 彩色摄像元件 | |
| KR20130122214A (ko) | 이미지 센서 및 이미지 센서의 출력 패턴 변환 방법 | |
| KR100565429B1 (ko) | 컬러 필터 어레이에서 손실된 컬러값 복원 방법 및 장치 | |
| JP2004519156A (ja) | 画像検知器の出力信号用の輪郭フィルタ | |
| US20130038772A1 (en) | Image processing apparatus and image processing method | |
| JP3711401B2 (ja) | 撮像装置及びカラー撮像信号の処理方法 | |
| US20230186427A1 (en) | Device and method for image demosaicing | |
| Kim | Full channel color restoration approach using directional interpolation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |