CN104601970B - 处理来自多层传感器的图像中的超分辨率 - Google Patents

处理来自多层传感器的图像中的超分辨率 Download PDF

Info

Publication number
CN104601970B
CN104601970B CN201410601507.2A CN201410601507A CN104601970B CN 104601970 B CN104601970 B CN 104601970B CN 201410601507 A CN201410601507 A CN 201410601507A CN 104601970 B CN104601970 B CN 104601970B
Authority
CN
China
Prior art keywords
pixel
value
acquisition
imaging device
bonus values
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410601507.2A
Other languages
English (en)
Other versions
CN104601970A (zh
Inventor
伊利亚·欧弗西亚尼科夫
石立龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN104601970A publication Critical patent/CN104601970A/zh
Application granted granted Critical
Publication of CN104601970B publication Critical patent/CN104601970B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/815—Camera processing pipelines; Components thereof for controlling the resolution by using a single image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明提供了一种成像装置和成像方法。阵列的各个像素针对输入图像获取值。获取的值对应于获取这些值的各个像素的像素中心点。还可通过获取的值来计算关于输入图像的额外值。这些额外值可对应于可与任何像素中心点不同的额外中心点。可通过获取的值加上额外值构成输出图像。这些值可存储在一起和/或作为输出图像一起显示。实施例可应用于诸如来自多层传感器的图像。由于可通过比由可用数量的像素获取的那些值总数更多的值来产生输出图像，因此这种图像处理可被称作超分辨率，并且可针对静止图片、视频和运动图片等应用于成像装置中的图像处理。

Description

处理来自多层传感器的图像中的超分辨率
相关申请的交叉引用
本专利申请要求于2013年10月30日提交的美国临时专利申请No.61/897,773的优先权，针对所有目的，该美国临时专利申请的公开内容以引用方式并入本文。
技术领域
本发明一般涉及一种成像装置及其相关方法，具体地，涉及一种利用超分辨率对图像进行处理的成像装置及其相关方法。
背景技术
现代成像装置使用像素获取图像。像素将输入图像划分为各个元素，并且获取图像的各个元素的值。通过各种技术获取图像的这些值，诸如在短暂的曝光时间之后的每像素的电子数。无论是彩色的还是黑白的输出图像通常都由获取的值构成。
发明内容
本说明书提供了装置、计算机和方法的实例，它们的使用可有助于克服现有技术的问题和限制。
在一些实施例中，阵列的各个像素可针对输入图像获取值。获取的值可对应于获取这些值的各个像素的像素中心点。还可通过获取的值来计算关于输入图像的一个或多个额外值。这些额外值中的至少一些对应于可与任何像素中心点不同的额外中心点。可通过获取的值与额外值一起构成输出图像。这些值可一起存储和/或作为输出图像一起显示。
实施例的优点在于可通过比由可用数量的像素获取的那些值的总数更多的值来产生输出图像。这种图像处理可被称作超分辨率，并且可应用于针对静止图片、视频和运动图片等的成像装置中的图像处理。
附图说明
通过提供以下参照附图描述的具体实施方式，本说明书的这些和其它特点和优点将变得更加容易理解，其中：
图1是根据实施例制备的成像装置的框图；
图2是根据实施例的具有用于计算额外值的额外示例选择位置的示例像素阵列的示图；
图3是根据实施例的计算机的示图；
图4是示出根据实施例的方法的流程图；
图5是图2的像素阵列的可能的单层传感器实施例的区块的示图；
图6是根据实施例制备的可能的二层堆叠的传感器阵列的区块对的示图；
图7是根据实施例制备的可能的三层堆叠的传感器阵列的四区块的示图；
图8是根据实施例制备的二层错开堆叠的传感器阵列部分的示图；
图9是根据旋转的实施例制备的二层错开堆叠的传感器阵列部分的示图；
图10是根据实施例制备的三层错开堆叠的传感器阵列部分的示图；
图11是根据旋转的实施例制备的三层错开堆叠的传感器阵列部分的示图；
图12是根据实施例制备的三层错开堆叠的传感器阵列部分的示图；
图13描绘了用于成像装置的基于控制器的系统，该成像装置使用了根据实施例制备的成像阵列；
图14是根据实施例的物理二层错开堆叠的传感器阵列部分的示图；
图15是根据实施例的物理示例图像构造网格的一部分的示图；
图16是根据实施例的示例图像构造网格的一部分的示图；
图17是根据实施例示出单层传感器阵列部分、并进一步识别用于定位针对额外值的额外中心点的示例区块的示图；
图18是根据实施例示出三层堆叠的传感器阵列部分、并进一步识别用于定位针对额外值的额外中心点的示例区块的示图；
图19是根据实施例示出二层堆叠的传感器阵列部分、并进一步识别用于定位针对额外值的额外中心点的示例区块的示图；
图20是根据实施例示出二层错开堆叠的传感器阵列部分、并进一步识别用于定位针对额外值的额外中心点的示例区块的示图；
图21根据实施例示出了描绘从图20的阵列部分至图像构造网格的另一进程的序列图；
图22根据实施例示出了描绘收集获取的值的序列图，该获取的值用于计算针对图14的阵列部分中的额外中心点的额外值；
图23根据实施例示出了描绘收集获取的值的序列图，该获取的值用于计算针对图14的阵列部分中的不同的额外中心点的额外值；
图24根据实施例示出了可用于计算R、G、B图像值的等式；
图25A、图25B、图25C和图25D根据实施例示出了可用于计算亮度和色度图像值的等式；
图26是用于描述根据实施例的滤波器训练操作的示图；
图27是示出了根据实施例的滤波器训练方法的流程图；
图28根据实施例示出了可用于直接利用RGB值训练滤波器的等式；
图29A、图29B、图29C和图29D根据实施例示出了可用于首先通过亮度和色度值训练滤波器的等式；
图30是示出根据实施例的图像操作的示图；
图31是根据实施例示出了输出图像相对于输入图像改变尺寸的示图；
图32是示出根据实施例的额外合成图像操作的示图；以及
图33是示出根据实施例的特定合成图像操作的示图。
具体实施方式
如上所述，本说明书是关于可执行特定类型的图像处理的装置、计算机和方法。现在更加详细地描述实施例。
图1是根据实施例制备的成像装置100的框图。成像装置100具有外壳102。诸如LED的光源105可设置在外壳102上。开口OP设置在外壳102中。透镜LN可以可选地设置在开口OP中，但是这不是必要的。
成像装置100还具有根据实施例制备的像素阵列110。像素阵列110构造为通过开口OP接收光，从而成像装置100可获取对象OBJ、人或景物的图像。有时，通过光源105辅助图像获取。可以看出，像素阵列110和开口OP限定了标称视场FOV-N。当然，视场FOV-N和对象OBJ是三维的，而图1将它们显示为二维的。此外，如果实际设置了透镜LN，则所得的实际视场可与标称视场FOV-N不同。将成像装置100校直以使得待成像的对象OBJ、人或景物处于实际视场中。
像素阵列110的各个像素可获取图像的各个元素。在许多实施例中，像素阵列110具有二维像素阵列。阵列可按照多行多列排列。
成像装置100可通过由像素获取的元素来呈现图像。可选地，成像装置100还包括显示器180，其可包括可显示所呈现的图像或其变化形式的屏幕或触摸屏。
成像装置100还包括控制器120，其用于控制像素阵列110和成像装置100的其它组件的操作。控制器120可以可选地与像素阵列110一体形成，并且还可与成像装置100的其它组件一体形成。
根据实施例，成像装置100可另外包括图像处理器125，其用于处理输入图像。更具体地说，图像处理器125可处理通过像素阵列110的各个像素获取的输入图像的值，以产生构成输出图像的值。图像处理器125可以可选地与控制器120、像素阵列110和/或成像装置100的其它组件一体形成。
成像装置100可以可选地包括存储器140。存储器140可存储输入图像，即由像素阵列110的各个像素针对输入图像的各个元素获取的值。根据实施例，存储器140还可存储输出图像的各方面，例如针对输出图像计算的值。
图2是示例像素阵列210的示图。像素阵列210具有像素232，为了清楚起见，仅示出了其中的几个像素，并且标记了更少的像素。像素232可由无机材料和/或有机材料制成。
像素232示为方形，但这仅出于描述的目的。实际上，像素232可具有不同的形状，并且它们的感光区域可小于整个像素的区域。因此，像素232的感光区域加在一起不一定覆盖像素阵列210的整个区域。实际上，在一些实施例中，成像在像素232的感光区域之间的输入图像的元素会没有被成像，这意味着会没有获取到针对这些元素的值。
像素232按照矩形图案沿着各行222和各列224布置，但这仅是出于示例而非限制的目的。如稍后将在本文中的其它示例中看出的那样，可存在布置像素的多种图案。
在图2中，仅示出了一层像素232，但情况不一定是这样。如稍后将在本文中的其它示例中看出的那样，可存在多层(诸如两层或更多层)像素，它们可堆叠。通常，一对这种层的特征可在于下层和竖直堆叠在下层上的上层，存在或不存在中间层。
另外，可为像素232定义像素中心点236。更具体地说，可按照合适的(优选地，一致的)方式定义像素中心点236，诸如位于像素232的感光区域的中心。如果这些感光区域(也称作图素(photo-site))是例如矩形的，则可在感光区域的两条对角线的交叉点处找到中心。在该示例中，有利地选择各行222和各列224以使得像素中心点236位于它们的交叉点处。出于构成输出图像的数学目的，通过像素232获取的值可对应于获取这些值的各个像素232的像素中心点236。
此外，在图2中，还可选择额外中心点239。在图2的示例中，示出的额外中心点239都没有位于各行222和各列224的交叉点处，但这不是必要的。
如先前所述，在实施例中，为输出图像计算在获取的值以上和以外的额外值。这种额外值可对应于额外中心点239。由于额外中心点239不位于各行222和各列224的交叉点，因此这些额外值可用于输入图像的额外元素，这些额外元素不是通过像素232中的一个所获取。因此，当根据实施例针对输入图像计算出额外值中的一个时，该额外值可用于帮助在通过物理像素232针对输入图像获取的值以上和以外构成最终输出图像。
在图2中，像素中心点236以实心点画出，而不同的是，额外中心点239以圈画出。这种不同之处旨在帮助记住像素中心点236是针对通过像素232获取的值而定义的，而额外中心点239是针对计算的额外值而定义的。因此，输出图像可具有针对点的位置以及圈的位置的值。
除图2的示例以外，选择的额外中心点239中的一个或多个可与像素中心点236中的一个一致。这样对于例如校正坏的像素会是有用的。
如上所述，根据实施例，可计算对应于额外中心点的额外值。在本文档中稍后示出了这种计算的更详细的示例。可通过图像处理器(诸如图像处理器125)进行这种计算。可替换地，可通过计算机执行计算。现在描述一个示例。
图3是根据实施例的计算机310的示图。计算机310可为接收一个或多个输入图像并产生输出图像的一个实施例。输入图像可为无关或相关的，诸如视频或运动图片的那些图像。
计算机310可通过包括逻辑电路的一个或多个装置实施。计算机310可为独立的装置或计算机，诸如通用计算机，或具有一个或多个额外功能的装置的一部分。逻辑电路可包括处理器320，处理器320可为可编程的以用于通用或者专用目的，诸如微控制器、微处理器、数字信号处理器(DSP)等。逻辑电路还可包括诸如存储器330之类的存储介质。这种介质包括(但不限于)易失性存储器、非易失性存储器(NVM)、只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光学存储介质、智能卡、闪速存储器装置等。这些存储介质中的任一个可为非临时性计算机可读介质。这些存储介质在单独或与其它存储介质结合的情况下可在其上存储数据334。另外，这些存储介质可存储处理器320能够读取和执行的程序332。更具体地说，程序332可包括处理器320在读取时能够执行的代码形式的指令。所述执行的步骤通过物理量的物理操纵来执行，并且可导致待执行的功能、处理、行为和/或方法，以及/或者处理器320使得其它装置或部件或块执行所述功能、处理、行为和/或方法。
返回图1，如果实际上设置了存储器140，则其可为一个或多个存储器。一个或多个存储器可构造为存储用于稍后输出或显示的获取的值和额外值。两组值可用于提供单个输出图像。因此，在实施例中，获取的值的数量加上额外值的数量的和大于像素阵列110中的像素的数量。这是因为获取的值的数量通常可等于像素的数量，但是额外值明确地提供了更多数据。
在一些实施例中，额外值在存储时进一步与获取的值合并。针对本文档，这种合并意指额外值根据它们对于输出图像的位置与获取的值混合以均匀地执行输出或显示；并且它们不被存储在分离的存储器中或分离的存储器区域中。
另外，如果设置了显示器180，则可将其构造为通过输入图像显示输出图像。可通过由像素获取的值并通过额外的计算值构成输出图像。
本文中描述的装置和/或系统执行如本文档中描述的功能、处理和/或方法。此外，下面描述方法和算法。这些方法和算法不一定与任何特定的逻辑装置或其它设备内在地关联。相反，有利地，通过计算机器(诸如通用计算机、专用计算机、微处理器等)所使用的程序来实现这些方法和算法。
通常，仅为了方便起见，优选地将程序实施和描述为各种互连的不同软件模块或特征(它们单独和一起还被称作软件)。然而，这不是必要的，会存在有模块甚至在边界不清的情况下等同地聚集为单个程序的情况。在一些情况下，软件与硬件在被称作固件的混合体中结合。
该详细的描述包括流程图、显示图像、算法和至少一个计算机可读介质中的程序操作的符号表示。因为单组流程图用于描述程序以及方法两者，从而实现了节约。因此，在流程图以方框的形式描述方法的同时，它们也一并描述了程序。
现在描述方法。
图4示出了用于描述根据实施例的方法的流程图400。流程图400的方法也可通过本文中描述的实施例来实施。
根据操作410，可接收获取的值。获取的值可为输入图像的各个元素的值，并且可通过各个像素获取。获取的值可对应于获取这些值的各个像素的像素中心点。
根据另一操作430，通过获取的值来计算额外值。额外值可对应于额外中心点。至少一些额外中心点可与像素中心点不同，换句话说，与像素中心点不一致。
因此，可通过获取的值和计算的值来形成输出图像。在输出图像中，获取的值可对应于像素中心点，而额外值可对应于额外中心点。
根据另一可选操作440，存储获取的值和额外值。可在一个或多个存储器中进行存储。
根据另一可选操作450，显示输出图像或使得输出图像被显示。可通过获取的值并通过额外值构成输出图像。
返回图2，像素232可为黑白的或彩色的。如果它们为黑白的，则各个像素可与其它像素相似。如果像素232为彩色的，则它们可为例如红、绿、蓝，或者彩色像素的其它组合。当在这种组合下进行操作时，某一像素可与其相邻像素不同。在这种组合下可操作的最小组的像素可被称作区块。可认为像素阵列是由实质上相似或实质上相同的区块形成。
现在将根据实施例来描述可获取值的像素阵列的示例,并且可通过获取的值计算额外值。在这些描述中，还将示出区块的示例。
图5是区块511的示图。区块511是图2的像素阵列210的可能的单层传感器实施例的区块。区块511包括两个G像素、一个B像素和一个R像素，它们全部按照拜耳图案(Bayerpattern)排列。像素具有示为点的像素中心点536。出于构成输出图像的数学目的，区块511的像素对应于像素中心点536。
区块511的各个像素针对输入图像获取值。另外，在实施例中，可关于输入图像计算额外值。出于构成输出图像的数学目的，这些额外值可对应于各个额外中心点539。可以看出，也可在不同于区块511的其他地方定义这种额外中心点。
图6是各个像素的区块对611的示图，各个像素也被称作传感器。区块对611是可能的二层像素实施例的一对区块。上层具有绿色像素645。下层具有交替的红色像素647和蓝色像素644，因此有效地创建拜耳图案。区块对611中的区块是通过下方具有蓝色像素644和红色像素647的任何两个绿色像素645的组合形成的。因此，单个区块可以是水平方向上的顶上的两个像素、左边的两个像素，等等。
在图6中，示出了像素中心点636。一个绿色像素645与其下方的一个像素的像素中心点636是相同的，这是因为在该实施例中，各层无错位地堆叠。换句话说，上层的像素的感光区域的中心点与下层的像素的感光区域的中心点竖直地对齐。
区块对611的各个像素针对输入图像获取值。另外，在实施例中，可关于输入图像计算额外值。出于构成输出图像的数学目的，这些额外值可对应于各个额外中心点639。对于示出的额外中心点639中的任一个，可参照像素阵列中的更多区块(甚至基本上所有的区块)针对相同位置计算额外值。
图7是各个像素的四区块711的示图。四区块711得自可能的三层像素实施例。上层具有绿色像素745，中间层具有蓝色像素744，下层具有红色像素747。这些传感器不形成拜耳图案。图7中的各个区块由任何绿色像素745以及其下方的那些像素形成。
在图7中，示出了像素中心点736。对于一个绿色像素745及其下方的各个像素，像素中心点736是相同的，这是因为在该实施例中，各层也是无错位地堆叠。
四区块711的各个像素针对输入图像获取值。另外，在实施例中，可关于输入图像计算额外值。出于构成输出图像的数学目的，额外值可对应于额外中心点739。对于示出的额外中心点739中的任一个，可参照像素阵列中的更多区块(甚至基本上所有的区块)针对相同位置计算额外值。
先前的两个示例使用了堆叠的层，但是像素无错位。实施例也可具有感光区域彼此错位的堆叠的像素。在这种情况下，可通过垂直地合并两层的平面来定义像素中心点。通过进一步分析，像素中心点可定义为上层的各个像素的像素中心点加上下层的各个像素在上层的平面上的投影的像素中心点。当然，这种投影旨在在几何意义上是垂直的。现在描述一个示例。
图8是二层错开堆叠的传感器阵列部分811的示图。阵列部分811包括上层的绿色像素845以及下层的交替的红色像素847和蓝色像素844。阵列部分811的各个像素具有指示为实心点的像素中心点836。像素中心点836可对应于获取的值的位置。应该理解，由于示图的平面性压缩(collapse)了下层的平面和上层的平面，因此像素中心点836位于同一平面，而不管它们是属于上层的像素还是下层的像素。
上层的像素845的中心点沿着各行822和各列824设置。在各行822之间具有距离862，其被称作竖直像素间距。在各列824之间具有距离884，其被称作水平像素间距。在该实施例中，竖直间距等于水平间距，但这不是必要的。
下层的像素847和844的中心点沿着各行(诸如行852)和各列(诸如列854)设置。在许多实施例中，下层的各行之间的距离近似于竖直像素间距，并且下层的各列之间的距离近似于水平像素间距。
在图8的特定示例中，水平像素间距与竖直像素间距是相同的，PTC。尺寸PTC还被称作像素间距。下层与上层沿竖直方向错开距离863，该距离863等于PTC/2，并且沿水平方向错开距离885，该距离885等于PTC/2。
阵列部分811的各个像素针对输入图像获取值。另外，在实施例中，可关于输入图像计算额外值。出于构成输出图像的数学目的，额外值可对应于额外中心点839。对于示出的额外中心点839中的任一个，可参照像素阵列中的更多区块(甚至基本上所有的区块)针对相同位置计算额外值。
图9是二层错开堆叠的传感器阵列部分911的示图。阵列部分911包括上层的绿色像素945以及下层的交替的红色像素947和蓝色像素944。
在图9中，为了不使附图混乱，未单独指出像素中心点。如果示出，则这些中心点可沿着各行(诸如行922)和各列(诸如列924)布置。此外，像素中心点可定义在下层的各个像素的中心点，但未单独示出。这些中心点沿着各行(诸如行952)和沿着各列(诸如列954)布置。
在图9中，像素的矩形边界限定了从水平方向和竖直方向旋转45°的线。如果要沿着这些旋转的线测量像素间距PTC，则沿着各行922、952和各列924、954测量的有效像素间距将是不同的。各行922之间的间距962以及各列924之间的间距964将等于PTC×SQRT(2)。并且偏离量963、965将等于PTC/SQRT(2)。
阵列部分911的各个像素针对输入图像获取值。另外，在实施例中，可关于输入图像计算额外值。如上，对于一个或多个区块，额外值可对应于额外中心点939。
图10是三层错开堆叠的传感器阵列部分1011的示图。阵列部分1011包括上层的绿色像素1045、中间层的蓝色像素1044和下层的红色像素1047。
在图10中，绿色像素1045的中心点沿着各行(诸如行1022)以及沿着各列(诸如列1024)布置。距离1062等于距离1064等于间距PTC。蓝色像素1044无错位地堆叠在红色像素1047上。然而，蓝色像素1044沿着各行(诸如行1052)以及沿着各列(诸如列1054)布置。蓝色像素1044的各行各列相对于各行1022和各列1024的竖直和水平偏离量为PTC/2。
阵列部分1011的各个像素针对输入图像获取值。另外，在实施例中，可关于输入图像计算额外值。如上，对于一个或多个区块，额外值可对应于额外中心点1039。
图11是三层错开堆叠的传感器阵列部分1111的示图。阵列部分1111包括上层的绿色像素1145、中间层的蓝色像素1144和下层的红色像素1147。可以认识到，阵列部分1111的设计与阵列部分1011的设计相似，不同的是其旋转了45°。
阵列部分1111的各个像素针对输入图像获取值。另外，在实施例中，可关于输入图像计算额外值。如上，对于一个或多个区块，额外值可对应于额外中心点1139。
图12是三层错开堆叠的传感器阵列部分1211的示图。阵列部分1211包括上层的绿色像素1245、中间层的蓝色像素1244和下层的红色像素1247。
在图12中，绿色像素1245的中心点沿着各行(诸如行1222)以及沿着各列(诸如列1224)布置。距离1262等于距离1264等于间距PTC。中间层沿着竖直方向和水平方向以相等的距离PTC/3(距离1265)与上层错开。下层沿着竖直方向和水平方向以相等的距离PTC/3(距离1266)与中间层错开。
阵列部分1211的各个像素针对输入图像获取值。另外，在实施例中，可关于输入图像计算额外值。如上，对于一个或多个区块，额外值可对应于额外中心点1239。
以上描述示出了多种可能的实施例。在进入计算额外值的细节之前，现在描述整体成像系统。
图13描绘了用于根据实施例制备的成像装置的基于控制器的系统1300。系统1300可用于图1的装置。
系统1300包括根据实施例(诸如通过像素阵列)制备的图像传感器1310。上文示出了像素阵列的示例。这样，系统1300可为(但不限于)计算机系统、成像装置、相机系统、扫描仪、机器视觉系统、车辆导航系统、智能电话、视频电话、个人数字助理(PDA)、移动计算机、监视系统、自动聚焦系统、星象跟踪系统、运动检测系统、图像稳定系统、用于高清电视的数据压缩系统等。
系统1300还包括根据实施例制备的控制器1320。控制器1320可为图1的控制器120。控制器1320可为中央处理单元(CPU)、数字信号处理器、微处理器、微控制器、专用集成电路(ASIC)、可编程逻辑器件(PLD)等。在一些实施例中，控制器1320通过总线1330与图像传感器1310通信。在一些实施例中，控制器1320可在单个集成电路中与图像传感器1310组合。如本领域技术人员应该理解的那样，控制器1320通过从输出端口发出控制信号等来控制并操作图像传感器1310。
控制器1320还可与系统1300中的其它装置通信。一个这种其它装置可为存储器1340，其可为随机存取存储器(RAM)或只读存储器(ROM)，或二者的组合。存储器1340可构造为存储将由控制器1320读取和执行的指令。存储器1340可构造为长期地和短期地存储通过图像传感器1310获取的图像。
根据实施例，系统1300还可包括用于处理输入图像的图像处理器1325。图像处理器1325可为图1的图像处理器125。在一些实施例中，图像处理器1325通过总线1330与图像传感器1310通信。
另一个这种装置可为外部驱动器1350，其可为紧凑盘(CD)驱动器、拇指驱动器等。另一个这种装置可为针对用户的输入/输出(I/O)装置1360，诸如键区、键盘和显示器。存储器1340可构造为存储用户经I/O装置1360可访问的用户数据。
另一个这种装置可为接口1370。系统1300可使用接口1370发送数据或从通信网络接收数据。这种传输可经例如线缆或USB接口之类的布线实现。可替换地，通信网络可为无线的，接口1370可为无线的并包括，例如天线、无线收发器等。通信接口协议可为通信系统的协议，诸如CDMA、GSM、NADC、E-TDMA、WCDMA、CDMA2000、Wi-Fi、市政Wi-Fi、蓝牙、DECT、无线USB、闪速OFDM、IEEE 802.20、GPRS、iBurst、WiBro、WiMAX、高级WiMAX、UMTS-TDD、HSPA、EVDO、高级LTE、MMDS等。
另一个这种装置可为显示器1380。显示器1380可为图1的显示器180。显示器1380可向用户显示通过图像传感器1310接收到的临时图像，从而帮助用户对齐装置，还可能调整成像参数等。
现在，针对示例像素阵列更加详细地描述根据实施例的计算。对于不同的像素阵列，根据实施例的计算可能相似。以下描述的方面是关于从物理考虑开始并且逐渐前进至更抽象的数学考虑的过程。
图14是物理二层错开堆叠的传感器阵列部分1414的示图。可以认识到，阵列部分1414的特定情况是阵列部分811。更具体地说，阵列部分1414包括上层像素和下层像素。阵列部分1414的各个像素具有以实心点指示的像素中心点1436。像素中心点1436可对应于获取的值的位置。像素中心点1436处于相同平面内(该平面是示图的平面)，而不管它们是属于上层的像素还是下层的像素。
阵列部分1414的各个像素针对输入图像获取值。另外，在实施例中，可关于输入图像计算一个或多个额外值。在图14中，额外中心点1439示为处于有利选择的位置，即在顶部像素层的各行1422之一与底部像素层的各列1454之一的交叉点处。虽然仅示出了一个额外中心点1439，但是可选择更多，如上所述。出于构成输出图像的数学目的，额外值可对应于一个或多个额外中心点1439。
在过程的起始点，阵列部分1414还被称作像素层位置网格，并且其由顶部网格和底部网格形成。上层的各个像素的中心点沿着各行1422和各列1424设置，因此，其包括顶部网格。各行1422的竖直像素间距由距离1462给定。各列1424的水平像素间距由距离1484给定。在该实施例中，竖直间距等于水平间距等于PTC。
下层的各个像素的中心点沿着各行(诸如行1452)和各列(诸如列1454)设置。因此，这些行和这些列包括底部网格。在图8的实施例中，下层的各行各列与上层的各行各列具有相同的间距PTC。下层沿竖直方向以等于PTC/2的距离1463并且沿水平方向以同样等于PTC/2的距离1485与上层错开。
图15是物理采样网格的部分1515的示图。部分1515仅由图14的像素层位置网格的各行各列加上像素中心点1436形成。应该理解，图14的顶部网格叠加在图14的底部网格上，并且顶部网格和底部网格压缩并合并至图15中的单个平面中。因此，部分1515表现了像素阵列中的所有物理采样图素的位置，其将提供获取的值。
在图15中，可关于输入图像计算额外值，其可对应于额外中心点1439。图14的像素阵列的选择允许更多这种点，如现在所描述的。
图16是根据实施例的示例图像构造网格的部分1616的示图。部分1616由诸如图15的物理示例图像构造网格与将要使用的额外中心点1639一起形成。可以认识到，通过将图14的额外中心点1439复制到图15的物理示例图像构造网格部分下层的有利空间中来产生额外中心点1639。
这样，在示例图像构造网格部分1616中，行和列的每个交叉点都将贡献用于最终图像的值。对应于像素中心点1436的值将是针对输入图像的获取的值，而对应于额外中心点1639的值将是关于输入图像的额外计算的值。
还应该理解，由于图16中的每个交叉点将贡献用于最终图像的值，因此有效间距将变小。然而，为了更好地理解这一点，现在提供关于怎样定义区块的更详细的描述。
区块是可沿着竖直维度和/或水平维度和/或深度维度彼此相邻的一组像素。另外，区块的像素在数量上最少。此外，作为一组，区块的像素具有基本相同的特性，而不管它们在阵列中的位置。当存在期望组合工作的不同颜色的像素时，使用区块的定义。有时将一种称作去马赛克的处理应用于这种组合，其将区块的各个像素作为马赛克对待。应该理解，考虑到这些概念，也可通过像素中心点来定义区块。
在一些实施例中，针对各个区块，可与区块一起复制额外中心点。虽然在以下示例中额外中心点示为在区块内，但是这不是必要的。
在一些实施例中，将对应于额外中心点的额外值与获取的值联合地去马赛克。因此，可通过联合去马赛克处理构造输出图像。
现在描述所述区块的示例。通过这些示例，应该记住，在其它实施例中，可针对各个区块定义两个或更多个额外中心点。
图17是示出单层传感器阵列部分1711的示图。部分1711具有与图5相同的拜耳图案。示例区块为1780。示例额外中心点1739示于区块1780中。
图18是示出三层堆叠的传感器阵列部分1811的示图。部分1811具有与图7相同的图案，具有相同类型的像素。示例区块为1880，具有仅沿着深度维度相邻的三个像素。示例额外中心点1839示于区块1880中。
图19是示出二层堆叠的传感器阵列部分1911的示图。部分1911具有与图6相同的图案，具有相同类型的像素。示例区块为1980，具有沿着宽度维度和深度维度相邻的四个像素。两个示例额外中心点1939示于区块1980中。
图20是示出二层错开堆叠的传感器阵列部分2011的示图。部分2011具有与图8相同的图案，具有相同类型的像素。示例区块为2080，具有沿着宽度维度和深度维度相邻并错开的四个像素。示例额外中心点2039示于区块2080中。更多这种额外中心点也是可以的。现在描述一个示例。
图21示出了描绘另一过程的序列图。阵列部分2011重复自图20，并且指出了区块2080。
从阵列部分2011向下移动，则区块2080的像素单独被看作是隔离的。另外，示出了其中将要计算额外值的位置2140。应该注意，对于这些位置2140中的一些，已存在来自下层的彩色像素的一种颜色的获取的值。针对位置2140的带有嵌入问号的六边形是用于示出其中可计算额外值的位置的载体。
进一步从区块2080向下移动，示出了图像构造网格2116。在网格2116的交叉点示出了点P1、P2、……、P8。所有这些点P1、P2、……、P8是额外中心点2139，因此示为包括圈2139。将计算与它们对应的额外值。另外，点P1、P3、P6、P8也为像素中心点，因此示为包括点2136。通过下层像素，获取的值对应于它们中的每一个。可以观察到，点P1、P3、P6、P8包括点2136和圈2139二者。尽管有获取的值，但也可针对这些点(诸如针对不同颜色)计算额外值。
对于额外值的计算，根据实施例，可使用一个或多个滤波函数。现在描述示例。随着描述继续进行，应该看出，滤波函数可具有滤波器参数，并且可使用用于滤波器参数的不同值。
图22示出了序列图。阵列部分1414重复自图14。在阵列部分1414中，指出了像素中心点2236。此外，将针对像素中心点2236计算额外值。这样，也将像素中心点2236指定为额外中心点2239。
根据实施例，可通过围绕额外中心点2239的获取的值的核心(kernel)来计算额外值。因此，可围绕额外中心点2239限定核心2277，其包围将用于计算额外值的获取的值。应该观察到，核心2277还包围不具有获取的值的点(比如，点2237)。
从阵列部分1414向下移动，示出了针对核心2277的位置集2282。位置集2282包括用于像素中心点Q1、Q2、……、Q13的获取的值。像素中心点Q1、Q2、……、Q13对应于枚举的位置。位置集2282还包括用于不具有获取的值的点(比如，点2237)的空值2230。当计算额外值时，可以忽略这些或将其设为零。
如上所述，图22的处理旨在用于计算在额外中心点2239的额外值。可需要重复该处理以计算在区块的额外中心点的额外值，诸如图21的针对区块2080的图像构造网格2116中示出的那些。位置集2282也可被认为是核心和/或矢量Hp。在这种语境下，额外中心点2239也定义为唯一滤波器位置p，并且位置集2282示出了在区块(i，j)和层l内在构造位置p上居中的核心Hp中的位置。例如，位置集2282的中心位置Q7可应用于图像构造网格2116的点P6，随后应用于点P8。还存在这样的情况，从区块2080中的获取的值之一(诸如P3的值)以及从特定区块以外的获取的值之一(诸如点P2以上的一个点的值)来计算对应于区块2080中的额外中心点P6的额外值。
图23示出了序列图。阵列部分1414重复自图14。在阵列部分1414中，指定像素中心点2336。获取的值对应于像素中心点2336。此外，将计算将对应于额外中心点2339的额外值。不同的是，额外中心点2339不位于任何轴线的交叉点，并且不享有先前附图中的点2239的许多对称性。
根据实施例，可在额外中心点2339周围定义核心2377，其包围将用于计算额外值的获取的值。如上，核心2377还包围不具有获取的值的点，并且在图23中不另外指出。
从阵列部分1414向下移动，示出了针对核心2377的位置集2382。位置集2382包括用于像素中心点S1、S2、……、S12的获取的值。像素中心点S1、S2、……、S12对应于枚举的位置。还示出了点2339。
通过上文中，可理解一些滤波器参数。首先，滤波器参数可为核心2277、2377的尺寸，换句话说，滤波器的尺寸。良好的值应该为5×5至7×7。进一步说，用于矩形形状的核心的良好的值应该为奇数乘以相同的奇数，从而滤波器将在额外中心点周围均匀地加权。当然，根据实施例的核心不一定为矩形。第二，滤波器参数可为例如根据它们在核心中的位置可乘以不同的获取的值的权重系数。
现在针对额外值描述根据实施例的更详细的计算方法。可在任何合适的色空间中命名这些额外值。实施例可包括RGB色空间、红白蓝色空间和亮度-色度色空间。现在描述更多特定示例。
图24示出了根据实施例可用于计算R、G、B值的等式。可以认识到这些等式表示通过将已根据上述权重系数特别加权的像素的获取的值相加而在两个维度上应用的线性卷积的过程。卷积在构造位置周围的邻近位置进行。
在图24的等式中，下标l是像素传感器阵列中的层数。卷积是在所有层l上的总和。
各个区块T可具有识别下标T(i，j)，并且可针对各个区块(i，j)中的位置p执行卷积。矢量X(i，j，p，l)代表在区块T(i，j)的核心、区块内位置p和层l中的获取的值。
权重系数(也被称作权重)可由矢量滤波器H给定。可存在多个这种滤波器H，各个这种滤波器H用于层l、区块内构造位置p和颜色的各个组合。对于红色、绿色、蓝色，这些滤波器可为H(p,l)R、H(p,l)G和H(p,l)B。各个这种滤波器可具有合适尺寸，诸如先前提及的7×7。
因此，可通过图24来计算R、G、B的值。应该理解，可忽略在核心H内并对应于不存在物理像素的位置，这是因为未提供获取的值。可通过从计算中排除这些、将合适的权重系数设为零等来执行这种忽略步骤。
通过利用亮度–色度色空间可执行替代形式的计算。如果使用这些，则它们可进一步转换为R、G、B，在这种情况下，可比上述直接的R、G、B计算需要更少的计算。现在描述特定实施例。
图25A示出了用于估计针对额外值的亮度Y(i,j,p)的等式。在给定亮度的性质时，可使用不同的滤波器，即H(p,l)Y，滤波器的尺寸可较大，比如7×7。再次提醒，可在所有层l上相加。
图25B示出了用于估计色差C(i,j,p,l)的等式。色差在获取的或感测的值之间，并且通过图25A的亮度计算得到。
图25C示出了用于估计分别针对R、G、B颜色的色度值C(i,j,p)R、C(i,j,p)G和C(i,j,p)B的等式。该估计使用通过图25B的等式估计出的色差。可使用不同的滤波器，即H(p,l)CR、H(p,l)CG和H(p,l)CB，滤波器的尺寸可较小，比如5×5。再次提醒，在所有层l上执行相加。
图25D示出了用于估计RGB值的等式，诸如图24的那些。然而，在图25D中，通过图25A的亮度值和图25C的色度差来再构造RGB值。
当然，上述操作假设一个或多个滤波函数或者仅滤波器对于计算是已知的。根据实施例，可首先训练滤波器以确定用于它们的参数的良好的值。随后，将经训练的滤波器用于就绪的装置。现在描述示例。
图26是用于描述根据实施例的滤波器训练操作的示图2600。可选择参考图像2610，并将其作为源来处理。参考图像2610可选自自然和人造的典型景物的合集。在优选的实施例中，在选择的图像中的景物类型的频率反映了由成像装置100的代表性用户(诸如摄影师)获取的那些类型的景物的频率。
根据多种可能的导出方法之一的实施例，可通过选择的参考图像2610导出目标图像2612。在本文中稍后描述用于这种导出方法的示例算法。目标图像2612也可被看作是参考图像2610的目标版本，并且还被称作目标参考图像。目标图像2612对应于期望通过实施例构造参考图像2610的程度。
关于参考图像2610已知一组RGB值2614。根据处理2635(其模拟根据实施例的处理)，通过一组值2614构造输出测试图像2640，并且使用用于滤波函数的参数的试验值。处理2635可包括计算额外测试值和去马赛克。可联合地将额外测试值与输入测试值去马赛克。可通过联合去马赛克处理构造输出测试图像2640。
随后可将输出测试图像2640与目标图像2612比较以确定它们的接近程度，即它们的匹配程度。可利用不同的参数值将该处理重复数次，直至它们达到令人满意的接近程度。这样，通过使误差(即构造的输出测试图像2640与目标图像2612之间的差)最小化来对滤波器进行训练或学习。在本文中稍后描述用于使误差最小化的示例算法。
在一些实施例中，可通过将测试阵列实际暴露于参考图像来确定输入测试值，从而获取图像。参考图像可为印刷在测试图上的景物。优选地，该景物的图像未过度曝光并且具有低噪声。
在这种情况下，可通过将参考图像2610与获取的图像尽可能精确地对齐、并预计可存在于测试像素阵列中的可能的几何扭曲来获得目标图像2612。因此，可计算目标图像2612。
在其它实施例中，可通过计算由于暴露于参考图像而导致的像素的期望响应来确定输入测试值。可按照任意多种方式来实现这一点。
一种这种方式是确定点扩散函数(Point Spread Function，PSF)。可针对测试像素阵列测量PSF。可替换地，可测量调制传递函数(Modulation Transfer Function，MTF)以获得PSF。如果不能进行测量，则可例如利用透镜参数和已知或目标传感器PSF来估计PSF，可通过系统模拟获得。
在这种情况下，可通过计算构造网格的期望响应模拟目标图像2612。例如，可采用自然景物的高分辨率位图图像作为参考图像，该图像为获取的景物的忠实线性表示。噪声可为低的，可存在少量或不存在截取了RGB值的过度曝光的区域，并且无过度锐化。如果已对图像进行伽马校正，则可通过施加反伽马变换来线性化。另外，可应用能够对应于图像的色空间的反色彩校正。可计算在物理图素处的期望响应。可通过应用从先前步骤获得的PSF来实现这一点。在图像构造网格上去马赛克之后，可计算期望的响应以获得目标图像2612。
图27示出了用于描述根据实施例的滤波器训练方法的流程图2700。也可通过上述实施例来实施流程图2700的方法。或者，可以通过执行行为的分离的处理器来训练一个或多个滤波函数。这些行为可导致诸如以下的操作。
根据操作2710，可针对参考图像接收输入测试值。参考图像可为参考图像2610，并且输入测试值可为集合2614。可按照任意多种方式来确定输入测试值。
根据另一操作2720，针对滤波函数的参数选择试验值。如果操作2720是第一次执行，则可通过试验性地设置来选择值。如果操作2720是再次执行，则可通过试验性地设置的值来对值进行调整。鉴于在操作2750中的误差的确定，可进一步进行调整。
根据另一操作2730，可通过关于参考图像的输入测试值来计算额外测试值。可利用上一次执行的操作2720的试验值来计算额外测试值。另外，可如上执行去马赛克。
根据另一操作2750，参考图像的目标版本可与输出测试图像进行比较。可通过输入测试值并通过额外测试值(诸如通过操作2730)构造输出测试图像。可执行比较以观察匹配程度。如上所述，可通过将差量化作为误差来确定匹配程度，随后尝试使误差最小化。如果匹配不令人满意，则可继续执行至操作2720，并且可基于比较进一步调整参数值。
现在描述用于使误差最小化的实施例。
图28示出了根据实施例的可用于训练滤波器的等式，以形成具有RGB值的图像。在这些情况下，训练将用于直接RGB构造。
等式2810是线性等式的超定(over-determined)系统。训练涉及等式2810中的误差最小化。R*、G*、B*的值是来自目标图像的值。示为具有上标的矢量(诸如H')是没有上标的矢量(诸如H)的转置矢量。
等式2810的挑战在于关注的未知数是没有解析地给出的H'。将等式2820写为等式2810的每一个的概要表达可应对该挑战。然后，等式2830针对A的值显示了解决等式2820的方式。这样，等式2830的形式将用于针对H'解决等式2810。
可替换地，可利用首先计算亮度色度的实施例通过较少的计算量解决训练。以下使用以上已参照图25A至25D描述的概念。
图29A、图29B、图29C、图29D示出了根据实施例的可用于首先在亮度和色度值方面训练滤波器的等式。图29A的等式至少针对目标参考图像给出了亮度的值。图29B的等式表示出包括亮度滤波器H'(p,l)Y的转置的过度约束的问题。然后，可为滤波器训练解决亮度滤波器H(p,l)Y。可利用数字方法(诸如最小均方差)来完成这种解决步骤。
然后，可为滤波器训练解决色度滤波器H(p,l)CR、H(p,l)CG和H(p,l)CB。图29C的等式与图25A、图25B和图25D中的那些相似。图29C的等式表示出与图28的等式2810相同的过度约束的问题，并且可相似地解决。
现在描述额外的图像操作。
图30是示出示例图像操作的示图3077。输入图像3014可经历一个或多个操作3070，然后它们呈现输出图像3040。根据实施例，多个这种操作是可能的。例如，可与去马赛克一起改变图像尺寸。现在描述示例。
图31是示出改变尺寸的示图。示出了阵列的部分3111，其为图8的阵列811的部分。部分3111还示出了单元区块2080、水平像素间距884和为水平像素间距884的尺寸的一半的水平偏离距离885。
根据改变尺寸操作3170，可将图像改变尺寸为新的示例图像构造网格3116。图像构造网格3116在新的各行3172和各列3174的交叉点处通过点标记限定了位置。这些新的各行和各列为图像构造网格3116提供了其自身的间距，其可被称作构造间距。构造间距可与像素间距不同。通过改变尺寸，图像构造网格3116将不再以相同方式映射至物理像素。
更具体地说，在部分3111中，像素中心点根据像素间距884沿着特定方向分布。在图31中，所述特定方向是水平方向，但也可等同地描述竖直方向。另外，在图像构造网格3116中，至少一些额外中心点可根据构造间距沿着特定方向分布。这里，所述特定方向是水平方向，水平方向的构造间距3194大于物理示例网格间距885。通过对比指示3113指示了这一点，其将两倍间距885(即，像素间距884)的尺寸与两倍构造间距3194的尺寸进行对比。
在图31的示例中，示出了新的单元区块3180，其也被称作改变尺寸的区块和初级改变尺寸的区块。应该注意，改变尺寸的区块3180不由区块2080限定，而是通过相对于物理像素图素唯一地布置在构造网格3116上的最少数量的位置来限定。区块3180具有以点示出的九个这种位置或定位，针对所述位置或定位需要计算滤波器值。仅指示出所述九个位置中的四个位置S1、S6、S8、S9，以便不使附图混乱。
就水平标度比(水平构造间距除以水平物理间距)和竖直标度比(竖直构造间距除以竖直物理间距)而言，可量化从输入图像至输出图像的扩展。总标度比将为水平标度比乘以竖直标度比。总标度比的示例可为约1.5x。
实际上，在改变尺寸的实施例中，可同时存在水平方向和竖直方向上的扩展或收缩。在实施例的特定情况下，有利地，扩展是可能的，这是因为可在获取的值之间计算额外值。在一些实施例中，可将输出图像改变尺寸，以满足在有限分辨率中约20％的增大。
在诸如图31的实施例中，选择了图像构造网格3116以使得在各个位置都存在一个绿色像素图素，总标度比对应于输出图像中的样本量/输入图像中的绿色像素的量。因此，2兆像素相机可有效地产生3兆像素相机的图像，与约1.5x的总标度比一致。本领域技术人员将确定在给定任何图像构造网格时进一步选择什么样的构造间距对于改变尺寸才是有利的。
此外，针对各个滤波器位置，将不得不首先针对各个唯一滤波器位置限定核心。在图像构造网格3116上的各个构造位置周围限定图像构造网格3116上的滤波器核心。应该清楚的是，将必须针对不在物理像素网格上的那些核心位置计算值，例如通过额外中心点2339在图23中所指示的那些。可枚举核心H中的滤波器系数位置。可忽略不存在物理像素中心的位置处的系数或将其设为0。
当应用改变尺寸时，核心尺寸可更大。更大的尺寸可产生自尝试在不改变尺寸的情况下匹配原始核心尺寸，从而避免颜色混杂。例如，如果水平地和竖直地应用2x缩小时，改变尺寸的新核心尺寸可水平地和竖直地覆盖2x更多的图素样本。算法的其余部分可与之前一样。
对于图30的改变尺寸操作可实施额外图像操作(可选地与上述各个操作一起作为单个操作)。这种额外图像操作包括色彩校正，降噪和锐化。这些额外图像操作还包括色空间转换，例如通过从RGB线性转换输出YUV或反之。此外，这些额外图像操作包括当丢失时重构样本的坏像素校正。随后，可利用适当训练的核心来执行坏像素校正。现在描述样本实施例。
在实施例中，一旦实施滤波器，利用滤波器将这些额外操作进一步实施为单个操作就可有利地消除对于包括用于这些额外操作的分离的处理阶段的需要。实际上，可将这些额外操作实施为已经实施的滤波器的值相对于这些值应该具有的值的变化。此外，甚至可将其定制为成像装置(诸如成像装置100)的特定部件。
图32是与图26相似的根据实施例的用于描述滤波器训练操作的示图3200。可与参考图像2610相似地选择参考图像3210。
可通过选择的参考图像3210导出目标图像3212。目标图像3212也可被看作是参考图像3210的目标版本。目标图像3212对应于期望通过实施例构成的参考图像3210的程度。导出可为两部分的。初始导出可为如本文先前描述的那样。除此之外，导出包括将一个或多个期望的额外图像操作3288应用于参考图像3210，以得到目标图像3212。额外图像操作3288可包括色彩校正、降噪、锐化、色空间转换、坏像素校正、改变尺寸等中的一个或多个。
根据处理3235(其模拟根据实施例的处理)，通过一组值3214并利用针对滤波函数的参数的试验值构成输出测试图像3240。与处理2625相似，处理3235可包括计算额外测试值和去马赛克。
随后可将输出测试图像3240与目标图像3212比较以确定它们的接近程度。可利用不同的参数值将该处理重复多次，直至它们达到令人满意的接近为止。这样，通过如上使构成的输出测试图像3240与目标图像3212之间的误差最小化来对滤波器进行训练或学习。因此，将对处理3235中的滤波器进行训练以执行同样期望的额外图像操作3288。
根据实施例可对额外图像操作3288进一步增加定制。例如，可针对构造对像素阵列位置、透镜缩放定位、聚焦定位进行定制。这样，可出于校准目的为各个制造的相机模块进行定制；这种相机模块可提供测试阵列。相机PSF/MTF相对于像素阵列位置(中心或周边)、透镜缩放和焦点定位、单独的模块特征等变化。通过考虑和补偿这些PSF/MTF变化，这些定制可有助于实现更好的图像质量。可针对各种构造训练额外的多组滤波器，然而每次可针对最终图像仅应用一组滤波器。
根据实施例，额外图像操作3288可具有其它用途。可训练滤波器，使得还可以使用其它色彩构成。这些其它色彩构成可包括除三种颜色通道以外的情况，诸如单色、RGBW(RGB+白色)等。
挑战在于，虽然色彩校正可与去马赛克(和锐化)组合，但有时色彩校正需要非线性处理。这样，色彩校正有时可不能与去马赛克联合完成。在色彩校正之后应用锐化的情况下，锐化会与去马赛克脱离，并且可需要更多的阶段。
图33是示出特定合成图像操作3300的示图。将联合的去马赛克和锐化信号操作3305应用于输入图像3310。所述结果之一是包括RGB值的重构的图像3340，而另一个是锐化信号3382，其包括指示锐化信号的幅值的S值。更具体地说，可针对各个位置增加滤波器。可训练该滤波器以通过提供用于锐化信号的(模拟)目标图像来产生锐化信号。在该实施例中，在色彩校正之后，将锐化信号加至图像以获得锐化图像。色彩校正操作3342可随后应用于重构的图像3340，并且随后锐化操作3384应用锐化信号3382，以使得重构的图像3340变为最终输出图像3386。
在上述方法中，可将各个操作执行为进行可发生的所写内容或导致该所写内容发生的肯定步骤。这种进行或导致发生的步骤可通过整个系统或装置实现，或仅通过其一个或多个部件实现。另外，操作的次序不限于示出的次序，并且根据不同实施例，不同的次序可以是可能的。此外，在特定实施例中，可增加新操作，或者可修改或删除单独操作。例如，增加的操作可来自提及的内容，同时主要描述不同的系统、装置或方法。
本说明书包括一个或多个示例，但是不限制可实施本发明的方式。实际上，可根据描述的内容实施本发明的示例或实施例，或者不同地实施本发明的示例或实施例，并且与其它现在或未来的技术结合实施本发明的示例或实施例。
在本说明书中对任何现有技术的说明不是并且不应理解为对于该现有技术形成了任何国家公知常识的一部分的确定或任何形式的建议。
本领域技术人员应该能够鉴于作为一个整体的本说明书实施本发明。已包括了细节以提供彻底的理解。在其它情况下，未描述公知的方面，以免不必要地使本发明模糊。
其它实施例包括本文描述的特征的组合和子组合，包括例如等同于以下实施例的实施例，所述实施例即：按照与在所述实施例中的不同次序提供或应用特征；从一个实施例中提取单独特征，并且将该特征插入另一实施例中；从实施例中去除一个或多个特征；或者从实施例中去除特征和增加从另一实施例中提取的特征二者，同时提供按照这种组合和子组合并入的特征的优点。
权利要求限定了元件、特征和步骤或操作的特定组合和子组合，它们被认为是新颖的并且不是显而易见的。在本文和相关文档中可提供针对其它这种组合和子组合的额外权利要求。

Claims (22)

1.一种成像装置，包括：
阵列，其具有构造为针对输入图像获取各个值的一组像素，获取的值对应于获取这些值的各个像素的像素中心点；
处理器，其构造为通过所述获取的值来计算关于所述输入图像的额外值，所述额外值中的至少一些对应于与任何所述像素中心点不同的额外中心点；以及
一个或多个存储器，其构造为存储所述获取的值和所述额外值。
2.根据权利要求1所述的成像装置，其中
在存储所述额外值时使所述额外值与所述获取的值进一步合并。
3.根据权利要求1所述的成像装置，还包括：
显示器，其构造为显示通过所述获取的值和所述额外值二者构成的输出图像。
4.根据权利要求3所述的成像装置，其中
联合地将所述额外值与所述获取的值去马赛克，并且
通过联合去马赛克处理来构成所述输出图像。
5.根据权利要求1所述的成像装置，其中
通过所述像素中心点限定实质上相同的区块，并且
通过特定区块中的一个获取的值和所述特定区块以外的一个获取的值来计算对应于所述特定区块中的一个额外中心点的一个或多个额外值。
6.根据权利要求1所述的成像装置，其中
所述获取的值的数量加上所述额外值的数量之和大于所述阵列中的像素的数量。
7.根据权利要求1所述的成像装置，其中
所述阵列的各个像素至少布置在下层和竖直堆叠在所述下层之上的上层中，并且
所述像素中心点限定为所述上层的像素的像素中心点加上所述下层的像素在所述上层的平面上的投影的像素中心点。
8.根据权利要求7所述的成像装置，还包括：
显示器，其构造为显示通过所述获取的值和所述额外值二者构成的输出图像。
9.根据权利要求8所述的成像装置，其中
联合地将所述额外值与所述获取的值去马赛克，并且
通过联合去马赛克处理来构成所述输出图像。
10.根据权利要求1所述的成像装置，其中
利用滤波函数计算所述额外值。
11.根据权利要求10所述的成像装置，其中
通过处理器来训练所述滤波函数，所述处理器执行导致以下操作的行为，所述操作包括：
接收针对参考图像的输入测试值；
选择用于所述滤波函数的参数的试验值；
利用所述试验值通过输入测试值来计算关于所述参考图像的额外测试值；以及
调整参数值。
12.根据权利要求11所述的成像装置，其中
通过将测试像素阵列暴露于所述参考图像来确定所述输入测试值。
13.根据权利要求11所述的成像装置，其中
通过计算由于暴露于所述参考图像导致的像素的期望响应来确定所述输入测试值。
14.根据权利要求11所述的成像装置，其中
所述滤波函数的参数是滤波器的尺寸和滤波器的权重系数中的一者。
15.根据权利要求11所述的成像装置，其中
将所述参考图像的目标版本与通过所述输入测试值和所述额外测试值构成的输出测试图像进行比较，并且
基于所述比较调整所述参数值。
16.根据权利要求15所述的成像装置，其中
联合地将所述额外测试值与所述输入测试值去马赛克，并且
通过联合去马赛克处理来构成所述输出测试图像。
17.根据权利要求15所述的成像装置，其中
对所述参考图像执行额外图像操作，以得到所述参考图像的目标版本。
18.根据权利要求1所述的成像装置，其中
所述像素中心点根据像素间距沿着特定方向分布，并且
所述额外中心点中的至少一些根据与所述像素间距不同的构造间距沿着所述特定方向分布。
19.一种成像装置，包括：
阵列，其具有构造为针对输入图像获取各个值的一组像素，获取的值对应于获取这些值的各个像素的像素中心点；
处理器，其构造为通过所述获取的值来计算关于所述输入图像的额外值，所述额外值中的至少一些对应于与所述像素中心点不同的额外中心点；以及
显示器，其构造为显示通过所述获取的值和所述额外值构成的输出图像。
20.一种图像处理方法，包括步骤：
针对输入图像接收获取的值，所述获取的值对应于获取这些值的各个像素的像素中心点；
通过所述获取的值来计算关于所述输入图像的额外值，所述额外值中的至少一些对应于与所述像素中心点不同的额外中心点；以及
使得所述获取的值和所述额外值存储在一个或多个存储器中。
21.一种用于成像装置的方法，所述成像装置具有像素的阵列、处理器和显示器，各个像素处于所述阵列的各个像素中心点，所述方法包括步骤：
在一组像素中针对输入图像获取值，获取的值对应于获取这些值的各个像素的像素中心点；
通过所述获取的值来计算关于所述输入图像的额外值，所述额外值中的至少一些对应于与所述像素中心点不同的额外中心点；以及
显示通过所述获取的值和所述额外值构成的输出图像。
22.一种用于成像装置的方法，所述成像装置具有像素的阵列、处理器和一个或多个存储器，各个像素处于所述阵列的各个像素中心点，所述方法包括步骤：
在一组像素中针对输入图像的元素获取值，获取的值对应于获取这些值的各个像素的像素中心点；
由处理器通过所述获取的值来计算关于所述输入图像的额外值，所述额外值中的至少一些对应于与所述像素中心点不同的额外中心点；以及
将所述获取的值和所述额外值存储在所述一个或多个存储器中。
CN201410601507.2A 2013-10-30 2014-10-30 处理来自多层传感器的图像中的超分辨率 Active CN104601970B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201361897773P 2013-10-30 2013-10-30
US61/897,773 2013-10-30
US14/191,417 2014-02-26
US14/191,417 US9392166B2 (en) 2013-10-30 2014-02-26 Super-resolution in processing images such as from multi-layer sensors

Publications (2)

Publication Number Publication Date
CN104601970A CN104601970A (zh) 2015-05-06
CN104601970B true CN104601970B (zh) 2018-04-10

Family

ID=51868785

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410601507.2A Active CN104601970B (zh) 2013-10-30 2014-10-30 处理来自多层传感器的图像中的超分辨率

Country Status (5)

Country Link
US (2) US9392166B2 (zh)
EP (1) EP2869551A3 (zh)
JP (1) JP2015088192A (zh)
KR (1) KR102258123B1 (zh)
CN (1) CN104601970B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6474305B2 (ja) 2015-04-23 2019-02-27 株式会社日立製作所 太陽光発電システムの診断方法及び監視装置
US9712792B2 (en) 2015-08-10 2017-07-18 Samsung Electronics Co., Ltd. RGB-RWB dual images by multi-layer sensors towards better image quality
US9860429B1 (en) 2016-06-30 2018-01-02 Apple Inc. Scaling of image data in sensor interface based on detection of defective pixels
US20190353484A1 (en) * 2018-02-22 2019-11-21 Government Of The United States Of America, As Represented By The Secretary Of The Navy Methods and apparatuses for determining attitude information from stars using color information
KR102555317B1 (ko) 2018-08-09 2023-07-14 구글 엘엘씨 사용자 디바이스에 적용된 내추럴 핸드헬드 모션을 이용한 초해상도
KR20200141813A (ko) 2019-06-11 2020-12-21 삼성전자주식회사 이미지 신호 프로세서, 및 상기 이미지 신호 프로세서를 포함하는 이미지 센서
CN112767252B (zh) * 2021-01-26 2022-08-02 电子科技大学 一种基于卷积神经网络的图像超分辨率重建方法
US11605153B1 (en) 2022-01-03 2023-03-14 Microsoft Technology Licensing, Llc Generate super-resolution images from sparse color information

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6754397B1 (en) * 2000-03-09 2004-06-22 Sharp Laboratories Of America, Inc. Method, software and devices for designing a scalable image (FIR) filter with integer coefficients
CN102177585A (zh) * 2008-10-16 2011-09-07 全视科技有限公司 具有多个感测层的图像传感器及其操作与制作方法
CN102640499A (zh) * 2009-10-20 2012-08-15 苹果公司 用加权的梯度对图像数据去马赛克的系统和方法
CN102656604A (zh) * 2010-10-15 2012-09-05 株式会社摩如富 图像处理装置、图像处理方法以及图像处理程序

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6137100A (en) 1998-06-08 2000-10-24 Photobit Corporation CMOS image sensor with different pixel sizes for different colors
US6466618B1 (en) 1999-11-19 2002-10-15 Sharp Laboratories Of America, Inc. Resolution improvement for multiple images
US6940061B2 (en) 2002-02-27 2005-09-06 Agilent Technologies, Inc. Two-color photo-detector and methods for demosaicing a two-color photo-detector array
US6841816B2 (en) 2002-03-20 2005-01-11 Foveon, Inc. Vertical color filter sensor group with non-sensor filter and method for fabricating such a sensor group
US7129466B2 (en) * 2002-05-08 2006-10-31 Canon Kabushiki Kaisha Color image pickup device and color light-receiving device
JP4495949B2 (ja) * 2003-11-14 2010-07-07 富士フイルム株式会社 ２板式カラー固体撮像装置及びデジタルカメラ
CN1943002A (zh) 2004-05-27 2007-04-04 通用电气公司 对物件进行等离子体处理的装置和方法
US7856154B2 (en) 2005-01-19 2010-12-21 The United States Of America As Represented By The Secretary Of The Army System and method of super-resolution imaging from a sequence of translated and rotated low-resolution images
JP4500702B2 (ja) 2005-02-17 2010-07-14 富士フイルム株式会社 光電変換膜積層型固体撮像素子
US20060250587A1 (en) * 2005-05-05 2006-11-09 Regis Grasser Image projection method and projection system
JP4911445B2 (ja) 2005-06-29 2012-04-04 富士フイルム株式会社 有機と無機のハイブリッド光電変換素子
JP4887079B2 (ja) * 2006-06-06 2012-02-29 富士フイルム株式会社 光電変換膜積層型固体撮像素子
US8049256B2 (en) 2006-10-05 2011-11-01 Omnivision Technologies, Inc. Active pixel sensor having a sensor wafer connected to a support circuit wafer
CN101345248B (zh) 2007-07-09 2010-07-14 博立码杰通讯(深圳)有限公司 多光谱感光器件及其制作方法
CA2724212A1 (en) 2008-05-15 2009-11-19 Siemens Aktiengesellschaft Sensor device
KR101639382B1 (ko) * 2008-08-27 2016-07-13 삼성전자주식회사 높은 동적 범위를 가지는 영상을 생성하는 장치 및 방법
JP5353200B2 (ja) 2008-11-20 2013-11-27 ソニー株式会社 固体撮像装置および撮像装置
EP2502115A4 (en) 2009-11-20 2013-11-06 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER
US8724000B2 (en) * 2010-08-27 2014-05-13 Adobe Systems Incorporated Methods and apparatus for super-resolution in integral photography
WO2012028847A1 (en) 2010-09-03 2012-03-08 Isis Innovation Limited Image sensor
GB2488769A (en) 2011-03-07 2012-09-12 Sony Corp Image Sensor Including an Array of Primary Colour Sensitive Photosensors Being Read in Line Subsets
JP2013003610A (ja) * 2011-06-10 2013-01-07 Sony Corp 画像処理装置および方法、プログラム、並びに記録媒体
KR101334099B1 (ko) 2011-11-17 2013-11-29 (주)실리콘화일 이중 감지 기능을 가지는 기판 적층형 이미지 센서

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6754397B1 (en) * 2000-03-09 2004-06-22 Sharp Laboratories Of America, Inc. Method, software and devices for designing a scalable image (FIR) filter with integer coefficients
CN102177585A (zh) * 2008-10-16 2011-09-07 全视科技有限公司 具有多个感测层的图像传感器及其操作与制作方法
CN102640499A (zh) * 2009-10-20 2012-08-15 苹果公司 用加权的梯度对图像数据去马赛克的系统和方法
CN102656604A (zh) * 2010-10-15 2012-09-05 株式会社摩如富 图像处理装置、图像处理方法以及图像处理程序

Also Published As

Publication number Publication date
US20160292822A1 (en) 2016-10-06
JP2015088192A (ja) 2015-05-07
KR20150050347A (ko) 2015-05-08
CN104601970A (zh) 2015-05-06
EP2869551A3 (en) 2015-09-30
EP2869551A2 (en) 2015-05-06
KR102258123B1 (ko) 2021-05-28
US9392166B2 (en) 2016-07-12
US20150116545A1 (en) 2015-04-30
US9996903B2 (en) 2018-06-12

Similar Documents

Publication Publication Date Title
CN104601970B (zh) 处理来自多层传感器的图像中的超分辨率
CN102450020B (zh) 四通道滤色器阵列内插
AU2018346909B2 (en) Image signal processor for processing images
CN102461174B (zh) 具有四个通道的滤色器阵列图案
CN110021047A (zh) 图像处理方法、图像处理装置和存储介质
CN104052979B (zh) 用于图像处理的装置和技术
US6252577B1 (en) Efficient methodology for scaling and transferring images
US20140247979A1 (en) Method and device for generating high dynamic range images
CN105719274B (zh) 边缘检测系统及方法
CN109194954B (zh) 鱼眼摄像头性能参数测试方法、装置、设备及可存储介质
CN109729261A (zh) 用于处理数据值的流的系统和方法
CN110070503A (zh) 基于卷积神经网络的尺度校准方法、系统及介质
TWI751124B (zh) 用於處理由彩色影像擷取矩陣產生的信號的方法以及相應的感測器
KR100858086B1 (ko) 렌더링 장치 및 방법
WO2020158909A1 (ja) 計数装置、学習器製造装置、計数方法、及び学習器製造方法
CN101939762A (zh) 用于重构彩色图像的方法和设备
CN109727262A (zh) 用于处理数据值的流的系统和方法
JP2020061129A (ja) 画像処理方法、画像処理装置、撮像装置、画像処理システム、プログラム、および、記憶媒体
JP2022150562A (ja) 画像処理装置、画像処理方法およびプログラム
CN107318006B (zh) 具有低蓝光密度的彩色滤波器阵列
CN115840761B (zh) 一种卫星影像像元值修改方法、系统、设备及介质
CN115499629B (zh) 横向色差校正方法、装置、设备以及存储介质
WO2022249934A1 (ja) 画像処理方法、画像処理装置、プログラム、訓練済み機械学習モデルの製造方法、処理装置、画像処理システム
CN117689743A (zh) 带摩尔纹的图像的生成方法及装置
JP2022130034A (ja) 画像処理装置、画像処理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant