CN101375611B - 使用二色图像的贝叶斯去镶嵌 - Google Patents
使用二色图像的贝叶斯去镶嵌 Download PDFInfo
- Publication number
- CN101375611B CN101375611B CN2007800037767A CN200780003776A CN101375611B CN 101375611 B CN101375611 B CN 101375611B CN 2007800037767 A CN2007800037767 A CN 2007800037767A CN 200780003776 A CN200780003776 A CN 200780003776A CN 101375611 B CN101375611 B CN 101375611B
- Authority
- CN
- China
- Prior art keywords
- color
- pixel
- values
- image
- colors
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims abstract description 98
- 238000012545 processing Methods 0.000 claims abstract description 47
- 238000005516 engineering process Methods 0.000 claims description 22
- 239000003086 colorant Substances 0.000 abstract description 57
- 230000008569 process Effects 0.000 abstract description 11
- 238000005070 sampling Methods 0.000 abstract description 8
- 230000006872 improvement Effects 0.000 abstract description 2
- 238000004891 communication Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000002708 enhancing effect Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000000875 corresponding effect Effects 0.000 description 3
- 230000005055 memory storage Effects 0.000 description 3
- 238000012952 Resampling Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/58—Edge or detail enhancement; Noise or error suppression, e.g. colour misregistration correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
- Image Processing (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
一种贝叶斯二色图像去镶嵌器和方法用于处理数字彩色图像以便用减少图像伪像的方式来对该图像去镶嵌。该方法和系统是对先前的去镶嵌技术的改进和增强。对该图像执行初步去镶嵌遍以向每一像素分配一完整定义的RGB三元组色彩值。所处理的图像中的色彩的最终色彩值被限于两个色彩的线性组合。对于图像中的每一像素的完整定义的RGB三元组色彩值用于找出表示占优势的两个色彩的两个集群。然后确定这两个占优势的色彩对最终色彩值的贡献量。该方法和系统还可处理多个图像以改进去镶嵌结果。当使用多个图像时,可在更精细的分辨率,称为超分辨率下执行采样。
Description
技术领域
本发明涉及数字彩色图像处理,尤其涉及数字彩色图像的去镶嵌。
背景
数码照相机的普及度和质量随着此类照相机的成本不断下降而持续增长。大多数数码照相机使用单个图像传感器来捕捉彩色图像中的每一像素的色彩信息。通常为电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)的图像传感器是共同表示彩色图像的像素的传感器阵列的一部分。
图像传感器只能生成关于给定像素处的单个色彩的信息。然而,彩色图像是通过组合三个单独的单色图像来表示的。为了显示彩色图像,在每一像素处需要所有红、蓝和绿(RGB)色彩值。为了获得其它两个遗漏的色彩,必须使用从图像中的周围像素估算或内插遗漏色彩的技术。这类估算和内插技术被称为“去镶嵌”(demosaicing)。
术语“去镶嵌”是从以下事实中得到的:在图像传感器的前方使用滤色器阵列(CFA),而CFA是以镶嵌图案来排列的。该镶嵌图案对图像中的每一像素仅有一个色彩值。为了获得全色图像,必须对镶嵌图案“去镶嵌”。由此,去镶嵌是内插回用镶嵌图案CFA捕捉的图像,使得全RGB值可以与每一像素相关联的技术。
更具体地,单传感器数码照相机使用在光路中位于CFA之后的图像传感器阵列来捕捉图像。一种高度流行且常见的镶嵌CFA被称为拜耳(Bayer)镶嵌图案。对于每一2x2的像素组,两个对角相对的像素具有绿色滤光器,而另外两个像素具有红色和蓝色滤光器。由于绿色(G)携带了对于人类的大多数亮度信息,因此其采样速率是红色(R)和蓝色(B)的采样速率的两倍。
当前有许多类型的去镶嵌技术可用,诸如双线性内插、中值滤波、向量CFA、基于梯度和统计建模。然而,这些现有去镶嵌技术的每一种都产生了视觉上的、定量的可测量伪像。这些伪像包括混叠或“撕裂”伪像,其中沿着一条边的每一其它像素在被认为是在该边上或在该边外之间交替;以及彩色条纹,其中黄色、紫色和青色沿着清晰的边或在清晰的边上出现。
概述
提供本概述以便用简化的形式介绍将在以下详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护的主题的关键特征或必要特征,也不旨在用于限制所要求保护的主题的范围。
此处公开的贝叶斯二色图像去镶嵌方法和系统包括处理数字彩色图像以便用减少图像伪像的方式来对该图像去镶嵌。该贝叶斯二色图像去镶嵌方法和系统采用了将跨边的色彩建模为每一侧上的色彩的线性组合的图像模型。这减小了引入彩色条纹的可能性。此外,贝叶斯二色图像去镶嵌方法和系统使用的统计模型并不是基于网格的,因此容易地允许对用于视频处理的多图像去镶嵌和非迭代超分辨率输出采样的扩展。通过将输出图像约束于一线性模型,平滑区域中的可见噪声也被减少,同时保留了清晰的边缘。
该贝叶斯二色图像去镶嵌方法和系统是对现有去镶嵌技术的改进和增强。该方法和系统对图像执行初步去镶嵌遍,以向图像中的每一像素分配一完整定义的RGB三元组色彩值。该初步遍的结果然后通过贝叶斯二色图像去镶嵌方法和系统来改进。总的思想是在中心位于所处理的像素上的小的窗或处理区域(诸如5x5的像素“片”)内,作出在该处理区域中仅有两个色彩的假设。假设仅有两个色彩导致最终结果中的随机色彩的虚拟消除。该像素的色彩然后被限于这两个色彩的线性组合。这减轻了导致色彩伪像的伪色彩。
贝叶斯二色图像去镶嵌方法包括获得图像中的每一像素的完整定义(fully-specified)的RGB三元组色彩值,然后使用该RGB三元组来确定每一像素的最终色彩值。该最终色彩值是两个色彩的组合,并且仅有来自这两个色彩的贡献。这两个色彩是通过将完整定义的RGB三元组群集成两个集群、取每一集群的均值、并将每一集群的均值称为占优势的两个色彩来找到的。
一旦找到了占优势的两个色彩,必须确定每一色彩对最终色彩值给出了多少贡献。这是通过使用从拜耳滤色器获得的处理区域中的样本来计算每一像素的部分混和值来实现的。接着,通过找出给定该组样本时部分混和值的最大概率来找到最大部分混和值。该最终色彩值是从该最大部分混和值和占优势的两个色彩计算的。
贝叶斯二色图像去镶嵌方法和系统还可处理多个图像来改善去镶嵌结果。这多个图像首先彼此对准以使它们对齐。选择一基准图像,并且相对于该基准对象来重构其它图像。该处理类似于单个图像的情况,除了使用了补偿图像的不完美对齐的技术之外。该补偿技术使用一缩放因子以便在平方差的和较大的情况下增加高斯型的方差。该缩放因子基于对齐算法的质量来变化。
当使用多个图像时,该贝叶斯二色图像去镶嵌方法和系统还可以按称为超分辨率的更精细的分辨率来采样。当使用超分辨率时,统计群集和局部邻域大小可以略微收缩以捕捉精细的细节。除此之外,该系统如同其在多图像去镶嵌情况中那样类似地操作。
应当注意,替换实施例也是可能的,并且此处所讨论的步骤和元件可取决于特定实施例而改变、添加或消除。这些替换实施例包括可使用的替换步骤和替换元件,以及可作出的结构上的改变,而不脱离本发明的范围。
附图说明
现在参考附图,在全部附图中,相同的参考标号表示相应的部分:
图1是示出此处所公开的贝叶斯二色图像去镶嵌方法和系统的第一示例性实现的框图。
图2是示出此处所公开的贝叶斯二色图像去镶嵌方法和系统的第二示例性实现的框图。
图3是示出图1和2所示的贝叶斯二色图像去镶嵌器的总体操作的总体流程图。
图4是示出图3所示的贝叶斯二色图像去镶嵌方法的操作的进一步细节的详细流程图。
图5是示出占优势的两个色彩的计算过程的流程图。
图6是示出最终色彩值的计算过程的细节的流程图。
图7是示出图1和2所示的贝叶斯二色图像去镶嵌器的细节的框图。
图8示出了其中可实现贝叶斯二色图像去镶嵌方法和系统的合适的计算系统环境的一个示例。
详细描述
在以下对贝叶斯二色图像去镶嵌方法和系统的描述中,对附图进行了参考,附图形成了该描述的一部分,并且其中作为说明示出了可实施贝叶斯二色图像去镶嵌方法和系统的一个具体示例。可以理解,可以利用其它实施例,并且可以作出结构上的改变而不脱离所要求保护的主题的范围。
I.总览
图1和2是示出此处所公开的贝叶斯二色图像去镶嵌方法和系统的两个示例性实现的框图。应当注意,图1和2仅仅是可实现并使用贝叶斯二色去镶嵌方法和系统的若干方式中的两种。
参考图1,在第一示例性实现中,该贝叶斯二色图像去镶嵌器200驻留在数码相机系统210上。一般而言,贝叶斯二色图像去镶嵌器200在使用初步遍去镶嵌器220作出的初步去镶嵌遍之后提供了对彩色图像(未示出)的增强。更具体而言,如图1所示,贝叶斯二色图像去镶嵌器200是包括图像传感器阵列225的数码相机系统210的一部分。阵列225是由多个图像传感器构成的,其中每一图像传感器能够确定单个色彩值。
图像传感器阵列225包括传感器基底230、滤色器阵列(CFA)240以及镜头250。应当注意,通常镜头250被设置在CFA 240上,而CFA 240进而被设置在基底230上,如在图1和2中由虚线所指示的。来自要捕捉的图像(未示出)的光进入数码相机系统210(如由箭头255所示)。镜头250的目的是将进入的光255聚焦到图像传感器阵列225上。图像传感器阵列225中的每一传感器代表一像素。CFA 240改变每一像素的色彩响应。传感器基底230捕捉特定色彩的进入光(如由CFA 240所示),并生成一电信号。以此方式,图像传感器阵列225以排列在图像传感器阵列225中的红、绿和蓝传感器来对来自图像的进入光255采样。
图像传感器阵列225中的每一像素是红、绿或蓝传感器的输出。由此,传感器输出是来自每一传感器的、对应于图像传感器阵列225中的每一像素的单个色彩值的电信号。该输出是原始的、镶嵌图案的像素数据260。如上所述,为了显示全色图像,必须在每一像素处获得红色、绿色和蓝色的色彩信息。这是通过对镶嵌图案的像素数据260中遗漏的色彩值进行去镶嵌或内插来实现的。
原始的、镶嵌图案的像素数据260被发送到数码相机系统210机载的第一计算设备270。驻留在第一计算设备270上的是初步遍去镶嵌器220和贝叶斯二色图像去镶嵌器200。初步遍去镶嵌器220用于内插遗漏色彩值的估算。初步遍去镶嵌D220的输出是包含由数码相机系统210捕捉的彩色图像中的每一像素的全RGB色彩值的像素数据280。贝叶斯二色图像去镶嵌器200接收像素数据280,并如下详细描述地处理该数据280。在由贝叶斯二色图像去镶嵌器200处理之后,获得具有减少的图像伪像290的增强的彩色数字图像。
现在参考图2,在第二示例性实现中,贝叶斯二色图像去镶嵌器200驻留在与数码相机系统210分开的第二计算设备295上。原始的、镶嵌图案的像素数据260从数码相机系统210发送到第二计算设备295。该像素数据260通常经由接口连接297发送到第二计算设备295,该接口连接可以是USB接口、IEEE1394接口、蓝牙接口、或适用于将原始像素数据260从数码相机系统210传送到第二计算设备295的任何其它接口。如下详细描述的,贝叶斯二色图像去镶嵌器200使用贝叶斯二色图像去镶嵌方法来增强像素数据260,并提供具有减少的图像伪像290的增强的彩色数字图像。
II.操作概览
现在将讨论图1和2所示的贝叶斯二色图像去镶嵌器200的操作及其中使用的方法。图3是示出贝叶斯二色图像去镶嵌器200的总体操作的总体流程图。一般而言,该贝叶斯二色图像去镶嵌方法输入图像中每一像素的像素色彩值、处理每一像素、并输出具有减少的图像伪像的经处理的图像。
更具体而言,如图3所示,该贝叶斯二色图像去镶嵌方法通过获得数字彩色图像中的每一像素的完整定义的红(R)、绿(G)和蓝(B)三元组色彩值(框300)来开始。完整定义的RGB三元组意味着红色、绿色和蓝色值对该像素可用。通常,该贝叶斯二色图像去镶嵌方法通过对数字彩色图像执行初步去镶嵌遍来获得这些完整定义的RGB三元组色彩值。该贝叶斯二色图像去镶嵌方法然后增强初步去镶嵌遍的结果。
接着,该贝叶斯二色图像去镶嵌方法对数字彩色图像中的每一像素确定最终色彩值(框310)。该最终色彩值是两个色彩的组合或混和,其中两个色彩是通过使用完整定义的RGB三元组色彩值中的至少某一些来获得的。换言之,即使在完整定义的RGB三元组色彩值中可能包含若干个色彩,在对所处理的像素确定最终色彩值时也仅使用这些色彩值中的两个的组合。输出是对数字彩色图像中的每一像素找到的最终色彩值(框320)。
III.操作细节和工作示例
现在将讨论贝叶斯二色图像去镶嵌方法的细节。图4是示出图3所示的贝叶斯二色图像去镶嵌方法的操作的进一步细节的详细流程图。特别地,执行一初步去镶嵌遍以对数字彩色图像中的每一像素计算完整定义的RGB三元组(框400)。最初,对该图像有一拜耳图案,其中对图像中的每一像素仅有R、G或B色彩值。该初步去镶嵌遍使用了去镶嵌技术来获得其中心位于所处理的像素处的处理区域中的每一像素处的实际全色(RGB)值。在一个实施例中,该初步去镶嵌遍是使用双线性内插技术来执行的。在替换实施例中,可使用其它类型的初步遍去镶嵌技术,诸如中值滤波技术、矢量CFA技术、基于梯度的技术以及统计建模技术。然而,当选择一初步遍去镶嵌技术时,应当注意,将给出最佳输入的技术也通过贝叶斯二色图像去镶嵌方法产生最佳输出。
接着,选择一像素以进行处理并将其定义为被处理像素。另外,围绕被处理像素的区域被定义为处理区域(框410)。该处理区域(或“窗”或“片”)通常是5x5的像素片,然而其它大小也是可能的。在一个实施例中,片大小是奇数,使得被处理像素位于处理区域中心。作为示例,在5x5的处理区域中,被处理像素将是该5x5的片的中心像素。
然后对被处理像素计算占优势的两个色彩(框420)。这是使用处理区域中的每一像素的完整定义的RGB三元组来实现的。如以下详细解释的,该完整定义的RGB三元组可以包含若干色彩,但是这些色彩被群集成仅两个占优势的色彩。使用该占优势的两个色彩以及完整定义的RGB三元组来计算被处理像素的最终色彩值(框430)。选择像素、定义处理区域、计算占优势的两个色彩、以及计算最终色彩值的过程都对数字彩色图像中的其余像素重复
(框440)。贝叶斯二色图像去镶嵌方法的输出是具有减少的图像伪像的增强的数字彩色图像(框450)。
图5是示出占优势的两个色彩的计算过程的流程图。换言之,图5示出了如何从处理区域中的像素的色彩值中找出占优势的两个色彩。该过程通过对处理区域中的每一像素执行完整定义的RGB三元组的初始群集来开始(框500)。假定该处理区域是5x5个像素,目标四从这5x5的处理区域中的25个色彩值中找到占优势的两个色彩,并将这25个色彩值分组成2个占优势的色彩。这一般可使用任何群集技术来完成。在一个实施例中,由于其效率,使用k均值技术。k均值技术中的“k”指的是群集类型的数目,其中在此情况中,k=2。k均值群集技术是准确度和速度之间的平衡。k均值群集技术是本领域的技术人员公知的,因此不在此详细讨论。在替换实施例中,使用期望值最大化(EM)技术或均值位移技术。
然而,k均值技术的一个问题是离群值会对结果产生不利影响。离群值是远离其余数据的数据点。统计分布期望数据点落在一特定范围内,而不在该特定范围内的数据点被称为离群值。为了纠正离群值,占优势的两个色彩的计算过程包括一离群值拒绝技术。该离群值拒绝技术用于最小化离群值对占优势的两个色彩的影响(框510)。
然后通过使用离群值拒绝结果对处理区域中的每一像素更新完整定义的RGB三元组的群集来计算占优势的两个色彩(框520)。然后对数字彩色图像中的其余像素重复该处理(框530)。然后对图像中的每一像素获得每一像素的占优势的两个色彩。
图6是示出最终色彩值的计算过程的细节的流程图。该过程通过对被处理像素定义了占优势的两个色彩中的每一个对最终色彩值的贡献的部分混和值来开始(框600)。由此,该部分混和值确定了该像素的最终色彩值从占优势的两个色彩中的每一个获得了多少贡献。
然后对被处理像素确定最大部分混和值(框610)。该最大部分混和值被定义为占优势的两个色彩的混和或组合,其使用处理区域中的每一完整定义的RGB三元组最大化了部分混和值的概率。这可能涉及查找多于一组色彩,然后尝试所有这些色彩来查看哪一色彩给出最大值。例如,想想尝试三个色彩J、K和L,并尝试J、K和L的所有组合,并查看哪一组合给出最高概率。由此,在所有色彩中,占优势的两个色彩是解释被处理像素的两个最佳的色彩。两个“最佳”色彩意味着最大化以下给出的等式(3)的最大值自变量(即“arg max”)的两个色彩。arg max是对其给定表达式的值获得其最大值的给定自变量的值。
使用该占优势的两个色彩以及最大部分混和值来计算被处理像素的最终色彩值(框620)。该最终色彩值在以下给出的等式(1)中阐明。对数字彩色图像中的其余像素重复以上处理,以获得每一像素的最终色彩值(框630)。
为了更完全地理解此处所公开的贝叶斯二色图像去镶嵌方法和系统,提出一示例性工作示例的操作细节。应当注意,该工作示例仅是可实现贝叶斯二色图像去镶嵌方法和系统的一种方式。
对贝叶斯二色图像去镶嵌方法和系统的处理的主要假设是在一局部邻域内最多存在两个代表性色彩。该邻域内的每一像素的最终色彩值或者是代表性色彩之一,或者是两者的组合。在此工作示例中,代表性色彩的组合是线性组合。尽管在其中多于两个不同色彩相遇的区域中违反了该假设,但是这种情况是相对罕见的。因此,贝叶斯二色图像去镶嵌方法和系统是非常稳健的。
为了发现每一像素处的底层二色模型,将围绕每一像素的邻域群集到这两个色彩中。拜耳图像仅提供单通道样本,而留下两个未知的RGB三元组色彩值和一个未知的混和系数来指定模型。在此工作示例中,使用了一加权k均值技术,其中权重是从每一样本到核中心的欧几里德距离的倒数。注意,群集大小未被平衡,因此本来平滑的区域中的单个像素细节可被保留。并且,可以在其它色彩空间中,诸如在Lαβ或XYZ中执行群集,但是这些空间中的处理对于群集的准确度只有极小的差别。
要群集的样本的邻域大小取决于在源图像中出现了多大的色彩细节。在此工作示例中,发现核中心周围两个像素的半径能工作良好。这提供了来自每一拜耳色彩通道的足够数量的样本。
由于在一局部图像区域中存在多于两种色彩或存在显著噪声是可能的,因此该贝叶斯二色图像去镶嵌方法和系统还使用了离群值拒绝技术。使用群集的均值和方差,在其最接近的群集均值的单个标准差外部的样本被拒绝。然后重复k均值技术以获得更干净的群集均值。这提供了其中色彩值随着远离核中心而迅速变化的较好再现。
群集质量中的主要因素是对用于对去镶嵌进行“程序引导”以使得群集易操纵的初步遍去镶嵌技术的选择。尽管可使用许多类型的初步遍去镶嵌技术(如以上列出的),但存在改进性能的质量。第一个质量是对高频特征的保留或加重。诸如双线性内插或中值内插等技术具有朝低通滤波器的趋势,因此应当避免。或者,保留高频的算法易于生成边缘条纹和混叠。在此工作示例中,在初步遍去镶嵌中使用了高质量线性内插(HQLI),因为它保留了高频并且不生成许多条纹伪像。
二色去镶嵌
等式(1)是一混和等式,并且对像素x计算了最终色彩值C。
在像素x的邻域内,拜耳传感器给出了一组样本siεS。由样本si指定的RGB色彩通道的索引由ti表示,并且α是部分混和值。
然而,如果和之差较小,则对α的估算由于离散化和图像噪声而不准确。注意,s是关于si的S的一个元素,其中对于5x5的处理区域,i的范围从1-25,使得有25个si。si仅是针对单个通道(或色彩)的,并且该色彩由ti(R、G或B)来指定。
对于等式(3),和是占优势的两个色彩。在色彩空间中,可以想像从到画一条线,并且部分混和值α从0变到1并超过1。这意味着在处α=0,而在处α=1。换言之,等式(3)找出最大化给定S时α的概率的arg maxα,其中S是位于处理区域(在此工作示例中为5x5的片)的所有色彩样本的集合。应当注意,S仅包含实际被采样的,而不是通过去镶嵌获得的样本。使用贝叶斯理论,并假定和独立于S和α,等式(3)可被重排以产生:
假定所有的si都是独立的,找到:
等式(6)使用高斯型来计算概率。C*是给定α时计算的色彩。相邻像素之间的分布是高峰度的,但是出于计算效率考虑,假设了高斯分布。方差σi 2取决于两个因素:(1)全局的每通道图像噪声σN、以及(2)x和si之间的像素距离。假设像素色彩是局部相似的,且较远处的较不相似。由此,si和之间的方差随着其在图像空间中的距离的增加而增加。在一个实施例中,方差σi被计算为:
σi=σN(1+λΔd),(7)
其中Δ d 是x和si之间的像素距离,而λ是一常量,在此工作示例中,它根据经验被设为6。由此,等式(7)规定方差随着与中心像素(被处理像素)或位于处理区域中心的像素的距离而线性增加。在替换实施例中,可使用其它单调递增的距离函数。
高斯型的宽度,即方差σ2指示了一特定样本对最终结果有多少影响。另一种考虑方式是样本的确信度。如果关于一样本有不确定性,则其高斯型将具有大的宽度(或大的方差σ2)。相反,如果关于一样本有确定性,则其高斯型将具有窄的宽度(或小的方差σ2)。
等式(7)是规定方差随着与作为处理区域的中心的已处理(或中心)像素的距离而增加。换言之,较靠近中心像素的像素更合需要,且具有较高的权重。且方差越大,像素或样本对最终结果的影响越小。由此,方差应随着与中心像素的距离以某一函数增加。尽管在此工作示例中使用等式(7)形式的线性函数,但是也可使用以类似方式规定方差的其它类型的函数。
由于si的值是已知的,并且期望计算最大化等式(6)的α值,因此将其重排如下是有用的:
等式(8)是均值为αi、方差为的α上的高斯型。
实际上需要求解α,因此重排各等式以获得等式(10)。具体地,等式(5)和(8)可被组合以产生:
在实践中,忽略其中和之间的绝对差小于2.0的色彩分量的贡献。
当求解等式(10)和(11)时,需要找出αi和σi,其中σi是与每一样本相关联的方差。然后找到最优部分混和值α*,它是最优的α值。然后使用α*来计算最终色彩值。对不为0或1的α施加一轻微的惩罚。因此,在一个实施例中,α的值为0,而在一替换实施例中,α的值为1。
接着,确定哪一α(0、1或α*)对等式(5)产生最高值。换言之,用这三个α中的每一个对等式(5)求值,以确定哪一α给出最高答案。对于等式(10),然后计算αi和σαi。使用等式(9)来计算αi。给定样本si,等式(9)计算α的值。换言之,α是样本si所认为的αi应当是多少。在等式(10)中,使用αi的乘积。如果一高斯型乘以一高斯型,则获得另一高斯型。所有25个样本中的每一个的高斯型乘在一起的高斯型的峰值由αi *来表示,由等式(11)给出。可以示出,所有高斯型的乘积的均值将为等式(11),它是一加权平均。
其中η始终小于1(η<1)。η的值取决于所需的平滑量。给定大量的图像噪声,η≈1。
该方法的定量误差可以通过迫使输出像素处的红、绿或蓝为最初由传感器捕捉的值,同时将另外两个通道设为与相一致来进一步减小。由于λ对中央样本施加了较大的权重,因此这两个值不太可能大不相同。并且,如果输出采样是在不同于输入网格的网格上完成的,则源拜耳样本不在每一像素处可用。
多图像去镶嵌
使用无网格的贝叶斯解,可将来自多个图像的信息引入到模型中而不会显著更改该方法。这些支撑图像被假定为相似的但不完全相同,诸如来自后续的视频帧。此外,可使用这些额外的拜耳样本而不对其重采样。为了使用支撑图像,必须计算每一图像的投影映射以将每一图像与第一个图像对准。
贝叶斯二色图像去镶嵌方法和系统可从多个图像中获得样本,只要它们是对准的。对准图像允许将一场景的多个图像对齐到一起以使它们可被使用。然而,当图像被对齐时,它们可能并不是相同定向的。贝叶斯二色图像去镶嵌方法和系统选择一基准图像并相对于该基准图像来重构其它图像。处理区域然后变为圆形,并且取已处理(或中心)像素的某一半径内的样本。
一般而言,通过使用更多图像获得更好的结果。然而,在处理时间和质量之间存在折衷。在一个实施例中,所使用的图像数是3,使得处理时间相当短,且质量很好。在替换实施例中,所使用的图像数可以比三多或少。
当添加更多图像时,所使用的样本的邻域可以收缩,而仍维持足够的样本来群集到和中。通过这样做,它包含多于两个代表性色彩的可能性减少。由此,如果R、G和B样本各自表现为接近所重构的样本,则可使用拜耳样本的最接近的邻居内插组合。使用加权群集和重构的概念保持与单个输入图像的相同。一旦对准,即使在同一像素位置处出现了相同的色彩通道,也仍有好处,即噪声减少。
通过包括支撑图像,存在引入坏的或误导数据的风险。全局投影映射并未解决所有场景改变(移动照相机、移动对象、光照条件的改变以及对象外观)。会发生对准误差。为减少这一误差,确保仅组合来自基准和局部相似的支撑图像的数据。对7x7的局部窗使用绝对差之和(SAD)技术在RGB空间中测量相似性,表示为ε。
通过调整σi的定义以包括基准和支撑图像之间的相关误差来处理多个图像:
项(1+τε)是失配惩罚,且在此工作示例中τ=0.1。ε是平方差的和。
当对齐多个图像时,对齐可能不是完美的。为进行补偿,使用平方差的和。代替使用等式(7),使用等式(13)。唯一的差别是最后一项(1+τε)。τ是缩放因子。因此等式(13)中的最后一项(1+τε)规定如果平方差的和较大则增加高斯型的方差。
项τ是平方差的和的值被加权多少。它是根据经验确定的。在一个实施例中,τ大致等于0.1。在替换实施例中,可使用其它τ值。然而,重要的是τ不被加权太多。如果τ太大,则可能从不使用来自其它图像的信息。如果τ太小,则即使图像没有被正确地对齐也可使用来自其它图像的信息。由此,必须找到平衡。项τ基于对齐算法的质量来变化。
为实现多图像去镶嵌,所需的全部是将支撑图像中附近的拜耳样本添加到集合S并使用以上方差等式。应当注意,S中的样本是拜耳传感器样本,因为使用原始样本避免了对任何重采样的需求。
超分辨率
贝叶斯二色图像去镶嵌方法和系统的统计性、无网格方法的另一优点是可将任何采样网格用于重构,诸如具有比原始图像更大的分辨率的采样网格。由于对统计度量使用了浮点欧几里德距离,因此可在图像中的任何地方生成连续的α值。由于来自多个图像的样本的对齐,α的值可编码原始网格中像素之间的边缘和锐度。这可用于处理贝叶斯二色图像去镶嵌方法和系统的框架内的超分辨率。
当使用超分辨率时,统计群集和局部邻域大小可以略微收缩以捕捉精细的细节。除此之外,贝叶斯二色图像去镶嵌方法和系统与其在多图像去镶嵌情况中类似地操作。
IV.结构概览
现在将讨论贝叶斯二色图像去镶嵌器200的结构。为了更全面地理解贝叶斯二色图像去镶嵌器200的结构,呈现了一示例性实施例的细节。然而,应当注意,该示例性实施例仅是可实现和使用贝叶斯二色图像去镶嵌器200的若干种方式之一。
图7是示出图1和2所示的贝叶斯二色图像去镶嵌器200的细节的框图。一般而言,贝叶斯二色去镶嵌器200处理对每一像素具有完整定义的RGB色彩值的数字彩色图像,对每一像素找出作为两个色彩的组合的最终色彩值,并输出具有减少的伪像的过程数字彩色图像。具体地,对贝叶斯二色图像去镶嵌器200的输入是包含对数字彩色图像280中的每一像素的完整定义的RGB数据的像素数据。如上所述,该数据是通过对图像进行初步去镶嵌遍来获得的。在一个实施例中,使用高质量线性内插去镶嵌技术来执行初步去镶嵌遍。或者,可使用其它类型的去镶嵌技术,诸如双线性内插。
贝叶斯二色图像去镶嵌器200包括被处理像素选择器700,它从图像中选择要处理的像素。最终处理图像中的所有像素,但是被处理像素选择器700每次选取一个像素来处理。处理区域定义模块710定义被处理像素周围的处理区域(或片)。通常,被处理像素在该处理区域的中心。在一个实施例中,处理区域是5x5的像素区域。在替换实施例中,可使用具有其它大小(诸如3x3的像素区域或7x7的像素区域)的处理区域。
贝叶斯二色图像去镶嵌器200还包括确定用于为被处理像素定义最终色彩值的占优势的两个色彩的群集模块720。群集模块使用群集技术来将来自处理区域中的像素的RGB色彩值群集到两个集群中。这两个集群的每一个的均值变为占优势的两个色彩。在一个实施例中,使用了具有离群值拒绝级的k均值群集技术来进行群集。在替换实施例中,可使用其它类型的群集技术。
去镶嵌器200还包括贡献和组合模块730,该模块确定占优势的两个色彩中的每一个在最终色彩值中被使用了多少,并组合占优势的两个色彩来获得最终色彩值。模块730通过定义最大化给定一样本集时部分混和值的概率的最大部分混和值来找出占优势的两个色彩中的每一个的贡献。该样本集包含来自处理区域中的像素的采样的色彩值。模块730然后组合最大部分混和值和占优势的两个色彩以计算被处理像素的最终色彩值。在一个实施例中,占优势的两个色彩被线性地组合。在替换实施例中,占优势的两个色彩以非线性的方式组合。对图像中的每一像素重复贝叶斯二色图像去镶嵌器200的处理。输出是具有减少的图像伪像的增强的数字彩色图像。
示例性操作环境
此处使用的贝叶斯二色图像去镶嵌器200和方法被设计成在一计算环境中操作。以下讨论旨在提供其中可实现贝叶斯二色图像去镶嵌器和方法的一个合适的计算环境的简要概括描述。
图8示出了其中可实现贝叶斯二色图像去镶嵌器和方法的合适的计算系统环境的一个示例。计算系统环境800仅为合适的计算环境的一个示例,并非对本发明的使用范围或功能提出任何局限。也不应将计算系统800解释为对示例性操作环境中示出的任一组件或其组合具有任何依赖性或需求。
贝叶斯二色图像去镶嵌器和方法可以使用众多其它通用或专用计算系统环境或配置来操作。适用于间接纹理放大系统和方法的众所周知的计算系统、环境和/或配置的示例包括但不限于,个人计算机、服务器计算机、诸如蜂窝电话和PDA等手持式、膝上型或移动计算机或通信设备、多处理器系统、基于微处理器的系统、机顶盒、可编程消费电子设备、网络PC、小型机、大型计算机、包括任一上述系统或设备的分布式计算环境等等。
贝叶斯二色图像去镶嵌器和方法可在诸如程序模块等由计算机执行的计算机可执行指令的一般上下文中描述。一般而言,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。贝叶斯二色图像去镶嵌器和方法也可以在其中任务由通过通信网络链接的远程处理设备来执行的分布式计算环境中实践。在分布式计算环境中,程序模块可以位于包括存储器存储设备的本地和远程计算机存储介质中。参考图8,用于贝叶斯二色图像去镶嵌器和方法的示例性系统包括计算机810(图1中的第一计算设备270和图2中的第二计算设备295是计算机810的示例)形式的通用计算设备。
计算机810的组件可包括但不限于,处理单元820(诸如中央处理器,CPU)、系统存储器830以及将包括系统存储器的各类系统组件耦合至处理单元820的系统总线821。系统总线821可以是若干种总线结构中的任一种,包括存储器总线或存储器控制器、外围总线以及使用各类总线体系结构中的任一种的局部总线。作为示例而非局限,这类体系结构包括工业标准体系结构(ISA)总线、微通道体系结构(MCA)总线、增强型ISA(EISA)总线、视频电子技术标准协会(VESA)局部总线、以及外围部件互连(PCI)总线(也称为小背板(Mezzanine)总线)。
计算机810通常包括各种计算机可读介质。计算机可读介质可以是可由计算机810访问的任一可用介质,并包括易失性和非易失性介质、可移动和不可移动介质。作为示例而非局限,计算机可读介质包括计算机存储介质和通信介质。计算机存储介质包括以用于储存诸如计算机可读指令、数据结构、程序模块或其它数据等信息的任一方法或技术实现的易失性和非易失性,可移动和不可移动介质。
计算机存储介质包括但不限于,RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光盘存储、磁盒、磁带、磁盘存储或其它磁存储设备、或可以用来储存所期望的信息并可由计算机810访问的任一其它介质。通信介质通常以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据,并包括任一信息传送介质。
注意,术语“已调制数据信号”指以对信号中的信息进行编码的方式设置或改变其一个或多个特征的信号。作为示例而非局限,通信介质包括有线介质,如有线网络或直接连线连接,以及无线介质,如声学、RF、红外和其它无线介质。上述任一的组合也应当包括在计算机可读介质的范围之内。
系统存储器830包括易失性和/或非易失性存储器形式的计算机存储介质,如只读存储器(ROM)831和随机存取存储器(RAM)832。基本输入/输出系统833(BIOS)包括如在启动时帮助在计算机810内的元件之间传输信息的基本例程,它通常储存在ROM 831中。RAM 832通常包含处理单元820立即可访问和/或当前正在操作的数据和/或程序模块。作为示例而非局限,图8示出了操作系统834、应用程序835、其它程序模块836和程序数据837。
计算机810也可包括其它可移动/不可移动、易失性/非易失性计算机存储介质。仅作示例,图8示出了对不可移动、非易失性磁介质进行读写的硬盘驱动器841,对可移动、非易失性磁盘852进行读写的磁盘驱动器851,以及对可移动、非易失性光盘856,如CD ROM或其它光介质进行读写的光盘驱动器855。
可以在示例性操作环境中使用的其它可移动/不可移动、易失性/非易失性计算机存储介质包括但不限于,磁带盒、闪存卡、数字多功能盘、数字录像带、固态RAM、固态ROM等等。硬盘驱动器841通常通过不可移动存储器接口,如接口840连接到系统总线821,磁盘驱动器851和光盘驱动器855通常通过可移动存储器接口,如接口850连接到系统总线821。
上文讨论并在图8中示出的驱动器及其相关联的计算机存储介质为计算机810提供了计算机可读指令、数据结构、程序模块和其它数据的存储。例如,在图8中,示出硬盘驱动器841储存操作系统844、应用程序845、其它程序模块846和程序数据847。注意,这些组件可以与操作系统834、应用程序835、其它程序模块836和程序数据837相同,也可以与它们不同。这里对操作系统844、应用程序845、其它程序模块846和程序数据847给予不同的标号来说明至少它们是不同的副本。用户可以通过输入设备,如键盘862和定位设备861
(通常指鼠标、跟踪球或触摸垫)向计算机810输入命令和信息。
其它输入设备(未示出)可包括话筒、操纵杆、游戏手柄、圆盘式卫星天线、扫描仪、无线电接收机或电视或广播视频接收机等等。这些和其它输入设备通常通过耦合至系统总线820的用户输入接口860连接至处理单元821,但是也可以通过其它接口和总线结构连接,如并行端口、游戏端口或通用串行总线(USB)。监视器891或其它类型的显示设备也经由诸如视频接口890等接口连接到系统总线821。除监视器之外,计算机也可包括其它外围输出设备,如扬声器897和打印机896,它们可通过输出外围接口895连接。
计算机810可使用到一个或多个远程计算机,如远程计算机880的逻辑连接在网络化环境中操作。远程计算机880可以是个人计算机、服务器、路由器、网络PC、对等设备或其它常见的网络节点,并且通常包括许多或所有以上相对于计算机810所描述的元件,尽管在图8中仅示出了存储器存储设备881。图8描述的逻辑连接包括局域网(LAN)871和广域网(WAN)873,但也可包括其它网络。这类网络环境常见于办公室、企业范围计算机网络、内联网以及因特网。
当在LAN网络环境中使用时,计算机810通过网络接口或适配器870连接至LAN 871。当在WAN网络环境中使用时,计算机810通常包括调制解调器872或用于通过WAN 873,如因特网建立通信的其它装置。调制解调器872可以是内置或外置的,它通过用户输入接口860或其它适当的机制连接至系统总线821。在网络化环境中,相对于计算机810所描述的程序模块或其部分可被储存在远程存储器存储设备中。作为示例而非局限,图8示出远程应用程序885驻留在存储器设备881上。可以理解,示出的网络连接是示例性的,并且可以使用在计算机之间建立通信链路的其它手段。
以上的详细描述是出于图示和描述的目的而提出的。鉴于以上教导,许多修改和变型都是可能的。它并不旨在穷尽,也不旨在将此处所公开的主题限于所公开的精确形式。尽管以对结构特征和/或方法动作专用的语言描述了本发明,但是可以理解,所附权利要求书中所定义的主题不一定要限于以上所描述的具体特征或动作。相反,上述具体特征和动作是作为实现所附权利要求书的示例性形式来公开的。
Claims (7)
1.一种用于处理数字彩色图像(260)的方法,包括:
获得对于所述数字彩色图像中的每一像素的完整定义的RGB三元组色彩值(300);
将所述数字彩色图像中的所选像素周围的处理区域中的各像素的像素色彩值分组到两个集群中;
找出所述两个集群的每一个的均值,以生成对应于第一集群的第一均值的第一占优势色彩值和对应于第二集群的第二均值的第二占优势色彩值;
定义一部分混和值,所述部分混和值指定了所述第一占优势色彩值和所述第二占优势色彩值对最终色彩值有多少贡献;
对所选像素确定最大部分混和值,所述最大部分混和值被定义为最大化给定所述处理区域中的每一所述像素色彩值时所述部分混和值的概率的所述第一占优势色彩值和所述第二占优势色彩值的混和;以及
使用所述最大部分混和值以及所述第一占优势色彩值和所述第二占优势色彩值来获得所述数字彩色图像中的所选像素的最终色彩值来执行所述数字彩色图像的去镶嵌,以获得具有减少的图像伪像的增强的数字彩色图像(290)。
2.如权利要求1所述的方法,其特征在于,还包括使用初步遍去镶嵌技术来获得每一像素的所述完整定义的RGB三元组色彩值(400)。
3.如权利要求2所述的方法,其特征在于,还包括使用高质量线性内插去镶嵌技术(220)来获得每一像素的所述完整定义的RGB三元组色彩值(280)。
4.如权利要求1所述的方法,其特征在于,还包括在所述数字彩色图像中定义一中心位于所选像素处的处理区域。
5.如权利要求1所述的方法,其特征在于,包括使用群集技术将所述处理区域中的像素的色彩值分组到所述两个集群中(500)。
6.如权利要求5所述的方法,其特征在于,所述群集技术是k均值群集技术(720)。
7.如权利要求5所述的方法,其特征在于,还包括对所述群集技术使用离群值拒绝技术来改进群集结果(510)。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/343,581 | 2006-01-30 | ||
US11/343,581 US7706609B2 (en) | 2006-01-30 | 2006-01-30 | Bayesian demosaicing using a two-color image |
PCT/US2007/001982 WO2007089519A1 (en) | 2006-01-30 | 2007-01-25 | Bayesian demosaicing using a two-color image |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101375611A CN101375611A (zh) | 2009-02-25 |
CN101375611B true CN101375611B (zh) | 2011-03-02 |
Family
ID=38321691
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2007800037767A Active CN101375611B (zh) | 2006-01-30 | 2007-01-25 | 使用二色图像的贝叶斯去镶嵌 |
Country Status (8)
Country | Link |
---|---|
US (1) | US7706609B2 (zh) |
EP (1) | EP1967010B1 (zh) |
JP (1) | JP4527172B2 (zh) |
KR (1) | KR101183371B1 (zh) |
CN (1) | CN101375611B (zh) |
BR (1) | BRPI0706282A2 (zh) |
MY (1) | MY149682A (zh) |
WO (1) | WO2007089519A1 (zh) |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8165389B2 (en) | 2004-03-15 | 2012-04-24 | Microsoft Corp. | Adaptive interpolation with artifact reduction of images |
GB2426881B (en) * | 2005-06-01 | 2010-12-29 | Snell & Wilcox Ltd | Method and apparatus for spatial interpolation of colour images |
KR100793288B1 (ko) * | 2007-05-11 | 2008-01-14 | 주식회사 코아로직 | 영상 처리 장치 및 그 방법 |
US8031970B2 (en) * | 2007-08-27 | 2011-10-04 | Arcsoft, Inc. | Method of restoring closed-eye portrait photo |
US8035704B2 (en) | 2008-01-03 | 2011-10-11 | Aptina Imaging Corporation | Method and apparatus for processing a digital image having defective pixels |
JP5047048B2 (ja) | 2008-04-30 | 2012-10-10 | キヤノン株式会社 | 画像処理装置、撮像装置、制御方法、プログラム、及び記憶媒体 |
US8355042B2 (en) * | 2008-10-16 | 2013-01-15 | Spatial Cam Llc | Controller in a camera for creating a panoramic image |
US10585344B1 (en) | 2008-05-19 | 2020-03-10 | Spatial Cam Llc | Camera system with a plurality of image sensors |
US11119396B1 (en) | 2008-05-19 | 2021-09-14 | Spatial Cam Llc | Camera system with a plurality of image sensors |
US8781250B2 (en) * | 2008-06-26 | 2014-07-15 | Microsoft Corporation | Image deconvolution using color priors |
TWI423666B (zh) * | 2008-12-31 | 2014-01-11 | Altek Corp | Image elimination method for image sequence |
US8462171B2 (en) * | 2009-02-06 | 2013-06-11 | Micrososft Corporation | Saturation contrast image enhancement |
US8666180B2 (en) | 2009-12-04 | 2014-03-04 | Stc.Unm | System and methods of compressed sensing as applied to computer graphics and computer imaging |
US8345132B2 (en) * | 2010-07-23 | 2013-01-01 | Omnivision Technologies, Inc. | Image sensor with dual element color filter array and three channel color output |
US8582878B1 (en) | 2010-11-03 | 2013-11-12 | Csr Technology Inc. | Purple fringing automatic detection and correction |
US8730329B2 (en) * | 2011-07-11 | 2014-05-20 | Qualcomm, Incorporated | Automatic adaptive image sharpening |
US20130031063A1 (en) * | 2011-07-26 | 2013-01-31 | International Business Machines Corporation | Compression of data partitioned into clusters |
US9224362B2 (en) | 2013-03-14 | 2015-12-29 | Microsoft Technology Licensing, Llc | Monochromatic edge geometry reconstruction through achromatic guidance |
US9336570B2 (en) * | 2014-05-15 | 2016-05-10 | The United States Of America, As Represented By The Secretary Of The Navy | Demosaicking system and method for color array based multi-spectral sensors |
US9219870B1 (en) * | 2014-07-31 | 2015-12-22 | Apple Inc. | Sensor data rescaler for image signal processing |
FR3046711B1 (fr) | 2016-01-08 | 2018-02-16 | Stmicroelectronics (Grenoble 2) Sas | Compression et decompression de donnees video |
CN111681191B (zh) * | 2020-05-11 | 2024-02-27 | 安徽百诚慧通科技股份有限公司 | 一种基于fpga的彩色图像去马赛克方法、系统及存储介质 |
KR102488627B1 (ko) * | 2021-11-08 | 2023-01-18 | 청주대학교 산학협력단 | 피포페인팅 이미지 자동변환방법 및 이를 이용한 피포페인팅 이미지 자동변환 시스템 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002071761A1 (fr) * | 2001-03-05 | 2002-09-12 | Nikon Corporation | Programme et dispositif de traitement d'images |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3871065A (en) * | 1972-08-02 | 1975-03-18 | Gen Co Ltd | Thermal printing process |
US4642678A (en) * | 1984-09-10 | 1987-02-10 | Eastman Kodak Company | Signal processing method and apparatus for producing interpolated chrominance values in a sampled color image signal |
US4724395A (en) * | 1985-08-05 | 1988-02-09 | Polaroid Corporation | Median filter for reconstructing missing color samples |
US5373322A (en) * | 1993-06-30 | 1994-12-13 | Eastman Kodak Company | Apparatus and method for adaptively interpolating a full color image utilizing chrominance gradients |
US5629734A (en) * | 1995-03-17 | 1997-05-13 | Eastman Kodak Company | Adaptive color plan interpolation in single sensor color electronic camera |
US5956431A (en) * | 1997-10-02 | 1999-09-21 | S3 Incorporated | System and method for fixed-rate block-based image compression with inferred pixel values |
US6356588B1 (en) * | 1998-04-17 | 2002-03-12 | Ayao Wada | Method for digital compression of color images |
JP4311794B2 (ja) * | 1999-01-29 | 2009-08-12 | オリンパス株式会社 | 画像処理装置及び画像処理プログラムを格納した記録媒体 |
US6438270B1 (en) * | 1999-03-03 | 2002-08-20 | Xerox Corporation | Methods and systems for image sharpening |
JP4622141B2 (ja) * | 2001-04-13 | 2011-02-02 | ソニー株式会社 | 画像処理装置および画像処理方法、記録媒体、並びにプログラム |
JP3608544B2 (ja) * | 2001-10-31 | 2005-01-12 | ソニー株式会社 | パラメータ生成装置および方法 |
FI115942B (fi) | 2002-10-14 | 2005-08-15 | Nokia Corp | Menetelmä kuvien interpoloimiseksi ja terävöittämiseksi |
JP4269734B2 (ja) * | 2003-03-25 | 2009-05-27 | 株式会社日立製作所 | 投写型カラー表示装置 |
JP4162582B2 (ja) * | 2003-12-19 | 2008-10-08 | 株式会社東芝 | 補間フレーム生成方法及び装置 |
US7502505B2 (en) * | 2004-03-15 | 2009-03-10 | Microsoft Corporation | High-quality gradient-corrected linear interpolation for demosaicing of color images |
-
2006
- 2006-01-30 US US11/343,581 patent/US7706609B2/en not_active Expired - Fee Related
-
2007
- 2007-01-25 BR BRPI0706282-6A patent/BRPI0706282A2/pt not_active IP Right Cessation
- 2007-01-25 JP JP2008552397A patent/JP4527172B2/ja active Active
- 2007-01-25 WO PCT/US2007/001982 patent/WO2007089519A1/en active Application Filing
- 2007-01-25 MY MYPI20082416A patent/MY149682A/en unknown
- 2007-01-25 EP EP07716996.9A patent/EP1967010B1/en active Active
- 2007-01-25 CN CN2007800037767A patent/CN101375611B/zh active Active
- 2007-01-25 KR KR1020087017469A patent/KR101183371B1/ko active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002071761A1 (fr) * | 2001-03-05 | 2002-09-12 | Nikon Corporation | Programme et dispositif de traitement d'images |
Also Published As
Publication number | Publication date |
---|---|
US7706609B2 (en) | 2010-04-27 |
JP4527172B2 (ja) | 2010-08-18 |
KR101183371B1 (ko) | 2012-09-14 |
EP1967010B1 (en) | 2013-07-17 |
BRPI0706282A2 (pt) | 2011-03-22 |
EP1967010A1 (en) | 2008-09-10 |
WO2007089519A1 (en) | 2007-08-09 |
US20070177033A1 (en) | 2007-08-02 |
CN101375611A (zh) | 2009-02-25 |
EP1967010A4 (en) | 2012-01-18 |
MY149682A (en) | 2013-09-30 |
JP2009525636A (ja) | 2009-07-09 |
KR20080090426A (ko) | 2008-10-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101375611B (zh) | 使用二色图像的贝叶斯去镶嵌 | |
US7643676B2 (en) | System and method for adaptive interpolation of images from patterned sensors | |
CN102640499B (zh) | 用加权的梯度对图像数据去马赛克的系统和方法 | |
CN102640184B (zh) | 用于图像信号处理的时域滤波技术 | |
CN101375610B (zh) | 生成数字彩色图像的方法 | |
CN102640489B (zh) | 用于检测和校正图像传感器中的缺陷像素的系统和方法 | |
CN102404582B (zh) | 用于自动白平衡处理的灵活的颜色空间选择 | |
US7876956B2 (en) | Noise reduction of panchromatic and color image | |
US20080123997A1 (en) | Providing a desired resolution color image | |
EP2523160A1 (en) | Image processing device, image processing method, and program | |
WO2011048870A1 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
CN109146982A (zh) | 原始图像处理系统及方法 | |
CN113168669B (zh) | 图像处理方法、装置、电子设备及可读存储介质 | |
Battiato et al. | Image processing for embedded devices | |
CN109726732A (zh) | 用于处理数据值的流的系统和方法 | |
US20220366588A1 (en) | Electronic device for generating depth information of region of interest and operation method thereof | |
CN109727182A (zh) | 用于处理数据值的流的系统和方法 | |
US8213710B2 (en) | Apparatus and method for shift invariant differential (SID) image data interpolation in non-fully populated shift invariant matrix | |
US20100134661A1 (en) | Image processing apparatus, image processing method and program | |
Li et al. | Universal demosaicking for interpolation-friendly RGBW color filter arrays | |
CN109727262A (zh) | 用于处理数据值的流的系统和方法 | |
US7885488B2 (en) | Image processing apparatus, method and medium | |
US20120307110A1 (en) | Image Noise Reduction | |
Saito et al. | Demosaicing approach based on extended color total-variation regularization | |
JP5484015B2 (ja) | 撮像装置、撮像方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
ASS | Succession or assignment of patent right |
Owner name: MICROSOFT TECHNOLOGY LICENSING LLC Free format text: FORMER OWNER: MICROSOFT CORP. Effective date: 20150423 |
|
C41 | Transfer of patent application or patent right or utility model | ||
TR01 | Transfer of patent right |
Effective date of registration: 20150423 Address after: Washington State Patentee after: Micro soft technique license Co., Ltd Address before: Washington State Patentee before: Microsoft Corp. |