CN101652798B - 使用全色像素的边缘映射 - Google Patents

使用全色像素的边缘映射 Download PDF

Info

Publication number
CN101652798B
CN101652798B CN200880011120.4A CN200880011120A CN101652798B CN 101652798 B CN101652798 B CN 101652798B CN 200880011120 A CN200880011120 A CN 200880011120A CN 101652798 B CN101652798 B CN 101652798B
Authority
CN
China
Prior art keywords
edge
value
image
pixel
full
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN200880011120.4A
Other languages
English (en)
Other versions
CN101652798A (zh
Inventor
J·E·小亚当斯
J·F·小哈米尔顿
M·奥布赖恩
Original Assignee
Omnivision Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omnivision Technologies Inc filed Critical Omnivision Technologies Inc
Publication of CN101652798A publication Critical patent/CN101652798A/zh
Application granted granted Critical
Publication of CN101652798B publication Critical patent/CN101652798B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/58—Edge or detail enhancement; Noise or error suppression, e.g. colour misregistration correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Picture Signal Circuits (AREA)
  • Processing Of Color Television Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Abstract

一种用于增强场景的全彩图像的方法包括：使用由具有彩色像素和全色像素二者的二维传感器阵列来捕获场景的图像；响应于所捕获的彩色像素来形成全彩图像；响应于所捕获的全色像素来形成参考全色图像；响应于所述参考全色图像来形成边缘图；以及使用所述边缘图来增强全彩图像。

Description

使用全色像素的边缘映射
技术领域
本发明涉及使用边缘图来根据全色图像和彩色图像形成增强的彩色图像。
背景技术
摄像机和数字静物照相机通常使用具有滤色器阵列的单个图像传感器来记录场景。该方法以稀疏构成的单通道(single-channel)图像开始，在该单通道图像中通过滤色器阵列模式来编码色彩信息。相邻像素值的随后插值允许完全三通道全彩(full-color)图像的重构。该全彩图像可以再被噪声清除、锐化或色彩校正以改善或增强图像的外观。通过计算图像的边缘图以将该图像分类成边缘区和平坦区，来大大地促进图像增强。这允许使用对边缘区并且对平坦区执行不同计算的算法。一种普遍的方法是或者直接检测或者合成亮度色彩通道(例如“绿色”)，并且然后根据亮度图像生成边缘图。美国专利No.6,614,474(Malkin等人)描述了计算亮度通道并且然后根据一组定向边缘检测核(kernel)来生成边缘信息。该方法的问题是仅在色度上发生变化而没有在亮度上发生变化的边缘有检测不出的风险。为了解决这一担忧，美国专利No.5,420,971(Westerink等人)教导计算YUV亮度色度图像、根据所有三个通道(Y、U和V)计算边缘信息，以及然后将它们组合成L2范数以检测亮度边缘和色度边缘二者。该方法的问题是通过原始色彩数据(例如RGB)的噪度(noisiness)来定义所计算的亮度色度图像的噪度。此外，通过单个色彩通道的光谱频率响应的相对狭窄(narrowness)来确定在该原始色彩数据中的该噪声等级。当捕获的场景光照很好(例如阳光明媚的景色)时，光谱频率响应的狭窄通常不是问题。当场景光照不好(例如室内)或曝光时间必须很短来减少运动模糊(例如在体育事件)时，单个色彩通道的光谱频率响应的相对狭窄可以产生有噪声的图像。
在低光成像的情况下，具有未被滤波的滤色器阵列中的一个或多个像素(即光谱灵敏度中的白色或全色)是有益的。这些全色像素具有捕获系统的最高的光灵敏度能力。使用全色像素表示在捕获系统中在光灵敏度和色彩空间分辨率之间的折衷。为此，已描述了许多四色滤色器阵列系统。美国专利No.6,529,239(Dyck等人)教导了绿色-青色-黄色-白色模式，其被布置成在传感器表面上的棋盘格状的(tessellated)的2×2块。美国专利No.6,757,012(Hubina等人)公开了红色-绿色-蓝色-白色模式和黄色-青色-品红-白色模式二者。在这两种情况下，色彩被布置成在成像器的表面上的棋盘格状的的2×2块。这样的系统的难点是在滤色器阵列中仅四分之一的像素具有最高的光灵敏度，因此限制了捕获设备的整体的低光性能。
为了解决滤色器阵列中对具有最高光灵敏度的更多像素的需要，美国专利申请公布No.2003/0210332(Frame)描述了具有多数未被滤波的像素的像素阵列。相对较少的像素被专用于从场景捕获色彩信息，以产生具有低色彩空间分辨率能力的系统。此外，Frame教导使用简单的线性插值技术，其不响应于图像中的高频色彩空间细节或者保护图像中的高频色彩空间细节。
发明内容
本发明的目的是根据具有全色和彩色像素的数字图像产生增强的数字彩色图像。
这一目的通过提供场景的增强全彩图像的方法而实现，该方法包括：
(a)使用由具有彩色像素和全色像素二者的二维传感器阵列捕获的场景的所捕获的图像；
(b)响应于所捕获的彩色像素来形成全彩图像；
(c)响应于所捕获的全色像素来形成参考全色图像；
(d)响应于所述参考全色图像来形成边缘图；以及
(e)使用所述边缘图来增强全彩图像。
本发明的特征是利用具有全色像素和彩色像素的传感器来在低光条件下捕获图像，以及处理产生了根据全色像素和彩色像素而产生的增强数字彩色图像。
本发明使用具有全色像素和彩色像素的适当组成的滤色器阵列，以便允许上述方法提供改进的低光灵敏度和改进的色彩空间分辨率保真度。上述方法保持并增强全色和彩色空间细节并且产生增强的全彩图像。
附图说明
图1是包括用于实施本发明的数字照相机的计算机系统的透视图；
图2是本发明的优选实施例的框图；
图3是更详细地示出图2中的框210的框图；
图4是详细地示出图2中的框210的可替换实施例的框图；
图5是在执行图4的框228中的非最大值抑制(nonmaximumsuppression)期间所使用的像素邻域；以及
图6是本发明的可替换实施例的框图。
具体实施方式
在下面的说明中，将以通常被实施为软件程序的方式来描述本发明的优选实施例。本领域技术人员容易认识到这样的软件的等同物也可以以硬件构造。因为图像操纵算法和系统是公知的，所以本说明将特别针对形成根据本发明的系统和方法的一部分的算法和系统或更直接地与根据本发明的系统和方法相合作的算法和系统。此处没有具体示出或描述的这样的算法和系统的其他方面和用于产生并以其他方式处理所涉及的图像信号的硬件或软件可以从本领域中公知的这样的系统、算法、组件和元件中进行选择。给定下面的素材中根据本发明描述的系统，此处没有具体示出、建议或描述的用于实施本发明的软件是常规的软件并且被本领域普通技术人员所知道。
更进一步地，如此处所使用的，计算机程序可以存储在计算机可读存储介质中，该计算机可读存储介质可包括例如：诸如磁盘(诸如硬盘驱动器或软盘)或磁带之类的磁存储介质；诸如光盘、光带或机器可读条形码之类的光存储介质；诸如随机存取存储器(RAM)或只读存储器(ROM)之类的固态电子存储设备；或用于存储计算机程序的任何其他物理设备或介质。
在描述本发明之前，指出本发明优选地用在任何公知的计算机系统(例如个人计算机)上有助于理解。因此，此处将不会详细地讨论计算机系统。指出图像或者直接地输入到计算机系统(例如通过数字照相机)或者在输入到计算机系统之前被数字化(例如通过扫描诸如卤化银薄膜之类的底片(original))也是有益的。
参考图1，图示了用于实施本发明的计算机系统110。尽管为了图示优选的实施例的目的而示出了计算机系统110，但本发明不限于所示出的计算机系统110，而是可以在诸如家庭计算机、信息站(kiosk)、零售或批发冲洗照片服务之类的任何电子处理系统或者用于处理数字图像的任何其他系统上使用。计算机系统110包括基于微处理器的单元112，其用于接收并处理软件程序并用于执行其他处理功能。显示器114电连接到基于微处理器的单元112，以用于例如通过图形用户接口来显示与软件相关联的用户相关的信息。键盘116也连接到基于微处理器的单元112，以允许用户输入信息到软件。作为使用键盘116来输入的替换，鼠标118可以用来移动显示器114上的选择器120，并且用来选择该选择器120所覆盖的项，如本领域所公知的。
通常包括软件程序的光盘只读存储器(CD-ROM)124被插入到基于微处理器的单元，以提供将软件程序和其他信息输入到基于微处理器的单元112的方法。此外，软盘126也可以包括软件程序，并且被插入到基于微处理器的单元112以输入软件程序。光盘只读存储器(CD-ROM)124或软盘126可以可替换地插入到外部定位的盘驱动单元122中，所述盘驱动单元122连接到基于微处理器的单元112。更进一步地，如本领域所公知的，基于微处理器的单元112可以被编程以用于在内部存储软件程序。基于微处理器的单元112还可以具有到外部网络(例如局域网或因特网)的网络连接127(例如电话线)。打印机128也可以被连接到基于微处理器的单元112，以用于打印来自计算机系统110的输出的硬拷贝。
图像也可以经由个人计算机卡(PC卡)130而显示在显示器114上，例如，所述个人计算机卡如之前公知(基于个人计算机存储器卡国际联合会的规范)的PCMCIA卡，其包含包括在PC卡130中的电子地数字化的图像。PC卡130最终被插入到基于微处理器的单元112，以允许在显示器114上的图像的视觉显示。可替换地，PC卡130可以被插入在连接到基于微处理器的单元112的外部定位的PC卡读取器132中。图像也可以经由光盘124、软盘126或网络连接127而被输入。存储在PC卡130、软盘126或光盘124的、或者经由网络连接127输入的任何图像可以从各种源(例如数字照相机(未示出)或扫描仪(未示出)获得。图像也可以经由连接到基于微处理器的单元112的照相机扩展(docking)端口136直接从数字照相机134输入，或者经由到基于微处理器的单元112的电缆连接138或经由到基于微处理器的单元112的无线连接140直接从数字照相机134输入。
根据本发明，算法可以被存储迄今为止所提到的任何存储设备并且应用于图像，从而锐化该图像。
图2是本发明的优选实施例的高级图。数字照相机134(图1)负责创建原始的数字红色-绿色-蓝色-全色(RGBP，red-green-blue-panchromatic)滤色器阵列(CFA)图像200，其也被称为数字RGBP CFA图像或RGBP CFA图像。在这点上应该指出，下面描述中其他色彩通道组合(例如青色-品红-黄色-全色)可以被用来代替红色-绿色-蓝色-全色。关键项是包括全色通道。该图像被认为是稀疏采样的图像，因为在图像中的每个像素仅包含红色、绿色、蓝色或全色数据的一个像素值。全色图像插值块202根据RGBP CFA图像200产生参考全色图像204。边缘图生成块210根据参考全色图像204产生边缘图216。根据RGBP CFA图像200，RGBP CFA图像插值块206随后产生全彩图像208。全彩图像增强块214根据全彩图像208和边缘图216产生增强的全彩图像212。
在图2中，全色图像插值块202和RGB CFA图像插值块206可以以本领域技术人员公知的任何适当的方式执行。可以在美国专利公开No.2007/0024934中找到示例。包括在该参考文献中的示例使用仅仅所捕获的全色像素来产生参考全色图像，使用所捕获的全色像素和所捕获的彩色像素来产生参考图像；使用仅仅所捕获的彩色像素来产生全彩图像以及使用所捕获的彩色像素和所捕获的全色像素来产生全彩图像。
图3是优选实施例的边缘图生成块210(图2)的详细框图。高通滤波块218根据参考全色图像204(图2)产生高频图像220。高通滤波通常由下列两个方法中的一个执行：直接卷积或作为反锐化掩模(unsharp masking)的一部分。对于直接卷积，将参考全色图像204(图2)与高通核(high-pass kernel)进行卷积，并且结果的绝对值是高频图像220。适当的高通核的示例是：
本领域的技术人员知道怎样创建其他适当的高通核。对于反锐化掩模的情况，参考全色图像204(图2)与低通核进行卷积，且从参考全色图像204(图2)减去所得到的低频图像。该减法的绝对值是高频图像220。适当的低通核的示例是：
本领域的技术人员知道怎样创建其他适当的低通核。继续描述图3，阈值块222根据高频图像220来产生边缘图216(图2)。通常通过对照给定的阈值来测试在高频图像220中的每个像素值来执行块222中的阈值处理(thresholding)。如果在高频图像220中的像素值等于或大于给定的阈值，则在边缘图中对应的像素值被标记为边缘像素，并且设置为指示边缘的存在的值(例如1)。如果在高频图像220中的像素值小于给定的阈值，则在边缘图中的对应的像素值被标记为平坦像素，并且设置为指示边缘不存在的值(例如0)。还可以使用多个阈值。例如，在利用相对大的第一阈值产生第一边缘图之后，利用较小的第二阈值根据第一边缘图和高频图像220来产生第二边缘图。在这种情况下，在第一边缘图中的被标记为边缘像素的每个像素位置被自动地标记为在第二边缘图的对应位置处的边缘像素。在第一边缘图中的像素位置被标记为平坦像素并且至少一个相邻的像素位置被标记为边缘像素的情况下，将对应的高频图像220像素值与第二阈值进行比较。如果在高频图像220中的像素值等于或大于第二阈值，则在第二边缘图中的对应像素值被标记为边缘像素。如果在高频图像220中的像素值小于第二阈值，则在第二边缘图中的对应的像素值被标记为平坦像素。本领域技术人员清楚可以使用附加的阈值来继续该过程。
图4是可替换实施例的边缘图生成块210(图2)的详细框图。高通滤波块224根据参考全色图像204(图2)来产生高频图像226。高频图像226具有三个通道。第一通道包含边缘幅度(magnitude)值，其是通过与高通滤波块218(图3)执行的计算相同的计算所产生的结果。第二通道包含通过对用水平梯度核的卷积取绝对值(bytaking the absolute valueof a convolution with a horizontalgradient kernel)而产生的水平梯度值。这样的核的示例是：
(-1 0 1)。
第三通道包含通过对用垂直梯度核的卷积取绝对值而产生的垂直梯度值。这样的核的示例是：
接着，非最大值抑制块228根据高频图像226产生边缘变薄的高频图像230。通常将每个边缘幅度像素位置的水平梯度值和垂直梯度值进行比较来执行块228中的非最大值抑制。如果水平梯度值大于或等于垂直梯度值，则非最大值抑制的方向是水平的。如果垂直梯度值大于水平值，则非最大值抑制的方向是垂直的。图5是边缘幅度值的示例像素邻域，其中正对边缘幅度值E3进行操作。如果非最大值抑制的方向是水平的，则如果E3大于或等于E2和E4，则留着不改变。否则，将E3设置为零。如果非最大值抑制的方向是垂直的，则如果E3大于或等于E1和E5二者，则留着不改变。否则，将E3设置为零。在图4中，阈值处理块222的操作与先前对图3的描述的操作相同。
本领域技术人员将明白，边缘图216(图2)可以以任何数量的方式来增强(例如通过使用形态处理)，来根据其随后的使用降低噪声的影响或改变在边缘图216(图2)中的特征的厚度。
返回到图2，现在给出了全彩图像增强块214的一些示例。一个这样的全彩图像增强是噪声降低。对于全彩图像208中的每个像素(随后被称为中心像素)，检查边缘图216中的对应值来看其是否被标记为边缘像素或平坦像素。如果该中心像素是边缘像素，则该像素值的噪声降低可以被跳过以保存边缘细节。如果中心像素是平坦像素，则在中心像素的给定距离中的所有其他平坦像素一起被平均以产生噪声降低的中心像素值。
全彩图像增强的另一个示例是锐化(边缘增强)。如在2007年1月9日提交的美国专利申请No.11/621,139中教导的，锐化通道可以由全彩图像208或由参考全色图像204产生。接着，对于全彩图像208中的每个像素(随后被称为中心像素)，检查边缘图216中的对应值来看其是否被标记为边缘像素或平坦像素。如果该中心像素是边缘像素，则所有的对应锐化通道值被添加到中心像素值以锐化边缘细节。如果中心像素是平坦像素，则或者对应锐化通道值的一部分或没有对应的锐化通道值被添加到中心像素以降低全彩图像中不希望的噪声放大。
全彩图像增强的另一个示例是色彩校正。色彩校正通常通过将全彩图像208的色彩通道值乘以3×3矩阵来执行以产生增强的全彩图像212。该计算可以是下面的形式：
其中(R，G，B)指全彩图像208色彩通道值，而(R’，G’，B’)指增强的全彩图像212。对于全彩图像208中的每个像素，检查边缘图216中的对应值来看其是否被标记为边缘像素或平坦像素。如果像素是边缘像素，则将全部对应的色彩校正应用于全彩图像208像素值。如果像素是平坦像素，则或者部分色彩校正或者没有色彩校正被应用于全彩图像208像素值以降低噪声和图像处理赝像的可见性。
图6是本发明的可替换实施例的高级图。在图1中示出的数字照相机134负责创建原始的数字红色-绿色-蓝色-全色(RGBP)滤色器阵列(CFA)图像200，其也被称为数字RGBPCFA图像或RGBP CFA图像。在这点上应该指出，下面描述中其他色彩通道组合(例如青色-品红-黄色-全色)可以被用来代替红色-绿色-蓝色-全色。关键项是包括全色通道。该图像被认为是稀疏采样的图像，因为在图像中的每个像素仅包含红色、绿色、蓝色或全色数据的一个像素值。全色图像插值块202根据RGBP CFA图像200产生参考全色图像204。边缘图生成块210根据参考全色图像204产生边缘图216。根据RGBP CFA图像200和参考全色图像204，RGBCFA图像插值块232随后产生全彩图像234。全彩图像增强块214根据全彩图像234和边缘图216产生增强的全彩图像236。
在图6中，全色图像插值块202和RGB CFA图像插值块232可以以本领域技术人员公知的任何适当的方式执行。可以在美国专利申请No.2007/0024934中找到示例。包括在该参考文献中的示例使用仅仅所捕获的全色像素来产生参考全色图像，使用所捕获的全色像素和所捕获的彩色像素来产生参考图像；使用仅仅所捕获的彩色像素来产生全彩图像以及使用所捕获的彩色像素和所捕获的全色像素来产生全彩图像。图6的其他块的细节与在图中示出的优选实施例中的相同。
在本发明的优选实施例中公开的基于边缘图的算法可以在各种用户背景和环境中使用。示例性的背景和环境包括但不限于：批发数字冲洗照片服务(其包括示例性处理步骤或阶段，例如形成胶片(filmin)、数字处理、打印)；零售数字冲洗照片服务(形成胶片、数字处理、打印)；家庭打印(家庭扫描的胶片或数字图像、数字处理、打印)；桌面软件(将算法应用于数字打印物以使它们更好或甚至仅改变它们的软件)；数字实现(数字图像输入：从介质或通过web，数字处理，数字图像输出：以介质上的数字形式、通过web的数字形式、或打印在硬拷贝打印物上)；信息站(数字或扫描的输入、数字处理、数字或扫描的输出)；移动设备(例如，可以被用作处理单元、显示单元或给出处理指示的单元的PDA或蜂窝电话)以及作为经由万维网而提供的业务。
在每种情况下，基于边缘图的算法可以单独或可以成为更大系统解决方案的组件。此外，与算法的接口(例如扫描或输入、数字处理、显示给用户(如果需要的话)、用户请求或处理指令的输入(如果需要的话)、输出)，每个都可以在相同或不同的设备和物理位置上，并且设备和位置之间的通信可以经由公共或专用网络连接或基于介质的通信。与本发明之前的公开相一致，算法本身可以是全自动化的。然而，用户输入可以被使用或操作员可以查看以接受/拒绝结果。也可以使用由(例如在照相机中的)测量设备提供的元数据。此外，算法可以与各种各样的工作流用户接口方案接口连接。
根据本发明的此处公开的基于边缘图的算法可以具有使用各种数据检测和缩小技术(例如面部检测、眼睛检测、皮肤检测、闪光检测)的内部组件。
部件列表
110计算机系统
112基于微处理器的单元
114显示器
116键盘
118鼠标
120显示器上的选择器
122盘驱动单元
124光盘只读存储器
126软盘
127网络连接
128打印机
130个人计算机卡(PC卡)
132 PC卡读取器
134数字照相机
136照相机扩展端口
138电缆连接
140无线连接
200 RGBP CFA图像
202全色图像插值
204参考全色图像
206 RGB CFA图像插值
208全彩图像
210边缘图生成
212增强的全彩图像
214全彩图像增强
216边缘图
218高通滤波
220高频图像
222阈值处理
224高通滤波
226高频图像
228非最大值抑制
230边缘变薄的高频图像
232 RGB CFA图像插值
234全彩图像
236增强的全彩图像

Claims (10)

1.一种用于提供场景的增强的全彩图像的方法，该方法包括：
a.使用由具有彩色像素和全色像素二者的二维传感器阵列捕获的场景的所捕获的图像；
b.响应于所捕获的彩色像素来形成全彩图像；
c.通过插值所捕获的全色像素来形成参考全色图像；
对所述参考全色图像执行高通滤波操作以生成高频图像；
d.基于所述高频图像来形成边缘图，其中，所述边缘图中对应的像素值被标记为边缘像素，并且设置为指示边缘的存在的值，或者所述边缘图中的对应的像素值被标记为平坦像素，并且设置为指示边缘不存在的值，包括：
比较对应的像素的像素值和预定的阈值，
如果该像素值大于或者等于该预定的阈值，则将该像素值设置为第一预定的逻辑值以指示边缘的存在，
如果该像素值小于该预定的阈值，则将该像素值设置为第二预定的逻辑值以指示边缘不存在，
其中，使用多个阈值来形成边缘图，其中，在利用相对大的第一阈值产生第一边缘图之后，利用较小的第二阈值根据该第一边缘图和所述高频图像来产生第二边缘图；以及
e.使用所述边缘图来增强全彩图像。
2.根据权利要求1所述的方法，其中组成部分b包括使用所捕获的彩色像素和所捕获的全色像素二者来形成全彩图像。
3.根据权利要求1所述的方法，其中组成部分c包括使用所捕获的彩色像素和所捕获的全色像素二者来形成参考全色图像。
4.根据权利要求2所述的方法，还使用参考全色图像来形成全彩图像。
5.根据权利要求1所述的方法，其中所述边缘图被用来提供噪 声清除。
6.根据权利要求1所述的方法，其中所述边缘图被用来提供锐化。
7.根据权利要求1所述的方法，其中所述边缘图被用来提供色彩校正。
8.如权利要求1所述的方法，进一步包括对所述高频图像执行非最大值抑制以产生边缘变薄的高频图像，其中所述边缘图是基于所述边缘变薄的高频图像形成的。
9.如权利要求1所述的方法，其中阈值处理是通过对照预定的阈值测试所述高频图像中的每个像素来执行的。
10.如权利要求9所述的方法，其中如果在高频图像中的像素值等于或大于预定的阈值，则在边缘图中对应的像素值被标记为边缘像素，并且设置为指示边缘的存在的值，或者如果在高频图像中的像素值小于预定的阈值，则在边缘图中的对应的像素值被标记为平坦像素，并且设置为指示边缘不存在的值。
CN200880011120.4A 2007-03-30 2008-03-26 使用全色像素的边缘映射 Active CN101652798B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/694,034 2007-03-30
US11/694,034 US7844127B2 (en) 2007-03-30 2007-03-30 Edge mapping using panchromatic pixels
PCT/US2008/003941 WO2008121280A2 (en) 2007-03-30 2008-03-26 Edge mapping using panchromatic pixels

Publications (2)

Publication Number Publication Date
CN101652798A CN101652798A (zh) 2010-02-17
CN101652798B true CN101652798B (zh) 2017-05-17

Family

ID=39794492

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200880011120.4A Active CN101652798B (zh) 2007-03-30 2008-03-26 使用全色像素的边缘映射

Country Status (6)

Country Link
US (1) US7844127B2 (zh)
EP (1) EP2130176B1 (zh)
JP (1) JP5395053B2 (zh)
CN (1) CN101652798B (zh)
TW (1) TWI467495B (zh)
WO (1) WO2008121280A2 (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7844127B2 (en) * 2007-03-30 2010-11-30 Eastman Kodak Company Edge mapping using panchromatic pixels
US8594451B2 (en) * 2007-03-30 2013-11-26 Omnivision Technologies, Inc. Edge mapping incorporating panchromatic pixels
US8837849B2 (en) 2007-06-26 2014-09-16 Google Inc. Method for noise-robust color changes in digital images
US20110227923A1 (en) * 2008-04-14 2011-09-22 Xid Technologies Pte Ltd Image synthesis method
JP5259449B2 (ja) * 2009-02-17 2013-08-07 オリンパス株式会社 画像処理装置及び方法並びにプログラム
US8724928B2 (en) * 2009-08-31 2014-05-13 Intellectual Ventures Fund 83 Llc Using captured high and low resolution images
DE102010041569B4 (de) * 2010-09-28 2017-04-06 Leica Geosystems Ag Digitales Kamerasystem, Farbfilterelement für digitales Kamerasystem, Verfahren zur Bestimmung von Abweichungen zwischen den Kameras eines digitalen Kamerasystems sowie Bildverarbeitungseinheit für digitales Kamerasystem
CN102034225B (zh) * 2010-12-20 2012-05-23 天津大学 一种基于边缘模式的插入图像颜色分量的方法
EP2702375A2 (en) 2011-04-25 2014-03-05 Skybox Imaging, Inc. Systems and methods for overhead imaging and video
US9237257B1 (en) * 2013-06-14 2016-01-12 Xilinx, Inc. Circuits for and methods of generating a digital image
US10230925B2 (en) 2014-06-13 2019-03-12 Urthecast Corp. Systems and methods for processing and providing terrestrial and/or space-based earth observation video
US9697434B2 (en) * 2014-12-10 2017-07-04 Omnivision Technologies, Inc. Edge detection system and methods
US10871561B2 (en) 2015-03-25 2020-12-22 Urthecast Corp. Apparatus and methods for synthetic aperture radar with digital beamforming
WO2017044168A2 (en) 2015-06-16 2017-03-16 King Abdulaziz City Of Science And Technology Efficient planar phased array antenna assembly
CA3044806A1 (en) 2015-11-25 2017-06-01 Urthecast Corp. Synthetic aperture radar imaging apparatus and methods
EP3631504B8 (en) 2017-05-23 2023-08-16 Spacealpha Insights Corp. Synthetic aperture radar imaging apparatus and methods
EP3646054A4 (en) 2017-05-23 2020-10-28 King Abdulaziz City for Science and Technology APERTURE SYNTHESIS RADAR IMAGING APPARATUS FOR MOBILE TARGETS
CA3083033A1 (en) 2017-11-22 2019-11-28 Urthecast Corp. Synthetic aperture radar apparatus and methods
US10552708B2 (en) 2018-03-07 2020-02-04 Xerox Corporation Method and system for extracting impression marks using a mobile application
CN110493583B (zh) * 2018-08-03 2021-12-17 杭州海康威视数字技术股份有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
US11164039B2 (en) 2019-10-23 2021-11-02 International Business Machines Corporation Framework for few-shot temporal action localization
CN111586375B (zh) * 2020-05-08 2021-06-11 Oppo广东移动通信有限公司 高动态范围图像处理系统及方法、电子设备和可读存储介质
CN111711766B (zh) * 2020-06-17 2022-01-04 Oppo广东移动通信有限公司 图像处理方法及装置、终端和计算机可读存储介质
CN111711755B (zh) * 2020-06-28 2022-01-04 Oppo广东移动通信有限公司 图像处理方法及装置、终端和计算机可读存储介质
CN111757006B (zh) 2020-07-08 2021-10-29 Oppo广东移动通信有限公司 图像获取方法、摄像头组件及移动终端
CN114466170B (zh) * 2021-08-27 2023-10-31 锐芯微电子股份有限公司 图像处理方法及系统
CN115802183B (zh) * 2021-09-10 2023-10-20 荣耀终端有限公司 图像处理方法及其相关设备
US20230196621A1 (en) * 2021-12-17 2023-06-22 Meta Platforms Technologies, Llc Sparse rgb filter hardware accelerator

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4618990A (en) * 1984-11-15 1986-10-21 General Electric Company Edge enhancement filtering for digital fluorography images
EP0610605B1 (en) * 1993-02-11 1997-07-16 Agfa-Gevaert N.V. Method of recognising an irradiation field
US5420971A (en) 1994-01-07 1995-05-30 Panasonic Technologies, Inc. Image edge finder which operates over multiple picture element ranges
GB9605527D0 (en) * 1996-03-15 1996-05-15 Vlsi Vision Ltd Image restoration
US6529239B1 (en) 1998-06-01 2003-03-04 Fairchild Imaging, Inc. Image sensor with stripes of cyan filter material perpendicular to stripes of yellow filter material
US6614474B1 (en) 1998-08-27 2003-09-02 Polycom, Inc. Electronic pan tilt zoom video camera with adaptive edge sharpening filter
US6621937B1 (en) * 1999-10-08 2003-09-16 Eastman Kodak Company Removing chroma noise from digital images by using variable shape pixel neighborhood regions
US6757012B1 (en) 2000-01-13 2004-06-29 Biomorphic Vlsi, Inc. Color selection for sparse color image reconstruction
US6801672B1 (en) * 2001-06-01 2004-10-05 Bruce A. Thomas Removing noise from a color image using wavelets
US7003173B2 (en) * 2001-06-12 2006-02-21 Sharp Laboratories Of America, Inc. Filter for combined de-ringing and edge sharpening
KR100403601B1 (ko) * 2001-12-21 2003-10-30 삼성전자주식회사 영상의 윤곽선 보정 장치 및 방법
JP3988457B2 (ja) * 2001-12-25 2007-10-10 ソニー株式会社 撮像装置及び固体撮像素子の信号処理方法
JP2003263643A (ja) * 2002-03-07 2003-09-19 Univ Osaka 撮影方向判定装置およびその方法
US7012643B2 (en) 2002-05-08 2006-03-14 Ball Aerospace & Technologies Corp. One chip, low light level color camera
US7099518B2 (en) * 2002-07-18 2006-08-29 Tektronix, Inc. Measurement of blurring in video sequences
JP2004304706A (ja) * 2003-04-01 2004-10-28 Fuji Photo Film Co Ltd 固体撮像装置およびその補間処理方法
US7305103B2 (en) * 2003-06-30 2007-12-04 The Boeing Company System and method for generating pan sharpened multispectral imagery
KR100548611B1 (ko) * 2003-08-07 2006-01-31 삼성전기주식회사 영상 처리에 있어서의 에지 강조를 위한 장치 및 방법
US7298922B1 (en) * 2004-07-07 2007-11-20 Lockheed Martin Corporation Synthetic panchromatic imagery method and system
TWI255134B (en) * 2004-10-29 2006-05-11 Sunplus Technology Co Ltd System to suppress color noise
JP4781670B2 (ja) * 2004-12-17 2011-09-28 三星電子株式会社 撮像装置
US20060152596A1 (en) * 2005-01-11 2006-07-13 Eastman Kodak Company Noise cleaning sparsely populated color digital images
JP4702088B2 (ja) * 2005-03-31 2011-06-15 カシオ計算機株式会社 画像信号のノイズ低減方法、ノイズ低減装置及び撮像装置
US7577311B2 (en) * 2005-05-03 2009-08-18 Eastman Kodak Company Color fringe desaturation for electronic imagers
US8139130B2 (en) * 2005-07-28 2012-03-20 Omnivision Technologies, Inc. Image sensor with improved light sensitivity
US8274715B2 (en) * 2005-07-28 2012-09-25 Omnivision Technologies, Inc. Processing color and panchromatic pixels
US7830430B2 (en) * 2005-07-28 2010-11-09 Eastman Kodak Company Interpolation of panchromatic and color pixels
JP2007043285A (ja) * 2005-08-01 2007-02-15 Olympus Corp 振れベクトル検出装置、カメラシステム、振れベクトル検出方法、及び振れベクトル検出プログラム
JP4325599B2 (ja) * 2005-08-25 2009-09-02 ソニー株式会社 撮像装置および表示制御方法
US7688368B2 (en) * 2006-01-27 2010-03-30 Eastman Kodak Company Image sensor with improved light sensitivity
US7916362B2 (en) * 2006-05-22 2011-03-29 Eastman Kodak Company Image sensor with improved light sensitivity
US7876956B2 (en) * 2006-11-10 2011-01-25 Eastman Kodak Company Noise reduction of panchromatic and color image
US20080123997A1 (en) * 2006-11-29 2008-05-29 Adams James E Providing a desired resolution color image
US7769230B2 (en) * 2006-11-30 2010-08-03 Eastman Kodak Company Producing low resolution images
US7769229B2 (en) * 2006-11-30 2010-08-03 Eastman Kodak Company Processing images having color and panchromatic pixels
US7893976B2 (en) * 2006-12-01 2011-02-22 Eastman Kodak Company Light sensitivity in image sensors
US7769241B2 (en) * 2007-01-09 2010-08-03 Eastman Kodak Company Method of sharpening using panchromatic pixels
US8594451B2 (en) * 2007-03-30 2013-11-26 Omnivision Technologies, Inc. Edge mapping incorporating panchromatic pixels
US7844127B2 (en) * 2007-03-30 2010-11-30 Eastman Kodak Company Edge mapping using panchromatic pixels
US7889921B2 (en) * 2007-05-23 2011-02-15 Eastman Kodak Company Noise reduced color image using panchromatic image
US20090051984A1 (en) * 2007-08-23 2009-02-26 O'brien Michele Image sensor having checkerboard pattern
US8164651B2 (en) * 2008-04-29 2012-04-24 Omnivision Technologies, Inc. Concentric exposure sequence for image sensor

Also Published As

Publication number Publication date
TW200903347A (en) 2009-01-16
EP2130176A2 (en) 2009-12-09
US20080240601A1 (en) 2008-10-02
JP5395053B2 (ja) 2014-01-22
EP2130176B1 (en) 2017-06-07
WO2008121280A2 (en) 2008-10-09
JP2010525427A (ja) 2010-07-22
US7844127B2 (en) 2010-11-30
TWI467495B (zh) 2015-01-01
WO2008121280A3 (en) 2009-05-28
CN101652798A (zh) 2010-02-17

Similar Documents

Publication Publication Date Title
CN101652798B (zh) 使用全色像素的边缘映射
TWI430184B (zh) 結合全色像素之邊緣映射
TWI430202B (zh) 使用全色像素之銳化方法
TWI542223B (zh) 利用全彩影像之雜訊減低彩色影像
EP1977613B1 (en) Interpolation of panchromatic and color pixels
US20080123997A1 (en) Providing a desired resolution color image
JP5461568B2 (ja) カラーおよび全色性チャネルｃｆａ画像の修正
US7876956B2 (en) Noise reduction of panchromatic and color image
US20060152596A1 (en) Noise cleaning sparsely populated color digital images
CN102484721A (zh) 四通道滤色片阵列图案

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: FULL VISION TECHNOLOGY CO., LTD.

Free format text: FORMER OWNER: EASTMAN KODAK COMPANY (US) 343 STATE STREET, ROCHESTER, NEW YORK

Effective date: 20110701

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: STATE OF NEW YORK, THE USA TO: STATE OF CALIFORNIA, THE USA

TA01 Transfer of patent application right

Effective date of registration: 20110701

Address after: California, USA

Applicant after: Full Vision Technology Co., Ltd.

Address before: American New York

Applicant before: Eastman Kodak Co.

GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: California, USA

Patentee after: OmniVision Technologies, Inc.

Address before: California, USA

Patentee before: Full Vision Technology Co., Ltd.

CP01 Change in the name or title of a patent holder