CN102868890B - 图像处理设备、成像设备和图像处理方法 - Google Patents

图像处理设备、成像设备和图像处理方法 Download PDF

Info

Publication number
CN102868890B
CN102868890B CN201210229627.5A CN201210229627A CN102868890B CN 102868890 B CN102868890 B CN 102868890B CN 201210229627 A CN201210229627 A CN 201210229627A CN 102868890 B CN102868890 B CN 102868890B
Authority
CN
China
Prior art keywords
color
color component
signal
aberration
component signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201210229627.5A
Other languages
English (en)
Other versions
CN102868890A (zh
Inventor
山口雄也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102868890A publication Critical patent/CN102868890A/zh
Application granted granted Critical
Publication of CN102868890B publication Critical patent/CN102868890B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/611—Correction of chromatic aberration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及图像处理设备、成像设备、图像处理方法和程序，所提供的图像处理设备包括：象差量产生单元，其基于包括在图像数据中的像素信号的亮度值计算其他颜色成分信号对于判据颜色的颜色成分信号的位置的象差量，所述判据颜色具有在数量上比包括在所述图像数据中的其他颜色更多的像素；以及校正单元，其从所述其他颜色成分信号和所述判据颜色的颜色成分信号产生色差信号，并且基于所述象差量，所述校正单元使用所述色差信号校正存在于所述判据颜色的像素之间的其他颜色的颜色成分信号的色相差。

Description

图像处理设备、成像设备和图像处理方法
技术领域
本发明涉及图像处理设备、成像设备、图像处理方法和程序，尤其涉及在单板(single-plate)式彩色传感器摄像机中校正倍率色象差(chromaticaberrationofmagnification)的技术。
背景技术
在诸如静态摄像机或视频摄相机的成像设备中，倍率色象差已知是由于在通过透镜的光中由于每种颜色的点扩散函数(PSF)的影响而产生的扩大的点图像所引起。倍率色象差由于图像的尺寸的差异而产生，这是因为透镜的折射率根据可见光的波长而不同并且焦距因此不同。
当利用发生倍率色象差的透镜拍摄白色点光源时，屏幕的相邻部分产生彩虹的颜色，因此光源被拍摄为以放射方向发展。即使在正常的对象中，尤其在图像的边缘部分中，也会显著地看到颜色分离。
迄今为止，已经执行了在RGB(红色、绿色和蓝色)的每一者中沿着水平和竖直方向计算和校正偏差(象差量)，作为校正倍率色象差的方法(例如，见日本未审查专利申请公报No.2010-219683和日本未审查专利申请公报No.2000-299874)。一般来说，倍率色象差的校正是在颜色分离(针对单板的颜色插值：解拜耳(de-Bayer))之前执行的。已经研究了从RAW(原始)数据检测倍率色象差的多种方法。在倍率色象差的校正中，仅基于关于诸如R(红色)或B(蓝色)的单个颜色的信息来执行颜色移动。
发明内容
用在单板式彩色图像传感器中的彩色滤光片在成像装置上形成阵列形状。在形成为阵列形状的彩色滤光片(彩色滤光片阵列)的布置中，代表性地使用了拜耳图案，其中对于亮度信号作出较大贡献的G(绿色)被布置为棋盘图案，并且R和B被布置在棋盘图案的剩余部分。图1示出了布置为拜耳布置的RGB颜色的像素。在拜耳布置中，由G彩色滤光片获得的像素是由R或B彩色滤光片获得的像素的两倍，并且因此由R或B彩色滤光片获得的像素在数量上较小。
下文中将会参照图2A到图2C描述根据现有技术的校正倍率色象差的方法。
例如，将会关注由RGB形成的拜耳布置的R和G(见图2A)。L表示图像中央(对应于光轴)。发生倍率色象差的透镜在与G相距一段象差量的位置距离处产生图像R(见图2B)。在现有技术中，当校正R的倍率色象差时，对使用单个颜色(R)的图像执行上采样(up-sampling，扩大处理)(见图2C)并且利用小数级别的精确度来执行像素移动，以执行把R返回到正确位置的处理。如图3所示，上采样是对输入信号(例如，R、G和B信号)执行滤波计算并且推导出位于期望位置的像素的信号的处理。
通过单板式彩色图像传感器获得的R或B像素的数目较小，并且，通过采样定理很明显，可由上采样推定的频率是受到限制的。一般来说，包括单板式彩色图像传感器的摄像机的频率特性在许多情况下由基于G像素数目的分辨率限制所确定。因此，当对于R或B仅使用单个颜色信息执行上采样时，可能不能产生接近G的极限分辨率的高频率，并且在许多情况下，R或B的边缘可能会模糊并且错误的颜色可能出现在R或B的边缘的附近。即，当在校正R或B的倍率色象差的处理中对在R或B移动前的像素进行插值时，可能不能实现高频率并且R或B的边缘可能不能被适当地校正。
因此期望提供一种能够在发生倍率色象差的图像中适当地对除了基础颜色之外的颜色的边缘进行校正的技术，例如，除了G之外的R或B的边缘。
根据本技术的实施例，首先基于包括在图像数据中的像素信号的亮度值计算其他颜色成分信号对于包括在图像数据中的判据颜色的颜色成分信号的位置的象差量。之后，从其他颜色成分信号和判据颜色的颜色成分信号产生色差信号，并且基于所述象差量，使用色差信号校正存在于判据颜色的像素之间的其他颜色的颜色成分信号的色象差。
在本发明的实施例中，从包括高频成分(边缘)的图像(RAW数据)中的其他颜色(例如，R或B)与判据颜色(例如G)之间的差异来产生色差，该图像是从单板式图像传感器获得的。基于象差，使用色差来校正其他颜色的色象差。这里，因为判据颜色的像素数目大于其他颜色的数目并且使用频率比其他颜色更低的色差来校正色象差，所以校正精确度较高并且像素不模糊。
根据本技术的实施例，能够在发生倍率色象差的图像中适当地校正除了基础颜色之外的颜色的边缘，例如，除了G之外的R或B的边缘。
附图说明
图1是示出了布置为拜耳阵列的RGB颜色的像素的图；
图2A到图2C是根据现有技术的图；
图3是示出了上采样的图；
图4是示出了根据第一实施例的成像设备的框图；
图5是示出了图4中示出的预处理单元的内部构造的框图；
图6是示出了根据第一实施例的第一示例的在拜耳布置中校正倍率色象差的处理的流程图；
图7A到图7C是示出了根据第一实施例的在拜耳布置中校正倍率色象差的处理的流程图；
图8是示出了其中发生倍率色象差的图像的示例的图。
图9是示出了使用现有技术的方法对图8中示出的图像(RAW数据)执行倍率色象差校正时图像的示例的图；
图10是示出了使用现有技术的方法在颜色分离之后对图8中示出的图像(RAW数据)执行倍率色象差校正时图像的示例的图；
图11是示出了在根据第一实施例的第一示例的倍率色象差校正方法被应用到图8中示出的图像(RAW数据)时的图像的示例的图；
图12是示出了布置为双倍密度拜耳布置的RGB颜色的像素的图；
图13是示出了根据第一实施例的第二示例的在双倍密度拜耳布置中校正倍率色象差的处理的流程图；
图14是示出了布置为ClearVid布置的RGB颜色的像素(输入像素)的图；
图15是示出了布置为ClearVid布置的RGB颜色的输出像素的图像的图；
图16是示出了根据第一实施例的第三示例的在ClearVid布置中对倍率色象差进行校正的处理的流程图；
图17是示出了根据第二实施例的预处理单元的内部构造的框图；
图18是示出了根据第二实施例的第一示例的伴随着颜色分离在拜耳布置中校正倍率色象差的处理的流程图；
图19是示出了根据第二实施例的第二示例的伴随着颜色分离在双倍密度拜耳布置中校正倍率色象差的处理的流程图；以及
图20是示出了根据第一实施例的第三示例的伴随着颜色分离在ClearVid布置中校正对倍率色象差的处理的流程图。
具体实施方式
下文中，将会参照附图描述本发明的实施例。在说明书和附图中，相同的附图标记被给予具有基本相同功能或构造的构成元素，并且它们的描述将不会再重复。
将会按照以下顺序进行描述。
1.第一实施例(校正单元：使用G色差(colordifference)来校正倍率色象差的示例)
1.1.应用到拜耳布置的示例(第一示例)
1.2.应用到双倍密度拜耳布置的示例(第二示例)
1.3.应用到ClearVid布置的示例(第三示例)
2.第二实施例(校正单元：使用G色差和颜色分离来校正倍率色象差的示例)
2.1.应用到拜耳布置的示例(第一示例)
2.2.应用到双倍密度拜耳布置的示例(第二示例)
2.3.应用到ClearVid布置的示例(第三示例)
<1.第一实施例>
[本技术的概述]
在自然图像中公知，色象差信号的频率不高于R或B信号的频率(该观点也适用于颜色分离或压缩并且已经基于该意见发展了许多算法)。
例如，已经在以下文件中公开了使用局部颜色成分信号之间的相关的信号处理方法。
“D.R.Cok:"SignalProcessingMethodandApparatusforProducingInterpolatedChrominanceValuesinaSampledColorImageSignal,"美国专利No.4642678(1987)(CHBI)”
因此，因为相比于在使用R或B单个颜色的信号的插值方法，在使用G色差信号的插值方法中要被评估的信号的频带更低，所以认为可以获得更高的插值精确度。在本发明的实施例中，该想法被应用到倍率色象差的校正，因此使用G色差信号来对从具有RGB的像素布置的图像传感器获得的图像执行倍率色象差的校正。
在本发明的实施例中，当R或B的倍率色象差被校正时，在R或B移动之前的像素没有被插值，但是临时地产生意图被移动到R或B的偏离位置的G。当意图被移动到在R和B的偏离之前的R和B的位置的G被插值时，可以获得与R和B相同数目的G色差。使用G色差对在像素移动之前(目标像素)的G色差信号进行插值，以插值出在偏离位置处的R或B。
当移动之前的像素被设置在单板彩色图像传感器的布置的位置处时，可以获得由象差量校正的RAW数据的图像。因此，当像素被设置在输出像素的位置时，也可以结合在颜色分离处理中的G色差的插值。
在下文中，R、G和B像素被分别称作“R”、“G”和“B”，并且R、G和B信号被分别称作为“R”、“G”和“B”。R-G色差信号或B-G色差信号被称作为“G色差”。
[成像设备的构造示例]
将会描述根据本发明的实施例的成像设备的构造的示例。
根据本发明的实施例的成像设备例如不局限于其中镜头可替换或不可替换的数字静态摄像机，并且也可以应用到具有成像功能的设备，诸如摄像头、便携式电话或PDA(个人数字助手)。此外，根据本发明的实施例的成像设备可以应用到处理设备或记录设备，其中成像信号由用于与个人计算机等连接的视频电话或游戏软件的小尺寸摄像机处理。
下文描述的成像设备的每个处理功能可以被安装到软件或硬件上。此外，在说明书中描述的图像处理是在成像设备的信号处理中对输入数据(RAW数据)中的R、G和B执行的处理。
首先，将会描述根据本发明的第一实施例的包括图像处理装置的成像设备的构造。图4是示出了根据第一实施例的成像设备100的框图。
图4中示出的成像设备100是能够在存储介质中记录视频数据的视频摄像机。例如，成像设备100包括图像传感器101、预处理单元102、数字信号处理单元103、转换处理单元104、压缩和解压缩单元(JPEG)105、存储器控制单元106、存储器107、显示处理单元108、压缩和解压缩单元(MPEG)109、记录装置控制单元110、记录装置111、显示单元112、控制单元113和成像镜头114。
成像镜头114是收集来自对象的入射光并且将对象图像提供给之后描述图像传感器101的透镜组。当来自对象的光穿过成像镜头114时，光的折射率按照可见光的波长的长度而不同。因此，因为各个颜色的焦距彼此不同并且因此成像位置偏离，所以发生倍率色象差。此外，因为每个颜色具有由在成像位置处由成像镜头114的点扩散函数(PSF)产生的点扩散引起的扩散并且颜色之间的扩散宽度的差异变为错误的颜色，所以发生倍率色象差。
图像传感器101将经由光学系统(例如，包括成像镜头114、红外线移除滤光片、光学低通滤光片或彩色滤光片)从对象接收的入射光通过光电转换转换为电信号。例如，CMOS(互补金属氧化物半导体)单板式成像元件被用作图像传感器101。当使用CMOS成像元件时，光电二极管、行和列选择MOS晶体管、信号线等被布置为二维形状，以形成垂直扫描电路、水平扫描电路、噪声移除电路、正时产生电路等。此外，CCD(电荷耦合器件)成像元件可以被用作图像传感器101。
例如，图像传感器101以NTSC方案的规格的60fps(场/秒)读取信号。图像传感器101包括CDS(相关双采样)和A/D转换器。图像传感器101输出成像数据。
预处理单元102对从图像传感器101输出的成像数据执行光学校正处理(诸如阴影校正)，并且输出数字图像信号。预处理单元102是图像处理装置的示例并且执行下文描述的倍率色象差的检测或校正。
数字信号处理单元103对从预处理单元102输出的成像数据执行摄像机信号处理，诸如颜色分离(同步处理)、白平衡校正、光圈校正、伽马校正或YC产生。
转换处理单元104执行显示调谐和尺寸调整以将从数字信号处理单元103接收的图像信号转换为具有适合于显示单元112显示的帧速率和屏幕尺寸的信号。在信号被输出到显示处理单元108时执行显示稀释(displaythinning)。
压缩和解压缩单元(JPEG)105在从转换处理单元104输出的成像数据上按照静态图像的编码方案(其例如包括JPEG(联合图像专家组))执行压缩和编码处理。此外，压缩和解压缩单元(JPEG)105对从存储器控制单元106提供的静态图像的经编码的数据执行压缩和解码处理。存储器控制单元106将图像数据写入到存储器107或从其读出。存储器107是按照FIFO(先入先出)方案临时存储从存储器控制单元106接收的图像数据的缓冲存储器。例如，存储器107是SDRAM(同步动态随机存取存储器)。
显示处理单元108通过从转换处理单元104或压缩和解压缩单元(MPEG)109接收到的图像信号产生要被显示在显示单元112上的图像信号，并且之后将图像信号传送到显示单元112，使得图像信号被显示。显示单元112例如由LCD(液晶显示器)构造。例如，显示单元112显示正在被拍摄的摄像机直通图像或者记录在记录装置111中的图像数据。
压缩和解压缩单元(MPEG)109在从转换处理单元104接收的图像数据上按照动态图像编码方案(诸如MPEG(动态图片专家组))执行压缩和编码处理。此外，压缩和解压缩单元109对从记录装置111提供的动态图像的编码数据执行解压缩和解码处理，并且将解压缩的和解码的动态图像输出到显示处理单元108。显示单元112显示从显示处理单元108接收的动态图像。
控制单元113例如是包括CPU(中央处理单元)、ROM(只读存储器)和RAM(随机存取存储器)的微计算机。控制单元113通过执行存储在ROM等中的程序来控制成像设备100的每个构成元件。
[预处理单元的构造的示例]
之后，将会描述根据本实施例的预处理单元102。
图5是示出了预处理单元的内部构造的框图。将会基于对RGB像素中的R执行校正倍率色象差的处理的假设来描述框图构造。然而，实施例当然可以应用到对B执行校正倍率色象差的处理的框图构造。
预处理单元102包括校正单元120和象差量产生单元126。
例如，象差量产生单元126包括边缘检测单元、颜色偏离量检测单元和倍率计算单元。边缘检测单元基于图像数据来检测图像中的边缘部分(高频率成分)，并基于包括在图像数据中的像素信号的亮度值来检测边缘部分的亮度值的改变方向。颜色偏离量检测单元计算包括在图像数据中的两个颜色成分信号之间在边缘部分中的相关性，以检测颜色偏离量。倍率计算单元基于颜色偏离量和图像中心(其对应于光轴)的距离来计算另一个颜色成分信号相对于一个颜色成分信号的缩放倍率(象差量)。
因此，象差量产生单元126通过基于当前被处理的像素离开图像中心多远(像素高度)将象差模型(多项式)应用到R和B的每一者上来产生缩放倍率(象差量)。
在图5的示例中，象差量产生单元126包括R象差量产生单元126R和B象差量产生单元126B。R象差量产生单元126R计算R信号相对于G信号的缩放倍率(象差量)。B象差量产生单元126B计算B信号相对于G信号的缩放倍率(象差量)。
在象差量产生单元126中，有必要预先计算象差量，作为倍率色象差的校正的前提条件。因此，通过图像评价图像的象差量(缩放倍率)，使得可以使用与在日本未审查专利申请公报No.2010-219683、日本未审查专利申请公报No.2000-299874等中使用的类似方法。然而，本发明的实施例不局限于该示例，并且可以预先测量镜头的特性，以确定象差量。
校正单元120使用基于由象差量产生单元126产生的另一个颜色成分信号(在该示例中，R或B信号)相对于一个颜色成分信号(在该示例中，G信号)的缩放倍率(象差量)来校正色象差。此时，校正单元120可以按照亮度值的改变方向来校正边缘部分的色象差。
校正单元120包括存储器单元121、相关方向判断/G插值处理单元122、存储器单元123、R和B数据切换单元124、用于R的G上采样处理单元125、存储器单元127以及减法器128。其还包括存储器单元129、R和B数据切换单元130、G色差(R-G)上采样处理单元131和加法器132。
相关方向判断/G插值处理单元122使用从存储器单元121接收的G信号将G信号插值为R或B信号的相位。即，相关方向判断/G插值处理单元122例如通过计算G像素的像素值在R或B像素附近的加权平均值来产生在R或B像素位置处的插值G信号(下文中称为“插值G”)。此外，相关方向判断/G插值处理单元122检测用在下文中描述的适应性插值处理中的相关方向。
存储器单元123存储从相关方向判断/G插值处理单元122接收的为插值的G信号或插值的G信号(g)。
R和B数据切换单元124-1基于由R象差量产生单元126R产生的R象差量从存储器单元123选择在位于偏离位置处的R’附近的G像素的像素值(G’信号)，并且将所选择的像素值提供给后段的用于R的G上采样处理单元125。当对B执行校正倍率色象差的处理时，基于由B象差量产生单元126B产生的B象差量来执行相同处理。
R和B数据切换单元124-2基于由R象差量产生单元126R产生的R象差量从存储器单元127选择在位于偏离位置处的R’像素的像素值(R’信号)，并且将所选择的像素值提供给后段的减法器128。当对B执行校正倍率色象差的处理时，基于由B象差量产生单元126B产生的B象差量来执行相同处理。
用于R的G上采样处理单元125执行由R和B数据切换单元124-1选择的、位于偏离位置附近处的R’的附近的G像素的像素值(G’信号)的上采样，并且推导出与位于由象差量分离的位置处的R’信号相同的相位的g’信号。此外，当R象差量数据被切换为B象差量数据时，用于R的G上采样处理单元125具有用于B的G上采样处理单元的功能。
作为上采样方法，存在应用已知静态滤波器的方法，并且应用诸如双线性、双三次、B样条(b-spline)或lanczos的滤波器来执行计算。可以通过确定软件或硬件的约束(负荷)和图像质量的平衡来选择最合适的滤波器。
为了改善上采样的性能，用于R的G上采样处理单元125通过将相关方向检测预先应用到在上采样之前的R或B的位置以适应地切换滤波器上的滤波计算，来执行插值。因此，可以实现高质量的图像。例如，作为适用性插值处理，存在诸如通常用在解拜耳处理中的zigzag插值的处理。
此外，可以使用确定边缘的方向性并且执行插值的边缘方向插值方法。例如，当G信号被在B的位置处插值时，观察B周围的像素来确定优选的插值方向。具体地，使用以下的公式(1)和公式(2)来计算G的在水平方向(Hi,j)和竖直方向(Vi,j)上的梯度ΔHi,j和ΔVi,j。如公式(3)和公式(4)表示的当梯度ΔHi,j和ΔVi,j彼此相当并且ΔHi,j和ΔVi,j。之一等于或小于恒定阈值时，使用相邻像素与较小梯度的平均值。此外，如公式(5)所示，当梯度ΔHi,j和ΔVi,j彼此相等时，使用在两个方向上的平均。
ΔHi,j＝|Gi,j-1-Gi,j+1|(1)
ΔVi,j＝|Gi-1,j-Gi+1,j|(2)
g i , j = gh i , j = G i , j - 1 - G i , j + 1 2 , 如果ΔHi,j<ΔVi,j(3)
g i , j = gv i , j = G i - 1 , j - G i + 1 , j 2 , 如果ΔHi,j>ΔVi,j(4)
g i , j = gh i , j - gv i , j 2 , 如果ΔHi,j＝ΔVi,j(5)
存储器单元127响应于由R和B数据切换单元124进行的R象差量数据与B象差量数据之间的切换来输出R或B信号(即，位于由象差量分离的位置处R’或B’信号)。
当R和B数据切换单元124将象差量数据切换到R象差量数据时，减法器128获得从用于R的G上采样处理单元125接收的g’信号与从存储器单元127获得的R’信号之间的差异，并且产生G色差(c’＝R’-g’)。此外，象差数据被切换到B象差量数据，产生G色差(c’＝B’-g’)。
存储器单元129存储从减法器128接收的G色差(c’＝R’-g’)。
如在R和B数据切换单元124中，R和B数据切换单元130在R象差量数据与B象差量数据之间切换并且将结果输出到下一段的G色差(R-G)上采样处理单元G色差(R-G)上采样处理单元131。
当R和B数据切换单元130将象差量数据切换到R象差量数据时，G色差(R-G)上采样处理单元131对G色差(c’)执行上采样，以推导出R的原始象差量(对应于该象差量)分离位置处的G色差(c)。当R和B数据切换单元130将象差量数据切换到B象差量数据时，G色差(R-G)上采样处理单元131具有G色差(B-G)上采样处理单元的功能。
这里，为了改善上采样的性能，如在用于R的G上采样处理单元125中那样，G色差(R-G)上采样处理单元131也可以基于在上采样之前的色差信号的相关方向检测来执行适应性滤波计算。
加法器132将由相关方向判断/G插值处理单元122产生的g信号与由G色差(R-G)上采样处理单元131产生的G色差(c)相加，以获得经过倍率色象差校正的R信号(Rnew＝c+g)。此外，校正单元120获得存储在存储器单元123中的未插值G信号。此外，当象差量数据可以被切换到B象差量数据时，校正单元120获得B信号(Bnew＝c+g)。
当通过光栅扫描从图像的左上以预定帧速率读取图像时，R、B和G中的一者被按照像素输入到由单板式图像传感器产生的图像中。数据被存储在图5中的每个存储器单元中并且每个块被处理。当该块由硬件实现时，可以在每个块上对于一个像素执行必要的处理，以处理没有插值的数据。因此，也可以对于每个像素执行相关方向判断/G插值处理、G上采样处理和G色差上采样处理。
每个存储器单元的容量必须考虑象差量(校正量)的最大值来设置。随着存储器单元的容量更大，进一步校正了大的倍率色象差中的偏离。
(1.1.应用到拜耳布置的示例(第一示例))
[校正倍率色象差的方法]
之后，将会描述根据第一实施例的第一示例的校正倍率色象差的方法。
图6是示出了根据第一实施例的第一示例的在拜耳布置中校正倍率色象差的处理的流程图。图7A到图7C是示出了根据第一实施例的第一示例的在拜耳布置中校正倍率色象差的处理的流程图。
在该实施例中，对从图像传感器101输出的RAW数据执行倍率色象差的检测和校正。在拜耳布置中，G像素在数量上是R或B像素的两倍并且被布置为棋盘图案。因此，R和B像素被布置为横向形状(见图1)。本发明的实施例不局限于拜耳布置。然而，因为拜耳布置简单，所以将会将拜耳布置作为示例描述。在其他的单板式图像传感器中，当在单板式图像传感器上最多的像素是G并且其他像素是R和B时，可以执行相同的处理。
下文中，将会描述对拜耳布置的R执行倍率色象差的校正的处理的情况。
作为图6中的校正倍率色象差的处理的先决条件，预处理单元102的R象差量产生单元126R基于颜色偏离量以及距图像中心(对应于光轴)的距离来计算R信号相对于G信号的缩放倍率(象差量)。
首先，相关方向判断/G插值处理单元122从在R像素的位置附近的G产生在要被插值的拜耳布置的R像素的位置(见图2A和图7A)处的插值G信号(g)(步骤S1)。此时，可以基于相关方向执行适应性插值。
之后，用于R的G上采样处理单元125对从R和B数据切换单元124提供的、在位于偏离位置处的R’附近的G像素的像素(G’信号)执行上采样，并且推导出与位于由象差量分离的位置处的R’信号相同的相位的g’信号(步骤S2)。
之后，减法器128获得从用于R的G上采样处理单元125接收的g’信号与从存储器单元127接收的R’信号之间的差异，并且产生G色差(c’＝R’-g’)(步骤S3)。
之后，G色差(R-G)上采样处理单元131基于从R和B数据切换单元130提供的R象差量数据对G色差(c’)执行上采样，并且推导出位于由校正量(对应于象差量)分离的位置处的R的原本位置处的G色差(c)(步骤S4)。
最终，加法器132将由相关方向判断/G插值处理单元122产生的g信号和由G色差(R-G)上采样处理单元131产生的G色差(c)相加并且执行像素移动，以获得经过倍率色象差校正的R信号(Rnew＝c+g)(步骤S5)。
对拜耳布置上的全部R执行像素移动并且执行倍率色象差的校正。也对B执行像素移动以获得经过倍率色象差校正的B信号(Bnew)。
在本实施例的第一示例中，即使对从单板式图像传感器(具有拜耳布置)获得的、包括高频成分(边缘)的图像(RAW数据)执行倍率色象差的校正时，也可以高精确度地实现倍率色象差的校正，而不使得除了G之外的像素(例如，R或B)模糊。
[根据本发明的实施例的倍率色象差的校正与现有技术之间的比较]
图8是示出了发生倍率色象差的图像的示例的图。图9是示出了使用现有技术的方法(见图2A到图2C)在颜色分离之前对图8中示出的图像(RAW数据)执行倍率色象差校正时图像的示例(现有技术的第一方法)的图。图10是示出了使用现有技术的方法(见图2A到图2C)在颜色分离之后对图8中示出的图像(RAW数据)执行倍率色象差校正时图像的示例(现有技术的第一方法)的图。
在图8中，当不发生倍率色象差时，RGB的边缘1R、1G和1B原本彼此重叠并且各个颜色被合成为白颜色。然而，因为在图像中发生倍率色象差，R的边缘1R和B的边缘1B相对于G的边缘1G相当大地偏离。这里，L表示图像中心(对应于光轴)。
在图9中示出的图像中，G的边缘2G、R的边缘2R以及B的边缘2B由于倍率色象差而略微地彼此偏离，并且因此出现彩色。
在图10中示出的图像中，在颜色分离之后执行象差校正，但是R的边缘2R和B的边缘2B相对于G的边缘2G的倍率色象差没有被校正。
图11是示出了在根据第一实施例的第一示例的倍率色象差校正方法被应用到图8中示出的图像(RAW数据)时的图像的示例的图。
在图11中，RGB的边缘1R、1G和1B高精确度地彼此重叠。因此，各个边缘的颜色被合成为表现出白颜色。即，可以说高精确度地执行了倍率色象差的校正，而不使得R或B(边缘)模糊。
(1.2.应用到双倍密度拜耳布置的示例(第二示例))
之后，将会描述根据第一实施例的第二示例的在双倍密度拜耳布置中校正倍率色象差的方法。双倍密度拜耳布置通过将拜耳布置倾斜45度形成。
图12是示出了布置为双倍密度拜耳布置的RGB颜色的像素的图。输出像素的数目是输入像素(RAW数据)的数目的一半。
图13是示出了根据第一实施例的第二示例的在双倍密度拜耳布置中校正倍率色象差的处理的流程图。下文中，将会描述在双倍密度拜耳布置的R上校正倍率色象差的处理的情况。
作为在图13中校正倍率色象差的处理的先决条件，预处理单元102的R象差量产生单元126R基于颜色偏离量以及距图像中心(对应于光轴)的距离来计算R信号相对于G信号的缩放倍率(象差量)。
之后，用于R的G上采样处理单元125对从R和B数据切换单元124提供的、在位于偏离位置处的R’附近的G像素的像素(G’信号)执行上采样，并且推导出与位于由象差量分离的位置处的R’信号相同的相位的g’信号(步骤S11)。
之后，减法器128获得从用于R的G上采样处理单元125接收的g’信号与从存储器单元127接收的R’信号之间的差异，并且产生G色差(c’＝R’-g’)(步骤S12)。
之后，G色差(R-G)上采样处理单元131基于从R和B数据切换单元130提供的R象差量数据对G色差(c’)执行上采样，并且推导出位于由校正量分离的位置处的R的原本位置处的G色差(c)(步骤S13)。
之后，相关方向判断/G插值处理单元122从在R像素的位置附近的G产生在要被插值的双倍密度拜耳布置(见图12)的R像素的位置处的插值G信号(g)(步骤S14)。此时，可以基于相关方向执行适应性插值。
最终，加法器132将由相关方向判断/G插值处理单元122产生的g信号和由G色差(R-G)上采样处理单元131产生的G色差(c)相加并且执行像素移动，以获得经过倍率色象差校正的R信号(Rnew＝c+g)(步骤S15)。
通过对双倍密度拜耳布置上的全部R执行像素移动来校正倍率色象差。也通过对B执行像素移动来获得经过倍率色象差校正的B信号(Bnew)。
在本实施例的第二示例中，即使在对从具有双倍密度拜耳布置的图像传感器获得的、包括高频成分(边缘)的图像(RAW数据)执行倍率色象差的校正时，也可以高精确度地实现倍率色象差的校正，而不使得除了G之外的像素(例如，R或B)模糊。
(1.3.应用到ClearVid布置的示例(第三示例))
之后，将会描述根据第一实施例的第三示例的在ClearVid(ClearVid：注册商标)布置上校正倍率色象差的方法。
图14是示出了布置为ClearVid布置的RGB颜色的像素(输入像素)的图。G像素在数量上是R或B像素的六倍并且被布置为在该布置中(其中在水平和垂直方向上，G像素被以2d间隔布置并且R和B像素被以4d间隔布置)围绕R或B。
图15是示出了布置为ClearVid布置的RGB颜色的输出像素的图像的图。输出像素的数目是输入像素(RAW数据)的数目的两倍。
图16是示出了根据第一实施例的第三示例的在ClearVid布置中对倍率色象差进行校正的处理的流程图。这里，将会描述在图15中示出的ClearVid布置(输出像素)的R上校正倍率色象差的处理的情况。
作为在图16中校正倍率色象差的处理的先决条件，预处理单元102的R象差量产生单元126R基于颜色偏离量以及距图像中心(对应于光轴)的距离来计算R信号相对于G信号的缩放倍率(象差量)。
首先，相关方向判断/G插值处理单元122从在R像素的位置附近的G产生在要被插值的拜耳布置的R像素(见图15)和空白像素处的插值G信号(g)(步骤S21)。此时，可以基于相关方向执行适应性插值。
之后，用于R的G上采样处理单元125对从R和B数据切换单元124提供的、在位于偏离位置处的R’附近的G像素的像素(G’信号)执行上采样，并且推导出与位于由象差量分离的位置处的R’信号相同的相位的g’信号(步骤S22)。
之后，减法器128获得从用于R的G上采样处理单元125接收的g’信号与从存储器单元127接收的R’信号之间的差异，并且产生G色差(c’＝R’-g’)(步骤S23)。
之后，G色差(R-G)上采样处理单元131基于从R和B数据切换单元130提供的R象差量数据对G色差(c’)执行上采样，并且推导出位于由校正量(对应于象差量)分离的位置处的R的原本位置处的G色差(c)(步骤S24)。
最终，加法器132将由相关方向判断/G插值处理单元122产生的g信号和由G色差(R-G)上采样处理单元131产生的G色差(c)相加并且执行像素移动，以获得经过倍率色象差校正的R信号(Rnew＝c+g)(步骤S25)。
通过对ClearVid布置上的全部R执行像素移动来校正倍率色象差。也通过对B执行像素移动来获得经过倍率色象差校正的B信号(Bnew)。
在本实施例的第三示例中，即使在对从具有ClearVid布置的图像传感器获得的、包括高频成分(边缘)的图像(RAW数据)执行倍率色象差的校正时，也可以高精确度地实现倍率色象差的校正，而不使得除了G之外的像素(例如，R或B)模糊。
<2.第二实施例>
当在倍率色象差校正中同时执行颜色分离时，RGB饿颜色成分信号被同时输出。因此，有必要提供G色差经过与R和B分离的上采样的块。因此，在第二实施例中，第一实施例的预处理单元102(见图5)包括具有颜色分离功能的块。
[预处理单元的构造的示例]
图17是示出了根据第二实施例的预处理单元的内部构造的框图。
预处理单元102A与第一实施例的预处理单元102的区别在于没有提供R和B数据切换单元130并且校正单元120A包括G色差(B-G)上采样处理单元141和加法器142。下文中，将会主要描述该区别。
G色差(R-G)上采样处理单元131基于从R象差量产生单元126R提供的R象差量数据对从存储器单元129读取的G色差(c’)执行上采样，并且推导出在由校正量分离的R的原本位置出的G色差(c)。
G色差(B-G)上采样处理单元141基于从B象差量产生单元126B提供的B象差量数据对从存储器单元129读取的G色差(c’)执行上采样，并且推导出在由校正量分离的B的原本位置处的G色差(c)。
加法器142将由相关方向判断/G插值处理单元122产生的g信号和由G色差(B-G)上采样处理单元141产生的G色差(c)相加并且执行像素移动以获得经过倍率色象差校正的B信号(Bnew＝c+g)。
(2.1.应用到拜耳布置的示例(第一示例))
之后，将会描述根据第二实施例的第一示例的伴随着颜色分离校正倍率色象差的方法。
图18是示出了根据第二实施例的第一示例的伴随着颜色分离在拜耳布置中校正倍率色象差的处理的流程图。
下文中，将会描述在拜耳布置的R上伴随着颜色分离执行倍率色象差的校正的处理的情况。
因为图18的步骤S31到步骤S33的处理与图6的步骤S1到步骤S3的处理相同，所以将不会重复它们的描述。
在步骤S33的处理结束之后，G色差(R-G)上采样处理单元131基于R象差量数据对G色差(c’)执行上采样，并且推导出拜耳布置上位于由校正量分离的全部位置处的G色差(c)(步骤S34)。
最终，加法器132将由相关方向判断/G插值处理单元122产生的g信号或原本存在于拜耳布置上的G的G信号与由G色差(R-G)上采样处理单元131产生的G色差(c)相加。之后，加法器132执行像素移动，以获得经过倍率色象差校正和颜色分离的R信号(Rnew＝c+g或c+G)(步骤S35)。
对拜耳布置上的全部R以及要被输出的全部位置执行像素移动并且执行倍率色象差的校正和颜色分离。也对B上由G色差(B-G)上采样处理单元141和加法器142执行像素移动以获得经过倍率色象差校正和颜色分离的B信号(Bnew)。
因此，通过计算拜耳布置上的要被输出的全部位置以及R(B)的位置的G色差、对这些位置的G进行插值并且增加到经插值的G，可以在不使用经校正的拜耳布置的状态下执行颜色分离。
在本实施例的第一示例中，即使在对从具有拜耳布置的图像传感器获得的、包括高频成分(边缘)的图像(RAW数据)执行倍率色象差的校正和颜色分离时，也可以高精确度地实现倍率色象差的校正，而不使得除了G之外的像素(例如，R或B)模糊。
(2.2.应用到双倍密度拜耳布置的示例(第二示例))
之后，将会描述根据第二实施例的第二示例的伴随着颜色分离校正倍率色象差的方法。
图19是示出了根据第二实施例的第二示例的伴随着颜色分离在双倍密度拜耳布置中校正倍率色象差的处理的流程图。
下文中，将会描述其中在双倍密度拜耳布置的R上伴随着颜色分离校正倍率色象差的处理的情况。
因为图19的步骤S41到步骤S42的处理与图13的步骤S11到步骤S12的处理相同，所以将不会重复它们的描述。
在步骤S42的处理结束之后，G色差(R-G)上采样处理单元131基于R象差量数据对G色差(c’)执行上采样，并且推导出在双倍密度拜耳布置上位于由校正量分离的位置处的G的原本位置处的G色差(c)(步骤S43)。G像素是RAW数据的像素的一半。因此，当在没有校正的状态下使用G像素时，没有必要对G进行插值。
最终，加法器132将原本存在于双倍密度拜耳布置上的G的G信号与由G色差(R-G)上采样处理单元131产生的G色差(c)相加。加法器132执行像素移动，以获得经过倍率色象差校正和颜色分离的R信号(Rnew＝c+G)(步骤S44)。
对双倍密度拜耳布置上的全部R以及要被输出的全部位置执行像素移动并且执行倍率色象差的校正和颜色分离。也在B上由G色差(B-G)上采样处理单元141和加法器142执行像素移动以获得经过倍率色象差校正和颜色分离的B信号(Bnew)。
在本实施例的第二示例中，即使在对从具有双倍密度拜耳布置的图像传感器获得的、包括高频成分(边缘)的图像(RAW数据)执行倍率色象差的校正和颜色分离时，也可以高精确度地实现倍率色象差的校正，而不使得除了G之外的像素(例如，R或B)模糊。
(2.3.应用到ClearVid布置的示例(第三示例))
之后，将会描述根据第二实施例的第三示例的伴随着颜色分离校正倍率色象差的方法。
图20是示出了根据第二实施例的第三示例的伴随着颜色分离对倍率色象差进行校正的处理的流程图。
下文中，将会描述其中伴随着颜色分离在ClearVid布置的R上校正倍率色象差的处理的情况。
因为图20的步骤S51到步骤S53的处理与图16的步骤S21到步骤S23的处理相同，所以将不会重复它们的描述。
在步骤S53的处理结束之后，G色差(R-G)上采样处理单元131基于R象差量数据对G色差(c’)执行上采样，并且推导出在ClearVid布置上位于由校正量分离的位置处的全部位置处的G色差(c)(步骤S54)。
最终，加法器132将由相关方向判断/G插值处理单元122产生的g信号或或原本存在于拜耳布置上的G的G信号与由G色差(R-G)上采样处理单元131产生的G色差(c)相加。之后，加法器132执行像素移动，以获得经过倍率色象差校正的R信号(Rnew＝c+g或c+G)(步骤S35)。
在本实施例的第三示例中，即使在对从具有ClearVid布置的图像传感器获得的、包括高频成分(边缘)的图像(RAW数据)执行倍率色象差的校正和颜色分离时，也可以高精确度地实现倍率色象差的校正，而不使得除了G之外的像素(例如，R或B)模糊。
根据上述第一和第二实施例的一系列处理可以由硬件执行，但是也可以由软件执行。当一系列处理由软件执行时，这一系列处理可以由其中用于软件的程序被嵌入专用硬件的计算机或者其中安装了执行各种功能的程序的计算机来执行。
记录执行上述实施例的功能的软件的程序代码的记录介质(例如，图4中的存储器107或记录装置111)可以被设置在系统或设备中。此外，功能无疑地可以通过由系统或设备的计算机(或诸如CPU的控制装置)来读取和执行记录介质的程序代码来执行。
在这种情况下，被用于提供程序代码的记录介质的示例包括软盘、硬盘、光盘、磁光盘、CD-ROM、CD-R、磁带、非易失性存储卡和ROM。
上述实施例的功能可以通过执行由计算机读取的程序代码来实现。此外，在计算机上工作的OS等响应于程序代码的指示来执行实际处理的一些或全部。也包括其中上述实施例的功能由处理时限的情况。
在说明书中，描述按照时间顺序的处理的处理步骤不仅包括在时间上按照所描述的顺序来之心该处理，也包括不按照时间执行而并行或分离地执行的处理(例如，并行执行的处理或由对象执行的处理)。
本发明的实施例可以被实施为以下构造。
(1)一种图像处理设备，包括：象差量产生单元，其基于包括在图像数据中的像素信号的亮度值计算其他颜色成分信号对于判据颜色的颜色成分信号的位置的象差量，所述判据颜色具有在数量上比包括在所述图像数据中的其他颜色更多的像素；以及校正单元，其从所述其他颜色成分信号和所述判据颜色的颜色成分信号产生色差信号，并且基于所述象差量，所述校正单元使用所述色差信号校正存在于所述判据颜色的像素之间的其他颜色的颜色成分信号的色象差。
(2)在(1)中描述的图像处理设备，其中，所述校正单元包括：判据颜色插值处理单元，其将在存在于所述判据颜色的像素之间的所述其他颜色的像素的位置处的所述判据颜色的颜色成分信号进行插值；判据上采样处理单元，其基于所述象差量对所述判据颜色的经插值的颜色成分信号执行上采样；色差产生单元，其通过获得所述其他颜色成分信号与经过上采样的所述判据颜色的经插值的颜色成分信号之间的差异来产生色差信号；色差上采样处理单元，其基于所述象差量对所述色差信号执行上采样；以及经校正的颜色成分信号产生单元，其通过将所述判据颜色的经插值的颜色成分信号与经过上采样的所述色差信号相加，来在所述其他颜色的像素中产生经校正的颜色成分信号。
(3)在(2)中描述的图像处理设备，其中，所述图像数据是通过单板图像传感器获得的彩色图像数据。
(4)在(3)中描述的图像处理设备，其中，所述判据颜色的颜色成分信号是绿色信号并且所述其他颜色成分信号是红色或蓝色信号。
(5)在(1)中描述的图像处理设备，其中，所述校正单元包括：判据颜色插值处理单元，其将在存在于所述判据颜色的像素之间的第一或第二颜色的像素的位置处的所述判据颜色的颜色成分信号进行插值；判据上采样处理单元，基于由所述象差量产生单元计算的第一或第二颜色成分信号的象差量，所述判据上采样处理单元对所述判据颜色的经插值的第一或第二颜色成分信号执行上采样；色差产生单元，其通过获得所述第一或第二颜色成分信号与经过上采样的所述判据颜色的经插值的第一或第二颜色成分信号之间的差异来产生第一或第二色差信号；第一色差上采样处理单元，其基于所述第一颜色成分信号的象差量对所述第一色差信号执行上采样；第二色差上采样处理单元，其基于所述第二颜色成分信号的象差量对所述第二色差信号执行上采样；第一经校正的颜色成分信号产生单元，其通过将所述判据颜色的经插值的第一颜色成分信号与经过上采样的所述第一色差信号相加，来在所述第一颜色的像素中产生经校正的颜色成分信号；以及第二经校正的颜色成分信号产生单元，其通过将所述判据颜色的经插值的第二颜色成分信号与经过上采样的所述第二色差信号相加，来在所述第二颜色的像素中产生经校正的颜色成分信号。
(6)一种成像设备，包括：单板式图像传感器，其具有数量上比其他颜色更多的判据颜色的像素；象差量产生单元，其基于包括在图像数据中的像素信号的亮度值计算其他颜色成分信号对于判据颜色的颜色成分信号的位置的象差量，所述判据颜色包括在从所述图像传感器获得的图像数据中；以及校正单元，其从所述其他颜色成分信号和所述判据颜色的颜色成分信号产生色差信号，并且基于所述象差量，所述校正单元使用所述色差信号校正存在于所述判据颜色的像素之间的其他颜色的颜色成分信号的色象差。
(7)一种图像处理方法，包括：基于包括在图像数据中的像素信号的亮度值计算其他颜色成分信号对于判据颜色的颜色成分信号的位置的象差量，所述判据颜色具有在数量上比包括在所述图像数据中的其他颜色更多的像素；从所述其他颜色成分信号和所述判据颜色的颜色成分信号产生色差信号；以及基于所述象差量，使用所述色差信号校正存在于所述判据颜色的像素之间的其他颜色的颜色成分信号的色象差。
(8)一种使得计算机执行以下处理的程序，所述处理包括：基于包括在图像数据中的像素信号的亮度值计算其他颜色成分信号对于判据颜色的颜色成分信号的位置的象差量，所述判据颜色具有在数量上比包括在所述图像数据中的其他颜色更多的像素；从所述其他颜色成分信号和所述判据颜色的颜色成分信号产生色差信号；以及基于所述象差量，使用所述色差信号校正存在于所述判据颜色的像素之间的其他颜色的颜色成分信号的色象差。
迄今为止已经参照附图描述了本发明的优选实施例，但是本发明不局限于此。对于本领域技术人员来说，很明显本发明的实施例可以以在权利要求中描述的技术精神的范围内的各种方式修改和改正，并且这些修改和校正当然属于本发明的技术范围。
例如，迄今为止已经描述了拜耳布置、双倍密度拜耳布置或ClearVid布置被用作为根据上述实施例的图像处理的情况，但是可以应用除了这三个布置之外的像素布置。具体地，当检测颜色偏离时，用在G信号的插值中的G信号的基准位置由除了这些布置之外的像素布置决定。当执行插值时，用在R或B信号的插值中的R或B的基准位置由除了这些布置之外的像素布置决定。
迄今为止已经描述了其中上述实施例的图像处理在成像设备100中执行的情况。然而，本发明不局限于此。例如，通过成像设备的成像获得的RAW数据可以被输出到外部并且上述实施例的图像处理可以例如被应用到电视接收机或个人计算机。
本申请包含于2011年7月6日递交于日本特许厅的日本在先专利申请JP2011-150401中公开的内容相关的主题，上述专利申请的全部内容通过引用结合于此。
应当理解，可以根据设计需要和其他因素进行各种修改、结合、子结合和替换，只要它们在权利要求或其等价物的范围内。

Claims (5)

1.一种图像处理设备，包括：
象差量产生单元，其基于包括在图像数据中的像素信号的亮度值来计算其他颜色成分信号对于判据颜色的颜色成分信号的位置的象差量，所述判据颜色比包括在所述图像数据中的其他颜色具有数量更多的像素；以及
校正单元，其从所述其他颜色成分信号和所述判据颜色的颜色成分信号产生色差信号，并且基于所述象差量，使用所述色差信号来校正存在于所述判据颜色的各像素之间的其他颜色的颜色成分信号的色象差，其中，所述校正单元包括
判据颜色插值处理单元，其对在存在于所述判据颜色的各像素之间的第一或第二颜色的像素的位置处的所述判据颜色的颜色成分信号进行插值；
判据上采样处理单元，其基于由所述象差量产生单元计算的第一或第二颜色成分信号的象差量，来对所述判据颜色的经插值的第一或第二颜色成分信号执行上采样；
色差产生单元，其通过获得所述第一或第二颜色成分信号与经过上采样的所述判据颜色的经插值的第一或第二颜色成分信号之间的差异，来产生第一或第二色差信号；
第一色差上采样处理单元，其基于所述第一颜色成分信号的象差量，来对所述第一色差信号执行上采样；
第二色差上采样处理单元，其基于所述第二颜色成分信号的象差量，来对所述第二色差信号执行上采样；
第一经校正的颜色成分信号产生单元，其通过将所述判据颜色的经插值的第一颜色成分信号与经过上采样的所述第一色差信号相加，来产生所述第一颜色的像素中的经校正的颜色成分信号；以及
第二经校正的颜色成分信号产生单元，其通过将所述判据颜色的经插值的第二颜色成分信号与经过上采样的所述第二色差信号相加，来产生所述第二颜色的像素中的经校正的颜色成分信号。
2.根据权利要求1所述的图像处理设备，其中，所述图像数据是通过单板图像传感器获得的彩色图像数据。
3.根据权利要求2所述的图像处理设备，其中，所述判据颜色的颜色成分信号是绿色信号，所述其他颜色成分信号是红色或蓝色信号。
4.一种成像设备，包括：
单板式图像传感器，其具有像素，判据颜色比其他颜色的像素数量更多；
象差量产生单元，其基于包括在图像数据中的像素信号的亮度值，来计算其他颜色成分信号对于判据颜色的颜色成分信号的位置的象差量，所述判据颜色包括在从所述图像传感器获得的图像数据中；以及
校正单元，其从所述其他颜色成分信号和所述判据颜色的颜色成分信号产生色差信号，并且基于所述象差量，使用所述色差信号来校正存在于所述判据颜色的各像素之间的其他颜色的颜色成分信号的色象差，其中，所述校正单元包括
判据颜色插值处理单元，其对在存在于所述判据颜色的各像素之间的第一或第二颜色的像素的位置处的所述判据颜色的颜色成分信号进行插值；
判据上采样处理单元，其基于由所述象差量产生单元计算的第一或第二颜色成分信号的象差量，来对所述判据颜色的经插值的第一或第二颜色成分信号执行上采样；
色差产生单元，其通过获得所述第一或第二颜色成分信号与经过上采样的所述判据颜色的经插值的第一或第二颜色成分信号之间的差异，来产生第一或第二色差信号；
第一色差上采样处理单元，其基于所述第一颜色成分信号的象差量，来对所述第一色差信号执行上采样；
第二色差上采样处理单元，其基于所述第二颜色成分信号的象差量，来对所述第二色差信号执行上采样；
第一经校正的颜色成分信号产生单元，其通过将所述判据颜色的经插值的第一颜色成分信号与经过上采样的所述第一色差信号相加，来产生所述第一颜色的像素中的经校正的颜色成分信号；以及
第二经校正的颜色成分信号产生单元，其通过将所述判据颜色的经插值的第二颜色成分信号与经过上采样的所述第二色差信号相加，来产生所述第二颜色的像素中的经校正的颜色成分信号。
5.一种图像处理方法，包括：
基于包括在图像数据中的像素信号的亮度值，来计算其他颜色成分信号对于判据颜色的颜色成分信号的位置的象差量，所述判据颜色比包括在所述图像数据中的其他颜色具有数量更多的像素；
从所述其他颜色成分信号和所述判据颜色的颜色成分信号产生色差信号；以及
基于所述象差量，使用所述色差信号来校正存在于所述判据颜色的各像素之间的其他颜色的颜色成分信号的色象差，其中，所述校正的方法包括
对在存在于所述判据颜色的各像素之间的第一或第二颜色的像素的位置处的所述判据颜色的颜色成分信号进行插值；
基于由所述象差量产生单元计算的第一或第二颜色成分信号的象差量，来对所述判据颜色的经插值的第一或第二颜色成分信号执行上采样；
通过获得所述第一或第二颜色成分信号与经过上采样的所述判据颜色的经插值的第一或第二颜色成分信号之间的差异，来产生第一或第二色差信号；
基于所述第一颜色成分信号的象差量，来对所述第一色差信号执行上采样；
基于所述第二颜色成分信号的象差量，来对所述第二色差信号执行上采样；
通过将所述判据颜色的经插值的第一颜色成分信号与经过上采样的所述第一色差信号相加，来产生所述第一颜色的像素中的经校正的颜色成分信号；以及
通过将所述判据颜色的经插值的第二颜色成分信号与经过上采样的所述第二色差信号相加，来产生所述第二颜色的像素中的经校正的颜色成分信号。
CN201210229627.5A 2011-07-06 2012-06-29 图像处理设备、成像设备和图像处理方法 Expired - Fee Related CN102868890B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011150401A JP2013017142A (ja) 2011-07-06 2011-07-06 画像処理装置、撮像装置、画像処理方法及びプログラム
JP2011-150401 2011-07-06

Publications (2)

Publication Number Publication Date
CN102868890A CN102868890A (zh) 2013-01-09
CN102868890B true CN102868890B (zh) 2016-08-03

Family

ID=47438448

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210229627.5A Expired - Fee Related CN102868890B (zh) 2011-07-06 2012-06-29 图像处理设备、成像设备和图像处理方法

Country Status (3)

Country Link
US (1) US8982248B2 (zh)
JP (1) JP2013017142A (zh)
CN (1) CN102868890B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9071737B2 (en) * 2013-02-22 2015-06-30 Broadcom Corporation Image processing based on moving lens with chromatic aberration and an image sensor having a color filter mosaic
JP2015027038A (ja) * 2013-07-29 2015-02-05 日本放送協会 色情報補完装置およびそのプログラム
JP6006389B1 (ja) * 2015-08-26 2016-10-12 オリンパス株式会社 撮像装置、撮像方法及び撮像プログラム
CN105357507B (zh) * 2015-10-16 2017-08-25 凌云光技术集团有限责任公司 色彩偏差图像的校正方法及装置
CN106412548B (zh) * 2016-10-21 2019-01-22 凌云光技术集团有限责任公司 一种应用于三线阵相机的色偏校正方法及装置
US10735754B2 (en) * 2017-04-26 2020-08-04 Google Llc Chromatic aberration modeling in image compression and enhancement
CN110418081B (zh) * 2018-04-27 2021-12-24 北京紫光展锐通信技术有限公司 高动态范围图像全分辨率重建方法、装置及电子设备
CN115136579B (zh) * 2020-02-27 2023-08-04 株式会社富士 图像校正方法、拍摄装置及检查装置
US11743612B2 (en) * 2021-12-17 2023-08-29 Texas Instruments Incorporated In-line chromatic aberration correction in wide dynamic range (WDR) image processing pipeline

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101527858A (zh) * 2008-03-04 2009-09-09 株式会社理光 图像处理方法、图像处理设备以及图像摄像设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000299874A (ja) 1999-04-12 2000-10-24 Sony Corp 信号処理装置及び方法並びに撮像装置及び方法
JP4133283B2 (ja) * 2002-12-10 2008-08-13 シャープ株式会社 画像処理装置および画像処理方法、デジタルスチルカメラ
JP2010199650A (ja) * 2009-02-23 2010-09-09 Fujitsu Semiconductor Ltd 画像処理装置および画像処理方法
JP2010219683A (ja) 2009-03-13 2010-09-30 Sony Corp 画像処理装置、画像処理方法及びプログラム
JP5528173B2 (ja) * 2010-03-31 2014-06-25 キヤノン株式会社 画像処理装置、撮像装置および画像処理プログラム
JP5665451B2 (ja) * 2010-09-21 2015-02-04 キヤノン株式会社 画像処理装置及びその倍率色収差補正方法、撮像装置、倍率色収差補正プログラム、並びに記録媒体

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101527858A (zh) * 2008-03-04 2009-09-09 株式会社理光 图像处理方法、图像处理设备以及图像摄像设备

Also Published As

Publication number Publication date
JP2013017142A (ja) 2013-01-24
US8982248B2 (en) 2015-03-17
CN102868890A (zh) 2013-01-09
US20130010163A1 (en) 2013-01-10

Similar Documents

Publication Publication Date Title
CN102868890B (zh) 图像处理设备、成像设备和图像处理方法
US8363123B2 (en) Image pickup apparatus, color noise reduction method, and color noise reduction program
EP2536152B1 (en) Image processing device and image processing method
US7986352B2 (en) Image generation system including a plurality of light receiving elements and for correcting image data using a spatial high frequency component, image generation method for correcting image data using a spatial high frequency component, and computer-readable recording medium having a program for performing the same
CN102640500B (zh) 图像处理设备
CN102143322B (zh) 摄像设备及其控制方法
JP5660711B2 (ja) 復元ゲインデータ生成方法
KR100816301B1 (ko) 색상 편차 보상 장치, 보상 방법 및 이를 이용한 이미지프로세서, 디지털 처리 장치, 기록매체
CN100366053C (zh) 一种对数字图像进行坏点补偿的方法
US20100265352A1 (en) Image processing apparatus, control method therefor, and storage medium
US20100208106A1 (en) Image Processing Device, Image Processing Method, Program, and Imaging Device
US8520099B2 (en) Imaging apparatus, integrated circuit, and image processing method
CN104412580A (zh) 彩色摄像元件以及摄像装置
CN104410786B (zh) 图像处理设备和图像处理设备的控制方法
US20130278801A1 (en) Image Processing Device, Image Processing Method, Program, and Imaging Device
US20090304276A1 (en) Color deviation compensating apparatus and method, image processor using it, recorded medium
US7443428B2 (en) Image processing device
US20100225680A1 (en) Image displaying apparatus
US7961235B2 (en) Imaging apparatuses, image data processing methods, and articles of manufacture
JP2004072528A (ja) 補間処理方法、補間処理プログラムおよびこれを記録した記録媒体ならびに画像処理装置およびこれを備えた画像形成装置
JP2009033699A (ja) 画像処理装置、画像処理方法、プログラムおよび撮像装置
JP3711402B2 (ja) 撮像装置及びカラー撮像信号の処理方法
JP4412446B2 (ja) 解像度変換方法および解像度変換装置
CN104025575B (zh) 摄像装置及摄像装置的控制方法
JP3711401B2 (ja) 撮像装置及びカラー撮像信号の処理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160803

CF01 Termination of patent right due to non-payment of annual fee