CN102006484A - 图像处理装置、图像处理方法以及程序 - Google Patents

图像处理装置、图像处理方法以及程序 Download PDF

Info

Publication number
CN102006484A
CN102006484A CN2010102641079A CN201010264107A CN102006484A CN 102006484 A CN102006484 A CN 102006484A CN 2010102641079 A CN2010102641079 A CN 2010102641079A CN 201010264107 A CN201010264107 A CN 201010264107A CN 102006484 A CN102006484 A CN 102006484A
Authority
CN
China
Prior art keywords
signal
pixel
rgb
corrected
fuzzy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010102641079A
Other languages
English (en)
Other versions
CN102006484B (zh
Inventor
馆真透
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102006484A publication Critical patent/CN102006484A/zh
Application granted granted Critical
Publication of CN102006484B publication Critical patent/CN102006484B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • G06T5/73—
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements

Abstract

一种图像处理装置包括：模糊校正处理部，所述模糊校正处理部被配置成对具有包括RGB像素和白(W)像素在内的RGBW阵列的摄像器件的输出信号进行模糊校正处理，并生成与各像素对应的模糊已被校正的信号；以及数据转换部，所述数据转换部被配置成将所述RGBW阵列转换成RGB阵列；其中所述数据转换部执行这样的处理：生成模糊已被校正的RGB信号(Rd，Gd，Bd)即与根据所述模糊校正处理部所生成的模糊已被校正的信号估计出的RGB对应的模糊已被校正的信号，以及应用所述模糊已被校正的RGB信号(Rd，Gd，Bd)来确定构成RGB阵列的RGB信号值。本发明还公开了一种图像处理方法以及程序。

Description

图像处理装置、图像处理方法以及程序
技术领域
本发明涉及图像处理装置和图像处理方法以及程序，更具体地，涉及对具有RGBW阵列的摄像器件的输出进行信号处理的图像处理装置和图像信号处理方法以及程序。
背景技术
例如用于摄像装置的摄像器件(图像传感器)具有这样的结构：以像素为单位透过特定的波长成分光(R、G、B)的滤色器被附加至该摄像器件的表面。例如，使用具有如图1A所示的RGB阵列的滤片。在使用摄像器件的输出信号的彩色图像生成处理中，进行处理以按多个像素的组来再生要用的色彩成分。尽管有各种滤色器的色彩阵列，但广泛使用的是图1A所示的、由仅透过红(R)、绿(G)和蓝(B)的特定波长的3种滤片构成的拜尔阵列。
近来，摄像器件(图像传感器)已变得具有更精细的像素构造，并由此带来了到各像素的入射光量减少且S/N比降低的问题。为了应对该问题，提议了这样的图像传感器(摄像器件)：如图1B所示、除了仅透过RGB等特定波长光的滤片以外，还具有宽幅地透过可见光的白(W)。图1B示出了具有RGBW阵列的滤片的一例。图1B所示的RGBW阵列中的W像素是宽幅地透过可见光的滤片。
这种具有带白(W)像素的滤色器的摄像器件记载于例如美国公开专利申请2007/0024879和2007/0024934。
使用如图1B所示的具有白(W)像素的摄像器件(图像传感器)提高了滤片的透光率并实现了更高的敏感度。然而RGBW型器件却具有以下问题。
图1A所示的RGB阵列和图1B所示的RGBW阵列都是将R、G、B和W滤片的全部或一部分在一个器件上排列成马赛克状这样的单板型图像传感器。因而，当生成彩色图像时，必须进行生成与各像素对应的RGB像素值的彩色编码即去马赛克处理。
在图1B所示的RGBW阵列中，与图1A所示的RGB阵列比较R、G和B成分的采样率恶化了。结果，在彩色图像生成处理时、在使用以图1B所示的RGBW阵列型器件所获取的数据这一情形下，与图1A所示的RGB阵列比较有更容易发生伪色的问题。而且，白(W)的波长成分包含R、G和B全部的波长成分，因此使用色差大的光学透镜会造成与单色的配置相比集光率更差，招致分辨率恶化。该问题随着像素构成更精细而变得更为显著。
作为防止因光学透镜的色差而引起的分辨率恶化的技术，将不同折射率指数的透镜组合起来有效地阻止了色差的发生，但这样一来因光学透镜的数量增加而导致成本增涨的新问题。而且这种构造还导致因前述RGB成分的采样率恶化所造成的伪色更显著的问题。
而且，单板型图像传感器中的各像素仅具有单色成分信息，因而进行这样的去马赛克处理：为了从离散地获取的R、G、B和W信号中得到彩色图像，而求得对于全部像素的RGB像素值。在去马赛克处理时，进行这样的插值处理：即假设在局部区域中色彩比率大体保持恒定、且有很强的色彩相关。具体地，在计算某一像素的特定色彩的像素值时，广泛使用这种方法：即使用周围像素的像素值来进行插值。这种技术的一例记载于日本特开2009-17544号公报。然而，在边缘附近，上述假设即在局部区域中色彩比率大体保持恒定、且有很强的色彩相关，并不成立。因而，存在伪色容易发生在边缘处的问题。
发明内容
针对这样的彩色图像生成处理：即应用由具有白(W)的、例如RGBW型滤色器的摄像器件(图像传感器)所获取的数据，希望提供一种实现伪色或模糊少的高品质彩色图像的生成的图像处理装置、图像处理方法以及程序。
根据本发明的实施例的图像处理装置包括：模糊校正处理部，所述模糊校正处理部被配置成对具有包括RGB像素和白(W)像素在内的RGBW阵列的摄像器件的输出信号进行模糊校正处理，并生成与各像素对应的模糊已被校正的信号；以及数据转换部，所述数据转换部被配置成将所述RGBW阵列转换成RGB阵列；其中所述数据转换部执行这样的处理：生成模糊已被校正的RGB信号(Rd，Gd，Bd)即与根据所述模糊校正处理部所生成的模糊已被校正的信号估计出的RGB对应的模糊已被校正的信号，以及应用所述模糊已被校正的RGB信号(Rd，Gd，Bd)来确定构成RGB阵列的RGB信号值。
根据本发明的实施例的图像处理装置包括：模糊校正处理部，所述模糊校正处理部被配置成对具有包括RGB像素和白(W)像素在内的RGBW阵列的摄像器件的输出信号进行模糊校正处理，并生成与各像素对应的模糊已被校正的信号；以及数据转换部，所述数据转换部被配置成执行由所述RGBW阵列构成的马赛克信号的去马赛克处理，并生成其中与各像素对应的全部RGB信号值都已被确定的彩色图像；其中所述数据转换部执行这样的处理：生成模糊已被校正的RGB信号(Rd，Gd，Bd)即与根据所述模糊校正处理部所生成的模糊已被校正的信号估计出的RGB对应的模糊已被校正的信号，以及应用所述模糊已被校正的RGB信号(Rd，Gd，Bd)来确定与构成彩色图像的各像素对应的全部RGB信号值。
所述图像处理装置可进一步包括：边缘检测部，所述边缘检测部被配置成对具有包括RGB像素和白(W)像素在内的RGBW阵列的摄像器件的输出信号进行分析，并生成包含与各像素对应的边缘强度信息在内的边缘信息；其中所述数据转换部被配置成计算未应用模糊校正处理的信号即模糊未被校正的RGB信号(Rl，Gl，Bl)，并通过所述模糊已被校正的RGB信号和所述模糊未被校正的RGB信号的混合处理来进行构成RGB阵列或彩色图像的RGB信号值的确定处理；并且通过执行这样的混合处理：即在根据所述边缘信息判断为边缘强度大的像素位置处增高模糊已被校正的RGB信号的混合比率，而在判断为边缘强度小的像素位置处增高模糊未被校正的RGB信号的混合比率，来进行RGB信号值的确定处理。
所述模糊校正处理部可仅对所述摄像器件的输出信号所含的W信号执行模糊校正处理，以生成与各像素对应的模糊已被校正的W信号(Wd)；其中所述数据转换部基于在图像的局部区域处W信号和RGB信号之间存在正的相关这一假设，根据所述模糊已被校正的W信号(Wd)计算所述模糊已被校正的RGB信号。
所述数据转换部可应用所述摄像器件的输出信号所含的W信号来生成与各像素对应的噪声已被去除的W信号(Wn)；并根据所述噪声已被去除的W信号(Wn)计算所述模糊未被校正的RGB信号。
所述边缘检测部可被配置成根据仅应用了所述摄像器件的输出信号所含的W信号的边缘检测处理来生成与各像素对应的边缘信息；并通过计算要处理的像素附近的W像素的信号值梯度来生成包含边缘强度和边缘方向在内的边缘信息。
所述边缘检测部可被配置成根据仅应用了所述摄像器件的输出信号所含的W信号的边缘检测处理来生成与各像素对应的边缘信息；并计算要处理的像素附近的W像素信号的梯度绝对值的平均的加权相加值，应用该加权相加值来计算平坦度(weightFlat)并将该平坦度(weightFlat)输出至所述数据转换部；其中所述数据转换部应用所述平坦度(weightFlat)来确定所述模糊已被校正的RGB信号和所述模糊未被校正的RGB信号的混合比率。
所述模糊校正处理部可被配置成对于所述摄像器件的输出信号所含的W信号通过维纳滤波器的卷积运算而生成所述模糊已被校正的W信号(Wd)，其中，对于所述摄像器件的输出信号所含的RGB像素位置，根据所述边缘检测部所生成的边缘信息所含的边缘方向来确定参考W像素，通过应用了参考W像素的信号值的插值处理来确定插值W信号值，并对于该插值W信号通过所述维纳滤波器的卷积运算来生成模糊已被校正的W信号(Wd)。
所述图像处理装置可进一步包括：光学透镜；以及摄像器件，所述摄像器件具有所述RGBW阵列，所述RGBW阵列作为被配置成接收经过该光学透镜的入射光的受光部。
所述光学透镜可具有这样的透镜像差：其被配置成使得在所述摄像器件的RGBW阵列中对于各色彩成分不产生超出其奈奎斯特频率的信号成分。
根据本发明的实施例的利用图像处理装置进行图像信号处理的图像处理方法包括以下步骤：模糊校正处理部对具有包括RGB像素和白(W)像素在内的RGBW阵列的摄像器件的输出信号进行模糊校正处理，并生成与各像素对应的模糊已被校正的信号；以及数据转换部将所述RGBW阵列转换成RGB阵列；其中所述转换包括以下处理：生成模糊已被校正的RGB信号(Rd，Gd，Bd)即与根据在所述模糊校正处理中生成的模糊已被校正的信号估计出的RGB对应的模糊已被校正的信号，以及应用所述模糊已被校正的RGB信号(Rd，Gd，Bd)来确定构成RGB阵列的RGB信号值。
根据本发明的实施例的利用图像处理装置进行图像信号处理的图像处理方法包括以下步骤：模糊校正处理部对具有包括RGB像素和白(W)像素在内的RGBW阵列的摄像器件的输出信号进行模糊校正处理，并生成与各像素对应的模糊已被校正的信号；以及数据转换部通过执行由所述RGBW阵列构成的马赛克信号的去马赛克处理、并生成其中与各像素对应的全部RGB信号值都已被确定的彩色图像，来转换所述马赛克信号；其中所述转换包括以下处理：生成模糊已被校正的RGB信号(Rd，Gd，Bd)即与根据在所述模糊校正处理中生成的模糊已被校正的信号估计出的RGB对应的模糊已被校正的信号，以及应用所述模糊已被校正的RGB信号(Rd，Gd，Bd)来确定与构成彩色图像的各像素对应的全部RGB信号值。
所述图像处理方法可进一步包括以下步骤：边缘检测部对具有包括RGB像素和白(W)像素在内的RGBW阵列的摄像器件的输出信号进行分析，并生成包含与各像素对应的边缘强度信息在内的边缘信息；其中所述转换包括所述转换包括RGB信号值确定，所述RGB信号值确定进一步包括计算未应用模糊校正处理的信号即模糊未被校正的RGB信号(Rl，Gl，Bl)，并通过所述模糊已被校正的RGB信号和所述模糊未被校正的RGB信号的混合处理来进行构成RGB阵列或彩色图像的RGB信号值的确定处理；并且通过执行这样的混合处理：即在根据所述边缘信息判断为边缘强度大的像素位置处增高模糊已被校正的RGB信号的混合比率，而在判断为边缘强度小的像素位置处增高模糊未被校正的RGB信号的混合比率，来进行所述RGB信号值确定。
根据本发明的实施例的使图像处理装置执行图像信号处理的程序包括以下步骤：模糊校正处理部对具有包括RGB像素和白(W)像素在内的RGBW阵列的摄像器件的输出信号进行模糊校正处理，并生成与各像素对应的模糊已被校正的信号；以及数据转换部将所述RGBW阵列转换成RGB阵列；其中所述转换包括以下处理：生成模糊已被校正的RGB信号(Rd，Gd，Bd)即与根据在所述模糊校正处理中生成的模糊已被校正的信号估计出的RGB对应的模糊已被校正的信号，以及应用所述模糊已被校正的RGB信号(Rd，Gd，Bd)来确定构成RGB阵列的RGB信号值。
根据本发明的实施例的使图像处理装置执行图像信号处理的程序包括以下步骤：模糊校正处理部对具有包括RGB像素和白(W)像素在内的RGBW阵列的摄像器件的输出信号进行模糊校正处理，并生成与各像素对应的模糊已被校正的信号；以及数据转换部通过执行由所述RGBW阵列构成的马赛克信号的去马赛克处理、并生成其中与各像素对应的全部RGB信号值都已被确定的彩色图像，来转换所述马赛克信号；其中所述转换包括以下处理：生成模糊已被校正的RGB信号(Rd，Gd，Bd)即与根据在所述模糊校正处理中生成的模糊已被校正的信号估计出的RGB对应的模糊已被校正的信号，以及应用所述模糊已被校正的RGB信号(Rd，Gd，Bd)来确定与构成彩色图像的各像素对应的全部RGB信号值。
所述程序可进一步包括以下步骤：边缘检测部对具有包括RGB像素和白(W)像素在内的RGBW阵列的摄像器件的输出信号进行分析，并生成包含与各像素对应的边缘强度信息在内的边缘信息；其中所述转换包括RGB信号值确定，所述RGB信号值确定进一步包括计算未应用模糊校正处理的信号即模糊未被校正的RGB信号(Rl，Gl，Bl)，并通过所述模糊已被校正的RGB信号和所述模糊未被校正的RGB信号的混合处理来进行构成RGB阵列或彩色图像的RGB信号值的确定处理；并且通过执行这样的混合处理：即在根据所述边缘信息判断为边缘强度大的像素位置处增高模糊已被校正的RGB信号的混合比率，而在判断为边缘强度小的像素位置处增高模糊未被校正的RGB信号的混合比率，来进行所述RGB信号值确定。
所述程序可向能执行各种程序代码的图像处理装置和计算机系统以计算机可读格式由存储媒介或通信媒介提供。以计算机可读格式提供该程序使得在图像处理装置和计算机系统上能够实现与程序对应的处理。
本发明的其它目的、特征和优点将从后面说明的实施例和附图而变得明确。注意在本说明书中使用的术语“系统”是指多部装置的逻辑上的集体构造，而各构造的装置不必一定处在同一箱体内。
根据上述构造，在这样的彩色图像生成处理中：即应用具有含白(W)的、例如RGBW型滤色器的摄像器件(图像传感器)的所获取的数据，则可实现伪色或模糊少的高品质彩色图像的生成。具体地，对RGBW阵列的摄像器件的输出信号进行分析，并生成与各像素对应的边缘信息和模糊已被校正的信号。进而，计算与根据模糊已被校正的信号估计出的RGB相应的模糊已被校正的信号即模糊已被校正的RGB信号以及未应用模糊校正处理的信号即模糊未被校正的RGB信号。进而，在混合处理中将这些信号混合起来以生成RGB阵列数据或彩色图像。在边缘强度大的像素位置处增高模糊已被校正的RGB信号的混合比率，而在边缘强度小的像素位置处增高模糊未被校正的RGB信号的混合比率。由该处理可实现伪色或模糊少的高品质彩色图像的生成。
附图说明
图1A是说明用作在普通滤色器中使用的彩色阵列的拜尔阵列的例的图；
图1B是说明在本发明的实施例中应用的RGBW阵列的例的图；
图2是说明作为根据本发明的一种实施例的处理的、作为从RGBW阵列到RGB阵列的转换处理而进行的重构马赛克处理的图；
图3是说明根据本发明的一种实施例的摄像装置的构造例的图；
图4是说明根据本发明的一种实施例的摄像装置的构造例的图；
图5A和5B是说明边缘检测部所进行的、使用W像素的边缘方向和边缘强度的判断方法的图；
图6A和6B是说明边缘检测部所进行的、使用W像素的边缘方向和边缘强度的判断方法的图；
图7A和7B是说明边缘检测部所进行的、使用W像素的边缘方向和边缘强度的判断方法的图；
图8是说明作为边缘信息的一例的平坦度(weightFlat)信息的图；
图9是说明在处理是由模糊校正处理部所执行且中心像素不是W像素的情况下、从周围的W信号对中心的W信号进行插值的方法；
图10是说明计算W信号的低频成分mW的滤波器构造和mW计算处理例的图；
图11是说明计算G信号的低频成分mG的滤波器构造和mG计算处理例的图；
图12是说明在假设mW与mG的比率保持在图像内的局部区域中的情况下从模糊已被校正的W信号(Wd)计算模糊已被校正的G信号(Gd)的处理；
图13是说明计算噪声去除W信号(Wn)的滤波器构造和Wn计算处理例的图；
图14是说明计算W信号的低频成分mW的滤波器构造和mW计算处理例的图；
图15是说明计算R信号的低频成分mR和B信号的低频成分mB的滤波器构造、以及mR和mB计算处理例的图；
图16A和16B是说明在假设mW与mR或mB的比率保持在图像内的局部区域中的情况下从模糊已被校正的W信号(Wd)计算模糊已被校正的R信号(Rd)和模糊已被校正的B信号(Bd)的处理；
图17是说明计算噪声去除W信号(Wn)的滤波器构造以及Wn计算处理例的图；
图18是说明计算R信号的低频成分mR的滤波器构造和mR计算处理例的图；
图19是说明计算B信号的低频成分mB的滤波器构造和mB计算处理例的图；
图20是说明根据一种实施例的摄像装置的构造例的图；
图21是说明根据一种实施例的摄像装置的构造例的图；
图22是说明图21所示的W位置RGB插值参数计算部的处理的图；
图23是说明图21所示的W位置RGB插值参数计算部的处理的图；
图24是说明图21所示的G位置RGB插值参数计算部的处理的图；
图25是说明图21所示的R位置RGB插值参数计算部的处理的图；
图26是说明图21所示的B位置RGB插值参数计算部的处理的图；
图27A至27C是说明RGBW阵列信号的去马赛克处理的优点的图。
具体实施方式
以下参考附图来说明根据本发明的实施例的图像处理装置、图像处理方法和程序。说明将按以下顺序进行。
1.处理的概述
2.摄像装置和图像处理装置的构造例以及处理例
3.数据转换处理部中的处理的详情
3-1.关于边缘检测部中的处理
3-2.关于模糊校正处理部中的处理
3-3.关于色彩相关重构马赛克处理部(数据转换部)中的处理
4.对RGBW阵列信号进行去马赛克处理的实施例
5.根据实施例的处理的有益效果
[1.处理的概述]
首先，参考图2来说明根据本发明的实施例的摄像装置等图像处理装置所执行的处理的概要。根据本发明的实施例的图像处理装置对由不仅具有选择性地透过R、G和B各色的波长光的RGB滤片、还具有包含透过全部R、G和B各色的波长光的白(W)在内的RGBW型滤色器的摄像器件(图像传感器)所获取的数据进行处理。
本发明的图像处理装置执行这样的处理：将如图2中(1)所示的、由具有含白(W)的RGBW型滤色器的摄像器件(图像传感器)的所获取的数据转换成如图2中(2)所示的RGB阵列(拜尔阵列)。另外，在该转换处理时，还进行为使模糊和伪色的出现减少的处理。
如图2所示，进行这样的处理：其中，将在RGBW彩色阵列中设定的RGBW各像素的至少一部分转换或校正成其它色彩(R、G和B中的一种)。具体地，在从RGBW阵列到RGB拜尔阵列的转换处理中执行以下5种转换或校正处理。
将W像素位置转换成G像素(估计G像素值)＝(GonW)
将G像素位置转换成R像素(估计R像素值)＝(RonG)
将G像素位置转换成B像素(估计B像素值)＝(BonG)
将R像素位置转换成R像素(校正R像素值)＝(RonR)
将B像素位置转换成B像素(校正B像素值)＝(BonB)
上述各转换处理是作为用于将RGBW阵列中的RGBW各像素转换成RGB阵列中的RGB像素的像素值估计或校正处理而进行的。执行该处理，从图2中(1)所示的RGBW彩色阵列生成图2中(2)所示的RGB拜尔阵列。以下将这种彩色阵列的转换处理称作“重构马赛克处理”。
在以下的实施例中，针对这样的构造做出说明：进行将具有白(W)的RGBW型彩色阵列转换成RGB型彩色阵列(拜尔阵列)的重构马赛克处理、且在该重构马赛克处理时使模糊和伪色的出现减少。
[2.摄像装置和图像处理装置的构造例以及处理例]
参考图3和图4来说明根据本发明的一种实施例的摄像装置和图像处理装置的构造例以及其处理例。
图3是说明根据本发明的一种实施例的摄像装置100的构造例的图。摄像装置100包括光学透镜105、摄像器件(图像传感器)110、信号处理部120、存储器130和控制部140。
注意，摄像装置是图像处理装置的一种形态。图像处理装置包括例如PC等装置。在PC等是图像处理装置的情况下，该图像处理装置没有图3所示的摄像装置100的光学透镜105或摄像器件110，而由其它组件要素构成，从而成为带由摄像器件110所获取的数据用的输入部和存储部的构造。摄像装置100的具体例是静止照相机、视频照相机等，图像处理装置100包含PC等能够进行图像处理的信息处理装置。
以下，作为根据本发明的实施例的图像处理装置的代表例来说明摄像装置100。图3所示的摄像装置100的摄像器件(图像传感器)110是这样的构造：具有参考图1B和图2中(1)所说明的、带含白(W)的RGBW阵列181的滤片。也即，摄像器件具有这样的滤片：该滤片具有
透过红色附近的波长的红(R)、
透过绿色附近的波长的绿(G)、
透过蓝色附近的波长的蓝(B)
以及
透过全部R、G和B的白(W)
这4种分光特性。
具有该RGBW阵列181滤片的摄像器件110经过光学透镜105以像素为单位接受R、G、B和W中的某一种光，并由光电转换生成和输出与受光强度对应的电气信号。该摄像器件110得出由R、G、B和W这4种成分组成的马赛克图像。
摄像器件(图像传感器)110的输出信号被输入到信号处理部120的数据转换处理部200。数据转换处理部200如先前参考图2所说明的那样执行从RGBW阵列181到RGB阵列182的转换处理。在该转换处理时如前述执行以下5种转换或校正处理。
将W像素位置转换成G像素(估计G像素值)＝(GonW)
将G像素位置转换成R像素(估计R像素值)＝(RonG)
将G像素位置转换成B像素(估计B像素值)＝(BonG)
将R像素位置转换成R像素(校正R像素值)＝(RonR)
将B像素位置转换成B像素(校正B像素值)＝(BonB)
另外，在该转换/校正处理时一并进行用于抑制伪色和模糊的处理。
数据转换处理部200所生成的RGB阵列182(即具有拜尔阵列的数据)是具有由根据现有技术的照相机等的摄像器件而得到的彩色阵列的数据。该彩色阵列数据被输入到RGB信号处理部250。
RGB信号处理部250执行与设在根据现有技术的照相机等处的信号处理部同样方式的处理。具体地，RGB信号处理部250进行去马赛克处理、白平衡调整处理、γ校正处理等以生成彩色图像183。所生成的彩色图像183存储在存储器130中。
控制部140执行该一系列的处理的控制。例如，使一系列的处理得以执行的程序存储在存储器130中，而控制部140通过执行从存储器130中读出的程序来控制一系列的处理。
参考图4来说明数据转换处理部200的详细构造。数据转换处理部200执行从RGBW彩色阵列181到RGB阵列182的转换处理。另外，在该处理时一并进行用于抑制伪色和模糊的处理。
如图4所示，数据转换处理部200具有线存储器201、边缘检测部202、模糊校正处理部203和色彩相关重构马赛克处理部(数据转换部)210。色彩相关重构马赛克处理部(数据转换部)210具有W位置G插值参数计算部211、G位置RB插值参数计算部212、R位置R插值参数计算部213、B位置B插值参数计算部214和加权相加处理部215。
从摄像器件110输出的信号暂时存储在线存储器201中。线存储器201具有摄像器件用的相当于7条水平线份量的线存储器，并从线存储器201并列地依次输出相当于7条水平线份量的数据。输出目的地是边缘检测部202、模糊校正处理部203和色彩相关重构马赛克处理部210。一次7条线的RGBW阵列181的摄像数据被输出至这些处理部。
边缘检测部202和模糊校正处理部203执行仅利用RGBW阵列181的摄像数据中的白(W)信号的处理。色彩相关重构马赛克处理部210执行利用RGBW阵列181的摄像数据中的全部R、G、B和W信号的处理。
注意，来自线存储器201的数据输出模式是例如以下两种模式之一。
第一种模式是使RGBW阵列181的全部摄像数据RGBW都以每7条线为单位输出至边缘检测部202、模糊校正处理部203和色彩相关重构马赛克处理部210各部。
第二种模式是仅使RGBW阵列181中的W信号供给边缘检测部202和模糊校正处理部203。例如，可将RGB信号全部设为0而供给信号。在这种情况下，形成这种配置：例如在线存储器201的输出部处构成输出控制部，且将除W信号以外的信号值全部设定为0而将信号供给边缘检测部202和模糊校正处理部203。
边缘检测部202对来自线存储器201的输出信号所含的离散的白(W)信号进行检验，生成图像所含的(例如包含边缘方向和边缘强度的)边缘信息，并将该边缘信息输出至色彩相关重构马赛克处理部210。
模糊校正处理部203对来自线存储器201的输出信号所含的离散的白(W)信号进行检验，进行用于减少图像模糊的处理，并计算与作为处理结果而得到的全部像素对应的模糊校正白(W)信号Wd。即，模糊校正处理部203对离散的白(W)信号进行检验，对模糊出现的状况进行分析，生成与模糊被抑制的全部像素对应的模糊校正白(W)信号Wd，并输出至色彩相关重构马赛克处理部210。
色彩相关重构马赛克处理部210输入来自线存储器201的输出信号中的RGBW信号、从边缘检测部202输出的边缘信息、以及与从模糊校正处理部203输出的全部像素对应的模糊校正白(W)信号Wd。于是色彩相关重构马赛克处理部210使用这些信息来执行从RGBW彩色阵列181到RGB阵列182的转换处理。
具体地，如先前参考图2所说明的那样执行以下5种转换或校正处理。
将W像素位置转换成G像素(估计G像素值)＝(GonW)
将G像素位置转换成R像素(估计R像素值)＝(RonG)
将G像素位置转换成B像素(估计B像素值)＝(BonG)
将R像素位置转换成R像素(校正R像素值)＝(RonR)
将B像素位置转换成B像素(校正B像素值)＝(BonB)
W位置G插值参数计算部211计算这样的插值参数：该插值参数应用于设定在RGBW阵列181的W像素位置处的G像素值的计算。这些是应用于上述GonW的处理的插值参数。具体地，W位置G插值参数计算部211使用来自线存储器201的输入信号中的W信号和G信号、以及从模糊校正处理部203输入的模糊已被校正的W信号Wd来计算
模糊已被校正的G信号(Gd)、以及
模糊未被校正的G信号(Gl)
这些信号值。
这些信号值是这样的插值参数(GonW插值参数)：该插值参数应用于为了将RGBW阵列181的W像素位置设定为RGB阵列182的G像素的G像素值计算。
G位置RB插值参数计算部212计算这样的插值参数：该插值参数应用于设定在RGBW阵列181的G像素位置处的R像素值或B像素值的计算。这些是应用于上述RonG和BonG的处理的插值参数。具体地，G位置RB插值参数计算部212使用来自线存储器201的输入信号中的G信号和R信号、以及从模糊校正处理部203输入的模糊已被校正的W信号Wd来计算
模糊已被校正的R信号(Rd)、以及
模糊未被校正的R信号(Rl)
这些信号值。
这些信号值是这样的插值参数(RonG插值参数)：该插值参数应用于为了将RGBW阵列181的G像素位置设定为RGB阵列182的R像素的R像素值计算。
G位置RB插值参数计算部212还使用来自线存储器201的输入信号中的G信号和B信号以及从模糊校正处理部203输入的模糊已被校正的W信号Wd来计算
模糊已被校正的B信号(Bd)、以及
模糊未被校正的B信号(Bl)
这些信号值。
这些信号值是这样的插值参数(BonG插值参数)：该插值参数应用于为了将RGBW阵列181的G像素位置设定为RGB阵列182的B像素的B像素值计算。
R位置R插值参数计算部213计算这样的插值参数：该插值参数应用于设定在RGBW阵列181的R像素位置处的校正R像素值的计算。这些是应用于上述RonR的处理的插值参数。具体地，R位置R插值参数计算部213使用来自线存储器201的输入信号中的W信号和R信号、以及从模糊校正处理部203输入的模糊已被校正的W信号Wd来计算
模糊已被校正的R信号(Rd)、以及
模糊未被校正的R信号(Rl)
这些信号值。
这些信号值是这样的插值参数(RonR插值参数)：该插值参数应用于为了将RGBW阵列181的R像素位置设定为RGB阵列182的被校正的R像素的R像素值校正处理。
B位置B插值参数计算部214计算这样的插值参数：该插值参数应用于设定在RGBW阵列181的B像素位置处的校正B像素值的计算。这些是应用于上述BonB的处理的插值参数。具体地，B位置B插值参数计算部214使用来自线存储器201的输入信号中的W信号和B信号、以及从模糊校正处理部203输入的模糊已被校正的W信号Wd来计算
模糊已被校正的B信号(Bd)、以及
模糊未被校正的B信号(Bl)
这些信号值。
这些信号值是这样的插值参数(BonB插值参数)：该插值参数应用于为了将RGBW阵列181的B像素位置设定为RGB阵列182的被校正的B像素的B像素值校正处理。
加权相加处理部215应用从边缘检测部202输入的边缘信息来计算
模糊已被校正的信号Gd、Rd和Bd、以及
模糊未被校正的信号Gl、Rl和Bl
这些各信号的加权平均值Gr、Rr和Br。
加权相加处理部215所计算的Gr、Rr和Br对应于构成RGB阵列(拜尔阵列)182的各像素的RGB信号值。这样就生成了由加权相加处理部215所计算的Gr、Rr和Br所构成的RGB阵列(拜尔阵列)182，并将其提供给RGB信号处理部250。
RGB信号处理部250与普通的照相机或图像处理装置所具有的、对RGB阵列(拜尔阵列)信号进行处置的信号处理部相同。RGB信号处理部250使从加权相加处理部215输出的RGB阵列(拜尔阵列)182受到信号处理并生成彩色图像183(参见图3)。具体地，RGB信号处理部250进行白平衡调整处理、去马赛克处理、阴影处理、RGB色彩矩阵处理、γ校正处理等以生成彩色图像183。
[3.数据转换处理部中的处理的详情]
接下来说明构成图4所示的数据转换处理部200的各处理部所执行的处理的详情。
(3-1.关于边缘检测部中的处理)
首先就图4所示的数据转换处理部200内的边缘检测部202的处理的详情做出说明。边缘检测部202对来自线存储器201的输出信号所含的离散的白(W)信号进行检验，生成图像的边缘信息(具体地例如包含边缘方向和边缘强度的边缘信息)，并将该边缘信息输出至色彩相关重构马赛克处理部210。
参考图5A和后续附图来说明边缘检测部202所执行的、使用W像素的边缘方向和边缘强度的判断方法。
边缘检测部202仅利用从线存储器201输入的RGBW阵列181的信号中的白(W)信号来判断边缘方向和边缘强度。从线存储器201以7条水平线为单位输入RGBW阵列数据中的至少W的信号值和位置信息。边缘检测部202以输入数据的7×7像素区域为单位执行边缘检测处理。边缘检测部202一次1个像素地依次移开7×7像素区域以执行边缘检测处理。对一个7×7像素区域所进行的处理得出与7×7像素区域的中心像素对应的边缘信息(边缘方向和边缘强度)。与各像素对应的边缘信息被输出至色彩相关重构马赛克处理部210。
对边缘检测处理可应用各种技术。参考图5A至6B来说明其中一种技术。在以下说明的技术中使用7×7像素区域的中心附近的4×4像素。
要处理的7×7像素的中心像素可以是如图5A所示的情况即W像素，或可以是如图5B所示的情况即除W像素以外的像素。注意，在图5A和5B中灰色像素代表W像素而其它像素是R、G或B像素。对于图5A和5B中的两种情况使用不同的计算式来进行边缘方向是水平、竖直、右上倾斜和左上倾斜这4个方向中的一个并还估计其强度的边缘判断处理。
参考图6A和6B来说明具体的处理。图6A和6B说明对于图6A所示的中心像素是W像素的情况和图6B所示的中心像素是除W像素以外的像素的情况下、应用于边缘方向和边缘强度的判断处理的计算式。所应用的计算式是计算图像中的特定方向的像素值的梯度的算式，用于计算以下各值。
gradH：水平方向的梯度绝对值的平均
gradV：竖直方向的梯度绝对值的平均
gradA：右上斜向的梯度绝对值的平均
gradD：左上斜向的梯度绝对值的平均
这些gradH、gradV、gradA和gradD等价于各不同方向的像素值的梯度(差分)的绝对值的平均值。以下说明具体的计算处理。
(a)中心像素是W像素的情况的处理
首先，针对图6A所示的中心像素是W像素的情况的处理做出说明。图6A分别在各(1)至(4)中示出了中心像素是W像素的情况下的gradH、gradV、gradA和gradD的计算处理例。注意在图中，双重圈
Figure BSA00000246715600161
代表7×7像素的中心像素位置，而粗单圈○则代表边缘的重心位置。
在中心像素是W像素的情况下，由以下计算式来计算gradH、gradV、gradA和gradD。
grad H = | W 22 - W 02 | + | W 31 - W 11 | 2
grad V = | W 22 - W 20 | + | W 13 - W 11 | 2
grad A = | W 22 - W 31 | + | W 13 - W 22 | 2
grad D = | W 22 - W 11 | + | W 33 - W 22 | 2
注意Wxy代表在(x)代表水平方向且(y)代表竖直方向而如图6A和6B所示那样的、4×4像素的左上端像素为(0，0)且右下端的像素处坐标为(3，3)的坐标系中的x-y坐标位置处的W像素值。
其中，gradH是水平方向的梯度的绝对值的平均，对应于在水平方向上相邻的W像素的差分绝对值的平均值。如图6A中(1)所示，在4×4像素区域的中央部分处的两条水平线的水平方向上相邻的两个W像素的差分的绝对值的平均值被计算为gradH。
而且，gradV是竖直方向的梯度的绝对值的平均，对应于在竖直方向上相邻的W像素的差分绝对值的平均值。如图6A中(2)所示，在4×4像素区域的中央部分处的两条竖直线的竖直方向上相邻的两个W像素的差分的绝对值的平均值被计算为gradV。
另外，gradA是右上斜向的梯度的绝对值的平均，对应于在右上斜向上相邻的W像素的差分绝对值的平均值。如图6A中(3)所示，在4×4像素区域的中央部分处的某一右上斜向线的右上斜向上相邻的两个W像素的差分的绝对值的平均值被计算为gradA。
再者，gradD是左上斜向的梯度的绝对值的平均，对应于在左上斜向上相邻的W像素的差分绝对值的平均值。如图6A中(4)所示，在4×4像素区域的中央部分处的某一左上斜向线的左上斜向上相邻的两个W像素的差分的绝对值的平均值被计算为gradD。
水平方向的梯度绝对值的平均gradH越大，则竖直方向的边缘强度大的可能性也越高。同理，竖直方向的梯度绝对值的平均gradV越大，则水平方向的边缘强度大的可能性也越高。另外，右上斜向的梯度绝对值的平均gradA越大，则左上斜向的边缘强度大的可能性也越高。再者，左上斜向的梯度绝对值的平均gradD越大，则右上斜向的边缘强度大的可能性也越高。这样，可基于gradH、gradV、gradA和gradD的计算值来判断边缘方向和边缘强度。
(b)中心像素是除W像素以外的像素的情况的处理
接下来，针对图6B所示的中心像素是除W像素以外的像素的情况的处理做出说明。图6B分别在各(1)至(4)中示出了中心像素是除W像素以外的像素的情况下的gradH、gradV、gradA和gradD的计算处理例。注意在图中，双重圈
Figure BSA00000246715600171
代表7×7像素的中心像素位置，而粗单圈○则代表边缘的重心位置。
在中心像素是除W像素以外的像素的情况下，由以下计算式来计算gradH、gradV、gradA和gradD。
grad H = | W 32 - W 12 | + | W 21 - W 01 | 2
grad V = | W 23 - W 21 | + | W 12 - W 10 | 2
grad A = | W 23 - W 32 | + | W 12 - W 21 | 2
grad D = | W 23 - W 12 | + | W 32 - W 21 | 2
注意Wxy代表在(x)代表水平方向且(y)代表竖直方向而如图6A和6B所示那样的、4×4像素的左上端像素为(0，0)且右下端的像素处坐标为(3，3)的坐标系中的x-y坐标位置处的W像素值。
其中，gradH是水平方向的梯度的绝对值的平均，对应于在水平方向上相邻的W像素的差分绝对值的平均值。如图6B中(1)所示，在4×4像素区域的中央部分处的两条水平线的水平方向上相邻的两个W像素的差分的绝对值的平均值被计算为gradH。
而且，gradV是竖直方向的梯度的绝对值的平均，对应于在竖直方向上相邻的W像素的差分绝对值的平均值。如图6B中(2)所示，在4×4像素区域的中央部分处的两条竖直线的竖直方向上相邻的两个W像素的差分的绝对值的平均值被计算为gradV。
另外，gradA是右上斜向的梯度的绝对值的平均，对应于在右上斜向上相邻的W像素的差分绝对值的平均值。如图6B中(3)所示，在4×4像素区域的中央部分处的某两条右上斜向线的右上斜向上相邻的两个W像素的差分的绝对值的平均值被计算为gradA。
再者，gradD是左上斜向的梯度的绝对值的平均，对应于在左上斜向上相邻的W像素的差分绝对值的平均值。如图6B中(4)所示，在4×4像素区域的中央部分处的某两条左上斜向线的左上斜向上相邻的两个W像素的差分的绝对值的平均值被计算为gradD。
水平方向的梯度绝对值的平均gradH越大，则竖直方向的边缘强度大的可能性也越高。同理，竖直方向的梯度绝对值的平均gradV越大，则水平方向的边缘强度大的可能性也越高。另外，右上斜向的梯度绝对值的平均gradA越大，则左上斜向的边缘强度大的可能性也越高。再者，左上斜向的梯度绝对值的平均gradD越大，则右上斜向的边缘强度大的可能性也越高。
这样，可基于gradH、gradV、gradA和gradD的计算值来判断边缘方向和边缘强度。边缘检测部202基于gradH、gradV、gradA和gradD的值获得与各像素对应的边缘信息(边缘方向和边缘强度)。所获得的边缘信息被输出至色彩相关重构马赛克处理部210。
注意，上述边缘方向和强度的检测方法仅是一例，还可以做成使用其它边缘检测方法的构造。例如，参考图6A和6B所说明的边缘检测方法使用极窄范围的特定像素值信息，因而噪声大的情况时可以预见到会发生误判断。参考图7A和7B来说明避免该误判断的边缘信息获得处理例。
图7A和7B所示的边缘信息获得处理是这样的技术：该技术使用对参考图6A和6B所说明的计算值即梯度绝对值的平均进行加权相加的处理。在图7A中示出了水平/竖直成分边缘信息获得处理例，而在图7B中示出了倾斜成分边缘信息获得处理例。
图7A和7B示出了7×7像素的图像数据。该数据是要由边缘检测部202进行处理的数据，并与图6A和6B的情况相同，是仅有白像素值离散地列入阵列的数据。求得与位于该7×7像素的中心处的中心像素对应的边缘信息(边缘方向和边缘强度)。
首先说明图7A所示的水平/竖直成分边缘信息获得处理例。图7A示出了16个边缘重心。这些对应于图6A中(1)和(2)以及图6B中(1)和(2)所示的边缘重心，具体地即对应于计算gradH(水平方向的梯度绝对值的平均)和gradV(竖直方向的梯度绝对值的平均)这些值所用的边缘重心。
将图6A中(1)和(2)以及图6B中(1)和(2)所示的4×4像素区域设定至图7A所示的7×7像素区域中。从左上角处所示的4×4像素区域302到右下角处所示的4×4像素区域304，有16个可设定的4×4像素区域。图7A所示的16个边缘重心是与这些16个4×4像素区域对应的边缘重心即与图6A中(1)和(2)以及图6B中(1)和(2)所示相同位置的边缘重心。
将水平轴作为i并将竖直轴作为j，而设定图7A所示的0、1、2和3标度。将边缘重心的坐标位置表达为(i，j)意味着边缘重心(0，0)301是与4×4像素区域302对应的边缘重心。将4×4像素区域302作为图6A中(1)和(2)以及图6B中(1)和(2)所示的4×4像素区域，则边缘重心(0，0)301对应于图6A中(1)和(2)以及图6B中(1)和(2)所示的重心。
另外，边缘重心(3，3)303是与4×4像素区域304对应地设定的边缘重心。将4×4像素区域304作为图6A中(1)和(2)以及图6B中(1)和(2)所示的4×4像素区域，则边缘重心(3，3)303对应于图6A中(1)和(2)以及图6B中(1)和(2)所示的重心。
对于图7A所示的7×7像素区域，设定16组4×4像素区域和边缘重心。对这些16组使用参考图6A中(1)和(2)以及图6B中(1)和(2)所说明的计算式，使得对于gradH(水平方向的梯度绝对值的平均)和grady(竖直方向的梯度绝对值的平均)可计算出16个值。
使用与边缘重心(i，j)对应的4×4像素区域而计算的梯度绝对值的平均gradH和gradV分别写成gradHi，j和gradVi，j。使用这些，使用以下的计算式来计算梯度绝对值的平均的加权相加值即dirH(水平梯度信息)和dirV(竖直梯度信息)。
dirH = Σ i , j W i , i · grad H i , j Σ i , j w ij , dirV = Σ i , j W i , j · grad H i , j Σ i , j w i , j
式中wi，j是与位置(i，j)处的边缘重心对应的加权系数。例如如图7A所示，加权系数被设定为中心部更大而周围部更小的系数。图7A作为加权系数的一例而示出了使加权系数4/36～1/36与16个边缘重心相关的例。
接下来说明图7B所示的倾斜成分边缘信息获得处理例。图7B示出了25个边缘重心。这些对应于图6A中(3)和(4)以及图6B中(3)和(4)所示的边缘重心，具体地即对应于计算gradA(右上斜向的梯度绝对值的平均)和gradD(左上斜向的梯度绝对值的平均)这些值所用的边缘重心。
将图6A中(3)和(4)以及图6B中(3)和(4)所示的4×4像素区域设定至图7B所示的7×7像素区域中。从左上角处所示的4×4像素区域312到右下角处所示的4×4像素区域314，有16个可设定的4×4像素区域。在图7B所示的25个边缘重心中，在图7B所示的虚线矩形框315内的16个边缘重心是与这些16个4×4像素区域对应的边缘重心即与图6A中(3)和(4)以及图6B中(3)和(4)所示相同位置的边缘重心。
将水平轴作为i并将竖直轴作为j，而设定图7A所示的0、1、2、3和4标度。将边缘重心的坐标位置表达为(i，j)意味着边缘重心(1，1)311是与4×4像素区域312对应的边缘重心。将4×4像素区域302作为图6A中(3)和(4)以及图6B中(3)和(4)所示的4×4像素区域，则边缘重心(1，1)311对应于图6A中(3)和(4)以及图6B中(3)和(4)所示的重心。
另外，边缘重心(4，4)313是与4×4像素区域304对应地设定的边缘重心。将4×4像素区域314作为图6A中(3)和(4)以及图6B中(3)和(4)所示的4×4像素区域，则边缘重心(4，4)313对应于图6A中(3)和(4)以及图6B中(3)和(4)所示的重心。
图7B还在虚线矩形框315的外侧示出了边缘重心，该边缘重心是在i＝0且j＝0的位置处(i，j)＝(0，0)～(0，4)和(1，0)～(1，4)这些边缘重心。如图6A中(3)和(4)以及图6B中(3)和(4)所示，计算gradA(右上斜向的梯度绝对值的平均)和gradD(左上斜向的梯度绝对值的平均)这些值所用的像素位置只是边缘重心周围的8个像素。因而，即使在如图7B所示边缘重心设在i＝0且j＝0的位置处的情况下，也能计算gradA和gradV。
这表明：使用7×7像素区域、将边缘重心设定在不同位置处而可计算的gradA和gradD是与图7B所示的25个边缘重心对应的25组数据。
对于图7B所示的7×7像素区域，使用参考图6A中(3)和(4)以及图6B中(3)和(4)所说明的计算式，使得对于gradA(右上斜向的梯度绝对值的平均)和gradD(左上斜向的梯度绝对值的平均)可计算出25个值。
使用与边缘重心(i，j)对应的4×4像素区域而计算的梯度绝对值的平均gradA和gradD分别写成gradAi，j和gradDi，j。使用这些，使用以下的计算式来计算梯度绝对值的平均的加权相加值即dirA(右上斜向梯度信息)和dirD(右上斜向梯度信息)。
dirA = Σ i , j W i , i · grad A i , j Σ i , j w ij , dirD = Σ i , j W i , j · grad D i , j Σ i , j w i , j
式中wi，j是与位置(i，j)处的边缘重心对应的加权系数。
例如如图7B所示，加权系数被设定为中心部更大而周围部更小的系数。图7B作为加权系数的一例而示出了使加权系数16/100～1/100与25个边缘重心相关的例。
由参考图7A和7B所说明的处理计算出的边缘信息(即dirH(水平梯度信息)、dirV(竖直梯度信息)、dirA(右上斜向梯度信息)和dirD(右上斜向梯度信息))是使用7×7像素区域所含的大量像素的像素值(W像素值)而计算出的边缘信息。因而，与应用参考图6A和6B所说明的少量像素的像素信息而计算出的边缘信息相比，因噪声等造成错误结果的可能性减小了。注意上式以及图7A和7B中的加权系数wij的设定例仅是一例，也可使用其它平均化系数。
边缘检测部202将像这样求得的dirH、dirV、dirA和dirD中的最大值作为与7×7像素的中心像素对应的边缘强度。在以下式中将边缘强度表达为ratioFlat。
ratioFlat＝max(dirH，dirV，dirA，dirD)
另外，边缘检测部202对上述边缘强度(ratioFlat)应用预设定的非线性函数fflat，并由以下式计算表示平坦度的指标值的平坦度值weightFlat。
平坦度(weightFlat)＝fflat(ratioFlat)
如图8所示，平坦度(weightFlat)具有0和1之间的范围的值，是表示越接近1平坦度越低(纹理越多)而越接近0则平坦度越高(纹理越少)这样的图像状态的平坦度的指标值。
如图8所示，使用2个预定的阈值Limit0和Limit1如下计算平坦度(weightFlat)。
如果0≤ratioFlat≤Limit0，则weightFlat＝0
如果Limit0≤ratioFlat≤Limit1，则0≤weightFlat≤1
如果Limit1≤ratioFlat，则weightFlat＝1
边缘检测部202将例如上述平坦度(weightFlat)信息作为边缘信息而输出至色彩相关重构马赛克处理部210。注意，该平坦度(weightFlat)信息是边缘检测部202输出至色彩相关重构马赛克处理部210的边缘信息的一例。边缘检测部202输出至色彩相关重构马赛克处理部210的边缘信息不限于该平坦度(weightFlat)信息，而是也可以是先前参考图6A和6B所说明的像素值梯度信息(gradH、grady、gradA、gradD)。或者，边缘检测部202输出至色彩相关重构马赛克处理部210的边缘信息也可以是参考图7A和7B所说明的梯度绝对值的平均的加权相加值(dirH、dirV、dirA、dirD)。
(3-2.关于模糊校正处理部中的处理)
接下来说明图4所示的数据转换处理部200内的模糊校正处理部203的处理。不过在说明模糊校正处理部的处理之前，先要说明处在摄像器件(图像传感器)110的前级处的光学透镜105处的像差。
在输入到摄像器件(图像传感器)110的信号中包含超出摄像器件(图像传感器)110的奈奎斯特频率(采样频率的1/2频率)的信号的情况下，会发生采样定理基础上的混迭(也称作折叠噪声)，造成画质恶化。凭借通常在许多根据现有技术的照相机上使用的性能的光学透镜与RGB拜尔阵列传感器的组合，与光学透镜的集光性能相比传感器的采样率更高，因此混迭很少造成问题。
然而，在使用具有图3所示的RGBW阵列181的摄像器件110的情况下，色彩成分的采样率是RGB拜尔阵列的采样率的一半，因此有更易出现因混迭造成的伪色的问题。
尽管可以通过在摄像器件110和光学透镜105之间添加光学低通滤波器以切去超出奈奎斯特频率的信号，从而来抑制伪色，但却有成本增加的问题。
另外，在参考图1B和其它附图所说明的RGBW阵列中，RGBW各自的像素分配比各异。即，奈奎斯特频率随波长而异，如果针对例如采样率最低的R信号或B信号而设计，则W信号或B信号的高频成分被丢掉了。反之，如果是符合采样率最高的W信号而设计，则在R信号或B信号处出现强烈的混迭。
为了解决该问题，最好是进行光学透镜105的像差设计以符合传感器的采样率，从而在色彩成分中不出现混迭。即，通过为每一色彩成分针对采样率而设计透镜像差以使输入信号模糊，可抑制混迭的出现。
另外，使用透镜像差大的光学透镜105，可通过减小局部区域中的色彩比率的变动来抑制伪色。特别地，在根据本发明的实施例的图像处理装置的色彩相关重构马赛克处理部210中，在从RGBW阵列到RGB阵列的转换时生成插值参数Gd、Rd和Bd信号等，并进行使用插值参数Gd、Rd和Bd信号的信号转换。在这种情况下，因插值参数Gd、Rd和Bd信号的错误估计，故任何混迭存在都容易导致伪色。
因而，在根据本发明的实施例的图像处理装置(摄像装置)中，使用为每一色彩成分使透镜像差针对采样率这样的光学透镜105。凭借该设定抑制了混迭的出现，并正确地进行色彩相关重构马赛克处理部210中的Gd、Rd和Bd信号等插值参数的估计，可抑制伪色的出现。具体地，使用这样的光学透镜：该光学透镜具有在各色成分中使超过同色成分的奈奎斯特频率的信号成分不产生的透镜像差。
注意，使用升高像差的光学透镜105来抑制色彩成分的混迭意味着在作为R、G和B波长的叠加结果的W成分中有同样的像差，这导致模糊的图像。在图1B所示的RGBW阵列中希望W成分具有比RGB色彩成分更高的采样率，并由于该W成分用作亮度基准信号而希望它具有高的分辨率特性。
为了满足该要求，在根据本发明的实施例的图像处理装置中，在模糊校正处理部203中对W成分进行以光学透镜的像差信息为基础的模糊校正处理。由该处理可实现高分辨率特性，并可获得伪色少的图像。注意，在信号因透镜像差而过度恶化的情况下，信号成分埋没在噪声中而变得不可再生。因而，希望使用具有这样的设定的光学透镜：其中，进行模糊校正处理的W信号的强度在奈奎斯特频率以下的整个频带上不过于太小。
说明模糊校正处理部203处的处理。以下的式(1)成立：
g(x，y)＝∫∫h(x-x′，y-y′)·f(x′，y′)dx′dy′+n(x，y)……(1)
其中f(x，y)代表消除了模糊的理想图像，g(x，y)代表包含模糊的观测图像，h(x，y)代表因透镜像差和手抖动造成的恶化函数，n(x，y)代表噪声成分，并假设h(x，y)不可变。
对上式(1)两边作傅立叶变换，则
G(u，v)＝H(u，v)·F(u，v)+N(u，v)        ……(2)
成立，其中G(u，v)、H(u，v)、F(u，v)和N(u，v)分别代表g(x，y)、h(x，y)、f(x，y)和n(x，y)的傅立叶变换。
在该式中在因透镜像差和手抖动造成的恶化函数没有零点且噪声成分已知的情况下，F(u，v)可由以下的式(3)求得。
F ( u , v ) = G ( u , v ) - N ( u , v ) H ( u , v ) · · · · · · ( 3 )
然而，在作为恶化函数的傅立叶变换的H(u，v)有零点的情况下、或在电平弱小得以至被噪声埋没的情况下，上式(3)不可计算。因而，必须留意摄像装置100的光学透镜105的像差使W信号的强度在奈奎斯特频率以下的整个频带上不过于太小。而且，由于噪声成分一般是未知的，因而即使H(u，v)没有零点，式(3)在严密的意义上也是无解的。
还有这样的已有的模糊校正：其使用使理想图像和复原图像之间的误差最小的下式(4)的维纳滤波器K(u，v)。参见例如日本特开2008-42874号公报。
K ( u , v ) = H * ( u , v ) | H ( u , v ) | 2 + c · · · · · · ( 4 )
其中c是由SN比确定的常数。
如下式(5)所示，将该滤波器的傅立叶逆变换即k(x，y)与观测图像在实空间进行卷积，可得出被模糊校正的图像f’(x，y)。
f ′ ( x , y ) = k ( x , y ) ⊗ g ( x , y ) · · · · · · ( 5 )
构成由该算式得出的模糊校正图像f’(x，y)的白(W)像素的像素值被作为模糊已被校正的W信号Wd而输出至色彩相关重构马赛克处理部210。
注意，尽管例示了使用维纳滤波器的模糊复原处理，但也可基于最大相似度估计或贝叶斯估计来进行由反复处理所成的模糊复原处理。
一般地，在以收集光为目的的光学透镜的情况下，功率在中心像素处最高。因而，进行模糊校正的滤波器也是在中心像素处最高。在模糊校正处理部203中，在中心像素是W像素的情况下，通过进行被再采样的维纳滤波器的卷积运算而可进行模糊校正，但在中心像素不是W像素的情况下，由于权重最集中的像素的W信号欠缺，因而无法期待充分的模糊校正效果。由此，在这种情况下，从周围的W信号对中心的W信号进行插值，并使用该信号和周围的W像素信号来进行模糊校正处理。
参考图9来说明在中心像素不是W像素的情况下、从周围的W信号对中心的W信号进行插值的方法。
模糊校正处理部203比较在边缘检测部202处计算出的梯度绝对值的平均的加权相加值dirH和dirV的大小，在dirH≥dirV的情况下，判断为边缘是竖直方向的边缘，于是应用图9中(a)所示的滤波器411来设定除W像素以外的像素的W像素值。即，将竖直方向的W像素值作为参考像素而使用这些参考像素的W像素值，来估计中心像素的W像素值。
另一方面，在dirH＜dirV的情况下，判断为边缘是水平方向的边缘，于是应用图9中(b)所示的滤波器412来设定除W像素以外的像素的W像素值。即，将水平方向的W像素值作为参考像素而使用这些参考像素的W像素值，来估计中心像素的W像素值。注意在图9所示的滤波器411和412中，灰色所示的像素是与W像素对应的位置，而其它像素是RGB像素。
将7×7像素的输入信号401的中心作为插值对象像素402，在dirH≥dirV的情况下，判断为边缘是竖直方向的边缘，于是应用图9中(a)所示的滤波器411来计算插值对象像素402的上下2个W像素的平均值Wc，将该值Wc作为插值对象像素402的W像素值。另一方面，在dirH＜dirV的情况下，判断为边缘是水平方向的边缘，于是应用图9中(b)所示的滤波器412来计算插值对象像素402的左右2个W像素的平均值Wc，将该值Wc作为插值对象像素402的W像素值。
对该所插值的W信号和从线存储器201输出的棋盘格图案状W信号，通过上述维纳滤波器的卷积来进行模糊校正处理。即，将(构成通过应用维纳滤波器的卷积运算而得到的模糊校正图像f’(x，y)的)白(W)像素的像素值作为模糊已被校正的W信号Wd而输出至色彩相关重构马赛克处理部210。注意如上所述也可基于最大相似度估计或贝叶斯估计来进行由反复处理所成的模糊复原处理，并可将这些处理应用于生成模糊已被校正的W信号Wd。
模糊校正处理部203像这样应用从线存储器201输入的数据中的白(W)像素，由插值处理将W像素设定在除W像素以外的RGB像素位置处，进而执行模糊校正处理，并生成与全部像素对应的被模糊校正的W信号(即生成模糊已被校正的W信号Wd)并将这些输出至色彩相关重构马赛克处理部210。
(3-3.关于色彩相关重构马赛克处理部(数据转换部)中的处理)
接下来就图4所示的数据转换处理部200内的色彩相关重构马赛克处理部210的处理做出说明。色彩相关重构马赛克处理部210执行从RGBW彩色阵列到RGB阵列182的转换处理。
具体地，如先前参考图2所说明的那样执行以下5种转换或校正处理。
将W像素位置转换成G像素(估计G像素值)＝(GonW)
将G像素位置转换成R像素(估计R像素值)＝(RonG)
将G像素位置转换成B像素(估计B像素值)＝(BonG)
将R像素位置转换成R像素(校正R像素值)＝(RonR)
将B像素位置转换成B像素(校正B像素值)＝(BonB)
色彩相关重构马赛克处理部210假设在RGBW阵列181中作为亮度的主成分的W信号和作为色彩成分的G、R和B信号之间存在正的相关，来估计应设定至RGBW阵列的各像素处的R、G和B中的一个的像素值。
色彩相关重构马赛克处理部210具有W位置G插值参数计算部211、G位置RB插值参数计算部212、R位置R插值参数计算部213、B位置B插值参数计算部214和加权相加处理部215。
首先说明用于将RGBW阵列181的W像素位置转换成RGB阵列182的G像素(估计G像素值)的插值参数计算部即W位置G插值参数计算部211的处理。
W位置G插值参数计算部211计算这样的插值参数：该插值参数应用于设定在RGBW阵列181的W像素位置处的G像素值的计算。这些是应用于上述GonW处理的插值参数。
具体地，W位置G插值参数计算部211使用来自线存储器201的输入信号中的W信号和G信号、以及从模糊校正处理部203输入的模糊已被校正的W信号Wd来计算
模糊已被校正的G信号(Gd)、以及
模糊未被校正的G信号(Gl)
这些信号值。
这些信号值是这样的插值参数(GonW插值参数)：该插值参数应用于为了将RGBW阵列181的W像素位置设定为RGB阵列182的G像素的G像素值计算。
注意，色彩相关重构马赛克处理部210还将7×7像素区域作为处理单位来进行处理。W位置G插值参数计算部211首先求得处理单位即7×7像素区域中的W信号与G信号之间的比率。
使用图10所示的平滑化滤波器511来计算W信号的低频成分mW，
并使用图11所示的平滑化滤波器521或平滑化滤波器522来计算G信号的低频成分mG。
首先参考图10来说明W信号的低频成分mW的计算处理。对7×7像素的输入信号501应用图10所示的平滑化滤波器511，来计算与7×7像素的输入信号501对应的低频成分mW。W像素(即要转换成G像素的对象)是处在7×7像素的输入信号501的中心处的要转换像素502。在图10所示的输入信号501中灰色所示的像素是W像素，而其它是RGB像素。同理，在图10所示的平滑化滤波器511中灰色所示的像素是与W像素对应的位置，而其它是与RGB像素对应的位置。注意在以下附图中，也是以灰色来表示W像素或与W像素对应的位置，并以白色来表示RGB像素位置或对应位置。
平滑化滤波器511是这样的滤波器：与要转换的像素对应的位置512的滤波器系数最高，离得越远越低。设定16/128～1/128这些系数作为系数。应用该平滑化滤波器511来计算低频成分mW。7×7像素的输入信号501的W像素位置的像素值乘以平滑化滤波器511的对应像素位置处的滤波器系数，并计算各乘积结果的加法值作为W信号的低频成分mW。
注意，图10所示的平滑化滤波器511的滤波器系数设定例仅是一例，也可使用设定了其它滤波器系数的滤波器。图10所示的平滑化滤波器511被配置成滤波器系数的总和值是2的幂。该设定使得仅以移位即可实现除法器，从而可削减运算成本。还可使用例如具有低通特性的其它平滑化滤波器来代替图10所示的滤波器例。
注意，用于低频成分mW的计算的输入信号501最好是未其它进行模糊校正处理的W信号。然而，为削减运算成本也可使用模糊校正处理部203所生成的模糊校正处理后的模糊已被校正的W信号Wd。
接下来，参考图11来说明G信号的低频成分mG的计算处理。对7×7像素的输入信号501应用图11中(a)所示的平滑化滤波器521或图11中(b)所示的平滑化滤波器522，来计算与7×7像素的输入信号501对应的低频成分mG。G像素(即要转换成G像素的对象)是处在7×7像素的输入信号501的中心处的要转换像素502。
此处要转换成G像素的对象即W像素有2种，一种是具有左邻G像素的相位的、另一种是具有右邻G像素的相位的要转换像素502。因而，对各相位应用不同的滤波器。在具有左邻G像素的相位的情况下使用图11中(a)所示的平滑化滤波器521，而在具有右邻G像素的相位的情况下使用图11中(b)所示的平滑化滤波器522。在任一种滤波器中，对表示滤波器系数的数值进行展示的像素都是与G像素对应的位置。
平滑化滤波器521和平滑化滤波器521都是这样的滤波器：与要转换像素位置523和524附近的G像素对应的位置的滤波器系数最高，离得越远越低。设定6/32～1/32这些系数作为系数。应用该平滑化滤波器511和522来计算低频成分mG。7×7像素的输入信号501的G像素位置的像素值乘以平滑化滤波器511或522中的一个的对应像素位置处的滤波器系数，并计算各乘积结果的加法值作为G信号的低频成分mG。
注意，图11所示的平滑化滤波器511和522的滤波器系数设定例仅是一例，也可使用设定了其它滤波器系数的滤波器。W位置G插值参数计算部211像这样以具有要转换成G像素的W像素作为中心像素的7×7像素区域作为处理单位，来计算W信号和G信号的低频成分mW和mG。
假设像这样计算出的mW和mG的比率保持在图像内的局部区域中。根据该假设，局部区域中的W和G的像素值比率的对应关系如图12的图线所示。在图12的图线中，横轴代表W像素值，纵轴代表G像素值。如果设：在图像的特定的狭小的局部区域中、该W像素值和G像素值的比率恒定，则可假设这是由图12的直线所示的比例关系。
按该假设，使用从模糊校正处理部203输出的要转换像素位置处的模糊校正白(W)信号Wd、按以下式来计算模糊已被校正的G信号Gd
Gd＝(mG/mW)Wd
式中信号Gd是包含高频成分的G信号。
注意，此处已例示出了这样的估计技术：其中假设W像素值和G像素值的比率恒定，但也可使用其它利用了W像素值和G像素值之间的相关的估计技术。
如上所述，W位置G插值参数计算部211计算模糊已被校正的G信号(Gd)以及模糊未被校正的G信号(Gl)这些信号值作为这样的插值参数：该插值参数应用于设定在RGBW阵列181的W像素位置处的G像素值的计算。加权相加处理部215根据要转换像素的边缘信息将这两个信号Gd和Gl相混合，并确定最终的G像素值。
下面说明模糊未被校正的G信号Gl的计算处理。在计算模糊未被校正的G信号Gl时，首先使用图13所示的平滑化滤波器531来计算去除了噪声信号的W信号Wn。以7×7像素的输入信号501的要转换像素502的W像素位置为中心的9个像素中的W像素值乘以平滑化滤波器531的对应像素位置处的滤波器系数，以计算各乘积结果的加法值作为噪声已被去除的白(W)信号Wn。平滑化滤波器531的滤波器系数对要转换像素502的对应位置W像素和周围的W像素而设定成4/8～1/8。
注意该滤波器系数仅是一例，也可以是使用其它系数的构成。而且，也可以是使用比9个像素更广阔的区域的构成。另外，为削减运算成本也可以是原样使用从线存储器201输入的W信号的构成。
应用该噪声已被去除的W信号Wn以及W信号和G信号的低频成分mW和mG、按以下式来计算模糊未被校正的G信号Gl
Gl＝(mG/mW)Wn
注意该信号Gl不是应用了模糊已被校正的信号Wd的信号，而是相当于未使高频成分增强的G信号。
注意，此处已例示出了这样的估计技术：其中假设W像素值和G像素值的比率恒定，但也可使用其它利用了W像素值和G像素值之间的相关的估计技术。
加权相加处理部215根据要转换像素的边缘信息将这两个信号Gd和Gl相混合，并确定最终的G像素值。具体地，加权相加处理部215进行混合处理以至在不是平坦的纹理度高的边缘部分设定模糊已被校正的G信号Gd的比率为高，并在平坦部分设定模糊未被校正的G信号Gl的比率为高，从而确定最终的G像素值。该处理将在后面说明。
接下来说明用于将RGBW阵列181的G像素位置转换成RGB阵列182的R像素或B像素的插值参数计算部即G位置RB插值参数计算部212的处理。G位置RB插值参数计算部212计算这样的插值参数：该插值参数应用于将G像素位置转换成R像素(估计R像素值)即RonG和将G像素位置转换成B像素(估计B像素值)即BonG的这些处理。
具体地，G位置RB插值参数计算部212计算
模糊已被校正的R信号Rd
模糊未被校正的R信号Rl
模糊已被校正的B信号Bd、以及
模糊未被校正的B信号Bl
这些信号值。
这些信号值是这样的插值参数(RonG插值参数或BonG插值参数)：该插值参数应用于为了将RGBW阵列181的G像素位置设定为RGB阵列182的R像素或B像素的R像素值或B像素值计算。
G位置RB插值参数计算部212首先获得(作为以要转换像素为中心像素的处理单位的)7×7像素区域，并计算W信号和R信号之间的比率以及W信号和B信号之间的比率。使用图14所示的平滑化滤波器561来计算W信号的低频成分mW。注意在此处说明的例中，在作为处理单位的7×7像素区域中仅利用中央5×5像素区域553来进行处理。
对7×7像素的输入信号551的中央5×5像素区域553应用图14所示的平滑化滤波器561来计算低频成分mW。作为转换对象的G像素是处在7×7像素的输入信号551的中心处的要转换像素552。
平滑化滤波器561是这样的滤波器：与要转换的像素对应的位置552的滤波器系数最高，离得越远越低。设定2/16～1/16这些系数作为系数。应用该平滑化滤波器561来计算低频成分mW。7×7像素的输入信号551的中央处5×5像素区域553中的W像素位置的像素值乘以平滑化滤波器561的对应像素位置处的滤波器系数，并计算各乘积结果的加法值作为W信号的低频成分mW。
注意，图14所示的平滑化滤波器561的滤波器系数设定例仅是一例，也可使用设定了其它滤波器系数的滤波器。还可使用例如具有低通特性的其它平滑化滤波器来代替图14所示的滤波器例。注意，用于低频成分mW的计算的输入信号551最好是未其它进行模糊校正处理的W信号。然而，为削减运算成本也可使用模糊校正处理部203所生成的模糊校正处理后的模糊已被校正的W信号Wd。
注意，在图14所示的例中，为使R信号和B信号的参考范围一致，进行设定了5×5像素区域553的平滑化处理。该处理使得能够将图14所示的一个共用滤波器用于将G像素转换成R像素的处理和将G像素转换成B像素的处理，从而能够共用部件并抑制运算成本。
另外，G位置RB插值参数计算部212还计算供将G像素转换成R像素时的R信号估计用的R信号的低频成分mR、以及供将G像素转换成B像素时的B信号估计用的B信号的低频成分mB。
图15所示的平滑化滤波器562和平滑化滤波器563用于这些mR和mB的计算处理。图15所示的平滑化滤波器562用于计算R信号的低频成分mR。带表示滤波器系数的数值的像素是R像素对应位置。图15所示的平滑化滤波器563用于计算B信号的低频成分mB。带表示滤波器系数的数值的像素是B像素对应位置。
在任一种情形下，在作为处理单位的7×7像素区域中仅利用中央5×5像素区域553来进行处理。对输入信号551的7×7像素区域的中央5×5像素区域553应用图15所示的平滑化滤波器562和平滑化滤波器563来计算R信号的低频成分mR和B信号的低频成分mB。作为转换对象的G像素是处在7×7像素的输入信号551的中心处的要转换像素552。
平滑化滤波器562和563是进行这样的滤波器系数设定的构成：其中均等地获得与要转换的像素对应的位置552附近的R像素或B像素位置的像素值。并设定1/4作为系数。
应用这些平滑化滤波器562和563来计算mR和mB。在mR计算处理时，输入信号551的7×7像素的中央5×5像素区域553中的R像素位置的像素值乘以平滑化滤波器562的对应像素位置处的滤波器系数，并计算各乘积结果的加法值作为R信号的低频成分mR。而且，在mB计算处理时，输入信号551的7×7像素的中央5×5像素区域553中的B像素位置的像素值乘以平滑化滤波器562的对应像素位置处的滤波器系数，并计算各乘积结果的加法值作为B信号的低频成分mB。
注意，图15所示的平滑化滤波器562和563的滤波器系数设定例仅是一例，也可使用设定了其它滤波器系数的滤波器。
假设像这样计算出的mW和mR或mB的比率保持在图像内的局部区域中。根据该假设，局部区域中的W和R以及W和B的像素值比率的对应关系如图16A和16B的图线所示。在图16A的图线中，横轴代表W像素值，纵轴代表R像素值。在图16B的图线中，横轴代表W像素值，纵轴代表B像素值。如果设：在图像的特定的狭小的局部区域中、该W像素值和R像素值以及W像素值和B像素值的比率恒定，则可假设这是由图16A和16B的直线所示的比例关系。
按该假设，使用从模糊校正处理部203输出的要转换像素位置处的模糊校正白(W)信号Wd、按以下式来计算模糊已被校正的R信号Rd
Rd＝(mR/mW)Wd
式中信号Rd是包含高频成分的R信号。
还按以下式来计算模糊已被校正的B信号Bd
Bd＝(mB/mW)Wd
式中信号Bd是包含高频成分的B信号。
注意，此处已例示出了这样的估计技术：其中假设W像素值和R像素值或B像素值的比率恒定，但也可使用其它利用了W像素值和R像素值或B像素值之间的相关的估计技术。
如上所述，G位置RB插值参数计算部212计算模糊已被校正的R信号(Rd)和模糊未被校正的R信号(Rl)、以及模糊已被校正的B信号(Bd)和模糊未被校正的B信号(Bl)这些信号值作为这样的插值参数：该插值参数应用于设定在RGBW阵列181的G像素位置处的R像素值和B像素值的计算。对于R像素，加权相加处理部215根据要转换像素的边缘信息将这两个信号Rd和Rl相混合，并确定最终的R像素值。对于B像素，加权相加处理部215根据要转换像素的边缘信息将这两个信号Bd和Bl相混合，并确定最终的R像素值。
下面说明模糊未被校正的R信号Rl和模糊未被校正的B信号Bl的计算处理。在计算这些信号时，首先使用图17所示的平滑化滤波器564来计算去除了噪声信号的W信号Wn。仅将以7×7像素的输入信号551中心处的要转换像素552的G像素位置为中心的5×5像素区域553中的要转换像素552周围的4个W像素的W像素值乘以设定了滤波器系数的平滑化滤波器564的滤波器系数，以计算各乘积结果的加法值作为噪声已被去除的白(W)信号Wn。平滑化滤波器564的滤波器系数对要转换像素552周围的W像素而设定成1/4。注意该滤波器系数仅是一例，也可以是使用其它系数的构成。
应用该噪声已被去除的W信号Wn以及W信号和R信号的低频成分mW和mR、按以下式来计算模糊未被校正的R信号Rl
Rl＝(mR/mW)Wn
注意该信号Rl不是应用了模糊已被校正的信号Wd的信号，而是相当于未使高频成分增强的R信号。
而且，还应用该噪声已被去除的W信号Wn以及W信号和B信号的低频成分mW和mB、按以下式来计算模糊未被校正的B信号Bl
Bl＝(mB/mW)Wn
注意该信号Bl不是应用了模糊已被校正的信号Wd的信号，而是相当于未使高频成分增强的B信号。
注意，此处已例示出了这样的估计技术：其中假设W像素值和R像素值或B像素值的比率恒定，但也可使用其它利用了W像素值和R像素值或B像素值之间的相关的估计技术。
加权相加处理部215根据要转换像素的边缘信息将这两个信号Rd和Rl相混合，并确定最终的R像素值。具体地，加权相加处理部215进行混合处理以至在不是平坦的纹理度高的边缘部分设定模糊已被校正的R信号Rd的比率为高，并在平坦部分设定模糊未被校正的R信号Rl的比率为高，从而确定最终的R像素值。该处理将在后面说明。
而且，加权相加处理部215还根据要转换像素的边缘信息将这两个信号Bd和Bl相混合，并确定最终的B像素值。具体地，加权相加处理部215进行混合处理以至在不是平坦的纹理度高的边缘部分设定模糊已被校正的B信号Bd的比率为高，并在平坦部分设定模糊未被校正的B信号Bl的比率为高，从而确定最终的B像素值。该处理将在后面说明。
接下来说明用于将RGBW阵列181的R像素位置转换成RGB阵列182的R像素(校正R像素值)的插值参数计算部即R位置R插值参数计算部213的处理。
RGBW阵列181的R像素位置对应于RGB阵列(拜尔阵列)182的R像素位置，故可原样使用R信号。然而，会有该信息因光学透镜的像差的影响而失去高频信号的情况。在这种情况下，有与设定至G像素位置的R信号和B信号特性不同的可能性。
为了防止出现这种特性的差异，R位置R插值参数计算部213使用输入信号所含的W信号和R信号来计算用于R信号的校正的参数。具体地，计算模糊已被校正的R信号(Rd)和模糊未被校正的R信号(Rl)这些信号值。这些信号值是这样的插值参数(RonR插值参数)：该插值参数应用于为了将RGBW阵列181的R像素位置设定为RGB阵列182的被校正的R像素的R像素值校正处理。
R位置R插值参数计算部213首先使用在G位置RB插值参数计算部212的处理中说明的图14所示的平滑化滤波器561来计算W信号的低频成分mW。注意在这种情况下，7×7像素的输入信号551的中心像素是R像素。在作为处理单位的7×7像素区域中，仅将中央5×5像素区域553用于该处理。对7×7像素的输入信号551的中央5×5像素区域553应用图14所示的平滑化滤波器561，来计算低频成分mW。要转换(校正)的R像素是处在7×7像素的输入信号551的中心处的要转换像素552。
注意，用于低频成分mW的计算的输入信号551最好是未其它进行模糊校正处理的W信号。然而，为削减运算成本也可使用模糊校正处理部203所生成的模糊校正处理后的模糊已被校正的W信号Wd。
另外，R位置R插值参数计算部213还计算当计算R像素的校正R像素值时的R信号估计时要用的R信号的低频成分mR。图18所示的平滑化滤波器581用于计算R信号的低频成分mR。带表示滤波器系数的数值的像素是R像素对应位置。
在(作为处理单位的)7×7像素的输入信号571中，仅将中央5×5像素区域573用于该处理。对7×7像素的输入信号571的中央5×5像素区域573应用图18所示的平滑化滤波器581，来计算R信号的低频成分mR。此处要校正的R像素是处在7×7像素的输入信号571的中心处的要转换像素572。
平滑化滤波器581将与要转换像素对应位置572对应的位置处的R像素的系数设为高，而将周围的R像素位置的系数设为低。设定4/8～1/8作为系数。
应用该平滑化滤波器581来计算低频成分mR。在mR的计算处理时，7×7像素的输入信号571的中央5×5像素区域573中的R像素位置的像素值乘以平滑化滤波器581的对应像素位置处的滤波器系数，并计算各乘积结果的加法值作为R信号的低频成分mR。注意图18所示的平滑化滤波器581的滤波器系数设定例仅是一例，也可以是设定了其它系数的构成。
假设像这样计算出的mW和mR的比率保持在图像内的局部区域中。根据该假设，局部区域中的W和R的像素值比率的对应关系如图16A的图线所示。如果设：在图像的特定的狭小的局部区域中、该W像素值和R像素值的比率恒定，则可假设这是由图16A的直线所示的比例关系。按该假设，使用从模糊校正处理部203输出的要转换像素位置处的模糊校正白(W)信号Wd、按以下式来计算模糊已被校正的R信号Rd
Rd＝(mR/mW)Wd
式中信号Rd是包含高频成分的R信号。
注意，此处已例示出了这样的估计技术：其中假设W像素值和R像素值的比率恒定，但也可使用其它利用了W像素值和R像素值之间的相关的估计技术。
还进行模糊未被校正的R信号Rl的计算处理。使用先前参考图17所说明的平滑化滤波器564来计算去除了噪声信号的W信号Wn。在这种情况下，7×7像素的输入信号551的要转换像素552是R像素。
仅将以要转换像素552的R像素位置为中心的5×5像素区域553中的要转换像素552周围的4个W像素乘以设定了滤波器系数的平滑化滤波器564的滤波器系数，以计算各乘积结果的加法值作为噪声已被去除的白(W)信号Wn。平滑化滤波器564的滤波器系数对要转换像素552和周围的W像素而设定成1/4。注意该滤波器系数仅是一例，也可以是使用其它系数的构成。
应用该噪声已被去除的W信号Wn以及W信号和R信号的低频成分mW和mR、按以下式来计算模糊未被校正的R信号Rl
Rl＝(mR/mW)Wn
注意该信号Rl不是应用了模糊已被校正的信号Wd的信号，而是相当于未使高频成分增强的R信号。
注意，此处已例示出了这样的估计技术：其中假设W像素值和R像素值的比率恒定，但也可使用其它利用了W像素值和R像素值之间的相关的估计技术。
加权相加处理部215根据要转换像素的边缘信息将这两个信号Rd和Rl相混合，并确定最终的R像素值。具体地，加权相加处理部215进行混合处理以至在不是平坦的纹理度高的边缘部分设定模糊已被校正的R信号Rd的比率为高，并在平坦部分设定模糊未被校正的R信号Rl的比率为高，从而确定最终的R像素值。该处理将在后面说明。
接下来说明用于将RGBW阵列181的B像素位置转换成RGB阵列182的B像素(校正B像素值)的插值参数计算部即B位置B插值参数计算部214的处理。
RGBW阵列181的B像素位置对应于RGB阵列(拜尔阵列)182的B像素位置，故可原样使用B信号。然而，会有该信息因光学透镜的像差的影响而失去高频信号的情况。在这种情况下，有与设定至G像素位置的R信号和B信号特性不同的可能性。
为了防止出现这种特性的差异，B位置B插值参数计算部214使用输入信号所含的W信号和B信号来计算用于B信号的校正的参数。具体地，计算模糊已被校正的B信号(Bd)和模糊未被校正的B信号(Bl)这些信号值。这些信号值是这样的插值参数(BonB插值参数)：该插值参数应用于为了将RGBW阵列181的B像素位置设定为RGB阵列182的被校正的B像素的B像素值校正处理。
B位置B插值参数计算部214首先使用在G位置RB插值参数计算部212的处理中说明的图14所示的平滑化滤波器561来计算W信号的低频成分mW。注意在这种情况下，7×7像素的输入信号551的中心像素是B像素。在作为处理单位的7×7像素区域中，仅将中央5×5像素区域553用于该处理。对7×7像素的输入信号551的中央5×5像素区域553应用图14所示的平滑化滤波器561，来计算低频成分mW。要转换(校正)的B像素是处在7×7像素的输入信号551的中心处的要转换像素552。
注意，用于低频成分mW的计算的输入信号551最好是未其它进行模糊校正处理的W信号。然而，为削减运算成本也可使用模糊校正处理部203所生成的模糊校正处理后的模糊已被校正的W信号Wd。
另外，B位置B插值参数计算部214还计算当计算B像素的校正B像素值时的B信号估计时要用的B信号的低频成分mB。图19所示的平滑化滤波器582用于计算B信号的低频成分mB。带表示滤波器系数的数值的像素是R像素对应位置。
在(作为处理单位的)7×7像素的输入信号591中，仅将中央5×5像素区域593用于该处理。对7×7像素的输入信号591的中央5×5像素区域593应用图19所示的平滑化滤波器582，来计算B信号的低频成分mB。此处要校正的B像素是处在7×7像素的输入信号591的中心处的要转换像素592。
平滑化滤波器582将与要转换像素对应位置592对应的位置处的B像素的系数设为高，而将周围的B像素位置的系数设为低。设定4/8～1/8作为系数。
应用该平滑化滤波器582来计算低频成分mB。在mB的计算处理时，7×7像素的输入信号591的中央5×5像素区域593中的B像素位置的像素值乘以平滑化滤波器582的对应像素位置处的滤波器系数，并计算各乘积结果的加法值作为B信号的低频成分mB。注意图19所示的平滑化滤波器582的滤波器系数设定例仅是一例，也可以是设定了其它系数的构成。
假设像这样计算出的mW和mB的比率保持在图像内的局部区域中。根据该假设，局部区域中的W和B的像素值比率的对应关系如图16B的图线所示。如果设：在图像的特定的狭小的局部区域中、该W像素值和B像素值的比率恒定，则可假设这是由图16B的直线所示的比例关系。按该假设，使用从模糊校正处理部203输出的要转换像素位置处的模糊校正白(W)信号Wd、按以下式来计算模糊已被校正的B信号Bd
Bd＝(mB/mW)Wd
式中信号Bd是包含高频成分的B信号。
注意，此处已例示出了这样的估计技术：其中假设W像素值和B像素值的比率恒定，但也可使用其它利用了W像素值和B像素值之间的相关的估计技术。
还进行模糊未被校正的B信号Bl的计算处理。使用先前参考图17所说明的平滑化滤波器564来计算去除了噪声信号的W信号Wn。在这种情况下，7×7像素的输入信号551的要转换像素552是B像素。
仅将以要转换像素552的B像素位置为中心的5×5像素区域553中的要转换像素552周围的4个W像素乘以设定了滤波器系数的平滑化滤波器564的滤波器系数，以计算各乘积结果的加法值作为噪声已被去除的白(W)信号Wn。平滑化滤波器564的滤波器系数对要转换像素552和周围的W像素而设定成1/4。注意该滤波器系数仅是一例，也可以是使用其它系数的构成。
应用该噪声已被去除的W信号Wn以及W信号和B信号的低频成分mW和mB、按以下式来计算模糊未被校正的B信号Bl
Bl＝(mB/mW)Wn
注意该信号Bl不是应用了模糊已被校正的信号Wd的信号，而是相当于未使高频成分增强的B信号。
注意，此处已例示出了这样的估计技术：其中假设W像素值和B像素值的比率恒定，但也可使用其它利用了W像素值和B像素值之间的相关的估计技术。
加权相加处理部215根据要转换像素的边缘信息将这两个信号Bd和Bl相混合，并确定最终的B像素值。具体地，加权相加处理部215进行混合处理以至在不是平坦的纹理度高的边缘部分设定模糊已被校正的B信号Bd的比率为高，并在平坦部分设定模糊未被校正的B信号Bl的比率为高，从而确定最终的B像素值。该处理将在后面说明。
如以上所述，W位置G插值参数计算部211、G位置RB插值参数计算部212、R位置R插值参数计算部213和B位置B插值参数计算部214计算模糊已被校正的R、G和B信号Gd、Rd和Bd、以及模糊未被校正的R、G和B信号Gl、Rl和Bl。
接下来说明加权相加处理部215处的处理。加权相加处理部215应用从边缘检测部202输入的边缘信息来计算模糊已被校正的信号Gd、Rd和Bd、以及模糊未被校正的信号Gl、Rl和Bl这些各信号的加权平均值Gr、Rr和Br。加权相加处理部215所计算的Gr、Rr和Br对应于构成RGB阵列(拜尔阵列)182的各像素的RGB信号值。
在W位置G插值参数计算部211、G位置RB插值参数计算部212、R位置R插值参数计算部213和B位置B插值参数计算部214各自中计算的Gd、Rd和Bd是使用模糊校正处理部203作为受到模糊校正处理的W信号而生成的模糊已被校正的W信号(Wd)来计算的，因而是包含高频成分并还具有放大的噪声的信号。另一方面，Gl、Rl和Bl是由未进行模糊校正处理的W信号而计算的信号，因而是不含高频成分且噪声少的信号。
加权相加处理部215根据要转换像素的边缘信息来确定模糊已被校正的信号Gd、Rd和Bd以及模糊未被校正的信号Gl、Rl和Bl这些各信号的混合比率，以进行混合处理并确定最终的G、R和B像素值。具体地，在混合处理中，在不是平坦部的纹理更多的边缘部分提高模糊已被校正的信号Gd、Rd和Bd的比率，而在平坦部分提高模糊未被校正的信号Gl、Rl和Bl的比率，从而确定最终的G、R和B像素值。
尽管希望在边缘附近具有高频成分被复原的尖信号，但由于平坦部不含最初时的高频成分，因而希望噪声被抑制的信号。
因此，加权相加处理部215对于模糊已被校正的信号Gd、Rd和Bd以及模糊未被校正的信号Gl、Rl和Bl，按以下的算式对应于在边缘检测部202处计算的要处理像素的边缘信息(即平坦度(weightFlat))来进行加权平均处理，以计算设定至RGB阵列182的像素值Gr、Rr和Br。
Gr＝(weightFlat)×(Gd)+(1-weightFlat)×Gl
Br＝(weightFlat)×(Bd)+(1-weightFlat)×Bl
Rr＝(weightFlat)×(Rd)+(1-weightFlat)×Rl
将作为这些计算的结果而得到的Gr、Rr和Br设定为RGB阵列182的信号，并将其输出到RGB信号处理部250。根据该处理可一边抑制噪声振幅一边获得高分辨率的Gr、Rr和Br信号。
由加权相加处理部215所生成的Gr、Rr和Br信号构成的RGB阵列(拜尔阵列)182如图3和4所示那样提供给RGB信号处理部250。RGB信号处理部250与普通的照相机或图像处理装置中对RGB阵列(拜尔阵列)信号进行处理的信号处理部相同。RGB信号处理部250权相加处理部215输出的RGB阵列(拜尔阵列)182受到信号处理并生成彩色图像183(参见图3)。具体地，RGB信号处理部250进行白平衡调整处理、去马赛克处理、阴影处理、RGB色彩矩阵处理、γ校正处理等以生成彩色图像183。
尽管作为对图1B所示的RGBW阵列的处理例而说明了上述实施例，但本发明的实施例不限于该彩色阵列，而是还可应用于将含有采样率比色彩信号更高的W像素的各种彩色阵列转换成不含W像素的色彩信号阵列的转换处理。
[4.对RGBW阵列信号进行去马赛克处理的实施例]
上述实施例是这样的实施例：其中进行将RGBW阵列信号转换成根据现有技术的RGB阵列的重构马赛克处理，此后RGB信号处理部250进行使用与现有技术相同的RGB阵列(拜尔阵列)的去马赛克处理等，以生成彩色图像。以下说明这样的实施例：其中不进行将RGBW阵列信号转换成根据现有技术的RGB阵列的重构马赛克处理，而是对RGBW信号直接应用去马赛克处理以计算与RGBW信号中的像素对应的RGB像素值，以生成彩色图像。
图20是说明根据本实施例的摄像装置600的构造例的图。摄像装置600包括光学透镜105、摄像器件(图像传感器)110、信号处理部620、存储器130和控制部140。信号处理部620包括：进行去马赛克处理并生成第一彩色图像750的数据转换处理部700，以及对第一彩色图像750进行图像校正处理等的RGB信号处理部770。注意尽管图像处理装置的一种形态是摄像装置，但在例如PC等是图像处理装置的情况下，图像处理装置没有图20所示的摄像装置600的光学透镜105或摄像器件110，而由其它组件构成。
根据本实施例的摄像装置600和参考图3所说明的摄像装置100的差异在于信号处理部620这一构成。其它构成是相同的，因此将省略其说明。参考图21来说明信号处理部620的详细构成。信号处理部620包括：进行去马赛克处理以生成第一彩色图像750的数据转换处理部700，以及对第一彩色图像750进行图像校正处理等的RGB信号处理部770。
如图21所示，数据转换处理部700包括线存储器701、边缘检测部702、模糊校正处理部703和色彩相关重构马赛克处理部(数据转换部)710。色彩相关重构马赛克处理部(数据转换部)710包括W位置RGB插值参数计算部711、G位置RGB插值参数计算部712、R位置RGB插值参数计算部713、B位置RGB插值参数计算部714和加权相加处理部715。
从摄像器件110输出的信号暂时存储在线存储器701中。线存储器701具有摄像器件用的相当于7条水平线份量的线存储器，并从线存储器701并列地依次输出相当于7条水平线份量的数据。输出目的地是边缘检测部702、模糊校正处理部703和色彩相关重构马赛克处理部710。一次7条线的RGBW阵列181的摄像数据被输出至这些处理部。
边缘检测部702和模糊校正处理部703执行与参考图4在前一实施例中说明的边缘检测部202和模糊校正处理部203的处理相同的处理。边缘检测部702对来自线存储器701的输出信号所含的离散的白(W)信号进行检验，生成图像所含的(例如包含边缘方向和边缘强度的)边缘信息，例如平坦度信息(weightFlat)，并输出至色彩相关重构马赛克处理部710。
模糊校正处理部703对来自线存储器701的输出信号所含的离散的白(W)信号进行检验，进行用于减少图像模糊的处理，计算与作为处理结果而得到的全部像素对应的模糊校正白(W)信号Wd，并输出至色彩相关重构马赛克处理部710。
色彩相关重构马赛克处理部710输入来自线存储器701的输出信号中的RGBW信号、从边缘检测部702输出的边缘信息、以及与从模糊校正处理部703输出的全部像素对应的模糊校正白(W)信号Wd。于是色彩相关重构马赛克处理部710使用这些信息来进行RGBW彩色阵列的去马赛克处理，即进行生成与各像素对应的RGB信号的处理，并生成第一彩色图像750。
第一彩色图像750是对各像素设定了全部RGB像素值的彩色图像。该第一彩色图像750提供给RGB信号处理部770，受到例如白平衡调整处理、阴影处理、RGB色彩矩阵处理、γ校正处理等以生成第二彩色图像183。在本实施例中，由于数据转换处理部700进行RGBW图像的去马赛克处理，因而RGB信号处理部770不进行去马赛克处理。
数据转换处理部700的色彩相关重构马赛克处理部710包括W位置RGB插值参数计算部711、G位置RGB插值参数计算部712、R位置RGB插值参数计算部713、B位置RGB插值参数计算部714和加权相加处理部715。
W位置RGB插值参数计算部711计算这样的插值参数：该插值参数应用于设定在RGBW阵列所含的W像素位置处的RGB像素值的计算处理。G位置RGB插值参数计算部712计算这样的插值参数：该插值参数应用于设定在RGBW阵列所含的G像素位置处的RGB像素值的计算处理。R位置RGB插值参数计算部713计算这样的插值参数：该插值参数应用于设定在RGBW阵列所含的R像素位置处的RGB像素值的计算处理。而B位置RGB插值参数计算部714计算这样的插值参数：该插值参数应用于设定在RGBW阵列所含的B像素位置处的RGB像素值的计算处理。
由各处理部计算的插值参数是模糊已被校正的RGB信号(Rd、Gd和Bd)和模糊未被校正的RGB信号(Rl、Gl和Bl)。这些信号与在前一实施例中说明的信号具有相同性质。
参考图22和23来说明W位置RGB插值参数计算部711的处理。W位置RGB插值参数计算部711计算这样的插值参数：该插值参数应用于设定在RGBW阵列所含的W像素位置处的RGB像素值的计算处理。
数据转换处理部700的插值参数计算部711～714基本上与上述实施例同样方式地以7×7像素区域作为处理单位来执行处理。要被W位置RGB插值参数计算部711处理的数据以W像素作为7×7像素区域的中心像素，而计算模糊已被校正的RGB信号(Rd、Gd和Bd)和模糊未被校正的RGB信号(Rl、Gl和Bl)这些参数作为供计算与该中心像素的W像素位置对应的R、G和B像素值用的插值参数。
这些插值参数的计算式与先前的实施例中相同。即，在(作为RGBW阵列中亮度的主成分的)W信号对作为色彩成分的G、R和B信号的比率在局部以相同的比率保持这一假设的基础上来计算插值参数。具体地，如图22和23所示，使用
Rd＝(mR/mW)Wd
Rl＝(mR/mW)Wn
Gd＝(mG/mW)Wd
Gl＝(mG/mW)Wn
Bd＝(mB/mW)Wd
Bl＝(mB/mW)Wn
这些算式来计算6个插值参数Rd、Gd、Bd、Rl、Gl和Bl。注意尽管已例示出了这样的估计技术：其中假设W像素值和G像素值、R像素值或B像素值的比率恒定，但也可使用其它利用了W像素值和G像素值、R像素值或B像素值之间的相关的估计技术。
注意mW与上面参考图10所说明的相同，是W信号的低频成分。而Wn与上面参考图13所说明的相同，代表噪声已被去除的白(W)信号。另外，为削减运算成本也可以是原样使用从线存储器701输入的W信号的构成。注意mR是R信号的低频成分，mG是G信号的低频成分，而mB是B信号的低频成分。
图22和23示出了应用于这些值的计算的滤波器，即mW计算滤波器801、Wn计算滤波器802、mG计算滤波器811、814、821和824、mR计算滤波器812、815、822和825、以及mB计算滤波器813、816、823和826。
各滤波器中所示的灰色部分是与W像素对应的位置，而白色部分是与RGB像素对应的位置。各滤波器内的数值是滤波器系数，其中mW/Wn计算滤波器中示出滤波器系数的部分是与W像素对应的位置，mG计算滤波器中示出滤波器系数的部分是与G像素对应的位置，mR计算滤波器中示出滤波器系数的部分是与R像素对应的位置，而mB计算滤波器中示出滤波器系数的部分是与B像素对应的位置。
将这些滤波器应用于以要处理的W像素作为中心像素的7×7像素区域的输入信号。应用这些滤波器来计算mW、Wn、mG、mR和mB。用于这些值的计算的输入信号最好是未其它进行模糊校正处理的W信号。然而，为削减运算成本也可使用模糊校正处理部703所生成的模糊校正处理后的模糊已被校正的W信号Wd。而且，如图所示将3×3滤波器应用于Wn的计算，并可做出这样的配置：仅使以7×7像素区域的输入信号的中心像素为中心的3×3像素受到该处理。
图22和23所示的各滤波器是在W位置RGB插值参数计算部711中应用的滤波器，也是对以求得RGB像素值的W像素作为中心像素的7×7像素区域的输入信号所应用的滤波器。而且，图22和23底部所示的mG计算滤波器、mR计算滤波器和mB计算滤波器各自随所输入的要处理的7×7像素区域的像素排布而具有不同的所应用的滤波器构成。
图22和23根据要处理的7×7像素区域的中心像素W的周围像素的排布，针对以下4种要处理的数据，示出了滤波器构成。此处
(a)代表中心像素W的左边的像素是G像素、右边的像素是B像素的情况，
(b)代表中心像素W的左边的像素是G像素、右边的像素是R像素的情况，
(c)代表中心像素W的右边的像素是G像素、上边的像素是B像素的情况，而
(d)代表中心像素W的右边的像素是G像素、上边的像素是R像素的情况。
W位置RGB插值参数计算部711对以W像素为中心像素的7×7像素区域的输入信号，应用图22和23所示的各滤波器来计算mW、Wn、mG、mR和mB各值。7×7像素的输入信号的各像素值乘以各滤波器的对应像素位置处的滤波器系数，将各乘积结果相加并计算mW、Wn、mG、mR和mB各值。
假设通过各滤波器的应用所计算出的mW、Wn、mG、mR和mB的比率保持在图像内的局部区域中。根据该假设，根据下式来计算6个插值参数Rd、Gd、Bd、Rl、Gl和Bl。
Rd＝(mR/mW)Wd
Rl＝(mR/mW)Wn  
Gd＝(mG/mW)Wd
Gl＝(mG/mW)Wn
Bd＝(mB/mW)Wd
Bl＝(mB/mW)Wn
注意尽管已例示出了这样的估计技术：其中假设W像素值和G像素值、R像素值或B像素值的比率恒定，但也可使用其它利用了W像素值和G像素值、R像素值或B像素值之间的相关的估计技术。
加权相加处理部715根据要转换像素的边缘信息来确定Rd和Rl之间的混合比率、Gd和Gl之间的混合比率、以及Bd和Bl之间的混合比率，并进而通过Rd和Rl之间的混合处理来确定最终的R像素值，通过Gd和Gl之间的混合处理来确定最终的G像素值，以及通过Bd和Bl之间的混合处理来确定最终的B像素值。
具体地，进行这样的混合处理：其中在不是平坦部的纹理更多的边缘部分提高模糊已被校正的RGB信号Rd、Gd和Bd的比率，而在平坦部分提高模糊未被校正的RGB信号Rl、Gl和Bl的比率，从而确定最终的RGB像素值。
加权相加处理部715根据已在边缘检测部202处计算出的要处理像素的边缘信息(即平坦度(weightFlat))来进行加权平均处理，并计算RGBW阵列181中的W像素位置的R、G和B的各像素值。具体地，按下式确定RGB像素值。
R＝(weightFlat)×(Rd)+(1-weightFlat)×Rl
G＝(weightFlat)×(Gd)+(1-weightFlat)×Gl
B＝(weightFlat)×(Bd)+(1-weightFlat)×Bl
将作为这些式的计算结果而得到的R、G和B确定为RGBW阵列181中的W像素位置的RGB的各像素值。
接下来，参考图24来说明G位置RGB插值参数计算部712的处理。G位置RGB插值参数计算部712计算这样的插值参数：该插值参数应用于设定在RGBW阵列所含的G像素位置处的RGB像素值的计算处理。
要被G位置RGB插值参数计算部712处理的数据以G像素作为7×7像素区域的中心像素，而计算模糊已被校正的RGB信号(Rd、Gd和Bd)和模糊未被校正的RGB信号(Rl、Gl和Bl)这些参数作为供计算与该中心像素的G像素位置对应的R、G和B像素值用的插值参数。
这些插值参数的计算式与先前的实施例中相同。即，在(作为RGBW阵列中亮度的主成分的)W信号对作为色彩成分的G、R和B信号的比率在局部以相同的比率保持这一假设的基础上来计算插值参数。具体地，如图24所示，使用
Rd＝(mR/mW)Wd
Rl＝(mR/mW)Wn
Gd＝(mG/mW)Wd
Gl＝(mG/mW)Wn
Bd＝(mB/mW)Wd
Bl＝(mB/mW)Wn
这些算式来计算6个插值参数Rd、Gd、Bd、Rl、Gl和Bl。注意尽管已例示出了这样的估计技术：其中假设W像素值和G像素值、R像素值或B像素值的比率恒定，但也可使用其它利用了W像素值和G像素值、R像素值或B像素值之间的相关的估计技术。
此处mW代表W信号的低频成分，Wn代表噪声已被去除的W信号，mR代表R信号的低频成分，mG代表G信号的低频成分，而mB代表B信号的低频成分。
图24示出了应用于这些值的计算的滤波器，即mW计算滤波器831、Wn计算滤波器832、mG计算滤波器841和844、mR计算滤波器842和845、以及mB计算滤波器843和846。各滤波器中所示的灰色部分是与W像素对应的位置，而白色部分是与RGB像素对应的位置。各滤波器内的数值是滤波器系数，其中mW/Wn计算滤波器中示出滤波器系数的部分是与W像素对应的位置，mG计算滤波器中示出滤波器系数的部分是与G像素对应的位置，mR计算滤波器中示出滤波器系数的部分是与R像素对应的位置，而mB计算滤波器中示出滤波器系数的部分是与B像素对应的位置。
将这些滤波器应用于以要处理的G像素作为中心像素的7×7像素区域的输入信号。应用这些滤波器来计算mW、Wn、mG、mR和mB。用于这些值的计算的输入信号最好是未其它进行模糊校正处理的W信号。然而，为削减运算成本也可使用模糊校正处理部703所生成的模糊校正处理后的模糊已被校正的W信号Wd。而且，如图所示将3×3滤波器应用于Wn的计算，并可做出这样的配置：仅使以7×7像素区域的输入信号的中心像素为中心的3×3像素受到该处理。
图24所示的各滤波器是在G位置RGB插值参数计算部712中应用的滤波器，也是对以求得RGB像素值的G像素作为中心像素的7×7像素区域的输入信号所应用的滤波器。而且，图24底部所示的mG计算滤波器、mR计算滤波器和mB计算滤波器各自随所输入的要处理的7×7像素区域的像素排布而具有不同的所应用的滤波器构成。
图24根据要处理的7×7像素区域的中心像素W的周围像素的排布，示出了滤波器构成。此处示出对以下2种要处理的数据所应用的滤波器，即
(a)代表中心像素G的从左上到右下的斜线上是R像素的情况，而
(b)代表中心像素G的从左上到右下的斜线上是B像素的情况。
G位置RGB插值参数计算部712对以G像素为中心像素的7×7像素区域的输入信号，应用图24所示的各滤波器来计算mW、Wn、mG、mR和mB各值。7×7像素的输入信号的各像素值乘以各滤波器的对应像素位置处的滤波器系数，将各乘积结果相加并计算mW、Wn、mG、mR和mB各值。
假设通过各滤波器的应用所计算出的mW、Wn、mG、mR和mB的比率保持在图像内的局部区域中。根据该假设，根据下式来计算6个插值参数Rd、Gd、Bd、Rl、Gl和Bl。
Rd＝(mR/mW)Wd
Rl＝(mR/mW)Wn
Gd＝(mG/mW)Wd
Gl＝(mG/mW)Wn
Bd＝(mB/mW)Wd
Bl＝(mB/mW)Wn
注意尽管已例示出了这样的估计技术：其中假设W像素值和G像素值、R像素值或B像素值的比率恒定，但也可使用其它利用了W像素值和G像素值、R像素值或B像素值之间的相关的估计技术。
加权相加处理部715根据要转换像素的边缘信息来确定Rd和Rl之间的混合比率、Gd和Gl之间的混合比率、以及Bd和Bl之间的混合比率，并进而通过Rd和Rl之间的混合处理来确定最终的R像素值，通过Gd和Gl之间的混合处理来确定最终的G像素值，以及通过Bd和Bl之间的混合处理来确定最终的B像素值。
具体地，进行这样的混合处理：其中在不是平坦部的纹理更多的边缘部分提高模糊已被校正的RGB信号Rd、Gd和Bd的比率，而在平坦部分提高模糊未被校正的RGB信号Rl、Gl和Bl的比率，从而确定最终的RGB像素值。
加权相加处理部715根据已在边缘检测部202处计算出的要处理像素的边缘信息(即平坦度(weightFlat))来进行加权平均处理，并计算RGBW阵列181中的G像素位置的R、G和B的各像素值。具体地，按下式确定RGB像素值。
R＝(weightFlat)×(Rd)+(1-weightFlat)×Rl
G＝(weightFlat)×(Gd)+(1-weightFlat)×Gl
B＝(weightFlat)×(Bd)+(1-weightFlat)×Bl
将作为这些式的计算结果而得到的R、G和B确定为RGBW阵列181中的G像素位置的RGB的各像素值。
接下来，参考图25来说明R位置RGB插值参数计算部713的处理。R位置RGB插值参数计算部713计算这样的插值参数：该插值参数应用于设定在RGBW阵列所含的R像素位置处的RGB像素值的计算处理。
要被R位置RGB插值参数计算部713处理的数据以R像素作为7×7像素区域的中心像素，而计算模糊已被校正的RGB信号(Rd、Gd和Bd)和模糊未被校正的RGB信号(Rl、Gl和Bl)这些参数作为供计算与该中心像素的R像素位置对应的R、G和B像素值用的插值参数。这些插值参数的计算式与先前所说明的实施例中相同。
与先前的实施例中所说明的相同，在(作为RGBW阵列中亮度的主成分的)W信号对作为色彩成分的G、R和B信号的比率在局部以相同的比率保持这一假设的基础上来计算插值参数。具体地，如图25所示，使用
Rd＝(mR/mW)Wd
Rl＝(mR/mW)Wn
Gd＝(mG/mW)Wd
Gl＝(mG/mW)Wn
Bd＝(mB/mW)Wd
Bl＝(mB/mW)Wn
这些算式来计算6个插值参数Rd、Gd、Bd、Rl、Gl和Bl。注意尽管已例示出了这样的估计技术：其中假设W像素值和G像素值、R像素值或B像素值的比率恒定，但也可使用其它利用了W像素值和G像素值、R像素值或B像素值之间的相关的估计技术。
此处mW代表W信号的低频成分，Wn代表噪声已被去除的W信号，mR代表R信号的低频成分，mG代表G信号的低频成分，而mB代表B信号的低频成分。
图25示出了应用于这些值的计算的滤波器，即mW计算滤波器831、Wn计算滤波器832、mG计算滤波器851、mR计算滤波器852、以及mB计算滤波器853。各滤波器中所示的灰色部分是与W像素对应的位置，而白色部分是与RGB像素对应的位置。各滤波器内的数值是滤波器系数，其中mG计算滤波器中示出滤波器系数的部分是与G像素对应的位置，mR计算滤波器中示出滤波器系数的部分是与R像素对应的位置，而mB计算滤波器中示出滤波器系数的部分是与B像素对应的位置。
将这些滤波器应用于以要处理的R像素作为中心像素的7×7像素区域的输入信号。应用这些滤波器来计算mW、Wn、mG、mR和mB。用于这些值的计算的输入信号最好是未其它进行模糊校正处理的W信号。然而，为削减运算成本也可使用模糊校正处理部703所生成的模糊校正处理后的模糊已被校正的W信号Wd。而且，如图所示将3×3滤波器应用于Wn的计算，并可做出这样的配置：仅使以7×7像素区域的输入信号的中心像素为中心的3×3像素受到该处理。
图25所示的各滤波器是在R位置RGB插值参数计算部713中应用的滤波器，也是对以求得RGB像素值的R像素作为中心像素的7×7像素区域的输入信号所应用的滤波器。
R位置RGB插值参数计算部713对以R像素为中心像素的7×7像素区域的输入信号，应用图25所示的各滤波器来计算mW、Wn、mG、mR和mB各值。7×7像素的输入信号的各像素值乘以各滤波器的对应像素位置处的滤波器系数，将各乘积结果相加并计算mW、Wn、mG、mR和mB各值。
假设通过各滤波器的应用所计算出的mW、Wn、mG、mR和mB的比率保持在图像内的局部区域中。根据该假设，根据下式来计算6个插值参数Rd、Gd、Bd、Rl、Gl和Bl。
Rd＝(mR/mW)Wd
Rl＝(mR/mW)Wn
Gd＝(mG/mW)Wd
Gl＝(mG/mW)Wn
Bd＝(mB/mW)Wd
Bl＝(mB/mW)Wn
注意尽管已例示出了这样的估计技术：其中假设W像素值和G像素值、R像素值或B像素值的比率恒定，但也可使用其它利用了W像素值和G像素值、R像素值或B像素值之间的相关的估计技术。
加权相加处理部715根据要转换像素的边缘信息来确定Rd和Rl之间的混合比率、Gd和Gl之间的混合比率、以及Bd和Bl之间的混合比率，并进而通过Rd和Rl之间的混合处理来确定最终的R像素值，通过Gd和Gl之间的混合处理来确定最终的G像素值，以及通过Bd和Bl之间的混合处理来确定最终的B像素值。
具体地，进行这样的混合处理：其中在不是平坦部的纹理更多的边缘部分提高模糊已被校正的RGB信号Rd、Gd和Bd的比率，而在平坦部分提高模糊未被校正的RGB信号Rl、Gl、Bl的比率，从而确定最终的RGB像素值。
加权相加处理部715根据已在边缘检测部202处计算出的要处理像素的边缘信息(即平坦度(weightFlat))来进行加权平均处理，并计算RGBW阵列181中的R像素位置的R、G和B的各像素值。具体地，按下式确定RGB像素值。
R＝(weightFlat)×(Rd)+(1-weightFlat)×Rl
G＝(weightFlat)×(Gd)+(1-weightFlat)×Gl
B＝(weightFlat)×(Bd)+(1-weightFlat)×Bl
将作为这些式的计算结果而得到的R、G和B确定为RGBW阵列181中的R像素位置的RGB的各像素值。
接下来，参考图26来说明B位置RGB插值参数计算部714的处理。B位置RGB插值参数计算部714计算这样的插值参数：该插值参数应用于设定在RGBW阵列所含的B像素位置处的RGB像素值的计算处理。
要被B位置RGB插值参数计算部714处理的数据以B像素作为7×7像素区域的中心像素，而计算模糊已被校正的RGB信号(Rd、Gd和Bd)和模糊未被校正的RGB信号(Rl、Gl和Bl)这些参数作为供计算与该中心像素的B像素位置对应的R、G和B像素值用的插值参数。这些插值参数的计算式与先前所说明的实施例中相同。
与先前的实施例中所说明的相同，在(作为RGBW阵列中亮度的主成分的)W信号对作为色彩成分的G、R和B信号的比率在局部以相同的比率保持这一假设的基础上来计算插值参数。具体地，如图26所示，使用
Rd＝(mR/mW)Wd
Rl＝(mR/mW)Wn
Gd＝(mG/mW)Wd
Gl＝(mG/mW)Wn
Bd＝(mB/mW)Wd
Bl＝(mB/mW)Wn
这些算式来计算6个插值参数Rd、Gd、Bd、Rl、Gl和Bl。注意尽管已例示出了这样的估计技术：其中假设W像素值和G像素值、R像素值或B像素值的比率恒定，但也可使用其它利用了W像素值和G像素值、R像素值或B像素值之间的相关的估计技术。
此处mW代表W信号的低频成分，Wn代表噪声已被去除的W信号，mR代表R信号的低频成分，mG代表G信号的低频成分，而mB代表B信号的低频成分。
图26示出了应用于这些值的计算的滤波器，即mW计算滤波器831、Wn计算滤波器832、mG计算滤波器861、mR计算滤波器862、以及mB计算滤波器863。各滤波器中所示的灰色部分是与W像素对应的位置，而白色部分是与RGB像素对应的位置。各滤波器内的数值是滤波器系数，其中mG计算滤波器中示出滤波器系数的部分是与G像素对应的位置，mR计算滤波器中示出滤波器系数的部分是与R像素对应的位置，而mB计算滤波器中示出滤波器系数的部分是与B像素对应的位置。
将这些滤波器应用于以要处理的R像素作为中心像素的7×7像素区域的输入信号。应用这些滤波器来计算mW、Wn、mG、mR和mB。用于这些值的计算的输入信号最好是未其它进行模糊校正处理的W信号。然而，为削减运算成本也可使用模糊校正处理部703所生成的模糊校正处理后的模糊已被校正的W信号Wd。而且，如图所示将3×3滤波器应用于Wn的计算，并可做出这样的配置：仅使以7×7像素区域的输入信号的中心像素为中心的3×3像素受到该处理。
图26所示的各滤波器是在B位置RGB插值参数计算部714中应用的滤波器，也是对以求得RGB像素值的B像素作为中心像素的7×7像素区域的输入信号所应用的滤波器。
B位置RGB插值参数计算部714对以R像素为中心像素的7×7像素区域的输入信号，应用图26所示的各滤波器来计算mW、Wn、mG、mR和mB各值。7×7像素的输入信号的各像素值乘以各滤波器的对应像素位置处的滤波器系数，将各乘积结果相加并计算mW、Wn、mG、mR和mB各值。
假设通过各滤波器的应用所计算出的mW、Wn、mG、mR和mB的比率保持在图像内的局部区域中。根据该假设，根据下式来计算6个插值参数Rd、Gd、Bd、Rl、Gl和Bl。
Rd＝(mR/mW)Wd
Rl＝(mR/mW)Wn
Gd＝(mG/mW)Wd
Gl＝(mG/mW)Wn
Bd＝(mB/mW)Wd
Bl＝(mB/mW)Wn
注意尽管已例示出了这样的估计技术：其中假设W像素值和G像素值、R像素值或B像素值的比率恒定，但也可使用其它利用了W像素值和G像素值、R像素值或B像素值之间的相关的估计技术。
加权相加处理部715根据要转换像素的边缘信息来确定Rd和Rl之间的混合比率、Gd和Gl之间的混合比率、以及Bd和Bl之间的混合比率，并进而通过Rd和Rl之间的混合处理来确定最终的R像素值，通过Gd和Gl之间的混合处理来确定最终的G像素值，以及通过Bd和Bl之间的混合处理来确定最终的B像素值。
具体地，进行这样的混合处理：其中在不是平坦部的纹理更多的边缘部分提高模糊已被校正的RGB信号Rd、Gd和Bd的比率，而在平坦部分提高模糊未被校正的RGB信号Rl、Gl和Bl的比率，从而确定最终的RGB像素值。
加权相加处理部715根据已在边缘检测部202处计算出的要处理像素的边缘信息(即平坦度(weightFlat))来进行加权平均处理，并计算RGBW阵列181中的B像素位置的R、G和B的各像素值。具体地，按下式确定RGB像素值。
R＝(weightFlat)×(Rd)+(1-weightFlat)×Rl
G＝(weightFlat)×(Gd)+(1-weightFlat)×Gl
B＝(weightFlat)×(Bd)+(1-weightFlat)×Bl
将作为这些式的计算结果而得到的R、G和B确定为RGBW阵列181中的B像素位置的RGB的各像素值。
像这样，根据本实施例，色彩相关重构马赛克处理部710设定与RGBW阵列的各RGBW像素位置对应的RGB信号。结果，可生成图20和21所示的第一彩色图像750并将其提供给RGB信号处理部770。RGB信号处理部770不进行去马赛克处理，而是进行其它图像处理，如白平衡调整处理、阴影处理、RGB色彩矩阵处理、γ校正处理等，以生成最终的彩色图像。
在本实施例的处理中，由于是从形成RGBW阵列的同一W信号生成RGB信号，因而R、G和B各渠道中的噪声特性中存在正的相关。由此有抑制噪声的着色的有益效果。
而且，在一般的图像信号处理中，进行为改善色彩可再生性的色彩矩阵运算。例如，进行应用了以下矩阵的RGB信号转换处理等。
R ′ G ′ B ′ = 1.58 - 0.57 - 0.01 - 0.31 1.44 - 0.31 - 0.11 - 0.48 1.59 R G B
在R、G和B之间的噪声成分中无相关的情况下，随着该处理、在加法和减法运算这两种情况下噪声都增加。另一方面，在R、G和B各渠道中的噪声中存在正的相关的情况下，在色彩矩阵运算中在减法处理中噪声成分被同样地减去，因此有可抑制SN比的恶化的有益效果。
参考图27A～27C来总结在本实施例中进行的RGBW阵列信号的去马赛克处理的优点。图27A示出了色彩矩阵运算前的噪声的影响，图27B示出了色彩矩阵的一例，图27C示出了色彩矩阵运算后的最终的像素值中的噪声的影响。
标出图27A所示的色彩矩阵运算前的噪声的影响，其中形成RGBW阵列的W信号是由噪声成分N和去除了噪声的W信号(Wsig)构成，记作
W＝Wsig+N
在本实施例的处理中，从形成RGBW阵列的同一W信号生成RGB信号，结果RGB各渠道中的噪声特性是共通的，都存在正的相关，如图27A所示，
R＝(mR/mW)W＝(mR/mW)(Wsig+N)
G＝(mG/mW)W＝(mG/mW)(Wsig+N)
B＝(mB/mW)W＝(mB/mW)(Wsig+N)
可见，RGB各渠道中的噪声特性中存在正的相关，因此有抑制噪声分量的着色的优点。
图27B示出了应用于为改善色彩可再生性的色彩矩阵运算的色彩矩阵。图27C示出了由该色彩矩阵所成的运算结果。运算结果中的残留的噪声是
Rnoise＝(N/mW)(1.58×mR-0.57×mG-0.01mB)
Gnoise＝(N/mW)(-0.31×mR+1.44×mG-0.13mB)
Bnoise＝(N/mW)(-0.11×mR-0.48×mG+1.59mB)
从而减去了噪声成分，结果可抑制SN比的恶化。
[5.根据实施例的处理的有益效果]
下面总结一下应用了本发明的实施例的处理的有益效果。这些有益效果包括：
1.利用具有白(W)像素的摄像器件实现了高敏感度，这样可减少噪声；
2.以低成本实现的透镜像差可抑制因色彩成分的采样率低而引起的伪色的出现；
3.透镜像差还可抑制因色彩相关的失衡而引起的伪色的出现；
4.设计(在奈奎斯特频率或更高的空间频率区域中具有足以能够校正的信号电平的)光学透镜、以使模糊已被校正的信号处理中可得到充分的效果，这使得可通过在透镜数据的基础上的模糊已被校正的信号处理来获得高分辨率特性；
5.对作为亮度信号的主成分的白(W)信号应用模糊校正处理而生成模糊已被校正的W信号(Wd)并应用该模糊已被校正的W信号(Wd)对色彩成分进行插值，这使得以低成本在全部渠道中得到高分辨率特性。
尽管已参考特定的实施例说明了本发明的实施例，但本领域的技术人员应清楚：不脱离本发明的主旨而可做出各种修改和替代。即，本发明是以实施例的形式示例性地公开的，而不应被限制性地解释。对本发明的范围所作的任何解释都应遵照权利要求。
而且，在本说明书中说明的一系列的处理可由硬件、软件或两者的组合来实现。在由软件来执行处理的情况下，可将记录有处理顺序的程序安装在内置于专用硬件的计算机内的存储器中并执行，或可将程序安装在能够执行各种处理的通用计算机中并执行。例如，程序可预先记录在记录媒介中。或者，可经过LAN(局域网)或因特网这样的网络来接收程序，并将该程序安装在内置的硬盘等记录媒介中。
注意，在本说明书中记载的各种处理不限于按所记载的时间顺序来执行，而是也可依执行处理的装置的处理能力或按需要而并列地或单个地执行。而且，在本说明书中使用的术语“系统”是指多部装置的逻辑上的集体构造，而各构造的装置不必一定处在同一箱体内。
本发明包含与在2009年8月31日向日本专利局提交的日本优先权特愿2009-199399中公开的主旨相关的主旨，其全部内容通过引用而全部合并于此。
本领域的技术人员应理解：依设计需求和其它有关因素，可出现各种修改、合并、下级合并和替换，它们全部落入所附权利要求或其等价的范围内。

Claims (16)

1.一种图像处理装置，包括：
模糊校正处理部，所述模糊校正处理部被配置成
对具有包括RGB像素和白(W)像素在内的RGBW阵列的摄像器件的输出信号进行模糊校正处理，并且
生成与各像素对应的模糊已被校正的信号；以及
数据转换部，所述数据转换部被配置成将所述RGBW阵列转换成RGB阵列；
其中所述数据转换部执行这样的处理：
生成模糊已被校正的RGB信号(Rd，Gd，Bd)即与根据所述模糊校正处理部所生成的模糊已被校正的信号估计出的RGB对应的模糊已被校正的信号，以及
应用所述模糊已被校正的RGB信号(Rd，Gd，Bd)来确定构成RGB阵列的RGB信号值。
2.一种图像处理装置，包括：
模糊校正处理部，所述模糊校正处理部被配置成
对具有包括RGB像素和白(W)像素在内的RGBW阵列的摄像器件的输出信号进行模糊校正处理，并且
生成与各像素对应的模糊已被校正的信号；以及
数据转换部，所述数据转换部被配置成执行由所述RGBW阵列构成的马赛克信号的去马赛克处理，并生成其中与各像素对应的全部RGB信号值都已被确定的彩色图像；
其中所述数据转换部执行这样的处理：
生成模糊已被校正的RGB信号(Rd，Gd，Bd)即与根据所述模糊校正处理部所生成的模糊已被校正的信号估计出的RGB对应的模糊已被校正的信号，以及
应用所述模糊已被校正的RGB信号(Rd，Gd，Bd)来确定与构成彩色图像的各像素对应的全部RGB信号值。
3.根据权利要求1或2所述的图像处理装置，进一步包括：
边缘检测部，所述边缘检测部被配置成
对具有包括RGB像素和白(W)像素在内的RGBW阵列的摄像器件的输出信号进行分析，并且
生成包含与各像素对应的边缘强度信息在内的边缘信息；其中所述数据转换部被配置成
计算未应用模糊校正处理的信号，即模糊未被校正的RGB信号(Rl，Gl，Bl)，并且
通过所述模糊已被校正的RGB信号和所述模糊未被校正的RGB信号的混合处理来进行构成RGB阵列或彩色图像的RGB信号值的确定处理；
并且其中通过执行这样的混合处理：
在根据所述边缘信息判断为边缘强度大的像素位置处增高模糊已被校正的RGB信号的混合比率，并且
在判断为边缘强度小的像素位置处增高模糊未被校正的RGB信号的混合比率，
来进行RGB信号值的确定处理。
4.根据权利要求1～3中的任一项所述的图像处理装置，其中
所述模糊校正处理部仅对所述摄像器件的输出信号所含的W信号执行模糊校正处理，以生成与各像素对应的模糊已被校正的W信号(Wd)；并且
所述数据转换部基于在图像的局部区域处W信号和RGB信号之间存在正的相关这一假设，根据所述模糊已被校正的W信号(Wd)计算所述模糊已被校正的RGB信号。
5.根据权利要求3所述的图像处理装置，其中所述数据转换部
应用所述摄像器件的输出信号所含的W信号来生成与各像素对应的噪声已被去除的W信号(Wn)；并且
根据所述噪声已被去除的W信号(Wn)计算所述模糊未被校正的RGB信号。
6.根据权利要求3～5中的任一项所述的图像处理装置，其中所述边缘检测部被配置成
根据仅应用了所述摄像器件的输出信号所含的W信号的边缘检测处理来生成与各像素对应的边缘信息；并且
通过计算要处理的像素附近的W像素的信号值梯度来生成包含边缘强度和边缘方向在内的边缘信息。
7.根据权利要求3～5中的任一项所述的图像处理装置，
其中所述边缘检测部被配置成
根据仅应用了所述摄像器件的输出信号所含的W信号的边缘检测处理来生成与各像素对应的边缘信息；并且
计算要处理的像素附近的W像素信号的梯度绝对值的平均的加权相加值，应用所述加权相加值来计算平坦度(weightFlat)，并将所述平坦度(weightFlat)输出至所述数据转换部；
并且其中所述数据转换部应用所述平坦度(weightFlat)来确定所述模糊已被校正的RGB信号和所述模糊未被校正的RGB信号的混合比率。
8.根据权利要求3～7中的任一项所述的图像处理装置，所述模糊校正处理部可被配置成对于所述摄像器件的输出信号所含的W信号通过维纳滤波器的卷积运算而生成所述模糊已被校正的W信号(Wd)；
其中，对于所述摄像器件的输出信号所含的RGB像素位置，根据所述边缘检测部所生成的边缘信息所含的边缘方向来确定参考W像素，通过应用了所述参考W像素的信号值的插值处理来确定插值W信号值，并对于所述插值W信号通过所述维纳滤波器的卷积运算来生成模糊已被校正的W信号(Wd)。
9.根据权利要求1～8中的任一项所述的图像处理装置，进一步包括：
光学透镜；以及
摄像器件，所述摄像器件具有所述RGBW阵列，所述RGBW阵列作为被配置成接收经过所述光学透镜的入射光的受光部。
10.根据权利要求9所述的图像处理装置，其中所述光学透镜具有这样的透镜像差：其被配置成使得在所述摄像器件的RGBW阵列中对于各色彩成分不产生超出其奈奎斯特频率的信号成分。
11.一种利用图像处理装置进行图像信号处理的图像处理方法，所述方法包括以下步骤：
模糊校正处理部对具有包括RGB像素和白(W)像素在内的RGBW阵列的摄像器件的输出信号进行模糊校正处理，并生成与各像素对应的模糊已被校正的信号；以及
数据转换部将所述RGBW阵列转换成RGB阵列；
其中所述转换包括以下处理：
生成模糊已被校正的RGB信号(Rd，Gd，Bd)即与根据在所述模糊校正处理中生成的模糊已被校正的信号估计出的RGB对应的模糊已被校正的信号，以及
应用所述模糊已被校正的RGB信号(Rd，Gd，Bd)来确定构成RGB阵列的RGB信号值。
12.一种利用图像处理装置进行图像信号处理的图像处理方法，所述方法包括以下步骤：
模糊校正处理部对具有包括RGB像素和白(W)像素在内的RGBW阵列的摄像器件的输出信号进行模糊校正处理，并生成与各像素对应的模糊已被校正的信号；以及
数据转换部通过执行由所述RGBW阵列构成的马赛克信号的去马赛克处理、并生成其中与各像素对应的全部RGB信号值都已被确定的彩色图像，来转换所述马赛克信号；
其中所述转换包括以下处理：
生成模糊已被校正的RGB信号(Rd，Gd，Bd)即与根据在所述模糊校正处理中生成的模糊已被校正的信号估计出的RGB对应的模糊已被校正的信号，以及
应用所述模糊已被校正的RGB信号(Rd，Gd，Bd)来确定与构成彩色图像的各像素对应的全部RGB信号值。
13.根据权利要求11或12所述的图像处理方法，进一步包括以下步骤：
边缘检测部对具有包括RGB像素和白(W)像素在内的RGBW阵列的摄像器件的输出信号进行分析，并生成包含与各像素对应的边缘强度信息在内的边缘信息；
其中所述转换包括RGB信号值确定，所述RGB信号值确定进一步包括
计算未应用模糊校正处理的信号即模糊未被校正的RGB信号(Rl，Gl，Bl)，并且
通过所述模糊已被校正的RGB信号和所述模糊未被校正的RGB信号的混合处理来进行构成RGB阵列或彩色图像的RGB信号值的确定处理；
并且其中通过执行这样的混合处理：
在根据所述边缘信息判断为边缘强度大的像素位置处增高模糊已被校正的RGB信号的混合比率，并且
在判断为边缘强度小的像素位置处增高模糊未被校正的RGB信号的混合比率，
来进行所述RGB信号值确定。
14.一种使图像处理装置执行图像信号处理的程序，所述程序包括以下步骤：
模糊校正处理部对具有包括RGB像素和白(W)像素在内的RGBW阵列的摄像器件的输出信号进行模糊校正处理，并生成与各像素对应的模糊已被校正的信号；以及
数据转换部将所述RGBW阵列转换成RGB阵列；
其中所述转换包括以下处理：
生成模糊已被校正的RGB信号(Rd，Gd，Bd)即与根据在所述模糊校正处理中生成的模糊已被校正的信号估计出的RGB对应的模糊已被校正的信号，以及
应用所述模糊已被校正的RGB信号(Rd，Gd，Bd)来确定构成RGB阵列的RGB信号值。
15.一种使图像处理装置执行图像信号处理的程序，所述程序包括以下步骤：
模糊校正处理部对具有包括RGB像素和白(W)像素在内的RGBW阵列的摄像器件的输出信号进行模糊校正处理，并生成与各像素对应的模糊已被校正的信号；以及
数据转换部通过执行由所述RGBW阵列构成的马赛克信号的去马赛克处理、并生成其中与各像素对应的全部RGB信号值都已被确定的彩色图像，来转换所述马赛克信号；
其中所述转换包括以下处理：
生成模糊已被校正的RGB信号(Rd，Gd，Bd)即与根据在所述模糊校正处理中生成的模糊已被校正的信号估计出的RGB对应的模糊已被校正的信号，以及
应用所述模糊已被校正的RGB信号(Rd，Gd，Bd)来确定与构成彩色图像的各像素对应的全部RGB信号值。
16.根据权利要求14或15所述的程序，进一步包括以下步骤：
边缘检测部对具有包括RGB像素和白(W)像素在内的RGBW阵列的摄像器件的输出信号进行分析，并生成包含与各像素对应的边缘强度信息在内的边缘信息；
其中所述转换包括RGB信号值确定，所述RGB信号值确定进一步包括
计算未应用模糊校正处理的信号即模糊未被校正的RGB信号(Rl，Gl，Bl)，并且
通过所述模糊已被校正的RGB信号和所述模糊未被校正的RGB信号的混合处理来进行构成RGB阵列或彩色图像的RGB信号值的确定处理；
并且其中通过执行这样的混合处理：
在根据所述边缘信息判断为边缘强度大的像素位置处增高模糊已被校正的RGB信号的混合比率，并且
在判断为边缘强度小的像素位置处增高模糊未被校正的RGB信号的混合比率，
来进行所述RGB信号值确定。
CN2010102641079A 2009-08-31 2010-08-24 图像处理装置和图像处理方法 Active CN102006484B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009199339A JP5326943B2 (ja) 2009-08-31 2009-08-31 画像処理装置、および画像処理方法、並びにプログラム
JP2009-199339 2009-08-31

Publications (2)

Publication Number Publication Date
CN102006484A true CN102006484A (zh) 2011-04-06
CN102006484B CN102006484B (zh) 2013-06-26

Family

ID=43217199

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010102641079A Active CN102006484B (zh) 2009-08-31 2010-08-24 图像处理装置和图像处理方法

Country Status (5)

Country Link
US (1) US8314863B2 (zh)
EP (1) EP2302900B1 (zh)
JP (1) JP5326943B2 (zh)
KR (1) KR101703354B1 (zh)
CN (1) CN102006484B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103250180A (zh) * 2011-06-24 2013-08-14 乐天株式会社 图像提供装置、图像处理方法、图像处理程序以及记录介质
CN103312962A (zh) * 2012-03-14 2013-09-18 富士胶片株式会社 图像公开装置、图像公开方法以及图像公开系统
CN103765876A (zh) * 2011-08-31 2014-04-30 索尼公司 图像处理设备以及图像处理方法和程序
CN104067611A (zh) * 2012-01-24 2014-09-24 索尼公司 图像处理设备、图像处理方法及程序
CN104170376A (zh) * 2012-03-27 2014-11-26 索尼公司 图像处理设备、成像装置、图像处理方法及程序
CN104217416A (zh) * 2013-05-31 2014-12-17 富士通株式会社 灰度图像处理方法及其装置
CN104247409A (zh) * 2012-04-24 2014-12-24 索尼公司 图像处理装置、图像处理方法以及程序
CN108650497A (zh) * 2012-03-19 2018-10-12 普廷数码影像控股公司 具有透明滤波器像素的成像系统
CN108702494A (zh) * 2016-03-09 2018-10-23 索尼公司 图像处理装置、成像装置、图像处理方法和程序
CN111757006A (zh) * 2020-07-08 2020-10-09 Oppo广东移动通信有限公司 图像获取方法、摄像头组件及移动终端
CN112167074A (zh) * 2020-10-14 2021-01-05 北京科技大学 一种基于宠物脸识别的自动喂食装置

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010288150A (ja) * 2009-06-12 2010-12-24 Toshiba Corp 固体撮像装置
JP5152114B2 (ja) * 2009-06-30 2013-02-27 ソニー株式会社 画像処理装置及び画像処理方法、撮像装置、並びにコンピューター・プログラム
JP5454075B2 (ja) 2009-10-20 2014-03-26 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP5724185B2 (ja) * 2010-03-04 2015-05-27 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US20120236115A1 (en) * 2011-03-14 2012-09-20 Qualcomm Incorporated Post-filtering in full resolution frame-compatible stereoscopic video coding
JP2012205051A (ja) * 2011-03-25 2012-10-22 Sanyo Electric Co Ltd 表示装置
JP5765026B2 (ja) * 2011-04-06 2015-08-19 富士ゼロックス株式会社 画像処理装置及びプログラム
TWI459325B (zh) * 2011-05-13 2014-11-01 Altek Corp 數位影像處理裝置及其處理方法
JP2013066145A (ja) 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US8891866B2 (en) 2011-08-31 2014-11-18 Sony Corporation Image processing apparatus, image processing method, and program
US8837853B2 (en) 2011-09-06 2014-09-16 Sony Corporation Image processing apparatus, image processing method, information recording medium, and program providing image blur correction
US20140253544A1 (en) * 2012-01-27 2014-09-11 Kabushiki Kaisha Toshiba Medical image processing apparatus
JP5846986B2 (ja) * 2012-03-28 2016-01-20 日立マクセル株式会社 撮像装置
JP2013219705A (ja) * 2012-04-12 2013-10-24 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP5767602B2 (ja) * 2012-04-27 2015-08-19 日立マクセル株式会社 撮像装置
KR101332689B1 (ko) * 2012-04-30 2013-11-25 클레어픽셀 주식회사 이미지 센서 및 이미지 센서의 출력 패턴 변환 방법
JP6004757B2 (ja) * 2012-06-07 2016-10-12 キヤノン株式会社 画像処理装置及び画像処理方法
KR101695252B1 (ko) * 2012-06-07 2017-01-13 한화테크윈 주식회사 멀티 대역 필터 어레이 기반 카메라 시스템 및 그의 영상 처리 방법
US20140043369A1 (en) * 2012-08-08 2014-02-13 Marc ALBRECHT Displays and Display Pixel Adaptation
US9058541B2 (en) 2012-09-21 2015-06-16 Fondation De L'institut De Recherche Idiap Object detection method, object detector and object detection computer program
TWI617198B (zh) * 2013-03-15 2018-03-01 開曼群島商普廷數碼影像控股公司 具有透明濾波器像素之成像系統
TWI601427B (zh) * 2013-03-15 2017-10-01 普廷數碼影像控股公司 具有透明濾波器像素之成像系統
KR102025184B1 (ko) * 2013-07-31 2019-09-25 엘지디스플레이 주식회사 데이터 변환 장치 및 이를 이용한 디스플레이 장치
JP6276569B2 (ja) * 2013-12-02 2018-02-07 株式会社メガチップス 画素補間処理装置、撮像装置、プログラムおよび集積回路
JP6276580B2 (ja) 2013-12-20 2018-02-07 株式会社メガチップス 画素補間処理装置、撮像装置、プログラムおよび集積回路
US9357193B2 (en) * 2014-01-09 2016-05-31 Marvell World Trade Ltd. Method and apparatus for compensating for color imbalance in image data
JP5968944B2 (ja) * 2014-03-31 2016-08-10 富士フイルム株式会社 内視鏡システム、プロセッサ装置、光源装置、内視鏡システムの作動方法、プロセッサ装置の作動方法、光源装置の作動方法
KR101637671B1 (ko) * 2014-08-25 2016-07-07 현대자동차주식회사 Rgbw 센서를 이용한 rgb 및 nir 추출방법
WO2016047240A1 (ja) * 2014-09-24 2016-03-31 ソニー株式会社 画像処理装置、撮像素子、撮像装置および画像処理方法
WO2016098641A1 (ja) * 2014-12-18 2016-06-23 ソニー株式会社 撮像装置、撮像方法、およびプログラム
CN104485064B (zh) * 2014-12-31 2017-03-15 深圳市华星光电技术有限公司 基于边缘像素检测的rgbw显示装置的子像素补偿着色的方法
CN107534759B (zh) 2015-02-26 2020-06-16 索尼半导体解决方案公司 摄像装置、摄像方法和计算机可读介质
JP6598507B2 (ja) * 2015-05-11 2019-10-30 キヤノン株式会社 撮像装置、撮像システム、信号処理方法
US9712792B2 (en) 2015-08-10 2017-07-18 Samsung Electronics Co., Ltd. RGB-RWB dual images by multi-layer sensors towards better image quality
KR102329440B1 (ko) 2015-10-01 2021-11-19 에스케이하이닉스 주식회사 칼라 필터 어레이의 변환 방법 및 장치
US10148926B2 (en) 2015-12-07 2018-12-04 Samsung Electronics Co., Ltd. Imaging apparatus and image processing method of thereof
KR102410016B1 (ko) * 2015-12-16 2022-06-16 삼성전자주식회사 이미지 처리 장치 및 이미지 처리 시스템
JP6860000B2 (ja) * 2016-03-03 2021-04-14 ソニー株式会社 医療用画像処理装置、システム、方法、プログラム、画像処理システム及び医療用画像処理システム
US10337923B2 (en) * 2017-09-13 2019-07-02 Qualcomm Incorporated Directional interpolation and cross-band filtering for hyperspectral imaging
JP6969295B2 (ja) * 2017-10-31 2021-11-24 富士フイルムビジネスイノベーション株式会社 情報処理装置及び画像処理システム
JP6749504B2 (ja) 2017-11-06 2020-09-02 Eizo株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP6980492B2 (ja) * 2017-11-13 2021-12-15 キヤノン株式会社 撮像装置及び撮像システム
JP6953297B2 (ja) 2017-12-08 2021-10-27 キヤノン株式会社 撮像装置及び撮像システム
US10616536B2 (en) 2018-01-12 2020-04-07 Semiconductor Components Industries, Llc Imaging systems having broadband monochromatic and chromatic image sensors
KR102594038B1 (ko) * 2018-01-15 2023-10-26 에스케이하이닉스 주식회사 이미지 센싱 장치
WO2019143025A1 (ko) * 2018-01-16 2019-07-25 한국과학기술원 라인 입력 및 출력을 이용한 이미지 처리 방법 및 장치
KR102017996B1 (ko) * 2018-01-16 2019-09-03 한국과학기술원 라인 입력 및 출력을 이용한 이미지 처리 방법 및 장치
WO2019208236A1 (ja) * 2018-04-23 2019-10-31 富士フイルム株式会社 医療画像処理システム
JP6987980B2 (ja) 2018-04-23 2022-01-05 富士フイルム株式会社 医療画像処理システム
US11837174B2 (en) 2018-06-15 2023-12-05 Samsung Display Co., Ltd. Display device having a grayscale correction unit utilizing weighting
KR102493488B1 (ko) * 2018-06-15 2023-02-01 삼성디스플레이 주식회사 표시 장치
KR20210135380A (ko) 2020-05-04 2021-11-15 삼성전자주식회사 이미지 센서
KR20220010285A (ko) * 2020-07-17 2022-01-25 에스케이하이닉스 주식회사 디모자익 동작 회로, 이미지 센싱 장치 및 그 동작방법
KR20220036014A (ko) 2020-09-15 2022-03-22 삼성전자주식회사 이미지 센싱 시스템
US20220303515A1 (en) * 2021-03-17 2022-09-22 Mediatek Inc. High Sensitivity Color Image Generation Using Hybrid Sensor
US20230034109A1 (en) * 2021-07-15 2023-02-02 Samsung Electronics Co., Ltd. Apparatus and method for interband denoising and sharpening of images

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1808559A (zh) * 2005-01-17 2006-07-26 胜华科技股份有限公司 一种提高显示面板亮度与影像品质的影像处理装置与方法
CN101107645A (zh) * 2005-01-24 2008-01-16 皇家飞利浦电子股份有限公司 驱动包括从rgb色空间转换为rgbw色空间的显示器的方法
WO2008127548A2 (en) * 2007-04-13 2008-10-23 Eastman Kodak Company Input-signal transformation for rgbw displays
US20080291312A1 (en) * 2007-05-21 2008-11-27 Yoshitaka Egawa Imaging signal processing apparatus
US20090128703A1 (en) * 2007-11-16 2009-05-21 Canon Kabushiki Kaisha Image processing apparatus and image processing method
CN101510389A (zh) * 2008-02-15 2009-08-19 株式会社日立显示器 显示装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6982752B2 (en) * 2001-08-23 2006-01-03 Motorola, Inc Circuit and method for correcting a digital color sampled signal
JP4479457B2 (ja) * 2004-05-27 2010-06-09 ソニー株式会社 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
JP4770154B2 (ja) * 2004-11-08 2011-09-14 ソニー株式会社 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
JP4617870B2 (ja) * 2004-12-22 2011-01-26 ソニー株式会社 撮像装置および方法、並びにプログラム
US7830430B2 (en) 2005-07-28 2010-11-09 Eastman Kodak Company Interpolation of panchromatic and color pixels
US8274715B2 (en) 2005-07-28 2012-09-25 Omnivision Technologies, Inc. Processing color and panchromatic pixels
JP4487903B2 (ja) * 2005-11-09 2010-06-23 ソニー株式会社 画像処理装置および方法、並びにプログラム
US7830426B2 (en) * 2005-12-29 2010-11-09 Micron Technology, Inc. Method and apparatus providing color interpolation in color filter arrays using edge detection and correction terms
JP5222472B2 (ja) 2006-07-14 2013-06-26 イーストマン コダック カンパニー 画像処理装置、画像復元方法およびプログラム
JP4846608B2 (ja) * 2007-01-26 2011-12-28 株式会社東芝 固体撮像装置
JP4930109B2 (ja) * 2007-03-06 2012-05-16 ソニー株式会社 固体撮像装置、撮像装置
KR100976284B1 (ko) * 2007-06-07 2010-08-16 가부시끼가이샤 도시바 촬상 장치
JP2009081738A (ja) * 2007-09-26 2009-04-16 Toshiba Corp 画像処理装置、方法およびプログラム
JP4992698B2 (ja) * 2007-12-17 2012-08-08 ソニー株式会社 色収差補正装置、撮像装置、色収差算出方法および色収差算出プログラム
JP4661922B2 (ja) * 2008-09-03 2011-03-30 ソニー株式会社 画像処理装置、撮像装置、固体撮像素子、画像処理方法およびプログラム
US8111300B2 (en) * 2009-04-22 2012-02-07 Qualcomm Incorporated System and method to selectively combine video frame image data

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1808559A (zh) * 2005-01-17 2006-07-26 胜华科技股份有限公司 一种提高显示面板亮度与影像品质的影像处理装置与方法
CN101107645A (zh) * 2005-01-24 2008-01-16 皇家飞利浦电子股份有限公司 驱动包括从rgb色空间转换为rgbw色空间的显示器的方法
WO2008127548A2 (en) * 2007-04-13 2008-10-23 Eastman Kodak Company Input-signal transformation for rgbw displays
US20080291312A1 (en) * 2007-05-21 2008-11-27 Yoshitaka Egawa Imaging signal processing apparatus
US20090128703A1 (en) * 2007-11-16 2009-05-21 Canon Kabushiki Kaisha Image processing apparatus and image processing method
CN101510389A (zh) * 2008-02-15 2009-08-19 株式会社日立显示器 显示装置

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103250180A (zh) * 2011-06-24 2013-08-14 乐天株式会社 图像提供装置、图像处理方法、图像处理程序以及记录介质
CN103250180B (zh) * 2011-06-24 2015-11-25 乐天株式会社 图像提供装置以及图像处理方法
CN103765876A (zh) * 2011-08-31 2014-04-30 索尼公司 图像处理设备以及图像处理方法和程序
CN104067611A (zh) * 2012-01-24 2014-09-24 索尼公司 图像处理设备、图像处理方法及程序
US9445022B2 (en) 2012-01-24 2016-09-13 Sony Corporation Image processing apparatus and image processing method, and program
CN103312962A (zh) * 2012-03-14 2013-09-18 富士胶片株式会社 图像公开装置、图像公开方法以及图像公开系统
CN108650497A (zh) * 2012-03-19 2018-10-12 普廷数码影像控股公司 具有透明滤波器像素的成像系统
CN104170376A (zh) * 2012-03-27 2014-11-26 索尼公司 图像处理设备、成像装置、图像处理方法及程序
US10200664B2 (en) 2012-03-27 2019-02-05 Sony Corporation Image processing apparatus, image device, image processing method, and program for reducing noise or false colors in an image
US9699429B2 (en) 2012-03-27 2017-07-04 Sony Corporation Image processing apparatus, imaging device, image processing method, and program for reducing noise or false colors in an image
US9542759B2 (en) 2012-04-24 2017-01-10 Sony Corporation Image processing device, method of processing image, and image processing program including false color correction
CN104247409B (zh) * 2012-04-24 2016-10-12 索尼公司 图像处理装置、图像处理方法以及程序
CN104247409A (zh) * 2012-04-24 2014-12-24 索尼公司 图像处理装置、图像处理方法以及程序
CN104217416B (zh) * 2013-05-31 2017-09-15 富士通株式会社 灰度图像处理方法及其装置
CN104217416A (zh) * 2013-05-31 2014-12-17 富士通株式会社 灰度图像处理方法及其装置
CN108702494A (zh) * 2016-03-09 2018-10-23 索尼公司 图像处理装置、成像装置、图像处理方法和程序
CN111757006A (zh) * 2020-07-08 2020-10-09 Oppo广东移动通信有限公司 图像获取方法、摄像头组件及移动终端
CN111757006B (zh) * 2020-07-08 2021-10-29 Oppo广东移动通信有限公司 图像获取方法、摄像头组件及移动终端
US11812164B2 (en) 2020-07-08 2023-11-07 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Pixel-interpolation based image acquisition method, camera assembly, and mobile terminal
CN112167074A (zh) * 2020-10-14 2021-01-05 北京科技大学 一种基于宠物脸识别的自动喂食装置

Also Published As

Publication number Publication date
JP2011055038A (ja) 2011-03-17
US8314863B2 (en) 2012-11-20
KR101703354B1 (ko) 2017-02-06
CN102006484B (zh) 2013-06-26
JP5326943B2 (ja) 2013-10-30
EP2302900A3 (en) 2013-03-13
KR20110023757A (ko) 2011-03-08
EP2302900B1 (en) 2017-04-05
EP2302900A2 (en) 2011-03-30
US20110050918A1 (en) 2011-03-03

Similar Documents

Publication Publication Date Title
CN102006484B (zh) 图像处理装置和图像处理方法
EP1289310B1 (en) Method and system for adaptive demosaicing
CN103238335B (zh) 图像处理装置和图像处理方法
EP2352301B1 (en) Image processing device, image processing method, and program
US8861895B2 (en) Image processing apparatus
CN1968422A (zh) 使用图像边缘指示值重建所缺色彩的色彩内插装置及方法
CN109889800B (zh) 图像增强方法和装置、电子设备、存储介质
JP4498361B2 (ja) レティネックス型アルゴリズムを高速化する方法
US20070229684A1 (en) Color interpolation method for Bayer filter array images
CN108288256A (zh) 一种多光谱马赛克图像复原方法
CN111882489A (zh) 用于水下图像同时增强的超分辨率图形恢复方法
CN101770759B (zh) 基于亚像素的下采样的方法和装置
CN110290370B (zh) 图像处理方法及装置
CN1457608A (zh) 用于图象传感器的绿色重建
CN108961325A (zh) 多/高光谱遥感图像波段间配准方法
CN110430403A (zh) 一种图像处理方法和装置
CN104410786A (zh) 图像处理设备和图像处理设备的控制方法
JP4130546B2 (ja) カラーフィルタアレイ画像の再構成装置
CN110246080A (zh) 去马赛克方法及其系统
CN101510306B (zh) 一种视频图像照度分布估计方法
CN100479500C (zh) 图像处理装置和图像处理方法
CN100559885C (zh) 像素色彩信息重建方法
CN109285121A (zh) 一种Bayer图像还原方法
CN109658358B (zh) 一种基于多导向滤波的快速bayer彩色重建方法
CN102831583A (zh) 基于分形分析的图像视频超分辨率与增强方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant