CN104106261B - 摄像装置 - Google Patents

摄像装置 Download PDF

Info

Publication number
CN104106261B
CN104106261B CN201280067717.7A CN201280067717A CN104106261B CN 104106261 B CN104106261 B CN 104106261B CN 201280067717 A CN201280067717 A CN 201280067717A CN 104106261 B CN104106261 B CN 104106261B
Authority
CN
China
Prior art keywords
interpolation
signal
brightness
distortion
lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280067717.7A
Other languages
English (en)
Other versions
CN104106261A (zh
Inventor
野中雄一
木佐贯健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Hitachi Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Maxell Ltd filed Critical Hitachi Maxell Ltd
Publication of CN104106261A publication Critical patent/CN104106261A/zh
Application granted granted Critical
Publication of CN104106261B publication Critical patent/CN104106261B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

提供具有电路规模小而不产生析像度的劣化的透镜畸变修正功能的摄像装置。提供的该具有透镜畸变修正功能的摄像装置包括：同色插补部，使用来自该摄像元件的图像信号中的同色像素，生成透镜的畸变修正后的插补信号；亮度信号生成部，从来自该摄像元件的图像信号生成亮度信号；第一亮度生成部和第二亮度生成部，使用由该亮度信号生成部生成的亮度信号，生成透镜的畸变修正后的插补信号；透镜畸变特性表数据部，将透镜畸变特性修正后的坐标的信息保存在存储器中；坐标/插补系数设定部，根据来自该透镜畸变特性表数据部的信息，分别对所述同色插补部、所述第一亮度插补部和所述第二亮度插补部单独地生成用于修正透镜畸变的插补系数；和修正部，通过根据由所述第一亮度插补部生成的插补信号与由所述第二亮度插补部生成的插补信号之比来对来自所述同色插补部的信号进行修正而输出透镜畸变修正后的插补信号。

Description

摄像装置
技术领域
本发明涉及摄像装置。
背景技术
作为本技术领域的背景技术有专利文献1。在其公报中记载有“本发明的视频信号处理电路是在对由影像传感器输入的视频信号进行的图像处理中由于光学畸变像差而发生图像畸变的视频信号处理电路，包括对YC处理前的RAW图像数据进行畸变修正处理的畸变修正处理电路。根据该结构，对被转换为YC图像数据前的所谓的原始的数据即RAW图像数据进行畸变修正处理，因此对于用于存储即将进行畸变修正处理之前的数据(RAW图像数据)的存储器，能够缩小其存储器尺寸。”(参照摘要)。
现有技术文献
专利文献
专利文献1：日本特开2008-301395号公报
发明内容
发明所要解决的问题
在上述那样的系统中，能够以小的电路规模进行没有析像度的劣化的图像处理而优选。利用上述专利文献1，虽然与使用RGB或YUV信号的畸变修正相比能够减小电路规模，但不是生成将RAW信号的位置移动至所期望的位置的RAW信号的结构。此外，在一般的彩色摄像元件中，滤色片水平垂直地在2*2个像素规则地配置，在对RAW数据进行插补的情况下，存在为了使用设置有像素间隔的同色的像素而析像度劣化的问题。
因此，本发明解决上述问题，提供能够以小的电路规模进行析像度的劣化少的图像处理的摄像装置。
用于解决问题的方案
对本申请中公开的发明中具有代表性的内容的概要进行简单说明如下。
(1)一种对被拍摄体进行摄像的摄像装置，其特征在于，包括：具有多个滤色片的摄像元件；同色插补部，其使用来自该摄像元件的图像信号中的同色像素，生成透镜的畸变修正后的插补信号；亮度信号生成部，其从来自该摄像元件的图像信号生成亮度信号；第一亮度插补部和第二亮度插补部，其使用由该亮度信号生成部生成的亮度信号，生成透镜的畸变修正后的插补信号；透镜畸变特性表数据部，其将透镜畸变特性修正后的坐标的信息保存在存储器中；坐标/插补系数设定部，其根据来自该透镜畸变特性表数据部的信息，分别对所述同色插补部、所述第一亮度插补部和所述第二亮度插补部单独地生成用于修正透镜畸变的插补系数；和修正部，其输出根据由所述第一亮度插补部生成的插补信号与由所述第二亮度插补部生成的插补信号之比来对来自所述同色插补部的信号进行修正而得到的插补信号。
(2)一种对被拍摄体进行摄像的摄像装置，其特征在于，包括：具有多个滤色片的摄像元件；同色插补部，其使用来自该摄像元件的图像信号中的同色像素，生成透镜的畸变修正后的插补信号；亮度信号生成部，其从来自该摄像元件的图像信号生成亮度信号；第一亮度插补部和第二亮度插补部，其使用由该亮度信号生成部生成的亮度信号，生成透镜的畸变修正后的插补信号；透镜畸变特性函数运算部，其根据预先设定的透镜畸变特性函数，按每像素计算透镜畸变特性修正后的坐标；坐标/插补系数设定部，其根据来自该透镜畸变特性函数运算部的信息，分别对所述同色插补部、所述第一亮度插补部和所述第二亮度插补部单独地设定用于修正透镜畸变的插补系数；和修正部，其输出根据由所述第一亮度插补部生成的插补信号与由所述第二亮度插补部生成的插补信号之比来对来自所述同色插补部的信号进行修正而得到的插补信号。
这样，本申请的摄像装置使用与RAW信号的频率成分相关的亮度信号，在所期望的位置生成与从同色像素生成的插补信号相比频率成分高的修正后RAW信号，由此使抑制了析像度的劣化的RAW数据插补能够进行，并且能够实现电路规模的减小。
此外，本申请的摄像装置通过适当地设定修正后RAW信号的修正位置，具备缩放(扩大/缩小)、透镜畸变修正、旋转/视点转换、像素加法运算畸变修正等功能。
发明效果
根据本发明，能够提供以小的电路规模进行析像度的劣化少的图像处理的摄像装置。
附图说明
图1是表示摄像装置的第一结构例的图。
图2(a)是亮度信号生成部的动作说明图(1)，(b)是亮度信号生成部的动作说明图(2)。
图3(a)是插补系数图案1(α＜0.5、β＜0.5)的说明补充图(1)，(b)是插补系数图案1(α＜0.5、β＜0.5)的说明补充图(2)，(c)是插补系数图案1(α＜0.5、β＜0.5)的说明补充图(3)，(d)是插补系数图案1(α＜0.5、β＜0.5)的说明补充图(4)。
图4(a)是插补系数图案2(α≥0.5、β＜0.5)的说明补充图(1)，(b)是插补系数图案2(α≥0.5、β＜0.5)的说明补充图(2)，(c)是插补系数图案2(α≥0.5、β＜0.5)的说明补充图(3)，(d)是插补系数图案2(α≥0.5、β＜0.5)的说明补充图(4)。
图5(a)是插补系数图案3(α＜0.5、β≥0.5)的说明补充图(1)，(b)是插补系数图案3(α＜0.5、β≥0.5)的说明补充图(2)，(c)是插补系数图案3(α＜0.5、β≥0.5)的说明补充图(3)，(d)是插补系数图案3(α＜0.5、β≥0.5)的说明补充图(4)。
图6(a)是插补系数图案4(α≥0.5、β≥0.5)的说明补充图(1)，(b)是插补系数图案4(α≥0.5、β≥0.5)的说明补充图(2)，(c)是插补系数图案4(α≥0.5、β≥0.5)的说明补充图(3)，(d)是插补系数图案4(α≥0.5、β≥0.5)的说明补充图(4)。
图7是第二亮度插补部的说明补充图。
图8是表示摄像装置的第二结构例的图。
图9是放大时的说明补充图。
图10是缩小时的说明补充图。
图11是放大时的缩放运算例。
图12是缩小时的缩放运算例。
图13是表示摄像装置的第三结构例的图。
图14是表示摄像装置的第四结构例的图。
图15(a)是畸变修正功能的说明补充图(1)，(b)是畸变修正功能的说明补充图(2)。
具体实施方式
以下，使用附图对本发明的实施方式进行说明。
实施例1
在本实施方式中，使用作为摄像装置的一个例子的照相机进行说明。
如图1所示，本实施方式的摄像装置适当地使用以下部件构成：具有多个滤色片的彩色摄像元件100；对从摄像元件输出的电信号进行A/D转换而输出数字信号的A/D转换电路107；从自A/D转换电路输出的RAW信号生成亮度信号的亮度信号生成部101；使用所生成的亮度信号分别生成插补信号而输出的第一亮度插补部102和第二亮度信号插补部103；使用自A/D转换电路输出的RAW信号中的同色像素的信号来生成插补信号的同色插补部104；使用各个插补信号、通过运算生成修正RAW信号而输出的修正部105。以下，对各结构的动作进行详细说明。
通过摄像透镜从被拍摄体射入的光被照射在摄像元件100，形成被拍摄体像。摄像元件100利用通过定时发生器(TimingGenerator)产生的驱动脉冲进行水平和垂直的扫描，对被拍摄体像进行摄像，产生电信号。该电信号在A/D转换电路107被转换为数字信号，被作为RAW信号输入信号处理电路。在信号处理电路，除实施YUV生成处理以外，还实施噪声除去和伽马修正等各种照相机信号处理，并转换为TV信号等信号后输出。
本实施方式的一个特征在于，在上述A/D转换电路与信号处理之间，进行在缩放(扩大/缩小)和透镜畸变修正、旋转/视点转换、在摄像元件内被进行像素加法运算的情况下产生的畸变的修正等使各像素的重心移动的修正，从而不改变RAW信号的滤色片排列顺序且以少的成本实现析像度劣化少的输出RAW信号。
使用图2对亮度信号生成部101的动作进行说明。
自A/D转换电路输出的RAW信号按每像素被依次分别输入亮度信号生成部101和同色插补部104。如果摄像元件为彩色单板摄像元件，则例如与A色、B色、C色、D色这4色的滤色片对应的像素以2×2的对如图2(a)所示那样排列。如果摄像元件为原色拜尔(Bayer)阵列，则例如表示为A＝R、B＝C＝G、D＝B即可。亮度信号生成部101通过进行基于滤光处理而实现的插补来生成与RAW信号的各像素的取样位置对应的亮度信号。例如，在Y33的情况下，通过(式1)Y33＝(A33+(B32+B34)/2+(C23+C43)/2+(D22+D24+D42+D44)/4)/4的运算生成，对其它位置的像素也能够通过进行同样的处理而生成亮度(Y)信号。
由亮度信号生成部101生成的亮度信号被分别输入至第一亮度插补部102和第二亮度插补部103。
同色插补部104使用邻近的同色像素信号，通过过滤对将重心移动后的像素信号进行插补，由此生成插补信号，并输出至修正部105。
在第一亮度插补部102，使用与在上述同色插补部104在过滤中使用的像素的位置相同的取样位置的亮度信号，通过过滤对将重心移动后的像素信号进行插补，由此生成插补信号，并输出至修正部105。
在第二亮度插补部103，使用与在第一亮度插补部生成插补信号时使用的亮度信号相比一部分或全部不同的亮度信号(例如相关性最高的邻近亮度信号)，通过过滤对将重心移动后的像素信号进行插补，由此生成插补信号，并输出至修正部105。
在第一亮度插补部102、第二亮度插补部103和同色插补部104被插补的信号分别在修正部105实施运算，对被输入的RAW信号的各像素输出将重心的位置移动至所期望的位置的修正后的RAW信号。此处，在修正部105，使用在第一亮度插补部102生成的插补信号与在第二亮度插补部103生成的插补信号之比，来对来自同色插补部104的信号进行修正而输出。
以上使用图3至图7、对第一亮度插补部102、第二亮度插补部103、同色插补部104和修正部105的动作进行了详细说明。从图3至图7的各图表示对某个A色的1像素进行插补生成时的例子。
图3是生成与A33、A44、A53和A55之间带有★标记的重心位置对应的A色的插补信号的情况，是其重心位置与A33、A44、A53和A55中的A33最近的情况的例子。将其定义为插补系数图案1(α＜0.5、β＜0.5)。
图4至图6也为同样情形，根据A33、A44、A53和A55中最近的像素的不同，定义为2(α≥0.5、β＜0.5)、3(α＜0.5、β≥0.5)、4(α≥0.5、β≥0.5)。如以上所述那样，与生成的插补像素的位置相应地分为四个图案(Pattern)。
关于同色4像素的位置和通过修正生成的RAW数据(AH)的位置，系数α表示水平方向上的位置的比率，系数β表示垂直方向上的位置的比率。
首先，使用图3，说明对于A33的RAW，在插补系数图案1(α＜0.5、β＜0.5)的范围的位置生成修正后的RAW数据(AH)的例子。
如图3(a)所示，同色插补部104利用从插补系数设定部106设定的插补系数α和β，使用A33、A35、A53、A55，如
(式2)AL＝A33*(1-α)*(1-β)+A35*α*(1-β)+A53*(1-α)*β+A55*α*β那样求取插补信号(AL)。
如图3(b)所示，第一亮度插补部102利用从插补系数设定部106设定的插补系数α和β，使用Y33、Y35、Y53、Y55，如
(式3)YL＝Y33*(1-α)*(1-β)+Y35*α*(1-β)+Y53*(1-α)*β+Y55*α*β那样求取插补信号(YL)。
如图3(c)所示，第二亮度插补部103利用从插补系数设定部106设定的插补系数α和β(α＜0.5、β＜0.5)，使用Y33、Y34、Y43、Y44，如
(式4)YH＝Y33*(1-2α)*(1-2β)+Y34*2α*(1-2β)+Y43*(1-2α)*2β+Y44*2α*2β那样求取插补信号(YH)。在第二亮度插补部103，与第一亮度插补部102使用的亮度信号不同，因此在第一亮度插补部102使用的α、β在第二亮度插补部103中分别相当于2α、2β。
此处，利用同色插补部104计算出的AL由于插补中使用的像素的距离分开，因此成为窄频带的(高频的增益低的、模糊的)图像信号。利用第一亮度插补部102计算出的YL成为与利用同色插补部104计算出的AL相同的过滤特性，同样成为窄频带的亮度信号。另一方面，利用第二亮度插补部103计算出的YH由于插补中使用的像素的距离近，成为宽频带的(高频的增益比YL高、不模糊的)亮度信号。亮度信号相对于各A、B、C、D颜色信号具有一定的相关性，因此(式5)AH(宽频带):AL(窄频带)≈YH(宽频带):YL(窄频带)成立。因此修正部105如图3(d)所示那样将上述(式5)变形，作为
(式6)AH＝AL*YH/YL求取高频的增益高、不模糊的A色的插补信号AH。
接着，使用图4，说明对于A33的RAW，在插补系数图案2(α≥0.5、β＜0.5)的范围的位置生成修正后的RAW数据(AH)的例子。此处，同色插补部104、第一亮度插补部102、修正部105进行与图3相同的动作，因此省略说明，对第二亮度插补部103的动作进行说明。
如图4(c)所示，第二亮度插补部103利用从插补系数设定部106设定的插补系数α和β(α≥0.5、β＜0.5)，使用Y34、Y35、Y44、Y45，如
(式7)YH＝Y34*(2-α)*(1-2β)+Y35*(2α-1)*(1-2β)+Y44*(2-α)*2β+Y45*(2α-1)*2β那样求取插补信号(YH)。在第二亮度插补部103，与第一亮度插补部102使用的亮度信号不同，因此在第一亮度插补部102使用的α、(1-α)、β在第二亮度插补部103中分别相当于(2α-1)、(2-α)、2β。
接着，使用图5，说明对于A33的RAW，在插补系数图案3(α＜0.5、β≥0.5)的范围的位置生成修正后的RAW数据(AH)的例子。与上述说明一样，对第二亮度插补部103的动作进行说明。
如图5(c)所示，第二亮度插补部103利用从插补系数设定部106设定的插补系数α和β(α＜0.5、β≥0.5)，使用Y43、Y44、Y53、Y54，如
(式8)YH＝Y43*(1-2α)*(2-β)+Y44*2α*(2-β)+Y53*(1-2α)*(2β-1)+Y54*2α*(2β-1)那样求取插补信号(YH)。在第二亮度插补部103，与第一亮度插补部102使用的亮度信号不同，因此在第一亮度插补部102使用的α、β、(1-β)在第二亮度插补部103中分别相当于2α、(2β-1)、(2-β)。
接着，使用图6，说明对于A33的RAW，在插补系数图案4(α≥0.5、β≥0.5)的范围的位置生成修正后的RAW数据(AH)的例子。与上述说明一样，对第二亮度插补部103的动作进行说明。
如图6(c)所示，第二亮度插补部103利用从插补系数设定部106设定的插补系数α和β(α≥0.5、β≥0.5)，使用Y43、Y44、Y53、Y54，如
(式9)YH＝Y44*(2-α)*(2-β)+Y45*(2α-1)*(2-β)+Y54*(2-α)*(2β-1)+Y55*(2α-1)*(2β-1)那样求取插补信号(YH)。在第二亮度插补部103，与第一亮度插补部102使用的亮度信号不同，因此在第一亮度插补部102使用的α、(1-α)、β、(1-β)在第二亮度插补部103中分别相当于(2α-1)、(2-α)、(2β-1)、(2-β)。
如上所述，在第二亮度插补部103需要使系数与生成的插补像素的重心位置相应地变化。关于第二亮度插补部103的系数的切换方法，使用图7进行补充说明。
在第二亮度插补部103，通过从插补系数设定部106设定的插补系数α和β划分为四个图案的处理。
在步骤(STEP)1中对从插补系数设定部106设定的插补系数α是否为α＜0.5进行比较判定。在为“是”的情况下进行步骤(STEP)2，在为“否”的情况下进行步骤(STEP)3。在步骤(STEP)2中对从插补系数设定部106设定的插补系数β是否为β＜0.5进行比较判定。在为“是”的情况下进行步骤(STEP)4，在为“否”的情况下进行步骤(STEP)5。在步骤(STEP)4中实施上述的插补系数图案1(α＜0.5、β＜0.5)的处理。在步骤(STEP)5中实施上述插补系数图案2(α≥0.5、β＜0.5)的处理。
在步骤(STEP)3中对从插补系数设定部106设定的插补系数β是否为β＜0.5进行比较判定。在为“是”的情况下进行步骤(STEP)6，在为“否”的情况下进行步骤(STEP)7。在步骤(STEP)6中实施上述的插补系数图案3(α＜0.5、β≥0.5)的处理。在步骤(STEP)7中实施上述插补系数图案4(α≥0.5、β≥0.5)的处理。
通过以上的动作，在第二亮度插补部103，根据从插补系数设定部106设定的插补系数α和β，划分为四个处理，生成插补信号(YH)。
通过以上的结构，能够抑制析像度的劣化，并且能够对RAW信号通过插补生成将重心移动后的信号。进一步，RAW信号与一般RGB信号和YUV信号相比信号的位宽度少(位数少)，因此能够以小的电路规模生成插补信号。
另外，在本实施例中，以在第二亮度插补部103对四个图案进行判定、根据图案对进行处理划分为一例进行了说明，例如也可以在插补系数设定部106对四个图案进行判定，将图案信息供给至第二亮度插补部103，在第二亮度插补部103根据图案信息进行处理的划分。
实施例2
使用图8至图12对摄像装置的第二实施例进行说明。另外，在图8，对进行与图1相同的动作的结构，适当地省略说明，主要对不同的结构进行说明。
在本实施例2中，作为与实施例1的结构的不同点，具有：缩放运算部207，其在实施例1的插补系数设定部106中，输入从未图示的控制微型计算机等指示的倍率和开始位置，输入与从未图示的定时发生器等施加的RAW信号同步的水平(H)/垂直(V)的坐标信息，从这些输入信息计算每个像素的缩放(放大/缩小)后的坐标，并按每像素依次向坐标/插补系数设定部206输出；和坐标/插补系数设定部206，其将来自缩放运算部207的坐标信息和从坐标信息计算出的插补系数α、β分别输出至第一亮度插补部202、第二亮度插补部203和同色插补部204。
在第一亮度插补部202、第二亮度插补部203、同色插补部204，选择包围来自缩放运算部207的坐标信息的位置的同色4像素，对该同色4像素的位置实施与上述图1相同的插补处理。
接着，对放大/缩小的动作的例子，分别使用图9和图10进行说明。
图9是对放大时的动作说明进行补充的图，是从左上部分放大至8/6＝4/3倍的例子。在与在水平垂直方向为6*6个的像素相同的面积内配置8*8个的像素，以成为8*8的各像素的重心的方式分别依次分配起点与插补系数α、β的比率，通过上述的插补，生成A11’、B12’、A13’、B14’、A15’、B16’、C21’、D22’、C23’、D24’、C25’、D26’、A31’、B32’、A33’、B34’、A35’、B36’、C41’、D42’、C43’、D44’、C45’、D46’、A51’、B52’、A53’、B54’、A55’、B56’、C61’、D62’、C63’、D64’、C65’、D66’的修正后的RAW信号。之后，通过以与原来的RAW信号相同的速度对该修正后的RAW信号进行处理，成为所期望的4/3倍的放大处理。
图10是对缩小时的动作说明进行补充的图，是从左上部分缩小至4/6＝2/3倍的例子。在与在水平垂直方向为6*6个的像素相同的面积内配置4*4个的像素，以成为4*4的各像素的重心的方式分别依次分配起点与插补系数α、β的比率，通过上述的插补，生成A11’、B12’、A13’、B14’、C21’、D22’、C23’、D24’、A31’、B32’、A33’、B34’、C41’、D42’、C43’、D44’的修正后的RAW信号。之后，通过以与原来的RAW信号相同的速度对该修正后的RAW信号进行处理，成为所期望的2/3倍的放大处理。
进一步，对上述图9、图10的情况，使用图11和图12分别对缩放运算的例子进行说明。
图11是对图9的放大时的B34’、D46’的缩放运算的例子。
B34’的重心坐标成为(3.5*3/4,2.5*3/4)＝(2.625,1.875)，该值成为缩放运算部207的输出。在坐标/插补系数设定部206输出坐标信息(2.625,1.875)和从该坐标信息求得的α＝0.5625、β＝0.6875。在第一亮度插补部202、第二亮度插补部203、同色插补部204，选择包围该坐标的同色4像素B12、B14、B32、B34。同样，在D46’时，坐标＝(4.125,2.625)，α＝0.3125、β＝0.5625，同色4像素成为D24、D26、D44、D46。
图12是对图10的缩小时的A33’、D44’的缩放运算的例子。A33’的重心坐标成为(2.5*3/2,2.5*3/2)＝(3.75,3.75)，该值成为缩放运算部207的输出。在坐标/插补系数设定部206输出坐标信息(3.75,3.75)和从该坐标信息求得的α＝0.625、β＝0.625。在第一亮度插补部202、第二亮度插补部203、同色插补部204，选择包围该坐标的同色4像素A33、A35、A53、A55。同样，在D44’时，坐标＝(5.25,5.25)，α＝0.875、β＝0.875，同色4像素成为D44、D46、D64、D66。
通过以上结构，本实施方式的摄像装置能够抑制析像度的劣化，并且能够生成进行缩放(放大/缩小)而得到的RAW信号。进一步，RAW信号与一般RGB信号和YUV信号相比信号的位宽度少，因此能够以小的电路规模提供具有缩放功能的摄像装置。
实施例3
使用图13至图15对摄像装置的其它变形例进行说明。另外，在图13、图14，对与图1、图8相同动作的结构，适当地省略说明，以主要对不同的结构进行说明。
图13是表示摄像装置的第三结构例的图，具备透镜的畸变修正功能。本实施例中的透镜的畸变修正功能的结构例中，作为与实施例1的不同点，具有：透镜畸变特性表数据部307，其在实施例1的插补系数设定部中，作为表数据存储有与透镜畸变特征相应的各像素的坐标的偏移量，读出与水平(H)/垂直(V)的坐标信息对应的表数据，该水平(H)/垂直(V)的坐标信息与从未图示的定时发生器等施加的RAW数据的位置同步，通过施加坐标信息，计算透镜畸变修正后的坐标，并按每像素依次向坐标/插补系数设定部206输出；和坐标/插补系数设定部206，其将来透镜畸变特性表数据部307的坐标信息和从坐标信息计算出的插补系数α、β分别输出至第一亮度插补部202、第二亮度插补部203、同色插补部204。
图14是作为具备透镜的畸变修正功能的摄像装置的变形例表示第四结构例的图。本实施例中的透镜的畸变修正功能的结构例中，作为与实施例1的不同点，具有：透镜畸变特性函数运算部407，其在实施例1的插补系数设定部中，与从未图示的定时发生器等施加的RAW数据的位置同步的水平(H)/垂直(V)的坐标信息，例如通过使用与透镜的特性相应的计算式，根据从透镜中心至当前的坐标为止的距离对畸变量进行运算，并对从摄像元件的中心位置至当前的像素为止的方向修正该畸变量，从而计算透镜畸变修正后的坐标，并按每像素依次向坐标/插补系数设定部206输出；和坐标/插补系数设定部206，其将来自透镜畸变特性函数运算部407的坐标信息和从坐标信息计算出的插补系数α、β分别输出至第一亮度插补部202、第二亮度插补部203、同色插补部204。
图15是对畸变修正功能的说明进行补充的图。图15(a)是畸变修正前的图，图15(b)是畸变修正后的图，虚线表示透镜的畸变特性，点表示像素的重心的位置，箭头表示在对透镜畸变进行修正前和修正后像素的重心移动的矢量。
在摄像装置的第三结构例中，在透镜畸变特性表数据部307作为表数据存储该矢量，坐标/插补系数设定部206基于该透镜畸变修正表数据，分别对第一亮度插补部202、第二亮度插补部203、同色插补部204单独地生成而输出用于修正透镜畸变的插补系数。
此外，在摄像装置的第四结构例中，在透镜畸变特性函数运算部407，作为与从摄像元件的中心起的距离相应的函数预先确定该矢量，透镜畸变特性函数运算部407基于预先设定的透镜畸变特性函数，按每像素计算透镜畸变特性修正后的坐标，在坐标/插补系数设定部206，基于来自透镜畸变特性函数运算部407的信息，分别对第一亮度插补部202、第二亮度插补部203、同色插补部204单独地设定而输出用于修正透镜畸变的插补系数。
在任一摄像装置中均在各插补部根据透镜畸变修正后的坐标实施与上述实施例1相同的处理，进行RAW数据的插补。
如上所述，在本实施例中，仍旧能够获得上述实施例1的效果，并且能够通过进行RAW数据的插补实现畸变修正功能。
另外，在本实施例中，作为一个例子对桶形畸变的情况进行了说明，但是并不限定于此，例如在线轴畸变的情况下等同样能够应用本实施例，能够获得与本实施例相同的效果。
此外，即使在上述表数据方式中减少表数据的数量、并且通过运算对减少数量后的部分进行补充的方式构成，也能够应用本发明，获得与本实施例相同的效果。
此外，在上述透镜畸变修正功能的结构例之一的表数据方式中，单独地保存与RAW信号中各色对应的畸变数据而按各色信号单独地生成插补信号的结构，仍旧能够获得上述实施例1的效果，并且在修正透镜畸变中不仅能够修正失真(Distortion)而且能够修正倍率色像差。
此外，在上述透镜畸变修正功能的结构例的两个透镜函数方式中单独地保存与RAW信号中的各色对应的畸变函数而按各色信号单独地生成插补信号的结构，仍旧能够获得上述实施例1的效果，并且在修正透镜畸变中不仅能够修正失真(Distortion)而且能够修正倍率色像差。
在上述的本发明的说明中，以在水平/垂直配置2*2像素的周期的滤色片为例进行了说明，但是并不限定于2*2的排列，无论是2*4的排列的摄像元件还是多孔层状结构那样的特殊的排列的摄像元件，还是其它的滤色片配置的情况下，均能够同样地应用本发明。
进一步，在本发明的说明中对缩放(放大/缩小)、透镜畸变修正的功能进行了说明，如果是这以外的通过对RAW信号进行使重心移动的修正而实现的功能，则能够在所有技术中进行应用。
此外，本发明并不限定于上述的实施例，而包括各种各样的变形例。例如，上述的实施例为了将本发明说明得容易明白而进行了详细的说明，但是并不一定限定于包括所说明的所有结构。此外，能够将一个实施例的结构的一部分替换到另一个实施例的结构，此外，还能够在一个实施例的结构中加入另一个实施例的结构。此外，能够对各实施例的结构的一部分进行其它结构的追加/削除/替换。
此外，上述的各结构既可以以硬件构成其一部分或全部，也可以通过利用处理器运行程序而实现其一部分或全部。此外，对于控制线和信息线，仅说明了在说明上被认为需要的部分，并不一定说明了产品上的所有的控制线和信息线。实际上也可以认为几乎所有的结构相互连接。
附图标记的说明
101亮度信号生成部
102第一亮度插补部
103第二亮度插补部
104同色插补部
105修正部
106插补系数设定部
206坐标/插补系数设定部
207缩放运算部
307透镜畸变特性表数据部
407透镜畸变特性函数运算部。

Claims (4)

1.一种对被拍摄体进行摄像的摄像装置，其特征在于，包括：
具有多个滤色片的摄像元件；
同色插补部，其使用来自该摄像元件的图像信号中的同色像素，生成透镜的畸变修正后的插补信号；
亮度信号生成部，其从来自该摄像元件的图像信号生成亮度信号；
第一亮度插补部和第二亮度插补部，其使用由该亮度信号生成部生成的亮度信号，生成透镜的畸变修正后的插补信号；
透镜畸变特性表数据部，其将透镜畸变特性修正后的坐标的信息保存在存储器中；
坐标/插补系数设定部，其根据来自该透镜畸变特性表数据部的信息，分别对所述同色插补部、所述第一亮度插补部和所述第二亮度插补部单独地生成用于修正透镜畸变的插补系数；和
修正部，其输出根据由所述第一亮度插补部生成的插补信号与由所述第二亮度插补部生成的插补信号之比来对来自所述同色插补部的信号进行修正而得到的插补信号，
所述第一亮度插补部利用位于与由所述同色插补部进行插补信号生成时使用的像素的位置相同的取样位置的亮度信号生成插补信号，
所述第二亮度插补部利用与由第一亮度插补部生成插补信号时使用的亮度信号相比一部分或全部不同的亮度信号生成插补信号。
2.如权利要求1所述的摄像装置，其特征在于：
所述透镜畸变特性表数据部单独地保存与来自摄像元件的像素信号中的各色对应的畸变数据，
所述同色插补部与所述第一亮度插补部和所述第二亮度插补部按所述各色单独地生成插补信号。
3.一种对被拍摄体进行摄像的摄像装置，其特征在于，包括：
具有多个滤色片的摄像元件；
同色插补部，其使用来自该摄像元件的图像信号中的同色像素，生成透镜的畸变修正后的插补信号；
亮度信号生成部，其从来自该摄像元件的图像信号生成亮度信号；
第一亮度插补部和第二亮度插补部，其使用由该亮度信号生成部生成的亮度信号，生成透镜的畸变修正后的插补信号；
透镜畸变特性函数运算部，其根据预先设定的透镜畸变特性函数，按每像素计算透镜畸变特性修正后的坐标；
坐标/插补系数设定部，其根据来自该透镜畸变特性函数运算部的信息，分别对所述同色插补部、所述第一亮度插补部和所述第二亮度插补部单独地设定用于修正透镜畸变的插补系数；和
修正部，其输出根据由所述第一亮度插补部生成的插补信号与由所述第二亮度插补部生成的插补信号之比来对来自所述同色插补部的信号进行修正而得到的插补信号，
所述第一亮度插补部利用位于与由所述同色插补部进行插补信号生成时使用的像素的位置相同的取样位置的亮度信号生成插补信号，
所述第二亮度插补部利用与由第一亮度插补部生成插补信号时使用的亮度信号相比一部分或全部不同的亮度信号生成插补信号。
4.如权利要求3所述的摄像装置，其特征在于：
所述透镜畸变特性函数运算部单独地保存与来自摄像元件的像素信号中的各色对应的畸变函数，
所述同色插补部与所述第一亮度插补部和所述第二亮度插补部按所述各色单独地生成插补信号。
CN201280067717.7A 2012-02-29 2012-09-14 摄像装置 Active CN104106261B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012-042749 2012-02-29
JP2012042749A JP5789542B2 (ja) 2012-02-29 2012-02-29 撮像装置
PCT/JP2012/073564 WO2013128693A1 (ja) 2012-02-29 2012-09-14 撮像装置

Publications (2)

Publication Number Publication Date
CN104106261A CN104106261A (zh) 2014-10-15
CN104106261B true CN104106261B (zh) 2016-05-04

Family

ID=49081920

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280067717.7A Active CN104106261B (zh) 2012-02-29 2012-09-14 摄像装置

Country Status (4)

Country Link
US (1) US9154757B2 (zh)
JP (1) JP5789542B2 (zh)
CN (1) CN104106261B (zh)
WO (1) WO2013128693A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8866944B2 (en) * 2012-12-28 2014-10-21 Visera Technologies Company Limited Method for correcting pixel information of color pixels on a color filter array of an image sensor
JP6168009B2 (ja) * 2014-07-31 2017-07-26 トヨタ自動車株式会社 コアシェル触媒の製造方法
DE102018106873B3 (de) * 2018-03-22 2019-07-04 Basler Ag Bestimmen von hinsichtlich einer Aufnahme mit einer inhomogenen Helligkeit korrigierten Farbwerten

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3735867B2 (ja) * 1993-01-14 2006-01-18 ソニー株式会社 輝度信号生成装置
JP3902852B2 (ja) * 1997-12-25 2007-04-11 キヤノン株式会社 撮像装置、信号処理方法及びコンピュータ読み取り可能な記憶媒体
JP2006339028A (ja) 2005-06-02 2006-12-14 Sony Corp 表示装置の製造方法および表示装置
JP4796871B2 (ja) * 2006-03-06 2011-10-19 富士フイルム株式会社 撮像装置
JP4231071B2 (ja) * 2006-09-20 2009-02-25 株式会社東芝 画像表示装置、画像表示方法および画像表示プログラム
JP2008301395A (ja) 2007-06-04 2008-12-11 Panasonic Corp 映像信号処理回路および固体撮像装置
JP5036421B2 (ja) * 2007-06-25 2012-09-26 シリコン ヒフェ ベー．フェー． 画像処理装置、画像処理方法、プログラムおよび撮像装置
JP2009157733A (ja) * 2007-12-27 2009-07-16 Konica Minolta Holdings Inc 画像歪み補正方法、画像歪み補正装置及び画像形成装置
JP5094430B2 (ja) * 2008-01-10 2012-12-12 キヤノン株式会社 画像処理方法、画像処理装置、システム
GB2460241A (en) * 2008-05-20 2009-11-25 Univ Dublin City Correction of optical lateral chromatic aberration
JP5173883B2 (ja) * 2009-02-20 2013-04-03 キヤノン株式会社 撮像装置
US8284271B2 (en) * 2009-06-05 2012-10-09 Apple Inc. Chroma noise reduction for cameras
JP5299867B2 (ja) * 2009-06-30 2013-09-25 日立コンシューマエレクトロニクス株式会社 画像信号処理装置
JP5241823B2 (ja) * 2009-07-21 2013-07-17 キヤノン株式会社 色収差を補正する画像処理装置、画像処理方法、プログラム、および、記憶媒体
JP2011061444A (ja) * 2009-09-09 2011-03-24 Hitachi Information & Communication Engineering Ltd 収差補正装置及び収差補正方法
JP5195818B2 (ja) 2010-06-01 2013-05-15 セイコーエプソン株式会社 表示制御装置

Also Published As

Publication number Publication date
CN104106261A (zh) 2014-10-15
US9154757B2 (en) 2015-10-06
WO2013128693A1 (ja) 2013-09-06
JP2013179513A (ja) 2013-09-09
JP5789542B2 (ja) 2015-10-07
US20150009368A1 (en) 2015-01-08

Similar Documents

Publication Publication Date Title
CN101527858B (zh) 图像处理方法、图像处理设备以及图像摄像设备
US8270757B2 (en) Image processing method, image processing apparatus, and imaging apparatus
US8233737B2 (en) Noise correction circuit, imaging apparatus, and noise correction method adding random number after noise removal
KR0153509B1 (ko) 촬상장치
JP5267794B2 (ja) 画像処理装置及び車載カメラ装置
JP2009218909A (ja) 画像撮像装置
KR920001009B1 (ko) 촬상장치
CN104106261B (zh) 摄像装置
US8090213B2 (en) Image processing device and method
JPH0884348A (ja) 撮像装置
JP2009194651A (ja) 画像撮像装置
JPH03220889A (ja) 動き情報信号検出回路
JP3340467B2 (ja) 色ズレ軽減装置
JPH0379168A (ja) ノイズ低減装置
JPH0888863A (ja) 高輝度圧縮装置
US7825977B2 (en) Image pickup apparatus and image pickup method
JP5846986B2 (ja) 撮像装置
JP5739365B2 (ja) 撮像装置
JPH08102957A (ja) 電子内視鏡装置
JP5767602B2 (ja) 撮像装置
JPH05268534A (ja) 黒レベルクランプ回路
JPH039428Y2 (zh)
JPH0638024A (ja) 画像処理装置
JPH08251606A (ja) 撮像装置
JPH0646290A (ja) 非直線レベル制御回路

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20180712

Address after: Kyoto Japan

Patentee after: MAXELL, Ltd.

Address before: Osaka Japan

Patentee before: Hitachi Maxell, Ltd.

CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: Kyoto Japan

Patentee after: MAXELL, Ltd.

Address before: Kyoto Japan

Patentee before: MAXELL HOLDINGS, Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220608

Address after: Kyoto Japan

Patentee after: MAXELL HOLDINGS, Ltd.

Address before: Kyoto Japan

Patentee before: MAXELL, Ltd.