CN110169043B - 成像装置、成像方法、电子设备和信号处理装置 - Google Patents
成像装置、成像方法、电子设备和信号处理装置 Download PDFInfo
- Publication number
- CN110169043B CN110169043B CN201780082171.5A CN201780082171A CN110169043B CN 110169043 B CN110169043 B CN 110169043B CN 201780082171 A CN201780082171 A CN 201780082171A CN 110169043 B CN110169043 B CN 110169043B
- Authority
- CN
- China
- Prior art keywords
- value
- image
- unit
- gain
- offset amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
- G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
- G03B7/091—Digital circuits
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Exposure Control For Cameras (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
本公开涉及一种在根据噪声量降低噪声的图像处理模块中使得可以减少要存储的设定值的信息量及其内插运算量的成像装置、成像方法、电子设备和信号处理装置。根据本发明,基于根据图像传感器的温度值偏移的图像传感器的增益值,对由图像传感器拍摄的图像进行信号处理。本公开适用于成像装置。
Description
技术领域
本技术涉及一种成像装置、成像方法、电子设备和信号处理装置,并且特别是涉及一种相对于根据噪声量降低噪声的配置能够减少设定值的存储量及其内插运算量的成像装置、成像方法、电子设备和信号处理装置。
背景技术
需要根据图像噪声或像素缺陷的量对诸如降噪(NR)、图像锐化、像素缺陷校正等处理进行调整以获得高图像质量图像输出。例如,当噪声量较大时,NR强度增大并且锐化处理强度削弱。另外,当噪声量较小时,进行调整以削弱NR强度并且增强锐化处理。
众所周知,噪声量的增加和降低取决于图像传感器的增益值和图像传感器的温度,并且针对每个功能设定根据噪声量的最佳设定值
顺便说一句,即使可以对图像传感器的增益值进行细微地调整,但是当将与所有的调整值相对应的最佳设定值保存在存储元件中时,该量变得巨大。为此,在提出的方案中,相对于图像传感器的增益值,设定值以预定间隔存储在若干点,并且当设定值设定在存储的增益值之间的区间时,通过线性内插法计算设定值。
另外,在提出的方案中,考虑到由于温度上升引起的噪声增加,抑制了为了获得适当曝光的传感器增益的增加,并且根据f值和快门时间按量进行调整(参见专利文献1)。
进一步地,在提出的方案中,计算允许对由图像传感器的温度上升引起的噪声增加进行适当校正的参数。即,利用由正常的f值、快门和传感器增益确定的曝光控制通过简单的方法计算出诸如NR等校正处理的参数(参见专利文献2)。
引用列表
专利文献
专利文献1:日本专利申请公开第2012-029194号
专利文献2:日本专利申请公开第2006-135425号
发明内容
发明要解决的问题
然而,噪声量的增加或降低除了图像传感器的增益值之外还取决于图像传感器的温度。
即使当图像传感器的增益值很低时,如果图像传感器的温度很高,噪声量也会增加。
然而,即使当根据图像传感器的增益值计算设定值时,如果温度实际上很高,则设定小于实际噪声量的情况下的设定值。因此,当根据温度包括与图像传感器的增益值的互锁类似的互锁机制以避免这种情况时,保存在存储元件中的设定值的信息量增大,并且计算变得复杂。
另外,在专利文献1的发明的情况下,在用于运动图像拍摄的相机中,存在可以不限制快门时间或调整f值的相机,调整是有限制的,并且考虑到温度信息曝光控制变得复杂。
进一步地,在专利文献2的发明的情况下,即使可以除去垂直条纹噪声,也不可能相对于高温下全屏的噪声量的增加调整信号处理单元的NR的设定。
鉴于这种情况完成了本公开,并且特别地,本公开具有根据噪声量降噪的处理必需的设定值并且根据温度保存偏移量,从而减少降噪所需的要存储的设定值的信息量和与内插处理相关的负载。
问题的解决方案
本公开的一个方面的成像装置是如下这种成像装置,其包括:图像传感器,所述图像传感器拍摄图像;增益值获取单元,所述增益值获取单元获取所述图像传感器的增益值;温度值获取单元,所述温度值获取单元获取所述图像传感器的温度值;以及信号处理单元,所述信号处理单元基于根据所述温度值偏移的所述增益值对由所述图像传感器拍摄的图像进行信号处理。
所述信号处理单元可以包括:图像处理单元,所述图像处理单元对所述图像进行预定图像处理,偏移量计算单元,所述偏移量计算单元基于所述温度值计算所述增益值的偏移量,加法单元,所述加法单元将所述偏移量与由所述增益值获取单元获取的增益值相加,以及设定值生成器,所述设定值生成器基于通过所述加法单元添加了所述偏移量的增益值生成用于所述图像处理单元中的所述预定图像处理的设定值,并且所述图像处理单元可以基于所述设定值对所述图像进行所述预定图像处理。
所述偏移量计算单元可以存储相对于对应于离散值的多个温度值的偏移量,并且通过使用存储的多个温度值的内插处理计算由所述温度值获取单元获取的温度值的偏移量。
所述偏移量计算单元可以存储相对于对应于离散值的多个温度值的偏移量,并且通过使用相对于存储的多个温度值中由所述温度值获取单元获取的温度值之前和之后的温度值的偏移量的线性内插计算偏移量。
所述偏移量计算单元可以通过使用具有所述温度值作为变量的n次多项式的内插计算偏移量。
所述设定值生成器可以存储相对于对应于离散值的多个增益值的设定值,并且通过使用存储的多个设定值的内插处理生成设定值。
所述设定值生成器可以存储相对于对应于离散值的多个增益值的设定值,并且通过使用存储的多个设定值中相对于由所述增益值获取单元获取的增益值之前和之后的增益值的设定值的线性内插生成设定值。
所述设定值生成器可以通过使用具有所述增益值作为变量的n次多项式的内插生成设定值。
在存在多个所述信号处理单元并且每个所述信号处理单元对所述图像分别进行不同的预定信号处理的情况下,所述多个所述信号处理单元中的每一个所述信号处理单元的所述偏移量计算单元可以分别存储相对于对应于所述离散值的多个温度值的不同的偏移量。
在存在多个所述信号处理单元并且每个所述信号处理单元对所述图像进行不同的信号处理的情况下,所述多个所述信号处理单元中的一些信号处理单元中的各者可以包括:第一图像处理单元,所述第一图像处理单元对所述图像进行第一图像处理,第一偏移量计算单元,所述第一偏移量计算单元基于所述温度值计算所述增益值的第一偏移量,第一加法单元,所述第一加法单元将所述第一偏移量与由所述增益值获取单元获取的增益值相加,以及第一设定值生成器,所述第一设定值生成器基于通过所述第一加法单元添加了所述第一偏移量的增益值生成用于所述图像处理单元中的所述第一图像处理的第一设定值,所述第一图像处理单元可以基于所述第一设定值对所述图像进行所述第一图像处理,所述多个所述信号处理单元中与所述一些信号处理单元不同的另一些信号处理单元中的各者可以包括:第二图像处理单元,所述第二图像处理单元对所述图像进行第二图像处理,第二偏移量计算单元,所述第二偏移量计算单元通过将由所述第一偏移量计算单元计算的所述第一偏移量乘以预定系数来计算第二偏移量,第二加法单元,所述第二加法单元将所述第二偏移量与由所述增益值获取单元获取的增益值相加,以及第二设定值生成器,所述第二设定值生成器基于通过所述第二加法单元添加了所述第二偏移量的增益值生成用于所述第二图像处理单元中的所述第二图像处理的第二设定值,并且所述第二图像处理单元可以基于所述第二设定值对所述图像进行所述第二图像处理。
本公开的一个方面的成像方法是如下这种成像装置的成像方法,所述成像装置包括:图像传感器,所述图像传感器拍摄图像,增益值获取单元,所述增益值获取单元获取所述图像传感器的增益值,以及温度值获取单元,所述温度值获取单元获取所述图像传感器的温度值,所述成像方法包括基于根据所述温度值偏移的所述增益值对由所述图像传感器拍摄的图像进行信号处理。
本公开的一个方面的电子设备是如下这种电子设备,其包括:图像传感器,所述图像传感器拍摄图像;增益值获取单元,所述增益值获取单元获取所述图像传感器的增益值;温度值获取单元,所述温度值获取单元获取所述图像传感器的温度值;以及信号处理单元,所述信号处理单元基于根据所述温度值偏移的所述增益值对由所述图像传感器拍摄的图像进行信号处理。
本公开的一个方面的信号处理装置是如下这种信号处理装置,其包括:图像处理单元,所述图像处理单元对由图像传感器拍摄的图像进行预定图像处理;偏移量计算单元,所述偏移量计算单元基于所述图像传感器的温度值计算所述图像传感器的增益值的偏移量;加法单元,所述加法单元将所述偏移量与所述图像传感器的增益值相加;以及设定值生成器,所述设定值生成器基于通过所述加法单元添加了所述偏移量的增益值生成用于所述图像处理单元中的所述预定图像处理的设定值,其中所述图像处理单元基于所述设定值对所述图像进行所述预定图像处理。
在本公开的一个方面中,获取拍摄图像的图像传感器的增益值,获取图像传感器的温度值,并且基于根据温度值偏移的增益值对由图像传感器拍摄的图像进行信号处理。
发明的有益效果
根据本公开的一个方面,可以减少降噪所需的要存储的设定值的信息量和与内插处理相关的负载。
附图说明
图1是用于描述为了计算图像处理所必需的相对于图像传感器的增益值的设定值而要保存的信息示例的图。
图2是用于描述为了计算图像处理所必需的相对于图像传感器的增益值的设定值而要保存的信息示例的图。
图3是用于描述使用图1和图2的信息的图像处理中的设定值供给处理的流程图。
图4是用于描述为了计算图像处理所必需的相对于图像传感器的针对每个温度的增益值的设定值而要保存的信息示例的图。
图5是用于描述使用图3的信息的图像处理中的设定值供给处理的流程图。
图6是用于描述本公开的成像装置的第一实施方案的配置示例的图。
图7是用于描述图6的成像装置的图像处理中的设定值供给处理的流程图。
图8是用于描述本公开的成像装置的第二实施方案的配置示例的图。
图9是用于描述图8的成像装置的图像处理中的设定值供给处理的流程图。
图10是用于描述本公开的成像装置的第三实施方案的配置示例的图。
图11是用于描述本公开的成像装置的第四实施方案的配置示例的图。
图12是用于描述图11中的成像装置的图像处理中的设定值供给处理的流程图。
图13是示出了作为应用本公开的成像元件的电子设备的成像装置的配置示例的框图。
图14是用于描述应用本公开的技术的成像元件的使用例的图。
具体实施方式
在下文中,下面将参照附图详细地描述本公开的理想实施方案。需要指出的是,在本说明书和附图中,具有基本上相同的功能配置的构成要素用相同的附图标记表示,并且省略重复说明。
<关于图像处理所必需的控制参数>
图像处理中存在多种类型的处理,例如,锐化处理、降噪处理、缺陷校正处理等。
一般地,在上述的图像处理中,对于根据图像传感器中的放大电路的增益值设定的多个控制参数中的每一个控制参数都存在设定值,原因是噪声电平通常由于增益值的增加而增加,并且有必要为控制参数设定与噪声量相对应的设定值。
更具体地,例如,如图1所示,对于预定控制参数,针对具有离散变量的增益Gain_a到Gain_d分别设定设定值A到设定值D。
为此,例如,在其中设置了锐化处理电路、降噪处理电路A到N和缺陷校正处理电路并且针对每个图像处理模块为控制参数1到n以及增益点Gain_a到Gain_d设定设定值的情况下,例如,需要如图2所示设定设定值。需要指出的是,图2中的设定值A到BL是表明设定值类型的示例。
在图2中,控制参数1到n的设定值针对与锐化处理电路、降噪处理电路A到N和缺陷校正处理电路相对应的总计(N+2)个图像处理模块的每一个进行设定,并且针对各自的控制参数在各自的增益点Gain_a到Gain_d设定设定值。
因此,在图2的情况下,需要将(4×n×(N+2))个设定值的表格存储在存储元件等中。
然后,根据待处理的帧中的图像传感器的增益信息从图2所示的设定值的表格中读取两个相邻点的增益值的设定值,执行使用该设定值的内插处理(interpolationprocessing)以确定设定值,将该设定值提供给要控制的图像处理模块,并且由图像处理模块执行处理。该处理由多个图像处理模块分别执行。
需要指出的是,当在处理拍摄的图像的时刻执行控制参数的设定值的确定处理时,参数设定在待处理图像的一帧的中间切换,切换前后校正结果不同,并且担心一帧内图像的连续性可能被破坏。为此,有必要在开始校正处理之前预先准备要设定的参数。换句话说,在切换每帧设定的情况下,最多需要在一帧周期内计算设定参数,并且不仅从存储元件容量的角度而且从内插计算所需要的处理时间的角度来看,希望不要增加要控制的参数的数量。
<在使用图2的表的情况下的设定值供给处理>
这里,将参照图3的流程图对在使用图2的设定值表的情况下将设定值提供给图像处理模块的具体的设定值供给处理进行描述。需要指出的是,图3的流程图的处理描述了在将图2的表用于包括锐化处理电路的图像处理模块中的控制参数1的情况下的设定值供给处理。当然,对于锐化处理电路以外的图像处理模块和控制参数1以外的控制参数,使用与每个处理相对应的表格的值。
在步骤S11中,根据待处理的帧中的图像传感器的增益值确定表上增益值中用于内插处理的两个相邻点的增益值。例如,当图像传感器的增益值是表上Gain_b和Gain_c之间的中间值时,用于内插处理的表上两个相邻点的增益值是Gain_b和Gain_c。在其他值的情况下,设定两个前后相邻点的增益值。
在步骤S12中,读取与图像传感器的增益值的两个相邻点的一个增益值相对应的设定值。即,这里,读取与增益值的两个相邻点的一个增益值相对应的Gain_b的设定值B。
在步骤S13中,读取与图像传感器的增益值的两个相邻点的另一个增益值相对应的设定值。即,这里,读取与增益值的两个相邻点的另一个增益值相对应的Gain_c的设定值C。
在步骤S14中,使用图像传感器的增益值的两个相邻点的增益值的设定值执行内插处理。即,这里,由于图像传感器增益值是Gain_b和Gain_c之间的中间值,所以获得设定值B和C的中间值作为设定值的内插值。
在步骤S15中,将获得的内插值作为设定值输出。即,这里,将设定值B和C的中间值作为设定值的内插值输出。
在步骤S16中,确定是否命令结束处理。当没有命令结束处理时,处理返回到步骤S11,并且重复后续处理。然后,在步骤S16中,当命令结束处理时,处理结束。
通过上面的处理,根据图像传感器的增益值设定设定值并且将其提供给图像处理模块。
<关于与图像传感器的温度值相对应的控制参数>
进一步地,在考虑到由于图像传感器的温度值引起的噪声量的影响的情况下,例如,在针对与低温[温度_1]、中/低温[温度_2]、中/高温[温度_3]和高温[温度_4]相对应的四个点的温度值将每个图像处理模块的最佳设定值保存在存储元件中的情况下,需要存储图4所示的信息量的设定值。即,由于针对四个点的温度值中的每一个都需要图2的信息量,所以存储元件中要存储的图4的信息量是图2的信息量的四倍。
在考虑到图像传感器的温度的情况下,根据图4所示的保存在存储元件中的设定值计算出每个图像处理模块的各自的控制参数的设定值。
<在使用图4的表的情况下的设定值供给处理>
这里,将参照图5的流程图描述在使用图4的设定值的表的情况下的具体的设定值供给处理。需要指出的是,图5的流程图的处理在使用图4的表的情况下相对于锐化处理电路中的控制参数1执行设定值供给处理。当然,对于锐化处理电路以外的图像处理和控制参数1以外的控制参数,使用与每个处理相对应的表的值。
另外,这里,描述了在其中图像传感器增益值是在点Gain_b和点Gain_c的中间的增益值并且图像传感器的温度值是在[温度_1]和[温度_2]中间的温度值的情况下包含在锐化处理电路中的图像处理模块的控制参数1的计算方法。
在步骤S31中,根据待处理的帧中的图像传感器的增益信息确定用于内插处理的两个相邻点的增益值。例如,这里,增益值是Gain_b和Gain_c之间的中间值。在其他值的情况下,设定每个值的两个前后相邻点的值。
在步骤S32中,获取图像传感器的温度值。
在步骤S33中,根据待处理的帧中图像传感器的温度测量结果确定用于内插处理的两个相邻点的温度值。例如,这里,从测量结果获得的图像传感器的温度值是[温度_1]和[温度_2]的中间的温度值,并且因此用于内插处理的相邻温度值是温度值[温度_1]和[温度_2]。需要指出的是,当图像传感器的温度值是另一个温度值时,将图像传感器的温度值前后的表上的温度值设定为两个相邻点的温度值。
在步骤S34中,读取在一个温度值下图像传感器的增益值的两个相邻点的一个增益值的设定值。即,这里,读取设定值1B,设定值1B是与在对应于一个温度值的[温度_1]下图像传感器的增益值的两个相邻点的一个增益值相对应的Gain_b的设定值。
在步骤S35中,读取在一个温度值下图像传感器的增益值的两个相邻点的另一个增益值的设定值。即,这里,读取设定值1C,设定值1C是与温度值[温度_1]下的增益值的两个相邻点的另一个增益值相对应的Gain_c的设定值。
在步骤S36中,使用一个温度值下图像传感器的增益值的两个相邻点的增益值的设定值来执行基于一个温度值的增益值的内插处理。即,这里,由于使用了设定值1B和1C并且一个温度值下图像传感器的增益值是Gain_b和Gain_c之间的中间值,所以将作为设定值1B和1C的中间值的设定值[1B,1C]获得为一个温度值[温度_1]的内插值。
在步骤S37中,读取另一个温度值下图像传感器的增益值的两个相邻点的一个增益值的设定值。即,这里,读取设定值2B,设定值2B是与作为另一个温度值的温度值[温度_2]下图像传感器的增益值的两个相邻点的一个增益值相对应的Gain_b的设定值。
在步骤S38中,读取另一个温度值下图像传感器的增益值的两个相邻点的另一个增益值的设定值。即,这里,读取设定值2C,设定值2C是与作为另一个温度值的温度值[温度_2]下图像传感器的增益值的两个相邻点的另一个增益值相对应的Gain_c的设定值。
在步骤S39中,使用另一个温度值下图像传感器的增益值的两个相邻点的增益值的设定值执行基于增益值的内插处理。即,这里,由于使用了设定值2B和2C并且另一个温度值下图像传感器的增益值是Gain_b和Gain_c之间的中间值,所以将作为设定值2B和2C的中间值的设定值[2B,2C]获得为温度值[温度_2]的内插值。
在步骤S40中,使用与一个温度的内插值相对应的设定值和与另一个温度的内插值相对应的设定值执行基于图像传感器的温度值的内插处理,并且将内插结果获得为控制参数1。即,这里,由于温度值是在温度值[温度_1]和[温度_2]的中间的温度值,所以将与[温度_1]的内插值相对应的设定值[1B,1C]和与[温度_2]的内插值相对应的设定值[2B,2C]之间的中间值获得为控制参数1的设定值。
在步骤S41中,将获得的内插值作为设定值输出到图像处理模块中。即,这里,将设定值[1B,1C]和设定值[2B,2C]之间的中间值作为内插值输出到图像处理模块中。
在步骤S42中,确定是否命令结束处理。当没有命令结束处理时,处理返回到步骤S31,并且重复后续处理。然后,在步骤S42中,当命令结束处理时,处理结束。
通过上面的处理,根据增益值和图像传感器的温度值设定设定值并且将其提供给图像处理模块。
即,当对使用图4的表的内插处理与使用图2的表的内插处理进行比较时,要读取的参数值的量是两倍,内插处理的量是三倍,以及保存在存储元件中的参数设定信息的量是四倍。
需要指出的是,在上述的处理中,描述了其中在通过增益值进行内插处理后通过温度值进行内插处理的示例。然而,可以在通过温度值进行内插处理后通过增益值进行内插处理。
在这两种情况下,不仅存储元件中保存的设定值的信息量增加,而且考虑到图像传感器的温度值用于每个图像处理模块中要设定的控制参数计算的设定值的读取量和内插处理量也增加。
<本公开的成像装置的第一实施方案>
本公开的成像装置实现了基于增益值的校正和基于温度值的校正,同时抑制了存储元件中保存的设定值的数量。这里,将参照图6描述本公开的成像装置的第一实施方案。
图6的成像装置1包括图像传感器31、图像处理单元32、图像传感器增益值获取单元33、图像传感器温度值获取单元34和信号处理单元35。
图像传感器31包括互补金属氧化物半导体(CMOS)、电荷耦合器件(CCD)等等,根据入射光的量以像素为单位通过光电转换生成电荷,并且将包括基于所生成的电荷的像素信号的图像提供给信号处理单元35。
图像处理单元32对由图像传感器31拍摄的图像进行预定处理并且将处理后的图像输出到信号处理单元35。
图像传感器增益值获取单元33获取图像传感器31的增益值并且将所获取的增益值作为图像传感器增益值提供给信号处理单元35。
图像传感器温度值获取单元34将与图像传感器31的温度的设定值相对应的图像传感器温度值提供给信号处理单元35。
信号处理单元35基于从图像传感器增益值获取单元33提供的图像传感器增益值和从图像传感器温度值获取单元34提供的图像传感器温度值对从图像处理单元32提供的图像的像素信号进行信号处理,并且将处理后的像素信号输出到后级的装置(未示出)。
信号处理单元35包括偏移量计算单元51、加法单元52、设定值内插单元53和图像处理模块54。
例如,偏移量计算单元51将图6的信息P1所示的相对于图像传感器的温度值的增益值的偏移量存储在内置存储元件(未示出)中,基于从图像传感器温度值获取单元34提供的图像传感器温度值计算偏移量,并且将计算出的偏移量输出到加法单元52。图6的信息P1示出了将相对于图像传感器温度值的图像传感器增益值的偏移量ofs_1到ofs_4存储为具有离散量的四个温度值[温度_1]到[温度_4]。
四个点之间的温度值的偏移量由偏移量计算单元51使用相对于四个点的温度的存储的偏移量通过内插计算,并且输出到加法单元52。
即,偏移量计算单元51不存储相对于所有温度值的偏移量,而是存储,例如,相对于四个点的离散设定温度值[温度_1]到[温度_4]的偏移量ofs_1到ofs_4,并且相对于四个点之间的温度值的偏移量使用相对于四个点的温度值的偏移量通过内插获得。更具体地,当图像传感器的温度值是[温度_1]和[温度_2]之间的中间值时,例如,偏移量计算单元51使用[温度_1]和[温度_2]的偏移量ofs_1和ofs_2通过内插将偏移量ofs_1和ofs_2之间的中间值设定为偏移量。
加法单元52将从偏移量计算单元51提供的偏移量与从增益值获取单元32提供的增益值相加,并且将相加的值提供给设定值内插单元53。
例如,设定值内插单元53将图6的信息P2所示的相对于增益值的在图像处理模块54中的图像处理中设定的设定值存储在内置存储元件(未示出)中,基于从加法单元52提供的图像传感器增益值计算设定值,并且将计算出的设定值提供给图像处理模块54。
图6的信息P2示出了将相对于图像传感器增益值的在图像处理模块54中设定的设定值[设定值_A]到[设定值_D]存储为四个点的增益值[Gain_1]到[Gain_4]。四个点之间的增益值的设定值由设定值内插单元53使用相对于四个点的增益值[Gain_1]到[Gain_4]的存储的设定值[设定值_A]到[设定值_D]通过内插计算,并且输出到图像处理模块54。
即,设定值内插单元53不存储相对于所有的增益值的设定值,而是存储,例如,相对于四个点的增益值[Gain_1]到[Gain_4]的设定值[设定值_A]到[设定值_D],并且相对于四个点之间的增益值的设定值使用相对于四个点的增益值的设定值通过内插获得。更具体地,当图像传感器的增益值是[Gain_1]和[Gain_2]之间的中间值时,例如,设定值内插单元53使用[Gain_1]和[Gain_2]的设定值[设定值_A]和[设定值_B]通过内插将设定值[设定值_A]和[设定值_B]之间的中间值设定为设定值。
图像处理模块54基于从设定值内插单元53提供的设定值对从图像传感器31提供的图像的每个像素的像素信号进行图像处理,并且将处理后的像素信号输出到后级的部件(未示出)。由图像处理模块54执行的具体的图像处理的示例包括锐化处理、降噪处理和缺陷校正处理。
需要指出的是,描述了以下示例:其中由偏移量计算单元51存储的信息P1和设定值内插单元53中存储的信息P2对应于相对于四个点的离散设定的温度值的偏移量和相对于四个点的离散设定的增益值的设定值。然而,可以采用另外数量的点。然而,当要存储的设定值的点的数量增加时,担心信息P1和信息P2所需的存储元件的容量可能会增大,因此希望尽可能具有最小必需量。
另外,在下文中,由图像传感器增益值获取单元33所获取的增益值被称为图像传感器增益值,以及由图像传感器温度值获取单元34所获取的温度值被称为图像传感器温度值。进一步地,在由偏移量计算单元51存储的信息P1和设定值内插单元53中存储的信息P2中设定了设定值的增益值和温度值被简称为增益值和温度值。
<图6的成像装置的设定值供给处理>
接下来,将参照图7的流程图描述图6成像装置1的设定值供给处理。
在步骤S71中,图像传感器温度值获取单元34测量图像传感器31的温度值,获取测量结果作为图像传感器温度值,并且将所获取的测量结果输出到偏移量计算单元51。
在步骤S72中,偏移量计算单元51基于所获取的图像传感器温度值确定用于内插的温度值的两个点。即,例如,当所获取的图像传感器温度值是与温度值[温度_1]和[温度_2]之间的中间值相对应的温度值时,温度值[温度_1]和[温度_2]被确定为用于内插的温度值。
在步骤S73中,偏移量计算单元51基于存储元件中存储的信息P1读取相对于用于内插的两个点的温度值中的一个温度值的偏移量。即,例如,当一个温度值是温度值[温度_1]时,偏移量计算单元51读取相对于温度值[温度_1]的偏移量oft_1。
在步骤S74中,偏移量计算单元51基于存储元件中存储的信息P1读取相对于用于内插的两个点的温度值中的另一个温度值的偏移量。即,例如,当另一个温度值是温度值[温度_2]时,偏移量计算单元51读取相对于温度值[温度_2]的偏移量oft_2。
在步骤S75中,偏移量计算单元51使用两个点的温度值的各自读取的偏移量通过基于所获取的图像传感器温度值的内插处理确定偏移值,并且将所确定的偏移值提供给加法单元52。即,例如,当所获取的图像传感器温度值是温度值[温度_1]和[温度_2]之间的中间值时,偏移量计算单元51通过内插处理获得偏移量oft_1和oft_2的中间值并且将所获得的中间值确定为相对于所获取的图像传感器温度值的偏移量。
在步骤S76中,加法单元52将通过内插处理获得的偏移量与由增益值获取单元33所获取的图像传感器增益值相加并且将所得到的值输出到设定值内插单元53。
在步骤S77中,设定值内插单元53基于所获取的图像传感器增益值确定用于内插的两个点的增益值。即,例如,当所获取的图像传感器增益值是增益值[Gain_1]和[Gain_2]之间的中间值时,增益值[Gain_1]和[Gain_2]被确定为用于内插的增益值。
在步骤S78中,设定值内插单元53基于存储元件中存储的信息P2读取相对于用于内插的两个点的增益值中的一个增益值的设定值。即,例如,当一个增益值是增益值[Gain_1]时,设定值内插单元53读取相对于增益值[Gain_1]的设定值A。
在步骤S79中,设定值内插单元53基于存储元件中存储的信息P2读取相对于用于内插的两个点的增益值中的另一个增益值的设定值。即,例如,当另一个增益值是增益值[Gain_2]时,设定值内插单元53读取相对于增益值[Gain_2]的设定值B。
在步骤S80中,设定值内插单元53使用两个点的增益值的各自读取的设定值通过基于所获取的图像传感器增益值的内插处理确定设定值。即,例如,当所获取的图像传感器增益值是增益值[Gain_1]和[Gain_2]之间的中间值时,设定值内插单元53通过内插处理获得设定值A和B的中间值并且将所获得的中间值确定为相对于所获取的增益值的设定值。
在步骤S81中,设定值内插单元53将通过内插处理获得的设定值输出到图像处理模块54。通过该处理,图像处理模块54对从图像处理单元32提供的图像信号进行与从设定值内插单元53提供的设定值相对应的图像处理。
在步骤S82中,确定是否命令结束处理。当没有命令结束处理时,处理返回到步骤S71,并且重复后续处理。然后,在步骤S82中,当命令结束处理时,处理结束。
通过上面的处理,图像处理模块54根据重复输出的设定值对从图像处理单元32提供的图像进行必要的图像处理。
以这种方式,例如,对于偏移量计算单元51和设定值内插单元53的存储元件中存储的信息量,如图2所示,例如,当针对每个控制参数将与增益值相对应的偏移量设定为四个点时,相对于温度值,偏移量的信息仅增加了四个点,并且可以抑制图4所示的信息量的增加。另外,对于与内插处理相关的处理负载,只执行一次温度的处理,因此可以抑制处理负载的增加。
结果,即使在未考虑图像传感器的温度值的影响配置信号处理单元的情况下,通过添加小的存储区域和内插处理也可以实现考虑了图像传感器温度值的图像处理。
<本公开的成像装置的第二实施方案>
在上面的描述中,描述了以下示例:通过线性内插获得与图像传感器温度值相对应的偏移量或与图像传感器增益值相对应的设定值的内插处理。然而,内插处理可以对应于其他处理,并且例如,可以通过n次多项式(n是1以上的整数)获得。
图8示出了其中通过n次多项式获得与图像传感器温度值相对应的偏移量或与图像传感器增益值相对应的设定值的内插处理的成像装置的配置示例。需要指出的是,在图8的成像装置1的配置中,将相同的附图标记附在具有与图6的成像装置1中的部件的功能相同的功能的部件上,并且将适当地省略对其的描述。
更详细地,图8的成像装置1与图6的成像装置1的不同之处在于设置了偏移量计算单元71和设定值内插单元72代替偏移量计算单元51和设定值内插单元53。
偏移量计算单元71的基本功能与偏移量计算单元51的基本功能基本上相同。然而,与图像传感器温度值相对应的偏移量不是通过线性内插获得的,而是通过,例如,下面方程式(1)所示的n次多项式获得的。
[方程式1]
n次多项式:f(x)=a0+a1x+a2x2+...+anxn…(1)
这里,a0、a1、a2、...、an是多项式的系数,并且通过,例如,最小二乘法获得。另外,x是图像传感器温度值。
如由图8的信息P11所示的,偏移量计算单元71将获得相对于温度值的偏移量的n次多项式的系数存储在内置存储元件(未示出)中,并且使用系数计算与温度值相对应的偏移值。
设定值内插单元72的基本功能与设定值内插单元53的基本功能基本上相同。然而,与增益值相对应的设定值不是通过线性内插获得的,而是通过,例如,上面的方程式(1)所示的n次多项式获得的。然而,在设定值内插单元72的情况下,系数与偏移量计算单元71的系数不同并且x对应于增益值。
<图8的成像装置的设定值供给处理>
接下来,将参照图9的流程图描述图8的成像装置的设定值供给处理。
在步骤S101中,图像传感器温度值获取单元34测量图像传感器31的温度,获取测量结果作为图像传感器温度值,并且将所获取的测量结果输出到偏移量计算单元71。
在步骤S102中,偏移量计算单元71通过所获取的图像传感器温度值通过使用n次多项式的内插处理计算并确定偏移量。
在步骤S103中,加法单元52将通过内插处理获得的偏移量与由增益值获取单元33所获取的图像传感器增益值相加并且将所得到的值输出到设定值内插单元72。
在步骤S104中,设定值内插单元72通过图像传感器增益值通过使用n次多项式的内插处理计算并确定设定值。
在步骤S105中,设定值内插单元72将通过内插处理获得的设定值输出到图像处理模块54。
在步骤S106中,确定是否命令结束处理。当没有命令结束处理时,处理返回到步骤S101,并且重复后续处理。然后,在步骤S106,当命令结束处理时,处理结束。
通过上面的处理,图像处理模块54根据重复输出的设定值对从图像处理单元32提供的图像进行必要的图像处理。
以这种方式,可以抑制偏移量计算单元71和设定值内插单元72的存储元件中存储的信息量和处理负载的增加。
结果,即使在未考虑温度的影响配置信号处理单元的情况下,通过添加小的存储区域和内插处理也可以实现与图像传感器温度值相对应的图像处理。
<本公开的成像装置的第三实施方案>
在上面的描述中,描述了其中设置一个信号处理单元35的示例。然而,可以存在多个信号处理单元。在其中不同的偏移值对应于各自的图像传感器温度值的情况下,可以进行与各个值相对应的内插处理。
图10示出了在设置多个信号处理单元35的情况下的成像装置1的示例。
图10的成像装置1包括图像传感器31、图像处理单元32-1到32-3以及信号处理单元35-1和35-2。图像处理单元32-1到32-3具有与图像处理单元32的配置相同的配置,以及信号处理单元35-1和35-2具有与信号处理单元35的配置相同的配置。
更具体地,图像处理单元32-1对由图像传感器31拍摄的图像进行预定图像处理并且将处理后的图像提供给信号处理单元35-1。
信号处理单元35-1对来自图像处理单元32-1的图像进行预定信号处理并且将处理后的图像输出到图像处理单元32-2。
图像处理单元32-2对由信号处理单元35-1拍摄的图像进行预定图像处理并且将处理后的图像提供给信号处理单元35-2。
信号处理单元35-2对来自图像处理单元32-2的图像进行预定信号处理并且将处理后的图像输出到图像处理单元32-3。
图像处理单元32-3对由信号处理单元35-2拍摄的图像进行预定图像处理并且将处理后的图像输出到后级部件(未示出)。
这里,信号处理单元35-1和35-2分别包括偏移量计算单元51-1和51-2、加法单元52-1和52-2、设定值内插单元53-1和53-2以及图像处理模块54-1和54-2。偏移量计算单元51-1和51-2、加法单元52-1和52-2、设定值内插单元53-1和53-2以及图像处理模块54-1和54-2的基本配置分别与偏移量计算单元51、加法单元52、设定值内插单元53以及图像处理模块54的基本配置相同。
然而,图像处理模块54-1和54-2分别用作不同的处理,即,例如,不同的锐化处理电路、不同的降噪电路或不同的缺陷处理电路。为了与各个图像处理相对应,例如,将相对于偏移量计算单元51-1和51-2的存储元件(未示出)中存储的图像传感器温度值的偏移量的信息如由图10的信息P1-1和信息P1-2所示作为不同的信息存储。
即,在信息P1-1中,相对于温度值[温度_1]的偏移量是偏移量ofs_a,相对于温度值[温度_2]的偏移量是偏移量ofs_b,相对于温度值[温度_3]的偏移量是偏移量ofs_c,以及相对于温度值[温度_4]的偏移量是偏移量ofs_d。
另一方面,在信息P1-2中,相对于温度值[温度_1]的偏移量是偏移量ofs_e,相对于温度值[温度_2]的偏移量是偏移量ofs_f,相对于温度值[温度_3]的偏移量是偏移量ofs_g,以及相对于温度值[温度_4]的偏移量是偏移量ofs_h。
图10的成像装置1具有其中信号处理单元35-1预先对来自图像传感器31的图像进行信号处理,并且信号处理单元35-2通过另一图像处理进一步地对其处理结果进行信号处理的配置。在这种情况下,信号处理单元35-2与信号处理单元35-1相比可能更不易受由图像传感器温度值引起的噪声波动的影响。因此,在这种情况下,通过分别将根据图像传感器温度值的增益值的偏移量保存在信号处理单元35-1和35-2的每一个中,并且将不同的偏移值与增益值相加,可以独立地控制信号处理单元35-1和信号处理单元35-2对图像传感器温度值的影响。
对于设定值内插单元53-1和53-2,类似于偏移量计算单元51-1和51-2中的信息P1-1和信息P1-2,将信息P2-1和信息P2-2存储在内置存储元件(未示出)中,并且可以存储具有相对于不同的增益值的设定值表的信息。
需要指出的是,信号处理单元35-1和35-2中的每一个的处理与图7的处理类似,因此将省略其描述。另外,对于偏移量,可以采用线性内插以外的内插法,例如,可以采用参照图8和图9所述的使用n次多项式的内插法。
<本公开的成像装置的第四实施方案>
在上面的描述中,描述了以下示例:其中当存在多个信号处理单元35并且不同的偏移量对应于各自的温度值时,执行使用不同的偏移量的内插处理。然而,当一个信号处理单元35的偏移量是另一个信号处理单元35的偏移量的常数倍时,另一个信号处理单元35可以用常数乘以一个信号处理单元35的偏移量,并且使用所得到的值作为另一个信号处理单元35的偏移量。
图11示出了其中当设置多个信号处理单元35时用常数乘以一个偏移量并且被用作另一个偏移量的成像装置1的配置示例。需要指出的是,图11的成像装置1与图10的成像装置1的配置的不同之处在于设置乘法单元101和存储偏移量调制增益值102a的存储器102代替信号处理单元35-2的偏移量计算单元51-2。
图11的成像装置1中的信号处理单元35-2的乘法单元101获取由信号处理单元35-1中的偏移量计算单元51计算的偏移量,乘以存储器102中存储的与预定常数相对应的偏移量调制增益值102a以便用常数乘以信号处理单元35-1的偏移量,并且将所得到的值输出到加法单元52-2。
即,当信号处理单元35-2的偏移量可以是信号处理单元35-1的偏移量的50%时,通过将偏移量调制增益值102a设定为0.5,并且通过用0.5乘以信号处理单元35-1的偏移量,与信号处理单元35-1的偏移量的50%相对应的偏移量可以用作信号处理单元35-2的偏移量。
根据这种配置,使用通过用信号处理单元35-1的偏移量乘以与预定倍数相对应的偏移量调制增益值102a获得的值作为信号处理单元35-2的偏移量就足够了。因此,在信号处理单元35-2中,偏移量计算单元51的配置是不必要的,并且可以降低装置配置的成本和处理负载。
如上所述,根据本公开的成像装置,可以减少根据噪声量执行处理的图像处理模块的最佳设定值的存储量和与其内插运算相关的处理负载。
即,例如,当存储根据图像传感器增益值的四个点的设定值以及存储根据图像传感器温度值的四个点的设定值时,有必要存储4×4=16个设定值。另外,当有需要根据噪声量最佳设定和调整的多个控制参数时,需要将16个组合存储在与参数的数量相对应的组中。
然而,在本公开的成像装置中,通过保存与四个温度值相对应的偏移值以获得偏移量,将偏移量与图像传感器增益值相加,并且使用所得到的值作为增益值,可以对图像传感器增益值和图像传感器温度中的每一个值应用校正,并且可以减少用于每个控制参数的设定值的信息量以及可以减少与内插处理相关的处理负载。
<图11的成像装置的设定值供给处理>
接下来,将参照图12的流程图描述图11的成像装置1的设定值供给处理。需要指出的是,图11的成像装置1中的信号处理单元35-1的设定值供给处理与参照图7所述的处理类似。因此,将省略其描述,并且将描述信号处理单元35-2的设定值供给处理。然而,同时,假设执行了信号处理单元35-1的设定值供给处理,并且获得信号处理单元35-1的偏移量且将其提供给信号处理单元35-2。另外,图12的步骤S114到S119的处理与图7的步骤S76到S82的处理类似,并且因此将省略其描述。
即,在步骤S111中,乘法单元101获取由信号处理单元35-1获得的偏移量。
在步骤S112中,乘法单元101读取具有存储器102中存储的预定常数的偏移量调制增益值102a,用所获取的偏移量乘以读取的值,并且将所得到的值提供给加法单元52-2。
通过后面的处理,获得信号处理单元35-2中的处理所必需的设定值并且将其提供给图像处理模块54-2,并且进行处理。
以这种方式,在设置多个信号处理单元35的情况下,没有必要为所有的信号处理单元35设置偏移量计算单元51,因此可以实现装置成本、内插处理负载和电力消耗的降低。
<电子设备的应用示例>
例如,上述的成像装置1可以适用于各种电子设备,例如诸如数码相机或数码摄像机等成像装置、具有图像采集功能的移动电话或具有图像采集功能的其他设备。
图13是示出了作为应用本技术的电子设备的成像装置的配置示例的框图。
图13中所示成像装置201包括光学系统202、快门装置203、固态成像元件204、驱动电路205、信号处理电路206、显示器207和存储器208,并且可以拍摄静止图像和运动图像。
光学系统202包括一个或多个透镜,将来自被摄体的光(入射光)引导到固态成像元件204,并且在固态成像元件204的光接收表面上形成图像。
快门装置203配置在光学系统202和固态成像元件204之间,并且在驱动电路205的控制下控制相对于固态成像元件204的光照射时段和遮光时段。
固态成像元件204由包括上述的固态成像元件的封装件构成。固态成像元件204根据经由光学系统202和快门装置203在光接收表面上形成的光累积一定时段的信号电荷。根据从驱动电路205提供的驱动信号(时序信号)传输固态成像元件204中累积的信号电荷。
驱动电路205将用于控制固态成像元件204的传输操作和快门装置203的快门操作的驱动信号输出以驱动固态成像元件204和快门装置203。
信号处理电路206对从固态成像元件204输出的信号电荷进行各种信号处理。将通过由信号处理电路206执行信号处理获得的图像(图像数据)提供给显示器207并显示,或提供给存储器208并存储(记录)。
在如上所述配置的成像装置201中,通过将成像装置1中的信号处理单元35应用于信号处理电路206,可以减少存储设定值的存储元件中存储的信息量,并且可以减少与信号处理中的内插处理相关的处理负载。结果,可以实现装置成本和电力消耗的降低。
<成像元件的使用例>
图14是示出了使用成像装置201的使用例的图。
例如,上述的成像元件可以用于如下所述的感测诸如可见光、红外线、紫外线、x射线等光的各种情况。
-用于拍摄供观赏的图像的装置,例如数码相机、具有相机功能的便携式装置等。
-用于交通的装置,例如为了诸如自动停止等安全驾驶、识别驾驶员状态等而对车辆的前、后、周围、内部等的图像进行拍摄的车载传感器,用于对行驶车辆和道路进行监视的监视相机,用于测量车辆之间距离的距离传感器等。
-用于诸如电视机、冰箱、空调等家用电器,以拍摄使用者的手势的图像并且根据该手势进行设备操作的装置。
-用于医疗保健的装置,例如内窥镜、通过接收红外光进行血管造影的装置等。
-用于安保的装置,例如用于预防犯罪目的的监控相机、用于个人身份认证的相机等。
-用于美容的装置,例如用于拍摄皮肤图像的皮肤测量仪器、用于拍摄头皮图像的显微镜等。
-用于运动的装置,例如用于运动应用的动作相机或可穿戴相机等。
-用于农业的装置,例如监测田地或农作物的状况的相机等。
需要指出的是,本公开可以采用以下配置。
<1>一种成像装置,包括:
图像传感器,所述图像传感器拍摄图像;
增益值获取单元,所述增益值获取单元获取所述图像传感器的增益值;
温度值获取单元,所述温度值获取单元获取所述图像传感器的温度值;以及
信号处理单元,所述信号处理单元基于根据所述温度值偏移的所述增益值对由所述图像传感器拍摄的图像进行信号处理。
<2>根据<1>所述的成像装置,其中
所述信号处理单元包括:
图像处理单元,所述图像处理单元对所述图像进行预定图像处理,
偏移量计算单元,所述偏移量计算单元基于所述温度值计算所述增益值的偏移量,
加法单元,所述加法单元将所述偏移量与由所述增益值获取单元获取的增益值相加,以及
设定值生成器,所述设定值生成器基于通过所述加法单元添加了所述偏移量的增益值生成用于所述图像处理单元中的所述预定图像处理的设定值,并且
所述图像处理单元基于所述设定值对所述图像进行所述预定图像处理。
<3>根据<2>所述的成像装置,其中
所述偏移量计算单元存储相对于对应于离散值的多个温度值的偏移量,并且通过使用存储的多个温度值的内插处理计算由所述温度值获取单元获取的温度值的偏移量。
<4>根据<3>所述的成像装置,其中
所述偏移量计算单元存储相对于对应于离散值的多个温度值的偏移量,并且通过使用相对于存储的多个温度值中由所述温度值获取单元获取的温度值之前和之后的温度值的偏移量的线性内插计算偏移量。
<5>根据<2>所述的成像装置,其中
所述偏移量计算单元通过使用具有所述温度值作为变量的n次多项式的内插计算偏移量。
<6>根据<2>所述的成像装置,其中
所述设定值生成器存储相对于对应于离散值的多个增益值的设定值,并且通过使用存储的多个设定值的内插处理生成设定值。
<7>根据<6>所述的成像装置,其中
所述设定值生成器存储相对于对应于离散值的多个增益值的设定值,并且通过使用存储的多个设定值中相对于由所述增益值获取单元获取的增益值之前和之后的增益值的设定值的线性内插生成设定值。
<8>根据<2>所述的成像装置,其中
所述设定值生成器通过使用具有所述增益值作为变量的n次多项式的内插生成设定值。
<9>根据<2>所述的成像装置,其中
在存在多个所述信号处理单元并且每个所述信号处理单元对所述图像分别进行不同的预定信号处理的情况下,所述多个所述信号处理单元中的每一个所述信号处理单元的所述偏移量计算单元分别存储相对于对应于所述离散值的多个温度值的不同的偏移量。
<10>根据<1>所述的成像装置,其中
在存在多个所述信号处理单元并且每个所述信号处理单元对所述图像进行不同的信号处理的情况下,
所述多个所述信号处理单元中的一些信号处理单元中的各者包括:
第一图像处理单元,所述第一图像处理单元对所述图像进行第一图像处理,
第一偏移量计算单元,所述第一偏移量计算单元基于所述温度值计算所述增益值的第一偏移量,
第一加法单元,所述第一加法单元将所述第一偏移量与由所述增益值获取单元获取的增益值相加,以及
第一设定值生成器,所述第一设定值生成器基于通过所述第一加法单元添加了所述第一偏移量的增益值生成用于所述图像处理单元中的所述第一图像处理的第一设定值,
所述第一图像处理单元基于所述第一设定值对所述图像进行所述第一图像处理,
所述多个所述信号处理单元中与所述一些信号处理单元不同的另一些信号处理单元中的各者包括:
第二图像处理单元,所述第二图像处理单元对所述图像进行第二图像处理,
第二偏移量计算单元,所述第二偏移量计算单元通过将由所述第一偏移量计算单元计算的所述第一偏移量乘以预定系数来计算第二偏移量,
第二加法单元,所述第二加法单元将所述第二偏移量与由所述增益值获取单元获取的增益值相加,以及
第二设定值生成器,所述第二设定值生成器基于通过所述第二加法单元添加了所述第二偏移量的增益值生成用于所述第二图像处理单元中的所述第二图像处理的第二设定值,并且
所述第二图像处理单元基于所述第二设定值对所述图像进行所述第二图像处理。
<11>一种成像装置的成像方法,所述成像装置包括:
图像传感器,所述图像传感器拍摄图像,
增益值获取单元,所述增益值获取单元获取所述图像传感器的增益值,以及
温度值获取单元,所述温度值获取单元获取所述图像传感器的温度值,
所述成像方法包括:
基于根据所述温度值偏移的所述增益值对由所述图像传感器拍摄的图像进行信号处理。
<12>一种电子设备,包括:
图像传感器,所述图像传感器拍摄图像;
增益值获取单元,所述增益值获取单元获取所述图像传感器的增益值;
温度值获取单元,所述温度值获取单元获取所述图像传感器的温度值;以及
信号处理单元,所述信号处理单元基于根据所述温度值偏移的所述增益值对由所述图像传感器拍摄的图像进行信号处理。
<13>一种信号处理装置,包括:
图像处理单元,所述图像处理单元对由图像传感器拍摄的图像进行预定图像处理;
偏移量计算单元,所述偏移量计算单元基于所述图像传感器的温度值计算所述图像传感器的增益值的偏移量;
加法单元,所述加法单元将所述偏移量与所述图像传感器的增益值相加;以及
设定值生成器,所述设定值生成器基于通过所述加法单元添加了所述偏移量的增益值生成用于所述图像处理单元中的所述预定图像处理的设定值,其中
所述图像处理单元基于所述设定值对所述图像进行所述预定图像处理。
附图标记列表
1 成像装置
31 图像传感器
32、32-1到32-3 图像处理单元
33 图像传感器增益值获取单元
34 图像传感器温度值
35、35-1、35-2 信号处理单元
51、51-1、51-2 偏移量计算单元
52、52-1、52-2 加法单元
53、53-1、53-2 设定值内插单元
54、54-1、54-2 图像处理模块
71 偏移量计算单元
72 设定值内插单元
101 乘法单元
102 存储器
102a 偏移量调制增益值
Claims (12)
1.一种成像装置,包括:
图像传感器,所述图像传感器拍摄图像;
增益值获取单元,所述增益值获取单元获取所述图像传感器的增益值;
温度值获取单元,所述温度值获取单元获取所述图像传感器的温度值;以及
信号处理单元,所述信号处理单元基于根据所述温度值偏移的所述增益值对由所述图像传感器拍摄的图像进行信号处理,
其中,所述信号处理单元包括:
图像处理单元,所述图像处理单元对所述图像进行预定图像处理,
偏移量计算单元,所述偏移量计算单元基于所述温度值计算所述增益值的偏移量,
加法单元,所述加法单元将所述偏移量与由所述增益值获取单元获取的增益值相加,以及
设定值生成器,所述设定值生成器基于通过所述加法单元添加了所述偏移量的增益值生成用于所述图像处理单元中的所述预定图像处理的设定值,并且
所述图像处理单元基于所述设定值对所述图像进行所述预定图像处理。
2.根据权利要求1所述的成像装置,其中
所述偏移量计算单元存储相对于对应于离散值的多个温度值的偏移量,并且通过使用存储的多个温度值的内插处理计算由所述温度值获取单元获取的温度值的偏移量。
3.根据权利要求2所述的成像装置,其中
所述偏移量计算单元存储相对于对应于离散值的多个温度值的偏移量,并且通过使用相对于存储的多个温度值中由所述温度值获取单元获取的温度值之前和之后的温度值的偏移量的线性内插计算偏移量。
4.根据权利要求1所述的成像装置,其中
所述偏移量计算单元通过使用具有所述温度值作为变量的n次多项式的内插计算偏移量。
5.根据权利要求1所述的成像装置,其中
所述设定值生成器存储相对于对应于离散值的多个增益值的设定值,并且通过使用存储的多个设定值的内插处理生成设定值。
6.根据权利要求5所述的成像装置,其中
所述设定值生成器存储相对于对应于离散值的多个增益值的设定值,并且通过使用存储的多个设定值中相对于由所述增益值获取单元获取的增益值之前和之后的增益值的设定值的线性内插生成设定值。
7.根据权利要求1所述的成像装置,其中
所述设定值生成器通过使用具有所述增益值作为变量的n次多项式的内插生成设定值。
8.根据权利要求1所述的成像装置,其中
在存在多个所述信号处理单元并且每个所述信号处理单元对所述图像分别进行不同的预定信号处理的情况下,所述多个所述信号处理单元中的每一个所述信号处理单元的所述偏移量计算单元分别存储相对于对应于所述离散值的多个温度值的不同的偏移量。
9.根据权利要求1所述的成像装置,其中
在存在多个所述信号处理单元并且每个所述信号处理单元对所述图像进行不同的信号处理的情况下,
所述多个所述信号处理单元中的一些信号处理单元中的各者包括:
第一图像处理单元,所述第一图像处理单元对所述图像进行第一图像处理,
第一偏移量计算单元,所述第一偏移量计算单元基于所述温度值计算所述增益值的第一偏移量,
第一加法单元,所述第一加法单元将所述第一偏移量与由所述增益值获取单元获取的增益值相加,以及
第一设定值生成器,所述第一设定值生成器基于通过所述第一加法单元添加了所述第一偏移量的增益值生成用于所述图像处理单元中的所述第一图像处理的第一设定值,
所述第一图像处理单元基于所述第一设定值对所述图像进行所述第一图像处理,
所述多个所述信号处理单元中与所述一些信号处理单元不同的另一些信号处理单元中的各者包括:
第二图像处理单元,所述第二图像处理单元对所述图像进行第二图像处理,
第二偏移量计算单元,所述第二偏移量计算单元通过将由所述第一偏移量计算单元计算的所述第一偏移量乘以预定系数来计算第二偏移量,
第二加法单元,所述第二加法单元将所述第二偏移量与由所述增益值获取单元获取的增益值相加,以及
第二设定值生成器,所述第二设定值生成器基于通过所述第二加法单元添加了所述第二偏移量的增益值生成用于所述第二图像处理单元中的所述第二图像处理的第二设定值,并且
所述第二图像处理单元基于所述第二设定值对所述图像进行所述第二图像处理。
10.一种成像装置的成像方法,所述成像装置包括:
图像传感器,所述图像传感器拍摄图像,
增益值获取单元,所述增益值获取单元获取所述图像传感器的增益值,以及
温度值获取单元,所述温度值获取单元获取所述图像传感器的温度值,
所述成像方法包括:
基于根据所述温度值偏移的所述增益值对由所述图像传感器拍摄的图像进行信号处理,
其中,对所述图像进行所述信号处理的步骤包括:
使用图像处理单元对所述图像进行预定图像处理,
使用偏移量计算单元基于所述温度值计算所述增益值的偏移量,
使用加法单元将所述偏移量与由所述增益值获取单元获取的增益值相加,以及
使用设定值生成器基于通过所述加法单元添加了所述偏移量的增益值生成用于所述图像处理单元中的所述预定图像处理的设定值,并且
所述图像处理单元基于所述设定值对所述图像进行所述预定图像处理。
11.一种电子设备,包括:
图像传感器,所述图像传感器拍摄图像;
增益值获取单元,所述增益值获取单元获取所述图像传感器的增益值;
温度值获取单元,所述温度值获取单元获取所述图像传感器的温度值;以及
信号处理单元,所述信号处理单元基于根据所述温度值偏移的所述增益值对由所述图像传感器拍摄的图像进行信号处理,
其中,所述信号处理单元包括:
图像处理单元,所述图像处理单元对所述图像进行预定图像处理,
偏移量计算单元,所述偏移量计算单元基于所述温度值计算所述增益值的偏移量,
加法单元,所述加法单元将所述偏移量与由所述增益值获取单元获取的增益值相加,以及
设定值生成器,所述设定值生成器基于通过所述加法单元添加了所述偏移量的增益值生成用于所述图像处理单元中的所述预定图像处理的设定值,并且
所述图像处理单元基于所述设定值对所述图像进行所述预定图像处理。
12.一种信号处理装置,包括:
图像处理单元,所述图像处理单元对由图像传感器拍摄的图像进行预定图像处理;
偏移量计算单元,所述偏移量计算单元基于所述图像传感器的温度值计算所述图像传感器的增益值的偏移量;
加法单元,所述加法单元将所述偏移量与所述图像传感器的增益值相加;以及
设定值生成器,所述设定值生成器基于通过所述加法单元添加了所述偏移量的增益值生成用于所述图像处理单元中的所述预定图像处理的设定值,其中
所述图像处理单元基于所述设定值对所述图像进行所述预定图像处理。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017003364A JP2018113614A (ja) | 2017-01-12 | 2017-01-12 | 撮像装置、および撮像方法、電子機器、並びに信号処理装置 |
JP2017-003364 | 2017-01-12 | ||
PCT/JP2017/047372 WO2018131522A1 (ja) | 2017-01-12 | 2017-12-28 | 撮像装置、および撮像方法、電子機器、並びに信号処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110169043A CN110169043A (zh) | 2019-08-23 |
CN110169043B true CN110169043B (zh) | 2021-05-14 |
Family
ID=62839864
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780082171.5A Active CN110169043B (zh) | 2017-01-12 | 2017-12-28 | 成像装置、成像方法、电子设备和信号处理装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11134190B2 (zh) |
JP (1) | JP2018113614A (zh) |
CN (1) | CN110169043B (zh) |
WO (1) | WO2018131522A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109639932A (zh) * | 2019-02-28 | 2019-04-16 | 努比亚技术有限公司 | 图像处理方法、移动终端及计算机可读存储介质 |
CN110896447B (zh) * | 2019-10-09 | 2020-12-01 | 六安荣耀创新智能科技有限公司 | 通信信号内容差异即时检测平台 |
CN111405176A (zh) * | 2020-03-09 | 2020-07-10 | 浙江大华技术股份有限公司 | 白点噪声处理方法和装置、调节参数函数获取方法和装置 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002077666A (ja) * | 2000-08-24 | 2002-03-15 | Canon Inc | 撮像装置、測距装置、撮像方法、および測距方法 |
US7602438B2 (en) * | 2004-10-19 | 2009-10-13 | Eastman Kodak Company | Method and apparatus for capturing high quality long exposure images with a digital camera |
JP4661168B2 (ja) | 2004-11-02 | 2011-03-30 | ソニー株式会社 | 固体撮像素子の信号処理装置及び方法並びに撮像装置 |
FR2923121B1 (fr) * | 2007-10-26 | 2010-05-14 | Trixell Sas | Procede de traitement d'images issues d'un detecteur photosensible et detecteur photosensible |
FR2951895B1 (fr) * | 2009-10-22 | 2012-07-13 | Ulis | Procede de correction des images delivrees par un detecteur non regule en temperature, et detecteur mettant en oeuvre un tel procede |
JP2012029194A (ja) | 2010-07-27 | 2012-02-09 | Nikon Corp | 電子カメラおよび露出制御プログラム |
SE536839C2 (sv) * | 2012-12-18 | 2014-09-30 | Flir Systems Ab | Förfarande för kalibrering av sensor, datorprogram och datorläsbart medium. |
CN104639850A (zh) * | 2013-11-11 | 2015-05-20 | 联咏科技股份有限公司 | 图像感测装置及其黑阶控制方法 |
JP6395627B2 (ja) * | 2015-02-03 | 2018-09-26 | オリンパス株式会社 | 撮像装置、撮像装置の制御方法 |
FR3038194B1 (fr) * | 2015-06-26 | 2017-08-11 | Ulis | Correction de pixels parasites dans un capteur d'image infrarouge |
-
2017
- 2017-01-12 JP JP2017003364A patent/JP2018113614A/ja active Pending
- 2017-12-28 CN CN201780082171.5A patent/CN110169043B/zh active Active
- 2017-12-28 US US16/463,674 patent/US11134190B2/en active Active
- 2017-12-28 WO PCT/JP2017/047372 patent/WO2018131522A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
JP2018113614A (ja) | 2018-07-19 |
WO2018131522A1 (ja) | 2018-07-19 |
US11134190B2 (en) | 2021-09-28 |
CN110169043A (zh) | 2019-08-23 |
US20210120174A1 (en) | 2021-04-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11050955B2 (en) | Solid-state imaging device, method for driving solid-state imaging device, and electronic apparatus | |
US10302901B2 (en) | Imaging apparatus and focus adjustment method | |
US8508619B2 (en) | High dynamic range image generating apparatus and method | |
US9118883B2 (en) | High dynamic range imaging with multi-storage pixels | |
US8411998B2 (en) | Method and apparatus providing perspective correction and/or image dewarping | |
KR102082594B1 (ko) | 고체 촬상 장치, 고체 촬상 장치의 구동 방법, 및, 전자 기기 | |
CN110169043B (zh) | 成像装置、成像方法、电子设备和信号处理装置 | |
KR101215966B1 (ko) | 촬상 센서, 그 구동방법 및 촬상장치 | |
CN109474781B (zh) | 摄像装置、摄像装置的控制方法、记录介质 | |
JP2017175345A (ja) | 固体撮像装置、固体撮像装置の駆動方法、及び、電子機器 | |
JP2012065204A (ja) | 複眼撮像装置、信号処理装置、複眼撮像装置の制御方法 | |
US20200021744A1 (en) | Image sensor, focus detection method and storage medium | |
TW201729587A (zh) | 攝像元件、攝像方法及電子機器 | |
US10097751B2 (en) | Imaging apparatus and image compositing method | |
US8026965B2 (en) | Image pickup apparatus and method for controlling the same | |
JP2007251611A (ja) | 撮像装置 | |
JP2014082698A (ja) | 撮像装置、撮像システム、および、撮像装置の制御方法 | |
JP2014175778A (ja) | 撮像装置および撮像方法 | |
JP6704611B2 (ja) | 撮影装置及び撮影方法 | |
JP6728005B2 (ja) | 撮像装置、撮像方法およびプログラム | |
JP2008053812A (ja) | 撮像装置 | |
JP6415255B2 (ja) | 撮像装置、その制御方法、および制御プログラム | |
JP2011004321A (ja) | 撮像装置、その制御方法 | |
JP2018093301A (ja) | 撮像素子及び撮像素子の制御方法 | |
US20150085172A1 (en) | Image capturing apparatus and control method thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |