CN106603896A - 相机模块及制造该相机模块的方法 - Google Patents
相机模块及制造该相机模块的方法 Download PDFInfo
- Publication number
- CN106603896A CN106603896A CN201610873605.0A CN201610873605A CN106603896A CN 106603896 A CN106603896 A CN 106603896A CN 201610873605 A CN201610873605 A CN 201610873605A CN 106603896 A CN106603896 A CN 106603896A
- Authority
- CN
- China
- Prior art keywords
- image
- camera model
- information
- resolution
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/815—Camera processing pipelines; Components thereof for controlling the resolution by using a single image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
提供一种相机模块及制造该相机模块的方法。一种具备图像传感器以及具有至少一个透镜的光学系统的相机模块包括:存储器,存储相机模块的影响相机模块的分辨率的与像差特性有关的信息;与像差特性有关的信息包括通过将由相机模块产生的图像与参考图像进行比较而预先估计的信息。
Description
本申请要求于2015年10月13日在韩国知识产权局提交的第10-2015-0143093号韩国专利申请以及于2015年11月30日在韩国知识产权局提交的第10-2015-0169517号韩国专利申请的优先权和权益,所述韩国专利申请的全部公开内容出于所有目的通过引用包含于此。
技术领域
本申请涉及一种相机模块及制造该相机模块的方法。
背景技术
通常,存在改善用于移动装置的相机模块的低光度图像质量性能的用户需要。然而,减小图像像素尺寸和减小相机模块高度的两个最大的机械限制使得难以获得诸如高清分辨率的高图像质量。
这是因为相机模块的外围部分的分辨率对通过注射成型制造的塑料镜头的由于图像像素的尺寸减小以及构成相机模块的镜头的几个透镜的离心和倾斜装配导致的形状分散(dispersion)更敏感。
此外,在高分辨率自动聚焦相机模块中,外围部分的分辨率往往对在印刷电路板(PCB)上安装镜头致动器组件的工艺中出现的封装倾斜更敏感。这样的倾斜和离心使得相机模块的外围部分的分辨率劣化,这导致相机模块的分辨率合格率降低。
通常,在用于批量生产透镜的透镜注射成型系统中,即使透镜从同一模具注射成型,透镜的表面形状由于空腔导致趋向于具有与设计值不同的分布。
其结果是,透镜的形状分散趋向于进一步增加,当装配几个透镜时,在透镜中出现离心,使得难以按照期望的配置无倾斜地装配透镜。
发明内容
提供本发明内容用于以简化形式介绍在下面的具体实施方式中进一步描述的构思的选择。本发明内容并不意在确定所要求保护的主题的关键特征或必要技术特征,也不意在用于帮助确定所要求保护的主题的范围。
在一个总的方面,一种具备图像传感器以及具有至少一个透镜的光学系统的相机模块包括:存储器,存储相机模块的影响相机模块的分辨率的与像差特性有关的信息;与像差特性有关的信息包括通过将由相机模块产生的图像与参考图像进行比较而预先估计的信息。
与像差特性有关的信息可包括表示当通过光学系统的光在图像传感器上形成图像时产生的图像模糊的数据。
与像差特性有关的信息可包括图像的多个区域的根据不同的方法估计的像差信息。
所述像差信息可包括:图像的多个区域中的一些区域的根据第一方法估计的像差信息,以及图像的多个区域中的其余区域的根据第二方法估计的像差信息;根据第一方法估计的像差信息的总数据大小和根据第二方法估计的像差信息的总数据大小彼此不同。
根据第一方法估计的像差信息可包括表示当通过光学系统的光在图像传感器上形成图像时产生的图像模糊的点扩散函数数据。
根据第二方法估计的像差信息可包括模糊参数,所述模糊参数包括从表示当通过光学系统的光在图像传感器上形成图像时产生的图像模糊的点扩散函数数据提取的顶点坐标位置和模糊宽度。
与像差特性有关的信息可包括与通过相机模块捕获的图像的畸变量有关的信息。
所述存储器还可存储根据捕获图像时的光照环境和焦点位置中的任意一个或二者确定通过相机模块捕获的图像的分辨率的改善程度的参数。
所述相机模块还可包括信号处理器,所述信号处理器被配置为使用与像差特性有关的信息改善通过相机模块捕获的图像的分辨率。
在所述相机模块中,可满足TTL/IMGH<1,其中,TTL是从光学系统的最接近对象的透镜的物方表面到图像传感器的图像形成表面的距离,IMGH是图像传感器的像素阵列的对角线长度。
在所述相机模块中,可满足TTL/IMGH≤0.75或者TTL/IMGH≤0.7。
与像差特性有关的信息可包括在制造相机模块的工艺的过程中根据相机模块的个体特性估计的信息。
在另一总的方面,一种用于利用图像传感器以及具有至少一个透镜的光学系统产生图像的相机模块包括存储器,所述存储器存储相机模块的影响图像的分辨率的与像差特性有关的至少两种类型的信息。
在另一总的方面,一种相机模块包括:光学系统,包括至少一个透镜;图像传感器,被配置为响应于接收到通过光学系统的光而产生图像;存储器,存储与光学系统的像差特性以及图像传感器有关的信息,与像差特性有关的信息包括指示图像模糊的程度的数据;信号处理器,被配置为使用与像差特性有关的信息执行图像的图像处理以改善图像的分辨率,并将处理的图像提供到外部电子装置。
在另一总的方面,一种利用像传感器以及具有至少一个透镜的光学系统产生图像的相机模块包括:存储器,存储与光学系统的像差特性以及图像传感器有关的信息,与像差特性有关的信息包括指示图像模糊的程度的数据;所述相机模块被配置为将通过光学系统和图像传感器产生的图像以及与像差特性有关的信息提供到外部电子装置。
在另一总的方面,一种制造相机模块的方法,所述相机模块利用图像传感器以及具有至少一个透镜的光学系统产生图像,所述方法包括:估计通过单独的相机模块产生的图像的与像差特性有关的信息;将估计的信息存储在单独的相机模块的存储器中。
在另一总的方面,一种相机模块包括:图像传感器;光学成像系统,被配置为在图像传感器上形成图像;存储器,存储用于校正相机模块的分辨率的信息,所述信息专用于所述相机模块并在制造相机模块的过程中已经针对所述相机模块进行自定义。
用于校正分辨率的信息可包括:第一类型的信息,用于相机模块的分辨率低于预定阈值的图像传感器的第一区域;第二类型的信息,用于相机模块的分辨率高于预定阈值的图像传感器的第二区域。
所述第一类型的信息可包括针对图像传感器的第一区域估计的点扩散函数数据;第二类型的信息可包括从对针对图像传感器的第二区域估计的点扩函数数据进行近似的函数估计的模糊参数。
所述存储器还存储用于校正由光学系统的光学畸变导致的通过图像传感器产生的图像的畸变的信息。
根据下面的具体实施方式、附图和权利要求,其他特征和方面将变得清楚。
附图说明
图1是示出在制造相机模块的工艺中将与为各个相机模块自定义的像差特性有关的信息存储在每个相机模块中的处理的示例的流程图。
图2是示出用于估计点扩散函数(PSF)的随机噪声图表的示例的示图。
图3是针对图像的窗口区域估计与像差特性有关的信息的方法的示例的流程图。
图4至图6是示出将与像差特性有关的信息提供给相机模块的处理的示例的框图。
图7至图9是示出使相机模块校正分辨率的处理的示例的框图。
图10是示出另外地执行图7的示例中的畸变校正的处理的示例的框图。
图11是示出另外地执行图8的示例中的畸变校正的处理的示例的框图。
图12是示出另外地执行图9的示例中的畸变校正的处理的示例的框图。
图13是示出图7和图10的示例中的相机模块的示例的截面图。
图14、图15A和图15B是示出图13的相机模块中的图像传感器的配置的示例的示图。
图16是图8和图11的示例中的相机模块的示例的截面图。
图17是图9和图12的示例中的相机模块的示例的截面图。
在所有的附图和具体实施方式中,相同的附图标号指示相同的元件。附图可不按比例绘制,为了清楚、说明及方便起见,可放大附图中的元件的相对尺寸、比例和描绘。
具体实施方式
提供以下具体实施方式以帮助读者获得对这里所描述的方法、装置和/或系统的全面理解。然而,这里所描述的方法、装置和/或系统的各种变换、修改及等同物对本领域普通技术人员将是显而易见的。这里所描述的操作顺序仅仅是示例,其并不限于这里所阐述的顺序,而是除了必须以特定顺序出现的操作之外,可如将对本领域普通技术人员显而易见的那样做出变换。此外,为了提高清楚性和简洁性,可省略对于本领域普通技术人员来说公知的功能和结构的描述。
这里所描述的特征可以以不同的形式实施,并且将不被解释为限于这里所描述的示例。更确切的说,已经提供了这里所描述的示例,使得本公开将是彻底的和完整的,并将本公开的全部范围传达给本领域普通技术人员。
在整个说明书中,当元件(诸如,层、区或晶圆(基板))被称为“在”另一元件“上”、“连接到”另一元件或“结合到”另一元件时,其可直接“在”另一元件“上”、“连接到”另一元件或“结合到”另一元件,或者可存在介于它们之间的其他元件。相反,当元件被称为“直接在”另一元件“上”、“直接连接到”另一元件或“直接结合到”另一元件时,不存在介于它们之间的其他元件或层。如在这里所使用的,术语“和/或”包括一个或更多个相关所列项中的任意和全部组合。
尽管可在这里使用诸如“第一”、“第二”、“第三”的术语来描述各个构件、组件、区、层和/或部分,但这些构件、组件、区、层和/或部分不被这些术语限制。确切地说,这些术语仅仅用于使一个构件、组件、区、层或部分与另一个构件、组件、区、层或部分相区分。因此,在不脱离示例的教导的情况下,在下面的示例中被描述为第一构件、组件、区、层或部分还可被描述为第二构件、组件、区、层或部分。
在这里可使用诸如“在……之上”、“上部”、“在……之下”和“下部”的空间关系术语,以易于描述如附图所示的一个元件与另一元件的关系。这样的空间关系术语意图包括除了在附图中所描绘的方位之外的装置在使用或操作中的不同方位。例如,如果附图中的装置被翻转,则被描述为相对于其他元件“在……之上”或“上部”的元件然后将定位为相对于其他元件“在……之下”或“下部”。因此,术语“在……之上”可根据附图的具体方向而包括“在……之上”和“在……之下”两种方位。所述装置还可被另外定位(旋转90度或者处于其他方位),并且将对在这里使用的空间关系术语做出相应的解释。
在此使用的术语仅用于描述特定实施例,并非意图限制本公开。除非上下文清楚地指明,否则单数术语也包括复数的形式。术语“包括”、“包含”和“具有”列举存在所陈述的特征、数、操作、构件、元件和/或他们的组合,但不排除存在或添加一个或更多个其他特征、数、操作、构件、元件和/或他们的组合。
由于生产技术和/或公差,会出现附图中示出的形状的变形。因此,下面所描述的示例不被理解为限于附图中示出的区域的特定形状,而是包括在制造过程中出现的形状的改变。
通常,相机模块具有包括至少一个透镜的光学系统。因为相机模块的分辨率受光学系统的像差影响,因此通过相机模块获得的图像与实际图像不同。
像差是已经通过光学系统的光线未聚焦在同一点所以图像出现模糊、变色或畸变的现象。
像差包括当使用具有预定的波长的单色光时出现的单色像差以及当光学系统针对不同波长的光折射率不同时出现的色差。
单色像差包括倾斜、散焦、球差、彗差、像散、场曲和畸变。
在本申请中,术语“像差”指的是单色像差和色差中的任何一种或二者。
通常,随着用于便携式电子装置的相机模块变得更薄,像差趋于增大,像差的增大使相机模块的分辨率减小。
下面描述的示例通过执行校正相机模块的分辨率的处理而提供了一种具有减小的厚度和高清分辨率的相机模块。
例如,下面描述的示例提供了一种具有用于校正分辨率的校正算法的相机模块以及制造该相机模块的方法。
图1是示出在制造相机模块的工艺中将与为各个相机模块自定义的像差特性有关的信息存储在每个相机模块中的处理的示例的流程图,图2是示出用于估计点扩散函数(PSF)的随机噪声图表的示例的示图。
当通过相机模块使对象成像时形成的模糊图像可通过下面的式1来表示。
模糊图像=PSF*清晰图像(1)
在式1中,符号*指的是卷积操作。
通常,当由相机模块成像的对象没有聚焦时,通过相机模块获得的图像是模糊的。随着相机模块尺寸减小,这样的模糊加剧。
模糊是由于像差导致原始图像的像素的亮度使相邻像素的亮度畸变的现象。该现象可表示为指示模糊程度的点扩散函数(PSF)。
PSF是表示在使光学系统在图像传感器上形成对象的图像的处理的过程中出现的模糊图像的值。
PSF与相机模块的分辨率直接相关。例如,当PSF数据具有相对窄的分布时,PSF数据可表示具有高分辨率,相反,当PSF数据具有相对大的分布时,PSF数据可表示具有低分辨率。
可通过使原始图像和PSF进行卷积来对模糊图像进行建模。因此,当PSF已知时,可通过对模糊图像进行反卷积而从模糊图像恢复原始图像。然而,不易于准确知晓模糊图像的PSF,因此,需要估计PSF的处理。
将参照图1描述在制造相机模块的工艺的过程中将与为每个相机模块自定义的像差特性有关的信息存储在每个相机模块中的处理。
图2中示出的图表是用于估计PSF的随机噪声图表。
首先,将随机噪声图表设置在距离相机模块的特定距离处。例如,随机噪声图表设置在距离相机模块1.2米处。
在操作S 10,使用相机模块使随机噪声图表成像,并且,在操作S20,将成像的随机噪声图表的捕获图像数据(即,原成像数据)传输到主机(主机PC)。通过相机模块捕获的随机噪声图表的图像是模糊图像。
在操作S30,主机使随机噪声图表的原始图像与捕获的图像数据进行比较来估计PSF。
在操作S40,将估计的PSF存储在相机模块的存储器中,以用于从通过相机模块捕获的模糊图像恢复原始图像。
通过该处理,相机模块获得与估计的PSF有关的信息,以用于校正捕获的图像的分辨率从而获得高清分辨率。
PSF数据在相机模块的图像传感器的像素阵列的中央区域具有与高斯函数类似的形状,并在像素阵列的外围区域具有与高斯函数相异的形状。
因此,为了通过图像传感器的像素阵列的区域有效地估计具有不同形状的PSF数据,图像传感器的像素阵列被分为沿水平方向的M等分部分和沿竖直方向的N等分部分,并对总共M×N个窗口区域估计PSF数据。
在一个示例中,将捕获的图像数据分为数个区域,估计每个区域的PSF数据,确定光学系统的设计值与每个区域的估计的PSF数据之间的差异,并将与设计值明显不同的区域的估计的PSF数据存储在相机模块的存储器中。
其PSF数据与设计值不是明显不同的区域是具有期望的分辨率的区域,因此,对应区域的估计的PSF数据不按照原来的形式进行存储,而是通过高斯函数进行近似,从而估计模糊宽度和顶点坐标位置,并将包括模糊宽度和顶点坐标位置的模糊参数存储在相机模块的存储器中。
图3是针对图像的窗口区域估计与像差特性相关的信息的方法的示例的流程图。
首先,在操作S31,将成像的图表的图像数据分为M×N个窗口区域。
接着,针对窗口区域,将成像的图表的图像数据与图表的原始图像进行比较。
在操作S32,使用PSF估计函数使图表的原始图像模糊,并且,在操作S33,使成像的图表的图像数据与图表的模糊原始图像进行比较。通过改变PSF估计函数而使图表的模糊原始图像与成像的图表的图像数据之间的差异最小化直到获得最小差异来估计一个窗口区域的PSF数据。针对M×N个窗口区域中的每个重复操作S32和S33。
当在操作S34完成M×N个窗口区域中的全部窗口区域的PSF数据的估计时,在操作S35,将每个窗口区域的估计的PSF数据与从光学系统的设计估计的理想仿真数据进行比较。可选地,窗口区域中的每个的估计的PSF数据可与典型相机模块的实际估计的PSF数据进行比较。
在操作S36,当窗口区域中的每个的估计的PSF数据与理想仿真数据之间的差值大于特定阈值时,就相机模块的分辨率而言,对应的窗口区域被确定为错误区域(非良好或NG区域)。因此,错误区域(非良好或NG区域)可被认为是相机模块的分辨率小于预定阈值的区域。
相反,在操作S36,当所述差值小于特定阈值时,对应的窗口区域的估计的PSF数据与理想仿真数据不是明显不同,因此,就相机模块的分辨率而言,对应的窗口区域被确定为正常区域(OK区域)。因此,正常区域(OK区域)可被认为是相机模块的分辨率大于预定阈值的区域。
根据不同的方法估计错误区域(NG区域)的像差信息和正常区域(OK区域)的像差信息。
例如,对于错误区域(NG区域),根据第一方法估计像差信息并将其存储在相机模块的存储器中,对于正常区域(OK区域),根据第二方法估计像差信息并将其存储在相机模块的存储器中。
在下文中将详细描述第一方法和第二方法。
在操作S37,针对错误区域(NG区域)估计的PSF数据被按照原来的形式使用,针对正常区域(OK区域)估计的PSF数据没有按照原来的形式使用,而是通过高斯函数进行近似,从而估计包括模糊宽度和顶点坐标位置的模糊参数。在操作S38,将针对错误区域(NG区域)估计的PSF数据和针对正常区域(OK区域)估计的模糊参数存储在相机模块的存储器中。
例如,下面的式2表示用于对正常区域(OK区域)执行的PSF近似估计处理的高斯函数。
在之前的阶段估计的PSF数据值经过标准化处理,使得其最大值是255(8位灰度中的最大值),可使用通过下面的式2表示的高斯近似函数对其顺序地执行近似估计。
在式2中,模糊参数a和b分别指示沿水平方向和竖直方向划分的窗口区域的顶点的坐标位置,模糊参数σx和σy分别指示沿水平方向和竖直方向划分的窗口区域的模糊宽度。可使用利用由式2表示的高斯近似函数的曲线拟合技术获得模糊参数的值。
如上所述,在操作S38,对于错误区域(NG区域),估计的PSF数据按照原来的形式被顺序地存储在相机模块的存储器中,而对于正常区域(OK区域),未按照原来的形式存储估计的PSF数据,而是将通过高斯函数对估计的PSF数据进行近似的包括顶点坐标位置(a,b)和模糊宽度(σx和σy)的模糊参数存储在相机模块的存储器中。因此,可显著减小存储在存储器中的数据的大小。
估计PSF数据为第一方法,对估计的PSF数据进行近似来产生模糊参数为第二方法。
因此,对于错误区域(NG区域),将使用第一方法获取的信息存储在相机模块的存储器中,对于正常区域(OK区域),将使用第二方法获取的信息存储在相机模块的存储器中。
根据第一方法估计的像差信息的总数据大小与根据第二方法估计的像差信息的总数据大小不同。
例如,当假设图像被分为16×12个窗口区域来估计PSF数据并将估计的PSF数据全部存储在存储器中时,如下[情况1]和[情况2]描述了存储器所需的大小。
在整个图像被分为16×12个窗口区域的情况下,在0.3视场(field)之内呈现的区域的数量是6×6=36,在0.5视场之内呈现的区域的数量是10×10=100。
当图像传感器的像素阵列的对角线表示为1.0视场时,具有4:3的高宽比的图像传感器的像素矩阵可表示为沿水平方向的0.8视场和沿竖直方向的0.6视场。
[情况1]假设所需通道的数量是4通道R、Gr、Gb和B。
所需通道的数量×区域的数量×每个区域的PSF数据的大小×PSF数据的分辨率。
①0.0-0.3视场:假设PSF数据的大小是5×5像素,4×(6×6)×(5×5)×1字节=3600字节。
②0.3-0.5视场:假设PSF数据的大小是7×7像素,4×(10×10-6×6)×(7×7)×1字节=12544字节。
③0.5-1.0视场:假设PSF数据的大小是9×9像素,4×(16×12-10×10)×(9×9)×1字节=29808字节。
因此,所需存储器的总大小是3600+12544+29808=45952字节=44.88千字节(1千字节=1024字节)。
[情况2]假设所需通道的数量是3通道R、G和B(将相同的PSF应用于Gr和Gb通道)。
所需通道的数量×区域的数量×每个区域的PSF数据的大小×PSF数据的分辨率。
①0.0-0.3视场:假设PSF数据的大小是5×5像素,3×(6×6)×(5×5)×1字节=2700字节。
②0.3-0.5视场:假设PSF数据的大小是7×7像素,3×(10×10-6×6)×(7×7)×1字节=9408字节。
③0.5-1.0视场:假设PSF数据的大小是9×9像素,3×(16×12-10×10)×(9×9)×1字节=22356字节。
因此,所需存储器的总大小是2700+9408+22356=34464字节=33.66千字节。
相反,当假设仅仅对错误区域(NG区域)(在估计的PSF数据与从光学系统的设计估计的理想仿真数据或典型模块的实际估计的PSF数据之间具有最大差异的五个区域)按照原来的形式存储估计的PSF数据,并针对其它正常区域(OK区域)存储使用利用高斯近似函数的曲线拟合技术获得的上述模糊参数,如下[情况3]和[情况4]描述了所需存储器的大小。
假设错误区域(NG区域)出现在大于0.5视场的区域中,并且被设置为每个区域的默认值的四个模糊参数用于对0.5视场之内的区域执行校正计算的硬件块的内部校正算法中。假设将模糊参数中的每个表示为1字节。
[情况3]假设所需通道的数量是4通道R、Gr、Gb和B。
①所需通道的数量×错误区域(NG区域)的数量×每个区域的PSF数据的大小×PSF数据的分辨率=4×(5)×(9×9)×1字节=1620字节。
②所需通道的数量×正常区域(OK区域)的数量×每个区域的模糊参数=4×(16×12-10×10-5)×4字节=1392字节。
因此,所需存储器的总大小是1620+1392=3012字节=2.94千字节。
[情况4]假设所需通道的数量是3通道R、G和B(将相同的PSF应用于Gr和Gb通道)。
①所需通道的数量×错误区域(NG区域)的数量×每个区域的PSF数据的大小×PSF数据的分辨率=3×(5)×(9×9)×1字节=1215字节。
②所需通道的数量×正常区域(OK区域)的数量×每个区域的模糊参数=3×(16×12-10×10-5)×4字节=1044字节。
因此,所需存储器的总大小是1215+1044=2259字节=2.21千字节。
按照该方式,区域被分为错误区域(NG区域)和正常区域(OK区域),关于错误区域(NG区域),将估计的PSF数据按照原来的形式顺序地存储在存储器中,关于正常区域(OK区域),将通过高斯函数来近似PSF数据的包括顶点坐标位置(a,b)和模糊宽度(σx和σy)的模糊参数存储在存储器中。
因此,通过减小将要存储在存储器中的数据的大小,可减小所需存储器的大小。
在一个示例中,由于将窗口区域的不同类型的数据存储在存储器中,因此,将对应的窗口区域的位置坐标值一起存储在存储器中。
例如,在16×12的区域中,(16,1)是较远的右上端窗口区域,当该区域被确定为错误区域(NG区域)时,索引值(16,1)与PSF数据一起存储在存储器中。存储的位置坐标值用于在对模糊的捕获的图像进行校正时正确地搜索对应的窗口区域的PSF数据并对其执行校正。
此外,除了错误区域(NG区域)的PSF数据以及正常区域(OK区域)的模糊参数之外,还将去模糊参数存储在存储器中。
例如,当图像传感器的像素区域被分为M×N个窗口区域时,去模糊参数包括沿水平方向划分的区域的数量和沿竖直方向划分的区域的数量。此外,当划分的窗口区域中每个的水平方向尺寸和竖直方向尺寸是Sx和Sy时,去模糊参数包括这样的尺寸值。
按照该方式,存储在存储器中的PSF数据、模糊参数以及去模糊参数是对应的相机模块的与像差特性有关的信息。
在上述示例中,虽然描述了在已经通过光学系统的光形成在图像传感器上的过程中将指示图像模糊程度的数据(例如,PSF数据、模糊参数和去模糊参数)存储在存储器中,但是还可将根据指示图像模糊程度的数据建模的反卷积数据存储在存储器中。
图4至图6是示出将与像差特性有关的信息提供到相机模块的处理的示例的框图。
首先,参照图4,通过图像传感器芯片10的图像传感器像素阵列20捕获的未处理的图像(还未应用校正算法的原成像数据)通过数字处理器31和输出接口32被传输到主机40,从主机40的程序捕获的输入图像被与随机噪声图案的原始图表图像进行比较,并被解释,以估计相机模块的PSF数据。
在制造的多个相机模块中,相机模块的PSF数据不同,因此,在相机模块制造工艺的校准过程中估计单个相机模块的PSF数据,并将其存储在对应的相机模块的存储器33中。
例如,参照图4,存储器33可以是图像传感器芯片10的非易失性存储器(例如,一次性可编程(OTP)存储器)。估计的PSF数据可被存储为查找表(LUT)的形式。
将描述在主机40中执行的估计PSF数据的处理。
首先,在操作S31至S34(与图3中的操作S31至S34相同),将捕获的输入图像分为M×N个窗口区域,并估计全部窗口区域的PSF数据。
例如,使用PSF估计函数使图表的原始图像模糊,并将捕获的输入图像数据与图表的模糊的原始图像进行比较。通过改变PSF估计函数使捕获的输入图像数据与图表的模糊的原始图像之间的差异最小化直到获得最小差异来估计PSF数据。
在操作S35(与图3的操作S35相同),当估计M×N个窗口区域中的全部窗口区域的PSF数据时,将窗口区域的估计的PSF数据与从光学系统的设计估计的理想仿真数据进行比较。
在操作S36(与图3的操作S36相同),当窗口区域的估计的PSF数据与理想仿真数据之间的差值大于特定阈值时,就相机模块的分辨率而言,对应的窗口区域被确定为错误区域(NG区域)。
相反,在操作S36(与图3的操作S36相同),当所述差值小于特定的阈值时,对应的窗口区域的估计的PSF数据不是明显不同于理想的仿真数据,由此就相机模块的分辨率而言,对应的窗口区域被确定为正常区域(OK区域)。
在操作S37(与图3的操作S37相同),针对错误区域(NG区域)估计的PSF数据被按照原来的形式进行使用,针对正常区域(OK区域)估计的PSF数据通过高斯函数进行近似,从而估计包括模糊宽度和顶点坐标位置的模糊参数。
在操作S38(与图3的操作S38相同),针对错误区域(NG区域)估计的PSF数据被按照原来的形式存储在相机模块的存储器33中,并将针对正常区域(OK区域)估计的模糊参数存储在相机模块的存储器33中。
在一个示例中,由于在存储器33中存储了针对窗口区域的不同类型的数据,因此,对应的窗口区域的位置坐标值与窗口区域的PSF数据被一起存储在存储器33中。
例如,在16×12的区域中,(16,1)是较远的右上端窗口区域,当该区域被确定为错误区域(NG区域)时,索引值(16,1)与错误区域(NG区域)的PSF数据一起存储在存储器33中。存储的位置坐标值用于在对模糊的捕获的图像进行校正时正确地搜索对应的窗口区域的PSF数据并对其执行校正。
此外,除了错误区域(NG区域)的PSF数据以及正常区域(OK区域)的模糊参数之外,还将去模糊参数存储在存储器33中。
例如,当图像传感器的像素区域被分为M×N个窗口区域时,去模糊参数包括沿水平方向划分的区域的数量和沿竖直方向划分的区域的数量。此外,当划分的窗口区域中的每个窗口区域的水平方向尺寸和竖直方向尺寸是Sx和Sy时,去模糊参数包括这样的尺寸值。
按照该方式,将用于改善捕获的未处理图像(原成像数据)的分辨率的至少两种类型的信息存储在相机模块的存储器33中。这样的信息可以以LUT的形式存储在存储器33中。
参照图4,存储器33设置在图像传感器芯片10中。例如,存储器33可以是在图像传感器芯片10之内的OTP存储器。
在一个示例中,由于针对未处理图像(原成像数据)的窗口区域存储了不同类型的数据,因此,可减小存储在存储器33中的数据的大小。
因此,由于存储器33自身的大小被减小,因此用于校正分辨率的数据可存储在设置于图像传感器芯片10之内的OTP存储器中。因此,可减小相机模块的成本的增加。
参照图5和图6,用于对未处理的图像(原成像数据)的分辨率进行校正的PSF数据、模糊参数和去模糊参数存储在如图5所示的单独的伴随集成电路(IC)50或者如图6所示的非易失性存储器50'中,而不是如图4所示的图像传感器芯片10的OTP存储器中。
例如,用于校正分辨率的数据被存储在如图5所示的伴随IC 50中或者如图6所示的EEPROM或PROM形式的非易失性存储器50'中。
伴随IC 50和非易失性存储器50'可安装在连接到图像传感器芯片10的板上。
图7至图9是示出使相机模块校正分辨率的处理的示例的框图。
首先,参照图7,相机模块的图像传感器芯片10包括图像传感器像素阵列20和数字块30。
数字块30包括:暂时性存储器31-1(例如,行缓冲存储器),暂时存储捕获的未处理图像(原成像数据);存储器33,存储用于改善分辨率的信息;信号处理器31-2,用于校正未处理图像(原成像数据)的分辨率。
用于改善分辨率的信息是对应的相机模块的与像差特性有关的信息。
信号处理器31-2包括使用存储在存储器33中的信息校正分辨率的去模糊引擎,去模糊引擎执行校正算法以读取存储在存储器33中的信息(例如,PSF数据、模糊参数和去模糊参数)并使用读取的信息校正分辨率。
包括去模糊引擎的信号处理器31-2用作用于改善捕获图像的分辨率的逻辑单元。
具有校正的分辨率的图像通过输出接口32被发送到相机模块安装在其中的外部电子装置的主机AP 60。
为了处理校正的图像,主机AP 60包括色彩处理器62、YUV处理器63、视频编码器64和JPEG编码器65。
相机模块的分辨率受使对象成像时的光照环境以及确定的调焦位置影响。因此,在一个示例中,还可提供用于调整去模糊的强度以校正分辨率的参数以及用于根据在执行成像时的光照环境和确定的调焦位置调整降噪强度的参数。可使用所述参数确定捕获的图像的分辨率的改善程度。
相机模块安装在其中的外部电子装置的主机AP 60还包括去马赛克器69以及3A引擎61(包括自动曝光(AE)引擎61a、自动白平衡(AWB)引擎61b和自动聚焦(AF)引擎61c)。
当使对象成像时,通过去马赛克器69使原成像数据去马赛克,通过AE引擎61a确定光照强度,通过AWB引擎61b确定光源的色温值,通过AF引擎61c确定光学系统的焦点位置。
根据确定的光照的强度确定合适的去模糊强度以及合适的降噪强度,并将其作为参数存储在图像传感器芯片10的寄存器34中。
此外,根据光源的确定的色温值确定合适的去模糊强度以及合适的降噪强度,并将其作为参数存储在图像传感器芯片10的寄存器34中。参数值可存储在单独地设置在相机模块中的寄存器34中,或者存储在存储相机模块的与像差特性有关的信息的存储器33中。
此外,根据光学系统的确定的焦点位置确定合适的去模糊强度以及合适的降噪强度,并将其作为参数存储在图像传感器芯片10的寄存器34中。
为简单起见,图7示出了存储在图像传感器芯片10的寄存器34中的一个去模糊强度参数和一个降噪强度参数。然而,实际上存在三个存储在寄存器34中的去模糊强度参数(根据光照强度确定的第一去模糊强度参数,根据色温确定的第二去模糊强度参数和根据焦点位置确定的第三去模糊强度参数)。类似地,实际上存在三个存储在寄存器34中的降噪强度参数(根据光照强度确定的第一降噪强度参数,根据色温确定的第二降噪强度参数和根据焦点位置确定的第三降噪强度参数)。然而,在另一示例中,可根据光照强度、色温和焦点位置这三者确定单个去模糊强度参数和单个降噪强度参数,并可将单个去模糊强度参数和单个降噪强度参数存储在图像传感器芯片10的寄存器34中。此外,可针对红色通道、绿色通道和蓝色通道中的每个单独地确定去模糊强度和降噪强度。
考虑到在制造工艺过程中以及在改变与对象的距离时的各种光照环境,可按照通过实验确定的LUT的形式拟定去模糊强度和降噪强度。
例如,当在主机AP 60中确定了光学系统的焦点位置和光照环境时,参照LUT选择对应的去模糊强度和对应的降噪强度,当在图像传感器芯片10的寄存器34中存储选择的值时,图像传感器芯片10的信号处理器基于寄存器值调整去模糊强度和降噪强度。
例如,去模糊强度可被分为从1到10十级。第一级可以是最弱的去模糊强度,第十级可以是最强的去模糊强度。类似地,降噪强度也可被分为从1到10十级。然而,可通过实验适当地确定级的数量,并且级的数量可以是大于或小于十级。
可在相机模块的制造工艺的过程中根据特定的光照条件以及特定的焦点位置预先确定存储在相机模块的存储器33中的分辨率校正数据(例如,PSF数据、模糊参数和去模糊参数),因此,针对其它的光照强度、光源的色温以及光学系统的焦点位置不会充分地校正分辨率。
因此,如上所述,可通过根据给出的光照强度、光源的色温以及焦点位置调整去模糊强度和降噪强度而在各种环境中校正分辨率。
例如,在低光照环境中,去模糊强度可被设置为弱并且降噪强度可被设置为强,从而将使得噪声低。此外,在光学系统的焦点位置是特写位置的情况下,去模糊强度可被设置为弱。此外,在光源是红光的强度比绿光和蓝光的强度大的卤素灯(3000K)的情况下,红色通道的去模糊强度可被设置为与绿色通道和蓝色通道的去模糊强度相比相对地强。
按照该方式,可通过在相机模块中存储至少两种类型的信息(例如,PSF数据、模糊参数、去模糊参数和降噪强度参数)而在各种环境中校正分辨率。
信号处理器31-2的去模糊引擎可按照期望的采样率对对应的PSF进行采样并以视频模式执行模糊校正计算。例如,假设预先确定并存储在OTP存储器中的PSF数据是基于图像传感器的像素阵列的坐标估计的值。在图像传感器的像素阵列在两次水平地和两次竖直地采样的视频模式下的输出的情况下,可从通过对从OTP存储器读取的PSF数据进行两次水平地和两次竖直地采样获得的PSF数据获得对应的视频模式的PSF数据。
按照该方式,可按照与静态模式相同的方式使用采样的PSF数据以视频模式执行去模糊引擎。
将参照图8描述在用于校正未处理图像(原成像数据)的分辨率的信息存储在单独设置的伴随IC 50中的情况下通过相机模块校正分辨率的处理。
首先,将从图像传感器像素阵列20输出的未处理图像(原成像数据)通过数字处理器31和输出接口32传输到伴随IC 50。
通过伴随IC的输入接口51接收从图像传感器芯片10传输的图像数据,并将其通过预定的行号顺序地存储在伴随IC 50的行缓冲存储器52中。当存储预定行号的图像数据时,运行安装在伴随IC 50的信号处理器53中的去模糊引擎。
信号处理器53的去模糊引擎从伴随IC 50的存储器55读取预定的PSF数据、模糊参数和去模糊参数,并执行分辨率校正算法。
基于当执行如上所述的与图7有关的成像时在主机AP 60中确定的AE、AWB和AF指定去模糊强度和降噪强度的参数被存储在伴随IC 50的寄存器56中,信号处理器53的去模糊引擎基于寄存器值校正未处理图像(原成像数据)的分辨率。
具有校正的分辨率的图像通过伴随IC 50的输出接口54传输到主机AP60。
按照该方式,通过在相机模块中存储至少两种类型的用于校正分辨率的信息(例如,PSF数据、模糊参数、去模糊参数、去模糊强度参数和降噪强度参数),可在各种环境下校正分辨率。
将参照图9描述在用于校正未处理的图像(原成像数据)的分辨率的信息存储在单独设置的非易失性存储器50'中的情况下通过相机模块校正分辨率的处理。
在图9的示例中,用于校正分辨率的信息存储在相机模块的非易失性存储器50'中,用于使用所述信息校正分辨率的信号处理器68设置在主机AP 60中。
首先,从图像传感器的像素阵列20输出的未处理的图像(原成像数据)通过数字处理器31和输出接口32传输到主机AP 60。
从图像传感器芯片10传输的图像数据通过预定的行号顺序地存储在主机AP 60的行缓冲存储器66中。当存储预定行号的图像数据时,运行主机AP 60的信号处理器68中的去模糊引擎。
信号处理器68的去模糊引擎从相机模块的非易失性存储器50'读取预定的PSF数据、模糊参数和去模糊参数,并执行分辨率校正算法。
基于在执行如上所述的与图7有关的成像时在主机AP 60中确定的AE、AWB和AF指定去模糊强度和降噪强度的参数被存储在主机AP 60的寄存器67中,信号处理器68的去模糊引擎基于寄存器值校正未处理的图像(原成像数据)的分辨率。
按照该方式,通过在相机模块中存储用于校正分辨率的至少两种类型的信息(例如,PSF数据、模糊参数、去模糊参数、去模糊强度参数和降噪强度参数),可在各种环境下校正分辨率。
在这些示例中,针对制造的相机模块单独地确定用于校正分辨率的信息,并且将针对对应的相机模块自定义的信息存储在对应的相机模块的存储器中。
在图7和图8的示例中,具有校正的分辨率的图像被传输到主机AP 60,而在图9的示例中,用于校正未处理的图像(原成像数据)的分辨率的信息(例如,PSF数据、模糊参数和去模糊参数)被传输到主机AP 60。
通常,由于光学系统被设计为比较纤薄,因而对光学系统的分辨率受负面影响。
然而,如图7至图9的示例所示,在制造相机模块的工艺的过程中获得的针对对应的相机模块自定义的与像差特性有关的信息(例如,PSF数据、模糊参数、去模糊参数、去模糊强度参数和降噪强度参数)存储在相机模块中的情况下,即使光学系统被设计为较纤薄,也可校正捕获的图像的分辨率,因此,可满足纤薄的相机模块及其高分辨率两个需求。
图10是示出另外地执行图7的示例中的畸变校正的处理的示例的框图,图11是示出另外地执行图8的示例中的畸变校正的处理的示例的框图,图12是示出另外地执行图9的示例中的畸变校正的处理的示例的框图。
在图10至图12的示例中,当校正分辨率时,还校正畸变。
通常,当光学系统被设计为具有少量的光学畸变时,不易于使光学系统纤薄。
然而,在图10至图12的示例中,当校正分辨率时还执行了畸变校正,因而,即使在设计光学系统时允许大量的光学畸变,也可校正对应的畸变,因此,可设计纤薄的光学系统。因此,可满足纤薄的相机模块及其高分辨率两个需求。
在图10至图12的示例中,信号处理器31-2'、53'和68'包括去模糊引擎和畸变校正引擎二者。在信号处理器31-2'、53'和68'中,可先操作去模糊引擎,然后,可操作畸变校正引擎,或者相反地,可先操作畸变校正引擎,然后,可操作去模糊引擎。
在图10至图12的示例中,畸变校正数据(表示畸变的量的数据)另外地存储在如图10所示的OTP存储器33、如图11所示的伴随IC 50以及如图12所示的非易失性存储器50'中,其中存储了用于校正分辨率的信息(例如,PSF数据、模糊参数和去模糊参数)。
可根据图像的区域将畸变校正数据(表示畸变的量的数据)存储在LUT中,或者可将根据图像的区域表示畸变的量的数学表达式存储在LUT中。
图13是示出图7和图10的示例中的相机模块的示例的截面图,图14至图15B是示出图13的相机模块中的图像传感器的配置的示例的示图。
首先,参照图13,相机模块包括:透镜镜筒100,包括具有至少一个透镜的光学系统;AF致动器200,包括AF磁体210和AF线圈220,被构造为使透镜镜筒100沿光轴方向运动;光学图像稳定器(OIS)致动器300,包括OIS磁体310和OIS线圈320,被构造为使透镜镜筒100沿垂直于光轴的方向运动;图像传感器组件400,用于产生对象的图像。
在该示例中,除了自动聚焦中的误差之外,由于用户手的抖动可能出现散焦。因此,可使用如上所述的存储在设置于相机模块中的存储器中的与像差特性有关的信息来去除所述散焦。
图像传感器组件400包括:图像传感器410,用于将已经通过光学系统的光转换为电信号;板420,电连接到图像传感器410。
参照图14,相机模块中的图像传感器410包括:像素阵列,包括多个图像传感器像素(未示出);模数转换器(ADC),包括用于将像素阵列的输出转换为电信号的比较器和计数器;串行接口(I/F);存储器;CPU;数字处理器,在像素阵列的右侧;输出接口(I/F);时钟发生器;控制器;行解码器;行驱动器;负载晶体管;其他数字处理器,在像素阵列的左侧;电压发生器;焊盘,用于使图像传感器410连接到板420。
像素阵列可以是红(R)、绿(G)和蓝(B)组合的RGB拜耳格式(Bayer format)的标准颜色像素阵列,红(R)、蓝(B)和白(W)组合的颜色像素阵列,或者R、G、B和W组合的非标准颜色像素阵列。在另一示例中,像素阵列可被构造为黑白形式的单色像素阵列。
存储器包括:ROM存储器,具有用于驱动传感器的固件;RAM存储器,在数字图像处理操作过程中用作数据缓冲器;OTP存储器,存储用于校正分辨率的信息(例如,PSF数据、模糊参数和去模糊参数)。
在像素阵列的右侧的数字处理器包括信号处理器,所述信号处理器包括去模糊引擎或者畸变校正引擎和去模糊引擎二者。
已经通过ADC数字化转换的图像信号在像素阵列右侧的数字处理器中经过图像处理(例如,分辨率校正或者分辨率校正与畸变校正二者),并通过输出接口(I/F)顺序地发送至主机AP。
将参照图15A和图15B描述图像传感器的另一示例。
在图15A和图15B的示例中,图像传感器包括:第一层410a,包括具有多个图像传感器像素(未示出)的像素阵列;第二层410b,包括具有比较器和计数器的ADC;数字处理器;CPU;串行接口(I/F);存储器;输出接口(I/F);时钟发生器;控制器;行解码器;行驱动器;负载晶体管;斜坡发生器;电压处理器。第一层410a和第二层410b还包括将第一层410a和第二层410b连接在一起的行通过硅片通道(TSV)和列通过硅片通道(TSV)。第一层410a还包括用于使图像传感器的第一层410a连接到板420的焊盘。由于图像传感器被构造为第一层410a和第二层410b,因此可减小图像传感器的总面积。
图16是图8和图11的示例中的相机模块的示例的截面图,图17是图9和图12的示例中的相机模块的示例的截面图。
在图16的示例中,用于校正分辨率的信息和用于使用所述信息处理图像(例如,用于执行分辨率校正)的信号处理器设置在单独的伴随IC 430中。
在图17的示例中,用于校正分辨率的信息存储在单独的非易失性存储器430'中,用于使用所述信息处理图像(例如,用于执行分辨率校正)的信号处理器设置在主机AP 60中。
在图17中,参考标号440指示用于使相机模块连接到包括主机AP 60的外部电子装置1000的连接器。
在图13、图16和图17的示例中,由于用于校正分辨率的信息(例如,PSF数据、模糊参数和去模糊参数)设置在相机模块本身中,因此,可满足纤薄构造及高分辨率两个需求。
如上所述的示例能够在获得高分辨率的同时使光学系统满足TTL/IMGH<1。TTL指示从最接近对象的透镜的物方表面到图像传感器的图像形成表面的距离,IMGH指示图像传感器的像素阵列的对角线长度。
在设计光学系统时,即使光学系统可通过满足TTL/IMGH<1而被设计得纤薄,也可通过分辨率校正算法弥补产生的分辨率劣化,因而可满足纤薄构造和高分辨率两个需求。
例如,光学系统可被设计为满足TTL/IMGH≤0.75或TTL/IMGH≤0.7。
根据每个相机模块的特性单独地确定用于校正分辨率的信息,因此,可应用针对每个制造的相机模块自定义的分辨率校正算法。
如上所述,根据上述示例的相机模块和制造该相机模块的方法改善了捕获的图像的分辨率,并且能够使所要制造的更纤薄的相机模块具有高分辨率。
通过硬件组件实现执行在这里关于图1至图17描述的操作的下述组件:图4至图6中的图像传感器芯片10、图像传感器像素阵列20、数字块30、数字处理器31、输出接口32和主机40、图4中的存储器33、图5中的伴随IC 50、图6中的非易失性存储器50′、图7中的图像传感器芯片10、图像传感器像素阵列20、数字块30、行缓冲存储器31-1、信号处理器31-2、输出接口32、存储器33、寄存器34和主机AP 60、图7至图12中的去马赛克器69、3A引擎61、自动曝光(AE)引擎61a、自动白平衡(AWB)引擎61b、自动聚焦(AF)引擎61c、色彩处理器62、YUV处理器63、视频编码器64和JPEG编码器65、图8中的图像传感器芯片10、图像传感器像素阵列20、数字块30、数字处理器31、输出接口32、伴随IC 50、输入接口51、行缓冲存储器52、信号处理器53、输出接口54、非易失性存储器55、寄存器56和主机AP 60、图9中的图像传感器芯片10、图像传感器像素阵列20、数字块30、数字处理器31、输出接口32、非易失性存储器50′、主机AP 60、行缓冲存储器66、寄存器67和信号处理器68、图10中的图像传感器芯片10、图像传感器像素阵列20、数字块30、行缓冲存储器31-1、信号处理器31-2′、输出接口32、存储器33、寄存器34和主机AP 60、图11中的图像传感器芯片10、图像传感器像素阵列20、数字块30、数字处理器31、输出接口32、伴随IC50、输入接口51、行缓冲存储器52、信号处理器53′、输出接口54、非易失性存储器55、寄存器56和主机AP 60、图12中的图像传感器芯片10、图像传感器像素阵列20、数字块30、数字处理器31、输出接口32、非易失性存储器50′、主机AP60、行缓冲存储器66、寄存器67和信号处理器68′、图13、图16和图17中的图像传感器组件400、图像传感器410和板420、图14中的图像传感器410、像素阵列、图像传感器像素阵列(未示出)、模数转换器(ADC)、比较器、计数器、串行接口(I/F)、存储器、CPU、在像素阵列的右侧的数字处理器、输出接口(I/F)、时钟发生器、控制器、行解码器、行驱动器、负载晶体管、在像素阵列的左侧的其他数字处理器和电压发生器、图15A中的层410a、像素阵列和图像传感器像素(未示出)、图15B中的第二层410b、ADC、比较器、计数器、数字处理器、CPU、串行接口(I/F)、存储器、输出接口(I/F)、时钟发生器、控制器、行解码器、行驱动器、负载晶体管、斜坡发生器和电压处理器、图16中的伴随IC 430以及图16中的非易失性存储器430′、主机AP60和外部电子装置1000。硬件组件的示例包括控制器、传感器、发生器、驱动器、存储器、比较器、运算逻辑单元、加法器、减法器、乘法器、除法器、积分器、光电二极管、采样器、放大器、模数转换器和本领域普通技术人员知晓的任何其他电子组件。在一个示例中,通过计算机硬件(例如,通过一个或更多个处理器或计算机)实现硬件组件。通过一个或更多个处理元件(诸如逻辑门阵列、控制器和运算逻辑单元)、数字信号处理器、微型计算机、可编程逻辑控制器、现场可编程门阵列、可编程逻辑阵列、微处理器或本领域普通技术人员知晓的能够按照定义的方式响应并执行指令以获得期望的结果的任何其他装置或装置的组合。在一个示例中,处理器或计算机包括(或连接到)用于存储通过处理器或计算机执行的指令或软件的一个或更多个存储器。通过处理器或计算机实现的硬件组件执行指令或软件(诸如操作系统(OS)以及在OS上运行的一个或更多个软件应用),以执行这里关于图1至图17描述的操作。硬件组件还响应于指令或软件的执行而访问、操纵、处理、创建和存储数据。为了简单起见,可在这里所描述的示例的描述中使用单数术语“处理器”或“计算机”,但在其他示例中,使用复数个处理器或计算机,或者,处理器或计算机包括多个处理器元件或多种类型的处理元件或者二者。在一个示例中,硬件组件包括多个处理器,在另一示例中,硬件组件包括处理器和控制器。硬件组件具有任意一个或更多个不同的处理配置,其示例包括单处理器、独立处理器、并行处理器、单指令单数据(SISD)多重处理器、单指令多数据(SIMD)多重处理器、多指令单数据(MISD)多重处理器和多指令多数据(MIMD)多重处理器。
通过计算机硬件(例如,通过如上所述执行指令或软件以执行这里所描述的操作的一个或更多个处理器或计算机)执行图1和图3至图6中示出的执行这里关于图1至图17描述的操作的方法。
用于控制处理器或计算机以实现硬件组件并执行上述方法的指令或软件被写为计算机程序、代码片段、指令或它们的任何组合,以单独地或选择性地指示或配置处理器或计算机来操作为用于执行通过硬件组件执行的操作以及如上所述的方法的机器或专用计算机。在一个示例中,指令或软件包括通过处理器或计算机直接执行的机器代码(诸如通过编译器生成的机器代码)。在另一示例中,指令或软件包括通过处理器或计算机使用解释器执行的更高级代码。本领域普通技术人员中的程序员能够基于附图中示出的框图和流程图以及说明书中的对应描述(其中公开了用于执行通过硬件组件以及上述方法执行的操作的算法)而容易地编写指令或软件。
用于控制处理器或计算机以实现硬件组件并且执行如上所述方法的指令或软件以及任何相关数据、数据文件和数据结构被记录、存储和固定在一个或更多个非暂时性计算机可读存储介质中或记录、存储和固定在其上。非暂时性计算机可读存储介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、闪存存储器、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-R LTH、BD-RE、磁带、软盘、磁光数据存储装置、光数据存储装置、硬盘、固态盘和本领域普通技术人员知晓的能够以非暂时性方式存储指令或软件以及任何相关数据、数据文件和数据结构并为处理器或计算机提供指令或软件以及任何相关数据、数据文件和数据结构使得处理器或计算机能够执行指令的任何装置。在一个示例中,指令或软件以及任何相关数据、数据文件和数据结构分布在联网的计算机系统,使得指令或软件以及任何相关数据、数据文件和数据结构通过存储器或计算机以分布的方式存储、存取和执行。
虽然本公开包括具体示例,但本领域普通技术人员将清楚,在不脱离权利要求及其等同物的精神及范围的情况下,可在这些示例中做出形式和细节上的各种变化。这里所描述的示例将仅仅被理解为出于描述性意义,而非出于限制的目的。在每个示例中的特征或方面的描述将被理解为可适用于其他示例中的类似的特征或方面。如果按照不同的顺序执行所描述的技术,和/或如果按照不同的形式组合和/或通过其他组件或它们的等同物替换或增添描述的系统、架构、装置或电路中的组件,则可获得合适的结果。因此,本公开的范围并不通过具体实施方式限定,而是通过权利要求及其等同物限定,权利要求及其等同物的范围之内的全部变换将被理解为包括在本公开中。
Claims (20)
1.一种相机模块,所述相机模块具备图像传感器以及具有至少一个透镜的光学系统,所述相机模块包括:
存储器,存储相机模块的影响相机模块的分辨率的与像差特性有关的信息;
其中,与像差特性有关的信息包括通过将由相机模块产生的图像与参考图像进行比较而预先估计的信息。
2.根据权利要求1所述的相机模块,其中,与像差特性有关的信息包括表示当通过光学系统的光在图像传感器上形成图像时产生的图像模糊的数据。
3.根据权利要求1所述的相机模块,其中,与像差特性有关的信息包括图像的多个区域的根据不同的方法估计的像差信息。
4.根据权利要求3所述的相机模块,其中,所述像差信息包括:图像的多个区域中的一些区域的根据第一方法估计的像差信息,以及图像的多个区域中的其余区域的根据第二方法估计的像差信息;
根据第一方法估计的像差信息的总数据大小和根据第二方法估计的像差信息的总数据大小彼此不同。
5.根据权利要求4所述的相机模块,其中,根据第一方法估计的像差信息包括表示当通过光学系统的光在图像传感器上形成图像时产生的图像模糊的点扩散函数数据。
6.根据权利要求4所述的相机模块,其中,根据第二方法估计的像差信息包括模糊参数,所述模糊参数包括从表示当通过光学系统的光在图像传感器上形成图像时产生的图像模糊的点扩散函数数据提取的顶点坐标位置和模糊宽度。
7.根据权利要求1所述的相机模块,其中,与像差特性有关的信息包括与通过相机模块捕获的图像的畸变量有关的信息。
8.根据权利要求1所述的相机模块,其中,所述存储器还存储根据捕获图像时的光照环境和焦点位置中的任意一个或二者确定通过相机模块捕获的图像的分辨率的改善程度的参数。
9.根据权利要求1所述的相机模块,所述相机模块还包括信号处理器,所述信号处理器被配置为使用与像差特性有关的信息改善通过相机模块捕获的图像的分辨率。
10.根据权利要求1所述的相机模块,其中,TTL/IMGH<1,其中,TTL是从光学系统的最接近对象的透镜的物方表面到图像传感器的图像形成表面的距离,IMGH是图像传感器的像素阵列的对角线长度。
11.根据权利要求10所述的相机模块,其中,TTL/IMGH≤0.75或者TTL/IMGH≤0.7。
12.根据权利要求1所述的相机模块,其中,与像差特性有关的信息包括在制造相机模块的工艺的过程中根据相机模块的个体特性估计的信息。
13.一种相机模块,所述相机模块用于利用图像传感器以及具有至少一个透镜的光学系统产生图像,所述相机模块包括:
存储器,存储相机模块的影响图像的分辨率的与像差特性有关的至少两种类型的信息。
14.一种相机模块,包括:
光学系统,包括至少一个透镜;
图像传感器,被配置为响应于接收到通过光学系统的光而产生图像;
存储器,存储与光学系统的像差特性以及图像传感器有关的信息,与像差特性有关的信息包括指示图像模糊的程度的数据;
信号处理器,被配置为使用与像差特性有关的信息执行图像的图像处理以改善图像的分辨率,并将处理的图像提供到外部电子装置。
15.一种相机模块,所述相机模块用于利用图像传感器以及具有至少一个透镜的光学系统产生图像,所述相机模块包括:
存储器,存储与光学系统的像差特性以及图像传感器有关的信息,与像差特性有关的信息包括指示图像模糊的程度的数据;
其中,所述相机模块被配置为将通过光学系统和图像传感器产生的图像以及与像差特性有关的信息提供到外部电子装置。
16.一种制造相机模块的方法,所述相机模块用于利用图像传感器以及具有至少一个透镜的光学系统产生图像,所述方法包括:
估计与通过单独的相机模块产生的图像的像差特性有关的信息;
将估计的信息存储在单独的相机模块的存储器中。
17.一种相机模块,包括:
图像传感器;
光学系统,被配置为在图像传感器上形成图像;
存储器,存储用于校正相机模块的分辨率的信息,所述信息专用于所述相机模块并在制造相机模块的过程中已经针对所述相机模块进行自定义。
18.根据权利要求17所述的相机模块,其中,用于校正分辨率的信息包括:
第一类型的信息,用于相机模块的分辨率低于预定阈值的图像传感器的第一区域;
第二类型的信息,用于相机模块的分辨率高于预定阈值的图像传感器的第二区域。
19.根据权利要求18所述的相机模块,其中,所述第一类型的信息包括针对图像传感器的第一区域估计的点扩散函数数据;
第二类型的信息包括从对针对图像传感器的第二区域估计的点扩散函数数据进行近似的函数估计的模糊参数。
20.根据权利要求17所述的相机模块,其中,所述存储器还存储用于校正由光学系统的光学畸变导致的通过图像传感器产生的图像的畸变的信息。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2015-0143093 | 2015-10-13 | ||
KR20150143093 | 2015-10-13 | ||
KR1020150169517A KR102163057B1 (ko) | 2015-10-13 | 2015-11-30 | 카메라 모듈 및 이의 제조 방법 |
KR10-2015-0169517 | 2015-11-30 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106603896A true CN106603896A (zh) | 2017-04-26 |
Family
ID=58500160
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610873605.0A Pending CN106603896A (zh) | 2015-10-13 | 2016-09-30 | 相机模块及制造该相机模块的方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10075633B2 (zh) |
CN (1) | CN106603896A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107707819A (zh) * | 2017-09-29 | 2018-02-16 | 北京小米移动软件有限公司 | 图像拍摄方法、装置及存储介质 |
CN111164508A (zh) * | 2017-09-20 | 2020-05-15 | 高通股份有限公司 | 用于改进的相机闪光灯的系统和方法 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102550175B1 (ko) * | 2016-10-21 | 2023-07-03 | 삼성전기주식회사 | 카메라 모듈 및 이를 포함하는 전자 기기 |
WO2019005575A1 (en) * | 2017-06-28 | 2019-01-03 | Gopro, Inc. | IMAGE SENSOR DEFECT DETECTION |
JP7321686B2 (ja) | 2018-09-04 | 2023-08-07 | キヤノン株式会社 | レンズ装置およびこれを備えるカメラシステム |
EP3885813A1 (en) * | 2020-03-27 | 2021-09-29 | Leica Microsystems CMS GmbH | Method and device for estimating a sted resolution |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7639888B2 (en) * | 2004-11-10 | 2009-12-29 | Fotonation Ireland Ltd. | Method and apparatus for initiating subsequent exposures based on determination of motion blurring artifacts |
US20090002574A1 (en) | 2007-06-29 | 2009-01-01 | Samsung Electronics Co., Ltd. | Method and a system for optical design and an imaging device using an optical element with optical aberrations |
KR101371925B1 (ko) | 2007-10-25 | 2014-03-07 | 엘지전자 주식회사 | 영상 초점 복원 방법 |
JP2009260622A (ja) | 2008-04-16 | 2009-11-05 | Nikon Corp | 撮像装置 |
CN102422200B (zh) * | 2009-03-13 | 2015-07-08 | 特拉维夫大学拉玛特有限公司 | 以减小的像模糊对物进行成像的成像系统和方法 |
KR101438948B1 (ko) | 2012-12-12 | 2014-09-11 | 현대자동차주식회사 | 시선 추적 제어 장치 및 방법 |
KR102023518B1 (ko) | 2013-02-06 | 2019-09-23 | 삼성전자주식회사 | 영상 장치, 초음파 영상 장치, 영상 처리 방법 및 초음파 영상 처리 방법 |
-
2016
- 2016-06-30 US US15/199,405 patent/US10075633B2/en active Active
- 2016-09-30 CN CN201610873605.0A patent/CN106603896A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111164508A (zh) * | 2017-09-20 | 2020-05-15 | 高通股份有限公司 | 用于改进的相机闪光灯的系统和方法 |
CN111164508B (zh) * | 2017-09-20 | 2021-06-04 | 高通股份有限公司 | 用于改进的相机闪光的系统和方法 |
CN107707819A (zh) * | 2017-09-29 | 2018-02-16 | 北京小米移动软件有限公司 | 图像拍摄方法、装置及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
US10075633B2 (en) | 2018-09-11 |
US20170104926A1 (en) | 2017-04-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106603896A (zh) | 相机模块及制造该相机模块的方法 | |
US9420276B2 (en) | Calibration of light-field camera geometry via robust fitting | |
CN103973958B (zh) | 图像处理方法及设备 | |
US8724007B2 (en) | Metadata-driven method and apparatus for multi-image processing | |
US8340453B1 (en) | Metadata-driven method and apparatus for constraining solution space in image processing techniques | |
WO2017101572A1 (zh) | 图像传感器及输出方法、相位对焦方法、成像装置和终端 | |
US8194993B1 (en) | Method and apparatus for matching image metadata to a profile database to determine image processing parameters | |
US7986352B2 (en) | Image generation system including a plurality of light receiving elements and for correcting image data using a spatial high frequency component, image generation method for correcting image data using a spatial high frequency component, and computer-readable recording medium having a program for performing the same | |
TWI422217B (zh) | 於數位影像中減低與位置相關之雜訊 | |
US11403739B2 (en) | Methods and apparatus for retargeting and prioritized interpolation of lens profiles | |
Ng et al. | Using geometry invariants for camera response function estimation | |
JP2004248290A (ja) | けられ補償 | |
US9451226B2 (en) | White balance method for shading compensation, and apparatus applied to the same | |
CN102696228B (zh) | 成像设备和混色校正方法 | |
US20170332000A1 (en) | High dynamic range light-field imaging | |
CN108134888A (zh) | 摄像装置、图像校正方法以及记录介质 | |
CN106067937A (zh) | 镜头模块阵列、图像感测装置与数字缩放图像融合方法 | |
CN105993164A (zh) | 固态图像传感器、电子设备和自动聚焦方法 | |
WO2007075066A1 (en) | Image processor, apparatus and method for lens shading compensation | |
WO2009141403A1 (en) | Correction of optical lateral chromatic aberration in digital imaging systems | |
JP2007274504A (ja) | デジタルカメラ | |
US20120236186A1 (en) | Camera module, image processing apparatus, and image processing method | |
JP5446285B2 (ja) | 画像処理装置及び画像処理方法 | |
CN104301638B (zh) | 坏像素处理方法与图像处理装置 | |
US7305126B2 (en) | Photo dazzle color temperature correction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20170426 |