CN117998185A - 一种摄像模组的成像优化方法及制造方法 - Google Patents

Abstract

本申请公开了一种摄像模组的制造方法，包括提供一感光芯片，一镜头，一点阵标板，一深度学习模型以及处理器模块；将所述感光芯片与所述镜头设置于预设位置形成可成像的摄像模组系统；所述感光芯片通过所述光学镜头拍摄所述点阵标板，获取所述可成像的摄像模组系统拍摄的所述点阵标板信息；根据所述可成像的摄像模组系统拍摄的所述点阵标板信息建立所述可成像的摄像模组对于点源的响应；所述深度学习模型利用所述可成像的摄像模组对于点源的响应建立所述可成像的摄像模组的补偿模型，并根据补偿模型将所述深度学习模型进行更新；将更新后的深度学习模型加载到处理器模块上，该种方法能够使得摄像模组成像具备更高的解析力。

Description

一种摄像模组的成像优化方法及制造方法

技术领域

本申请涉及图像测试、计算光学和深度学习领域，尤其涉及一种摄像模组的成像优化方法及制造方法。

背景技术

随着科技的发展，智能手机快速地更新换代，用户对手机摄像模组的成像质量要求越来越高，提升摄像模组成像的解析力已经成为制造商的竞争点。现有技术中，提升手机摄像模组成像素质的主要方式为对摄像模组的器件进行升级，例如提高光学镜头的镜片数量、增加感光芯片的像面尺寸、增大感光芯片的单位像素面积、增加防抖马达等等。这些升级方案表示提升摄像模组成像质量最直接的方法就是对摄像模组的硬件进行升级。

光学镜头为了提高解析力往往会增加镜头中的光学镜片的数量，从而会增加光学镜头整体的高度和宽度。感光芯片的尺寸增大会导致摄像模组的尺寸增加。增加防抖马达能够抵消用户手抖带来的模糊，但是会增加摄像模组的尺寸，增加摄像模组成本。摄像模组中的器件的升级往往带来摄像模组尺寸增大，器件成本的增加，可是手机始终沿着轻薄化外观的趋势发展，手机预留给摄像模组的设计空间始终是有限的。手机中主流的摄像模组方案要求摄像模组尺寸尽可能小，受限于摄像模组的尺寸限制，器件升级的技术方案很难突破手机尺寸的瓶颈。

随着半导体技术发展尤其是cpu集成性能的发展，手机，平板和电脑处理器芯片的计算能力已经很强大了，处理器芯片能够负责日常的操作系统处理外，还能有剩余的计算能力以进行其他任务处理。在现有技术中，处理器芯片还能够负责图像的融合，画面的渲染等。近年来，随着深度学习的普及以及光学成像技术的发展，光学成像已经由传统的彩色成像发展逐渐进入计算光学成像时代。计算光学需要训练深度学习模型，而深度学习模型需要输入大量的数据集以优化网络结构和模型参数，因此需要一种可以产生大量数据的测试方法以提供深度学习模型训练使用。另外，如果采用的数据集越贴近实际生产制造或生活使用中所产生，越能改善成像质量。如果在实际生产制造或者生活使用中有导致图像定向劣化的因素，并且图像劣化呈现一定规律性的，训练后的深度学习模型往往能够对其进行较好的补偿。

现有技术中，一般深度学习模型能实现将传感器获得的图像信息中的像素、亮度、色彩进行调整以输出更清晰或者满足特定用户需求的图像，深度学习模型还能对画面增加细节或补偿，例如纹理细节增强、模糊图像补正等。在深度训练后，深度学习模型能够实现将原本画质较低的图像优化成画质较高的图像。另外，深度学习模型在其他的方面具有很强的能力，深度学习模型具备对图像特征信息获取和优化能力、深度学习模型能够提高成像素质中核心性能指标(如成像空间分辨率、时间分辨率、灵敏度等)。因此深度学习后的计算光学模型能够在硬件不改变的情况下只依靠软件对摄像模组的成像进行提升。

发明内容

本申请的一个目的在于提供一种摄像模组的成像优化方法，改善摄像模组的成像性能。

本申请的一个目的在于提供一种摄像模组的成像优化方法，基于实际生产制造或者使用中有导致图像定向劣化的因素，进行深度学习模型训练和成像优化。

本申请的一个目的在于提供一种利用深度学习模型的成像优化方法，基于生产制造或使用中获取的差异化的数据，进行模型训练。

本申请的一个目的在于提供一种利用深度学习模型的成像优化方法，采集贴近实际摄像模组的研发和生产中的图像数据，并且通过发现和揭示规律性图像劣化的因素，经过数据训练后的深度学习模型提高图像的解析力。

本申请的一个目的提供一种摄像模组的成像优化方法，采用实际生产制造中造成摄像模组图像劣化的因子，进行深度学习模型训练，并形成差异化的计算光学优化方案，提高计算光学时的画面补偿能力。

本申请的一个目的提供一种摄像模组的制造方法，采用摄像模组拍摄后的图像进行深度学习模型优化，将深度模型集成到处理器模块上，提供完整的摄像模组用的计算光学方法。

在以下描述中部分地阐述了另外的实施方案和特征，并且本领域技术人员在审阅说明书之后将明白或者通过所公开的主题的实践来学习这些实施方案和特征。可通过参考构成本申请的一部分的说明书和附图的其余部分来实现本公开的特点和优点的进一步理解。

附图说明

图1是根据本申请实施方式的方法流程图；

图2A是根据本申请实施方式的测试系统的示意图；

图2B是根据本申请另一实施方式的测试系统的示意图；

图3A是根据本申请实施方式的点阵标板成像的示意图；

图3B是根据本申请另一实施方式的点阵标板成像的示意图；

图3C是根据本申请再一实施方式的点阵标板成像的示意图；

图4是根据本申请实施方式的将彩色图像进行分解的示意图；

图5是根据本申请实施方式的将标准图像进行调制处理的示意图；

图6是根据本申请另一实施方式的方法流程图；

图7的根据本申请另一实施方式的制造方法流程图；

图8的根据本申请再一实施方式的制造方法流程图；

具体实施方式

下面，结合具体实施方式，对本申请做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。

“包括”，该术语是开放式的。如在所附权利要求书中所使用的，该术语不排除附加结构或步骤。

在本申请的描述中，需要说明的是，对于方位词，如有术语“中心”、“横向”、“纵向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示方位和位置关系为基于附图所示的方位或位置关系，仅是为了便于叙述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定方位构造和操作，不能理解为限制本申请的具体保护范围。

需要说明的是，本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

本申请的说明书和权利要求书中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，如在本申请中使用的，用语“基本上”、“大约”以及类似的用语用作表近似的用语，而不用作表程度的用语，并且旨在说明将由本领域普通技术人员认识到的、测量值或计算值中的固有偏差。

在本申请的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以是接触连接或通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

“被配置为”，各种单元、电路或其他部件可被描述为或叙述为“被配置为”执行一项或多项任务。在此类上下文中，“被配置为”用于通过指示单元/电路/部件包括在操作期间执行这一项或多项任务的结构(例如，电路)来暗指该结构。此外，“被配置为”可包括由软件和/或固件操纵的通用结构(例如，通用电路)以能够执行待解决的一项或多项任务的方式操作。“被配置为”还可包括调整制造过程(例如，半导体制作设施)，以制造适用于实现或执行一项或多项任务的设备(例如，集成电路)。

在本文描述中所使用的术语只是为了描述特定实施方案，而并非旨在进行限制。如说明书和所附权利要求中所使用的那样，单数形式的“一个”、“一种”和“该”旨在也涵盖复数形式，除非上下文以其他方式明确地指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联地列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”和/或“包含”在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件和/或其分组。

如本文中所用，根据上下文，术语“如果”可以被解释为意思是“当...时”或“在...时”或“响应于确定”或“响应于检测到”。类似地，根据上下文，短语“如果确定...”或“如果检测到[所陈述的条件或事件]”可被解释为是指“在确定...时”或“响应于确定...”或“在检测到[所陈述的条件或事件]时”或“响应于检测到[所陈述的条件或事件]”。

示例性摄像模组的成像优化方法的说明

图1至图6示出了本申请的提高摄像模组的成像优化方法的说明

现有技术中，摄像模组往往包括镜头，感光芯片，镜座，滤色片等器件，这些器件经过一定的工艺制程例如夹持，贴附，组装，烘烤等过程最终组装成摄像模组。这些元器件往往经由机器因素或制程因素造成某些元器件的定向变形，现有技术中存在例如感光芯片在贴附、烘烤时产生的翘曲现象，在光学系统中表现为成像出现场曲不良。现有技术中也存在线路板受压和烘烤后产生变形的现象，在光学系统中表现为成像出现像面倾斜不良。现有技术中也存在光学镜头组立、受压和烘烤后面型产生变形的现象，在光学系统中表现为成像出像散不良。同时，随着器件数量增加，摄像模组在设置于预设位置组装后即多个器件产生的对整个模组的光学系统的不良因素会最终叠加，会使得由光学镜头的成像到光学镜头组装成摄像模组的成像出现劣化，导致常规的校准手段难以补偿，导致摄像模组成像性能出现下降，或者导致产品的不良率增高。

在本申请中，提供了一种摄像模组的成像优化方法的思路。光学镜头一般按照衍射极限进行设计，在设计光学镜头的时候往往做到了该款镜头的极限性能。制造商在把光学镜片组装成光学镜头后，受限于加工能力，镜片面型难以与设计值一致，镜片各项尺寸、规格、性能都难以达到与设计值一致。因此，光学镜头性能会比软件设计中的光学镜头模型的性能出现小幅下降。此外，由于镜片组装条件简单，仅仅把镜片组装在一起，彼此接触应力较小，因此光学镜头性能相比设计模型也有小幅下降，统计某些参数例如SFR有2％-3％的下降。而把光学镜头、感光组件、滤色片支架和致动器等组装成摄像模组的过程中，涉及到更多元器件设置于预设位置，元器件组装的条件更加复杂，一般有多次烘烤、应力贴附，同时，由于器件材质、形状存在较大差异，元器件之间的接触应力情况更加复杂，最终摄像模组的性能相比设计模型进一步产生大幅下降，统计某些参数例如SFR有10％-20％的下降。显然光学镜头相较于把光学镜头组装成摄像模组而言更能代表了该摄像模组的成像的最佳情况，但是现在摄像模组制造工艺一定会导致摄像模组成像性能比设计值出现大幅度的下降，如何把摄像模组的成像优化到接近甚至优于设计值是非常有价值的一个任务，可以显著提升每一模组的成像质量，提升拍照体验。

另外，从摄像模组制造商的多年生产经验来看，一个批次的摄像模组中的性能往往遵循正态分布，如果把这批产品的性能与设计理论上的光学性能相比的性能差异也会满足正态分布。在生产条件不变的情况下，摄像模组经过的压力贴附，多次烘烤，应力贴附，元器件出现的导致成像出现劣化的因素也是一定遵循正态分布的，正态分布中基区占了主体，基区也表示了这些元器件往往经由机器因素或制程因素造成某些元器件定向变形的主要构成。摄像模组进行大规模生产制造的现状，采用多个模穴制造以及多个批次出货成为惯例，而元器件来料和在特定产线制造过程中的产生定向变异会更加集中。通过对于这些能够被定向测试出的差异，通过大数据采集、分析和建模，被深度学习模型学习和修正后，可以很好的优化以及改善摄像模组的成像性能。

因此本申请提供的一种摄像模组的成像优化方法的一个思路是对光学镜头进行性能测试，对光学镜头组装成摄像模组后进行性能测试，通过分析单镜头组装到摄像模组后光学性能出现下降的视场区域、像差的特性、像差的量化数值等进行记录，再通过大数据不断进行深度学习，最终能够把由光学镜头组装成摄像模组时产生的性能劣化因素完全进行消除，显然由于性能劣化的因素为正态分布的，深度学习模型能够识别出主要影响的因素，并进行后续修改或进行图像优化，因此能够改善产品中的主要不良，产品的良率较高。

现有技术中，点扩展函数(point spread function，PSF)是用在成像系统对点光源或点对象的响应。点扩展函数聚焦光学系统的脉冲响应，点扩展函数是成像系统光学传递函数的空间域表达形式，可以反映光学系统像差的函数。也就是说，点扩展函数能够得到物侧的点到像侧的点之间的关系，从而可以反映整个光学系统实际的光线传递的过程，并且能够得到由点及面的相关光学系统的像差，而在摄像模组制造领域中往往仅仅对重要的视场进行管控，例如0视场、0.3视场、0.5视场、0.7视场、0.8视场等，因此仅需要对重要视场进行测量，选择重要测试点的方式就能代表对整个摄像模组进行测量。

参考附图1所示，本申请提出了一种摄像模组的成像优化方法，其包括下列步骤：

S1：通过光学镜头拍摄对象，获取所述光学镜头拍摄对象的成像；

S2：根据通过所述光学镜头拍摄对象的成像建立所述光学镜头的光学系统响应模型；

S3：以所述光学镜头的光学系统响应模型为基础增加包含光学系统像差的差异项得到含像差的模型输入端；

S4：深度学习模型根据含像差的模型输入端训练得到光学系统响应差异模型；

S5：利用所述光学系统响应差异模型优化通过摄像模组拍摄的图像。

更详细的来说，根据本公开实施例的第一方面，参考附图1的流程图所示，本申请提供了一种摄像模组的成像优化方法，其特征在于，包括以下步骤：

S1：通过光学镜头拍摄对象，获取所述光学镜头拍摄对象的成像；

在S1步骤中，优选采用单光学镜头的状态进行拍摄的方式，能够减少因为光学镜头在组装成摄像模组的过程中受到制程因素造成光学镜头形状发生变异，形状发生变异的光学镜头会影响摄像模组的成像性能。在另外的实施方案中，也可以指摄像模组状态下通过光学镜头进行拍摄，因此S1步骤可以指广泛意义上的通过光学镜头进行拍摄的过程，此步骤主要为了获取通过光学镜头拍摄的图像，以期望获得后续图像优化的基础图像信息。

S2：根据通过所述光学镜头拍摄对象的成像建立所述光学镜头的光学系统响应模型；

在S2步骤中，通过所述光学镜头拍摄对象后，根据获取的成像信息和对象信息后建立所述光学镜头的光学系统响应模型。为了获悉拍摄的物体与图像的关系，需要知道光学传递函数如何根据物体到像的转换。S2步骤中建立了物体经过成像系统之后的成像情况光学传递函数，获取光学传递函数后，可以得到对象在光学系统下响应输出的图像。获悉到带光学传递函数的光学系统响应模型后，无须再次进行拍摄，就能根据不同的对象(图像格式)叠加光学系统响应模型后输出理论上接近拍摄的图像。在S2步骤主要为了获取通过光学镜头拍摄的图像，以期望获得后续图像优化的基础图像信息。因此S2步骤可以指广泛意义上的获取光学系统传递函数，但是有时为了适应更多的情况，采用获取光学系统响应模型的方式更能适应传递函数无法全面反映物体到图像的情况。

S3、以所述光学镜头的光学系统响应模型为基础增加包含光学系统像差的差异项得到含像差的模型输入端；

在本申请的一个优选方案中，之前的S1，S2步骤会完成对镜头单体情况下的光学系统响应模型的建立，但是正如前述中的内容描述，镜头单体情况下光学系统响应模型缺少了导致光学像差的因素，从而无法使得单镜头的光学系统响应模型反映一个批次的摄像模组的产品的光学性能表现。比如经过上述S1到S2步骤后的光学系统响应模型缺少了实际制程因素导致的像差，也缺少实际使用过程中的光学系统自身的局限导致的误差，也缺少了因为生产批次性的问题导致的光学像差。这些缺少的光学像差可以以差异项的方式(参数方程)引入到光学系统响应模型，从而使得经过S3步骤后，该光学系统响应模型能够具备模拟摄像模组从实际生产到最终使用拍摄过程该有的导致光学像差的因素，从而实现摄像模组制造商在数字端上对摄像模组的大数据进行利用后输出模拟摄像模组从实际生产到最终使用拍摄过程该有的输入端。在另外的方案中，可以将光学系统响应模型叠加针对性的光学像差，比如摄像模组制造商中经常需要改善大像面芯片容易受到高温烘烤后造成芯片翘曲问题，芯片翘曲的问题往往会造成摄像模组实际成像时出现场曲的问题，而通过本申请，可以在S3步骤中获悉到有芯片场曲问题的摄像模组后，分析该问题型号的摄像模组的光学系统中场曲的分布和性质，通过引入针对性的有场曲光学像差的差异项，使得光学系统响应模型能够贴近实际摄像模组的拍摄。通过后续的深度学习模型学习并改善光学系统的成像场曲，可以针对性地改进实际摄像模组的成像。

在另外一些方面，通过这种针对基础的光学系统响应模型叠加差异项的方式能够适应更复杂的情况，例如实现按照光学性能的峰值按照前述的梯度进行分布，选择不同梯度光学性能作为差异项来进行仿真实际摄像模组产品中正态分布的情况。也可以按照不同的光学像差例如场曲、峰值、轴上值不良的情况分别引入能够表征这些光学像差的差异项来实现对光学系统响应模型更加贴近实际情况的摄像模组出现的各项不良。从而使得光学系统响应模型能够仿真更多情况的摄像模组，这样的方式更能够包含实际情况中摄像模组更复杂的情况，真正从大数据上分析实际生产过程中摄像模组的各项性能。

S4、深度学习模型根据含像差的模型输入端训练得到光学系统响应差异模型；

在步骤S4中，由于前述步骤中，得到了对摄像模组成像的仿真，建立了增加包含光学系统像差的差异项的光学系统响应模型，因为带有了实际摄像模组成像时的各种像差，因此该光学系统响应模型此时具备了能够依据输入的对象信息，输出仿真的生产批次的摄像模组的信息，因此可以认为模型输入端接近实际摄像模组拍摄的图像。且由于通过数字化的光学系统响应模型，完全可以做到不用生产批次的摄像模组实际拍摄，利用数字化的光学系统响应模型将输入对象的图像信息输出仿真的接近生产批次的摄像模组实际拍摄的图像，因此该模型输入端(由数字化的光学系统响应模型根据需求输出的图像)足够当做深度学习模型所需要的实际摄像模组拍摄的图像信息。采用该种步骤的方式，能够简化深度学习模型所需要的数据产生工作，本申请中，采用包含光学系统像差的差异项的光学系统响应模型完全可以替代实际生产批次的摄像模组拍摄的图像，只需要根据输入对象的图像，经过模型的演化，就能得到仿真实际生产批次的摄像模组拍摄的图像，该种方式大大简化了深度学习模型所需要的数据收集工作。不采用本申请的方式的话，需要对每个摄像模组按照不同的要求进行拍摄，也需要在不同批次性的摄像模组中选择表征不同梯度的摄像模组，每个摄像模组还需要在不同的测试环境中进行拍摄得到深度学习模型所需要的输入端的数据。

深度学习模型根据模型输入端提供的数据，可以按照模型中的网络结构进行对图像的优化，最终得到该生产批次的摄像模组的光学系统响应差异模型。光学系统响应差异模型指的记录深度学习模型在图像优化前和图像优化后的图像中不同区域位置和优化方式，也会包括图像中光学像差的类型优化方式，在模型进行优化后，记录所需要的优化位置、光学像差类型、光学像差的优化方法后更新为光学系统响应差异模型。

S5：利用所述光学系统响应差异模型优化通过摄像模组拍摄的图像；

在步骤S5中，由于前述步骤中完成了光学系统响应模型，也就是模型能够处理实际生产批次的摄像模组的各项不良，此时只要将对应生产批次的摄像模组实际拍摄的图像输入到该光学系统响应差异模型后就能实现对实际生产批次的摄像模组拍摄的图像的优化。

值得一提的是，在以所述光学镜头的光学系统响应模型作为基础，增加包含光学系统像差的差异项得到含像差的模型输入端的步骤中：所述包含光学像差的差异项包括摄像模组来自设计、生产、制造和使用过程中产生的对光学系统造成波前像差的因素。前述的内容中，摄像模组的生产过程会导致光学系统产生光学像差，摄像模组的光学系统在设计的时候也会导致实际摄像模组拍摄时产生光学像差，摄像模组在使用过程中也会产生导致实际摄像模组拍摄产生光学像差。

在S1-通过光学镜头拍摄对象，获取所述光学镜头拍摄对象的成像步骤中包括：通过光学镜头拍摄点阵标板，获取所述光学镜头拍摄的点阵标板的成像。前述内容中提出了获取光学镜头的点扩展函数(point spread function，PSF)是用在成像系统对点光源或点对象的响应。点扩展函数聚焦光学系统的脉冲响应能够反映光学系统根据点源的响应，因此能够获取光学系统的波前像差等。也就是说本申请中，将光学镜头的点扩展函数作为光学镜头的传递函数来获得光学系统的响应模型。

在S2-根据通过所述光学镜头拍摄对象的成像建立所述光学镜头的光学系统响应模型步骤中包括：根据通过光学镜头拍摄的点阵标板成像建立所述光学镜头的光学系统对点源的响应。前述内容中提出了获取光学镜头的点扩展函数(point spread function，PSF)是用在成像系统对点光源或点对象的响应。点扩展函数聚焦光学系统的脉冲响应能够反映光学系统根据点源的响应，因此能够获取光学系统的波前像差等，也就是说本申请中，将光学镜头的点扩展函数作为光学镜头的传递函数来获得光学系统的响应模型。

其中，在S3-所述光学镜头的光学系统响应模型作为基础增加包含光学系统像差的差异项得到含像差的模型输入端步骤中包括：

S3.1：将光学镜头按规定的工艺制程组装成摄像模组；

S3.2：通过摄像模组拍摄点阵标板，获取通过所述摄像模组拍摄的点阵标板成像；

S3.3：根据通过摄像模组拍摄的点阵标板成像建立摄像模组的光学系统对点源的响应；

S3.4：将摄像模组的光学系统对点源的响应和光学镜头的光学系统对点源的响应差异化处理成光学镜头到摄像模组的差异项；

S3.5：所述光学镜头的光学系统响应模型作为基础增加光学镜头到摄像模组的差异项；

前述内容中阐述了摄像模组制造商将光学镜头组装成摄像模组的过程中，会使得摄像模组中的光学镜头受到制程影响，导致光学镜头形状出现物理变异，而摄像模组的感光芯片也会出现变形，最终使得摄像模组的成像性能出现劣化的现象。制程上的导致光学像差的差异项根据制造商实践被认为是影响摄像模组成像的最大因素。本申请中在针对摄像模组的制造因素进行了补偿。补充步骤S3.1到S3.5中包括了对摄像模组进行点源标板的拍摄，按规定的工艺制程组装成摄像模组后，获取了摄像模组状态下的光学系统的响应。

前述内容中，获取点扩展函数可以认为是获悉光学系统对点源的响应的一种较好的方式，在本申请的优选实施例中，得到摄像模组光学系统的点源响应后再与光学镜头光学系统的点源响应进行差异化处理，得到从光学镜头到按规定的工艺制程组装成摄像模组后在对点源响应的差异项。光学镜头到摄像模组的差异项表示了光学镜头自身的光学性能在组装成摄像模组后发生了那些变化，具体表现为光学系统在对点源的响应上有哪些差异(例如前述内容中的光学像差出现的位置，类型和程度等)，光学系统出现的劣化因素作为差异项进行识别，从而能够通过后期的深度学习模型校正和优化在摄像模组制程过程中出现定向的劣化因素。

在S4-深度学习模型根据含像差的模型输入端训练得到光学系统响应差异模型步骤中，还包括：S4.1：以光学镜头的光学系统对点源的响应作为输入端，以摄像模组的光学系统对点源的响应作为输出端，根据输入端到输出端的的相同点源响应的差异性建立从光学镜头到组装成摄像模组的光学系统的点响应差异模型。

在先技术中，深度学习模型会以将输入端的图像优化成目标图像的方式不断进行训练，前述部分中摄像模组的制程因素导致的光学像差被认为是引起摄像模组成像出现裂化的主要问题。S4.1步骤中以光学镜头的光学系统对点源的响应作为输入端，以摄像模组的光学系统对点源的响应作为输出端，根据输入端到输出端的的相同点源响应的差异性建立从光学镜头到组装成摄像模组的光学系统的点响应差异模型可以作为本申请另一实施例。前述的S3.1到S3.5实现了将摄像模组制程过程中引起的光学像差的差异项叠加到模型的方式，为深度学习模型提供输入端训练所需要的数据，但前述过程中提到了如果能够将摄像模组的图像优化到接近光学镜头单体时的成像素质，由于改善了摄像模组的制程因素导致的光学像差，因此能大大提高摄像模组的成像性能。因此S4.1步骤能够实现将将输入端的成像(组装成摄像模组状态下的成像)以目标图像(镜头单体状态下德成像)的方式不断进行训练，以得到能够消除摄像模组制程影响成像的因素。

在S5步骤利用所述光学系统响应差异模型优化通过摄像模组拍摄的图像的步骤中，还包括以下步骤：利用从光学镜头到组装成摄像模组的光学系统的点响应差异模型优化通过摄像模组拍摄的图像。

由于光学系统点响应模型被认为是能够获取光学系统波前的优选方案，并且光学系统点响应模型能够将对象的图像信息输入光学系统点响应模型后就能输出接近生产批次的摄像模组实际拍摄的图像。光学系统的点响应差异模型是深度学习模型学习光学系统点响应模型与目标的光学系统点响应模型的差异后，优化原光学系统的点响应差异模型得到的从光学镜头到组装成摄像模组的光学系统的点响应差异模型。如前述描述，从光学镜头到组装成摄像模组的光学系统受到制程的影响，摄像模组的光学系统因制程因素受到劣化，因此得到光学镜头到组装成摄像模组的光学系统的点响应差异模型能够解决大部分生产制程导致的图像劣化的影响。

在本申请的另一实施例中，所述包含光学像差的差异项包括摄像模组的光学系统在近焦拍摄图像和远焦拍摄图像因为光学系统设计所产生的像差。近焦拍摄图像和远焦拍摄图像由于光学设计的无穷远光线和近距光线引起的偏转造成。在光学系统确定后，摄像模组经过规定的工艺制程组装后，近焦拍摄图像和远焦拍摄图像之间的差异就大致呈现定向化的差异，因此可以通过深度学习模型进行定向化的矫正。不同于改善摄像模组制程造成的劣化因素，改善摄像模组的光学系统因为近焦拍摄图像和远焦拍摄图像所产生的像差大抵上都来自于光学设计。

在本申请的另一实施例中，所述包含光学像差的差异项包括摄像模组的光学系统因为摄像模组组装过程制程因素导致的像差。正如前述部分中的描述，摄像模组制造过程中会导致摄像模组因为制程产生影响，从而使得摄像模组出现进一步的光学像差。消除该制程因素产生的像差能够极大提高摄像模组的成像性能。

因此本申请中提供了一种思路，对镜头进行测试得到在镜头状态下的光学系统的点源响应(点扩展函数)，利对摄像模组进行测试也能够得到在摄像模组状态下的光学系统的点源响应(点扩展函数)。本申请中需要对镜头状态下的光学系统和模组状态下的光学系统分别进行点源响应的测量，从而使得测试数据包括了能够表示镜头组装至摄像模组工艺制程中造成图像劣化的因素最终影响了哪些点源的响应，光学镜头和摄像模组的光学系统中相同点源有何区别，才能针对性地对摄像模组的成像进行弥补。

现有技术中，点扩展函数的提取必须是点源通过光学系统的成像来获取，然而在现实生活中获取点光源摄像信息是很难做到的。一般在实验室中，点扩展函数的提取方式是通过计算机生成点扩展函数所需要的点阵图，然后使用摄像模组对打印出的点阵图进行拍摄来获取点扩展强度图，这种方式不需要搭建测试环境，获取点扩展函数简单便捷，然而这种方式的成像对象不是点光源，实际是黑白点阵图，会引入例如光源亮度的均匀性，打印图像时存在的像差，所以获取的点扩展函数精度低，实用价值不高，这种方式无法获得较为精准的点扩展函数函数信息。

针对上述中的至少一个问题，本申请设计了基于均匀光源下的高精度点扩展函数提取标板，该标板具备点阵图案，因此也可以被称为点阵标板，点阵图案包括对应感光芯片像素尺寸大小的点图案。该点阵标板是根据摄像模组中的镜头设计参数、镜头设计时所需要放大倍率进行设计。该点阵图案可以根据不同的设计要求和拍摄需求进行高精度制作，本申请中该点阵图案的测试点尺寸相当于该感光芯片中1-2个单位像素大小，从而能够实现像素级别的PSF函数的测量，因此能够满足计算光学PSF获取的精度要求，一般来说能够本申请的点阵标板的图案的点尺寸需要大于光学系统中的衍射极限，并且如果点阵图案的尺寸越小越能提高测量精度。

该点阵标板包括光源和点图案，该光源发射的光线经过点图案后被图案化以均匀向外传播，该光源适于调节色温，改变光源波长和改变亮度。该光源在本申请中优选为激光光源，从而保证该点光源光线具备较高的准直能力。过于分散的光源光线经过镜头被感光芯片接受后会形成模糊的光斑，从而影响点扩展函数的计算。一般来说光源的准直性越好，光斑的大小越小，感光芯片接受光斑的信号后，输出的明暗信息和位置就更加准确。

上述中提到的点源响应，或者称为点响应，或者称为点对象响应的过程可以采用下列的公式进行计算：u_i(x，y)＝u_g(x，y)×h(x，y)+n(x，y)，这里，u_i(x，y)为点源的像方，u_g(x，y)为点源物方，h(x，y)为点扩展函数(也可以称为PSF函数)，n(x，y)为电流噪声，也就是说本申请可以知道在根据点源的物方和光学系统的点扩展函数以及电流噪声，就能最终得到点源的像，以及成像时各种像差。

正如前面对于标板技术内容的描述，本申请中的点阵标板包括光源和点图案，该光源发射的光线经过点图案后被图案化以均匀向外传播，所述光源适于调节色温，改变光源波长和改变亮度。由于光源能够被调节色温，改变光源波长和改变亮度因此能够提供不同的测试环境以适应不同的测试需求。

在通过光学镜头拍摄点阵标板，获取所述光学镜头拍摄的点阵标板成像的步骤中可以细化为以下动作：改变所述点阵标板相对所述光学镜头沿着所述光学镜头光轴方向的距离，将所述光学镜头进行调焦处理，在所述点阵标板相对所述光学镜头沿着所述光学镜头光轴方向不同距离下，通过所述光学镜头拍摄所述点阵标板的成像，根据通过所述光学镜头拍摄所述点阵标板的成像时所述光学镜头和所述点阵标板的距离，建立所述光学镜头的调焦距离与成像的映射。这种方式是为了建立拍摄的点阵图像与调焦距离之间的关系，从而满足一般摄像模组出厂校验所需要的近远焦测试，另一方面也为了能够增加测试图像的样本数据，从而增加数据测试量。

上述改变所述点阵标板相对所述光学镜头沿着所述光学镜头光轴方向的距离，指的是将该点阵标板沿着光轴方向移动，分别在不同距离下进行图像拍摄，从而获取在近远焦的时候的点阵标板拍摄图像。这种情况指的是在实际拍摄中，用户往往拍摄不同距离下的对象，例如用户会拍摄远处山峦，近处的人像等。对焦距离的不同，会产生不同离焦位置的图像，在光学系统的设计中，往往将无穷远的平行光线作为输入光，对光学系统进行优化的基础也是以优化无穷远的平行光线作为先决条件，而在实际拍摄中用户往往拍摄近处的景物，甚至近距的自拍，因此在实际生产中，往往近距的拍摄也是占了大多数。提高近距的拍摄能够提高用户在常规距离拍摄时的拍摄效果，因此本方案中会对近距时的点阵标板进行测试，从而提供在近距时的拍摄图像，通过采集近距拍摄图像，并通过后期图像对近距拍摄图像进行优化也是本申请重要的目的之一。

但是用户拍摄大部分场景可以认为是近距，但从光学系统的设计之初，光学系统在近距和远距的光学性能往往有很多不同的差异。这种来自镜头设计时就存在的差异，在摄像模组实际生产过程中往往会进一步劣化，在摄像模组实际成像时，这种差异来自于光学镜头本身的设计，也就是说光学镜头的点扩展函数导致了在近距和远距之间的成像性能导致的差异。另外，光学镜头在近距和远距可以说有不同的两套点扩展函数函数，这两套点扩展函数函数能够导致光学镜头拍摄近距和远距的图像存在较大差异，因此在图像拍摄中近距和远距的光学性能的差异化会导致成像的时候，近距拍摄和远距拍摄的图像会因为镜头的因素出现品质不一的情况，可能会出现拍摄远距的图像很清晰，但是近距的图像品质差强人意。一般来说在确定镜头的光学设计后，这种近距和远距之间光学性能的差异性就决定了，且呈现定向的劣化现象，能够通过大数据提供给深度学习模型的训练来消除两者的差异。

本申请中，提供了能够测试任意离焦位置下的点阵标板，从而能够实现将点阵标板调整至不同距离，例如能够将点阵标板调整至1.5米内，和将点阵标板调整至1.5米外等，可以通过叠加增距镜或者使用工作轴带动点阵标板进行移动的方式，将对应的标板至成像芯片的相对光学距离，可以调整至近距到无穷远，从而能够适应不同的拍摄需求。

在通过摄像模组拍摄点阵标板，获取通过所述摄像模组拍摄的点阵标板成像步骤中可以细化包括以下步骤：改变所述点阵标板相对所述摄像模组沿着所述摄像模组光轴方向的距离，将所述摄像模组进行调焦处理，在所述点阵标板相对所述摄像模组沿着所述摄像模组光轴方向不同距离下，通过所述摄像模组拍摄所述点阵标板的成像，根据通过所述摄像模组拍摄所述点阵标板的成像时所述摄像模组和所述点阵标板的距离，建立所述摄像模组的调焦距离与成像的映射。这种方式是为了建立拍摄的点阵图像与调焦距离之间的关系，从而满足一般摄像模组出厂校验所需要的近远焦测试，另一方面也为了能够增加测试图像的样本数据，从而增加数据测试量。更重要的是，与上述光学镜头的调焦不同的是，摄像模组的调焦往往代表了马达进行工作后驱动行程后的状态，因此在马达工作后让摄像模组进行拍摄能够得到马达影响下的摄像模组成像的性能，拍摄的数据也能包括马达作为劣化图像品质的影响，例如马达有定向的倾斜不良，此时也能够把马达定向倾斜不良导致成像出现像面倾斜不良给包括进去。

与前述中的改变该点阵标板相对该光学镜头沿着该光学镜头光轴方向的距离进行调焦类似的是，为了改善摄像模组的近焦拍摄的图像，本申请中对于摄像模组状态下，通过将马达通入各项电信号以调整该摄像模组的对焦状态，可以实现该摄像模组在不同距离下的近焦和远焦图像，这样可以采集该摄像模组在近远焦的时候，摄像模组拍摄的近远焦的图像，从而方便为后期的图像校正提供基础。

指的是将该点阵标板沿着光轴方向移动，分别在不同距离下进行图像拍摄，从而获取在近远焦的时候的点阵标板拍摄图像。因此可以包括近远焦的时候，将分别在点阵标板的近焦和远焦的时候，拍摄近距或远距时的图像。这种情况指的是在实际拍摄中，用户往往拍摄不同距离下的对象，例如用户会拍摄远处山峦，近处的人像等。对焦距离的不同，会产生不同离焦位置的图像，在光学系统的设计中，往往将无穷远的平行光线作为输入光，对光学系统进行优化的基础也是以优化无穷远的平行光线作为先决条件，而在实际拍摄中用户往往拍摄近处的景物，甚至近距的自拍，因此在实际生产中，往往近距的拍摄也是占了大多数。提高近距的拍摄能够提高用户在常规距离拍摄时的拍摄效果，因此本方案中会对近距时的点阵标板进行测试，从而提供在近距时的拍摄图像。

拍摄时大部分场景仍然为近距，从光学系统的设计之初，光学系统在近距和远距的光学性能往往有很多不同的差异。这种来自镜头设计时就存在的差异，在摄像模组实际生产过程中往往会进一步劣化。在摄像模组实际成像时，这种差异来自于光学镜头本身的设计，也就是说光学镜头的点扩展函数导致了在近距和远距之间的成像性能导致的差异。另外，在近距拍摄和远距拍摄中由于物距发生了变化，使得在近距拍摄和远距拍摄中的对应物体的像高发生变化，光学系统在近距和远距拍摄的成像中的物体尺寸会产生差异，这个差异在被摄像模组中感光芯片CMOS的像素接受后更为严重，感光芯片CMOS的像素由于具备固定大小，会使得差异性进一步扩大。因此摄像模组实际使用中，存在导致光学镜头拍摄近距和远距的图像存在较大差异的现象，因此在图像拍摄中近距和远距的光学性能的差异化会导致成像的时候，近距拍摄和远距拍摄的图像会因为镜头的因素出现品质不一的情况，可能会出现拍摄远距的图像很清晰，但是近距的图像品质差强人意。一般来说在确定镜头的光学设计后，这种近距和远距之间光学性能的差异性就决定了，且呈现定向的劣化现象，能够通过大数据提供给深度学习模型的训练来消除两者的差异。

本申请中，提供了能够测试任意离焦位置下的点阵标板，从而能够实现将点阵标板调整至不同距离，例如能够将点阵标板调整至1.5米内，和将点阵标板调整至1.5米外等，可以通过叠加增距镜或者使用工作轴带动点阵标板进行移动的方式，将对应的标板至成像芯片的相对光学距离，可以调整至近距到无穷远，从而能够适应不同的拍摄需求。

在以光学镜头的光学系统对点源的响应作为输入端，以摄像模组的光学系统对点源的响应作为输出端，根据输入端到输出端的的相同点源响应的差异性建立从光学镜头到组装成摄像模组光学系统的点响应差异模型步骤中可以包括以下步骤：通过所述光学镜头拍摄的点阵图像和通过所述摄像模组拍摄的点阵图像均进行灰度化处理，根据灰度值分布将图像进行图像分割，以分别获得通过所述光学镜头拍摄的点阵图像和通过所述摄像模组拍摄的点阵图像的像素区块。

在以光学镜头的光学系统对点源的响应作为输入端，以摄像模组的光学系统对点源的响应作为输出端，根据输入端到输出端的的相同点源响应的差异性建立从光学镜头到组装成摄像模组光学系统的点响应差异模型步骤中可以包括以下步骤：

A1.1：提取输入端中的各个点位的点源响应信息，提取输入端中的单点源的各个颜色通道的强度信息图，将输入端的各个颜色通道的点扩展函数信息进行提取；

A1.2：提取输出端中的各个点位的点源响应信息，提取输出端中的单点源的各个颜色通道的强度信息图，将输出端的各个颜色通道的点扩展函数信息进行提取；

A1.3：将输入端的各个颜色通道的点扩展函数信息与输出端的各个颜色通道的点扩展函数信息建立从光学镜头到组装成摄像模组光学系统的点响应差异模型。

在拍摄到标板图像后，本申请中的实施例需要对图像所包含的信息进行处理，包括对图像信息中的清晰程度进行测量，本申请的实施例中的光学图像的点响应信息包括了点图案的黑白模糊程度，因此该点扩展函数信息中包括了对图像清晰程度的测量。在后续的步骤中可以采用通过该测试环境进行光学镜头和摄像模组的相同点的点扩展函数信息提取后进行差异化分析，建立从光学镜头到组装成摄像模组光学系统的点响应差异模型，从而进行大样本的深度学习，以补偿在摄像模组组装过程中出现的劣化因素。

参考附图2A所示，本申请中提出了一种点阵标板的测试系统，其中包括光源10，点阵标板20，中继透镜30，光学镜头40，感光芯片50和离焦机构60，其中该光源10发射的光线经过点阵标板20的点图案后被图案化以均匀向外传播，所述光源10适于调节色温，改变光源波长和改变亮度。由于光源10能够被调节色温、改变光源波长和改变亮度，因此能够提供不同的测试环境以适应不同的测试需求。

所述中继透镜30设置在所述光学镜头40和所述阵标板20之间，所述中继透镜30用于放大所述阵标板20到所述光学镜头40的光线的光程，以用于延长所述测试系统的测试距离，以适应测试距离的中远焦的变化。

所述感光芯片50设置在所述光学镜头40下侧，所述感光芯片50用于接受经过所述光学镜头40调制后的光线，从而能够进行拍摄。所述离焦机构60设置在所述感光芯片50的下侧，从而实现对所述感光芯片50进行离焦处理，使得所述感光芯片50位于所述光学镜头40合适的后焦位置，以获得清楚的成像。

本申请中提供的点阵标板具备适应成像系统中感光芯片像素大小的点图案，在本实施例中，单个该点图案的尺寸正好为感光芯片的2个像素的直径大小，以实现对感光芯片中像素4合一的计算，从而能够实现对画面的缩放，利于实现用高像素的感光芯片去合成低像素的感光芯片，从而提升感光芯片的通用性，无需改变感光芯片，仅改变图像合成算法就能实现对多种规格的感光芯片的模拟，另一方面，采用对感光芯片像素大小的适配，可以使得利用通用规格感光芯片以适配多种测试需求。

所述测试系统可以包括测试任意视场、任意波长、任意离焦位置的镜头光学的点响应信息，具有精度高，稳定性强，兼容性强等特点，实现带动光源移动的工作轴能够带动点阵标本进行移动，该工作轴能够驱动该光源在平行成像平面的平面上以为0.1um精度进行调整，此外该工作轴还能够带动该光源在光轴方向上以0.1um精度进行移动，从而能够以较高的精度带动光源进行移动。该光源在工作轴的驱动下可以实现对光源沿着镜头光轴方向的移动，也能够在该工作轴的驱动下在垂直于镜头光轴平面方向移动，从而能够提供相对成像系统有着不同近远距离的点阵标板，也能够提供相对成像系统发生不同偏移的点阵标板图案。

参考附图2B所示，本申请中提出了另一种点阵标板的测试系统，其中包括对象20a，光学镜头第一部件41a，光学镜头第二部件42a，感光芯片50a和离焦机构60a，在本实施例中，该对象20a反射或者发射的光线经过该光学镜头第一部件41a和该光学镜头第二部件42a后被所述感光芯片50接受。

在本实施例中，是为了展示在多个镜头组件或分体式镜头的情况下，也可以通过该光学镜头第一部件41a和该光学镜头第二部件42a主动校准后获取通过光学镜头拍摄的对象信息，在多个镜头组件或分体式镜头的情况下，由于变量更多，比如该光学镜头第一部件41a和该光学镜头第二部件42a有不同的批次，不同批次代表了镜头部件生产时有不同的物理尺寸导致了不一样的光学性能。在主动校准时该光学镜头第一部件41a和该光学镜头第二部件42a可能出现校准后出现不同性能，有的批次性能好，有的批次性能差的情况，或者呈批次的出现定向性能偏差，即批次性的性能误差表现往往呈现定向产生，因此较为容易通过深度学习模型进行校正。

该离焦机构60设置在该感光芯片50a的下侧，从而实现对所述感光芯片50a进行离焦处理，使得该感光芯片50a位于该光学镜头第一部件41a和该光学镜头第二部件42a合适的后焦位置，以获得清楚的成像。

参考附图3A示意出了本申请中对于点阵标板拍摄的成像，采用单个点作为点阵测试区以测试各个不同测试视场的方式，从能反映整体画面的中的点源的响应信息。在附图3A中示意性地将各个测试视场进行划分，中心视场1A，0.3视场2A，0.5视场3A，0.8视场4A中均包括至少1个测试点，距离中心视场1B相同距离的点源可以为画面的左上，右上，右下，左下四角，以此类推可以得到0.3视场,0.5视场,0.8视场测试区域均为4个，采用该种测试方法除了能够对画面中的重要视场进行测量。

在本申请中，对图像信息中提取点扩展函数信息的过程包括先对获取参数调试好后的点阵图，然后分通道提取各个通道的强度信息图，其次定位测试点位，最后根据测试点位，将各个点位的点扩展函数(PSF)信息提取出来，一般来说可以包括以下公式：

根据下面的公式：RImage，GImage，BImage＝Extract(RGBImage)

(Point_xi，Point_yi)＝Location(RImage)

PSF(Point_xi，Point_yi)＝Optain(RImage(xi，yi))

参考附图4所示的将彩色图像按照颜色通道进行分解的示意图，上述过程无论是通过所述光学镜头拍摄的点阵图像和还是通过所述摄像模组拍摄的点阵图像，都是包含了RGB三色的彩色图，由于不同颜色光线存在波长差异，对于光学系统而言不同颜色的光线会有不一样的例如折射偏差和光程差，这些折射偏差和光程差会导致光学系统出现不良，为了进一步分析图像中的信息，需要对图像进行按颜色通道分解的过程。也就是说本申请中需要将拍摄得到的RGB图像(三通道点阵图像)，RImage，GImage，BImage分别是R、G、B三个通道的强度图，从而可以得到图像中的按颜色通道分解的强度图，从而分别得到R颜色的灰度图，G颜色的灰度图，B颜色的灰度图。从而能够分别在得到R颜色的灰度图，G颜色的灰度图，B颜色的灰度图后，根据各个颜色中的灰度图的测试点所在位置，分别在R颜色的灰度图，G颜色的灰度图，B颜色的灰度图中提取关于测试点的位置。之后根据公式PSF(Point_xi，Point_yi)提取的每个测试点PSF数据，从而得到在R,G,B三色下的关于点源的点扩展函数。

参考附图3B示意出了本申请中的另一个实施例，采用多个点作为点阵测试区域代替附图3A中的单个点作为测试区域的方式能够增加该测试视场的面积，从而更加能反映整体画面的中的点源的响应信息。在附图3B中示意性地将各个测试视场进行划分，中心视场1B，0.3视场2B，0.5视场3B，0.8视场4B中均包括至少4个测试点，距离中心视场1B相同距离的点源可以为画面的左上，右上，右下，左下四角，以此类推可以得到0.3视场,0.5视场,0.8视场测试区域均为4个，采用该种测试方法除了能够对画面中的重要视场进行测量，还能实现例如在中心视场(1)上设置四个测试点,能够增加取样点，提高准确率，多个测试点的方式也能够覆盖图像中更多的像素，减少个别端点造成的影响。

图3C是根据本申请再一实施方式的点阵标板成像的示意图，在本申请中的另一个实施例，采用均匀排列的点阵图案代替附图3A中的单个点作为测试区域的方式能够极大增加该测试视场的面积，从而更加能反映整体画面的中的点源的响应信息。在附图3C中示意性地将整个画面中的各个测试区域进行划分，中心视场1C虽然没有示意，但是相对中心视场相同距离的区域也可以认为是相同视场的测试区域，0.3视场2C，0.5视场3C，0.8视场4C中均包括至少一个测试点，距离中心视场1B相同距离的点源可以为画面的左上，右上，右下，左下四角，以此类推可以得到0.3视场,0.5视场,0.8视场测试区域均为4个，采用该种测试方法除了能够对画面中的重要视场进行测量。由于在本申请的实施例中，均匀排列的测试点肯定会增加测试视场，因此在点响应的统计上虽然更丰富，但是计算量会更大。

可以的得到的是，本申请中可以采用多个点作为单测试区域增加点响应的统计数量，也可采用均匀排列多个点作为单测试区域增加点响应的统计数量，这两种实施方式都能实现将增加多个测试点以覆盖图像中更多的像素,减少个别端点造成的影响。

现有技术中，用户使用手机进行拍摄的时候，画面中的主色调往往按照环境的不同而变化，例如在月光下，画面更容易充斥冷色调，在阳光下，画面更容易充斥暖色调，因此实际拍摄的环境的复杂情况决定了摄像模组需要适应不同的色温。

为了能更加适合实际拍摄的环境，本申请中的测试系统的的光源需要提供能够提供各种亮度环境，提供各种色温的情况。本申请中的该测试系统的光源为一个能够调整色温、照度、波长的均匀光源，从而能够改变光源的色温，改变光源的波长，改变光源的亮度等，以可以获取在不同亮度下，不同色温下，不同波长下的标板图像，从而能够获得不同色温，不同波长，不同亮度的图像，以提供具备梯度划分的图像。在现实的拍摄环境中，由于环境中的光源的波长、色温、亮度均不是单一组成的，往往在不同的环境下，光源的亮度，色温，波长等不同造成拍摄所得的图像出现差异化，例如在冷色调下，画面更倾向于绿色或者蓝色，因此对红色的颜色信息不足，容易造成画面缺少偏红色的细节。

在本申请的一个实施例中，获取所述光学镜头拍摄的点阵标板成像的步骤中可以细化为以下动作：改变所述光源的色温，波长和亮度中的至少一种，将所述光学镜头进行调焦处理，在改变所述光源的色温，波长和亮度中的至少一种的情况下，通过所述光学镜头拍摄所述点阵标板的成像，根据改变所述光源的色温、波长和/或亮度的数据与成像数据建立映射。这种方式是为了建立拍摄的点阵图像与光源的色温、波长和/或亮度的数据与之间的关系，从而满足一般摄像模组出厂校验所需要的光源的色温，波长和亮度测试，另一方面也为了能够增加测试图像的样本数据，从而增加数据测试量。

在本申请的一个实施例中，获取所述光学镜头拍摄的点阵标板成像的步骤中可以细化为以下动作：改变所述光源的色温，波长和亮度中的至少一种，将所述光学镜头进行调焦处理，在改变所述光源的色温、波长和/或亮度中的至少一种的情况下，通过所述光学镜头拍摄所述点阵标板的成像，根据改变所述光源的色温、波长和/或亮度的数据与通过所述光学镜头的成像数据建立映射。这种方式是为了建立拍摄的点阵图像与光源的色温、波长和/或亮度的数据与之间的关系，从而满足一般摄像模组出厂校验所需要的光源的色温、波长和/或亮度测试，另一方面也为了能够增加测试图像的样本数据，从而增加数据测试量。

在本申请的一个实施例中，获取所述摄像模组拍摄的点阵标板成像的步骤中可以细化为以下动作：改变所述光源的色温、波长和亮度中的至少一种，将所述光学摄像模组进行调焦处理，在改变所述光源的色温，波长和亮度中的至少一种的情况下，通过所述摄像模组拍摄所述点阵标板的成像，根据改变所述光源的色温、波长和/或亮度的数据与通过所摄像模组的成像数据建立映射关系。这种方式是为了建立拍摄的点阵图像与光源的色温、波长和/或亮度的数据与之间的关系，从而满足一般摄像模组出厂校验所需要的光源的色温，波长和亮度测试，另一方面也为了能够增加测试图像的样本数据，从而增加数据测试量。

在申请中一个实施例中，根据在相同的光源的色温、波长和/或亮度的情况下，通过根据改变所述光源的色温、波长和/或亮度的数据与通过所摄像模组的成像数据建立映射与改变所述光源的色温、波长和/或亮度的数据与通过所述光学镜头的成像数据建立映射之间得到由光学镜头到摄像模组的光源的色温、波长和/或亮度的差异模型。

在申请中一个实施例中，根据镜头设计参数，改变该点阵标板至相对该镜头的相对位置，光学镜头作为摄像模组中较为重要的光学元件，光学镜头一般是按照一定的要求，比如TTL多少、解析力多少、以多远的拍摄视场进行设计，在实际的镜头性能管控中，往往对镜头的视场位置及其解析力进行控制，例如要求0.8视场的解析力需要满足一定的性能要求，而对0.9-1视场的图像却没有多少要求，因此改变点阵标板相对成像系统中的相对位置，就能使得点阵标板所需要测试的视场发生一定的偏移，从而造成点阵标板测试的视场进行偏移，从而校正该测试视场的相对光学系统的位置，防止镜头或者感光芯片发生偏移的情况。

改变点阵标板相对光学镜头的位置后通过该光学镜头的图像信息被感光芯片接受，通过将点阵标板相对光学镜头的位置进行改变，能够将点阵标板被感光芯片接收到的信息进行调制，例如通过移动点阵标板，将点阵标板的图案从0.8视场移动至0.9视场，从而能够获得不同视场下的图像信息，对图像信息中的预定位置的信息进行改变后，再由感光芯片接受，因此能够实现对图像传感器中的感光芯片，这种情况下能够得到在防抖情况下，从光学镜头到摄像模组的差异模型。

为了提高感光芯片的通用性，本申请中，根据感光芯片的基础大小和形状、感光芯片的像素、像面大小，从而能够适应不同分辨率，不同像面的要求。在实际生产过程中，可能会遇到不同的项目、同一项目出图分辨率不同、同一分辨率但是像素大小不同等多种多样的情况，而为了保证测试环境的稳定性和兼容性。本申请中，采用了一种自适应像面调整的方式。本申请中选定了一款高像素、大像面、小像素单元的成像芯片去对应不同项目、不同要求的镜头，获取点阵图，然后利用算法将获取的点阵图像进行图像尺寸、像素单元尺寸等调整，获取测试需求下的点源响应信息：

这个公式是根据图像的下标来表示图像中的长、宽的像素单元大小，从而能够实现将感光芯片通过像素合并或者图像裁切的方式实现其他大小，像素密度的图像。

本申请中的另一个发明思路而言，对于深度学习来说，要想网络模型的精度和兼容性高，除了网络结构和参数要最优以外，就是本申请的训练数据集要尽可能覆盖项目中所有可能出现的样本，这样在本申请的模型移植后算法的稳定性和精确性才能得到保证，然而对于一个具体项目可能包含几百万个样本，本申请不可能对每个样本进行采样来制作数据集，所以本专利提出了一种利用设计时的点扩展函数结合实际拍摄的点扩展函数来制作训练数据集的方式来提升数据集的质量。

针对一个具体的项目，在光学设计上会有一个理论的设计光学模型，该理论的设计光学模型在摄像模组的组装过程中会引入各种各样的像差进去，所以真正交付客户的产品都是包含一定的像差的摄像模组。参考附图6所示，根据制造商的大数据统计分析，对于同一款产品的像差基本上是符合在设计像差附近波动的正态分布的，所以对于一个项目而言只要提取梯度品和极限品的实际点扩展函数模型，就可以制作出覆盖该项目产品像差的网络训练数据集。这种方式在延续上述的开发思路下，提出了一种成像优化方法，其包括以下步骤：

B1：提供一种图像训练用的深度学习模型，建立深度学习模型中的目标集和训练集；

B2：提供一组标准图像集，把该标准图像集调制成摄像模组直接拍摄的制式；

B3：测试一批摄像模组中的每个摄像模组的点扩展函数，得到每个摄像模组的点扩展函数并建立该批摄像模组的正态分布点扩展函数模型；

B4：对调制成摄像模组直接拍摄的制式的标准图像集与正态分布点扩展函数模型进行卷积得到深度学习模型的训练集；

B5：把对调制成摄像模组直接拍摄的制式的标准图像集作为深度学习模型的目标集，深度学习模型利用训练集进行目标训练。

在申请中，B2-提供一组标准图像集，对该标准图像集调制成摄像模组直接拍摄的制式的步骤中，包括对标准图像集进行主要包括去Shading处理(去暗影)、去RI处理(去亮度补偿)、RGB2RAW处理(RAW格式调制)中的至少一种。本申请中为了更快的提供深度学习用的图像数据，本申请可以先用预先储存的标准数据作为深度学习模型中的目标集，也就是说期望深度学习能够以标准图像集目标进行模型的训练。

标准图像集可以为用高清设备，例如高清的单反拍摄，高清的录制设备，电脑绘制位图，电脑绘制的工程图等。因此标准图像集可能是经过ISP处理的RGB格式的图像，所以在制作图像集的过程中要对标准图像集先进行去ISP处理，使标准图像集能够复原到摄像模组直接拍摄能够得到类似程度，因此需要主要包括去Shading(去暗影)、去RI(去亮度补偿)、RGB2RAW(RAW格式调制)三个方面的处理。如果我们没有对标准图像集进行去ISP处理，那么显然深度学习的目标训练集是经过ISP处理，也就是在拍摄的基础上还经过图像算法优化过的图像，未对该标准图像集调制成摄像模组直接拍摄的制式作为目标集，训练时会存在差异化的算法因素，而作为摄像模组的的制造商，最希望把摄像模组直接拍摄的图像优化到较高的水平，再提供给各家手机厂商再进行定制化的算法合成图像。摄像模组没有经过图像算法的优化，也能反映摄像模组直接拍摄的素质，以提供给各家手机厂商后，厂商再进行定制化的调教。

本申请中，去Shading处理包括根据光学系统设计参数将RGB三通道的光强调整为设计比例，参考下面的公式：

RxImage＝gain_r×Rimage

GxImage＝gain_g×Gimage

BxImage＝gain_b×Bimage

其中gain_r，gain_g，gain_b分别表示r，g，b亮度的校准值，RxImage，GxImage，BxImage分别表示为按照R,G,B颜色通道调整亮度后的图像，RImage，GImage，BImage表示标准R,G,B颜色通道下的原亮度图，通过该种方式能够将RGB图像按照三通道的颜色调整为单色的光强调整制式的图像，从而能够使不同颜色的光强分别进行显示，以保证单通道颜色亮度接近摄像模组实际拍摄。

去RI处理就是按照光学系统设计参数不同视场亮度衰减比例对RGB三通分别进行亮度比例调整，本申请中还包括按照光学系统的设计参数的不同视场亮度的衰减比例对RGB三通道分别进行亮度比例调整：

RxImage(i，j)＝gainr(i，j)×Rimage(i，j)

GxImage(i，j)＝gaing(i，j)×Gimage(i，j)

BxImage(i，j)＝gainb(i，j)×Bimage(i，j)

RxImage(i，j)，GxImage(i，j)，BxImage(i，j)表示为按照R,G,B颜色通道图像按照市场进行亮度后的图像。

gainr(i，j)，gaing(i，j)，gainb(i，j)表示为按照R,G,B颜色通道图像按照不同视场进行不同亮度调节的参数。

Rimage(i，j)，Gimage(i，j)，Bimage(i，j)，表示标准R,G,B颜色通道下的带视场位置原亮度图，通过该种方式能够将RGB图像按照三通道的颜色调整为单色的光强调整制式的图像，从而能够使不同颜色的光强分别进行显示，以保证单通道颜色亮度接近摄像模组实际拍摄。根据该种计算公式，能够实现在三种颜色通道的的灰度图上，按照光学系统的设计参数去调整至原光学系统的情况下，拍摄所得的画面的亮度接近摄像模组直接拍摄所得，从而使得深度学习模型的目标集和训练集处于同一个程度上。

本申请中，RGB2RAW处理包括将标准图像集调整至RAW格式，参考下面的公式：

根据公式：RAWImage＝RGB2RAW(RGBImage)，

其中Raw格式是摄像模组直接拍摄的图像，对于Raw格式来说的，采用Raw格式储存的信息，可以比常规JPG方案的图像具备更多相应空间，其中对于JPG方案来说，Raw图可以具备更多的图像通道，因此信息更加丰富。

RGB2RAW根据芯片RAW的bayer模式，将RGB图像转换成RAW图，由于RAW图为原始的数字图像，RAW图可以有更宽的动态范围比，RAW图保留了大部分拍摄的图像信息，RAW图所包含的原始数据信息较为丰富，包括亮度、色彩、色温，色调等方面的数据均较为丰富。因此RAW图作为原始图像格式的目的是将保存信息的损失降到最低，从传感器获得的数据和周围捕获的图像(元数据)的条件。

在本申请中，B4-对调制成摄像模组直接拍摄的制式的标准图像集与正态分布点扩展函数模型进行卷积得到深度学习模型的训练集步骤中可以进一步包括以下步骤；

参考附图5所示，通过卷积操作将提取的光学系统像差PSF添加到标准图像数据集获得含有像差的输入数据集，可以根据根据下面的公式：

通过对镜头设计时的点扩展函数差和实际拍摄的点扩展相结合的方式，能够提升模型精度和兼容性，通过对标准图像集与所需要的点扩展函数进行卷积的方式，能够模拟镜头或摄像模组以该标准图像集作为标板拍摄所得的图像，从而不需要镜头或摄像模组实际拍摄就能得到类似实际拍摄的模拟图，以减少拍摄所需要的环境搭建，各项成本。设置多个标准分别进行镜头PSF函数卷积的方式，能够得到多个模拟实拍的图像，从而进一步增加深度学习模型训练所需要的各种数据集。

对于深度学习来说，要想网络模型的精度和兼容性高，除了网络结构和参数要最优以外，对于深度学习的训练数据集要尽可能覆盖项目中所有可能出现的样本，这样模型在训练后的稳定性和准确性才能保证，然而对于一个具体项目可能包含几百万个样本的模型而言，在实际的生产中不可能真的拍摄几百万次图像去训练模型，一方面实际拍摄几百万次所需要的时间成本较高，另一方面实际模组的生产中会有梯度变化，有好的，也有刚刚在标准的极限品，因此还需要挑选不同的模组，这些都会造成物料成本和时间成本的上升。

本申请中，分析了从镜头设计到将镜头组装到摄像模组，主要是制造工艺导致的器件变形出现的像差变化，而在模组进行测试白平衡、shading、RI烧录后，通过ISP算法后，图像的像差包括了算法的因素，在手机上用摄像模组拍摄时，还会引入手机的图像算法，因此可见从摄像模组的镜头设计之初到手机终端上搭载摄像模组进行拍摄，有许多导致图像出现像差的因素，而在摄像模组物理组装后，尽可能减少在物理组装后的像差因素，采用在模组组装后直接用算法封装好后，后续手机端的算法是在建立在模组组装后的算法烧录上的基础上，由于已经对摄像模组的来自物理，光学上的本征像差进行了弥补，因此手机端的后续算法能够在对摄像模组校正后的基础上进行修正，从而能够保证手机端的算法处理模组减少了因为物理，光学上的本征像差，进一步提高手机最终呈现给用户的图像素质。

对于模组生产厂商而言，节约成本是较为重要的目标，本申请中采用大数据统计分析所得，一款产品的像差分布基本上是符合设计像差的正态波动的，所以真正交付给客户的产品都是包含一定的像差分布的，而将深度学习模型中的训练集和目标集进行模拟的方式也能够实现类似的效果，但不需要大批量的测试费用。

所以本专利提出了一种利用设计点扩展函数(PSF)和实拍点扩展函数(PSF)相结合制作训练数据集的方式来提升数据集的质量。针对一个具体的项目，在光学设计上会有一个理论的设计像差点扩展函数(PSF)，而在摄像模组的设计，组装，烧录，算法过程中会引入各种各样的像差进去，所以真正交付客户的产品都是包含一定的像差的摄像模组，根据大数据统计分析，对于同一款产品的像差基本上是符合在设计像差附近波动的正态分布的，所以对于一个项目而言本申请只要提取一部分梯度品和极限品的点扩展函数(PSF)，然后和设计点扩展函数(PSF)相结合，就可以制作出覆盖该项目产品像差的网络训练数据集。采用以对于一个项目而言的梯度品和极限品的点扩展函数(PSF)模型，然后和设计点扩展函数(PSF)相结合，就可以制作出覆盖该项目产品像差的网络训练数据集，无需寻找标准极限品进行拍摄就能实现梯度劣化的图像，本申请可以按照以规格极限内的标准，例如按照设计好的标准值吗，比如按照对产品的标准进行划分，划分好合格品，优秀品，极限品，不良品等，分别进行上述的点扩展函数(PSF)模型测量，从而得到关于合格品，优秀品，极限品，不良品对应的点扩展函数(PSF)模型，从而得到关于合格品，优秀品，极限品，不良品对应的点扩展函数(PSF)模型，根据对标准的划分，以及从统计意义上的正态分布规律去分配对应的合格品，优秀品，极限品，不良品的比例和得到对应的分布。

在本申请中，S4-对调制成摄像模组直接拍摄的制式的标准图像集与正态分布点扩展函数模型进行卷积得到深度学习模型的训练集步骤中可以进一步包括以下步骤；

将该批摄像模组测试标准分成合格品，优秀品，极限品和不良品梯度，根据测试标准获取该批摄像模组的正态分布参数。本实施例中对于合格品，优秀品，极限品，不良品的分布已经能满足绝大部分产品标准场景，从而能够拟合成对于产品分布的正态分布曲线并且得到正态分布的参数。

分别对合格品，优秀品，极限品，不良品进行点扩展函数(PSF)模型测试，分别获取合格品，优秀品，极限品，不良品的点扩展函数(PSF)模型，本实施例中对于合格品，优秀品，极限品，不良品的分布已经能满足绝大部分产品标准场景，在得到合格品，优秀品，极限品，不良品的点扩展函数(PSF)模型以进行差异化的匹配。

将合格品，优秀品，极限品，不良品的点扩展函数(PSF)加入到标准图像集中，以卷积融合形成对应合格品，优秀品，极限品，不良品的模拟实拍图，从而使得深度学习用的训练集的差异化更加明显，并且训练集的梯度分布更加明显。

本申请的另一实施例中，上述提到了，本方案中测量的点扩展函数(PSF)可以根据光源的色温、波长、亮度变化得到不同情况的点扩展函数(PSF)模型，可以适配摄像模组的应用场景调整不同映射的点扩展函数(PSF)模型，从而实现根据实际需要，进行深度学习模型的训练补偿，例如该型号的模组更加需要提高昏暗处的性能，那就更多地采用冷光源下的点扩展函数(PSF)模型进行训练集的输出。

综上所述为了提高深度模型中的适应性，需要建立不同测试环境下的的点扩展函数(PSF)映射模型，根据实际的摄像模组拍摄需求，适当利用不同测试环境下的的点扩展函数(PSF)映射模型得到训练集。这样能够极大提高深度学习模型的正确性。

综上本申请的一个实施例中，能够保证这种仿真的图像接近摄像模组实际拍摄，保证对于深度学习的输入数据来说，输入数据都是接近实际环境中光源的色温，波长，亮度等等拍摄所得图像，始终保证输入图像接近产品实际拍摄，从而提高模型的准确率，另一方面该输出图像是以标准图像集作为基准，从而能够建立从该输入图像到输出图像的完整方法。

在另一方面，在得到产品点扩展函数(PSF)模型后，点扩展函数(PSF)模型本身具备一定的参数调整空间，例如利用等比例的引入因子的方式，提高或者降低点扩展函数(PSF)模型的影响，从而可以得到所在梯度品的点扩展函数(PSF)模型，根据所在梯度品的比例模型以以修改因子的方式修改点扩展函数(PSF)模型的影响，从而影响训练集的输出。显然，依靠摄像模组的正态分布参数能够做到这种因子。

本申请中提出了，对点扩展函数(PSF)模型叠加到标准图像集输出模拟图的方法，主要包括：

a)点亮模组，获取点阵图像并提取各通道亮度的分量。利用摄像模组或者单镜头下的光学系统对点阵标板进行拍摄，获取点阵标板对应的点阵图像，与前面测试系统类似，这里不进行赘述

b)提取各个视场的点扩展函数(PSF)数据。对获取到的图像中，按照预定位置的视场提取各个视场的点扩展函数(PSF)模型，例如重要的0.8视场等，

c)点扩展函数(PSF)数据预处理。对点扩展函数(PSF)数据进行预处理，包括对点扩展函数(PSF)数据按照一定的样本，一定的梯度进行分类，从而能够以正态分布的方式对同一批次的产品的点扩展函数(PSF)模型进行区分，以获得该批次中的摄像模组中的梯度分布。其中点扩展函数(PSF)预处理还包括对点扩展函数(PSF)取样框，其中点扩展函数(PSF)取样框表示对该图像进行分割处理，其中对该图像进行分割处理，包括对整个图像进行分割处理，处理成像素数量一致的方块，并且在这些方块中，按照一定的距离，确定测试块之间的距离，确定测试块之间的步长和大小，从而能够确定在该图像中选择多少个测试块以填充满该图像。该种方式能够限定图像中的分辨率，从而使得该图像中图像测试的数量和大小满足要求。

另外在不同的实施例中，按照固定的测试图像进行测试，一方面能够减少测试所需要的像素块，另一方面也可以增加该测试所需要的测试量，从而使得测量该测试块之间的图像获得更多的测量方式，在另一方面采用该种方式能够使得，简而言之，如果采用取样框的方式，取样框选择的长宽为100*100的矩阵，通过将该矩阵，把矩阵变成50*50像素的方式，可以隔一个取一个这个时候50*50步长就是2，如果本申请只取100*100的中间的50*50，那步长就是1，这样通过对取样框的细化，可以使得原本取样框过于大导致的测试模糊的情况，变成取样框变小后，方框内的测试点更加精准，从而保证测量的效果更佳精确。

d)另外一方面，获取标准图像，其中标准图像作为高清的图像，可以认为是深度学习模型作为目标输出的图像，标准图像没有像差，没有色偏等问题。

d1)对该标准图像进行预处理，将该图像预处理，例如将该标准图像按照尺寸的要求，裁切成适应所测试摄像模组的成像面大小的方式，另外将该标准图像中进行预处理包括将该标准图像还原至摄像模组未经画面处理前的直出图像。

本申请中，对标准图像进行预处理包括对标准图像的去shading处理，对标准图像进行去RI处理，对标准图像进行去白平衡处理，从而能够得到标准还原后的图像，这个还原图像接近该标准以摄像模组直接拍摄所得的水平，

其中去暗影处理主要为对Lens Shading(镜头暗影)进行还原，这部分与前述的内容接近，这里进行补充暗影处理包括Lens Shading可细分为Luma Shading(亮度均匀性)和Color Shading(色彩均匀性)两种。其中，Luma Shading就是行业技术中常用的暗角，当图像呈现出中心区域较亮，四周偏暗的现象，摄像模组生产制造过程中会对亮度均匀性进行补偿。另外Color Shading(色彩均匀性)则表现在图像中心区域与四周颜色不一致，即图像的中心区域或者四周出现偏色，摄像模组生产制造过程中会对色彩均匀性也进行补偿，去暗影处理能够将标准图像还原到该图像被摄像模组直接拍摄的状态，从而使得模型训练的时候，输入图像和输出图像都为摄像模组直接拍摄的图像，而非经过算法进行补偿后的图像，因此可以使得深度学习模型在输入和输出图像为图像在同一种状态时，从而能够使得深度学习模型训练的基础为同一种图像，因此模型能够在图像为相同状态的时候，训练的模型能够直接判断优化的类型进行深度学习模型内部网络的优化。

d2)将该标准图像转换为RAW图，RAW图为原始的数字图像，RAW图可以有更宽的动态范围比，RAW图保留了大部分拍摄的图像信息，RAW图所包含的原始数据信息较为丰富，包括亮度、色彩、色温，色调等方面的数据均较为丰富。因此RAW图作为原始图像格式的目的是将保存信息的损失降到最低，从传感器获得的数据和周围捕获的图像(元数据)的条件。

参考附图7的流程图所示，本申请提供了一种摄像模组的制造方法，其特征在于，包括以下步骤：

C1:提供一感光芯片，一镜头，一点阵标板，一深度学习模型以及处理器模块；

一方面本申请的深度学习模型需要加载到处理器中进行使用，另一方面将感光芯片和镜头组装成摄像模组后，本申请的一个目的是为了将摄像模组进行拍摄所得的图像数据能够在深度学习模型的帮助下进行优化，深度学习模型能够改善摄像模组中的各项不良(例如马达定向倾斜不良导致成像出现像面倾斜不良，芯片因为烘烤产生的翘曲造成的场曲等等)，提供包括感光芯片，镜头，或者马达，或者镜座等摄像模组部件进行后续进行组装/设置于预设位置进行拍摄，或者提供已经组装成摄像模组的方式都能实现拍摄，在不影响测试摄像模组实现拍摄的前提下，提供包括感光芯片和镜头的步骤也可以认为提供了测试该型号的摄像模组的全部部件。

C2:将所述感光芯片与所述镜头设置于预设位置形成可成像的摄像模组系统；

为了使得测试的数据集越贴近实际生产制造，为了使得数据集能够包括在实际生产制造导致图像定向劣化的因素，在将所述感光芯片与所述镜头设置于预设位置形成可成像的摄像模组系统，也可以被认为是按照规定的工艺制程组装成摄像模组。本申请中的设置于预设位置也可以表示为组装或将镜头仅设置于预设位置到感光芯片上侧以模拟镜头进行拍摄的过程。

C3:所述感光芯片通过所述光学镜头拍摄所述点阵标板，获取所述可成像的摄像模组系统拍摄的所述点阵标板信息；

在所述感光芯片通过所述光学镜头拍摄所述点阵标板，获取所述可成像的摄像模组系统拍摄的所述点阵标板信息步骤中：包括提取所述点阵标板的各个点位的点源响应信息，提取单点源的各个颜色通道的强度信息图，将单点源各个颜色通道的点扩展函数信息进行提取。其所对应的功能和效果参考前面对图像通道进行分类的描述。

为了使得测试的数据集越贴近实际生产制造，为了使得数据集能够包括在实际生产制造导致图像定向劣化的因素，在将所述感光芯片与所述镜头设置于预设位置形成可成像的摄像模组后，可以认为感光芯片实际拍摄的图像为该型号的摄像模组的常规表现。

C4:根据所述可成像的摄像模组系统拍摄的所述点阵标板信息建立所述可成像的摄像模组对于点源的响应；

前述部分中的点源响应(点扩展函数)表示了可成像的摄像模组系统中对于标板为点阵的时候，实际拍摄到的图像中包括了该可成像的摄像模组系统的光学劣化因素。

C5:所述深度学习模型利用所述可成像的摄像模组对于点源的响应建立所述可成像的摄像模组的补偿模型，并根据补偿模型将所述深度学习模型进行更新；

在所述深度学习模型利用所述可成像的摄像模组对于点源的响应建立所述可成像的摄像模组的补偿模型，将所述深度学习模型进行更新的步骤中：包括提供标准图像，并将对标准图像与单点源各个颜色通道的点扩展函数卷积成仿真实拍图，将仿真实拍图作为深度学习模型的输入端。其所对应的功能和效果参考前面对仿真实拍图的描述。

在所述深度学习模型利用所述可成像的摄像模组对于点源的响应建立所述可成像的摄像模组的补偿模型，将所述深度学习模型进行更新的步骤中：还包括将标准图像作为模型的输出端，深度学习模型以优化输入端至输出端为目标进行训练。其所对应的功能和效果参考前面深度模型训练的描述。

所述深度学习模型利用所述可成像的摄像模组对于点源的响应建立所述可成像的摄像模组的补偿模型，将所述深度学习模型进行更新的步骤中：还包括提取标准图像中的各个点位的点源响应信息，提取输出端中的单点源的各个颜色通道的强度信息图，将输出端的各个颜色通道的点扩展函数信息进行提取；将输入端的各个颜色通道的点扩展函数信息与输出端的各个颜色通道的点扩展函数信息建立从光学镜头到组装成摄像模组光学系统的点响应差异模型。

所述深度学习模型利用所述可成像的摄像模组对于点源的响应建立所述可成像的摄像模组的补偿模型，将所述深度学习模型进行更新的步骤中：还包括基于所述点响应差异模型建立补偿模型，并根据补偿模型将所述深度学习模型进行更新。参考前面描述的补偿模型的描述。

所述补偿模型包括摄像模组批次内的梯度性能指标与点扩展函数集的映射，这样能够使得深度训练后的模型能够具备优化批次内的摄像模组的成像。

前述部分中描述的深度学习模型以摄像模组拍摄的点源响应和标准图像的卷积作为输入端，深度学习模型以标准图像作为输出端，深度学习模型进行以标准图像作为目标进行训练，以期望最终深度学习模型能够得到将输入端补偿为输出端的补偿模型，实际上该补偿模型为更新参数或网络结构后的深度学习模型。

C6:将更新后的深度学习模型加载到处理器模块上；

通过将更新后的所述深度学习模型加载到所述处理器模块上的步骤，可以完成本申请的深度学习模型需要加载到处理器中进行使用的要求。

C7:将处理器模块集成到所述可成像的摄像模组上；

通过所述处理器模块提供所述可成像的摄像模组调用的步骤，可以完成本申请的深度学习模型提供摄像模组进行调用的过程。处理器模块可以为摄像模组自带的一块芯片或者为手机的计算处理器(CPU)。本申请中优选摄像模组自带处理器模块，能够使得摄像模组直接输出给手机终端的图像质量就比较高，从而方便手机输出更高质量的图像。

参考附图8的流程图所示，本申请提供了一种摄像模组的成像优化方法，其特征在于，包括以下步骤：

D1:获取梯度分类后的批次摄像模组关于点响应的映射数据；

正如前面部分中描述的，一批次的摄像模组产品中存在因为性能不同而出现的梯度品和极限品，制造商的重要目的是提高生产良率，把在性能要求内的梯度品和极限品进行优化能够提高本身生产效率，同时不会使得不良品流入下道工序造成浪费。

在获取梯度分类后的批次摄像模组关于点响应的映射数据步骤中，还可以详细分为以下步骤：

D1.1:将批次摄像模组按照性能指标进行梯度分类；

前面描述的一批次的摄像模组产品包括不良品(在性能指标外的产品)，极限品(靠近或略微超过性能指标的产品)，梯度品(在性能指标内但是性能呈现高低关系分布产品)，制造商的重要目的是提高生产良率，不良品往往包括性能极差的情况，基本不能通过后期深度学习模型进行纠正。本方案中首选对梯度品和极限品进行梯度分类，包括按照性能呈现正态分布的比例，以细化的性能指标和分布比例进行拟合，例如该批次摄像模组中SFR有50的产品比例为1％，SFR有60的比例为2％，最终得到按照性能指标和分布比例的梯度。

D1.2:获取梯度分类后的批次摄像模组的测试参数与点响应的映射数据；

在该批次产品中，按照性能指标和分布比例的梯度选择多个产品以表征作整个批次产品的表现，例如该批次摄像模组有100k的总量，经过梯度分类得到SFR有50的产品比例为1％，SFR有60的比例为2％，可以选取到SFR有50的10颗摄像模组，SFR有60的20颗摄像模组，这样按照性能指标的不同选择相关比例的摄像模组从而能够得到表征整个批次产品的表现小批量样本。这些小批量样本进行测试后得到点响应数据，并与摄像模组的梯度数据进行映射，就能得到在不同性能下的产品的点响应数据。

D2:根据梯度分类后的批次摄像模组关于点响应的映射数据得到梯度分类的点扩展函数集；

前述部分中，得到不同性能下的产品的点响应数据，也就是性能与点响应建立了映射，具体情况而言，可以得到SFR为50的产品的点响应表现如何，也能得到SFR为60的产品的点响应表现如何。在对梯度分类的后的批次模组的小批量样本进行测量后，可以得到梯度分类的点扩展函数集，也就是在性能指标内能够表征整个批次产品的点扩展函数集，也能表征该批次所有产品的相近表现。

D3:获取标准图像集并作为深度学习模型的输出端；

正如前述部分描述，标准图像作为无像差的图像作为深度学习模型训练的目标，该步骤的具体顺序可以不在S4前面，具体请查看附图8的先后动作。

D4:将梯度分类的点扩展函数集结合标准图像集卷积形成训练图像集；

利用表征该批次所有产品的点扩展函数集与标准图像集进行卷积能够表征得到该批次产品的仿真实拍图，从而能够作为深度模型的输入数据进行训练，这种方式能够极大改善测试所需要的成本，减少测试所需要的时间，降低成本。

在将梯度分类的点扩展函数集结合标准图像集卷积形成训练图像集步骤中还可以包括S4.1、标准图像集根据训练要求选择测试参数类型的点扩展函数集进行卷积；

标准图像集根据训练要求选择测试参数类型的点扩展函数集进行卷积表示了可以按照需求进行模型的训练，实际上模型训练的目标有很多参数需要设置，更改某些参数能够更加针对性修正产品的缺陷。例如由于修正感光芯片的偏色现象，需要针对性改善冷色温下摄像模组的产品表现，根据不同的测试可以选择不同的测试类型，从而进行不同输入端图像的仿真实拍以实现更复杂的通用模型。

D5:将训练图像集作为深度学习模型的输入端；

前述部分中描述的深度学习模型以摄像模组拍摄的点源响应和标准图像的卷积作为输入端，深度学习模型以标准图像作为输出端，能够使得深度学习模型以模拟实拍的训练图像集作为输入端，以接近无像差的图像作为输出端，深度学习模型能够从输入到输出去不断寻找缺陷和优化的地步，最终通过不断训练能够得到模型的更新，得到补偿模型。

D6:深度学习模型根据目标把输入端优化成输出端的方式进行训练；

前述部分中描述的深度学习模型以摄像模组拍摄的点源响应和标准图像的卷积作为输入端，深度学习模型以标准图像作为输出端，深度学习模型进行以标准图像作为目标进行训练，以期望最终深度学习模型能够得到将输入端补偿为输出端的补偿模型，实际上该补偿模型为更新参数或网络结构后的深度学习模型。

D7:训练后的深度学习模型加载到处理器模块上；

前述部分中描述的深度学习模型以摄像模组拍摄的点源响应和标准图像的卷积作为输入端，深度学习模型以标准图像作为输出端，深度学习模型进行以标准图像作为目标进行训练，以期望最终深度学习模型能够得到将输入端补偿为输出端的补偿模型，实际上该补偿模型为更新参数或网络结构后的深度学习模型。通过处理器模块提供所述可成像的摄像模组调用的步骤，可以完成本申请的深度学习模型提供摄像模组进行调用的过程

D8:根据摄像模组实拍图像调用训练后的深度学习模型进行优化；

利用最终优化后的深度学习模型，可以对摄像模组直接拍摄的图像进行优化，以输出图像解析力更优秀的图片。

处理器模块可以为摄像模组自带的一块芯片或者为手机的计算处理器(CPU)。本申请中优选摄像模组自带处理器模块，能够使得摄像模组直接输出给手机终端的图像质量就比较高，从而方便手机输出更高质量的图像。

以上描述了本申请的基本原理、主要特征和本申请的优点。本行业的技术人员应该了解，本申请不受上述实施例的限制，上述实施例和说明书中描述的只是本申请的原理，在不脱离本申请精神和范围的前提下本申请还会有各种变化和改进，这些变化和改进都落入要求保护的本申请的范围内。本申请要求的保护范围由所附的权利要求书及其等同物界定。

Claims (10)

1.一种摄像模组的制造方法，其特征在于，包括以下步骤：

提供一感光芯片，一镜头，一点阵标板，一深度学习模型以及处理器模块；

将所述感光芯片与所述镜头设置于预设位置形成可成像的摄像模组系统；

所述感光芯片通过所述光学镜头拍摄所述点阵标板，获取所述可成像的摄像模组系统拍摄的所述点阵标板信息；

根据所述可成像的摄像模组系统拍摄的所述点阵标板信息建立所述可成像的摄像模组对于点源的响应；

所述深度学习模型利用所述可成像的摄像模组对于点源的响应建立所述可成像的摄像模组的补偿模型，并根据补偿模型将所述深度学习模型进行更新；

将更新后的深度学习模型加载到处理器模块上。

2.根据权利要求1所述的摄像模组的制造方法，其中，所述点阵标板包括光源和点图案，所述光源发射的光线经过点图案后被图案化以均匀向外传播。

3.根据权利要求2所述的摄像模组的制造方法，其中，在所述感光芯片通过所述光学镜头拍摄所述点阵标板，获取所述可成像的摄像模组系统拍摄的所述点阵标板信息步骤中：

提取所述点阵标板的各个点位的点源响应信息，提取单点源的各个颜色通道的强度信息图，将单点源各个颜色通道的点扩展函数信息进行提取。

4.根据权利要求3所述的摄像模组的制造方法，其中，在所述深度学习模型利用所述可成像的摄像模组对于点源的响应建立所述可成像的摄像模组的补偿模型，将所述深度学习模型进行更新的步骤中：

提供标准图像，并将对标准图像与单点源各个颜色通道的点扩展函数卷积成仿真实拍图，将仿真实拍图作为深度学习模型的输入端。

5.根据权利要求4所述的摄像模组的制造方法，其中，在所述深度学习模型利用所述可成像的摄像模组对于点源的响应建立所述可成像的摄像模组的补偿模型，将所述深度学习模型进行更新的步骤中：

将标准图像作为模型的输出端，深度学习模型以优化输入端至输出端为目标进行训练。

6.根据权利要求5所述的摄像模组的制造方法，其中，在所述深度学习模型利用所述可成像的摄像模组对于点源的响应建立所述可成像的摄像模组的补偿模型，将所述深度学习模型进行更新的步骤中：

提取标准图像中的各个点位的点源响应信息，提取输出端中的单点源的各个颜色通道的强度信息图，将输出端的各个颜色通道的点扩展函数信息进行提取；将输入端的各个颜色通道的点扩展函数信息与输出端的各个颜色通道的点扩展函数信息建立从光学镜头到组装成摄像模组光学系统的点响应差异模型。

7.根据权利要求6所述的摄像模组的制造方法，其中，在所述深度学习模型利用所述可成像的摄像模组对于点源的响应建立所述可成像的摄像模组的补偿模型，将所述深度学习模型进行更新的步骤中：

基于所述点响应差异模型建立补偿模型，并根据补偿模型将所述深度学习模型进行更新。

8.根据权利要求7所述的摄像模组的制造方法，其中，所述点阵标板的图案的点尺寸大于光学系统中的衍射极限。

9.根据权利要求8所述摄像模组的制造方法，其中，所述处理器模块集成在所述摄像模组内。

10.根据权利要求9所述摄像模组的制造方法，其中，所述补偿模型包括摄像模组批次内的梯度性能指标与点扩展函数集的映射。