CN112150556A - 基于图像质量反馈环的主动对准方法、摄像头模组的装配制作方法及车载摄像头 - Google Patents

基于图像质量反馈环的主动对准方法、摄像头模组的装配制作方法及车载摄像头 Download PDF

Info

Publication number
CN112150556A
CN112150556A CN202010894677.XA CN202010894677A CN112150556A CN 112150556 A CN112150556 A CN 112150556A CN 202010894677 A CN202010894677 A CN 202010894677A CN 112150556 A CN112150556 A CN 112150556A
Authority
CN
China
Prior art keywords
parameter
active alignment
configuration
value
image quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010894677.XA
Other languages
English (en)
Other versions
CN112150556B (zh
Inventor
肖文平
程旭
石川
王立柱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Heqian Electronic Technology Co ltd
Original Assignee
Zhejiang Heqian Electronic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Heqian Electronic Technology Co ltd filed Critical Zhejiang Heqian Electronic Technology Co ltd
Priority to CN202010894677.XA priority Critical patent/CN112150556B/zh
Publication of CN112150556A publication Critical patent/CN112150556A/zh
Application granted granted Critical
Publication of CN112150556B publication Critical patent/CN112150556B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供了一种基于图像质量反馈环的主动对准方法、摄像头模组的装配制作方法及车载摄像头，主动对准方法包括：对主动对准所涉及区域图像质量进行计算；实时MTF计算结果分析；判断主动对准参数是否为最佳主动对准参数，若否，则进行调节；主动对准所涉及区域图像质量不满足预设条件时或MFT计算结果分析不满足预设条件或主动对准参数不满足预设条件，采用硬件通讯接口转接模块实现对用于组装的摄像头CMOS芯片和\或ISP芯片参数进行实时配置。通过应用本发明提供技术方案，能够解决现有技术中由于不同摄像头的LENS、CMOS和ISP配型存在差异时，导致采用传统的主动对准技术获取的摄像头成像质量差的技术问题。

Description

基于图像质量反馈环的主动对准方法、摄像头模组的装配制 作方法及车载摄像头
技术领域
本发明涉及摄像头领域，尤其涉及基于图像质量反馈环的主动对准方法、系统、摄像头模组的装备制作方法及车载摄像头。
背景技术
随着物联网、自动驾驶技术的高速发展，终端传感器尤其是图像传感器的应用大爆发，在应用上车载摄像头、广角摄像头的需求急剧提升。同时摄像头的应用不仅仅局限于在显示屏显示图像用于主观观察环境而更多的应用到图像处理、识别等领域，这对摄像头的清晰度，一致性提出了更高精度的要求。主动对准(Active Alignment，AA)生产技术简称主动对准在此需求下应运而生，主动对准技术通过精细自动化装配技术利用摄像头采集的图像信息自动进行摄像头焦距及光轴还有焦平面的对准，相对人工组装镜头极大的提升了摄像头的清晰度、光轴对准精度，减小了焦平面倾斜程度，从而大大的提升了摄像头的图像采集质量和一致性。主动对准逻辑一般在工控计算机上运行。
目前的主动对准技术逐步发展，但由于不同摄像头的LENS、CMOS和ISP配型，摄像头图像质量差异较大，同时主动对准环境差异也较大，对主动对准的计算精度造成了较大的影响，对同一模组进行多次主动对准，经常由于上述原因造成主动对准最终结果的差异性，表现为成像有明显缩放，图像出现位移等，这使得最终生产的摄像头成像表现一致性降低，从而对后继产品对于高精度图像处理应用造成影响。
为了提高不同的摄像头模组的主动对准质量，主动对准设备供应商或者模组厂家对于不同的摄像头产品进行主动对准往往需要人工进行提前调试，将主动对准图卡根据摄像头的特性进行更换、并将现场光照环境进行调整等以使得主动对准计算区域的图像质量能达到最佳的主动对准结果，这对主动对准图卡的材质以及光照元件的多样性带来了新的要求，同时对于主动对准设备调试人员的专业性提出了较高的要求，经常出现主动对准设备调试人员由于知识面的差异反复调试，多次试生产才能稳定的情况。现有技术中存在较多尝试该问题，如专利201610698589.6公开了一种手机摄像头模组的多轴主动对准方法，其根据所有预设图像局部测量区域，所测得的最佳图像质量指标数值，计算镜头中心与图像传感器底板中心在X-Y方向的偏差；计算控制镜头X-Y方向移动的电机的步数；沿Z轴方向改变镜头的位置，记录下每次改变后镜头的位置及成像系统在该位置对图像检测板拍摄的照片；计算得到的所有照片中预设图像局部测量区域的图像质量指标最佳时对应的镜头位置，并计算它们与图像中心位置取得最佳图像质量指标时镜头位置之间的差值；根据上述距离差值，计算将镜头平行时所需的控制镜头旋转的电机的步数，移动电机对镜头的倾斜进行校正，但是针对不同厂家的摄像头模组或者不同型号的摄像头组，需要更换与模组相匹配的特殊定制主动对准图卡，另外，当主动对准制程光照环境改变时，其装配的摄像头模组精度低。为了解决现有的主动对准技术存在缺陷，本发明提供了一种主动对准技术的改进方法，以解决现有的主动对准技术存在的技术问题。
发明内容
为了解决现有技术中存在的缺陷，本发明提供了基于图像质量反馈环的主动对准方法，包括：
对主动对准所涉及区域图像质量进行计算；
实时MTF计算结果分析；
判断主动对准参数是否为最佳主动对准参数，若否，则进行调节；
主动对准所涉及区域图像质量不满足预设条件时或MTF计算结果分析不满足预设条件或主动对准参数不满足预设条件，采用硬件通讯接口转接模块实现对用于组装的摄像头CMOS芯片和\或ISP芯片参数进行实时配置。
基于图像质量反馈环的主动对准方法，进一步地，主动对准各个计算区域图像分析参数指标包括：图像分析序号SN、计算区域图像的对应灰度图的均值BA和均值WA、图像分析参考值的均值MSE、总体平均值MTA、置信区间上下限差值MTS中的一种或多种。
基于图像质量反馈环的主动对准方法，进一步地，获取MTF曲线求解MTF50并定义MTF50作为摄像头当前图像的解像能力MT，若当前MT值大于0.5，采用硬件通讯接口转接模块实现对摄像头CMOS芯片和\或ISP芯片实时配置；否则，以当前SN序号记录MTA、MTS，判断主动对准参数是否为最佳主动对准参数。
基于图像质量反馈环的主动对准方法，进一步地，判断主动对准参数是否为最佳主动对准参数包括：遍历已有各个SN序号对应的计算数据中的：MSE、WA、BA、MTA、MTS；若计算数据中，存在MTS值小于设定阈值thre_mts且WA值大于设定阈值thre_WA1且小于thre_WA2，且MTA大于thre_mta同时MSE小于设定阈值thre_MSE条件，则记录下当前遍历到的SN序号SN_CHS；提取序号SN_CHS对应的最终判定的摄像头CMOS芯片和\或ISP芯片参数作为最佳主动对准参数。
基于图像质量反馈环的主动对准方法，进一步地，判断主动对准参数是否为最佳主动对准参数包括：模式一,若SN达到设定阈值thre_SN或者模拟增益配置表里面的配置序号m等于AN，遍历所有SN序号对应的计算数据中的：MSE、WA、BA、MTA、MTS；若计算数据中，存在MTS值小于设定阈值thre_mts且WA值大于设定阈值thre_WA1，则选择其中MTA最大的SN序号SN_CHS；提取序号SN_CHS对应的最终判定的摄像头CMOS芯片和\或ISP芯片作为最佳主动对准参数。
基于图像质量反馈环的主动对准方法，进一步地，判断主动对准参数是否为最佳主动对准参数包括：模式二,若SN达到设定阈值thre_SN或者模拟增益配置表里面的配置序号m不等于AN，则SN自加1，采用硬件通讯接口转接模块实现对摄像头CMOS芯片和\或ISP芯片参数配置。
基于图像质量反馈环的主动对准方法，进一步地，判断主动对准参数是否为最佳主动对准参数包括：模式三，遍历所有SN序号对应的计算数据中：MSE、WA、BA、MTA、MTS；若计算数据中，存在MTS值小于设定阈值thre_mts且WA值大于设定阈值thre_WA1，则选择其中MTA最大的SN序号SN_CHS；提取序号SN_CHS对应的最终判定的摄像头CMOS芯片和\或ISP芯片参数作为最佳主动对准参数。
基于图像质量反馈环的主动对准方法，进一步地，当获取各个计算区域图像分析参数指标都不满足模式一、模式二和模式三时，最佳主动对准参数的判断顺序包括：优先选择MTA大于设定阈值thre_mta同时MSE小于设定阈值thre_MSE条件下MTS最小的SN序号SN_CHS；其次选择MTA大于设定阈值thre_mta条件下MTS最小的SN序号SN_CHS；最后选择MSE最小值对应的SN序号SN_CHS；
提取序号SN_CHS对应的最终判定的摄像头CMOS芯片参数和ISP芯片参数作为最佳主动对准参数。
基于图像质量反馈环的主动对准方法，进一步地，用于组装的摄像头CMOS芯片和\或ISP芯片进行实时配置包括：根据获取的主动对准区域图像的参数，对CMOS芯片的参数调节包括：曝光寄存器参数表、模拟增益寄存器参数表、数字增益寄存器参数表中的一种或多种进行调节；ISP芯片的参数调节包括：锐化功能寄存器参数表、曝光功能寄存器参数表，数字增益功能寄存器参数表，gamma配置寄存器参数表中的一种或多种。
基于图像质量反馈环的主动对准方法，进一步地，gamma配置参数表中包含gm组gamma参数寄存器地址及其对应的gamma参数，其对应的gamma曲线翘曲度从陡峭到缓和排列；
或曝光参数配置表中包含曝光参数寄存器地址及EN组曝光时间参数值，顺序从曝光时间从长到短排列；
或增益参数配置表中包含模拟增益参数地址及AN组模拟增益数值，顺序从模拟增益由大到小排列。
基于图像质量反馈环的主动对准方法，进一步地，硬件通讯接口转接模块包括：视频链路硬件通路、USB接口，车载以太网接口、串口；
按照摄像头CMOS芯片和\或ISP芯片配置协议加入摄像头CMOS芯片和\或ISP芯片配置逻辑，配置逻辑以双向握手或配置参数后查询该参数值。
基于图像质量反馈环的主动对准方法，进一步地，各个计算区域参考图像中任一图像的WA值高于设定阈值thre_WA或BA值低于设定阈值thre_BA，则认为计算区域图像质量不满足要求。
基于图像质量反馈环的主动对准方法，进一步地，若是第一次计算区域图像质量不满足要求，则配置关闭自动曝光、关闭增益的参数配置表,从曝光增益参数地址读取曝光增益参数值并记录为exp_ini，根据当前记录的曝光增益参数exp_ini选择传递配置值exp_cur,顺序比较exp_ini与曝光参数配置表中的EN个曝光增益参数值，若第n个曝光参数值小于等于exp_ini,则该曝光参数值为exp_cur。
基于图像质量反馈环的主动对准方法，进一步地，若计算区域图像质量不满足要求，若WA高于thre_WA，则选择第min{n+exp_step，EN}序号对应的曝光参数配置表中的曝光参数值为调整后的传递配置值exp_cur,更新n的值为min{n+exp_step，EN}，其中exp_step为设定的序号跳转步长。
基于图像质量反馈环的主动对准方法，进一步地，若计算区域图像质量不满足要求，若BA低于设定阈值thre_BA，则选择第max{n-exp_step,1}序号对应的曝光参数配置表中的曝光参数值为调整后的传递配置值exp_cur，更新n的值为n-exp_step，其中exp_step为设定的序号跳转步长。
基于图像质量反馈环的主动对准方法，进一步地，摄像头CMOS芯片和\或ISP芯片实时配置包括：跳转次数为N，初始值为1；配置关闭锐化的配置表，配置第N组gamma曲线相关寄存器，记录当前N对应的gamma曲线相关寄存器配置、关闭锐化配置及当前对应的SN序号，N自加1，进行主动对准计算区域图像分析。
基于图像质量反馈环的主动对准方法，进一步地，摄像头CMOS和ISP实时配置包括：若第一次计算区域图像质量不满足要求，则初始增益参数序号m为1，将模拟增益参数从模拟增益参数列表当前记录第一个模拟增益参数值作为增益传递配置参数alg_cur，并记录到当前对应的SN序号中,配置alg_cur到增益配置地址。
基于图像质量反馈环的主动对准方法，进一步地，摄像头CMOS和ISP实时配置包括：若非第一次计算区域图像质量不满足要求，则选择增益参数配置表中序号为min{m+alg_step，AN}的模拟增益值作为增益传递配置参数alg_cur，更新m的值为min{m+alg_step，AN}，其中alg_step为人为设定的序号跳转步长，记录调整后的alg_cur和当前对应的SN序号，配置alg_cur到增益配置地址，之后进入主动对准计算区域图像分析。
一种摄像头主动对准方法，其特征在于，包括：
执行托盘流入后顶针上电；
执行如上述基于图像质量反馈环的主动对准方法获取的CMOS芯片和\或ISP芯片的最佳主动对准参数，并通过硬件通讯接口转接模块将最佳主动对准参数对当前的CMOS芯片和\或ISP芯片参数进行配置；
执行自动夹取镜头；
执行主动对准动作；
执行UV固化动作。
一种车载摄像头，包括上述基于图像质量反馈环的主动对准方法。
有益效果：
1.本发明提供的技术方案中，根据主动对准所涉及区域图像质量不满足预设条件时或MTF计算结果分析不满足预设条件或主动对准参数不满足预设条件，通过对组装的摄像头CMOS芯片和\或ISP芯片参数进行实时配置，使其满足成像要求，能够自动实现主动对准，避免传统的主动对准方法针对不同型号的镜头、CMOS芯片的差异性或者不同批次的镜头需要更换主动对准图卡和调节主动对准光照环境在来进行人工手动调整的问题。
2.本发明提供的技术方案中，根据摄像头采集到的主动对准计算区域的刃边图像计算摄像头的MTF曲线并以MTF50来定义摄像头的解像能力，其中摄像头解像力MTF50是MTF曲线纵坐标为0.5时对应的横坐标的值，记为MT。将MT乘以100，利用MT进行后续的参数运算，避免由于噪声或者某一扰动导致的计算结果偏离真实值,能够降低误差。
3.在主动对准中，通过对图像的计算处理，获取图像分析序号SN、计算区域图像的对应灰度图的均值BA和均值WA、图像分析参考值的均值MSE、总体平均值MTA、置信区间上下限差值MTS中，通过求解这些参数之间的数值，根据求解的数值，设定相应的区间范围，根据求解的参数数值范围与设定的区间范围是否满足条件来进行CMOS芯片参数和ISO芯片的配置参数调整，从而在进行循环，直至获取最佳的主动对准参数。
4.传统技术仅是通过计算MTF的数值，然后根据MTF的数值来从而来调整X，Y，Z等方向的自由度从而完整主动对准，但是MTF仅是一个方面，当刃边图像收到干扰或出现非刃边图像信息时，则会使得采用MTF获得数值来调整摄像头模组镜筒和PCB(CMOS芯片与ISP芯片时安装在PCB板上的)板之间的位置和角度的参数出现偏差或者即便对准了，最终仍然得到较差的质量。而本发明充分考虑的不同阶段的各区域图像计算的数值，根据计算的数值在不同的阶段对CMOS芯片和ISP芯片的配置参数进行调节，使其能够获得较好的成像效果，这使得最终生产的摄像头成像差异度增加，从而降低对后继产品对于高精度图像处理应用造成影响。
5.现有摄像头的模组来都是来自不同厂家的提供的零部件，由于不同摄像头的LENS、CMOS和ISP配型存在差异，导致摄像头图像质量差异较大，同时主动对准环境差异也较大，对主动对准的计算精度造成了较大的影响。对同一模组进行多次主动对准，经常由于上述原因造成主动对准最终结果的存在差异。如成像有明显缩放，图像出现位移等，这使得最终生产的摄像头成像表现一致性降低，通过本发明在不同阶段，当不满足预设的条件，如：主动对准所涉及区域图像质量不满足预设条件时或MTF计算结果分析不满足预设条件或主动对准参数不满足预设条件，对用于组装的摄像头CMOS芯片和\或ISP芯片参数进行实时配置，使其LENS、CMOS和ISP配型进行最佳适配，从而避免以上问题的发生。
6.由于不同摄像头的LENS、CMOS和ISP配型存在差异，导致摄像头图像质量差异较大，即使采用同样的计算方法，不同型号或批次的产品最终获得预设的参数范围也存在较大的差异，本发明通过针对不同的阈值条件，根据对图像区域进行计算数值，然后逐渐采用优选原则对最佳主动对准参数进行判决，以获得最佳的适配，避免更换图卡或者进行光照环境调节后还需要人工进行调试。
7.传统的主动对准工位流程：托盘流入后顶针上电、自动夹取lens、进行主动对准动作、UV固化、NG判定、托盘流出，针对传统工位流程，在参数调制阶段时，本发明取消了UV固化、NG判定、托盘流出，增了主动对准各个计算区域图像分析。修改主动对准工位流程只需要主动对准设备提供商在其主动对准软件中既有功能进行使能和步骤进行调整并加入主动对准各个计算区域图像分析逻辑。
8.在对CMOS\ISP进行配置参数，一次性将配置参数按照CMOS\ISP配置协议发送到CMOS芯片或ISP芯片，在每个参数配置后，通过回读该参数的方式确认配置参数下发到了器件的目标地址。通过回读模式再次确认配置的参数是否改修改成功，解决目前可能由于器件的特异性可能造成配置后其参数可能并没有发生改变的技术问题。
附图说明
以下附图仅对本发明做示意性说明和解释，并不限定本发明的范围。
图1为本发明一实施例中主动对准过程中对摄像头的CMOS芯片和ISP芯片参数进行调整的流程示意图。
图2为本发明一实施例中不同反射材质图卡形成的成像图，图2a为反射材质图卡反射周围场景而影响到主动对准计算区域示意图；图2b为采用漫反射材质图卡在漫反射材料包裹主动对准工位情况下主动对准计算区域的示意图。
图3为本发明一实施例中主动对准过程中镜头模组偏移的调整修正示意图，图3a为CMOS安装偏移的调整，图3b为镜筒安装偏移的调整。
图4为本发明一实施例中主动对准过程中因无法通过调整来修正装配误差的示意图。
图5为本发明一实施例中主动对准各个计算区域图像分析的流程示意图。
图6为本发明一实施例中主动对准中计算区域图像处理过程，其中，图6a为灰度图，图6b为二值图，图6c是经过处理后形成的参考图像。
图7为本发明一实施例中主动对准图像中的MT值示意。
图8为本发明一实施例中将概率分布函数p(MT)的图像与MT的关系图。
图9为本发明一实施例中最佳的主动对准参数判决流程图。
图10为本发明一实施例中关闭或打开ISP锐化功能的图像对比，图10a锐化功能关闭的图像，图10b为锐化功能打开的图像。
图11为本发明一实施例中第N(N>1)次计算区域图像质量不满足要求时，第一组gamma曲线示意图。
图12本发明一实施例中第N(N>1)次计算区域图像质量不满足要求时，第二组gamma曲线示意图。
图13本发明一实施例中第N(N>1)次计算区域图像质量不满足要求时，第gm组gamma曲线示意图。
图14本发明一实施例中经过校准后的主动对准设备操作流程示意图。
具体实施方式
为了对本文的技术特征、目的和效果有更加清楚的理解，现对照附图说明本发明的具体实施方式，在各图中相同的标号表示相同的部分。为使图面简洁，各图中的示意性地表示出了与本发明相关部分，而并不代表其作为产品的实际结构。另外，为使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。
关于控制系统，功能模块、应用程序(APP)本领域技术人员熟知的是，其可以采用任何适当的形式，既可以是硬件也可以是软件，既可以是离散设置的多个功能模块，也可以是集成到一个硬件上的多个功能单元。作为最简单的形式，所述控制系统可以是控制器，例如组合逻辑控制器、微程序控制器等，只要能够实现本申请描述的操作即可。当然，控制系统也可以作为不同的模块集成到一个物理设备上，这些都不偏离本发明的基本原理和保护范围。
本发明中“连接”，即可包括直接连接、也可以包括间接连接、通信连接、电连接，特别说明除外。
本文中所使用的术语仅为了描述特定实施方案的目的并且不旨在限制本公开。如本文中所使用地，单数形式“一个”、“一种”、以及“该”旨在也包括复数形式，除非上下文明确地另作规定。还将理解的是，当在说明书中使用时，术语“包括”和/或“包含”是指存在有所陈述的特征、数值、步骤、操作、元件和/或组分，但是并不排除存在有或额外增加一个或多个其它的特征、数值、步骤、操作、元件、组分和/或其组成的群组。作为在本文中所使用的，术语“和/或”包括列举的相关项的一个或多个的任何和全部的组合
应当理解，此处所使用的术语“车辆”或“车辆的”或其它类似术语一般包括机动车辆，例如包括运动型多用途车辆(SUV)、公共汽车、卡车、各种商用车辆的乘用汽车，包括各种舟艇、船舶的船只，航空器等等，并且包括混合动力车辆、电动车辆、可插式混合动力电动车辆、氢动力车辆以及其它替代性燃料车辆(例如源于非石油的能源的燃料)。正如此处所提到的，混合动力车辆是具有两种或更多动力源的车辆，例如汽油动力和电力动力两者的车辆。
具体地，本发明提供了一种基于图像质量反馈环的主动对准方法，包括：
对主动对准所涉及区域图像质量进行计算；
实时MTF计算结果分析；
判断主动对准参数是否为最佳主动对准参数，若否，则进行调节；
主动对准所涉及区域图像质量不满足预设条件时或MTF计算结果分析不满足预设条件或主动对准参数不满足预设条件，采用硬件通讯接口转接模块实现对用于组装的摄像头CMOS芯片和\或ISP芯片进行实时配置。
CMOS芯片和ISP芯片安装于PCB板上；
具体地，参见图1，从中可以看出，适配的过程是不断尝试进行的，在不同阶段，根据结果分析，当不满足预设条件时，需要进行CMOS芯片和\或ISP芯片的参数调整，然后循环该过程中，直至获得最佳的主动对准参数。
另外，还包括调节主动对准的场景及光照布置的设置；
具体包括：
采用用黑色漫反射材料包裹主动对准的工位；主动对准的图卡材质采用漫反射材质图卡。
漫反射材料可以选择用黑色绒布或者窗帘，避免光线在工位内进行多次反射从而使得主动对准图卡部分区域光照不均匀；
采用漫反射材质图卡是为了避免图卡反射照明设备影像或者主动对准设备在光照下的影像，使得主动对准计算区域出现非刃边的图像信息，反射材质图卡反射周围场景而影响到主动对准计算区域的情况如图2a，漫反射材质图卡在漫反射材料包裹主动对准工位情况下主动对准计算区域只有刃边信息如图2b。
采用激光仪对图卡正中心和lens正中心进行激光精确对中；
如图3a和图3b所示，当装配过程中若存在CMOS芯片安装位置偏移或者镜筒偏移时，主动对准需要移动和旋转lens(镜头)来修正这种误差对光路的影响，而实际镜筒和镜头之间可以移动的范围是非常小的，在来料误差控制在一定的范围以内的时候，这种主动对准自由度是能够完成生产需求的，这种情况下如果再引入其他生产或者安装误差，那么很有可能一边的自由度就不足以完成主动对准装配精度。当所有的模组都在调节的正确位置，但是在主动对准后的某些批次的摄像头模组成像仍然会存在一定误差，影响主动对准装配精度如图4。经过发明人进行大量的试验以及数据分析，发现其原因在于主动对准图卡与摄像头模组不精确对中造成的。为了解决该问题，本发明采用了激光仪对图卡正中心和lens正中心进行激光精确对中，可以降低镜头中心与实际图卡中心的偏移，从而解决了该问题。
具体的，通过将图卡旋转以使得采集到图像的主动对准计算区域的刃边形成角度θ，θ值可以在垂直或者水平偏移2-10度范围以内。
MTF(Modulation Transfer Function)的计算是采用图卡刃边区域来进行的，不同主动对准设备供应商集成的MTF计算方法对于刃边的表现多样化，而刃边的角度在实际与MTF计算方法的契合上面存在相关性，对于某种旋转角度范围具有较好的MTF收敛性。因此将图卡旋转以使得采集到图像的主动对准计算区域的刃边形成角度θ可以使得MTF计算精度更高，具体的θ值可以在垂直或者水平偏移2-10度范围以内，可以获得较佳的效果。
主动对准所采用至少2个面阵列光源；
对主动对准所涉及区域图像质量进行计算，具体包括：
参见图5，托盘流入后顶针上电、自动夹取lens、进行主动对准动作、主动对准各个计算区域图像分析，重复进行主动对准动作和主动对准各个计算区域图像分析；
主动对准各个计算区域图像分析参数指标包括：图像分析序号SN、计算区域图像的对应灰度图的均值BA和均值WA、图像分析参考值MSE、总体平均值MTA、置信区间上下限差值MTS中的一种或多种；
具体地，本实施例更改传统的主动对准工位流程：托盘流入后顶针上电、自动夹取lens、进行主动对准动作、UV固化、NG判定、托盘流出，针对传统工位流程，在参数调制阶段时，取消了UV固化、NG判定、托盘流出，增了主动对准各个计算区域图像分析。
修改主动对准工位流程只需要主动对准设备提供商在其主动对准软件中既有功能进行使能和步骤进行调整并加入主动对准各个计算区域图像分析逻辑。
如图6a至图6c所示，主动对准各个计算区域图像分析逻辑中，首先将主动对准计算区域图像转变为灰度图(图6a)，可采用公式：
Y＝0.299R+0.567G+0.114B
其中Y是图像灰度，R、G、B分别为图像红色、绿色、蓝色分量；
然后对主动对准计算区域灰度图进行二值化(图6b)，可以采用自适应二值化方法比如大津法等，首先选定一个灰度阈值T，记录主动对准计算区域内的像素点总个数P_SUM,定义灰度图像为P，Pi为像素i的灰度值。
记录主动对准计算区域内灰度值小于T的像素的个数PLT
Figure BDA0002658063590000141
及其平均灰度值ALT
Figure BDA0002658063590000142
其中Pj为主动对准计算区域内灰度值小于T的像素的灰度值；记录主动对准计算区域内灰度值大于等于T的像素的个数PGT
Figure BDA0002658063590000143
及其平均灰度值AGT
Figure BDA0002658063590000144
其中Pk为主动对准计算区域内灰度值大于等于T的像素的灰度值。
计算灰度阈值T对应的类间方差CVT
CVT＝PLTPGT(ALT-AGT)2
遍历所有的灰度阈值，最终得到的二值化阈值TB为最大类间方差对应的灰度阈值，满足公式
Figure BDA0002658063590000145
其中AGT即为WA，ALT即为BA。将Pj赋值为BA，Pk赋值为WA，即得到了参考图像Ref,如图6c所示。
图6c为参考图像，根据标准差公式可以得到主动对准各个计算区域idv图像分析参考值
Figure BDA0002658063590000146
再计算各个计算区域图像分析参考值的均值，其中area_num是主动对准计算区域的个数
Figure BDA0002658063590000151
根据当前SN序号记录为(SN初始值为1)MSESN，中心主动对准计算区域的WASN。
具体的，若任意一个主动对准计算区域的：
WA＞thre_WA||BA＜thre_BA
则认为计算区域图像质量不满足预设条件，采用硬件通讯接口转接模块实现对摄像头CMOS芯片和ISP芯片实时配置,其原因是若白色区域过爆或者黑色区域过暗，都会湮没真实的图像信息，造成后继MTF计算结果误差较大，通过调整CMOS和ISP配置使得真实的图像信息能够得以较正确的采集，减小后继MTF计算结果的误差；反之则认为计算区域图像质量满足要求，则进入实时MTF计算结果分析。
实时MTF计算结果分析具体包括：
根据摄像头采集到的AA计算区域的刃边图像计算摄像头的MTF曲线并以MTF50来定义摄像头当前图像的解像能力，MTF曲线纵坐标为MTF数值，有效范围为[0,1],横坐标为摄像头解像力有效范围为[0,0.5]，横坐标单位为cy/px。其中摄像头解像力MTF50是MTF曲线纵坐标为0.5时对应的横坐标的值；
计算每帧摄像头采集到的AA计算区域的图像计算出MTF50，在AA动作时选择最大的MTF50作为AA动作完成的依据，最后得到最终的MTF50，为了扩展计算值域，将横坐标摄像头解像力数值MT值乘以100进行扩展；
设定一个统计时间长度为T1，在AA动作完成以后，连续统计T1内的每帧图像的MT值并乘以100，在AA动作完成后1s时间内采集了f＝15帧图像，每个图像的中心AA计算区域有2个MT乘以100的值，得到了2*f＝fn个MT乘以100的值，分别为MT_1、MT_2、……、MT_fn,由于图像噪声原因这些MT值会在分布在一定范围内，如表1-1和图7所示。
表1-1 MT的值分布
MT_1 MT_2 MT_3 MT_4 MT_5 MT_6 MT_7 MT_8 MT_9 MT_10
37.6 38.7 38.2 37.4 36.1 36.4 36.1 36.9 34.0 34.7
MT_11 MT_12 MT_13 MT_14 MT_15 MT_16 MT_17 MT_18 MT_19 MT_20
37.9 33.2 36.5 35.6 34.5 32.8 34.4 34.8 32.0 35.3
MT_21 MT_22 MT_23 MT_24 MT_25 MT_26 MT_27 MT_28 MT_29 MT_30
33.3 34.8 35.6 33.1 34.4 35.7 31.3 37.0 39.8 36.9
将MT乘以100值作为横坐标，值出现的个数作为纵坐标即得到其概率分布函数p(MT)，如图8所示。
根据以下公式计算均值MTA及其均方差MTD，选取置信度95％对应的置信度系数1.96计算误差范围VAR，得到置信区间上下限差值MTS：
Figure BDA0002658063590000161
MTS＝2×VAR
若当前MT值大于0.5，采用硬件通讯接口转接模块实现对摄像头CMOS芯片和ISP芯片实时配置；
若MT值均在0.5以内，则当前的MTF值具备参考意义，因此按照当前SN序号记录MTASN、MTSSN，并判断主动对准参数是否为最佳主动对准参数；
当MTF计算完成时，根据获取的结果判断当前的主动对准参数是否为最佳主动对准参数；
最佳AA参数判决为：根据计算区域图像获取的参数MSE、WA、MTA的数值与预设的阈值相比较，根据优先级逐步优选出最佳主动对准精度的配置参数；
参见图9，图9为最佳AA参数判断流程图，根据计算区域图像分析参数和MTF的计算结构分析，选择不同条件下参数对CMOS芯片和ISP芯片进行配置。
为了选出最佳的主动对准判决流程图参数，本实施例中，从较多的非关联参数MES、WA、MTA进行选择合适的数值，定义第一最优条件为：存在MTS值小于设定阈值thre_mts且WA值大于设定阈值thre_WA1且小于thre_WA2，且MTA大于thre_mta同时MSE小于设定阈值thre_MSE；
当计算出的参数满足第一最优条件时，则认为当前SN序号对应的CMOS/ISP配置参数组合使得图像质量以及计算出的解像力数值达到了最优，当前SN序号即为SN_CHS，此后不再进行更改CMOS/ISP参数配置；
其中各个判定阈值是经验阈值，thre_mts为0.1～0.4，thre_mta根据lens的设计解像力上限减小0.1～0.3，thre_WA1设置为170～190，thre_WA2设置为210～240,thre_MSE设置为1.5～2.2；
优选的，thre_mts为0.2，thre_mta根据lens的设计解像力上限减小0.2，thre_WA1设置为180，thre_WA2设置为230,thre_MSE设置为2。
具体的，若计算数据中没有出现第一最优条件时，则将SN值自加1，采用硬件通讯接口转接模块实现对摄像头CMOS芯片和ISP芯片实时配置，通过更新CMOS/ISP芯片配置参数改变图像质量从而得到新的计算参数。对应的为了避免无休止的进行CMOS/ISP芯片参数配置，设定一个经验值thre_SN来限制调整次数，当达到该阈值时不再继续更新CMOS/ISP配置，另外模拟增益配置表配置参数遍历完成以后即配置序号M等于配置参数总个数AN时也不再继续更新CMOS/ISP配置，在目前所有的SN中根据优选法则筛选出SN_CHS。
当SN的值达到设定阈值thre_SN或者模拟增益参数配置序号M等于配置参数总个数AN时，对于每个SN对应的计算数据中的MSE、WA、BA、MTA、MTS按照优选法则进行筛选，得到比较合适的CMOS/ISP配置参数对应的SN_CHS；
最优条件二，选择WA值大于设定阈值thre_WA1，对应的MTS值越小则图像噪声对于AA软件计算的解像力影响越小选择对应的MTS值，选择MTA最大的SN序号选择为SN_CHS；
最优条件三，MTA值大于设定阈值thre_mta，MSE小于设定阈值thre_MSE，选择上述条件满足时最小MTS对应的SN作为SN_CHS；
最优条件四，MTA值大于设定阈值thre_mta，选择上述条件满足时最小MTS对应的SN作为SN_CHS；
最优条件五，选择最小MSE对应的SN作为SN_CHS；
采用硬件通讯模块接口转接模板实现对摄像头CMOS芯片和ISP芯片实时配置；
具体地，根据不同的最优条件下获取的SN_CHS，选择SN_CHS对应的配置参数对摄像头CMOS芯片和ISP芯片的实时配置；
摄像头的关键硬件为CMOS和ISP芯片，其中CMOS负责图像的采集、ISP芯片负责图像质量的处理，其基本功能均通过寄存器配置来实现，CMOS具备的功能有曝光时间、模拟增益、数字增益设置，不同的CMOS对应不同的寄存器地址及配置值范围，同样ISP芯片具备的功能有锐化、自动曝光、自动增益控制、gamma曲线配置，不同ISP芯片有不同的寄存器地址和配置值。其中一个功能对应一组寄存器地址，不同的配置值使得该功能具有不同的表现，比如曝光时间寄存器地址，其配置值从小到大则曝光时间由短到长，在其他寄存器值不做任何更改的情况下，图像由暗变亮，对一个功能寄存器地址预设若干组配置值则形成一个参数配置表。
根据获取的主动对准区域图像的参数，对CMOS芯片的参数调节包括：曝光寄存器参数表、模拟增益寄存器参数表、数字增益寄存器参数表中的一种或多种进行调节，具体调节包括参数的调节，也包括某种打开或关闭某种功能，如关闭自动曝光功能，关闭自动增益功能等；
ISP芯片的参数调节包括：锐化功能寄存器参数表、曝光功能寄存器参数表，增益功能寄存器参数表，gamma配置寄存器参数表中的一种或多种，具体调节包括参数的调节，也包括某种打开或关闭某种功能，如关闭自动锐化功能，关闭自动曝光功能、关闭自动配置功能等；
根据需要主动对准的摄像头硬件对应的CMOS芯片寄存器表和ISP芯片配置参数表，对应预设置好关闭锐化参数、关闭自动曝光参数、关闭自动增益相关寄存器的参数配置表，曝光参数配置表，增益参数配置表，gamma配置组合参数表中的一种或多种。具体地，关闭锐化相关寄存器的参数配置表中包含锐化使能寄存器地址和关闭锐化的寄存器值，关闭自动曝光相关寄存器的参数配置表中包含自动曝光使能寄存器地址及关闭自动曝光的寄存器值；关闭自动增益相关寄存器的参数配置表中包含自动增益使能寄存器地址和关闭自动增益的寄存器值，具体的，对于某功能寄存器使能地址的对应配置值的对应bit位设置0、1可以实现某功能的使能操作，例如对于ISP功能寄存器地址对应的锐化bit位写0可以关闭锐化，写1可以打开锐化。设某一型号的ISP芯片功能寄存器地址为0x40008001，其对应的配置值为16’b1101001011111101，其中bit位编号5为锐化开关，则将配置值配置为16’b1101001011011101则关闭了锐化功能，将功能寄存器地址和关闭锐化功能配置值按一定格式组合即成为关闭锐化相关寄存器配置表，例如(0x40008001，16’b1101001011011101)。同理关闭自动曝光相关、关闭自动增益相关寄存器配置表也可以按此规则生成，例如(0x200021f3,0x0000；0x200021f4,0x0000)，设曝光功能寄存器地址为0x200021f3，bit位编号0为使能开关，增益功能寄存器地址为0x200021f4，bit为编号0为使能开关；
其中，曝光参数配置表中包含曝光参数寄存器地址及EN组曝光时间参数值，顺序从曝光时间从长到短排列，其中增益参数配置表中包含模拟增益参数地址及AN组模拟增益数值，顺序从模拟增益由大到小排列，具体的，设某一型号的CMOS的曝光寄存器地址为0x3218，对应的配置值为16bit，从小到大曝光时间越长，则将曝光参数地址和若干配置值按照曝光时间从长到短排列起来即形成了曝光参数配置表，例如(0x3218，,0xfff0；0x3218,0xffe0；0x3218,0xffd0；0x3218,0xffc0；……；0x3218,0x0080；0x3218,0x0070……；0x3218,0x0000)；同理增益参数配置表也可以按照此方法生成；
其中gamma配置参数表中包含gm组gamma参数寄存器地址及其对应的gamma参数，其对应的gamma曲线翘曲度从陡峭到缓和排列具体的，例如gamma参数配置寄存器有16个，分别对应寄存器地址0x0010到0x001f，分别对应的配置值为gam1_1、gam1_2、……、gam1_16，代表第一种gamma曲线，其曲线陡峭程度最大，配置值gam2_1、gam2_2、……、gam2_16代表第二种gamma曲线，其曲线陡峭程度次大；同理配置值gamgm_1、gamgm_2、……、gamgm_16代表第gm种gamma曲线，其曲线陡峭程度最小。将每种曲线对应的gamma参数配置寄存器地址和其对应的配置值组合起来就形成了gamma配置组合参数表。例如：
0x0010,gam1_1,0x0011,gam1_2,……，0x001f，gam1_16；
0x0010,gam2_1,0x0011,gam2_2,……，0x001f，gam2_16；
……
0x0010,gamgm_1,0x0011,gamgm_2,……，0x001f，gamgm_16；
摄像头的视频数据需要通过LVDS接口或者以太网接口将数据传送到AA软件运行的工控机上面，视频信号需要进行接口转接才能从LVDS接口或者以太网口转换为HDMI或者VGA接口接入工控机上，从而实现摄像头信号传递入AA计算软件的数据链路，完成这个转接功能的硬件为硬件通讯接口转接模块，单一的进行视频信号传输。
硬件通讯接口转接模块除原有视频链路硬件通路外还需根据摄像头配置接口和PC网络接口、USB接口进行通讯，尤其是PC以太网接口，具体的，摄像头具备双向通信的能力，不仅可以将视频信号传输到工控机，也可以接受工控机对摄像头发送的控制指令例如CMOS/ISP参数配置，而工控机一般是通过USB口或者串口对外输出控制指令，工控机通过USB口或者串口对摄像头发送控制指令，通过硬件通讯接口转接模块转换到摄像头配置接口，摄像头视频信号通过LVDS接口传输到硬件通讯接口转接模块，再由通讯接口转接模块转换为HDMI或者VGA信号到工控机；而采用以太网网口就可以实现对摄像头数据的接收和对摄像头控制命令的发送，硬件通讯接口转接模块通过接收工控机通过以太网发送的控制指令再传递到摄像头，接收摄像头以以太网发送的视频信号再通过以太网传递到工控机，实现从工控机与摄像头配置的双向通信链路，从而完成需要的CMOS/ISP参数的实时配置。
在对CMOS\ISP进行配置参数，一次性将配置参数按照CMOS\ISP配置协议发送到CMOS芯片或ISP芯片，在每个参数配置后，通过回读该参数的方式确认配置参数下发到了器件的目标地址。
具体地，由于不同厂家的半导体器件选型存在种类不同，性能存在较大差异，在参数配置过程中，存在着尽管将设置参数都进行了设置并进行了保存，但仍然存在着由于目标器件工作流的特性无法正确配置。为了解决该问题，本实施例每个配置参数下发以后，通过回读该参数的方式可以确认配置参数下发到了器件的目标地址，从而避免了参数配置漏掉导致的不可控现象。例如将gamma配置参数表中的一个gamma曲线的配置值0x0010,gam1_1,0x0011,gam1_2,……，0x001f，gam1_16发送到ISP芯片，在对地址0x0010写入gam1_1以后，再对地址0x0010进行读取，若返回值为gam1_1，则继续配置地址0x0011；若返回值不是gam1_1，则重新对地址0x0010写入gam1_1,直到0x0010地址回读的配置值是gam1_1再进行后继地址的配置，并每次配置完对应的地址后采用同样的回读比较机制，直到配置完最后一个寄存器地址；
若是第一次计算区域图像质量不满足要求，跳转执行CMOS和ISP参数配置，具体地将自动曝光关闭，自动增益也需要关闭，配置关闭自动曝光相关寄存器配置表和关闭自动增益相关寄存器配置表；从曝光参数配置表中的曝光参数寄存器地址读取当前的曝光参数值，将读出的当前图像的曝光参数值定义为exp_in，由于曝光参数表罗列的曝光参数值是顺序从大到小的但是可能是离散的，因此将exp_ini顺序和所有曝光参数值比较，当第n个顺序排列的曝光参数值刚好从大于exp_ini变成小于等于exp_ini时，就选定该曝光参数值为传递配置值exp_cur,例如某一款CMOS的曝光参数配置表如下：(0x3218，0xf000；0x3218,0xe000；0x3218,0xd000；0x3218,0xc000；0x3218,0xb000；0x3218,0xa000；0x3218,0x9000；0x3218,0x8000；0x3218,0x7000；0x3218,0x5000；0x3218,0x3000；0x3218,0x1000；)
在配置完关闭自动曝光相关寄存器配置表和关闭自动增益相关寄存器配置表后，读取曝光参数寄存器地址0x3218的当前配置值为0x48a0即exp_ini，顺序比较曝光参数配置表，第11个配置值0x3000正好小于等于exp_ini,则传递配置值exp_cur为0x3000；
对应的，若WA高于thre_WA,则表征图像过亮，因此需要将曝光参数值调小以减少曝光时间，而曝光参数配置表的曝光值是顺序从大到小排列，因此配置参数表序号增加则能满足要求，具体增加的步长根据exp_step来确定，设exp_step设定值为2，则传递配置值按照n+exp_step应该选择第13个配置值，而配置参数表只有12个配置值，即EN为12，因此只能选择第12个配置值，即传递配置参数exp_cur为0x1000，同时将配置表序号n变为12.
对应的，BA小于thre_BA，则表征图像过暗，因此需要将曝光参数值调大以增加曝光时间，因此配置参数表序号减少则能满足要求，exp_step为2，则选择第9个配置值0x7000为传递配置参数exp_cur，同时将配置表序号n变为9。若当前SN为1，则将exp_cur对应当前SN记录为exp_cur1,之后进入再次AA计算区域图像分析步骤；
对应的，若不是第一次计算区域图像质量不满足要求，跳转执行CMOS和ISP参数配置，具体地，自动曝光和自动增益已经关闭，且当前的配置表序号n已知，进行与第一次同样的配置参数选取操作，最终更新配置表序号n和exp_cur并对应当前的SN序号进行记录，之后AA计算区域图像分析。
当前MT值大于0.5，跳转执行CMOS和ISP参数配置，具体地，关闭ISP芯片的锐化功能，通过配置关闭锐化相关寄存器参数配置表来实现，锐化打开和关闭下MTF的计算差异，如图10a和图10b所示，图10a为MTF50＝0.448Cy/Pxl时的锐化关闭条件的成像图，图10b为MTF50＝0.689Cy/Pxl时，锐化打开条件下的成像图。
若是第N(N>1)次计算区域图像质量不满足要求，分别对应gamma曲线相关寄存器参数配置表中，gamma曲线陡峭度由陡峭到平缓的gamma曲线，例如第一组gamma曲线相关寄存器参数配置0x0010,gam1_1,0x0011,gam1_2,……，0x001f，gam1_16对应gamma曲线如图11,第二组gamma曲线相关寄存器参数配置0x0010,gam2_1,0x0011,gam2_2,……，0x001f，gam2_16对应gamma曲线如图12；第gm组gamma曲线相关寄存器参数配置0x0010,gamgm_1,0x0011,gamgm_2,……，0x001f，gamgm_16对应gamma曲线如图13。
每次计算区域图像质量不满足要求，则记录下当前的跳转次数N，对应此时的SN序号记录下跳转次数N对应的gamma曲线相关寄存器配置值，以及关闭锐化配置表，若跳转次数大于gamma曲线总个数gm，则N赋值为gm不再自加1，否则自加1，之后进入AA计算区域图像分析。
具体的，若SN达到设定阈值thre_SN或者模拟增益配置表里面的配置序号m不等于AN，进入CMOS和ISP的参数配置，表征了一次反馈环的完成，SN序号自加1，在当前模拟增益参数下其余计算参数均满足要求，因此对模拟增益进行逐级配置，增加图像质量的组合表现形态。若是第一次循环，设定初始增益参数序号m为1，选择增益参数序号m对应的增益配置参数表中的配置值作为增益传递配置参数alg_cur，配置到增益寄存器，并根据当前SN序号记录alg_cur,例如增益参数配置表为：(0x3010,0xffff；0x3010,0xeeee；0x3010,0xdddd；0x3010,0xcccc；0x3010,0xbbbb；0x3010,0xaaaa；0x3010,0x9999；0x3010,0x8888；0x3010,0x7777；0x3010,0x6666；0x3010,0x5555；0x3010,0x4444；0x3010,0x3333；0x3010,0x2222；0x3010,0x1111；)；
若是第一次循环，m值为1，将第一个增益配置参数表的值0xffff配置到增益寄存器0x3010，并将0xffff作为增益传递配置参数alg_cur与当前SN＝2对应记录为alg_cur2，然后AA计算区域图像分析；此后每次循环，则m自加1，对应选取增益配置参数表中的配置值作为新的增益传递配置参数alg_cur，配置到增益寄存器，SN自加1，记录alg_curSN，然后进入AA计算区域图像分析；
不同的CMOS/ISP配置参数下的SN序号(从左到右)对应的最终图像表现及AA软件计算的MTF值，SN_CHS为4的图像的CMOS/ISP配置参数是最优的AA环节修改摄像头CMOS\ISP参数；
当获取主动对准的最佳CMOS\ISP的参数后，在AA制程的装配过程中，需要修改摄像头CMOS\ISP参数更新为SN_CHS对应的CMOS\ISP的芯片配置参数；
具体地，传统的AA设备操作流程为：托盘流入后顶针上电、自动夹取lens、进行AA动作、UV固化、NG判断。本实施在此前判定了适应AA环境的最优的CMOS\ISP配置参数，因此将最优的CMOS\ISP配置参数对摄像头通过采用硬件通讯接口转换模块进行现场配置，使得摄像头的图像质量表现最适合现场的AA环境，这样可以使得AA软件得到最优质的用于AA装配的图像，从而大大提升AA生产的效果，因此优化后的AA设备操作流程为，参见图14：托盘流入后顶针上电、采用硬件通讯接口转接模块实时配置判定的CMOS\ISP参数(参考上述具体实施例，为SN_CHS为4的CMOS\ISP配置参数)、自动夹取lens、进行AA动作、UV固化、NG判断。
由于实时配置会由于摄像头产品工作的迥异的特性，可能会导致一次性发送配置参数不能全部写入的情况，因此需要对操作的CMOS\ISP寄存器进行轮循双向握手通讯，即对某一寄存器写入设定值，然后读取该寄存器的返回值，再与写入设定值对比判断若一致则进入下一个寄存器的操作，否则及重新对该当前寄存器进行写入，直到回读的数值与写入的数值一致，以此类推到所有的相关寄存器写入完成.具体的，通过这种鲁棒的写入操作的配置参数为SN_CHS对应的SN序号记录的摄像头CMOS\ISP参数，参考上述具体实施例，是SN_CHS为4的摄像头CMOS\ISP参数。
以上所述的仅是本发明的优选实施方式，本发明不限于以上实施例。本领域的技术人员可以清楚，该实施例中的形式不局限于此，同时可调整方式也不局限于此。可以理解，本领域技术人员在不脱离本发明的基本构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本发明的保护范围之内。

Claims (20)

1.基于图像质量反馈环的主动对准方法，其特征在于，包括：
对主动对准所涉及区域图像质量进行计算；
实时MTF计算结果分析；
判断主动对准参数是否为最佳主动对准参数，若否，则进行调节；
主动对准所涉及区域图像质量不满足预设条件时或MTF计算结果分析不满足预设条件或主动对准参数不满足预设条件，采用硬件通讯接口转接模块实现对用于组装的摄像头CMOS芯片和\或ISP芯片参数进行实时配置。
2.如权利要求1所述的基于图像质量反馈环的主动对准方法，其特征在于，主动对准各个计算区域图像分析参数指标包括：图像分析序号SN、计算区域图像的对应灰度图的均值BA和均值WA、图像分析参考值的均值MSE、总体平均值MTA、置信区间上下限差值MTS中的一种或多种。
3.如权利要求2所述的基于图像质量反馈环的主动对准方法，其特征在于，获取MTF曲线求解MTF50并定义MTF50作为摄像头当前图像的解像能力MT，若当前MT值大于0.5，采用硬件通讯接口转接模块实现对摄像头CMOS芯片和\或ISP芯片实时配置；否则，以当前SN序号记录MTA、MTS，判断主动对准参数是否为最佳主动对准参数。
4.如权利要求2所述的基于图像质量反馈环的主动对准方法，其特征在于，判断主动对准参数是否为最佳主动对准参数包括：遍历已有各个SN序号对应的计算数据中的：MSE、WA、BA、MTA、MTS；若计算数据中，存在MTS值小于设定阈值thre_mts且WA值大于设定阈值thre_WA1且小于thre_WA2，且MTA大于thre_mta同时MSE小于设定阈值thre_MSE条件，则记录下当前遍历到的SN序号SN_CHS；提取序号SN_CHS对应的最终判定的摄像头CMOS芯片和\或ISP芯片参数作为最佳主动对准参数。
5.如权利要求2所述的基于图像质量反馈环的主动对准方法，其特征在于，判断主动对准参数是否为最佳主动对准参数包括：模式一,若SN达到设定阈值thre_SN或者模拟增益配置表里面的配置序号m等于AN，遍历所有SN序号对应的计算数据中的：MSE、WA、BA、MTA、MTS；若计算数据中，存在MTS值小于设定阈值thre_mts且WA值大于设定阈值thre_WA1，则选择其中MTA最大的SN序号SN_CHS；提取序号SN_CHS对应的最终判定的摄像头CMOS芯片和\或ISP芯片作为最佳主动对准参数。
6.如权利要求2所述的基于图像质量反馈环的主动对准方法，其特征在于，判断主动对准参数是否为最佳主动对准参数包括：模式二,若SN达到设定阈值thre_SN或者模拟增益配置表里面的配置序号M不等于AN，则SN自加1，采用硬件通讯接口转接模块实现对摄像头CMOS芯片和\或ISP芯片参数配置。
7.如权利要求2所述的基于图像质量反馈环的主动对准方法，其特征在于，判断主动对准参数是否为最佳主动对准参数包括：模式三，遍历所有SN序号对应的计算数据中：MSE、WA、BA、MTA、MTS；若计算数据中，存在MTS值小于设定阈值thre_mts且WA值大于设定阈值thre_WA1，则选择其中MTA最大的SN序号SN_CHS；提取序号SN_CHS对应的最终判定的摄像头CMOS芯片和\或ISP芯片参数作为最佳主动对准参数。
8.如权利要求5至7所述任一项基于图像质量反馈环的主动对准方法，其特征在于，当获取各个计算区域图像分析参数指标都不满足模式一、模式二和模式三时，最佳主动对准参数的判断顺序包括：优先选择MTA大于设定阈值thre_mta同时MSE小于设定阈值thre_MSE条件下MTS最小的SN序号SN_CHS；其次选择MTA大于设定阈值thre_mta条件下MTS最小的SN序号SN_CHS；最后选择MSE最小值对应的SN序号SN_CHS；
提取序号SN_CHS对应的最终判定的摄像头CMOS芯片参数和ISP芯片参数作为最佳主动对准参数。
9.如权利要求1所述的基于图像质量反馈环的主动对准方法，其特征在于，用于组装的摄像头CMOS芯片和\或ISP芯片进行实时配置包括：根据获取的主动对准区域图像的参数，对CMOS芯片的参数调节包括：曝光寄存器参数表、模拟增益寄存器参数表、数字增益寄存器参数表中的一种或多种进行调节；ISP芯片的参数调节包括：锐化功能寄存器参数表、曝光功能寄存器参数表，数字增益功能寄存器参数表，gamma配置寄存器参数表中的一种或多种。
10.如权利要求11所述的基于图像质量反馈环的主动对准方法，其特征在于，gamma配置参数表中包含gm组gamma参数寄存器地址及其对应的gamma参数，其对应的gamma曲线翘曲度从陡峭到缓和排列；
或曝光参数配置表中包含曝光参数寄存器地址及EN组曝光时间参数值，顺序从曝光时间从长到短排列；
或增益参数配置表中包含模拟增益参数地址及AN组模拟增益数值，顺序从模拟增益由大到小排列。
11.如权利要求1所述的基于图像质量反馈环的主动对准方法，其特征在于，硬件通讯接口转接模块包括：视频链路硬件通路、USB接口，车载以太网接口、串口；
按照摄像头CMOS芯片和\或ISP芯片配置协议加入摄像头CMOS芯片和\或ISP芯片配置逻辑，配置逻辑以双向握手或配置参数后查询该参数值。
12.如权利要求2所述的基于图像质量反馈环的主动对准方法，其特征在于，各个计算区域参考图像中任一图像的WA值高于设定阈值thre_WA或BA值低于设定阈值thre_BA，则认为计算区域图像质量不满足要求。
13.如权利要求1所述的基于图像质量反馈环的主动对准方法，其特征在于，若是第一次计算区域图像质量不满足要求，则配置关闭自动曝光、关闭增益的参数配置表,从曝光增益参数地址读取曝光增益参数值并记录为exp_ini，根据当前记录的曝光增益参数exp_ini选择传递配置值exp_cur,顺序比较exp_ini与曝光参数配置表中的EN个曝光增益参数值，若第n个曝光参数值小于等于exp_ini,则该曝光参数值为exp_cur。
14.如权利要求12所述的基于图像质量反馈环的主动对准方法，其特征在于，若计算区域图像质量不满足要求，若WA高于thre_WA，则选择第min{n+exp_step，EN}序号对应的曝光参数配置表中的曝光参数值为调整后的传递配置值exp_cur,更新n的值为min{n+exp_step，EN}，其中exp_step为设定的序号跳转步长。
15.如权利要求12所述的基于图像质量反馈环的主动对准方法，其特征在于，若计算区域图像质量不满足要求，若BA低于设定阈值thre_BA，则选择第max{n-exp_step,1}序号对应的曝光参数配置表中的曝光参数值为调整后的传递配置值exp_cur，更新n的值为n-exp_step，其中exp_step为设定的序号跳转步长。
16.如权利要求1所述的基于图像质量反馈环的主动对准方法，其特征在于，摄像头CMOS芯片和\或ISP芯片实时配置包括：跳转次数为N，初始值为1；配置关闭锐化的配置表，配置第N组gamma曲线相关寄存器，记录当前N对应的gamma曲线相关寄存器配置、关闭锐化配置及当前对应的SN序号，N自加1，进行主动对准计算区域图像分析。
17.如权利要求6所述的基于图像质量反馈环的主动对准方法，其特征在于，摄像头CMOS和ISP实时配置包括：若第一次计算区域图像质量不满足要求，则初始增益参数序号m为1，将模拟增益参数从模拟增益参数列表当前记录第一个模拟增益参数值作为增益传递配置参数alg_cur，并记录到当前对应的SN序号中,配置alg_cur到增益配置地址。
18.如权利要求6所述的基于图像质量反馈环的主动对准方法，其特征在于，摄像头CMOS和ISP实时配置包括：若非第一次计算区域图像质量不满足要求，则选择增益参数配置表中序号为min{m+alg_step，AN}的模拟增益值作为增益传递配置参数alg_cur，更新m的值为min{m+alg_step，AN}，其中alg_step为人为设定的序号跳转步长，记录调整后的alg_cur和当前对应的SN序号，配置alg_cur到增益配置地址，之后进入主动对准计算区域图像分析。
19.一种摄像头模组的装配制作方法，其特征在于，包括：
执行托盘流入后顶针上电；
执行如所述权利要求1至18的任一项基于图像质量反馈环的主动对准方法获取的CMOS芯片和\或ISP芯片的最佳主动对准参数，并通过硬件通讯接口转接模块将最佳主动对准参数对当前的CMOS芯片和\或ISP芯片参数进行配置；
执行自动夹取镜头；
执行主动对准动作；
执行UV固化动作。
20.一种车载摄像头，其特征在于，包括如权利要求1至18所述的任一项基于图像质量反馈环的主动对准方法。
CN202010894677.XA 2020-08-31 2020-08-31 图像质量反馈环的主动对准方法、装配方法和摄像头 Active CN112150556B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010894677.XA CN112150556B (zh) 2020-08-31 2020-08-31 图像质量反馈环的主动对准方法、装配方法和摄像头

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010894677.XA CN112150556B (zh) 2020-08-31 2020-08-31 图像质量反馈环的主动对准方法、装配方法和摄像头

Publications (2)

Publication Number Publication Date
CN112150556A true CN112150556A (zh) 2020-12-29
CN112150556B CN112150556B (zh) 2024-01-23

Family

ID=73889883

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010894677.XA Active CN112150556B (zh) 2020-08-31 2020-08-31 图像质量反馈环的主动对准方法、装配方法和摄像头

Country Status (1)

Country Link
CN (1) CN112150556B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114040100A (zh) * 2021-11-02 2022-02-11 上汽通用五菱汽车股份有限公司 一种基于动态适配的车载摄像头显示方法、系统及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014155814A1 (ja) * 2013-03-27 2014-10-02 富士フイルム株式会社 撮像装置、キャリブレーション方法、プログラム及び記録媒体
CN106296711A (zh) * 2016-08-22 2017-01-04 华南理工大学 一种手机摄像头模组的多轴主动对准方法
US9638883B1 (en) * 2013-03-04 2017-05-02 Fotonation Cayman Limited Passive alignment of array camera modules constructed from lens stack arrays and sensors based upon alignment information obtained during manufacture of array camera modules using an active alignment process
CN109064513A (zh) * 2018-08-14 2018-12-21 深圳中科精工科技有限公司 一种摄像头封装中六自由度自动校准算法
WO2019104622A1 (zh) * 2017-11-30 2019-06-06 深圳市大疆创新科技有限公司 差异校准方法、双目视觉系统和计算机可读存储介质
CN110650290A (zh) * 2019-10-12 2020-01-03 惠州市德赛自动化技术有限公司 一种摄像头主动对焦调整方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9638883B1 (en) * 2013-03-04 2017-05-02 Fotonation Cayman Limited Passive alignment of array camera modules constructed from lens stack arrays and sensors based upon alignment information obtained during manufacture of array camera modules using an active alignment process
WO2014155814A1 (ja) * 2013-03-27 2014-10-02 富士フイルム株式会社 撮像装置、キャリブレーション方法、プログラム及び記録媒体
CN105103534A (zh) * 2013-03-27 2015-11-25 富士胶片株式会社 摄像装置、校准方法、程序以及记录介质
CN106296711A (zh) * 2016-08-22 2017-01-04 华南理工大学 一种手机摄像头模组的多轴主动对准方法
WO2019104622A1 (zh) * 2017-11-30 2019-06-06 深圳市大疆创新科技有限公司 差异校准方法、双目视觉系统和计算机可读存储介质
CN109064513A (zh) * 2018-08-14 2018-12-21 深圳中科精工科技有限公司 一种摄像头封装中六自由度自动校准算法
CN110650290A (zh) * 2019-10-12 2020-01-03 惠州市德赛自动化技术有限公司 一种摄像头主动对焦调整方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘祚时等: "一种摄像模组位姿精确测量的方法", 现代电子技术, vol. 43, no. 7, pages 57 - 61 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114040100A (zh) * 2021-11-02 2022-02-11 上汽通用五菱汽车股份有限公司 一种基于动态适配的车载摄像头显示方法、系统及设备

Also Published As

Publication number Publication date
CN112150556B (zh) 2024-01-23

Similar Documents

Publication Publication Date Title
CN112153280B (zh) 一种应用于摄像头模组的主动对准方法
US9147230B2 (en) Image processing device, image processing method, and program to perform correction processing on a false color
CN109564339B (zh) 使相机系统适应于附属镜头
US10460473B1 (en) Camera calibration system
CN102823236B (zh) 成像装置以及图像处理方法
US9177368B2 (en) Image distortion correction
US7817205B2 (en) Camera array and method for adjusting a lens with respect to the image sensor
US11277564B2 (en) Method for compensating for image quality of optical system by means of lens adjustment
EP3392699B1 (en) Method for compensating imaging quality of optical system by adjusting lens
CN112614192B (zh) 一种车载相机的在线标定方法和车载信息娱乐系统
US7969450B2 (en) Method for optimizing display colors of a digital light processing projector
CN109714535A (zh) 一种基于色差的自动对焦机器视觉测量装置及方法
JP2002202218A (ja) レンズの評価方法およびレンズ評価装置
CN112150556A (zh) 基于图像质量反馈环的主动对准方法、摄像头模组的装配制作方法及车载摄像头
JP4906128B2 (ja) カメラユニット検査装置、及びカメラユニット検査方法
US11979663B2 (en) Imaging support device, imaging support system, imaging system, imaging support method, and program
CN113784112A (zh) 摄像模组测试方法、装置、测试图板以及系统
US20070133969A1 (en) System and method for measuring and setting the focus of a camera assembly
CN101179661A (zh) 产生镜头与图像传感器间的空间关系的信息的方法及装置
CN115103124A (zh) 一种用于摄像头模组主动对准的方法
CN115716190A (zh) 一种多群镜头组的组装方法、设备和摄像模组的组装方法
CN213342427U (zh) 一种摄像头模组的主动对准系统
CN109916279B (zh) 终端盖板的平整度检测方法、装置、测试机台及存储介质
WO2023206186A1 (zh) 一种led灯板校正方法、装置、电子设备及存储介质
CN107544205B (zh) 多镜头模块的调校方法及其系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant