CN109064513A - 一种摄像头封装中六自由度自动校准算法 - Google Patents

一种摄像头封装中六自由度自动校准算法 Download PDF

Info

Publication number
CN109064513A
CN109064513A CN201810925071.0A CN201810925071A CN109064513A CN 109064513 A CN109064513 A CN 109064513A CN 201810925071 A CN201810925071 A CN 201810925071A CN 109064513 A CN109064513 A CN 109064513A
Authority
CN
China
Prior art keywords
sensor
camera
lens
freedom
calibration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810925071.0A
Other languages
English (en)
Other versions
CN109064513B (zh
Inventor
黄辉
王华茂
易佳朋
蒋端元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhongke Seiko Technology Co Ltd
Original Assignee
Shenzhen Zhongke Seiko Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Zhongke Seiko Technology Co Ltd filed Critical Shenzhen Zhongke Seiko Technology Co Ltd
Priority to CN201810925071.0A priority Critical patent/CN109064513B/zh
Publication of CN109064513A publication Critical patent/CN109064513A/zh
Application granted granted Critical
Publication of CN109064513B publication Critical patent/CN109064513B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras

Abstract

本发明公开一种摄像头封装中六自由度自动校准算法,该算法中采用先利用生产的第一个做标定得到标定系数,再后面批量生产过程中利用该标定系数反标定计算出位置误差的方式,并且在批量生产中逐步优化标定系数。在生产某个摄像头机种时,先使用其中一组LENS和Sensor,通过调整LENS的6自由度位置,标定图像与位置的关系。然后在生产过程中根据图像信息以及标定系数计算LENS相对于Sensor之间的位置。本发明相较现有技术生产工位减少一个;XY方面,之前的工艺误差50μm,AA工艺能够达到10μm;Z轴方面,之前只能够达到10μm,AA工艺能够到5μm;AA时间上小于5秒。

Description

一种摄像头封装中六自由度自动校准算法
技术领域
本发明涉及手机摄像头模组、红外摄像头模组以及3D结构光发射端模组的封装行业,特别涉及一种摄像头封装中六自由度自动校准(AA,Active Alignment)算法。
背景技术
在摄像头模组LENS和Sensor封装方面,现在主要采用的分两步走的方式:
(1)、先将LENS和Sensor通过机器视觉的方式贴合,贴合过程中使用2个视觉定位相机分别拍摄LENS和Sensor,计算其在世界坐标系中的位置,控制机器手臂调整位置并进行贴合;
(2)、然后利用调焦机调整LENS的高度,确保摄像头对焦。点亮Sensor,拍摄特定的chart图,根据SFR/MTF计算图像质量,并根据图像质量调整LENS的高度直到调整到图像清晰度最佳的位置。
上述现有技术的封装存在以下问题:
(1)、现有的技术需要2道工艺,增加了生产周期和人力成本;
(2)、已有的技术上只管控了XY、Rotation和Z轴方向,无法管控Lens光轴和Sensor面垂线的倾斜角度;这导致了在对焦过程中无法保证图像四周同时对焦;
(3)、已有的技术只能确保LENS和Sensor之间X、Y外观上相对位置;因此零配件的叠加公差越来越大,最终表现在摄像头上的效果是拍照画面最清晰位置可能偏离画面中心、四角的清晰度不均匀等;
(4)、在图像传感器的分辨率不断增加和单像素尺寸不断减小的情况下,镜头组装到传感器的相对定位的准确性要求越来越高,传统的封装设备已经不能满足。
发明内容
针对现有技术存在的问题,本发明提供一种摄像头封装中六自由度自动校准算法。本算法中采用先标定系统参数,再反标定出位置误差的方式,在生产某个摄像头中,先使用其中一组LENS和Sensor,通过调整LENS的6自由度位置,标定图像与位置的关系。然后在生产过程中根据图像信息以及标定系数计算LENS相对于Sensor之间的位置。
为实现上述目标,本发明的具体技术方案如下:
一种摄像头封装中六自由度自动校准算法,该摄像头封装中包括一组LENS和Sensor,及一个Chart图,所述LENS介于Sensor和Chart之间,自动校准算法包括以下步骤:
S1、Chart平行度调整;
S2、Sensor平行度调整;
S3、通过调整Sensor的X、Y,使得Chart中心和Sensor同心;
S4、预估参数标定
移动LENS 6自由度位置并记录位置,每次计算Chart图上5个标志的图像投影位置、每个标示位置的图像SFR值;在这个过程中有15个图像参考值对应6自由度位置信息,标定图像位置、图像质量相对于6自由度预估系数;
S5、Thoughfocus参数标定
在不同的tilt时,遍历Z轴位置计算chart图上5个标示位置对焦的peak点,将5个对焦peak点最小二乘拟合成一个平面,标定平面倾斜系数与对应TxTyTz三自由度的关系;
S6、在AA过程中,根据视觉相机拍摄Sensor、LENS,并根据标定关系计算出Tz的位置关系;
S7、在OC位置,根据图像中标示点位置以及标定系数计算XY轴位置;
S8、在AA时,在每个位置计算图像坐标系中mark点位置、图像质量,并根据标定系数计算预估最佳位置,采用逐步逼近爬山法搜索最佳位置;
S9、在搜索过程,计算5个mark点对焦的peak点位置,根据thoughfocus遍历系数精确计算TxTy的tilt轴位置。
作为本发明的一优选实施方式,步骤S1中Chart平行度调整是以大理石为基准,激光测距保证4个角的高度差小于1mm。
作为本发明的一优选实施方式,步骤S2中Sensor平行度调整是以大理石为基准,激光测距保证4个角的高度差小于4μm。
作为本发明的一优选实施方式,步骤S6的实现过程如下:
在上料到AA夹爪后,利用uplook视觉相机拍摄VCM背面;
在AA前,利用downlook视觉相机拍摄带Sensor的PCB上的正面;
利用两次计算的相对角度计算Tz的Rotation。
作为本发明的一优选实施方式,步骤S6中Rotation参数标定采用张正友标定方法,标定uplook视觉相机与downlook视觉相机,同时标定两个视觉相机的相互关系,用于AA时标定Sensor和LENS的Rotation。
采用本发明的技术方案,具有以下有益效果:
(1)、生产工位减少一个;
(2)、XY方面,之前的工艺误差50μm,AA工艺能够达到10μm;
(3)、Z轴方面,之前只能够达到10μm,AA工艺能够到5μm;
(4)、之前为管控TxTy,误差在1度左右,AA工艺能够达到0.08度。
(5)、AA时间上小于5秒。
附图说明
图1为本发明的流程原理图;
图2为本发明中步骤S1、S2的Chart/Sensor平行度调整示意图;
图3为本发明中应用于生产的流程框图。
具体实施方式
以下结合附图和具体实施例,对本发明进一步说明。
参照图1与图2,本发明提供一种摄像头封装中六自由度自动校准算法,该摄像头封装中包括一组LENS和Sensor,及一Chart图,所述LENS介于Sensor和Chart之间,自动校准算法包括以下步骤:
S1、Chart平行度调整;
步骤S1中Chart平行度调整是以大理石为基准,激光测距保证4个角的高度差小于1mm。
S2、Sensor平行度调整;
步骤S2中Sensor平行度调整是以大理石为基准,激光测距保证4个角的高度差小于4μm。
S3、通过调整Sensor的X、Y,使得Chart中心和Sensor同心;
S4、预估参数标定
移动LENS 6自由度位置并记录位置,每次计算Chart图上5个标志的图像投影位置、每个标示位置的图像SFR值;在这个过程中有15个图像参考值对应6自由度位置信息,标定图像位置、图像质量相对于6自由度预估系数;
S5、Thoughfocus参数标定
在不同的tilt时,遍历Z轴位置计算chart图上5个标示位置对焦的peak点,将5个对焦peak点最小二乘拟合成一个平面,标定平面倾斜系数与对应TxTyTz三自由度的关系;
S6、在AA过程中,根据视觉相机拍摄Sensor、LENS,并根据标定关系计算出Tz的位置关系;
步骤S6的实现过程如下:
在上料到AA夹爪后,利用uplook视觉相机拍摄VCM背面;
在AA前,利用downlook视觉相机拍摄带Sensor的PCB上的正面;
利用两次计算的相对角度计算Tz的Rotation。
其中,Rotation参数标定采用张正友标定方法,标定uplook视觉相机与downlook视觉相机,同时标定两个视觉相机的相互关系,用于AA时标定Sensor和LENS的Rotation。
S7、在OC位置,根据图像中标示点位置以及标定系数计算XY轴位置;
S8、在AA时,在每个位置计算图像坐标系中mark点位置、图像质量,并根据标定系数计算预估最佳位置,采用逐步逼近爬山法搜索最佳位置;
S9、在搜索过程,计算5个mark点对焦的peak点位置,根据thoughfocus遍历系数精确计算TxTy的tilt轴位置。
通过上述LENS的6自由度位置获得标定图像与位置的关系,然后在生产过程中根据图像信息以及标定系数计算LENS相对于Sensor之间的位置。参考图3,具体的应用过程如下:
(1)VCM/PCB上料;
其中VCM用于控制LENS的运动,PCB上包括Sensor。
(2)PCB补偿运动;
(3)PCB的Z轴搜索;
(4)根据本发明中的算法中的SFR,中心与四角最佳位置建模;
(5)计算最佳Z,及其Rotation角度a/b;
(7)按照本发明中进行AA误差补偿;
(8)若补偿后调整的位置获得的图像质量OK,则进行下步,否则,当废料处理;
(9)打胶;
(10)若第二次AA需要补偿,按照本发明中进行AA误差补偿后CCM下料,否则,直接进入CCM下料。
以上所述仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是在本发明的发明构思下,利用本发明说明书及附图内容所作的等效结构变换,或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (5)

1.一种摄像头封装中六自由度自动校准算法,该摄像头封装中包括一组LENS和Sensor,及一个Chart图,所述LENS介于Sensor和Chart之间,自动校准算法包括以下步骤:
S1、Chart平行度调整;
S2、Sensor平行度调整;
S3、通过调整Sensor的X、Y,使得Chart中心和Sensor同心;
S4、预估参数标定
移动LENS 6自由度位置并记录位置,每次计算Chart图上5个标志点的图像投影位置[x,y]、每个标示位置的图像SFR值;这样得到一个15个图像信息已知量对于6个自由度位置,用这个参数信息构建一个超定方程组计算得到标定预估系数;
S5、Thoughfocus参数标定
在不同的tilt时,遍历Z轴位置计算chart图上5个标示位置对焦的peak点,将5个对焦peak点最小二乘拟合成一个平面,标定平面倾斜系数与对应TxTyTz三自由度的关系;
S6、在AA过程中,根据视觉相机拍摄Sensor、LENS,并根据相机内外参数计算出Tz的位置关系;
S7、在Lens光学中心与sensor几何中心对齐过程中(OC对齐),根据图像中标示点位置以及标定系数计算XY轴位置;
S8、在AA时,在每个位置计算图像坐标系中mark点位置、图像质量,并根据标定系数计算预估最佳位置,采用逐步逼近爬山法搜索最佳位置;
S9、在搜索过程,计算5个mark点对焦的peak点位置,根据thoughfocus遍历系数精确计算TxTy的tilt轴位置。
2.根据权利要求1所述的摄像头封装中六自由度自动校准算法,其特征在于,步骤S1中Chart平行度调整是以大理石为基准,激光测距保证4个角的高度差小于1mm。
3.根据权利要求1所述的摄像头封装中六自由度自动校准算法,其特征在于,步骤S2中Sensor平行度调整是以大理石为基准,激光测距保证4个角的高度差小于4μm。
4.根据权利要求1所述的摄像头封装中六自由度自动校准算法,其特征在于,步骤S6的实现过程如下:
在上料到AA夹爪后,利用uplook视觉相机拍摄VCM背面;
在AA前,利用downlook视觉相机拍摄带Sensor的PCB上的正面;
利用两次计算的相对角度计算Tz的Rotation。
5.根据权利要求4所述的摄像头封装中六自由度自动校准算法,其特征在于,步骤S6中Rotation参数标定采用张正友标定方法,标定uplook视觉相机与downlook视觉相机,同时标定两个视觉相机的相互关系,用于AA时标定Sensor和LENS的Rotation。
CN201810925071.0A 2018-08-14 2018-08-14 一种摄像头封装中六自由度自动校准算法 Active CN109064513B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810925071.0A CN109064513B (zh) 2018-08-14 2018-08-14 一种摄像头封装中六自由度自动校准算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810925071.0A CN109064513B (zh) 2018-08-14 2018-08-14 一种摄像头封装中六自由度自动校准算法

Publications (2)

Publication Number Publication Date
CN109064513A true CN109064513A (zh) 2018-12-21
CN109064513B CN109064513B (zh) 2021-09-21

Family

ID=64678397

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810925071.0A Active CN109064513B (zh) 2018-08-14 2018-08-14 一种摄像头封装中六自由度自动校准算法

Country Status (1)

Country Link
CN (1) CN109064513B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111383277A (zh) * 2018-12-29 2020-07-07 余姚舜宇智能光学技术有限公司 一种宽间距双摄模组aa方法及系统
CN112150556A (zh) * 2020-08-31 2020-12-29 浙江赫千电子科技有限公司 基于图像质量反馈环的主动对准方法、摄像头模组的装配制作方法及车载摄像头

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102572265A (zh) * 2010-09-01 2012-07-11 苹果公司 使用具有粗略和精细自动对焦分数的图像统计数据的自动对焦控制
CN102818524A (zh) * 2012-07-31 2012-12-12 华南理工大学 一种基于视觉测量的在线机器人参数校准方法
CN105945909A (zh) * 2016-05-13 2016-09-21 大族激光科技产业集团股份有限公司 三自由度并联机器人的误差校正方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102572265A (zh) * 2010-09-01 2012-07-11 苹果公司 使用具有粗略和精细自动对焦分数的图像统计数据的自动对焦控制
CN102818524A (zh) * 2012-07-31 2012-12-12 华南理工大学 一种基于视觉测量的在线机器人参数校准方法
CN105945909A (zh) * 2016-05-13 2016-09-21 大族激光科技产业集团股份有限公司 三自由度并联机器人的误差校正方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
甘屹: "六自由度并联平台的几何参数标定研究", 《制造业自动化》 *
蒋世磊: "高精度光学镜头定心装校方法", 《2005年全国光电技术学术交流会暨第十七届红外科学技术交流会论文集》 *
黄毅: "爬山法在影像匹配中的应用", 《地理空间信息》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111383277A (zh) * 2018-12-29 2020-07-07 余姚舜宇智能光学技术有限公司 一种宽间距双摄模组aa方法及系统
CN111383277B (zh) * 2018-12-29 2023-05-19 余姚舜宇智能光学技术有限公司 一种宽间距双摄模组aa方法及系统
CN112150556A (zh) * 2020-08-31 2020-12-29 浙江赫千电子科技有限公司 基于图像质量反馈环的主动对准方法、摄像头模组的装配制作方法及车载摄像头
CN112150556B (zh) * 2020-08-31 2024-01-23 浙江赫千电子科技有限公司 图像质量反馈环的主动对准方法、装配方法和摄像头

Also Published As

Publication number Publication date
CN109064513B (zh) 2021-09-21

Similar Documents

Publication Publication Date Title
US9445080B2 (en) Stereo camera apparatus, self-calibration apparatus and calibration method
CN109877319B (zh) 一种多振镜激光精度拼接校准方法
US20090299684A1 (en) Method for calibrating cameras installed on vehicle
CN111896221B (zh) 虚拟坐标系辅助摄像机标定的旋转光学测量系统对准方法
CN110666798A (zh) 一种基于透视变换模型的机器人视觉标定方法
CN109064513A (zh) 一种摄像头封装中六自由度自动校准算法
CN103729839B (zh) 一种基于传感器的室外摄像机跟踪的方法及系统
CN111486868B (zh) 基于地物特征的光电望远镜免方位标扩展标校法
US20220412795A1 (en) Sensor Arrangement
CN112492192B (zh) 一种相机及用于相机生产的方法
CN114359406A (zh) 自动对焦双目摄像头的标定、3d视觉及深度点云计算方法
JP4821460B2 (ja) オートフォーカス装置、およびカメラ
JP2010130628A (ja) 撮像装置、映像合成装置および映像合成方法
US20160241841A1 (en) A stereoscopic assembly and method for manufacturing same
CN101329492A (zh) 自动对焦系统
CN109636859A (zh) 一种基于单相机的三维视觉检测的标定方法
JP3941631B2 (ja) 三次元撮像装置および方法
JP2007306031A (ja) アライメント方法およびその方法を用いた実装方法
CN112419418A (zh) 一种基于摄像头机械瞄准的定位方法
TWI557437B (zh) 立體攝像裝置、自動校正裝置與校正方法
JP2008003394A (ja) カメラ、カメラシステム、及び姿勢調整方法
CN110933391B (zh) 投影系统的标定参数补偿方法、装置及可读存储介质
TWI749376B (zh) 3d相機的校正方法
JP4865275B2 (ja) 焦点検出装置及び撮像装置
CN112637585A (zh) 一种单反相机全景拍摄过程中透视错位现象的矫正方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant