CN109685854B - 摄像头标定方法和装置、电子设备、计算机可读存储介质 - Google Patents
摄像头标定方法和装置、电子设备、计算机可读存储介质 Download PDFInfo
- Publication number
- CN109685854B CN109685854B CN201811459703.5A CN201811459703A CN109685854B CN 109685854 B CN109685854 B CN 109685854B CN 201811459703 A CN201811459703 A CN 201811459703A CN 109685854 B CN109685854 B CN 109685854B
- Authority
- CN
- China
- Prior art keywords
- image
- calibration
- offset
- camera
- component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000004590 computer program Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 13
- 238000003384 imaging method Methods 0.000 description 10
- 230000008859 change Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 3
- 238000003705 background correction Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
Abstract
本申请涉及一种摄像头标定方法、装置、电子设备、计算机可读存储介质,所述方法包括:获取摄像头采集的标定图像,其中,所述摄像头对应设置防抖组件;获取所述摄像头采集所述标定图像时所述防抖组件的组件温度;根据所述组件温度获取所述标定图像的图像偏移量,根据所述图像偏移量对所述标定图像进行第一校正处理,得到目标标定图像;根据得到的所述目标标定图像对所述摄像头进行标定处理,得到标定信息。上述摄像头标定方法、装置、电子设备、计算机可读存储介质,可以提高摄像头标定的准确性。
Description
技术领域
本申请涉及影像技术领域,特别是涉及一种摄像头标定方法、装置、电子设备、计算机可读存储介质。
背景技术
在拍摄图像的过程中,电子设备可能会产生某些偏移或抖动。由于摄像头在拍摄图像的时候,曝光需要一定的时长,如果曝光的时候摄像头产生了偏移或抖动,就会造成成像物体的移动,从而使得生成的图像产生模糊等问题。
发明内容
本申请实施例提供一种摄像头标定方法、装置、电子设备、计算机可读存储介质,可以提高摄像头标定的准确性。
一种摄像头标定方法,包括:
获取摄像头采集的标定图像,其中,所述摄像头对应设置防抖组件;
获取所述摄像头采集所述标定图像时所述防抖组件的组件温度;
根据所述组件温度获取所述标定图像的图像偏移量,根据所述图像偏移量对所述标定图像进行第一校正处理,得到目标标定图像;
根据得到的所述目标标定图像对所述摄像头进行标定处理,得到标定信息。
一种摄像头标定装置,包括:
标定图像获取模块,用于获取摄像头采集的标定图像,其中,所述摄像头对应设置防抖组件;
温度获取模块,用于获取所述摄像头采集所述标定图像时所述防抖组件的组件温度;
第一校正模块,用于根据所述组件温度获取所述标定图像的图像偏移量,根据所述图像偏移量对所述标定图像进行第一校正处理,得到目标标定图像;
标定模块,用于根据得到的所述目标标定图像对所述摄像头进行标定处理,得到标定信息。
一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如下步骤:
获取摄像头采集的标定图像,其中,所述摄像头对应设置防抖组件;
获取所述摄像头采集所述标定图像时所述防抖组件的组件温度;
根据所述组件温度获取所述标定图像的图像偏移量,根据所述图像偏移量对所述标定图像进行第一校正处理,得到目标标定图像;
根据得到的所述目标标定图像对所述摄像头进行标定处理,得到标定信息。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如下步骤:
获取摄像头采集的标定图像,其中,所述摄像头对应设置防抖组件;
获取所述摄像头采集所述标定图像时所述防抖组件的组件温度;
根据所述组件温度获取所述标定图像的图像偏移量,根据所述图像偏移量对所述标定图像进行第一校正处理,得到目标标定图像;
根据得到的所述目标标定图像对所述摄像头进行标定处理,得到标定信息。
上述摄像头标定方法、装置、电子设备、计算机可读存储介质,可以获取摄像头采集的标定图像,并在摄像头采集标定图像时获取防抖组件的组件温度。根据组件温度可以获取标定图像的图像偏移量,然后根据图像偏移量可以对标定图像进行第一校正处理,得到目标标定图像。最后根据目标标定图像对摄像头进行标定处理。这样就可以降低防抖组件的温度对标定处理带来的误差,从而提高摄像头标定的准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中图像处理方法的应用环境示意图;
图2为另一个实施例中摄像头标定方法的流程图;
图3为一个实施例中防抖组件的工作原理示意图;
图4为另一个实施例中摄像头标定方法的流程图;
图5为一个实施例中防抖组件的偏移量的示意图;
图6为又一个实施例中摄像头标定方法的流程图;
图7为一个实施例中防抖组件的温度和磁场的变化曲线示意图;
图8为一个实施例中标记参考偏移量的示意图;
图9为一个实施例的摄像头标定装置的结构框图;
图10为另一个实施例的摄像头标定装置的结构框图;
图11为一个实施例中图像处理电路的示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件,但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说,在不脱离本申请的范围的情况下,可以将第一拟合模型称为第二拟合模型,且类似地,可将第二拟合模型称为第一拟合模型。第一拟合模型和第二拟合模型两者都是拟合模型,但其不是同一拟合模型。
图1为一个实施例中图像处理方法的应用环境示意图。如图1所示,该应用环境包括电子设备10和标定板12,电子设备10上安装摄像头102,摄像头102对应设置防抖组件。具体的,电子设备10可以获取摄像头102采集的标定图像,然后获取摄像头采集标定图像时防抖组件的组件温度。电子设备可以根据组件温度获取标定图像的图像偏移量,根据图像偏移量对标定图像进行第一校正处理,得到目标标定图像。最后根据得到的目标标定图像对摄像头进行标定处理,得到标定信息。标定完成后,电子设备10可以根据标定信息对摄像头102采集的图像进行校正。在本实施例中,电子设备102可以为手机、电脑、可穿戴设备、个人数字助理等,在此不做限定。
图2为一个实施例中摄像头标定方法的流程图。如图2所示,该摄像头标定方法包括步骤202至步骤208。其中:
步骤202,获取摄像头采集的标定图像,其中,摄像头对应设置防抖组件。
电子设备可以设置摄像头,设置的摄像头的数量不限。例如,设置1个、2个、3个、5个等,在此不做限定。摄像头设置于电子设备的形式不限,例如,可以是内置于电子设备的摄像头,也可以外置于电子设备的摄像头;可以是前置摄像头,也可以是后置摄像头。电子设备安装的可以为任意类型的摄像头。例如,可以是彩色摄像头、黑白摄像头、激光摄像头、深度摄像头等,不限于此。
可以理解的是,摄像头拍摄的图像一般会产生畸变,在采集到图像之后,需要将图像进行一定地校正才能得到最终的图像。例如,由于透镜的结构原因,采集的图像可能会产生光学畸变,因此在采集到图像时需要对拍摄的图像的畸变进行校正。因此,在使用摄像头拍摄图像之前,需要对摄像头进行标定从而得到摄像头的标定信息,这样就可以通过得到的标定信息对摄像头拍摄的图像进行校正。
在一个实施例中,在对摄像头进行标定的过程中,需要通过摄像头采集标定图像,然后根据标定图像来完成对摄像头的标定处理。具体的,可以将电子设备固定在支架上,与支架一定距离的位置固定标定板,然后控制电子设备的摄像头对着标定板进行拍摄,得到拍摄的标定图像。
在摄像头拍摄的过程中,电子设备可能会产生抖动或偏移等情况。由于摄像头采集图像时,需要一定的曝光时间,如果在曝光过程中电子设备产生了抖动或者偏移,那么摄像头采集的图像就可能产生模糊。电子设备可以通过防抖组件来改善抖动引起的模糊,防抖组件即为OIS(Optical Image Stabilization,光学防抖)组件,能在有抖动或偏移的情况下,控制透镜相对于图像传感器平移而对抖动造成的图像偏移进行补偿。
步骤204,获取摄像头采集标定图像时防抖组件的组件温度。
在本申请提供的实施例中,防抖组件在工作的过程中,产生热量会使防抖组件的温度产生变化,影响防抖组件的磁场、形状等,从而影响摄像头的标定结果。在对摄像头标定的过程中,每次采集到标定图像时,可以对应获取防抖组件的组件温度,然后根据获取的组件温度进行标定处理。具体的,可以在防抖组件上对应安装温度传感器,每次检测到摄像头采集到标定图像时,就通过温度传感器采集防抖组件的组件温度。
图3为一个实施例中防抖组件的工作原理示意图。如图3所示,当防抖组件在一定的温度范围内工作的时候,防抖组件的中心点处于位置302;当防抖组件的温度超过一定的温度范围内时,防抖组件的中心点从位置302移动到位置304,即防抖组件的中心点产生了偏移。圆圈306为防抖组件的中心点移动的范围,即防抖组件的中心点只能在圆圈306示意的范围内偏移。根据位置304相对于位置302的位置偏移,就可以计算出防抖组件的位置偏移量,从而得到拍摄的图像的偏移量。
步骤206,根据组件温度获取标定图像的图像偏移量,根据图像偏移量对标定图像进行第一校正处理,得到目标标定图像。
防抖组件在没有抖动的情况下工作在一定的温度范围内时,防抖组件不会产生形状或磁场等变化,防抖组件的位置也不会产生偏移。当防抖组件的温度超过一定的温度范围时,即使没有抖动,防抖组件的位置也会产生一定的偏移。因此,在采集图像时,需要对温度带来的偏移进行一定的补偿。
在一个实施例中,可以预先建立组件温度和图像偏移量的对应关系,在采集到标定图像的时候,获取防抖组件的组件温度,然后根据组件温度确定图像偏移量,并根据图像偏移量对采集的标定图像进行校正。例如,组件温度为20℃、40℃、60℃和80℃时,对应的图像偏移量分别为1、4、9、12个像素点。
步骤208,根据得到的目标标定图像对摄像头进行标定处理,得到标定信息。
标定处理是指获取摄像头的标定信息的过程。具体的,标定信息可以包括摄像头的内参、外参、畸变系数等参数,在对第一摄像头和第二摄像头进行标定处理得到标定信息之后,可以将标定信息存储在电子设备中。
在对摄像头标定处理的过程中,电子设备可以控制摄像头对标定板拍摄得到标定图像,通过拍摄得到的标定图像对摄像头进行标定处理。电子设备可以采用传统摄像头标定法、摄像头自标定方法、介于传统标定方法和自标定方法之间的张正友标定方法等对摄像头进行标定处理,不限于此。
在一个实施例中,标定信息可以包括摄像头的内参、外参和畸变系数,如果电子设备安装有两个以上的摄像头,则标定信息还可以包括不同摄像头之间的外参。具体的,电子设备可以查找标定图像的特征点,根据特征点求取摄像头对应的内参、外参和畸变系数。得到标定信息之后,电子设备就可以根据标定信息将拍摄得到的图像进行校正。
上述实施例提供的摄像头标定方法,可以获取摄像头采集的标定图像,并在摄像头采集标定图像时获取防抖组件的组件温度。根据组件温度可以获取标定图像的图像偏移量,然后根据图像偏移量可以对标定图像进行第一校正处理,得到目标标定图像。最后根据目标标定图像对摄像头进行标定处理。这样就可以降低防抖组件的温度对标定处理带来的误差,从而提高摄像头标定的准确性。
图4为另一个实施例中摄像头标定方法的流程图。如图4所示,该摄像头标定方法包括步骤402至步骤414。其中:
步骤402,获取摄像头采集的标定图像,其中,摄像头对应设置防抖组件。
在一个实施例中,电子设备中安装摄像头,摄像头对应设置防抖组件。在拍摄图像的时候,电子设备可以通过角速度传感器或加速度传感器等检测电子设备是否产生抖动。当电子设备产生抖动的时候,防抖组件就会产生偏移而带动摄像头产生偏移。
具体的,在对电子设备上的摄像头标定时,可以将电子设备固定在支架上。与支架一定距离的位置固定标定板,然后控制电子设备的摄像头对着标定板进行拍摄,得到拍摄的标定图像。标定板上可以具有规律排序的特征图案,在对标定板进行拍摄得到标定图像之后,就可以识别标定图像中的特征点,并根据识别的特征点来对摄像头进行标定,这样就可以根据得到的标定信息对采集的图像进行校正。
在一个实施例中,为了保证更准确地对摄像头进行标定,可以从多个角度采集标定板上的图案。例如,标定板上的图案可以是三维图案,这样只对标定板拍摄一次就可以采集到多个角度的图案。标定板上的图案也可以是二维的,可以通过将标定板转动多个角度来采集多个角度的图案。
当标定板上分布的是规律排列的二维图案时,通过转动标定板的角度来实现多角度拍摄。采集标定图像的步骤具体可以包括:通过摄像头对至少三个角度的标定板进行拍摄,得到每一个角度对应的标定图像。例如,可以将标定板平行于摄像头成像平面时,定义为标定板的角度为0度。然后将标定板分别转动在0度、-20度、+20度、-30度、+30度等五个角度进行拍摄,分别得到这五个角度对应的标定图像。
步骤404,获取摄像头采集标定图像时防抖组件的组件温度。
在本申请提供的实施例中,将摄像头固定在支架上采集标定图像时,可以认为摄像头没有产生抖动,即认为标定过程中防抖组件的偏移是由于防抖组件的温度变化引起的。因此,在对摄像头标定的时候,可以通过防抖组件的温度来对防抖组件的偏移进行补偿。
当摄像头对至少三个角度的标定板进行拍摄,得到每一个角度对应的标定图像时,可以获取摄像头采集每一张标定图像时防抖组件的组件温度。然后电子设备可以根据获取的每一个组件温度,分别对每一张对应的标定图像进行标定处理。
步骤406,根据第一拟合模型获取防抖组件在组件温度下的组件偏移量,根据第二拟合模型获取组件偏移量对应的标定图像的图像偏移量。
组件偏移量是指防抖组件相对于初始位置的偏移量。防抖组件的位置可以根据防抖组件所在的平面中的任意一点的位置确定。例如,防抖组件所在的位置可以根据防抖组件的中心点确定,也可以根据防抖组件上的其他点确定。具体的,对防抖组件所在的平面建立坐标系,然后根据防抖组件的平面中的点确定防抖组件在该坐标系中的坐标,即确定防抖组件所在的位置。上述防抖组件所在的平面一般是指防抖组件产生平移的平面,即防抖组件所在的平行于摄像头的图像传感器的平面。
具体的,在根据防抖组件所在平面建立坐标系之后,可以定义防抖组件的初始位置为原点所在的位置,这样防抖组件的偏移量也可以看作是防抖组件分别在坐标系的每个分量上的偏移量。
图5为一个实施例中防抖组件的偏移量的示意图。如图5所示,假设第一位置502即为防抖组件的初始位置,以第一位置502为原点建立坐标系,那么就可以通过第二位置504的坐标确定防抖组件的偏移量。防抖组件的偏移量就可以表示为在x轴正方向上的偏移量为-Px,y轴正方向上的偏移量为-Py。
在一个实施例中,电子设备可以预先建立组件偏移量与组件温度的第一拟合模型,在获取到组件温度之后,就可以根据该第一拟合模型获取组件温度对应的组件偏移量。例如,在对摄像头进行标定之前,可以控制防抖组件达到多个不同的温度,然后测量防抖组件在每个不同的温度下对应的偏移量,根据这多个不同的温度所对应的偏移量可以建立第一拟合模型。
防抖组件的偏移量与拍摄图像的偏移量存在一定的对应关系,在获取到防抖组件的偏移量之后,就根据防抖组件的偏移量确定标定图像的偏移量。具体的,根据组件温度获取防抖组件的组件偏移量,根据组件偏移量获取标定图像的图像偏移量。组件偏移量的单位为code,图像偏移量的单位为像素(pixel)。根据第二拟合模型可以将组件偏移量转换为图像偏移量。其中,可以将组件偏移量在上述坐标系中沿x轴的偏移量与沿y轴的偏移量带入至第二拟合模型中,通过计算得到对应的图像偏移量。
例如,第二拟合模型可以为二元二次函数模型,可以用如下公式进行表示:
F(ΔX,ΔY)=ax2+by2+cxy+dx+ey+f
上式中,a、b、c、d、e、f分别为常数,也就是已知系数。F(ΔX,ΔY)用于表示当前图像偏移量,x、y分别表示组件偏移量对应的横轴坐标、纵轴坐标。将组件偏移量带入上述公式中,就可以求得图像偏移量。比如当前的组件偏移量为p(2,1),则对应的图像偏移量F(ΔX,ΔY)就可以表示为4a+b+2c+2d+e+f。可以理解的是,上述第二拟合模型还可以其他形式的函数模型,在此不做限定。
步骤408,根据图像偏移量对标定图像进行第一校正处理,得到目标标定图像。
获取到图像偏移量之后,可以根据图像偏移量对标定图像进行第一校正处理,对防抖组件的温度变化给标定图像带来的偏差进行补偿,从而得到最终用于标定处理的目标标定图像。
在一个实施例中,标定图像是由若干个像素点组成的二维像素矩阵,图像偏移量包括第一方向上的第一图像偏移量和第二方向上的第二图像偏移量,将标定图像进行第一校正处理具体包括:将标定图像在第一方向上移动第一图像偏移量,并将移动第一图像偏移量之后的标定图像在第二方向上移动第二图像偏移量,得到目标标定图像。
根据第二拟合模型可以获取组件偏移量对应的图像偏移量,图像偏移量可以确定图像产生偏移的像素点的位移,从而根据图像偏移量对拍摄的标定图像进行补偿。具体的,可以根据图像偏移量确定标定图像分别在第一方向和第二方向上的偏移,从而可以根据图像偏移量将标定图像分别从第一方向和第二方向上进行位移,以实现对标定图像的补偿。
首先将标定图像在第一方向上移动第一图像偏移量,然后再将移动第一图像偏移量之后的标定图像在第二方向上移动第二图像偏移量,从而得到目标标定图像。例如,可以根据标定图像建立坐标系,根据标定图像建立的坐标系与上述根据防抖组件建立的坐标系对应。根据标定图像建立好坐标系之后,就可以确定第一方向是标定图像所在的坐标系的x轴正方向,第二方向是标定图像所在的坐标系的y轴正方向。假设第一图像偏移量为30个像素点,第二图像偏移量为21个像素点,那么对标定图像进行补偿即为将标定图像在第一方向上移动30个像素点,在第二方向上移动21个像素点,从而得到目标标定图像。
步骤410,根据得到的目标标定图像对摄像头进行标定处理,得到标定信息。
步骤412,当检测到图像采集指令时,控制摄像头采集原始图像,并获取摄像头采集原始图像时防抖组件的目标温度。
在图像拍摄的过程中,当电子设备检测到图像采集指令时,就可以控制摄像头采集原始图像。图像采集指令是触发电子设备拍摄图像的指令,例如,当用户打开电子设备上安装的相机应用程序,然后点击相机应用程序中的拍摄按钮。当电子设备检测到拍摄按钮被按下时,生成图像采集指令。
在一个实施例中,当摄像头采集原始图像时,电子设备可以通过温度传感器获取防抖组件的温度作为目标温度,然后根据目标温度获取防抖组件的偏移量。
步骤414,根据目标温度和标定信息对原始图像进行第二校正处理,得到目标图像。
在本申请提供的实施例中,在通过摄像头拍摄图像的过程中,可以认为拍摄得到的图像的误差来自两个方面,一是由于摄像头本身结构所引起的误差,二是防抖组件的温度带来误差。因此在采集到原始图像之后,电子设备可以获取防抖组件的目标温度和摄像头的标定信息,根据目标温度和标定信息对采集的原始图像进行校正。
具体的,根据上述第一拟合模型获取目标温度对应的目标组件偏移量,并根据第二拟合模型获取目标组件偏移量对应的目标图像偏移量,然后根据目标图像偏移量对原始图像进行温差校正处理,得到中间图像;根据标定信息对中间图像进行标定校正处理,得到目标图像。
在一个实施例中,标定信息中可以包括自标定信息和相对标定信息,自标定信息可以包括摄像头的内参、外参和畸变系数,其中,内参用于确定摄像头从三维空间到二维图像的投影关系,外参用于确定从摄像头坐标系转换到世界坐标系的位置关系,畸变系数用于校正光学形变引起的畸变。
根据标定信息对中间图像进行校正处理,可以包括对中间图像进行自校正处理和相对校正处理。根据自标定信息对中间图像进行自校正处理,即根据摄像头的内参、外参和畸变系数对中间图像进行自校正处理。若电子设备安装了多个摄像头,那么多个摄像头采集的图像之间就会产生视差,相对校正处理即将不同摄像头采集的图像进行对齐的处理,使得不同摄像头采集的图像中的像素点相对应。
上述实施例提供的摄像头标定方法,可以获取摄像头采集的标定图像,并在摄像头采集标定图像时获取防抖组件的组件温度。根据组件温度可以获取标定图像的图像偏移量,然后根据图像偏移量可以对标定图像进行第一校正处理,得到目标标定图像。最后根据目标标定图像对摄像头进行标定处理。这样就可以降低防抖组件的温度对标定处理带来的误差,从而提高摄像头标定的准确性。
在一个实施例中,如图6所示,获取第一拟合模型的步骤具体可以包括:
步骤602,控制防抖组件的温度到达至少两个参考温度,并记录每个参考温度下防抖组件的参考偏移量。
防抖组件在工作中会产生热量,导致防抖组件的温度产生变化,从而影响防抖组件的磁场变化。防抖组件的磁场变化后,会使防抖组件产生偏移,从而影响摄像头拍摄图像的准确性。图7为一个实施例中防抖组件的温度和磁场的变化曲线示意图,如图7所示,防抖组件的磁场强度感应强度B会随着防抖组件的温度T的升高而变低,根据防抖组件的温度T可以获取对应的磁场强度B。
在对摄像头进行标定之前,可以先确定第一拟合模型,根据第一拟合模型可以确定防抖组件的温度和偏移量的对应关系。具体的,可以控制防抖组件在多个温度下工作,然后记录在每个温度下防抖组件的位置的偏移量。根据获取的记录的温度和偏移量获取第一拟合模型。
步骤604,根据参考温度和参考偏移量获取拟合参数,并根据拟合参数建立第一拟合模型。
在本申请提供的实施例中,电子设备可以控制防抖组件的温度到达至少两个参考温度,然后记录防抖组件在每个参考温度下工作时对应的参考偏移量。具体的,可以预先定义一个参考拟合模型,然后将记录的参考温度和对应的参考偏移量带入到参考拟合模型,求解参考拟合模型中的拟合参数,然后根据得到的拟合参数就可以建立第一拟合模型。
例如,参考拟合模型可以表示为其中,x表示防抖组件的温度,表示防抖组件的位置的偏移量,wj为常数,j可以为任意自然数,在此不做限定。电子设备获取到参考温度和参考偏移量之后,可以将获取的参考温度和参考偏移量带入到上述参考拟合模型中,然后求解上述参考拟合模型中的wj,得到拟合参数。然后将求解的拟合参数带入上述参考拟合模型中,得到第一拟合模型。
图8为一个实施例中标记参考偏移量的示意图。如图8所示,控制防抖组件的温度分别到达-10℃、10℃、30℃、50℃和80℃等五个参考温度,然后分别记录在上述五个参考温度下防抖组件在坐标系中对应的坐标分别为坐标802、坐标804、坐标806、坐标808和坐标810。记录的上述坐标即为防抖组件相对于坐标原点的位置的偏移量,然后根据坐标系中记录的坐标和参考温度确定第一拟合模型。
在一个实施例中,电子设备在拍摄图像之前,还可以建立第二拟合模型。可以控制防抖模组的位置产生偏移,然后记录防抖模组在每一个偏移位置下,摄像头采集的图像的偏移量,根据记录的防抖模组的偏移量和图像的偏移量建立第二拟合模型。具体的,在防抖模组的至少两个参考组件偏移量下控制摄像头拍摄参考图像,识别拍摄的参考图像中的特征点;根据识别到的特征点确定每一张参考图像的参考图像偏移量;根据上述参考组件偏移量和参考图像偏移量进行拟合,生成第二拟合模型。
可以理解的是,根据参考组件偏移量和参考图像偏移量生成第二拟合模型时,也可以首先建立一个多项式模型,然后将获取的参考组件偏移量和参考图像偏移量带入多项式模型中,对多项式模型中的常量进行求解,然后根据求解得到的常量建立第二拟合模型。
在本申请提供的其他实施例中,对摄像头标定时,防抖组件的温度会使防抖组件产生偏移,防抖组件的抖动也会导致防抖组件的偏移。因此,在对标定过程中需要考虑防抖组件的温度和抖动共同带来的偏移。具体的,根据组件温度获取图像偏移量的步骤具体可以包括:获取防抖组件的抖动参数,根据组件温度和抖动参数获取标定图像的图像偏移量。
抖动参数即为表示防抖组件的抖动程度的参数,电子设备中可以安装陀螺仪传感器。当陀螺仪传感器检测到摄像头发生抖动时,实时采集该陀螺仪传感器检测到的摄像头的角速度,根据获取的角速度来确定摄像头的抖动参数。电子设备会根据确定的抖动参数控制马达以驱动摄像头的镜头移动,镜头的移动方向与抖动方向相反,以消除因抖动引起的偏移。因此,在得到组件温度和抖动参数之后,可以根据组件温度补偿温度对标定图像引起的误差,根据抖动参数补偿抖动对标定图像引起的误差。
具体的,电子设备可以预先建立抖动参数与组件偏移量的第三拟合模型。然后,根据第一拟合模型获取防抖组件在组件温度下的第一组件偏移量,根据第三拟合模型获取抖动参数对应的第二组件偏移量,将第一组件偏移量和第二组件偏移量叠加得到组件偏移量;根据第二拟合模型获取组件偏移量对应的标定图像的图像偏移量。
应该理解的是,虽然图2、4、6的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2、4、6中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图9为一个实施例的摄像头标定装置的结构框图。如图9所示,该摄像头标定装置900包括标定图像获取模块902、温度获取模块904、第一校正模块906和标定模块908。其中:
标定图像获取模块902,用于获取摄像头采集的标定图像,其中,摄像头对应设置防抖组件。
温度获取模块904,用于获取摄像头采集标定图像时防抖组件的组件温度。
第一校正模块906,用于根据组件温度获取标定图像的图像偏移量,根据图像偏移量对标定图像进行第一校正处理,得到目标标定图像。
标定模块908,用于根据得到的目标标定图像对摄像头进行标定处理,得到标定信息。
上述实施例提供的摄像头标定装置,可以获取摄像头采集的标定图像,并在摄像头采集标定图像时获取防抖组件的组件温度。根据组件温度可以获取标定图像的图像偏移量,然后根据图像偏移量可以对标定图像进行第一校正处理,得到目标标定图像。最后根据目标标定图像对摄像头进行标定处理。这样就可以降低防抖组件的温度对标定处理带来的误差,从而提高摄像头标定的准确性。
图10为另一个实施例的摄像头标定装置的结构框图。如图10所示,该摄像头标定装置1000包括温度控制模块1002、模型建立模块1004、标定图像获取模块1006、温度获取模块1008、第一校正模块1010、标定模块1012和目标图像获取模块1014。其中:
温度控制模块1002,用于控制防抖组件的温度到达至少两个参考温度,并记录每个参考温度下防抖组件的参考偏移量。
模型建立模块1004,用于根据参考温度和参考偏移量获取拟合参数,并根据拟合参数建立第一拟合模型。
标定图像获取模块1006,用于获取摄像头采集的标定图像,其中,摄像头对应设置防抖组件。
温度获取模块1008,用于获取摄像头采集标定图像时防抖组件的组件温度。
第一校正模块1010,用于根据第一拟合模型获取防抖组件在组件温度下的组件偏移量,根据第二拟合模型获取组件偏移量对应的标定图像的图像偏移量,根据图像偏移量对标定图像进行第一校正处理,得到目标标定图像。
标定模块1012,用于根据得到的目标标定图像对摄像头进行标定处理,得到标定信息。
目标图像获取模块1014,用于当检测到图像采集指令时,控制摄像头采集原始图像,并获取摄像头采集原始图像时防抖组件的目标温度;根据目标温度和标定信息对原始图像进行第二校正处理,得到目标图像。
上述实施例提供的摄像头标定装置,可以降低防抖组件的温度对标定处理带来的误差,从而提高摄像头标定的准确性。
在一个实施例中,标定图像获取模块1006还用于通过摄像头对至少三个角度的标定板进行拍摄,得到每一个角度对应的标定图像。
在一个实施例中,第一校正模块1010还用于获取防抖组件的抖动参数,根据组件温度和抖动参数获取标定图像的图像偏移量。
在一个实施例中,图像偏移量包括第一方向上的第一图像偏移量和第二方向上的第二图像偏移量,第一校正模块1010还用于将标定图像在第一方向上移动第一图像偏移量,并将移动第一图像偏移量之后的标定图像在第二方向上移动第二图像偏移量,得到目标标定图像。
上述摄像头标定装置中各个模块的划分仅用于举例说明,在其他实施例中,可将摄像头标定装置按照需要划分为不同的模块,以完成上述摄像头标定装置的全部或部分功能。
本申请实施例中提供的摄像头标定装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时,实现本申请实施例中所描述方法的步骤。
本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路,图像处理电路可以利用硬件和/或软件组件实现,可包括定义ISP(Image Signal Processing,图像信号处理)管线的各种处理单元。图11为一个实施例中图像处理电路的示意图。如图11所示,为便于说明,仅示出与本申请实施例相关的图像处理技术的各个方面。
如图11所示,图像处理电路包括ISP处理器1140和控制逻辑器1150。成像设备1110捕捉的图像数据首先由ISP处理器1140处理,ISP处理器1140对图像数据进行分析以捕捉可用于确定和/或成像设备1110的一个或多个控制参数的图像统计信息。成像设备1110可包括具有一个或多个透镜1112和图像传感器1114的摄像头。图像传感器1114可包括色彩滤镜阵列(如Bayer滤镜),图像传感器1114可获取用图像传感器1114的每个成像像素捕捉的光强度和波长信息,并提供可由ISP处理器1140处理的一组原始图像数据。传感器1120(如陀螺仪)可基于传感器1120接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器1140。传感器1120接口可以利用SMIA(Standard Mobile Imaging Architecture,标准移动成像架构)接口、其它串行或并行摄像头接口或上述接口的组合。
此外,图像传感器1114也可将原始图像数据发送给传感器1120,传感器1120可基于传感器1120接口类型把原始图像数据提供给ISP处理器1140,或者传感器1120将原始图像数据存储到图像存储器1130中。
ISP处理器1140按多种格式逐个像素地处理原始图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,ISP处理器1140可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。
ISP处理器1140还可从图像存储器1130接收图像数据。例如,传感器1120接口将原始图像数据发送给图像存储器1130,图像存储器1130中的原始图像数据再提供给ISP处理器1140以供处理。图像存储器1130可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括DMA(Direct Memory Access,直接直接存储器存取)特征。
当接收到来自图像传感器1114接口或来自传感器1120接口或来自图像存储器1130的原始图像数据时,ISP处理器1140可进行一个或多个图像处理操作,如时域滤波。处理后的图像数据可发送给图像存储器1130,以便在被显示之前进行另外的处理。ISP处理器1140从图像存储器1130接收处理数据,并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器1140处理后的图像数据可输出给显示器1170,以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit,图形处理器)进一步处理。此外,ISP处理器1140的输出还可发送给图像存储器1130,且显示器1170可从图像存储器1130读取图像数据。在一个实施例中,图像存储器1130可被配置为实现一个或多个帧缓冲器。此外,ISP处理器1140的输出可发送给编码器/解码器1160,以便编码/解码图像数据。编码的图像数据可被保存,并在显示于显示器1170设备上之前解压缩。编码器/解码器1160可由CPU或GPU或协处理器实现。
ISP处理器1140确定的统计数据可发送给控制逻辑器1150单元。例如,统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜1112阴影校正等图像传感器1114统计信息。控制逻辑器1150可包括执行一个或多个例程(如固件)的处理器和/或微控制器,一个或多个例程可根据接收的统计数据,确定成像设备1110的控制参数及ISP处理器1140的控制参数。例如,成像设备1110的控制参数可包括传感器1120控制参数(例如增益、曝光控制的积分时间、防抖参数等)、摄像头闪光控制参数、透镜1112控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如,在RGB处理期间)的增益水平和色彩校正矩阵,以及透镜1112阴影校正参数。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行上述实施例提供的摄像头标定方法的步骤。
一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例提供的摄像头标定方法。
本申请实施例所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM),它用作外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种摄像头标定方法,其特征在于,包括:
获取摄像头采集的标定图像,其中,所述摄像头对应设置防抖组件;
获取所述摄像头采集所述标定图像时所述防抖组件的组件温度;
根据所述组件温度和偏移量对应关系获取所述标定图像的图像偏移量,所述图像偏移量包括第一方向上的第一图像偏移量和第二方向上的第二图像偏移量;所述偏移量对应关系,根据所述防抖组件的各参考组件温度与各参考图像偏移量之间的对应关系预先建立;
将所述标定图像在所述第一方向上移动所述第一图像偏移量,并将移动所述第一图像偏移量之后的所述标定图像在所述第二方向上移动所述第二图像偏移量,得到目标标定图像;
根据得到的所述目标标定图像对所述摄像头进行标定处理,得到标定信息。
2.根据权利要求1所述的方法,其特征在于,所述获取摄像头采集的标定图像,包括:
通过所述摄像头对至少三个角度的标定板进行拍摄,得到每一个角度对应的标定图像。
3.根据权利要求1所述的方法,其特征在于,所述根据所述组件温度和偏移量对应关系获取所述标定图像的图像偏移量,包括:
根据第一拟合模型获取所述防抖组件在所述组件温度下的组件偏移量,根据第二拟合模型获取所述组件偏移量对应的所述标定图像的图像偏移量。
4.根据权利要求3所述的方法,其特征在于,在所述获取摄像头采集的标定图像之前,还包括:
控制所述防抖组件的温度到达至少两个参考温度,并记录每个所述参考温度下所述防抖组件的参考偏移量;
根据所述参考温度和参考偏移量获取拟合参数,并根据所述拟合参数建立第一拟合模型。
5.根据权利要求1所述的方法,其特征在于,所述根据所述组件温度和偏移量对应关系获取所述标定图像的图像偏移量,包括:
获取所述防抖组件的抖动参数,根据所述组件温度和抖动参数获取所述标定图像的图像偏移量。
6.根据权利要求1所述的方法,其特征在于,所述标定信息包括所述摄像头的内参、外参和畸变系数中的至少一项。
7.根据权利要求1至6中任一项所述的方法,其特征在于,所述根据得到的所述目标标定图像对所述摄像头进行标定处理,得到标定信息之后,还包括:
当检测到图像采集指令时,控制摄像头采集原始图像,并获取所述摄像头采集所述原始图像时所述防抖组件的目标温度;
根据所述目标温度和标定信息对所述原始图像进行第二校正处理,得到目标图像。
8.一种摄像头标定装置,其特征在于,包括:
标定图像获取模块,用于获取摄像头采集的标定图像,其中,所述摄像头对应设置防抖组件;
温度获取模块,用于获取所述摄像头采集所述标定图像时所述防抖组件的组件温度;
第一校正模块,用于根据所述组件温度和偏移量对应关系获取所述标定图像的图像偏移量,所述图像偏移量包括第一方向上的第一图像偏移量和第二方向上的第二图像偏移量;所述偏移量对应关系,根据所述防抖组件的各参考组件温度与各参考图像偏移量之间的对应关系预先建立;将所述标定图像在所述第一方向上移动所述第一图像偏移量,并将移动所述第一图像偏移量之后的所述标定图像在所述第二方向上移动所述第二图像偏移量,得到目标标定图像;
标定模块,用于根据得到的所述目标标定图像对所述摄像头进行标定处理,得到标定信息。
9.一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811459703.5A CN109685854B (zh) | 2018-11-30 | 2018-11-30 | 摄像头标定方法和装置、电子设备、计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811459703.5A CN109685854B (zh) | 2018-11-30 | 2018-11-30 | 摄像头标定方法和装置、电子设备、计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109685854A CN109685854A (zh) | 2019-04-26 |
CN109685854B true CN109685854B (zh) | 2023-07-14 |
Family
ID=66185980
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811459703.5A Active CN109685854B (zh) | 2018-11-30 | 2018-11-30 | 摄像头标定方法和装置、电子设备、计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109685854B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3979617A4 (en) * | 2019-08-26 | 2022-06-15 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | METHOD AND DEVICE FOR ANTI-BLUR RECORDINGS, TERMINAL DEVICE AND STORAGE MEDIA |
CN114363482B (zh) * | 2022-03-08 | 2022-08-23 | 荣耀终端有限公司 | 一种标定图像的确定方法及电子设备 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108769528A (zh) * | 2018-06-15 | 2018-11-06 | Oppo广东移动通信有限公司 | 图像补偿方法和装置、计算机可读存储介质和电子设备 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070063048A1 (en) * | 2005-09-14 | 2007-03-22 | Havens William H | Data reader apparatus having an adaptive lens |
-
2018
- 2018-11-30 CN CN201811459703.5A patent/CN109685854B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108769528A (zh) * | 2018-06-15 | 2018-11-06 | Oppo广东移动通信有限公司 | 图像补偿方法和装置、计算机可读存储介质和电子设备 |
Non-Patent Citations (1)
Title |
---|
交叉路口摄像头视觉目标标定及误差校正仿真;郭等;《计算机仿真》;20181115(第11期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN109685854A (zh) | 2019-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109598764B (zh) | 摄像头标定方法和装置、电子设备、计算机可读存储介质 | |
CN109600548B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN111147741B (zh) | 基于对焦处理的防抖方法和装置、电子设备、存储介质 | |
CN111246089B (zh) | 抖动补偿方法和装置、电子设备、计算机可读存储介质 | |
CN109194876B (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
CN109660718B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN110689581B (zh) | 结构光模组标定方法、电子设备、计算机可读存储介质 | |
CN110610465B (zh) | 图像校正方法和装置、电子设备、计算机可读存储介质 | |
CN109544620B (zh) | 图像处理方法和装置、计算机可读存储介质和电子设备 | |
CN109714536B (zh) | 图像校正方法、装置、电子设备及计算机可读存储介质 | |
CN109712192B (zh) | 摄像模组标定方法、装置、电子设备及计算机可读存储介质 | |
JP2019510234A (ja) | 奥行き情報取得方法および装置、ならびに画像取得デバイス | |
CN111246100B (zh) | 防抖参数的标定方法、装置和电子设备 | |
CN110035206B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN109671028B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN109559352B (zh) | 摄像头标定方法、装置、电子设备和计算机可读存储介质 | |
CN109598763B (zh) | 摄像头标定方法、装置、电子设备和计算机可读存储介质 | |
US20220180484A1 (en) | Image processing method, electronic device, and computer-readable storage medium | |
CN109559353B (zh) | 摄像模组标定方法、装置、电子设备及计算机可读存储介质 | |
CN109951641B (zh) | 图像拍摄方法和装置、电子设备、计算机可读存储介质 | |
CN109584312B (zh) | 摄像头标定方法、装置、电子设备和计算机可读存储介质 | |
CN109685854B (zh) | 摄像头标定方法和装置、电子设备、计算机可读存储介质 | |
CN112866553B (zh) | 对焦方法和装置、电子设备、计算机可读存储介质 | |
CN110233969B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN109584311B (zh) | 摄像头标定方法、装置、电子设备和计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |