CN101957990B - 一种摄像机定标方法、图像处理设备和机动车辆 - Google Patents

一种摄像机定标方法、图像处理设备和机动车辆 Download PDF

Info

Publication number
CN101957990B
CN101957990B CN2010102530220A CN201010253022A CN101957990B CN 101957990 B CN101957990 B CN 101957990B CN 2010102530220 A CN2010102530220 A CN 2010102530220A CN 201010253022 A CN201010253022 A CN 201010253022A CN 101957990 B CN101957990 B CN 101957990B
Authority
CN
China
Prior art keywords
particle
adaptive value
value
camera
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2010102530220A
Other languages
English (en)
Other versions
CN101957990A (zh
Inventor
吴泽俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Safdao Technology Corp Ltd
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN2010102530220A priority Critical patent/CN101957990B/zh
Publication of CN101957990A publication Critical patent/CN101957990A/zh
Application granted granted Critical
Publication of CN101957990B publication Critical patent/CN101957990B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)

Abstract

本发明公开了一种摄像机定标方法、图像处理设备和机动车辆,其中摄像机定标方法包括步骤:获取模板图像步骤;分配参数步骤;计算适应值步骤;终止判断步骤。与现有技术相比,本发明通过将摄像机定标问题转化为参数优化问题,减少对定标环境的要求和定标时间,提高了定标精度。

Description

一种摄像机定标方法、图像处理设备和机动车辆
技术领域
本发明属于摄像机定标技术领域,具体涉及一种摄像机定标方法、图像处理设备和机动车辆。
背景技术
空间物体表面某点的三维几何位置与其在图像中对应点间的相互关系由摄像机成像的几何模型决定,其参数就是摄像机参数。该参数包括摄像机内部几何和光学特性(内部参数),以及摄像机相对世界坐标系的三维位置和方向(外部参数)。这些参数必须通过实验和计算得到,这个过程称为摄像机定标。
在摄像机成像中,通过摄像机的定标可以建立世界坐标与图像坐标的对应关系,再通过视角变换将图像转化为俯瞰图等视图。这种技术可应用于如车载摄像机定标、机器人手眼定标、移动摄像机定标等领域。
摄像机定标技术主要分为传统的摄像机定标技术、基于主动视觉的摄像机定标技术和自定标技术。传统摄像机定标技术标定精度较高,但是其对实验环境和实验控制要求太高,例如要求模板与摄像机的位置关系固定,这种定标技术往往因为不能满足条件而无法应用。基于主动视觉的摄像机定标技术和自定标技术较为灵活,但是此类技术存在以下一些缺点:往往需要对摄像运动进行一定的控制从而采集不同位置的图像,定标时间长;许多模型都是基于线性假设的,对于完全的射影模型,即当有畸变因子(skew factor)存在时,定标精度不高;对于同时标定内部参数和外部参数的情况还不能很好地解决;往往需要角点检测,但在超广角摄像机定标拍摄下会发生很大的畸变,无法进行角点检测。
发明内容
本发明要解决的主要技术问题是提供一种摄像机定标方法、图像处理设备和装置和机动车辆,降低对定标环境的要求,减少了定标时间。
根据本发明的一方面,提供一种摄像机定标方法,包括步骤:
获取模板图像步骤:对预定模板进行拍摄获取模板图像;
分配参数步骤:利用收敛算法分配一个参数系列,所述一个参数系列包括一组或多组摄像机参数;
计算适应值步骤:比较模板图像与预定模板的理想世界图像的差异,得到适应值,所述适应值计算步骤包括:
根据预先建立的模板图像的世界坐标和图像坐标之间的转换关系以及分配的摄像机参数,计算模板图像的图像坐标;和
计算模板图像与理想世界图像之间相同图像坐标的像素差异值的总和,得到与各组摄像机参数相关联的适应值;
终止判断步骤:判断适应值计算结果是否满足设定的终止条件,当适应值计算结果满足终止条件时将与该适应值相关联的一组摄像机参数作为定标参数;当没有满足终止条件时继续执行分配参数步骤,重新产生一个参数系列。
根据本发明的另一方面,提供一种图像处理设备,包括:
摄像装置,用于对预定模板进行拍摄获取模板图像;
分配参数模块,用于利用收敛算法分配一个参数系列,所述一个参数系列包括一组或多组摄像机参数;
适应值计算模块,用于比较模板图像与预定模板的理想世界图像的差异,从而得到适应值,所述适应值计算模块包括:
图像坐标计算单元,用于根据预先建立的模板图像的世界坐标和图像坐标之间的转换关系以及分配的摄像机参数,计算模板图像的图像坐标;和
像素差异值计算单元,用于计算模板图像与理想世界图像之间相同图像坐标的像素差异值的总和,得到与各组摄像机参数相关联的适应值;
终止判断模块,用于判断适应值计算结果是否满足设定的终止条件,当适应值计算结果满足终止条件时将与该适应值相关联的一组摄像机参数作为定标参数;当没有满足终止条件时继续执行分配参数步骤,重新产生一个参数系列。
本发明还提供一种包括上述图像处理设备的机动车辆。
与现有技术相比,本发明通过将摄像机定标问题转化为参数优化问题,减少对定标环境的要求和定标时间,提高了定标精度。
附图说明
图1为一种实施例中图像处理设备的结构示意图;
图2为一种实施例中适应值计算模块的结构示意图;
图3为一种实施例中分配参数模块的结构示意图;
图4为另一种实施例中图像处理设备的结构示意图;
图5为一种实施例中摄像机自动定标方法的流程图;
图6为摄像机获取的模板图像;
图7为模板图像二值化后的图像;
图8为一种实施例中判断是否满足设定的终止条件的流程图;
图9为完成摄像机定标后图像矫正的效果示意图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。
在下面具体的描述中,为了深入理解以下所描述的实施例,提供了很多具体细节。然而,本领域的技术人员应该认识到,其中一个或几个具体细节可以省略,或者可以用其他的方法,器件或材料来代替。在有些情况下,有些操作没有图示也没有详细描述。
请参考图1,图1示出了一种实施例中图像处理设备的结构示意图,图像处理设备包括摄像装置10、分配参数模块30、适应值计算模块40和终止判断模块50。
摄像装置10用于对预定模板进行摄像获取模板图像,摄像装置10可以是摄像机、摄像头或其它可拍摄图像的装置。当需要定标时,在摄像装置10可拍摄到的区域内放置预先定制的模板,控制摄像装置10像通常拍照一样拍摄。预先定制的模板可以是黑白格相间的平面体,具有指定的外围尺寸和方格数量。预先定制的模板也可以是黑白条相间的平面体。为用于后面的对比,在图像处理设备中的存储装置中已经预先存储了该定制模板的理想世界图像,理想世界图像就是按照理想化的小孔成像原理拍摄到的图像。
分配参数模块30用于利用收敛算法分配一个参数系列,一个参数系列可以包括一组摄像机参数,也可以包括多组摄像机参数,每组摄像机参数都包括摄像机外部参数和摄像机内部参数。摄像机外部参数是指摄像机相对世界坐标系的三维位置和方向,比如位置高度、旋转角度、平移方向和大小等。摄像机内部参数是指摄像机内部几何和光学特性,比如焦距、比例因子和镜头畸变等。当进行第一次适应值计算时,分配参数模块30进行初始化,随机或均匀产生一参数系列用于适应值的计算。
适应值计算模块40用于比较模板图像与预定模板的理想世界图像的差异,从而得到适应值。摄像装置10自然拍摄的模板图像不同于模板的理想世界图像,两者之间存在一定的对应关系,而该对应关系由摄像机参数决定,该摄像机参数就是用于将摄像装置10自然拍摄的图像转换成由图像坐标表示的世界图像的定标参数。本实施例中,适应值为模板图像与模板的理想世界图像之间的差异。
终止判断模块50用于判断适应值计算结果是否满足设定的终止条件,当适应值计算结果满足终止条件时将与该适应值相关联的一组摄像机参数作为定标参数;当没有满足终止条件时继续执行分配参数步骤,重新产生一个参数系列。
请参考图2,在一种实施例中,所述适应值计算模块40包括图像坐标计算单元41和像素差异值计算单元42。图像坐标计算单元41用于根据预先建立的模板图像的世界坐标和图像坐标之间的转换关系以及分配的摄像机参数,计算模板图像的图像坐标。
上述实施例中,将拍摄的模板的普通图像通过预先建立的图像坐标与世界坐标的对应关系模型转换成模板的世界图像,使模板图像在摄像机参数确定的情况下可建立确定的世界图像,不断优化摄像机参数也使模板的世界图像得到不断优化,从而将摄像机定标问题转化为摄像机参数优化问题,逐步寻找最优解,从而完成摄像机定标。在摄像机参数优化过程中,不要求摄像装置在特定的位置和从特定的角度来采集模板的图像,摄像装置可如拍摄普通图像一样来拍摄预定模板的图像,因此降低了对定标环境的要求。在摄像机参数优化过程中,摄像装置只需要采集一次图像即可,不需要从不同的位置和方向多次采集图像,因此也不需要对多个图像进行处理,因此缩短了定标的时间。
在一种实施例中,所述图像坐标计算单元41用于建立图像坐标与世界坐标的对应关系,包括外部参数计算单元411和内部参数计算单元413,外部参数计算单元411用于根据外部参数建立世界坐标与摄像机坐标的对应关系,即根据预先建立的模板图像的世界坐标和摄像机坐标之间的转换关系以及摄像机外部参数计算模板图像的摄像机坐标。内部参数计算单元413用于根据内部参数建立所述矫正后的摄像机坐标与图像坐标的对应关系,即根据预先建立的模板图像的摄像机坐标和图像坐标之间的转换关系以及摄像机内部参数计算模板图像的图像坐标。本领域技术人员应该认识到,还可以通过其它方法计算模板图像的图像坐标。
在另一实施例中,图像坐标计算单元41还包括畸变矫正单元412和插值单元414,畸变矫正单元413用于根据内部参数中的畸变参数矫正所述摄像机坐标;插值单元414用于将所述坐标关系中的小数转化为整数形式。
像素差异值计算单元42用于计算模板图像与理想世界图像之间相同图像坐标的像素差异值的总和,从而得到与各组摄像机参数相关联的适应值。
请参考图3,在一种实施例中,分配参数模块30所用的收敛算法可以是粒子群智能算法,分配参数模块30利用粒子群智能算法为每次的迭代计算分配一个参数系列。在一具体实施例中,分配参数模块30包括初始化单元31、适应值评价单元32、密度计算单元33和粒子进化单元34。初始化单元31用于在进行第一次迭代计算时初始化算法参数,将解空间按照粒子数分割从而生成初始解。将每组摄像机参数作为一个粒子的坐标,即每组摄像机参数决定一个粒子。适应值评价单元32用于评价粒子所处位置的适应值的优劣,根据适应值查找出本次迭代计算的最优粒子和最差粒子,所述最优粒子为与适应值中最小适应值相关联的一组摄像机参数确定的粒子,所述最差粒子为与适应值中最大适应值相关联的一组摄像机参数确定的粒子。密度计算单元33用于计算用于本次迭代计算适应值步骤中的粒子群体的密度。粒子进化单元34用于根据粒子群体密度确定用于下次计算适应值步骤中的参数系列,当粒子群体密度判断为低时,使粒子朝着最优粒子运动从而确定用于下次计算适应值步骤中的参数系列;当粒子群体密度判断为高时,使粒子背向最坏粒子运动从而确定用于下次计算适应值步骤中的参数系列。
在如图4所示的另一实施例中,与上述实施例不同的是图像处理设备还包括图像前处理模块20,图像前处理模块20用于对摄像装置10拍摄的模板图像进行去噪处理,使图像更清晰。在一种实施例中,图像前处理模块20包括灰度直方图单元21、分割阈值单元22和二值化单元23。图像前处理模块20处理后的图像输出给适应值计算模块40用于计算各组摄像机参数的适应值。灰度直方图单元21根据图像统计生成灰度直方图;分割阀值单元22将灰度直方图分为高灰度类与低灰度类,并根据两类之间距离最大的原则确定分割阀值;二值化单元23依据所述分割阀值将图像进行二值化转化。
上述实施例中,分配参数模块、适应值计算模块和终止判断模块可以是各自独立的处理器,也可以是根据自身功能分成若干分立的处理器,也可以是两个或三个模块集成在一个处理器中,处理器通过执行计算机可执行指令实现各模块的功能。
请参考图5,在一种实施例中,基于上述图像处理设备的一种摄像机自动定标方法流程图包括以下步骤:
步骤S11:对预定模板进行拍摄获取模板图像,如图6所示,在一种实施例中,获取的模板图像为黑白相间的图像。
步骤S12:对采集的模板图像进行去噪处理。
具体的,首先统计图像的像素直方图,假定阀值将直方图划分为高像素与低像素两类,根据两个类间方差值最大的原则确定分割阀值,对图像进行二值化处理,降低图像噪声影响。
其中,分割阀值计算方法为:对某张图像,记t为前景与背景的分割阈值,前景点数占图像比例为w0,平均像素为u0;背景点数占图像比例为w1,平均像素为u1。图像的总平均像素为:u=w0*u0+w1*u1。从最小像素值到最大像素值遍历t,当t使得值g=w0*(u0-u)2+w1*(u1-u)2最大时t即为分割的最佳阈值。二值化单元依据分割阀值t对图像进行二值化处理,最终处理后的图像如图7所示。
步骤S13:利用收敛算法分配一个参数系列,每个参数系列包括一组或多组摄像机参数,每组摄像机参数包括摄像机外部参数和摄像机内部参数。收敛算法可以是粒子智能算法、遗传算法、蚂蚁算法或鱼群算法。当采用粒子智能算法为迭代计算分配参数系列时,一组摄像机参数对应一个粒子;当采用遗传算法为迭代计算分配参数系列时,一组摄像机参数对应一个染色体;当采用鱼群算法为迭代计算分配参数系列时,一组摄像机参数对应一条鱼;当采用蚂蚁算法为迭代计算分配参数系列时,一组摄像机参数对应一个蚂蚁。当第一次进行迭代计算时,收敛算法进行初始化,使粒子/染色体/蚂蚁随机分布或均匀分布,从而为第一次的迭代计算分组一个参数系列,该参数系列可以只包括一个粒子/染色体/蚂蚁,即只包括一组摄像机参数,也可以包括多个粒子/染色体/蚂蚁,即包括多组摄像机参数,例如50个粒子/染色体/蚂蚁。在以后的迭代计算中,收敛算法根据一定的规则产生新的参数系列。
步骤S14:根据预先建立的模板图像的世界坐标和图像坐标之间的转换关系模型以及分配的摄像机参数,计算模板图像的图像坐标。
在一种实施例中,模板图像的世界坐标和图像坐标之间的转换关系模型可通过以下方式建立:
假设摄像机参数已知的情况下,建立模板图像坐标与世界坐标之间的对应关系。具体包括步骤:
第一步,先根据摄像机外部参数确立摄像机坐标与世界坐标的关系。其计算公式为:
X c Y c Z c 1 = R 3 × 3 t 3 × 1 0 T 1 X w Y w Z w 1 - - - ( 1 )
其中t3×1为平移向量,R3×3为旋转矩阵,(XcYcZc)T为摄像机坐标,(XwYwZw)T为世界坐标。
第二步,再根据径向畸变参数和切向畸变参数,对摄像机坐标进行修正。
其计算公式为:
x ^ = x ( 1 + k 1 m 2 + k 2 m 4 ) + 2 p 1 xy + p 2 ( m 2 + 2 x 2 ) ...................(2)
y ^ = y ( 1 + k 1 m 2 + k 2 m 4 ) + 2 p 2 xy + p 1 ( m 2 + 2 x 2 )
式中,
Figure BDA0000024444580000073
Figure BDA0000024444580000074
是由小孔模型计算出来的图像点坐标的理想值,(x,y)为实际图像点的坐标;m2=x2+y2,k1、k2为径向畸变系数,p1、p2为切向畸变系数。
第三步,根据摄像机内部参数建立摄像机坐标与图像坐标的关系;其计算公式为:
u v 1 = 1 Z c 1 k 0 u 0 0 1 l v 0 0 0 1 f - f cot θ 0 0 0 f sin θ 0 0 0 0 1 0 X c Y c Z c 1 = 1 Z c f k - f k cot θ u 0 0 0 f l sin θ v 0 0 0 0 1 0 X c Y c Z c 1 = 1 Z c AP c - - - ( 3 )
其中,(u,v)表示图像坐标系中的坐标,原点位于(u0,v0)像素点上,k×l表示一个像素点的大小(其单位为:毫米),f为摄像机焦距,θ为摄像机坐标系的偏斜度。
第四步,为了提高了摄像机定标精度,利用双线性插值处理对模板图像坐标进行整数化处理,最终确定模板图像坐标和世界坐标的关系。利用双线性插值将模板图像坐标整数化,其计算公式为:
f(x,y)=ax+by+cxy+d...................(4)
根据坐标位置最邻近的若干个坐标点的像素值,再通过加权平均计算得出。
因此在步骤S14中,首先利用分配的摄像机外部参数,在模板图像的世界坐标已知的情况下,利用公式(1)可计算出模板图像的摄像机坐标。然后利用分配的摄像机内部参数,在模板图像的摄像机坐标已知的情况下,利用公式(3)可计算出模板图像的图像坐标,形成由图像坐标确定的模板的世界图像。
步骤S15:计算模板图像与理想世界图像之间相同图像坐标的像素差异值的总和,得到与各组摄像机参数相关联的适应值。
其中,所述像素差异值的总和的计算公式为:
Sum = Σ i = 1 n Σ j = 1 m | N ij - M ij |
其中,Nij表示模板图像上坐标(i,j)上的像素值,Mij表示理想世界图像上坐标(i,j)的像素值,Sum表示世界图像和理想世界图像像素差异值的总和,也就是适应值,每个适应值与一组摄像机参数相关联。图像中每个坐标是对应一个像素值,相同的坐标对于两幅不同的图就会有不同的像素值,已知具体的一个参数数组就可以计算出Sum的值。
已知模板形状,即理想世界图像是已知的,将模板图像与理想世界图像的像素差异值的总和作为优化函数模型的函数值,摄像机参数为变量。改变变量,使函数值改变,本实施例中,像素差异值的总和越小,摄像机参数越优。
步骤S16:判断适应值计算结果是否满足设定的终止条件,当适应值计算结果满足终止条件时执行步骤S17,当没有满足终止条件时继续执行步骤S13,重新产生一个参数系列。
设定的终止条件包括:收敛算法运行次数达到设定值、迭代计算的次数达到设定值和适应值达到预期值中的任一或两个以上的组合。在一种实施例中,判断适应值计算结果是否满足设定的终止条件的流程如图8所示,包括:
步骤S161,判断迭代计算的次数是否达到设定的次数,如果是,则执行步骤S17,否则继续步骤S162。
步骤S162,判断本次迭代计算中是否有适应值小于预期值,如果有,则执行步骤S17,否则继续步骤S163。
步骤S163,判断收敛算法的运行次数是否达到设定值,如果是,则执行步骤S17。
当然,本领域根据此处公开的内容应该认识到,终止条件判断步骤中还可以是在上述实施例的基础上减少一个或两个终止条件,也可以任意改变其判断顺序,也可以只选择其中的一个终止条件。
步骤S17:将与该适应值相关联的一组摄像机参数作为定标参数输出,结束迭代计算。
利用确定的定标参数对平时拍摄的图像进行矫正,图9为完成摄像机定标后模板图像矫正的效果图。
下面以收敛算法采用粒子群智能算法为例,说明如何分配摄像机参数。
本实施例中,将每个世界坐标对应的像素值定义为一个粒子,用粒子的位置表示待优化问题的解,每个粒子的优劣程度取决于待优化问题目标函数确定的适应值(即Sum值),适应值越小,代表粒子越优。
首先,定义摄像机参数数组为粒子位置,即一个粒子就是一组摄像机参数。初始化粒子群算法参数及粒子位置,粒子随机分布在解空间,以每次迭代计算具有50个粒子为例进行说明,即每次迭代计算产生50组摄像机参数。
在适应值计算步骤中,采用产生的50组摄像机参数分别计算出与各自摄像机参数相关联的50个适应值。根据计算出的适应值,评价粒子所处位置的适应值的优劣,根据适应值得到最优粒子和最坏粒子,适应值越小,粒子最优,适应值越大,粒子越差。在一种实施例中,查找本次迭代计算的最优粒子和最差粒子步骤包括以下步骤:
根据历次计算出的与各粒子相关联的适应值,查找个体或者群体最优粒子并将个体或者群体最优粒子作为本次迭代计算的最优粒子,查找个体或者群体最差粒子并将个体或者群体最差粒子作为本次迭代计算的最差粒子,找出各粒子的个体或群体最优粒子、个体或群体最差粒子,所述某粒子的个体最优粒子为与该粒子历次计算出的适应值中最小适应值相关联的一组摄像机参数确定的粒子,所述某粒子的个体最差粒子为与该粒子历次计算出的适应值中最大适应值相关联的一组摄像机参数确定的粒子。所述某粒子的群体最优粒子为所有个体最优粒子适应值中的最小适应值相关联的一组摄像机参数确定的粒子,所述某粒子的群体最差粒子为所有个体最差粒子适应值中的最大适应值相关联的一组摄像机参数确定的粒子。
例如有50个粒子参加迭代计算,共进行了10次迭代计算,即每个粒子都有10个适应值,在每个粒子的10个适应值中查找出最小的适应值和最大的适应值,该最小适应值对应的粒子为个体最优粒子,该最大适应值对应的粒子为个体最差粒子。按照上述方法可找到50个个体最优粒子和50个个体最差粒子,在50个个体最优粒子中再查找出最小的适应值,该最小适应值对应的粒子为群体最优粒子。同样,在50个个体最差粒子中再查找出最大的适应值,该最大适应值对应的粒子为群体最差粒子。
在另一种实施例中,查找本次迭代计算的最优粒子和最差粒子步骤包括以下步骤:
在本次迭代计算得到的适应值中找出最大适应值和最小适应值,将与最小适应值相关联的一组摄像机参数确定的粒子作为本次迭代计算的最优粒子,将与最大适应值相关联的一组摄像机参数确定的粒子作为本次迭代计算的最差粒子。
确定最优和最差粒子后计算粒子群体密度。在一种实施例中,所述粒子群体密度的计算步骤包括:计算所有粒子各维度的平均值,得到中心粒子;计算各个粒子与中心粒子的空间欧氏距离的平方和。若该平方和超过设定的阀值则认为粒子密度为低,若低于设定的阀值则认为粒子密度为高。
然后根据粒子群体密度的情况,进行粒子进化。
当群体密度较低时,粒子朝着最优粒子运动;而当群体密度较高时,粒子背向最差粒子运动。粒子每次运动的步距可根据公式实时计算出来,也可以规定步距为一确定的值,用于本次迭代计算的粒子加上或减去步距后可得到用于下一次迭代计算的粒子。同时,粒子以一定的概率产生变异,而随机分布在可行解范围。
本实施例通过将摄像机定标问题转化为参数优化问题,并利用粒子群优化算法进行求解以完成摄像机定标,搜索的精度更高,无局部收敛现象,可以更大概率搜索到全局最优的定标参数,提高了定标精度,并且减少了定标时间。
实施例中包括多个步骤,而其中一些步骤可以通过通用或专用的计算机(或其他电子器件)执行机器可执行指令来实现。另外,这些步骤也可以通过包含有特定逻辑电路的硬件或者通过硬件、软件和/或固件的组合来实现。
具体实施例也可以是一个可完成这里所描述的过程的计算机程序产品,它包括一个可机读的介质,介质中存储有计算机(或其他电子器件)可执行的指令。可机读介质包括但不限于硬件驱动器、软盘、光盘、CD ROM、DVD ROM、ROM、RAM、EPROM、EEPROM、磁卡或光卡、固体存储器件或其他类型的适用于存储电子指令的媒介/可机读介质。
上述实施例中的步骤和图像处理设备可以集成在机动车辆上,也可以制作成一个单独的设备安装在机动车辆上,用于机动车辆的安全驾驶和安全泊车。上述实施例中的步骤和图像处理设备可以用于智能机器人或其他图像处理设备上。
以上内容是结合具体的实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。

Claims (16)

1.一种摄像机定标方法,其特征在于,包括:
获取模板图像步骤:对预定模板进行拍摄获取模板图像;
分配参数步骤:利用收敛算法分配一个参数系列,所述一个参数系列包括一组或多组摄像机参数;具体步骤为:将每组摄像机参数作为一个粒子的坐标,根据适应值查找出本次迭代计算的最优粒子和最差粒子,所述最优粒子为与适应值中最小适应值相关联的一组摄像机参数确定的粒子,所述最差粒子为与适应值中最大适应值相关联的一组摄像机参数确定的粒子;计算用于本次迭代计算适应值步骤中的粒子群体的密度;根据粒子群体密度确定用于下次计算适应值步骤中的参数系列,当粒子群体密度判断为低时,使粒子朝着最优粒子运动从而确定用于下次计算适应值步骤中的参数系列;当粒子群体密度判断为高时,使粒子背向最坏粒子运动从而确定用于下次计算适应值步骤中的参数系列;
计算适应值步骤:比较模板图像与预定模板的理想世界图像的差异,得到适应值,所述适应值计算步骤包括:
根据预先建立的模板图像的世界坐标和图像坐标之间的转换关系以及分配的摄像机参数,计算模板图像的图像坐标;和
计算模板图像与理想世界图像之间相同图像坐标的像素差异值的总和,得到与各组摄像机参数相关联的适应值;
终止判断步骤:判断适应值计算结果是否满足设定的终止条件,当适应值计算结果满足终止条件时将与该适应值相关联的一组摄像机参数作为定标参数;当没有满足终止条件时继续执行分配参数步骤,重新产生一个参数系列。
2.如权利要求1所述的方法,其特征在于,所述分配的每组摄像机参数包括摄像机外部参数和摄像机内部参数,所述根据模板图像的世界坐标和图像坐标之间的转换关系以及分配的摄像机参数计算模板图像的图像坐标包括:
根据预先建立的模板图像的世界坐标和摄像机坐标之间的转换关系以及摄像机外部参数计算模板图像的摄像机坐标;
根据预先建立的模板图像的摄像机坐标和图像坐标之间的转换关系以及摄像机内部参数计算模板图像的图像坐标。
3.如权利要求1所述的方法,其特征在于,所述一个参数系列包括多组摄像机参数,所述查找本次迭代计算的最优粒子和最差粒子步骤包括:
根据历次计算出的与各粒子相关联的适应值,查找个体或者群体最优粒子并将个体或者群体最优粒子作为本次迭代计算的最优粒子,查找个体或者群体最差粒子并将个体或者群体最差粒子作为本次迭代计算的最差粒子,所述某粒子的个体最优粒子为与该粒子历次计算出的适应值中最小适应值相关联的一组摄像机参数确定的粒子,所述某粒子的个体最差粒子为与该粒子历次计算出的适应值中最大适应值相关联的一组摄像机参数确定的粒子,所述某粒子的群体最优粒子为所有个体最优粒子适应值中的最小适应值相关联的一组摄像机参数确定的粒子,所述某粒子的群体最差粒子为所有个体最差粒子适应值中的最大适应值相关联的一组摄像机参数确定的粒子。
4.如权利要求1所述的方法,其特征在于,所述查找本次迭代计算的最优粒子和最差粒子步骤包括:
在本次迭代计算得到的适应值中找出最大适应值和最小适应值,将与最小适应值相关联的一组摄像机参数确定的粒子作为本次迭代计算的最优粒子,将与最大适应值相关联的一组摄像机参数确定的粒子作为本次迭代计算的最差粒子。
5.如权利要求1所述的方法,其特征在于,所述粒子群体密度的计算步骤包括:计算所有粒子各维度的平均值,得到中心粒子;计算各个粒子与中心粒子的空间欧氏距离的平方和,若该平方和超过设定的阀值则认为粒子群体密度为低,若低于设定的阀值则认为粒子群体密度为高。
6.如权利要求1至5中任一项所述的方法,其特征在于,用于进行第一次适应值计算的参数系列为随机产生。
7.如权利要求1至5中任一项所述的方法,其特征在于,所述设定的终止条件包括:收敛算法运行次数达到设定值、迭代计算的次数达到设定值和适应值达到预期值中的任一或两个以上的组合。
8.如权利要求1所述的方法,其特征在于,所述收敛算法还包括遗传算法、蚂蚁算法或鱼群算法。
9.一种图像处理设备,其特征在于包括:
摄像装置,用于对预定模板进行拍摄获取模板图像;
分配参数模块,用于利用粒子群智能算法为每次的迭代计算分配一个参数系列,所述一个参数系列包括一组或多组摄像机参数;所述分配参数模块包括:适应值评价单元,用于将每组摄像机参数作为一个粒子的坐标,根据适应值查找出本次迭代计算的最优粒子和最差粒子,所述最优粒子为与适应值中最小适应值相关联的一组摄像机参数确定的粒子,所述最差粒子为与适应值中最大适应值相关联的一组摄像机参数确定的粒子;密度计算单元,用于计算用于本次迭代计算适应值步骤中的粒子群体的密度;粒子进化单元,用于根据粒子群体密度确定用于下次计算适应值步骤中的参数系列,当粒子群体密度判断为低时,使粒子朝着最优粒子运动从而确定用于下次计算适应值步骤中的参数系列;当粒子群体密度判断为高时,使粒子背向最坏粒子运动从而确定用于下次计算适应值步骤中的参数系列;
适应值计算模块,用于比较模板图像与预定模板的理想世界图像的差异,从而得到适应值,所述适应值计算模块包括:
图像坐标计算单元,用于根据预先建立的模板图像的世界坐标和图像坐标之间的转换关系以及分配的摄像机参数,计算模板图像的图像坐标;和
像素差异值计算单元,用于计算模板图像与理想世界图像之间相同图像坐标的像素差异值的总和,得到与各组摄像机参数相关联的适应值;
终止判断模块,用于判断适应值计算结果是否满足设定的终止条件,当适应值计算结果满足终止条件时将与该适应值相关联的一组摄像机参数作为定标参数;当没有满足终止条件时继续执行分配参数步骤,重新产生一个参数系列。
10.如权利要求9所述的图像处理设备,其特征在于,所述分配的每组摄像机参数包括摄像机外部参数和摄像机内部参数,所述图像坐标计算单元用于根据预先建立的模板图像的世界坐标和摄像机坐标之间的转换关系以及摄像机外部参数计算模板图像的摄像机坐标,根据预先建立的模板图像的摄像机坐标和图像坐标之间的转换关系以及摄像机内部参数计算模板图像的图像坐标。
11.如权利要求9所述的图像处理设备,其特征在于,所述一个参数系列包括多组摄像机参数,所述适应值评价单元用于:
根据历次计算出的与各粒子相关联的适应值,查找个体最优粒子或者群体最优粒子并将个体或者群体最优粒子作为本次迭代计算的最优粒子,查找个体最差粒子或者群体最差粒子并将个体或者群体最差粒子作为本次迭代计算的最差粒子,所述某粒子的个体最优粒子为与该粒子历次计算出的适应值中最小适应值相关联的一组摄像机参数确定的粒子,所述某粒子的个体最差粒子为与该粒子历次计算出的适应值中最大适应值相关联的一组摄像机参数确定的粒子,所述某粒子的群体最优粒子为所有个体最优粒子适应值中的最小适应值相关联的一组摄像机参数确定的粒子,所述某粒子的群体最差粒子为所有个体最差粒子适应值中的最大适应值相关联的一组摄像机参数确定的粒子。
12.如权利要求9所述的图像处理设备,其特征在于,所述适应值评价单元用于:
在本次迭代计算得到的适应值中找出最大适应值和最小适应值,将与最小适应值相关联的一组摄像机参数确定的粒子作为本次迭代计算的最优粒子,将与最大适应值相关联的一组摄像机参数确定的粒子作为本次迭代计算的最差粒子。
13.如权利要求9所述的图像处理设备,其特征在于,所述密度计算单元用于:计算所有粒子各维度的平均值,得到中心粒子;计算各个粒子与中心粒子的空间欧氏距离的平方和,若该平方和超过设定的阀值则认为粒子群体密度为低,若低于设定的阀值则认为粒子群体密度为高。
14.如权利要求9至13中任一项所述的图像处理设备,其特征在于,用于进行第一次适应值计算的参数系列为随机产生。
15.如权利要求9所述的图像处理设备,其特征在于,所述设定的终止条件包括:收敛算法运行次数达到设定值、迭代计算的次数达到设定值和适应值达到预期值中的任一或两个以上的组合。
16.一种包括如权利要求9至15中任一项所述的图像处理设备的机动车辆。
CN2010102530220A 2010-08-13 2010-08-13 一种摄像机定标方法、图像处理设备和机动车辆 Expired - Fee Related CN101957990B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2010102530220A CN101957990B (zh) 2010-08-13 2010-08-13 一种摄像机定标方法、图像处理设备和机动车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2010102530220A CN101957990B (zh) 2010-08-13 2010-08-13 一种摄像机定标方法、图像处理设备和机动车辆

Publications (2)

Publication Number Publication Date
CN101957990A CN101957990A (zh) 2011-01-26
CN101957990B true CN101957990B (zh) 2012-07-04

Family

ID=43485307

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010102530220A Expired - Fee Related CN101957990B (zh) 2010-08-13 2010-08-13 一种摄像机定标方法、图像处理设备和机动车辆

Country Status (1)

Country Link
CN (1) CN101957990B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102354399B (zh) * 2011-09-26 2016-03-02 深圳普捷利科技有限公司 一种摄像机外部参数自定标方法及装置
CN103578133B (zh) * 2012-08-03 2016-05-04 浙江大华技术股份有限公司 一种将二维图像信息进行三维重建的方法和设备
CN104240216A (zh) * 2013-06-07 2014-12-24 光宝电子(广州)有限公司 图像校正方法、模块及其电子装置
CN104751912B (zh) * 2013-12-30 2017-11-28 中核武汉核电运行技术股份有限公司 一种基于视角修正的视频测量方法
CN104899852A (zh) * 2014-03-03 2015-09-09 西南科技大学 一种基于遗传算法及支持向量机的微小颗粒检测系统标定方法
CN105809657A (zh) * 2014-12-30 2016-07-27 Tcl集团股份有限公司 一种角点检测方法和装置
CN105678740B (zh) * 2015-12-30 2019-06-07 完美幻境(北京)科技有限公司 一种相机几何标定处理方法及装置
CN106873619B (zh) * 2017-01-23 2021-02-02 上海交通大学 一种无人机飞行路径的处理方法
CN108613697A (zh) * 2018-05-31 2018-10-02 北京智行者科技有限公司 用于对车辆传感器的参数进行标定的设备和方法
CN114339054B (zh) * 2019-12-31 2024-01-09 北京华为数字技术有限公司 拍照模式的生成方法、装置和计算机可读存储介质
CN111289957B (zh) * 2020-03-10 2022-08-16 上海高仙自动化科技发展有限公司 外参标定方法及装置、智能机器人及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1719477A (zh) * 2005-05-19 2006-01-11 上海交通大学 摄像机或照相机几何畸变的标定方法
CN1801953A (zh) * 2005-12-15 2006-07-12 上海交通大学 仅用一幅平面标定物图像的摄像机标定方法
CN101025824A (zh) * 2007-03-30 2007-08-29 东南大学 三维扫描系统中的基于固定参数与可变参数的标定方法
CN101661617A (zh) * 2008-08-30 2010-03-03 深圳华为通信技术有限公司 摄像机标定的方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008187566A (ja) * 2007-01-31 2008-08-14 Sanyo Electric Co Ltd カメラ校正装置及び方法並びに車両

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1719477A (zh) * 2005-05-19 2006-01-11 上海交通大学 摄像机或照相机几何畸变的标定方法
CN1801953A (zh) * 2005-12-15 2006-07-12 上海交通大学 仅用一幅平面标定物图像的摄像机标定方法
CN101025824A (zh) * 2007-03-30 2007-08-29 东南大学 三维扫描系统中的基于固定参数与可变参数的标定方法
CN101661617A (zh) * 2008-08-30 2010-03-03 深圳华为通信技术有限公司 摄像机标定的方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王德超等.基于改进粒子群优化算法的非线性摄像机标定.《计算机工程与科学》.2007,第29卷(第11期),正文第1-3页. *

Also Published As

Publication number Publication date
CN101957990A (zh) 2011-01-26

Similar Documents

Publication Publication Date Title
CN101957990B (zh) 一种摄像机定标方法、图像处理设备和机动车辆
CN112424828B (zh) 一种集成空间约束的核模糊c均值快速聚类算法
CN109545072B (zh) 地图构建的位姿计算方法、装置、存储介质和系统
US9053389B2 (en) Hough transform for circles
CN111476242B (zh) 一种激光点云语义分割方法及装置
CN111028350B (zh) 一种利用双目立体相机构建栅格地图的方法
CN110738707A (zh) 一种相机的畸变校正方法及装置、设备、存储介质
CN111028327A (zh) 一种三维点云的处理方法、装置及设备
EP3293700A1 (en) 3d reconstruction for vehicle
CN102231788A (zh) 信号的高速和低复杂度的分条几何变换的方法及装置
CN111553845B (zh) 一种基于优化的三维重建的快速图像拼接方法
WO2018102990A1 (en) System and method for rectifying a wide-angle image
CN113593035A (zh) 一种运动控制决策生成方法、装置、电子设备及存储介质
KR101921071B1 (ko) 다중 프레임에서의 센서 융합을 통한 3차원 객체의 포즈 추정 방법 및 이를 구비한 장치
CN111179184B (zh) 基于随机抽样一致性的鱼眼图像有效区域提取方法
CN110365404B (zh) 无波前传感自适应系统及利用该系统提高收敛速度的方法
CN114119437B (zh) 一种基于gms的用于改善运动物体畸变的图像拼接方法
US20190340785A1 (en) Image processing for object detection
JP2021529370A (ja) ターゲット対象の向きの決定方法、スマート運転制御方法及び装置並びに機器
CN112132902B (zh) 车载摄像头外参调整方法、装置、电子设备以及介质
US20070280555A1 (en) Image registration based on concentric image partitions
CN115542346A (zh) 地面检测方法、装置、车辆及存储介质
WO2009002031A2 (en) Belief propagation based fast systolic array system and message processing method using the same
Lim et al. Integration of Vehicle Detection and Distance Estimation using Stereo Vision for Real-Time AEB System.
Perez-Patricio et al. A fuzzy logic approach for stereo matching suited for real-time processing

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: SHENZHEN SAFDAO TECHNOLOGY CORPORATION LIMITED.

Free format text: FORMER OWNER: WUHAN UNIVERSITY

Effective date: 20130115

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: 430072 WUHAN, HUBEI PROVINCE TO: 518055 SHENZHEN, GUANGDONG PROVINCE

TR01 Transfer of patent right

Effective date of registration: 20130115

Address after: 518055 Shenzhen Nanshan District city Taoyuan Street Branch University City Pioneering Park Room 804 industrial and mining enterprises

Patentee after: ShenZhen Safdao Technology Corporation Limited

Address before: 430072 Hubei city of Wuhan province Wuchang Luojiashan

Patentee before: Wuhan University

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120704

Termination date: 20180813