CN113610927A - 一种avm摄像头参数标定方法、装置及电子设备 - Google Patents

一种avm摄像头参数标定方法、装置及电子设备 Download PDF

Info

Publication number
CN113610927A
CN113610927A CN202110901601.XA CN202110901601A CN113610927A CN 113610927 A CN113610927 A CN 113610927A CN 202110901601 A CN202110901601 A CN 202110901601A CN 113610927 A CN113610927 A CN 113610927A
Authority
CN
China
Prior art keywords
camera
corner
coordinates
coordinate
checkerboard
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110901601.XA
Other languages
English (en)
Other versions
CN113610927B (zh
Inventor
刘震
赵德海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mgjia Beijing Technology Co ltd
Original Assignee
Mgjia Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mgjia Beijing Technology Co ltd filed Critical Mgjia Beijing Technology Co ltd
Priority to CN202110901601.XA priority Critical patent/CN113610927B/zh
Publication of CN113610927A publication Critical patent/CN113610927A/zh
Application granted granted Critical
Publication of CN113610927B publication Critical patent/CN113610927B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20164Salient point detection; Corner detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种AVM摄像头参数标定方法、装置及电子设备,在目标空间内设计棋盘格并建立坐标系,并将待标定车辆停放在目标空间的指定位置;通过待标定车辆的各个摄像头采集棋盘格图像,并对棋盘格图像进行角点检测,得到相应的角点坐标集合;基于观察到角点坐标的摄像头数量,对角点坐标集合中的各个角点坐标进行分类,并根据角点坐标分类结果确定分类权重;对各个摄像头的内参和外参进行优化,并根据优化结果完成对摄像头的标定。本发明通过对摄像头采集图像中不同区域授予不同的权重,可以改善图象拼接效果,同时,通过计算对摄像头的内参和外参进行优化,有效避免了不同摄像头的出厂内参有所差异从而影响精度的问题,提高了标定的准确度。

Description

一种AVM摄像头参数标定方法、装置及电子设备
技术领域
本发明涉及汽车全景环视技术领域,具体涉及一种AVM摄像头参数标定 方法、装置及电子设备。
背景技术
360全景系统又称为全景环视系统,一般采用4个超广角鱼眼摄像头,分 别布置在汽车前、后、左、右四个方向来捕获车身周围环境信息。该系统对同 一时刻拍摄的四张图像进行畸变校正,投影,拼接,融合等操作后,得到车身 周围信息,最终表现的形式一般有车身鸟瞰图以及3D AR View视图,这被显 示在车辆中控屏上,让驾驶员能够发现车身附近的行人,车辆以及障碍物,帮 助驾驶员进行倒车,转弯等行为,较少事故的发生。
为了达到以上目的而对图像进行畸变校正、投影、拼接、融合的操作,需 要提前测定好四个摄像头参数数据,包括摄像头畸变参数,焦距,光心位置以 及摄像头与地面的相对距离和相对姿态。其中畸变参数,焦距,光心位置被称 为摄像头内参,而与地面的相对距离和相对姿态被称为摄像头外参。对环视四 个摄像头内参和外参的标定被称为AVM摄像头标定。AVM摄像头标定是车辆 出厂必不可少的一步,它直接决定了360全景环视系统能否正常工作。
目前业内常用的AVM摄像头标定流程是:将待标定车辆停在标定车间的 指定位置,其中标定车间已经在平整的地面上铺设好特定规格、特定位置的棋 盘格;将棋盘格的位置信息及汽车四个鱼眼摄像头采集到的四张图片作为输入 给到标定系统,并读取预先设定的摄像头内参;标定系统利用Stereo Calibration 算法等现有算法计算得出四个摄像头的外参信息,完成相机标定。但是这种标 定方式在标定前,需要提供精确的相机内参,内参是否准确直接影响最终的标 定结果;并且对每个相机分别求解外参,这样的求解结果仅依赖于标定车间的 棋盘格位置精度,而忽视了相机之间的相对位置关系,从而影响标定结果的准 确性。
发明内容
有鉴于此,本发明实施例提供了一种AVM摄像头参数标定方法、装置及 电子设备,以解决现有的AVM摄像头参数标定方式标定结果准确性低的问题。
为达到上述目的,本发明提供如下技术方案:
本发明实施例提供了一种AVM摄像头参数标定方法,其特征在于,所述 方法包括如下步骤:
在目标空间内设计棋盘格并建立坐标系,并将待标定车辆停放在所述目标 空间的指定位置,以使各个摄像头采集的图像覆盖所述棋盘格,并且相邻两个 摄像头采集的图像存在棋盘格重叠区域;
通过所述待标定车辆的各个摄像头采集棋盘格图像,并对所述棋盘格图像 进行角点检测,得到相应的角点坐标集合;
基于观察到角点坐标的摄像头数量,对所述角点坐标集合中的各个角点坐 标进行分类,并根据角点坐标分类结果确定分类权重;
基于各个摄像头的预设内参、角点坐标分类结果及对应的分类权重,对各 个摄像头的内参和外参进行优化,并根据优化结果完成对摄像头的标定。
可选的,所述对所述角点坐标集合中的各个角点坐标进行分类,包括:
判断是否只有一个摄像头观察到当前角点坐标;
当只有一个摄像头观察到当前角点坐标时,将所述当前角点坐标添加至一 类集合;
当有多个摄像头观察到当前角点坐标时,将所述当前角点坐标添加至二类 集合。
可选的,所述根据角点坐标分类结果确定分类权重,包括:
分别获取所述角点坐标集合、一类集合和二类集合中角点坐标的数量;
基于所述一类集合与所述角点坐标集合中角点坐标的数量的关系,确定所 述一类集合对应的非共视区域权重;
基于所述二类集合与所述角点坐标集合中角点坐标的数量的关系,确定所 述二类集合对应的共视区域权重。
可选的,所述对各个摄像头的内参和外参进行优化,包括:
获取所述摄像头的预设内参,并通过所述预设内参得到初始外参;
通过角点坐标分类结果及对应的分类权重对各个摄像头的预设内参、初始 外参进行优化。
可选的,所述通过所述预设内参得到初始外参,包括:
基于所述预设内参,确定等距投影模型;
将所述角点坐标代入所述等距投影模型得到摄像机坐标系下的摄像机坐 标;
基于所述角点坐标和所述摄像机坐标的关系,确定所述初始外参。
可选的,所述通过角点坐标分类结果及对应的分类权重对各个摄像头的预 设内参、初始外参进行优化,包括:
通过如下公式对各个摄像头的预设内参、初始外参进行优化:
Figure BDA0003200094970000041
其中,e为优化指标,p1、p2为角点坐标分类集合,R、t为摄像头的初始 外参,Pw为角点坐标,Pc为摄像机坐标,ω1、ω2为权重系数;
对e求解最小值得到摄像头内参和外参的最优解。
可选的,所述在目标空间内设计棋盘格并建立坐标系,包括:
在所述目标空间内设计棋盘格的摆放位置;
选取所述目标空间内任意一点为坐标原点;
基于所述坐标原点,在所述目标空间内建立空间直角坐标系。
本发明实施例还提供了一种AVM摄像头标定装置,其特征在于,包括:
配置模块,用于在目标空间内设计棋盘格并建立坐标系,并将待标定车辆 停放在所述目标空间的指定位置,以使各个摄像头采集的图像覆盖所述棋盘格, 并且相邻两个摄像头采集的图像存在棋盘格重叠区域;
获取模块,用于通过所述待标定车辆的各个摄像头采集棋盘格图像,并对 所述棋盘格图像进行角点检测,得到相应的角点坐标集合;
分类处理模块,用于基于观察到角点坐标的摄像头数量,对所述角点坐标 集合中的各个角点坐标进行分类,并根据角点坐标分类结果确定分类权重;
优化处理模块,用于基于各个摄像头的预设内参、角点坐标分类结果及对 应的分类权重,对各个摄像头的内参和外参进行优化,并根据优化结果完成对 摄像头的标定。
本发明实施例还提供了一种电子设备,包括:
存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储 器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行本发 明实施例提供的AVM摄像头参数标定方法。
本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介 质存储计算机指令,所述计算机指令用于使所述计算机执行本发明实施例提供 的AVM摄像头参数标定方法。
本发明技术方案,具有如下优点:
本发明实施例提供了一种AVM摄像头参数标定方法、装置及电子设备, 通过在目标空间内设计棋盘格并建立坐标系,并将待标定车辆停放在目标空间 的指定位置,以使各个摄像头采集的图像覆盖棋盘格,并且相邻两个摄像头采 集的图像存在棋盘格重叠区域;通过待标定车辆的各个摄像头采集棋盘格图像, 并对棋盘格图像进行角点检测,得到相应的角点坐标集合;基于观察到角点坐 标的摄像头数量,对角点坐标集合中的各个角点坐标进行分类,并根据角点坐 标分类结果确定分类权重;基于各个摄像头的预设内参、角点坐标分类结果及 对应的分类权重,对各个摄像头的内参和外参进行优化,并根据优化结果完成 对摄像头的标定。本发明实施例提供的标定方法通过对摄像头采集图像中重叠 区域和非重叠区域授予不同的权重,可以改善图象拼接效果,同时,通过计算 对摄像头的内参和外参进行优化,有效避免了不同摄像头的出厂内参有所差异 从而影响精度的问题,提高了标定的准确度。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将 对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见 地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来 讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中的AVM摄像头参数标定方法的流程图;
图2为根据本发明实施例的对角点坐标集合中的各个角点坐标进行分类, 并根据角点坐标分类结果确定分类权重的具体流程图;
图3为根据本发明实施例的对各个摄像头的内参和外参进行优化的具体流 程图;
图4为根据本发明实施例的在目标空间内设计棋盘格并建立坐标系的具体 流程图;
图5为本发明实施例中的AVM摄像头参数标定装置的结构示意图;
图6为本发明实施例中的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明 实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然, 所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中 的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实 施例,都属于本发明保护的范围。
根据本发明实施例,提供了一种AVM摄像头参数标定方法实施例,需要 说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计 算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下, 可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中提供了一种AVM摄像头参数标定方法,如图1所示,该AVM 摄像头参数标定方法包括如下步骤:
步骤S1:在目标空间内设计棋盘格并建立坐标系,并将待标定车辆停放在 目标空间的指定位置,以使各个摄像头采集的图像覆盖棋盘格,并且相邻两个 摄像头采集的图像存在棋盘格重叠区域。
具体的,由于车辆的摄像头标定是在特定的空间内进行的,所以预先在目 标空间内设计棋盘格,并设定好车辆的停放位置,便于对其进行标定;在车辆 停放至指定位置时,只要摄像头的角度没有出现较大偏差,均可达到覆盖棋盘 格且相邻两个摄像头采集的图像存在棋盘格重叠区域的效果,若出现摄像头采 集的图象未达到此效果,需要对摄像头进行角度调整,确保标定的顺利进行。
步骤S2:通过待标定车辆的各个摄像头采集棋盘格图像,并对棋盘格图像 进行角点检测,得到相应的角点坐标集合。
具体的,通过摄像头拍摄的图象对图象进行棋盘格角点检测,以获取每张 图象上的棋盘格角点坐标Pw(u,v),将所有的角点坐标进行整理得到角点坐标 集合。
步骤S3:基于观察到角点坐标的摄像头数量,对角点坐标集合中的各个角 点坐标进行分类,并根据角点坐标分类结果确定分类权重。
具体的,由于分类是根据重叠区域和非重叠区域划分的,每两个摄像头拍 摄到的图像之间存在重叠部分的区域为重叠区域,只有一个摄像头拍摄到的区 域为非重叠区域,其中角点坐标的数量是确定分类权重的系数的重要依据,所 以在确定分类权重时,要根据不同分类集合中角点坐标的数量进行。
步骤S4:基于各个摄像头的预设内参、角点坐标分类结果及对应的分类权 重,对各个摄像头的内参和外参进行优化,并根据优化结果完成对摄像头的标 定。
具体的,对摄像头内参和外参的优化过程,是为了避免不同的摄像头的内 参有所差异从而导致的标定结果不准确的问题;在对内参和外参进行优化,可 以有效增提高标定的准确度。
通过上述步骤S1至步骤S4,本发明实施例提供的AVM摄像头参数标定方 法,通过对摄像头采集图像中重叠区域和非重叠区域授予不同的权重,可以改 善图象拼接效果,同时,通过计算对摄像头的内参和外参进行优化,有效避免 了不同摄像头的出厂内参有所差异从而影响精度的问题,提高了标定的准确度。
具体地,在一实施例中,上述的步骤S1中在目标空间内设计棋盘格并建立 坐标系,如图2所示,具体包括如下步骤:
步骤S11:在所述目标空间内设计棋盘格的摆放位置。具体的,由于车辆 的摄像头标定是在特定的空间内进行的,所以预先在目标空间内设计棋盘格。
步骤S12:选取所述目标空间内任意一点为坐标原点。
步骤S13:基于所述坐标原点,在所述目标空间内建立空间直角坐标系。 具体的,通过建立空间直角坐标系,便于获取同一坐标系下的角点坐标值。
具体地,在一实施例中,上述的步骤S3中对角点坐标集合中的各个角点坐 标进行分类,并根据角点坐标分类结果确定分类权重,如图3所示,具体包括 如下步骤:
步骤S31:判断是否只有一个摄像头观察到当前角点坐标。
步骤S32:当只有一个摄像头观察到当前角点坐标时,将所述当前角点坐 标添加至一类集合。
步骤S33:当有多个摄像头观察到当前角点坐标时,将所述当前角点坐标 添加至二类集合。
具体的,摄像头拍摄的图像,分为两个部分,第一部分为与其它摄像头重 叠区域,第二部分为仅存在于此摄像头拍摄的图像中的区域,非重叠区域中的 角点坐标集合为一类集合p1,重叠区域中的角点坐标集合为二类集合p2
步骤S34:分别获取角点坐标集合、一类集合和二类集合中角点坐标的数 量。
步骤S35:基于所述一类集合与所述角点坐标集合中角点坐标的数量的关 系,确定所述一类集合对应的非共视区域权重。
步骤S36:基于所述二类集合与所述角点坐标集合中角点坐标的数量的关 系,确定所述二类集合对应的共视区域权重。
具体的,上述步骤S33至步骤S35为权重的计算,通过对不同区域角点坐 标进行统计计算,获取不同区域角点坐标的权重,具体计算方式为:假设角点 坐标集合中角点坐标数量为sum,共视区域的角点总数为r,则非共视区域的权 重ω1和共视区域的权重ω2分别为:
ω1=r/sum;
ω2=1-r/sum。
例如,摄像头采集的图像上共检测到40个角点坐标,其中处于共视区域的 角点数量为16,则ω1和ω2分别为:
ω1=16/40=0.6;
ω2=1-16/40=0.4。
具体的,由于分类是根据重叠区域和非重叠区域划分的,每两个摄像头拍 摄到的图像之间存在重复交叠部分的区域为重叠区域,只有一个摄像头拍摄到 的在其他摄像头拍摄的图像里未出现的区域为非重叠区域,其中角点坐标的数 量是确定分类权重的系数的重要依据,所以在确定分类权重时,要根据不同分 类集合中角点坐标的数量进行,通过对摄像头采集图像中重叠区域和非重叠区 域授予不同的权重,可以改善图象拼接效果。
具体地,在一实施例中,上述的步骤S4中对各个摄像头的内参和外参进行 优化,具体包括如下步骤:
步骤S41:获取摄像头的预设内参,并通过预设内参得到初始外参。
具体的,外参描述的是三维世界里的刚体运动,包含3*3大小的旋转矩阵 R,和3*1的平移矩阵t。环视相机标定的过程,目的就是将摄像头的位置经过 旋转、平移,使其拍摄到的画面能够从车顶向下投影,形成俯视画面,此时的 位置和摄像头安装的位置之间,就可以通过R,t外参来描述。
具体地,在一实施例中,上述的步骤S41,如图4所示,具体包括如下步 骤:
步骤S411:基于所述预设内参,确定等距投影模型
步骤S412:通过摄像头的预设内参将角点坐标代入等距投影模型得到摄像 机坐标系下的摄像机坐标。
具体的,环视摄像头的内参采用等距模型来描述,如公式(1)所述,摄像 头的内参包括鱼眼矫正畸变参数、焦距和图像光心坐标。
Figure BDA0003200094970000121
其中,k1、k2、k3、k4为鱼眼矫正畸变参数,fx、fy为相机教具,cx、cy为 图像光心坐标,Pw(u,v)为角点坐标,Pc(x,y,z)为摄像机坐标。
步骤S413:基于所述角点坐标和所述摄像机坐标的关系,确定所述初始外 参,此处的初始外参为R、t构成的集合,R、t有很多可能性,每一种可能性 都作为一种初始外参。
具体的,Pc和Pw之间存在如下关系:
Pw=RPc+t (2)
其中,Pw为角点坐标,Pc为摄像机坐标,R为3*3旋转矩阵,t为3*1平 移矩阵,R、t两者共同构成相机外参。
步骤S42:通过角点坐标分类结果及对应的分类权重对各个摄像头的预设 内参、初始外参进行优化。
具体的,在通过R,t来构成外参时,通常会出现误差,尤其是当检测到的 角点坐标集合较大时,所以通过最小二乘法来对外参和内参进行最优求解。
具体地,在一实施例中,上述的步骤S42,如图4所示,具体包括如下步 骤:
步骤S421:通过如下公式对各个摄像头的预设内参、初始外参进行优化, 优化公式(3):
Figure BDA0003200094970000131
其中,e为优化指标,p1、p2为角点坐标分类集合,R、t为摄像头的初始 外参,Pw为角点坐标,Pc为摄像机坐标,ω1、ω2为权重系数。
具体的,p1为非重叠区域中的角点坐标集合,p2为重叠区域中的角点坐标 集合,ω1为非共视区域的权重,ω2为共视区域的权重。优化过程只要对e求 最小值就可以得到相机内参和外参的最优解。
步骤S422:对e求解最小值得到优化后的摄像头内参和外参。
具体的,考虑到等式中的变量有外参R、t,为了达到最优效果,将内参 fx,fy,cx,cy,k1,k2,k3,k4也作为优化变量。所以我们要求解e对 内参和外参的偏导,以确定下一步的优化方向,以内参fx为例:
通过链式法则,可得:
Figure BDA0003200094970000141
因为
Figure BDA0003200094970000142
求得
Figure BDA0003200094970000143
将R用李代数形式表达:
Figure BDA0003200094970000144
所以
Figure BDA0003200094970000151
同理可以求得对其他内参和外参的偏导,设最终得到的雅各比矩阵为J, 通过LM迭代算法对内参和外参进行优化求解。
具体的,通过对摄像头内参和外参的优化过程,避免不同的摄像头的内参 有所差异从而导致的标定结果不准确的问题;在对内参和外参进行优化,可以 有效增提高标定的准确度。
本发明实施例通过在目标空间内设计棋盘格并建立坐标系,并将待标定车 辆停放在所述目标空间的指定位置,以使各个摄像头采集的图像覆盖所述棋盘 格,并且相邻两个摄像头采集的图像存在棋盘格重叠区域;通过所述待标定车 辆的各个摄像头采集棋盘格图像,并对所述棋盘格图像进行角点检测,得到相 应的角点坐标集合;基于观察到角点坐标的摄像头数量,对所述角点坐标集合 中的各个角点坐标进行分类,并根据角点坐标分类结果确定分类权重;基于各 个摄像头的预设内参、角点坐标分类结果及对应的分类权重,对各个摄像头的 内参和外参进行优化,并根据优化结果完成对摄像头的标定。本发明实施例提 供的标定方法通过对摄像头采集图像中重叠区域和非重叠区域授予不同的权重,可以改善图象拼接效果,同时,通过计算对摄像头的内参和外参进行优化, 有效避免了不同摄像头的出厂内参有所差异从而影响精度的问题,提高了标定 的准确度。
在本实施例中还提供了一种AVM摄像头标定装置,该装置用于实现上述 实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语 “模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的 装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能 并被构想的。
本实施例提供一种AVM摄像头标定装置,如图5所示,包括:
配置模块101,用于在目标空间内设计棋盘格并建立坐标系,并将待标定 车辆停放在目标空间的指定位置,以使各个摄像头采集的图像覆盖棋盘格,并 且相邻两个摄像头采集的图像存在棋盘格重叠区域,详细内容参见上述方法实 施例中步骤S1的相关描述,在此不再进行赘述。
获取模块102,用于通过待标定车辆的各个摄像头采集棋盘格图像,并对 棋盘格图像进行角点检测,得到相应的角点坐标集合,详细内容参见上述方法 实施例中步骤S2的相关描述,在此不再进行赘述。
分类处理模块103,用于基于观察到角点坐标的摄像头数量,对角点坐标 集合中的各个角点坐标进行分类,并根据角点坐标分类结果确定分类权重,详 细内容参见上述方法实施例中步骤S3的相关描述,在此不再进行赘述。
优化处理模块104,用于基于各个摄像头的预设内参、角点坐标分类结果 及对应的分类权重,对各个摄像头的内参和外参进行优化,并根据优化结果完 成对摄像头的标定,详细内容参见上述方法实施例中步骤S4的相关描述,在此 不再进行赘述。
本实施例中的AVM摄像头标定装置是以功能单元的形式来呈现,这里的 单元是指ASIC电路,执行一个或多个软件或固定程序的处理器和存储器,和/ 或其他可以提供上述功能的器件。
上述各个模块的更进一步的功能描述与上述对应实施例相同,在此不再赘 述。
通过上述各个组成部分的协同合作,本发明实施例提供的AVM摄像头标 定装置通过对摄像头采集图像中重叠区域和非重叠区域授予不同的权重,可以 改善图象拼接效果,同时,通过计算对摄像头的内参和外参进行优化,有效避 免了不同摄像头的出厂内参有所差异从而影响精度的问题,提高了标定的准确 度。
根据本发明实施例还提供了一种电子设备,如图6所示,该电子 设备可以包括处理器901和存储器902,其中处理器901和存储器902
处理器901可以为中央处理器(Central Processing Unit,CPU)。处理器 901还可以为其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、 专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门 阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立 门或者晶体管逻辑器件、分立硬件组件等芯片,或者上述各类芯片的组合。
存储器902作为一种非暂态计算机可读存储介质,可用于存储非暂态软件 程序、非暂态计算机可执行程序以及模块,如本发明方法实施例中的方法所对 应的程序指令/模块。处理器901通过运行存储在存储器902中的非暂态软件程 序、指令以及模块,从而执行处理器的各种功能应用以及数据处理,即实现上 述方法实施例中的方法。
存储器902可以包括存储程序区和存储数据区,其中,存储程序区可存储 操作系统、至少一个功能所需要的应用程序;存储数据区可存储处理器901所 创建的数据等。此外,存储器902可以包括高速随机存取存储器,还可以包括 非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存 储器件。在一些实施例中,存储器902可选包括相对于处理器901远程设置的 存储器,这些远程存储器可以通过网络连接至处理器901。上述网络的实例包 括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一个或者多个模块存储在存储器902中,当被处理器901执行时,执行上 述方法实施例中的方法。
上述电子设备具体细节可以对应参阅上述方法实施例中对应的相关描述和 效果进行理解,此处不再赘述。
本领域技术人员可以理解,实现上述实施例方法中的全部或部分流程,是 可以通过计算机程序来指令相关的硬件来完成,的程序可存储于一计算机可读 取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中, 存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)、随 机存储记忆体(Random Access Memory,RAM)、快闪存储器(Flash Memory)、 硬盘(Hard Disk Drive,缩写:HDD)或固态硬盘(Solid-State Drive,SSD)等; 存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例,但是本领域技术人员可以在不脱离 本发明的精神和范围的情况下做出各种修改和变型,这样的修改和变型均落入 由所附权利要求所限定的范围之内。

Claims (10)

1.一种AVM摄像头参数标定方法,其特征在于,所述方法包括如下步骤:
在目标空间内设计棋盘格并建立坐标系,并将待标定车辆停放在所述目标空间的指定位置,以使各个摄像头采集的图像覆盖所述棋盘格,并且相邻两个摄像头采集的图像存在棋盘格重叠区域;
通过所述待标定车辆的各个摄像头采集棋盘格图像,并对所述棋盘格图像进行角点检测,得到相应的角点坐标集合;
基于观察到角点坐标的摄像头数量,对所述角点坐标集合中的各个角点坐标进行分类,并根据角点坐标分类结果确定分类权重;
基于各个摄像头的预设内参、角点坐标分类结果及对应的分类权重,对各个摄像头的内参和外参进行优化,并根据优化结果完成对摄像头的标定。
2.根据权利要求1所述的AVM摄像头参数标定方法,其特征在于,所述对所述角点坐标集合中的各个角点坐标进行分类,包括:
判断是否只有一个摄像头观察到当前角点坐标;
当只有一个摄像头观察到当前角点坐标时,将所述当前角点坐标添加至一类集合;
当有多个摄像头观察到当前角点坐标时,将所述当前角点坐标添加至二类集合。
3.根据权利要求2所述的AVM摄像头参数标定方法,其特征在于,所述根据角点坐标分类结果确定分类权重,包括:
分别获取所述角点坐标集合、一类集合和二类集合中角点坐标的数量;
基于所述一类集合与所述角点坐标集合中角点坐标的数量的关系,确定所述一类集合对应的非共视区域权重;
基于所述二类集合与所述角点坐标集合中角点坐标的数量的关系,确定所述二类集合对应的共视区域权重。
4.根据权利要求1所述的AVM摄像头参数标定方法,其特征在于,所述对各个摄像头的内参和外参进行优化,包括:
获取所述摄像头的预设内参,并通过所述预设内参得到初始外参;
通过角点坐标分类结果及对应的分类权重对各个摄像头的预设内参、初始外参进行优化。
5.根据权利要求4所述的AVM摄像头参数标定方法,其特征在于,所述通过所述预设内参得到初始外参,包括:
基于所述预设内参,确定等距投影模型;
将所述角点坐标代入所述等距投影模型得到摄像机坐标系下的摄像机坐标;
基于所述角点坐标和所述摄像机坐标的关系,确定所述初始外参。
6.根据权利要求5所述的AVM摄像头参数标定方法,其特征在于,所述通过角点坐标分类结果及对应的分类权重对各个摄像头的预设内参、初始外参进行优化,包括:
通过如下公式对各个摄像头的预设内参、初始外参进行优化:
Figure FDA0003200094960000031
其中,e为优化指标,p1、p2为角点坐标分类集合,R、t为摄像头的初始外参,Pw为角点坐标,Pc为摄像机坐标,ω1、ω2为权重系数;
对e求解最小值得到优化后的摄像头内参和外参。
7.根据权利要求1所述的AVM摄像头参数标定方法,其特征在于,所述在目标空间内设计棋盘格并建立坐标系,包括:
在所述目标空间内设计棋盘格的摆放位置;
选取所述目标空间内任意一点为坐标原点;
基于所述坐标原点,在所述目标空间内建立空间直角坐标系。
8.一种AVM摄像头标定装置,其特征在于,包括:
配置模块,在目标空间内设计棋盘格并建立坐标系,并将待标定车辆停放在所述目标空间的指定位置,以使各个摄像头采集的图像覆盖所述棋盘格,并且相邻两个摄像头采集的图像存在棋盘格重叠区域;
获取模块,通过所述待标定车辆的各个摄像头采集棋盘格图像,并对所述棋盘格图像进行角点检测,得到相应的角点坐标集合;
分类处理模块,基于观察到角点坐标的摄像头数量,对所述角点坐标集合中的各个角点坐标进行分类,并根据角点坐标分类结果确定分类权重;
优化处理模块,基于各个摄像头的预设内参、角点坐标分类结果及对应的分类权重,对各个摄像头的内参和外参进行优化,并根据优化结果完成对摄像头的标定。
9.一种电子设备,其特征在于,包括:
存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行权利要求1-7中任一项所述的AVM摄像头参数标定方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的AVM摄像头参数标定方法。
CN202110901601.XA 2021-08-06 2021-08-06 一种avm摄像头参数标定方法、装置及电子设备 Active CN113610927B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110901601.XA CN113610927B (zh) 2021-08-06 2021-08-06 一种avm摄像头参数标定方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110901601.XA CN113610927B (zh) 2021-08-06 2021-08-06 一种avm摄像头参数标定方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN113610927A true CN113610927A (zh) 2021-11-05
CN113610927B CN113610927B (zh) 2022-04-15

Family

ID=78339658

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110901601.XA Active CN113610927B (zh) 2021-08-06 2021-08-06 一种avm摄像头参数标定方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN113610927B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115660959A (zh) * 2022-12-27 2023-01-31 摩尔线程智能科技(北京)有限责任公司 图像的生成方法、装置、电子设备及存储介质

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101321303A (zh) * 2008-07-17 2008-12-10 上海交通大学 非平面多投影显示的几何与光学校正方法
CN103035008A (zh) * 2012-12-15 2013-04-10 北京工业大学 一种多相机系统的加权标定方法
CN103646403A (zh) * 2013-12-26 2014-03-19 北京经纬恒润科技有限公司 一种车载多摄像头标定方法、系统及图像处理装置
CN106780630A (zh) * 2017-01-09 2017-05-31 上海商泰汽车信息系统有限公司 标定板装置、车载摄像头标定方法及装置、系统
CN106803273A (zh) * 2017-01-17 2017-06-06 湖南优象科技有限公司 一种全景摄像机标定方法
US20170324948A1 (en) * 2016-05-05 2017-11-09 Via Technologies, Inc. Method and apparatus for processing surrounding images of vehicle
CN107622254A (zh) * 2017-10-08 2018-01-23 华北理工大学 公交拥挤度检测系统及方法
CN108171759A (zh) * 2018-01-26 2018-06-15 上海小蚁科技有限公司 双鱼眼镜头全景相机的标定方法及装置、存储介质、终端
CN108269234A (zh) * 2016-12-30 2018-07-10 成都观界创宇科技有限公司 一种全景相机镜头姿态估计方法及全景相机
CN108665500A (zh) * 2017-04-01 2018-10-16 展讯通信(上海)有限公司 一种棋盘格角点检测方法及装置
CN110378837A (zh) * 2019-05-16 2019-10-25 四川省客车制造有限责任公司 基于鱼眼摄像头的目标检测方法、装置和存储介质
US20200151908A1 (en) * 2017-06-30 2020-05-14 Hangzhou Hikvision Digital Technology Co., Ltd. Camera parameter calibration method, device, apparatus, and system
CN111199528A (zh) * 2020-01-15 2020-05-26 江苏北斗星通汽车电子有限公司 一种鱼眼图像畸变矫正方法
CN111612853A (zh) * 2020-05-25 2020-09-01 追创科技(苏州)有限公司 相机参数标定方法及装置
CN112365421A (zh) * 2020-11-12 2021-02-12 苏州挚途科技有限公司 图像矫正处理方法及装置
CN113052912A (zh) * 2019-12-27 2021-06-29 上海海思技术有限公司 摄像机标定方法和装置

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101321303A (zh) * 2008-07-17 2008-12-10 上海交通大学 非平面多投影显示的几何与光学校正方法
CN103035008A (zh) * 2012-12-15 2013-04-10 北京工业大学 一种多相机系统的加权标定方法
CN103646403A (zh) * 2013-12-26 2014-03-19 北京经纬恒润科技有限公司 一种车载多摄像头标定方法、系统及图像处理装置
US20170324948A1 (en) * 2016-05-05 2017-11-09 Via Technologies, Inc. Method and apparatus for processing surrounding images of vehicle
CN108269234A (zh) * 2016-12-30 2018-07-10 成都观界创宇科技有限公司 一种全景相机镜头姿态估计方法及全景相机
CN106780630A (zh) * 2017-01-09 2017-05-31 上海商泰汽车信息系统有限公司 标定板装置、车载摄像头标定方法及装置、系统
CN106803273A (zh) * 2017-01-17 2017-06-06 湖南优象科技有限公司 一种全景摄像机标定方法
CN108665500A (zh) * 2017-04-01 2018-10-16 展讯通信(上海)有限公司 一种棋盘格角点检测方法及装置
US20200151908A1 (en) * 2017-06-30 2020-05-14 Hangzhou Hikvision Digital Technology Co., Ltd. Camera parameter calibration method, device, apparatus, and system
CN107622254A (zh) * 2017-10-08 2018-01-23 华北理工大学 公交拥挤度检测系统及方法
CN108171759A (zh) * 2018-01-26 2018-06-15 上海小蚁科技有限公司 双鱼眼镜头全景相机的标定方法及装置、存储介质、终端
CN110378837A (zh) * 2019-05-16 2019-10-25 四川省客车制造有限责任公司 基于鱼眼摄像头的目标检测方法、装置和存储介质
CN113052912A (zh) * 2019-12-27 2021-06-29 上海海思技术有限公司 摄像机标定方法和装置
CN111199528A (zh) * 2020-01-15 2020-05-26 江苏北斗星通汽车电子有限公司 一种鱼眼图像畸变矫正方法
CN111612853A (zh) * 2020-05-25 2020-09-01 追创科技(苏州)有限公司 相机参数标定方法及装置
CN112365421A (zh) * 2020-11-12 2021-02-12 苏州挚途科技有限公司 图像矫正处理方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SOO-YOUNG HA ET AL.: ""A new calibrator providing easy detection of feature points for calibrating fisheye cameras in vehicle AVM systems"", 《OPT REV》 *
汪蕾等: ""散焦模糊量估计的相机加权标定方法"", 《计算机辅助设计与图形学学报》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115660959A (zh) * 2022-12-27 2023-01-31 摩尔线程智能科技(北京)有限责任公司 图像的生成方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN113610927B (zh) 2022-04-15

Similar Documents

Publication Publication Date Title
US10434877B2 (en) Driver-assistance method and a driver-assistance apparatus
CN109741455B (zh) 一种车载立体全景显示方法、计算机可读存储介质及系统
JP7018566B2 (ja) 撮像装置、画像処理方法及びプログラム
US9082315B2 (en) Surrounding bird view monitoring image generation method and training method, automobile-side device, and training device thereof
CN112444242B (zh) 一种位姿优化方法及装置
CN106815869B (zh) 鱼眼相机的光心确定方法及装置
CN111750820A (zh) 影像定位方法及其系统
CN103778649A (zh) 用于相机建模和虚拟视图合成的成像表面建模
CN112902874B (zh) 图像采集装置及方法、图像处理方法及装置、图像处理系统
CN109741241B (zh) 鱼眼图像的处理方法、装置、设备和存储介质
JP6900609B2 (ja) 広角画像を修正するシステム及び方法
CN109447901B (zh) 一种全景成像方法和装置
CN114549666B (zh) 一种基于agv的环视图像拼接标定方法
CN113658262B (zh) 相机外参标定方法、装置、系统及存储介质
CN113610927B (zh) 一种avm摄像头参数标定方法、装置及电子设备
CN115345946A (zh) 基于深度学习的汽车全景影像系统的外参标定方法、装置
CN112348890A (zh) 一种空间定位方法、装置及计算机可读存储介质
CN114897684A (zh) 车辆图像的拼接方法、装置、计算机设备和存储介质
CN114202588A (zh) 一种车载环视相机快速自动标定方法和装置
CN117152265A (zh) 一种基于区域提取的交通图像标定方法及装置
CN114754779B (zh) 一种定位与建图方法、装置及电子设备
CN116051652A (zh) 一种参数标定方法及电子设备、存储介质
CN115601449A (zh) 标定方法、环视图像生成方法、装置、设备及存储介质
JP4905812B2 (ja) カメラ校正装置
CN114493990A (zh) 车辆底盘区域图像生成方法、电子装置和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant