CN111798521A - 标定方法、装置、存储介质及电子设备 - Google Patents
标定方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN111798521A CN111798521A CN201910282117.6A CN201910282117A CN111798521A CN 111798521 A CN111798521 A CN 111798521A CN 201910282117 A CN201910282117 A CN 201910282117A CN 111798521 A CN111798521 A CN 111798521A
- Authority
- CN
- China
- Prior art keywords
- calibration
- calibration plate
- obtaining
- plate image
- coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 239000011159 matrix material Substances 0.000 claims abstract description 69
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 30
- 238000001514 detection method Methods 0.000 claims abstract description 29
- 238000004590 computer program Methods 0.000 claims description 17
- 230000008859 change Effects 0.000 claims description 16
- 230000002146 bilateral effect Effects 0.000 claims description 3
- 238000009434 installation Methods 0.000 abstract description 10
- 230000008569 process Effects 0.000 abstract description 9
- 238000003384 imaging method Methods 0.000 abstract description 8
- 238000000605 extraction Methods 0.000 description 10
- 230000008447 perception Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 238000007476 Maximum Likelihood Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000002093 peripheral effect Effects 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 230000010354 integration Effects 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000004140 cleaning Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013501 data transformation Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 230000005355 Hall effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000011900 installation process Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
- G06T2207/30208—Marker matrix
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
本申请实施例公开了一种标定方法、装置、存储介质及电子设备，标定方法包括：获取车辆前端矩阵坐标点的标定板图像，根据所述标定板图像使用角点检测算法得到畸变系数，根据所述标定板图像得到目标参数，根据所述目标参数得到偏移距离系数，根据所述畸变系数和所述偏移距离系数校准所述标定板图像。通过畸变系数和偏移距离系数对标定板图像进行校正，能够有效地减少因为安装误差和车前挡风玻璃引起的摄像头畸变，有益于后续辅助驾驶系统的时候的图像输出，提高图像输出的成像质量。
Description
技术领域
本申请涉及安全驾驶领域，尤其涉及一种标定方法、装置、存储介质及电子设备。
背景技术
在安全驾驶领域中，将移动终端作为辅助驾驶系统的一部分已经越来越普遍。比如，利用移动终端的摄像头获取车辆周边的全景信息。
相关的技术中，由于在车辆挡风玻璃前面安装终端设备，由于大部分车辆的挡风玻璃为了采取流线型设计其一般为弧形，另外由于每辆车的车型和车系不同，因此安装角度可能也不相同，并且安装的时候由于人工安装的时候会引入人为误差，导致安装的角度在摄像头的灭点范围不一定为车前挡风玻璃中央范围，这样容易使得摄像头畸变从而导致摄像头获取的图像失真。
发明内容
本申请实施例提供一种标定方法、装置、存储介质及电子设备，可以提高终端的摄像头的图像成像质量。
本申请实施例提供一种标定方法，所述方法包括：
获取车辆前端矩阵坐标点的标定板图像；
根据所述标定板图像使用角点检测算法得到畸变系数；
根据所述标定板图像使用矩阵透视变化方法得到目标参数，根据所述目标参数得到偏移距离系数；
根据所述畸变系数和所述偏移距离系数校准所述标定板图像。
本申请实施例还提供了一种车载终的摄像头校准装置，包括：
获取模块，用于获取车辆前端矩阵坐标点的标定板图像；
标定畸变矩阵模块，用于根据所述标定板图像使用角点检测算法得到畸变系数；
偏移距离矩阵模块，用于根据所述标定板图像使用矩阵透视变化方法得到目标参数，根据所述目标参数得到偏移距离参数；
校准模块，用于根据所述畸变系数和所述偏移距离系数校准所述标定板图像。
本申请实施例还提供一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序用于对终端的摄像头进行校准，当所述计算机程序在计算机上运行时，使得所述计算机执行以下步骤：
获取车辆前端矩阵坐标点的标定板图像；
根据所述标定板图像使用角点检测算法得到畸变系数；
根据所述标定板图像使用矩阵透视变化方法得到目标参数，根据所述目标参数得到偏移距离系数；
根据所述畸变系数和所述偏移距离系数校准所述标定板图像。
本申请实施例还提供一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序用于对终端的摄像头进行校准，所述处理器通过调用所述存储器中存储的所述计算机程序，用于执行以下步骤：
获取车辆前端矩阵坐标点的标定板图像；
根据所述标定板图像使用角点检测算法得到畸变系数；
根据所述标定板图像使用矩阵透视变化方法得到目标参数，根据所述目标参数得到偏移距离系数；
本申请实施例标定方法、装置、存储介质及电子设备。通过畸变系数和偏移距离系数对标定板图像进行校正，能够有效地减少因为安装误差和车前挡风玻璃引起的摄像头畸变，有益于后续辅助驾驶系统的时候的图像输出，提高图像输出的成像质量。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的全景感知架构的结构示意图。
图2为本申请实施例提供的标定方法的第一种流程示意图。
图3为本申请实施例提供的标定方法的第二种流程示意图。
图4为本申请实施例提供的标定装置的第一种结构示意图。
图5为本申请实施例提供的电子设备的第一种结构示意图。
图6为本申请实施例提供的电子设备的第二种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本申请的保护范围。
参考图1，图1是本申请实施例提供的全景感知架构的结构示意图。标定方法可应用于电子设备。电子设备中设置有全景感知架构。全景感知架构为电子设备中用于实现车辆周边障碍检测方法的硬件和软件的集成。
其中，全景感知架构包括信息感知层、数据处理层、特征抽取层、情景建模层以及智能服务层。
信息感知层用于获取电子设备自身的信息和/或外部环境中的信息。信息感知层可以包括多个传感器。例如，信息感知层包括距离传感器、磁场传感器、光线传感器、加速度传感器、指纹传感器、霍尔传感器、位置传感器、陀螺仪、惯性传感器、姿态感应器、气压计、心率传感器等多个传感器。
其中，距离传感器可以用于检测电子设备与外部物体之间的距离。磁场传感器可以用于检测电子设备所处环境的磁场信息。光线传感器可以用于检测电子设备所处环境的光线信息。加速度传感器可以用于检测电子设备的加速度数据。指纹传感器可以用于采集用户的指纹信息。霍尔传感器是根据霍尔效应制作的一种磁场传感器，可以用于实现电子设备的自动控制。位置传感器可以用于检测电子设备当前所处的地理位置。陀螺仪可以用于检测电子设备在各个方向上的角速度。惯性传感器可以用于检测电子设备的运动数据。姿态感应器可以用于感应电子设备的姿态信息。气压计可以用于检测电子设备所处环境的气压。心率传感器可以用于检测用户的心率信息。
数据处理层用于对信息感知层获取到的数据进行处理。例如，数据处理层可以对信息感知层获取到的数据进行数据清理、数据集成、数据变换、数据归约等处理。
其中，数据清理是指对信息感知层获取到的大量数据进行清理，以剔除无效数据和重复数据。数据集成是指将信息感知层获取到的多个单维度数据集成到一个更高或者更抽象的维度，以对多个单维度的数据进行综合处理。数据变换是指对信息感知层获取到的数据进行数据类型的转换或者格式的转换等，以使变换后的数据满足处理的需求。数据归约是指在尽可能保持数据原貌的前提下，最大限度的精简数据量。
特征抽取层用于对数据处理层处理后的数据进行特征抽取，以提取数据中包括的特征。提取到的特征可以反映出电子设备自身的状态或者用户的状态或者电子设备所处环境的环境状态等。
其中，特征抽取层可以通过过滤法、包装法、集成法等方法来提取特征或者对提取到的特征进行处理。
过滤法是指对提取到的特征进行过滤，以删除冗余的特征数据。包装法用于对提取到的特征进行筛选。集成法是指将多种特征提取方法集成到一起，以构建一种更加高效、更加准确的特征提取方法，用于提取特征。
情景建模层用于根据特征抽取层提取到的特征来构建模型，所得到的模型可以用于表示电子设备的状态或者用户的状态或者环境状态等。例如，情景建模层可以根据特征抽取层提取到的特征来构建关键值模型、模式标识模型、图模型、实体联系模型、面向对象模型等。
智能服务层用于根据情景建模层所构建的模型为用户提供智能化的服务。例如，智能服务层可以为用户提供基础应用服务，可以为电子设备进行系统智能优化，还可以为用户提供个性化智能服务。
此外，全景感知架构中还可以包括多种算法，每一种算法都可以用于对数据进行分析处理，多种算法可以构成算法库。例如，算法库中可以包括马尔科夫算法、隐含狄里克雷分布算法、贝叶斯分类算法、支持向量机、K均值聚类算法、K近邻算法、条件随机场、残差网络、长短期记忆网络、卷积神经网络、循环神经网络等算法。
其中，首先通过信息感知层获取用户的电子设备的信息(具体包括电子设备运行信息、用户行为信息、各个传感器获取的信息、电子设备状态信息、电子设备显示内容信息、电子设备上下载信息等)，然后对信息感知层获取到的数据进行处理，接着再通过特征抽取层对数据处理层处理后的数据进行特征抽取，然后根据特征抽取层提取到的特征来构建模型，服务层最后根据情景建模层所构建的模型为用户提供智能化的服务。服务层在运用提供服务时，比如，电子设备放入汽车内获取车辆周边位置信息时，通过本申请实施例的标定方法以有效地减少因为安装误差和车前挡风玻璃引起的摄像头畸变，有益于后续辅助驾驶系统的时候的图像输出，提高图像输出的成像质量。
本申请实施例提供一种标定方法，标定方法可以应用于电子设备中。电子设备可以是智能手机、平板电脑、游戏设备、AR(Augmented Reality，增强现实)设备、汽车、车辆周边障碍检测装置、音频播放装置、视频播放装置、笔记本、桌面计算设备、可穿戴设备诸如手表、眼镜、头盔、电子手链、电子项链、电子衣物等设备。
参考图2，图2为本申请实施例提供的标定方法的第一种流程示意图。其中，标定方法包括以下步骤：
110，获取车辆前端矩阵坐标点的标定板图像。
其中，在车辆的前端放置多个标定板，多个标定板形成一个矩阵。具体的，标定板放置在车辆的车头正前方，矩阵中的横向轴线与车辆的车头水平垂直，与车辆的车身平行。需要说明的是，获取车辆的标定板图像通常是通过将摄像头安装在车窗内。比如，通过移动终端的摄像头去拍摄标定板的图像，从而获得标定板的图像。
需要说明的是，矩阵坐标点的位置就是标定板放置的位置，移动终端的摄像头从车窗内拍摄放置在车辆前每个位置的标定板图像。可以理解的，矩阵可以由三行四列的标定板形成的矩阵。当矩阵为三行四列的标定板形成的矩阵，那么移动终端的摄像头就是获取12张标定板的图像。当然，矩阵可以由三行五列的标定板形成的矩阵。当矩阵为三行五列的标定板形成的矩阵，那么移动终端的摄像头就是获取15张标定板的图像。本申请实施例中，对于矩阵具体由多少个标定板组成并不做限定。
其中，车辆前端设置有移动终端接入设备，可以将移动终端固定在某一位置，例如，将移动终端插入移动终端接入设备，固定在汽车前端档风玻璃前。此外，移动终端设备连接到车辆控制系统，作为连接移动终端和车辆控制系统的中间桥梁。例如，移动终端设备可以通过内置的车辆控制通讯协议联通汽车的中央控制系统，使用户获取汽车当前的实际车速等数据。具体的，该车辆控制通讯协议可以由制造商提供，此处不做限定。
120，根据所述标定板图像使用角点检测算法得到畸变系数。
其中，通过终端的摄像头获取的标定板图像摄像头坐标系，然后将标定板摄像头坐标系通过焦点检测算法变成标定板的图像坐标系，然后通过摄像头的内参数和外参数将图像坐标系与世界坐标系进行最大似然估计。通过最大似然估计计算出径向畸变估计，根据畸变估计得到畸变系数。
需要说明的是，摄像头坐标系变换为图像坐标系的公式为：
一般情况下θ为90°，即：
可以理解的是，由此式(8)可完成从摄像机坐标系到图像坐标系的变换，其中A包含摄像机的全部6个内参数，f为摄像机焦距，θ为摄像机坐标系的偏斜度，像素点的大小为k×1，单位为mm，图像坐标系的原点位于(u0，v0)上。
摄像机坐标系和世界坐标系的关系为：
上述公式中：R3×3为旋转矩阵，t3×1为平移向量。
由式(7)和式(9)可得从世界坐标系到图像坐标系的一个线形变换：km3×1＝A(R3×3，t3x1)M3×1，其中m3×1为图像点的齐次坐标，M3×1为三维空间点的齐次坐标，从而得到一个畸变系数。
130，根据所述标定板图像得到目标参数，根据所述目标参数得到偏移距离系数。
需要说明的是，目标参数是提取矩阵横向中心线两侧的标定板图像，并将提取到的对称位置的标定板图像作为一个标定组，然后根据对应数量标定组输入矩阵透视变化方法得到对应数量的目标参数，然后将目标参数进行加权平行求和得到偏移距离系数。
140，根据所述畸变系数和所述偏移距离系数校准所述标定板图像。
本申请实施例标定方法、装置、存储介质及电子设备。通过畸变系数和偏移距离系数对标定板图像进行校正，能够有效地减少因为安装误差和车前挡风玻璃引起的摄像头畸变，有益于后续辅助驾驶系统的时候的图像输出，提高图像输出的成像质量。
请继续参考图3，图3为本申请实施例提供的标定方法的第二种流程示意图。其中，车辆周边障碍检测方法包括以下步骤：
210，所述在所述车辆前端的中心线上等距设置至少三个标定板，所述车辆中心线两侧对称设置与所述中心线上等量的标定板。
需要说明的是，将标定板首先沿车辆前端的中心线依次摆放。比如，在所述车辆前端离五米的位置放置第一个标定板，以第一个标定板为起点沿所述车辆中心线每隔2.5米设置一个标定板，直到设置五个为止。在所述车辆中心线两侧对称1.5米的位置对称设置与所述中心线上等量的标定板。
可以理解的是，以第一个标定板为起点沿所述车辆中心线等距放置标定板的距离还可以是每个2米摆放一个，每隔3米摆放一个。在此，对于在车辆中心线上放置标定板的距离不做限定。在车辆中心线两侧对称设置标定板距离也可以是1米、2米。对于沿车辆中心线对称设置标定板距离同样也不做限定。
220，检测所述标定板图像的交叉特征点。
利用角点检查算法检测标定板图像的交叉特征点。比如，获取摆放在车辆前端三行五列的标定板图像位置。根据标定板图像位置得到交叉特征点以得到标定板图像坐标系。
具体的公式为：
一般情况下θ为90°，即：
可以理解的是，由此式(8)可完成从摄像机坐标系到图像坐标系的变换，其中A包含摄像机的全部6个内参数，f为摄像机焦距，θ为摄像机坐标系的偏斜度，像素点的大小为k×1，单位为mm，图像坐标系的原点位于(u0，v0)上。
230，获取摄像头的内参数和外参数。
需要说明的是，摄像机参数的获取设标定板放在世界坐标系的Z＝0平面内，可得到只包含两个列向量的旋转矩阵，再由所选坐标系为笛卡儿坐标系，可得到关于矩阵A的两个约束条件，这样便可求出透视投影矩阵H，其中λ为比例系数，再由式H＝λA(R，t)，可得到摄像机的全部内参数。
240，通过所述标定板上的坐标点与实际像素的坐标点得到估计值。
摄像机坐标系和世界坐标系的关系为：
上述公式中：R3×3为旋转矩阵，t3×1为平移向量。
250，根据所述估计值得到畸变系数。
由式(7)和式(9)可得从世界坐标系到图像坐标系的一个线形变换：km3×1＝A(R3×3，t3x1)M3×1，其中m3×1为图像点的齐次坐标，M3×1为三维空间点的齐次坐标，从而得到一个畸变系数。
260，获取所述车轮中心线两侧的标定板图像并形成一个标定组。
需要说明的是，目标参数是提取矩阵横向中心线两侧的标定板图像，并将提取到的对称位置的标定板图像作为一个标定组。比如，将沿车辆中心线两侧对称偏移1.5米的标定板图像作为一个标定组。当沿车辆中心线有多个对称的标定板图像组时，也就是具有多个标定组。
270，将所述标定组输入到所述矩阵透视变化方法中得到目标参数。
280，将所述目标参数加权平均求和以获得所述偏移距离系数。
290，根据所述畸变系数和所述偏移距离系数校准所述标定板图像。
应当理解，本申请实施例中，诸如术语“第一”、“第二”等仅用于区别类似的对象，而不必用于描述特定的顺序或先后次序，这样描述的对象在适当情况下可以互换。
具体实施时，本申请不受所描述的各个步骤的执行顺序的限制，在不产生冲突的情况下，某些步骤还可以采用其它顺序进行或者同时进行。
由上可知，本申请实施例提供的获取车辆前端矩阵坐标点的标定板图像，根据所述标定板图像使用角点检测算法得到畸变系数，根据所述标定板图像的目标参数，根据所述目标参数得到偏移距离系数，根据所述畸变系数和所述偏移距离系数校准所述标定板图像。本申请实施例标定方法。通过畸变系数和偏移距离系数对标定板图像进行校正，能够有效地减少因为安装误差和车前挡风玻璃引起的摄像头畸变，有益于后续辅助驾驶系统的时候的图像输出，提高图像输出的成像质量。
参考图4，图4为本申请实施例提供的车载终的摄像头校准装置的第一种结构示意图。其中，车载终的摄像头校准装置300可以集成在电子设备中，车辆周边障碍检测装置300包括获取模块301、标定畸变矩阵模块302、偏移距离矩阵模块303和校准模块304。
获取模块301，用于获取车辆前端矩阵坐标点的标定板图像。
其中，在车辆的前端放置多个标定板，多个标定板形成一个矩阵。具体的，标定板放置在车辆的车头正前方，矩阵中的横向轴线与车辆的车头水平垂直，与车辆的车身平行。需要说明的是，获取车辆的标定板图像通常是通过将摄像头安装在车窗内。比如，通过移动终端的摄像头去拍摄标定板的图像，从而获得标定板的图像。
需要说明的是，矩阵坐标点的位置就是标定板放置的位置，移动终端的摄像头从车窗内拍摄放置在车辆前每个位置的标定板图像。可以理解的，矩阵可以由三行四列的标定板形成的矩阵。当矩阵为三行四列的标定板形成的矩阵，那么移动终端的摄像头就是获取12张标定板的图像。当然，矩阵可以由三行五列的标定板形成的矩阵。当矩阵为三行五列的标定板形成的矩阵，那么移动终端的摄像头就是获取15张标定板的图像。本申请实施例中，对于矩阵具体由多少个标定板组成并不做限定。
其中，车辆前端设置有移动终端接入设备，可以将移动终端固定在某一位置，例如，将移动终端插入移动终端接入设备，固定在汽车前端档风玻璃前。此外，移动终端设备连接到车辆控制系统，作为连接移动终端和车辆控制系统的中间桥梁。例如，移动终端设备可以通过内置的车辆控制通讯协议联通汽车的中央控制系统，使用户获取汽车当前的实际车速等数据。具体的，该车辆控制通讯协议可以由制造商提供，此处不做限定。
302标定畸变矩阵模块，用于根据所述标定板图像使用角点检测算法得到畸变系数。
其中，通过终端的摄像头获取的标定板图像摄像头坐标系，然后将标定板摄像头坐标系通过焦点检测算法变成标定板的图像坐标系，然后通过摄像头的内参数和外参数将图像坐标系与世界坐标系进行最大似然估计。通过最大似然估计计算出径向畸变估计，根据畸变估计得到畸变系数。
需要说明的是，摄像头坐标系变换为图像坐标系的公式为：
一般情况下θ为90°，即：
可以理解的是，由此式(8)可完成从摄像机坐标系到图像坐标系的变换，其中A包含摄像机的全部6个内参数，f为摄像机焦距，θ为摄像机坐标系的偏斜度，像素点的大小为k×1，单位为mm，图像坐标系的原点位于(u0，v0)上。
摄像机坐标系和世界坐标系的关系为：
上述公式中：R3×3为旋转矩阵，t3×1为平移向量。
由式(7)和式(9)可得从世界坐标系到图像坐标系的一个线形变换：km3×1＝A(R3×3，t3x1)M3×1，其中m3×1为图像点的齐次坐标，M3×1为三维空间点的齐次坐标，从而得到一个畸变系数。
303偏移距离矩阵模块，用于根据所述标定板图像得到目标参数，根据所述目标参数得到偏移距离系数。
需要说明的是，目标参数是提取矩阵横向中心线两侧的标定板图像，并将提取到的对称位置的标定板图像作为一个标定组，然后根据对应数量标定组输入矩阵透视变化方法得到对应数量的目标参数，然后将目标参数进行加权平行求和得到偏移距离系数。
304校准模块，用于根据所述畸变系数和所述偏移距离系数校准所述标定板图像。
本申请实施例标定装置通过畸变系数和偏移距离系数对标定板图像进行校正，能够有效地减少因为安装误差和车前挡风玻璃引起的摄像头畸变，有益于后续辅助驾驶系统的时候的图像输出，提高图像输出的成像质量。
本申请实施例还提供一种电子设备。电子设备可以是智能手机、平板电脑、游戏设备、AR(Augmented Reality，增强现实)设备、汽车、车辆周边障碍检测装置、音频播放装置、视频播放装置、笔记本、桌面计算设备、可穿戴设备诸如手表、眼镜、头盔、电子手链、电子项链、电子衣物等设备。
参考图5，图5为本申请实施例提供的电子设备400的第一种结构示意图。其中，电子设备400包括处理器401和存储器402。处理器401与存储器402电性连接。
处理器401是电子设备400的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或调用存储在存储器402内的计算机程序，以及调用存储在存储器402内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。
在本实施例中，电子设备400中的处理器401会按照如下的步骤，将一个或一个以上的计算机程序的进程对应的指令加载到存储器402中，并由处理器401来运行存储在存储器402中的计算机程序，从而实现各种功能：
获取车辆前端矩阵坐标点的标定板图像；
根据所述标定板图像使用角点检测算法得到畸变系数；
根据所述标定板图像使用矩阵透视变化方法得到目标参数，根据所述目标参数得到偏移距离系数；
根据所述畸变系数和所述偏移距离系数校准所述标定板图像。
在一些实施例中，所述获取车辆前端矩阵坐标点的标定板图像之前，处理器401执行以下步骤：
将所述标定板呈矩阵排列；具体包括：
在所述车辆前端的中心线上等距设置至少三个标定板，所述车辆中心线两侧对称设置与所述中心线上等量的标定板。
在一些实施例中，所述在所述车辆前端的中心线上等距设置至少三个标定板，所述车辆中心线两侧对称设置与所述中心线上等量的标定板，处理器401执行以下步骤：
在所述车辆前端离五米的位置放置第一个标定板，以第一个标定板为起点沿所述车辆中心线每隔2.5米设置一个标定板，直到设置五个为止；
在所述车辆中心线两侧对称1.5米的位置对称设置与所述中心线上等量的标定板。
在一些实施例中，所述根据所述标定板图像使用角点检测算法得到畸变系数，处理器401执行以下步骤：
检测所述标定板图像的交叉特征点；
估计摄像头的内参数和外参数；
通过所述标定板上的坐标点与实际像素的坐标点进行最大似然估计；
根据最大似然估计得到畸变系数。
在一些实施例中，所述根据所述标定板图像使用矩阵透视变化方法得到目标参数，根据所述目标参数得到偏移距离系数时，处理器401执行以下步骤：
获取所述车轮中心线两侧的标定板图像并形成一个标定组；
将所述标定组输入到所述矩阵透视变化方法中得到目标参数；
将所述目标参数加权平均求和以获得所述偏移距离系数。
在一些实施例中，所述根据所述畸变系数和所述偏移距离系数校准所述标定板图像时，处理器401执行以下步骤：
所述标定板图像与所述畸变系数和偏移距离系数相乘以得到校准后的标定板图像。
本申请实施例终端的摄像头校准电子设备。通过畸变系数和偏移距离系数对标定板图像进行校正，能够有效地减少因为安装误差和车前挡风玻璃引起的摄像头畸变，有益于后续辅助驾驶系统的时候的图像输出，提高图像输出的成像质量。
请继续参考图6，图6为本申请实施例提供的电子设备400的第二种结构示意图。其中，电子设备400还包括：显示屏403、控制电路404、输入单元405、传感器406以及电源407。其中，处理器401分别与显示屏403、控制电路404、输入单元405、传感器406以及电源407电性连接。
显示屏403可用于显示由用户输入的信息或提供给用户的信息以及电子设备的各种图形用户接口，这些图形用户接口可以由图像、文本、图标、视频和其任意组合来构成。
控制电路404与显示屏403电性连接，用于控制显示屏403显示信息。
输入单元405可用于接收输入的数字、字符信息或用户特征信息(例如指纹)，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。其中，输入单元405可以包括指纹识别模组。
传感器406用于采集电子设备自身的信息或者用户的信息或者外部环境信息。例如，传感器406可以包括距离传感器、磁场传感器、光线传感器、加速度传感器、指纹传感器、霍尔传感器、位置传感器、陀螺仪、惯性传感器、姿态感应器、气压计、心率传感器等多个传感器。
电源407用于给电子设备400的各个部件供电。在一些实施例中，电源407可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管图5及图6中未示出，电子设备400还可以包括摄像头、蓝牙模块等，在此不再赘述。
由上可知，本申请实施例提供了一种电子设备，电子设备中的处理器执行以下步骤：首先获取车辆周边至少两个区域的区域图像；提取区域图像中的感兴趣区域；通过检测感兴趣区域，在区域图像中确定出障碍图像；对障碍图像进行校正，以输出正确的障碍位置。本申请实施例通过检测感兴趣区域确定障碍所在位置并进行校正，通过获取多个区域图像，有效聚焦车辆周边障碍的位置，加快障碍检测速度和检测精度，有益于后续对车辆的控制，保证驾驶安全。
本申请实施例还提供一种存储介质，存储介质中存储有计算机程序，当计算机程序在计算机上运行时，计算机执行上述任一实施例的车辆周边障碍检测方法。
例如，在一些实施例中，当计算机程序在计算机上运行时，计算机执行以下步骤：
获取车辆前端矩阵坐标点的标定板图像；
根据所述标定板图像使用角点检测算法得到畸变系数；
根据所述标定板图像使用矩阵透视变化方法得到目标参数，根据所述目标参数得到偏移距离系数；
根据所述畸变系数和所述偏移距离系数校准所述标定板图像。
需要说明的是，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过计算机程序来指令相关的硬件来完成，计算机程序可以存储于计算机可读存储介质中，存储介质可以包括但不限于：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁盘或光盘等。
以上对本申请实施例所提供的标定方法、装置、存储介质及电子设备进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种标定方法，其特征在于，所述方法包括：
获取车辆前端矩阵坐标点的标定板图像；
根据所述标定板图像使用角点检测算法得到畸变系数；
根据所述标定板图像得到目标参数，根据所述目标参数得到偏移距离系数；
根据所述畸变系数和所述偏移距离系数校准所述标定板图像。
2.根据权利要求1所述的标定方法，其特征在于，所述标定板呈矩阵排列，所述获取车辆前端矩阵坐标点的标定板图像之前还包括：
在所述车辆前端的中心线上等距设置至少三个标定板，所述车辆中心线两侧对称设置与所述中心线上等量的标定板。
3.根据权利要求2所述的标定方法，其特征在于，所述在所述车辆前端的中心线上等距设置至少三个标定板，所述车辆中心线两侧对称设置与所述中心线上等量的标定板包括：
在所述车辆前端预设位置放置第一个标定板，以第一个标定板为起点沿所述车辆中心线等距设置一个标定板，直到设置五个为止；
沿所述车辆中心线两侧偏移预设距离设置与所述中心线上等量的标定板。
4.根据权利要求1至3任一项所述的标定方法，其特征在于，所述根据所述标定板图像使用角点检测算法得到畸变系数包括：
检测所述标定板图像的交叉特征点；
获取摄像头的内参数和外参数；
通过所述标定板上的坐标点与实际像素的坐标点得到估计值；
根据所述估计值得到畸变系数。
5.根据权利要求2所述的标定方法，其特征在于，所述根据所述标定板图像使用矩阵透视变化方法得到目标参数，根据所述目标参数得到偏移距离系数包括：
获取所述车轮中心线两侧的标定板图像并形成一个标定组；
将所述标定组输入到所述矩阵透视变化方法中得到目标参数；
将所述目标参数加权平均求和以获得所述偏移距离系数。
6.根据权利要求1所述的标定方法，其特征在于，所述根据所述畸变系数和所述偏移距离系数校准所述标定板图像包括：
所述标定板图像与所述畸变系数和偏移距离系数相乘以得到校准后的标定板图像。
7.一种标定装置，其特征在于，包括：
获取模块，用于获取车辆前端矩阵坐标点的标定板图像；
标定畸变矩阵模块，用于根据所述标定板图像使用角点检测算法得到畸变系数；
偏移距离矩阵模块，用于根据所述标定板图像使用矩阵透视变化方法得到目标参数，根据所述目标参数得到偏移距离参数；
校准模块，用于根据所述畸变系数和所述偏移距离系数校准所述标定板图像。
8.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，所述计算机程序用于对终端的摄像头进行校准，当所述计算机程序在计算机上运行时，使得所述计算机执行以下步骤：
获取车辆前端矩阵坐标点的标定板图像；
根据所述标定板图像使用角点检测算法得到畸变系数；
根据所述标定板图像使用矩阵透视变化方法得到目标参数，根据所述目标参数得到偏移距离系数；
根据所述畸变系数和所述偏移距离系数校准所述标定板图像。
9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序用于对终端的摄像头进行校准，所述处理器通过调用所述存储器中存储的所述计算机程序，用于执行以下步骤：
获取车辆前端矩阵坐标点的标定板图像；
根据所述标定板图像使用角点检测算法得到畸变系数；
根据所述标定板图像使用矩阵透视变化方法得到目标参数，根据所述目标参数得到偏移距离系数；
根据所述畸变系数和所述偏移距离系数校准所述标定板图像。
10.根据权利要求9所述的电子设备，其特征在于，所述根据所述标定板图像使用角点检测算法得到畸变系数包括，所述处理器还用于执行以下步骤：
检测所述标定板图像的交叉特征点；
获取摄像头的内参数和外参数；
通过所述标定板上的坐标点与实际像素的坐标点得到估计值；
根据所述估计值得到畸变系数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910282117.6A CN111798521B (zh) | 2019-04-09 | 2019-04-09 | 标定方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910282117.6A CN111798521B (zh) | 2019-04-09 | 2019-04-09 | 标定方法、装置、存储介质及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111798521A true CN111798521A (zh) | 2020-10-20 |
| CN111798521B CN111798521B (zh) | 2023-10-31 |
Family
ID=72805318
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910282117.6A Active CN111798521B (zh) | 2019-04-09 | 2019-04-09 | 标定方法、装置、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111798521B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112308934A (zh) * | 2020-11-20 | 2021-02-02 | 展讯通信(天津)有限公司 | 标定检测方法及装置、存储介质、计算设备 |
| CN112902961A (zh) * | 2021-01-19 | 2021-06-04 | 宁德思客琦智能装备有限公司 | 基于机器视觉定位的标定方法、介质、标定设备及系统 |
| CN114387347A (zh) * | 2021-10-26 | 2022-04-22 | 浙江智慧视频安防创新中心有限公司 | 确定外参标定的方法、装置、电子设备及介质 |
| WO2023007775A1 (ja) * | 2021-07-27 | 2023-02-02 | 日立Astemo株式会社 | 車載カメラおよび車載カメラのキャリブレーション方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008262255A (ja) * | 2007-04-10 | 2008-10-30 | Nippon Telegr & Teleph Corp <Ntt> | カメラ校正方法、そのプログラム、記録媒体、装置 |
| CN103035005A (zh) * | 2012-12-13 | 2013-04-10 | 广州致远电子股份有限公司 | 一种全景泊车的标定方法，及装置，一种自动标定方法 |
| US20150092058A1 (en) * | 2013-10-01 | 2015-04-02 | Application Solutions (Electronics and Vision) Ltd. | System, Vehicle and Method for Online Calibration of a Camera on a Vehicle |
| CN105913439A (zh) * | 2016-04-22 | 2016-08-31 | 清华大学 | 一种基于激光跟踪仪的大视场摄像机标定方法 |
| CN106780628A (zh) * | 2016-12-24 | 2017-05-31 | 大连日佳电子有限公司 | 基于混合畸变模型的高精度摄像机标定方法 |
| CN108052910A (zh) * | 2017-12-19 | 2018-05-18 | 深圳市保千里电子有限公司 | 一种车辆全景成像系统的自动调整方法、装置及存储介质 |
| CN108830905A (zh) * | 2018-05-22 | 2018-11-16 | 苏州敏行医学信息技术有限公司 | 仿真医疗器械的双目标定定位方法及虚拟仿真医教系统 |
| CN108876749A (zh) * | 2018-07-02 | 2018-11-23 | 南京汇川工业视觉技术开发有限公司 | 一种鲁棒的镜头畸变校正方法 |
-
2019
- 2019-04-09 CN CN201910282117.6A patent/CN111798521B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008262255A (ja) * | 2007-04-10 | 2008-10-30 | Nippon Telegr & Teleph Corp <Ntt> | カメラ校正方法、そのプログラム、記録媒体、装置 |
| CN103035005A (zh) * | 2012-12-13 | 2013-04-10 | 广州致远电子股份有限公司 | 一种全景泊车的标定方法，及装置，一种自动标定方法 |
| US20150092058A1 (en) * | 2013-10-01 | 2015-04-02 | Application Solutions (Electronics and Vision) Ltd. | System, Vehicle and Method for Online Calibration of a Camera on a Vehicle |
| CN105913439A (zh) * | 2016-04-22 | 2016-08-31 | 清华大学 | 一种基于激光跟踪仪的大视场摄像机标定方法 |
| CN106780628A (zh) * | 2016-12-24 | 2017-05-31 | 大连日佳电子有限公司 | 基于混合畸变模型的高精度摄像机标定方法 |
| CN108052910A (zh) * | 2017-12-19 | 2018-05-18 | 深圳市保千里电子有限公司 | 一种车辆全景成像系统的自动调整方法、装置及存储介质 |
| CN108830905A (zh) * | 2018-05-22 | 2018-11-16 | 苏州敏行医学信息技术有限公司 | 仿真医疗器械的双目标定定位方法及虚拟仿真医教系统 |
| CN108876749A (zh) * | 2018-07-02 | 2018-11-23 | 南京汇川工业视觉技术开发有限公司 | 一种鲁棒的镜头畸变校正方法 |
Non-Patent Citations (1)
| Title |
|---|
| 张颖江等: "基于车载系统双目CCD相机测距", 信息安全与技术 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112308934A (zh) * | 2020-11-20 | 2021-02-02 | 展讯通信(天津)有限公司 | 标定检测方法及装置、存储介质、计算设备 |
| CN112308934B (zh) * | 2020-11-20 | 2022-09-02 | 展讯通信(天津)有限公司 | 标定检测方法及装置、存储介质、计算设备 |
| CN112902961A (zh) * | 2021-01-19 | 2021-06-04 | 宁德思客琦智能装备有限公司 | 基于机器视觉定位的标定方法、介质、标定设备及系统 |
| WO2023007775A1 (ja) * | 2021-07-27 | 2023-02-02 | 日立Astemo株式会社 | 車載カメラおよび車載カメラのキャリブレーション方法 |
| JP7459023B2 (ja) | 2021-07-27 | 2024-04-01 | 日立Astemo株式会社 | 車載カメラおよび車載カメラのキャリブレーション方法 |
| CN114387347A (zh) * | 2021-10-26 | 2022-04-22 | 浙江智慧视频安防创新中心有限公司 | 确定外参标定的方法、装置、电子设备及介质 |
| CN114387347B (zh) * | 2021-10-26 | 2023-09-19 | 浙江视觉智能创新中心有限公司 | 确定外参标定的方法、装置、电子设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111798521B (zh) | 2023-10-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110009681B (zh) | 一种基于imu辅助的单目视觉里程计位姿处理方法 | |
| CN110909611B (zh) | 一种关注区域检测方法、装置、可读存储介质及终端设备 | |
| CN111798521B (zh) | 标定方法、装置、存储介质及电子设备 | |
| CN110322500B (zh) | 即时定位与地图构建的优化方法及装置、介质和电子设备 | |
| CN109544629B (zh) | 摄像头位姿确定方法和装置以及电子设备 | |
| US7492357B2 (en) | Apparatus and method for detecting a pointer relative to a touch surface | |
| JP2020047276A (ja) | センサーキャリブレーション方法と装置、コンピュータ機器、媒体及び車両 | |
| EP4105766A1 (en) | Image display method and apparatus, and computer device and storage medium | |
| CN111062981A (zh) | 图像处理方法、装置及存储介质 | |
| US10593065B2 (en) | Method and device for camera pose estimation | |
| CN109785444A (zh) | 图像中现实平面的识别方法、装置及移动终端 | |
| CN108052869B (zh) | 车道线识别方法、装置及计算机可读存储介质 | |
| CN113227708B (zh) | 确定俯仰角的方法、装置及终端设备 | |
| CN106406507B (zh) | 图像处理方法以及电子设备 | |
| CN110781712A (zh) | 一种基于人脸检测与识别的人头空间定位方法 | |
| CN111797873A (zh) | 场景识别方法、装置、存储介质及电子设备 | |
| CN112200002B (zh) | 一种体温测量方法、装置、终端设备及存储介质 | |
| CN113642425A (zh) | 基于多模态的图像检测方法、装置、电子设备及存储介质 | |
| CN116823884A (zh) | 多目标跟踪方法、系统、计算机设备及存储介质 | |
| CN116912467A (zh) | 图像拼接方法、装置、设备及存储介质 | |
| CN114972530A (zh) | 一种基于虚拟场景对摄像机的标定方法、装置、设备及存储介质 | |
| CN116363174A (zh) | 参数校准方法、存储介质、协处理芯片及电子设备 | |
| CN111796663B (zh) | 场景识别模型更新方法、装置、存储介质及电子设备 | |
| CN113628284A (zh) | 位姿标定数据集生成方法、装置、系统、电子设备及介质 | |
| CN111797659A (zh) | 辅助驾驶方法、装置、存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |