CN107316332A - 一种应用智能驾驶的相机和场景关联标定方法及系统 - Google Patents
一种应用智能驾驶的相机和场景关联标定方法及系统 Download PDFInfo
- Publication number
- CN107316332A CN107316332A CN201710341730.1A CN201710341730A CN107316332A CN 107316332 A CN107316332 A CN 107316332A CN 201710341730 A CN201710341730 A CN 201710341730A CN 107316332 A CN107316332 A CN 107316332A
- Authority
- CN
- China
- Prior art keywords
- camera
- target object
- height
- target
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000001514 detection method Methods 0.000 claims abstract description 61
- 238000004364 calculation method Methods 0.000 claims abstract description 15
- 238000003384 imaging method Methods 0.000 claims abstract description 14
- 230000000007 visual effect Effects 0.000 claims abstract description 14
- 238000013507 mapping Methods 0.000 claims description 26
- 238000004422 calculation algorithm Methods 0.000 claims description 24
- 238000003066 decision tree Methods 0.000 claims description 17
- 238000013459 approach Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 8
- 238000010586 diagram Methods 0.000 claims description 8
- 239000000203 mixture Substances 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 8
- 238000013480 data collection Methods 0.000 claims description 7
- 238000012986 modification Methods 0.000 claims description 7
- 230000004048 modification Effects 0.000 claims description 7
- 238000012544 monitoring process Methods 0.000 claims description 7
- 238000012886 linear function Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims 1
- 230000008901 benefit Effects 0.000 abstract description 9
- 230000006870 function Effects 0.000 description 18
- 239000011159 matrix material Substances 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 description 1
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种应用智能驾驶的相机和场景关联标定方法及系统，预先通过设置在车辆挡风玻璃上并调好视角的相机监测处于相机视野中的单个或多个目标物体；当所述目标物体在相机视野中走动时通过相机进行成像，检测器检测得到目标物体在图像坐标中的位置和高度信息作为标定数据；根据所述标定数据通过离线计算或者在线学习的方式对用于表示目标物体图像位置和高度关系的标定模型进行更新。本发明通过在车辆上安装的相机对出现在相机视野中的目标物体进行标定，主要是对成像画面中画面、目标物的结构分布合理进行标定，标定方法具有简单、快速、准确、不受环境限制的优点。
Description
技术领域
本发明涉及相机标定技术领域，尤其涉及的是一种应用智能驾驶的相机和场景关联标定方法及系统。
背景技术
现有技术中基于视觉传感器的道路场景感知技术被广泛应用于自动驾驶、半自动驾驶和高级驾驶辅助系统(Advanced Driver Assistance Systems, ADAS)中(统称为智能驾驶)，这些视觉传感器即通常说的车载相机，主要功能是连续感知汽车周围特别是前方的可见光图像信息并发送到处理器进行场景分析理解，经过相关的决策处理后反馈给用户或直接介入驾驶系统。
单个车载相机实现了从三维现实世界到二维图像的映射，即Px=u （1）；
其中P为投影矩阵形，x和u分别是世界坐标（三维）和图像坐标(二维)的齐次坐标表达式。公式(1)中的P为3x4的矩阵，即
矩阵P可以进一步分解为相机的内参数矩阵和外参数矩阵；
由于P不可逆，导致无法从图像直接恢复出目标的真实大小以及离相机的位置等对智能驾驶至关重要的信息。
通常做法是通过逼近的办法解决信息丢失的问题，将P简化为单映矩阵H：
H为可逆矩阵，实现了从二维到二维的透射投影变换，基于矩阵H可以将三维世界中的平面（例如路面）与图像平面建立关联。
基于单目相机的相机标定主要是根据成像信息估计出单映矩阵H以及H中包含的相机内外参数信息。常用的方法主要有：1.基于车道线等一些道路中已有的标志点如标线等估计成像平面与道路平面的单映矩阵，同时恢复出相应的相机内参数和大部分外参数。2.通过人为放置特定的标定杆、标定板等进行对相机内外参数进行全面标定，并计算出相机成像畸变情况。
从技术和实施上，上述方式存在一些缺点：
1、标定和计算过程较为繁琐，需要较多的人为干预；
2、只能得到相机内外参数等中间结果，需要增加额外的计算才能得到最终的目标－图像映射关系；
3、难以实现与自动检测算法结合，并且无法加速检测算法；
4、无法检测相机安装配置的变化。
因此，针对上述缺陷，现有技术还有待于改进和发展。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种应用智能驾驶的相机和场景关联标定方法及系统，旨在通过在车辆上安装的相机对出现在相机视野中的目标物体进行标定，本发明汽车相机标定具有简单、快速、准确、不受环境限制的优点，无论车辆行驶在高速公路，还是城市道路上均可以进行标定，同时，当车停在城市道路上，甚至是停在地下停车库时，只要有行人出现在相机视野中就可以进行标定。
本发明解决技术问题所采用的技术方案如下：
一种应用智能驾驶的相机和场景关联标定方法，其中，所述方法包括：
步骤A，预先通过设置在车辆挡风玻璃上并调好视角的相机监测处于相机视野中的单个或多个目标物体；
步骤B，当所述目标物体在相机视野中走动时通过相机进行成像，检测器检测得到目标物体在图像坐标中的位置和高度信息作为标定数据；
步骤C，根据所述标定数据通过离线计算或者在线学习的方式对用于表示目标物体图像位置和高度关系的标定模型进行更新。
所述的应用智能驾驶的相机和场景关联标定方法，其中，所述步骤B具体包括：
步骤B1，自动采集出现在相机视野中包含目标物体的图像数据；
步骤B2，通过目标检测算法检测出目标物体在图像中的位置和高度；
步骤B3，建立目标物体的位置和高度的映射关系图。
所述的应用智能驾驶的相机和场景关联标定方法，其中，所述步骤B2具体包括：
步骤B21，选取图像中的通道特征图像作为原始输入图像进行进一步的特征提取和分类器训练，用于目标物体的检测；
步骤B22，选择迭代算法作为分类框架、决策树作为弱分类器，通过决策树进行分类并将所有决策树判定的分数之和作为检测分数用于筛选目标物体；
步骤B23，通过采用滑动窗口和多尺度的方式对目标物体进行搜索，得到目标物体在图像中的位置和高度。
所述的应用智能驾驶的相机和场景关联标定方法，其中，所述步骤B3具体包括：
建立位置和高度的多项式映射，所述多项式映射反映了平面(x，y)到高度h的映射为：h=f（x，y），其中f为多项式，用于表示平面或高阶曲面，（x，y）表示位置，h表示高度；
当目标物体的成像高度在图像中表现为线性分布时，此时f定义为一个平面函数：f（x，y）=ax+by+c；此时h由线性函数逼近为：h=ax+by+c；
当h由二阶函数逼近为：h=ax2+by2+cx+dy+e；函数公式的选择取决于相机的成像特性；
当标定数据获取后，得到一系列的标定点对（x1，y1，h1），（x2，y2，h2），…，（xn，yn，hn），通过所述标定点对利用最小二乘法估计出f（x，y）函数中的映射系数。
所述的应用智能驾驶的相机和场景关联标定方法，其中，所述离线计算的方式为：收集到一定数量的标定数据（x，y，h）收后，利用最小二乘法一次性估计f（x，y）的参数标定过程；
所述在线学习的方式为：每间隔一定时间，对图像进行目标检测，得到标定数据。
所述的应用智能驾驶的相机和场景关联标定方法，其中，在检测和收集目标物体成像数据时，同时采用二维热力学图来展示目标在画面中的分布情况。
所述的应用智能驾驶的相机和场景关联标定方法，其中，当系统完成标定模型后，采用在二维图中嵌入形变后的三维立体，用于展示目标在场景中的高度变化以及揭示场景的三维结构。
一种应用智能驾驶的相机和场景关联标定系统，其中，所述系统包括：
目标检测模块，用于预先通过设置在车辆挡风玻璃上并调好视角的相机监测处于相机视野中的单个或多个目标物体；
数据检测模块，用于当所述目标物体在相机视野中走动时通过相机进行成像，检测器检测得到目标物体在图像坐标中的位置和高度信息作为标定数据；
模型更新模块，用于根据所述标定数据通过离线计算或者在线学习的方式对用于表示目标物体图像位置和高度关系的标定模型进行更新。
所述的应用智能驾驶的相机和场景关联标定系统，其中，所述数据检测模块具体包括：
数据采集单元，用于自动采集出现在相机视野中包含目标物体的图像数据；
算法检测单元，用于通过目标检测算法检测出目标物体在图像中的位置和高度；
映射建立单元，用于建立目标物体的位置和高度的映射关系图。
所述的应用智能驾驶的相机和场景关联标定系统，其中，所述算法检测单元具体还包括：
训练检测单元，用于选取图像中的通道特征图像作为原始输入图像进行进一步的特征提取和分类器训练，用于目标物体的检测；
目标筛选单元，用于选择迭代算法作为分类框架、决策树作为弱分类器，通过决策树进行分类并将所有决策树判定的分数之和作为检测分数用于筛选目标物体；
目标搜索单元，用于通过采用滑动窗口和多尺度的方式对目标物体进行搜索，得到目标物体在图像中的位置和高度。
所述的应用智能驾驶的相机和场景关联标定系统，其中，所述映射建立单元具体包括：
用于建立位置和高度的多项式映射，所述多项式映射反映了平面(x，y)到高度h的映射为：h=f（x，y），其中f为多项式，用于表示平面或高阶曲面，（x，y）表示位置，h表示高度；
当目标物体的成像高度在图像中表现为线性分布时，此时f定义为一个平面函数：f（x，y）=ax+by+c；此时h由线性函数逼近为：h=ax+by+c；
当h由二阶函数逼近为：h=ax2+by2+cx+dy+e；函数公式的选择取决于相机的成像特性；
当标定数据获取后，得到一系列的标定点对（x1，y1，h1），（x2，y2，h2），…，（xn，yn，hn），通过所述标定点对利用最小二乘法估计出f（x，y）函数中的映射系数。
所述的应用智能驾驶的相机和场景关联标定系统，其中，所述模型更新模块中所述离线计算的方式为：收集到一定数量的标定数据（x，y，h）收后，利用最小二乘法一次性估计f（x，y）的参数标定过程；
所述在线学习的方式为：每间隔一定时间，对图像进行目标检测，得到标定数据。
本发明公开了一种应用智能驾驶的相机和场景关联标定方法及系统，预先通过设置在车辆挡风玻璃上并调好视角的相机监测处于相机视野中的单个或多个目标物体；当所述目标物体在相机视野中走动时通过相机进行成像，检测器检测得到目标物体在图像坐标中的位置和高度信息作为标定数据；在检测和收集目标物体成像数据时，同时采用二维热力学图来展示目标在画面中的分布情况；根据所述标定数据通过离线计算或者在线学习的方式对用于表示目标物体图像位置和高度关系的标定模型进行更新；当系统完成标定模型后，采用在二维图中嵌入形变后的三维立体，用于展示目标在场景中的高度变化以及揭示场景的三维结构。本发明通过在车辆上安装的相机对出现在相机视野中的目标物体进行标定，主要是对成像画面中画面、目标物的结构分布合理进行标定，本发明汽车相机标定具有简单、快速、准确、不受环境限制的优点。
附图说明
图1是本发明应用智能驾驶的相机和场景关联标定方法的较佳实施例的流程图。
图2是本发明应用智能驾驶的相机和场景关联标定方法中相机安装示监测意图。
图3是本发明应用智能驾驶的相机和场景关联标定方法中目标物体位置和高度表示方式的示意图。
图4是本发明应用智能驾驶的相机和场景关联标定方法中标定实验中原始数据绘制的点云图。
图5是本发明应用智能驾驶的相机和场景关联标定方法中标定实验中利用最小二乘法的曲面图。
图6是本发明应用智能驾驶的相机和场景关联标定系统的较佳实施例的功能原理框图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
请参阅图1，图1是本发明应用智能驾驶的相机和场景关联标定方法的较佳实施例的流程图。
如图1所示，本发明实施例提供的一种应用智能驾驶的相机和场景关联标定方法，包括以下步骤：
步骤S100，预先通过设置在车辆挡风玻璃上并调好视角的相机监测处于相机视野中的单个或多个目标物体。
本发明具体实施时，预先将相机安装在车辆挡风玻璃上，并调节好相机视角，用于相机监测处于相机视野中的单个或多个目标物体，主要是行动的人，如图2所示，相机安装在汽车挡风玻璃上方位置的正前方，便于最大视角的拍摄汽车前方的目标物体的图像。
步骤S200，当所述目标物体在相机视野中走动时通过相机进行成像，检测器检测得到目标物体在图像坐标中的位置和高度信息作为标定数据。
本发明中，具体标定过程为：首先，自动采集出现在相机视野中包含目标物体的图像数据。图2所示标定装置中，行人在相机视野中走动，相机就能获取这段时间的标定数据，这样进行的标定方法使得标定流程简单，方便不懂技术的人操作，同时标定不受环境的影响。
其次，通过目标检测算法检测出目标物体在图像中的位置和高度；对于相机获得的图像，本发明可以通过ICF目标检测算法对其进行了算法改进，检测出目标（此处以行人为例）在图像中的位置（x，y）和高度h，其中目标的坐标表示方式如图3所示。
目标检测算法检测出目标物体在图像中的位置和高度的过程为：
S1，选取图像中的通道特征图像作为原始输入图像进行进一步的特征提取和分类器训练，用于目标物体的检测；通道特征是指对图像进行某些操作(例如卷积)而得到的结果图像，通常的做法是自动或手动选取一系列不同的卷积核对输入图像进行卷积操作从而得到一系列的特征通道图像，然后将这些特征通道图像代表原始输入图像进行进一步的特征提取和分类器训练(例如提取LBP（Local Binary Pattern，局部二值模式，是一种用来描述图像局部纹理特征的算子，具有旋转不变性和灰度不变性等显著的优点）特征进行AdaBoost（AdaBoost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器（强分类器））训练）用于分类器的训练（分类器的训练获得分类模型）和目标的检测。
S2，选择迭代算法（AdaBoost）作为分类框架、决策树（提供一个属性集合，决策树通过在属性集的基础上作出一系列的决策，将数据分类）作为弱分类器（分类器的强弱是其分类能力的一种描述，其实就是字面意思，能够迅速正确的识别的过程就是强分类器，而易错的则是弱分类器，强分类器可以由多个弱分类器组成），通过决策树进行分类并将所有决策树判定的分数之和作为检测分数用于筛选目标物体。
S3，通过采用滑动窗口和多尺度（对输入图像提取同样的通道特征，然后采用与训练时相同的弱分类器进行目标分类，由于目标的大小不定，并且可能出现在图像中的任意位置，因此首先对图像进行多尺度缩放，然后采用滑动窗口方式以一定的步长从这些不同尺度的图像的左上角遍历至图像右下角，在每一个可能的位置和大小提取图像区域进行分类决策）的方式对目标物体进行搜索，得到目标物体在图像中的位置和高度。
最后，建立目标物体的位置和高度的映射关系图。
假设目标物体真实大小位置与其在图像中对应的像素大小和位置存在多项式的映射关系，然后根据大量标定物的成像数据对这种映射关系进行估计，映射关系建立如下：
建立位置和高度的多项式映射，所述多项式映射反映了平面(x，y)到高度h的映射为：h=f（x，y），其中f为多项式，用于表示平面或高阶曲面，（x，y）表示位置，h表示高度；
当目标物体的成像高度在图像中表现为线性分布时，此时f定义为一个平面函数：f（x，y）=ax+by+c；此时h由线性函数逼近为：h=ax+by+c；
当h由二阶函数逼近为：h=ax2+by2+cx+dy+e；函数公式的选择取决于相机的成像特性；
当标定数据获取后，得到一系列的标定点对（x1，y1，h1），（x2，y2，h2），…，（xn，yn，hn），通过所述标定点对利用最小二乘法估计出f（x，y）函数中的映射系数。
本发明中，如图4、图5所示，给出了在640320的分辨率下做的一次标定实验。图4是本次实验获得的目标位置数据绘制的点云图，其中x，y坐标代表目标物体在图像中的位置，z代表目标物体在图像中的高度；图5是对图4中的数据经过了最小二乘法进行曲面拟合，拟合出的一个二阶曲面方程。从这组图中可以看出，原始数据分布散乱，存在冗余噪声，经过拟合的曲面光滑，原始数据都分布在拟合的曲面周围，同时，经过拟合后的曲面，对于任意一个位置（x，y），均能在拟合的曲面上找到该位置对应的高度。
在检测和收集目标物体成像数据时，同时采用二维热力学图来展示目标在画面中的分布情况。例如：经过一段时间的目标数据收集时，二维热力学图展示目标在画面中的分布情况：颜色越偏向红色代表目标在该位置的次数越多，颜色越偏向蓝色则代表目标出现在该位置的次数越少，为保证采集目标数据的均匀性，也为提高数据在后续建模的效率，用户和工程人员可以根据实际情况对画面中目标分布进行调整（在智能驾驶场景中，行驶到目标分布更加均匀的位置，或者在静止时，让目标移动至热力图中偏蓝的位置）。
步骤S300，根据所述标定数据通过离线计算或者在线学习的方式对用于表示目标物体图像位置和高度关系的标定模型进行更新。
本发明中，所述离线计算的方式为：收集到一定数量的标定数据（x，y，h）收后，利用最小二乘法一次性估计f（x，y）的参数标定过程；所述在线学习的方式为：每间隔一定时间，对图像进行目标检测，得到标定数据。
另外，当系统完成标定模型后，采用在二维图中嵌入形变后的三维立体，用于展示目标在场景中的高度变化以及揭示场景的三维结构。为了更直观的表示目标在图像中的高度分布情况，同时更好的揭示场景的三维结构，采用在二维图中嵌入形变后的三维立体，以展示目标在场景中的高度变化，供用户、工程人员了解本次标定后画面结构状态。
下面通过本发明标定方法的进行应用实施举例：
应用1：加速目标检测和排除误报。
建立相机和场景关联模型后，可根据公式h=f（x，y）对得到所检测目标的大小和位置进行检验。假设某次检测得到的目标位置和高度为（x*，y*，h*），则判断f（x*，y*）与h*之差是否在一定的范围内，即
∣f（x*，y*）-h*∣﹤σ
判断是否成立，如果成式，则该检测有效，否则判断为无效。其中σ为预设定阈值或者根据历史样得学习到得的阈值。通过公式∣f（x*，y*）-h*∣﹤σ可以实现一定程度的误报排除；另外，给定一个较为宽松的σ值，可以反推得到每个不同坐标（x，y）下所对应的h值范围，即
f（x，y）-σ﹤h﹤f（x，y）+σ
此时可以在多尺度搜索目标时大大加速搜索过程，带来的好处是，随着用户使用时间的推移，标定数据越来越多，则对模型参数和σ的估计将越来越精确，最终带来的好处是目标检测系统的运行会越来越流畅。
应用2：相机安装移位检测。
当系统运行进入稳定状态后，利用本发明提出的标定方法，可以很容易监测相机的安装位置、角度、焦距等是否发生了较大的变化。具体方式为：每隔一定时间采用全图搜索的方式对目标物体进行检测，将全图检测的结果输入公式∣f（x*，y*）-h*∣﹤σ进行判断。如果发现在一定的时间段内被拒绝的检测比例超过一定的值（例如90%），则判断目标安装状态发生了变化，此时提示用户进行干预或者自动重新初始化。
本发明标定具有不受环境限制的优点，车辆行驶在高速公路、城市道路上均可以进行标定，同时，当车停在城市道路上，甚至是停在地下停车库时，只要有行人出现在相机视野中就可以进行标定。
基于上述实施例，本发明还提供一种应用智能驾驶的相机和场景关联标定系统，请参阅图6，图6是本发明应用智能驾驶的相机和场景关联标定系统的较佳实施例的功能原理框图。
如图6所示，所述系统包括：
目标检测模块10，用于预先通过设置在车辆挡风玻璃上并调好视角的相机监测处于相机视野中的单个或多个目标物体；具体如上所述。
数据检测模块20，用于当所述目标物体在相机视野中走动时通过相机进行成像，检测器检测得到目标物体在图像坐标中的位置和高度信息作为标定数据；具体如上所述。
模型更新模块30，用于根据所述标定数据通过离线计算或者在线学习的方式对用于表示目标物体图像位置和高度关系的标定模型进行更新；具体如上所述。
进一步地，所述的应用智能驾驶的相机和场景关联标定系统，其中，所述数据检测模块具体包括：
数据采集单元，用于自动采集出现在相机视野中包含目标物体的图像数据；具体如上所述。
算法检测单元，用于通过目标检测算法检测出目标物体在图像中的位置和高度；具体如上所述。
映射建立单元，用于建立目标物体的位置和高度的映射关系图；具体如上所述。
进一步地，所述的应用智能驾驶的相机和场景关联标定系统，其中，所述算法检测单元具体还包括：
训练检测单元，用于选取图像中的通道特征图像作为原始输入图像进行进一步的特征提取和分类器训练，用于目标物体的检测；具体如上所述。
目标筛选单元，用于选择迭代算法作为分类框架、决策树作为弱分类器，通过决策树进行分类并将所有决策树判定的分数之和作为检测分数用于筛选目标物体；具体如上所述。
目标搜索单元，用于通过采用滑动窗口和多尺度的方式对目标物体进行搜索，得到目标物体在图像中的位置和高度；具体如上所述。
进一步地，所述的应用智能驾驶的相机和场景关联标定系统，其中，所述映射建立单元具体包括：
用于建立位置和高度的多项式映射，所述多项式映射反映了平面(x，y)到高度h的映射为：h=f（x，y），其中f为多项式，用于表示平面或高阶曲面，（x，y）表示位置，h表示高度；
当目标物体的成像高度在图像中表现为线性分布时，此时f定义为一个平面函数：f（x，y）=ax+by+c；此时h由线性函数逼近为：h=ax+by+c；
当h由二阶函数逼近为：h=ax2+by2+cx+dy+e；函数公式的选择取决于相机的成像特性；
当标定数据获取后，得到一系列的标定点对（x1，y1，h1），（x2，y2，h2），…，（xn，yn，hn），通过所述标定点对利用最小二乘法估计出f（x，y）函数中的映射系数；具体如上所述。
进一步地，所述的应用智能驾驶的相机和场景关联标定系统，其中，所述模型更新模块中所述离线计算的方式为：收集到一定数量的标定数据（x，y，h）收后，利用最小二乘法一次性估计f（x，y）的参数标定过程；
所述在线学习的方式为：每间隔一定时间，对图像进行目标检测，得到标定数据；具体如上所述。
综上所述，本发明公开了一种应用智能驾驶的相机和场景关联标定方法及系统，预先通过设置在车辆挡风玻璃上并调好视角的相机监测处于相机视野中的单个或多个目标物体；当所述目标物体在相机视野中走动时通过相机进行成像，检测器检测得到目标物体在图像坐标中的位置和高度信息作为标定数据；在检测和收集目标物体成像数据时，同时采用二维热力学图来展示目标在画面中的分布情况；根据所述标定数据通过离线计算或者在线学习的方式对用于表示目标物体图像位置和高度关系的标定模型进行更新；当系统完成标定模型后，采用在二维图中嵌入形变后的三维立体，用于展示目标在场景中的高度变化以及揭示场景的三维结构。本发明通过在车辆上安装的相机对出现在相机视野中的目标物体进行标定，主要是对成像画面中画面、目标物的结构分布合理进行标定，本发明汽车相机标定具有简单、快速、准确、不受环境限制的优点。
当然，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件（如处理器，控制器等）来完成，所述的程序可存储于一计算机可读取的存储介质中，该程序在执行时可包括如上述各方法实施例的流程。其中所述的存储介质可为存储器、磁碟、光盘等。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (12)
1.一种应用智能驾驶的相机和场景关联标定方法，其特征在于，所述方法包括：
步骤A，预先通过设置在车辆挡风玻璃上并调好视角的相机监测处于相机视野中的单个或多个目标物体；
步骤B，当所述目标物体在相机视野中走动时通过相机进行成像，检测器检测得到目标物体在图像坐标中的位置和高度信息作为标定数据；
步骤C，根据所述标定数据通过离线计算或者在线学习的方式对用于表示目标物体图像位置和高度关系的标定模型进行更新。
2.根据权利要求1所述的应用智能驾驶的相机和场景关联标定方法，其特征在于，所述步骤B具体包括：
步骤B1，自动采集出现在相机视野中包含目标物体的图像数据；
步骤B2，通过目标检测算法检测出目标物体在图像中的位置和高度；
步骤B3，建立目标物体的位置和高度的映射关系图。
3.根据权利要求2所述的应用智能驾驶的相机和场景关联标定方法，其特征在于，所述步骤B2具体包括：
步骤B21，选取图像中的通道特征图像作为原始输入图像进行进一步的特征提取和分类器训练，用于目标物体的检测；
步骤B22，选择迭代算法作为分类框架、决策树作为弱分类器，通过决策树进行分类并将所有决策树判定的分数之和作为检测分数用于筛选目标物体；
步骤B23，通过采用滑动窗口和多尺度的方式对目标物体进行搜索，得到目标物体在图像中的位置和高度。
4.根据权利要求2所述的应用智能驾驶的相机和场景关联标定方法，其特征在于，所述步骤B3具体包括：
建立位置和高度的多项式映射，所述多项式映射反映了平面(x，y)到高度h的映射为：h=f（x，y），其中f为多项式，用于表示平面或高阶曲面，（x，y）表示位置，h表示高度；
当目标物体的成像高度在图像中表现为线性分布时，此时f定义为一个平面函数：f（x，y）=ax+by+c；此时h由线性函数逼近为：h=ax+by+c；
当h由二阶函数逼近为：h=ax2+by2+cx+dy+e；函数公式的选择取决于相机的成像特性；
当标定数据获取后，得到一系列的标定点对（x1，y1，h1），（x2，y2，h2），…，（xn，yn，hn），通过所述标定点对利用最小二乘法估计出f（x，y）函数中的映射系数。
5.根据权利要求4所述的应用智能驾驶的相机和场景关联标定方法，其特征在于，所述离线计算的方式为：收集到一定数量的标定数据（x，y，h）收后，利用最小二乘法一次性估计f（x，y）的参数标定过程；
所述在线学习的方式为：每间隔一定时间，对图像进行目标检测，得到标定数据。
6.根据权利要求1所述的应用智能驾驶的相机和场景关联标定方法，其特征在于，在检测和收集目标物体成像数据时，同时采用二维热力学图来展示目标在画面中的分布情况。
7.根据权利要求1所述的应用智能驾驶的相机和场景关联标定方法，其特征在于，当系统完成标定模型后，采用在二维图中嵌入形变后的三维立体，用于展示目标在场景中的高度变化以及揭示场景的三维结构。
8.一种应用智能驾驶的相机和场景关联标定系统，其特征在于，所述系统包括：
目标检测模块，用于预先通过设置在车辆挡风玻璃上并调好视角的相机监测处于相机视野中的单个或多个目标物体；
数据检测模块，用于当所述目标物体在相机视野中走动时通过相机进行成像，检测器检测得到目标物体在图像坐标中的位置和高度信息作为标定数据；
模型更新模块，用于根据所述标定数据通过离线计算或者在线学习的方式对用于表示目标物体图像位置和高度关系的标定模型进行更新。
9.根据权利要求8所述的应用智能驾驶的相机和场景关联标定系统，其特征在于，所述数据检测模块具体包括：
数据采集单元，用于自动采集出现在相机视野中包含目标物体的图像数据；
算法检测单元，用于通过目标检测算法检测出目标物体在图像中的位置和高度；
映射建立单元，用于建立目标物体的位置和高度的映射关系图。
10.根据权利要求9所述的应用智能驾驶的相机和场景关联标定系统，其特征在于，所述算法检测单元具体还包括：
训练检测单元，用于选取图像中的通道特征图像作为原始输入图像进行进一步的特征提取和分类器训练，用于目标物体的检测；
目标筛选单元，用于选择迭代算法作为分类框架、决策树作为弱分类器，通过决策树进行分类并将所有决策树判定的分数之和作为检测分数用于筛选目标物体；
目标搜索单元，用于通过采用滑动窗口和多尺度的方式对目标物体进行搜索，得到目标物体在图像中的位置和高度。
11.根据权利要求9所述的应用智能驾驶的相机和场景关联标定系统，其特征在于，所述映射建立单元具体包括：
用于建立位置和高度的多项式映射，所述多项式映射反映了平面(x，y)到高度h的映射为：h=f（x，y），其中f为多项式，用于表示平面或高阶曲面，（x，y）表示位置，h表示高度；
当目标物体的成像高度在图像中表现为线性分布时，此时f定义为一个平面函数：f（x，y）=ax+by+c；此时h由线性函数逼近为：h=ax+by+c；
当h由二阶函数逼近为：h=ax2+by2+cx+dy+e；函数公式的选择取决于相机的成像特性；
当标定数据获取后，得到一系列的标定点对（x1，y1，h1），（x2，y2，h2），…，（xn，yn，hn），通过所述标定点对利用最小二乘法估计出f（x，y）函数中的映射系数。
12.根据权利要求11所述的应用智能驾驶的相机和场景关联标定系统，其特征在于，所述模型更新模块中所述离线计算的方式为：收集到一定数量的标定数据（x，y，h）收后，利用最小二乘法一次性估计f（x，y）的参数标定过程；
所述在线学习的方式为：每间隔一定时间，对图像进行目标检测，得到标定数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710341730.1A CN107316332A (zh) | 2017-05-16 | 2017-05-16 | 一种应用智能驾驶的相机和场景关联标定方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710341730.1A CN107316332A (zh) | 2017-05-16 | 2017-05-16 | 一种应用智能驾驶的相机和场景关联标定方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107316332A true CN107316332A (zh) | 2017-11-03 |
Family
ID=60183475
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710341730.1A Pending CN107316332A (zh) | 2017-05-16 | 2017-05-16 | 一种应用智能驾驶的相机和场景关联标定方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107316332A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108376412A (zh) * | 2018-03-09 | 2018-08-07 | 安徽农业大学 | 一种汽车前挡玻璃的驾驶视野要求区域计算方法 |
| CN110490930A (zh) * | 2019-08-21 | 2019-11-22 | 谷元(上海)文化科技有限责任公司 | 一种摄像机位置的标定方法 |
| CN111447434A (zh) * | 2020-02-21 | 2020-07-24 | 中国汽车技术研究中心有限公司 | 一种adas前视摄像机硬件在环测试评价方法 |
| CN111462244A (zh) * | 2019-01-22 | 2020-07-28 | 上海欧菲智能车联科技有限公司 | 车载环视系统在线标定方法、系统及装置 |
| CN111915640A (zh) * | 2020-08-11 | 2020-11-10 | 浙江大华技术股份有限公司 | 候选框尺度的确定方法及装置、存储介质、电子装置 |
| CN113421300A (zh) * | 2021-06-28 | 2021-09-21 | 上海迈外迪网络科技有限公司 | 确定鱼眼相机图像中物体实际位置的方法及装置 |
| CN113888617A (zh) * | 2021-09-30 | 2022-01-04 | 北京工业大学 | 一种关联区域多相机物体匹配方法与系统 |
| WO2023284358A1 (zh) * | 2021-07-16 | 2023-01-19 | 北京迈格威科技有限公司 | 相机标定方法、装置、电子设备及存储介质 |
-
2017
- 2017-05-16 CN CN201710341730.1A patent/CN107316332A/zh active Pending
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108376412A (zh) * | 2018-03-09 | 2018-08-07 | 安徽农业大学 | 一种汽车前挡玻璃的驾驶视野要求区域计算方法 |
| CN108376412B (zh) * | 2018-03-09 | 2020-07-14 | 安徽农业大学 | 一种汽车前挡玻璃的驾驶视野要求区域计算方法 |
| CN111462244A (zh) * | 2019-01-22 | 2020-07-28 | 上海欧菲智能车联科技有限公司 | 车载环视系统在线标定方法、系统及装置 |
| CN111462244B (zh) * | 2019-01-22 | 2024-02-06 | 上海欧菲智能车联科技有限公司 | 车载环视系统在线标定方法、系统及装置 |
| CN110490930A (zh) * | 2019-08-21 | 2019-11-22 | 谷元(上海)文化科技有限责任公司 | 一种摄像机位置的标定方法 |
| CN110490930B (zh) * | 2019-08-21 | 2022-12-13 | 谷元(上海)文化科技有限责任公司 | 一种摄像机位置的标定方法 |
| CN111447434A (zh) * | 2020-02-21 | 2020-07-24 | 中国汽车技术研究中心有限公司 | 一种adas前视摄像机硬件在环测试评价方法 |
| CN111915640A (zh) * | 2020-08-11 | 2020-11-10 | 浙江大华技术股份有限公司 | 候选框尺度的确定方法及装置、存储介质、电子装置 |
| CN113421300A (zh) * | 2021-06-28 | 2021-09-21 | 上海迈外迪网络科技有限公司 | 确定鱼眼相机图像中物体实际位置的方法及装置 |
| WO2023284358A1 (zh) * | 2021-07-16 | 2023-01-19 | 北京迈格威科技有限公司 | 相机标定方法、装置、电子设备及存储介质 |
| CN113888617A (zh) * | 2021-09-30 | 2022-01-04 | 北京工业大学 | 一种关联区域多相机物体匹配方法与系统 |
| CN113888617B (zh) * | 2021-09-30 | 2024-08-02 | 北京工业大学 | 一种关联区域多相机物体匹配方法与系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107316332A (zh) | 一种应用智能驾驶的相机和场景关联标定方法及系统 | |
| CN110501018B (zh) | 一种服务于高精度地图生产的交通标志牌信息采集方法 | |
| CN110148196A (zh) | 一种图像处理方法、装置以及相关设备 | |
| WO2022110049A1 (zh) | 一种导航方法、装置和系统 | |
| JP5057183B2 (ja) | 風景マッチング用参照データ生成システム及び位置測位システム | |
| CN102222236B (zh) | 图像处理系统及位置测量系统 | |
| CN102682292B (zh) | 基于单目视觉的道路边缘检测及粗定位方法 | |
| JP5062498B2 (ja) | 風景マッチング用参照データ生成システム及び位置測位システム | |
| JP6781711B2 (ja) | 駐車ゾーンを自動的に認識する方法及びシステム | |
| Kühnl et al. | Spatial ray features for real-time ego-lane extraction | |
| CN109186586A (zh) | 一种面向动态泊车环境的同时定位及混合地图构建方法 | |
| CN111856963B (zh) | 一种基于车载环视系统的泊车仿真方法及装置 | |
| CN109460709A (zh) | 基于rgb和d信息融合的rtg视觉障碍物检测的方法 | |
| JP5333860B2 (ja) | 風景画像認識を用いた自車位置検出システム | |
| JP5182594B2 (ja) | 画像処理システム | |
| CN108428254A (zh) | 三维地图的构建方法及装置 | |
| CN112308913B (zh) | 一种基于视觉的车辆定位方法、装置及车载终端 | |
| CN112798811A (zh) | 速度测量方法、装置和设备 | |
| CN111400423B (zh) | 基于多视图几何的智慧城市cim三维车辆位姿建模系统 | |
| CN115273005A (zh) | 一种基于改进yolo算法的视觉导航车环境感知方法 | |
| CN110415299B (zh) | 一种运动约束下基于设定路牌的车辆位置估计方法 | |
| CN110733416A (zh) | 一种基于逆透视变换的车道偏离预警方法 | |
| JP2022003548A (ja) | 認識システム及びそのプログラム | |
| WO2021138372A1 (en) | Feature coverage analysis | |
| CN108830248B (zh) | 一种行人局部特征大数据混合提取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| DD01 | Delivery of document by public notice | ||
| DD01 | Delivery of document by public notice |
Addressee: Xue Liantong Document name: Notice of commencement of preservation procedure |