CN113643374A - 基于道路特征的多目相机标定方法、装置、设备和介质 - Google Patents
基于道路特征的多目相机标定方法、装置、设备和介质 Download PDFInfo
- Publication number
- CN113643374A CN113643374A CN202010344426.4A CN202010344426A CN113643374A CN 113643374 A CN113643374 A CN 113643374A CN 202010344426 A CN202010344426 A CN 202010344426A CN 113643374 A CN113643374 A CN 113643374A
- Authority
- CN
- China
- Prior art keywords
- camera
- road
- image
- determining
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000005457 optimization Methods 0.000 claims abstract description 156
- 238000006073 displacement reaction Methods 0.000 claims description 59
- 238000005259 measurement Methods 0.000 claims description 54
- 238000004590 computer program Methods 0.000 claims description 39
- 230000000007 visual effect Effects 0.000 claims description 30
- 238000013135 deep learning Methods 0.000 claims description 25
- 238000009826 distribution Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 18
- 238000003860 storage Methods 0.000 claims description 13
- 238000012216 screening Methods 0.000 claims description 12
- 230000007613 environmental effect Effects 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 6
- 238000005303 weighing Methods 0.000 claims description 5
- 238000009434 installation Methods 0.000 abstract description 12
- 238000001514 detection method Methods 0.000 abstract description 6
- 241000283070 Equus zebra Species 0.000 description 12
- 238000004891 communication Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 238000000605 extraction Methods 0.000 description 6
- 230000007547 defect Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请涉及一种基于道路特征的多目相机基于道路特征的多目相机标定方法、装置、设备和介质。所述方法包括：获取各相机所采集的第一图像、各相机的安装位置以及车辆的行驶里程，并对所述第一图像进行道路特征检测得到道路特征；根据所述道路特征确定对应的消失点，并通过所述消失点得到确定各相机的初始旋转角度；根据各相机的安装位置以及车辆的行驶里程确定各相机的初始位置；根据各相机的初始旋转角度和初始位置分别对各相机的相机外参进行优化；根据优化后的各相机的外参以及车辆的行驶里程进行全局优化，以完成相机标定。采用本方法能够对所有相机进行同时标定。
Description
技术领域
本申请涉及智能汽车技术领域，特别是涉及一种基于道路特征的多目相机标定方法、装置、设备和介质。
背景技术
车载环视系统由装配在车体上前后左右的多台鱼眼相机构成，每台相机覆盖车辆周围的一定区间，图像经过视点变换生成俯视图，并进行拼接得到车载环视鸟瞰图。生成最后的车载环视鸟瞰图过程中，需要对鱼眼摄像头进行标定，求出其内外参数，然后对鱼眼摄像头抓取的初始图像进行畸变校正。
传统的全景环视系统的标定方案多采用建造精准的标定工位完成，成本昂贵，操作繁杂。同时此类离线的标定方案无法覆盖车辆使用过程中由于车况/路况等变化导致的标定变化。少数采用在线(自动)标定方案的，虽能够支持动态的标定需求，然而因其一般假设部分相机的位姿准确无误，无法做到所有相机同时标定。
发明内容
基于此，有必要针对上述技术问题，提供一种能够对所有相机进行同时标定的基于道路特征的多目相机标定方法、装置、设备和介质。
一种基于道路特征的多目相机标定方法，所述方法包括：
确定各相机相对于车辆的安装位置；
通过所述各相机采集环境路况的第一图像；
获取车辆的行驶里程；
识别所述第一图像中的道路特征，并进一步识别出所述道路特征中的视觉交点；
根据所述视觉交点确定所述各相机的初始旋转角度；
根据所述安装位置确定所述相机相对于车辆的初始位置；
根据各相机的初始旋转角度和初始位置分别对各相机的相机外参进行优化；
根据优化后的各相机的外参以及车辆的行驶里程进行全局优化，以调节各相机的旋转角度与初始位置。
上述实施例中，支持任意相机，任意个数相机的全自动标定。很好地避免了传统离线标定方式的高成本以及操作繁杂的缺点，同时能够覆盖传统离线标定无法支持的动态标定需求，当车辆以不同车况行驶在不同路况下时，本实施例能够给出当前状况下最优的相机参数解，进而提升全景环视系统的性能。
在其中一个实施例中，所述识别所述第一图像中的道路特征，包括：
扫描所述第一图像得到所述第一图像对应的灰度值分布，并根据所述灰度值分布确定第一图像中灰度值大于预设值的特征点；
根据预设规则从所确定的特征点中选取符合要求的特征点；
根据所选取的特征点进行拟合得到道路特征。
上述实施例中通过图像的灰度值分布来识别出灰度值大于预设值的特征点，从而进行拟合得到道路特征，仅通过图像的灰度值即可识别出道路特征，操作简单。
在其中一个实施例中，所述识别所述第一图像中的道路特征，包括：
将所述第一图像转换为灰度值第一图像，并获取道路特征对应的属性；
根据所述属性对所述灰度值第一图像进行滤波处理，以初步提取道路特征对应的区域；
对初步提取的道路特征对应的区域进行筛选得到道路特征对应的区域；
对筛选出来的道路特征对应的区域进行边缘拟合处理得到道路特征。
上述实施例中，充分利用了道路特征的属性，并根据该属性进行滤波处理，从而可以初步确定道路特征对应的区域，进而进行筛选后，可以准确地确定出对应的道路特征。
在其中一个实施例中，所述识别所述第一图像中的道路特征，包括：
将所述第一图像输入至预先训练的深度学习网络，以通过所述深度学习网络提取出道路特征，所述深度学习网络是根据包含标注后的道路特征的图像进行训练得到的。
上述实施例中，通过深度学习网络来检测道路特征，不需要做复杂的处理，简化操作的同时提高准确性。
在其中一个实施例中，所述根据各相机的初始旋转角度和初始位置分别对各相机的相机外参进行优化之前，还包括：
将各相机的初始旋转角度和初始位置按照相机进行分组存储。
上述实施例中，由于后续需要首先按照相机进行分组优化，因此将各相机的初始旋转角度和初始位置按照相机进行分组存储，可以方便后续处理。
在其中一个实施例中，所述根据各相机的初始旋转角度和初始位置分别对各相机的相机外参进行优化，包括：
根据各相机的初始旋转角度、初始位置以及对应的道路特征投影到地面平面，并根据投影后的道路特征确定单相机优化衡量指标，其中所述道路特征为识别第一图像所得到的道路特征，或者是通过获取各相机所采集的第二图像，并提取的所述第二图像中的道路特征
根据所述单相机优化衡量指标，对所述各相机的初始旋转角度和初始位置进行优化。
上述实施例中，通过重投影，然后最小化重投影，对单个相机进行优化，可以为后续全局优化奠定基础。
在其中一个实施例中，所述根据投影后的道路特征确定单相机优化衡量指标，包括：
将投影后的道路特征的宽度、角度、各道路特征之间的位置关系以及道路特征是否为直线作为单相机优化衡量指标。
上述实施例中，由于针对一个好的标定，车道线投影到地面的图像应为直线并且互相平行、宽度相等、角度一致等等，因此可以以此为基础，把各检测到的车道线的以上参数互相对比，提高单相机优化的准确性。
在其中一个实施例中，所述根据投影后的道路特征确定单相机优化衡量指标，还包括：
根据所述车辆的行驶里程确定道路特征的第一位移标准值；
根据投影后的道路特征确定投影后的道路特征的位移，计算第一位移标准值与所述投影后的道路特征的位移的差值，作为单相机优化衡量指标。
上述实施例中，车辆行驶里程可以在优化单个相机以及全局优化时，提供尺度信息，例如两帧之间车辆位移为5cm，则图像中车道线位移也应该为5cm，这样为单相机优化提供了衡量指标。
在其中一个实施例中，所述根据优化后的各相机的外参以及车辆的行驶里程进行全局优化，以在线对所述相机进行标定，包括：
将各相机所采集的第一图像或第二图像进行拼接；
获取拼接后同一道路特征所对应的偏差值作为全局优化衡量指标；
根据所述全局优化衡量指标，对所述各相机的初始旋转角度和初始位置进行优化。
上述实施例中，在全局优化时，目的在于整体的参数误差最小，单个相机优化后，把所有相机的图像拼接起来以后，一定会有错位、尺度不符合的问题，因此，根据该些错位、尺度不符合的问题进行全局优化，可以提高处理的准确性。
在其中一个实施例中，所述获取拼接后同一道路特征所对应的偏差值作为全局优化衡量指标，包括：
获取相邻相机所采集的图像中的同一道路特征；
计算所述同一道路特征在拼接后的宽度以及角度的偏差值作为全局优化衡量指标。
上述实施例中，针对不同相机间的车道线参数(粗细，角度等)，以及在全局下的位置(拼接不能错位)等进行优化，可以提高处理的准确性。
在其中一个实施例中，所述获取拼接后同一道路特征所对应的偏差值作为全局优化衡量指标，还包括：
根据所述车辆的行驶里程确定道路特征的第二位移标准值；
确定道路特征所对应的实际位移；
计算第二位移标准值与所述实际位移的差值，作为全局优化衡量指标。
上述实施例中，车辆行驶里程可以在优化单个相机以及全局优化时，提供尺度信息，例如两帧之间车辆位移为5cm，则图像中车道线位移也应该为5cm，这样为全局优化提供了衡量指标。
一种基于道路特征的多目相机标定装置，所述装置包括：
安装位置确定模块，用于确定各相机相对于车辆的安装位置；
第一图像采集模块，用于通过所述各相机采集环境路况的第一图像；
车辆行驶里程获取模块，用于获取车辆的行驶里程；
视觉交点确定模块，用于识别所述第一图像中的道路特征，并进一步识别出所述道路特征中的视觉交点；
初始旋转角度确定模块，用于根据所述视觉交点确定所述各相机的初始旋转角度；
初始位置确定模块，用于根据所述安装位置确定所述相机相对于车辆的初始位置；
单相机优化模块，用于根据各相机的初始旋转角度和初始位置分别对各相机的相机外参进行优化；
全局优化模块，用于根据优化后的各相机的外参以及车辆的行驶里程进行全局优化，以调节各相机的旋转角度与初始位置。
上述实施例中，支持任意相机，任意个数相机的全自动标定。很好地避免了传统离线标定方式的高成本以及操作繁杂的缺点，同时能够覆盖传统离线标定无法支持的动态标定需求，当车辆以不同车况行驶在不同路况下时，本实施例能够给出当前状况下最优的相机参数解，进而提升全景环视系统的性能。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述中任一项所述方法的步骤。
上述实施例中，支持任意相机，任意个数相机的全自动标定。很好地避免了传统离线标定方式的高成本以及操作繁杂的缺点，同时能够覆盖传统离线标定无法支持的动态标定需求，当车辆以不同车况行驶在不同路况下时，本实施例能够给出当前状况下最优的相机参数解，进而提升全景环视系统的性能。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述中任一项所述的方法的步骤。
上述实施例中，支持任意相机，任意个数相机的全自动标定。很好地避免了传统离线标定方式的高成本以及操作繁杂的缺点，同时能够覆盖传统离线标定无法支持的动态标定需求，当车辆以不同车况行驶在不同路况下时，本实施例能够给出当前状况下最优的相机参数解，进而提升全景环视系统的性能。
附图说明
图1为一个实施例中基于道路特征的多目相机方法的应用环境图；
图2为一个实施例中基于道路特征的多目相机方法的流程示意图；
图3为一个实施例中车况或路况导致相机标定出现问题的示意图；
图4为另一个实施例中标定效果判断过程的流程示意图；
图5为一个实施例中的单行图像的灰度值分布图；
图6为另一个实施例中的基于道路特征的多目相机方法的流程图；
图7为一个实施例中基于道路特征的多目相机装置的结构框图；
图8为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的基于道路特征的多目相机方法，可以应用于如图1所示的应用环境中。其中，相机102获取的图像信息发送到车辆中的控制器104进行处理。其中，相机102可以采集环境路况的第一图像，控制器104中预先存储有各相机的安装位置，并通过车辆上安装的传感器采集到车辆的行驶速度，然后获取到从上一帧图像到当前帧图像之间的时间间隔，通过该行驶速度以及该时间间隔计算得到车辆的行驶里程；这样控制器104对第一图像进行道路特征检测得到道路特征，然后根据道路特征识别得到视觉交点，并通过视觉交点确定各相机的初始旋转角度；这样控制器104再根据各相机的安装位置确定各相机的初始位置，初始旋转角度和初始位置构成个各相机的初始的相机外参，然后根据各相机的初始旋转角度和初始位置分别对各相机的相机外参进行优化；根据优化后的各相机的外参以及车辆的行驶里程进行全局优化，以完成相机标定。这样能够给出当前状况下最优的相机参数解，进而提升全景环视系统的性能。
在一个实施例中，如图2所示，提供了一种基于道路特征的多目相机方法，以该方法应用于图1中的控制器为例进行说明，包括以下步骤：
S202：确定各相机相对于车辆的安装位置；通过所述各相机采集环境路况的第一图像；获取车辆的行驶里程。
具体地，由于车辆使用过程中由于车况/路况等变化导致的标定变化，因此会导致全景环视系统的性能变差，如图3所示，为了解决该问题本实施例提出根据道路特征进行相机的实时标定。
本实施例中，一个车辆上可以安装有多个相机，每个相机所拍摄的图像可以携带有时间戳，这样控制器可以根据时间戳来确定各相机所采集的对应的第一图像，也就是当前时间所对应的当前帧图像。
各相机的安装位置可以是相机的设计安装位置，该相机的设计安装位置可以存放在控制器中，这样控制器可以直接读取到各相机的安装位置。
车辆的行驶里程可以是通过车辆上安装的传感器采集到车辆的行驶速度，然后获取到从上一帧图像到当前帧图像之间的时间间隔，通过该行驶速度以及该时间间隔计算得到车辆的行驶里程，且可选地，控制器可以直接读取车辆的里程表上的车辆的相对行驶里程。
S203：识别第一图像中的道路特征，并进一步识别出道路特征中的视觉交点。
其中，道路特征可以是道路上所规划的各种道路标识，例如车道线，更进一步地，例如斑马线等。控制器对第一图像进行道路特征检测得到道路特征可以是通过多种方法进行的，例如可以通过道路特征与道路以及背景的亮度的频率进行识别，或者是通过道路特征的特定的属性，例如特殊的位置规则进行检测(例如，斑马线是明暗相间的线条)，或者是通过神经网络进行深度学习的方法进行识别。
具体地，视觉交点是指平行线的视觉相交点，也就是道路特征的视觉交点，例如平行的车道线的视觉交点。控制器可以对检测到的道路特征进行延长，从而得到视觉交点的坐标。
S204：根据视觉交点确定各相机的初始旋转角度。
具体地，控制器可以通过视觉交点的坐标确定各相机的初始旋转角度。其中控制器可以通过两个视觉交点或者是三个视觉交点根据投影关系来获取到对应的相机的初始旋转角度。
S206：根据安装位置确定相机相对于车辆的初始位置。
具体地，控制器可以根据各相机的安装位置确定各相机的初始位。
S208：根据各相机的初始旋转角度和初始位置分别对各相机的相机外参进行优化。
具体地，控制器可以采用最小化重投影误差的原则，使用非线性优化器，根据各相机的初始旋转角度和初始位置分别对各相机的相机外参进行优化。例如控制器首先计算单相机优化衡量指标，然后通过非线性优化器对单个相机的外参进行优化，然后再计算单相机优化衡量指标，判断该单相机优化衡量指标是否满足要求，若满足要求，则优化完成，否则继续根据各相机的初始旋转角度和初始位置分别对各相机的相机外参进行优化，直至单个相机的相机外参优化完成。
在其中一个实施例中，根据各相机的初始旋转角度和初始位置分别对各相机的相机外参进行优化之前，还包括：将各相机的初始旋转角度和初始位置按照相机进行分组存储。此外在分组之前，控制器还可以拟合标识线边缘信息，去除噪声。这样由于后续需要首先按照相机进行分组优化，因此将各相机的初始旋转角度和初始位置按照相机进行分组存储，可以方便后续处理。
S210：各根据优化后的各相机的外参以及车辆的行驶里程进行全局优化，以调节各相机的旋转角度与初始位置。
具体地，全局优化也可以采用最小化重投影误差的原则，使用非线性优化器，根据优化后的各相机的外参以及车辆的行驶里程进行全局优化，以完成相机标定。全局优化可以首先将各相机对应的相同时间戳的图像进行拼接，然后根据拼接后的图像获取到全局优化衡量指标，例如拼接的错位或者是车辆的实际位移和根据拼接后的图片得到的位移的差值等，通过非线性优化上述全局优化衡量指标至一定范围内，来完成相机标定。
具体地，可以参见图4所示，在标定完成后，即在每次全局优化后，控制器判断所得到的误差是否是最小的，如果是最小的，则标定成功，从而结束，否则，则继续上述步骤S202，重新获取到相机采集的图像，并继续进行优化。且在判断的时候，可以重新采集新的图像帧，例如采集下一图像帧，然后将各相机对应的下一图像帧进行拼接，并获取到拼接后的同一标志物，例如同一道路特征，然后判断拼接后的图片中同一道路特征的错位误差，若该错位误差满足要求，则说明标定成功，则结束，否则则继续获取下一帧图像作为当前帧，并重新进行相机的标定。
上述实施例中，支持任意相机，任意个数相机的全自动标定。很好地避免了传统离线标定方式的高成本以及操作繁杂的缺点，同时能够覆盖传统离线标定无法支持的动态标定需求，当车辆以不同车况行驶在不同路况下时，本实施例能够给出当前状况下最优的相机参数解，进而提升全景环视系统的性能。
具体地，控制器识别第一图像中的道路特征可以是通过多种方法进行的，例如可以通过道路特征与道路以及背景的亮度的频率进行识别，或者是通过道路特征的特定的属性，例如特殊的位置规则进行检测(例如，斑马线是明暗相间的线条)，或者是通过神经网络进行深度学习的方法进行识别，下文将详细介绍上述几种方法：
在其中一个实施例中，识别第一图像中的道路特征，包括：扫描第一图像得到第一图像对应的灰度值分布，并根据灰度值分布确定第一图像中灰度值大于预设值到特征点；根据预设规则从所确定的特征点中选取符合要求的特征点；根据所选取的特征点进行拟合得到道路特征。
具体地，该实施例所采用的是通过道路特征与道路以及背景的亮度的频率进行识别。具体地，亮度频率变化可以理解为道路特征在灰度图中的灰度值比路面等背景的灰度值大(表现为亮度高)。控制器利用亮度检测道路特征，会同时检测出很多噪声(较亮但是不是标识线的像素)。此时可以根据连续性、大小，并通过ransac方法筛选出正确的道路特征。
请结合图5所示，图5为一个实施例中的单行图像的灰度值分布图，其中控制器可以逐行扫描第一图像得到第一图像对应的灰度值分布，并根据灰度值分布确定第一图像中灰度值大于预设值到特征点，例如经过检测上升沿和下降沿，组合即可检测到单行中较亮的区域，该较亮的区域可以成为特征点。然后控制器初步筛选得到有效的特征点，例如可以根据特征点的大小筛选处于合理范围内的特征点。可以根据特征点的分布筛选出互相连续的特征点，从而删除落单的特征点。第三，根据特征点的断点，拟合直线，继续筛选掉无法组合成道路特征的特征点。第四，获得稳定有效的特征点，即可组合成道路特征，并拟合出边缘直线，道路标识线即被检出。
上述实施例中通过图像的灰度值分布来识别出灰度值大于预设值的特征点，从而进行拟合得到道路特征，仅通过图像的灰度值即可识别出道路特征，操作简单。
在其中一个实施例中，识别第一图像中的道路特征，包括：将第一图像转换为灰度值第一图像，并获取道路特征对应的属性；根据属性对灰度值第一图像进行滤波处理，以初步提取道路特征对应的区域；对初步提取的道路特征对应的区域进行筛选得到道路特征对应的区域；对筛选出来的道路特征对应的区域进行边缘拟合处理得到道路特征。
该实施例是通过道路特征的特定的属性来检测得到道路特征的，具体地，控制器是利用特定的标识线(如斑马线)，其存在有固定的图案组合的属性。具体地，控制器第一图像转化为灰度图像后，利用haar like特征使用以下滤波器逐行处理图像：
其中，m为道路特征的间隔，例如斑马线的间隔，
为根据道路特征，例如斑马线间隔设计的冲击信号的偏移量。
为对应偏移的冲击信号，
为权重，其决定了每个冲击信号的强度，(-1)i+j为权重，其决定冲击信号被加或者是被减，
是为了遍历所有的冲击信号，
为滤波器的输出。
该滤波器接收斑马线间隔作为输入参数，逐行扫描第一图像后，符合此间隔的较亮的区域会被增益，不符合的区域会被削弱。因此这个步骤后，斑马线区域会高亮，而其他背景区域会暗淡。这样的操作后，高亮的区域基本属于斑马线区域，然而仍然会有部分噪声。此时可以通过区域轮廓的形状、大小以及在图像中的位置等进行筛选，进而筛选出实际的斑马线区域。最后控制器将筛选出的斑马线区域二值化，提取边缘拟合直线即可检测出斑马线，也即道路特征。
上述实施例中，充分利用了道路特征的属性，并根据该属性进行滤波处理，从而可以初步确定道路特征对应的区域，进而进行筛选后，可以准确地确定出对应的道路特征。
在其中一个实施例中，识别第一图像中的道路特征，包括：将第一图像输入至预先训练的深度学习网络，以通过深度学习网络提取出道路特征，深度学习网络是根据包含标注后的道路特征的图像进行训练得到的。
具体地，该方法是通过深度学习网络来检测道路特征的，包括产生训练数据。通过人工标注的方式，标出训练数据中的道路特征，然后设计一个网络架构(如CNN等)训练神经网络，使其能够区分道路特征与非道路特征。最后使用训练好的网络识别新采取的图像中的道路特征区域。
上述实施例中，通过深度学习网络来检测道路特征，不需要做复杂的处理，简化操作的同时提高准确性。
具体地，下文将详细介绍单相机优化的过程，该单相机优化的过程主要是采用非线性优化进行的。
在其中一个实施例中，根据各相机的初始旋转角度和初始位置分别对各相机的相机外参进行优化，包括：根据各相机的初始旋转角度、初始位置以及对应的道路特征投影到地面平面，并根据投影后的道路特征确定单相机优化衡量指标，其中道路特征为识别第一图像所得到的道路特征，或者是通过获取各相机所采集的第二图像，并提取的第二图像中的道路特征；根据单相机优化衡量指标，对各相机的初始旋转角度和初始位置进行优化。
具体地，在单相机优化的时候，其原理是检测到的道路特征最多的应为车道线。针对一个好的相机标定，车道线投影到地面的图像应为直线并且互相平行，宽度相等，粗细一致等等，因此可以以此为基础，把各检测到的车道线的以上参数互相对比，计算差值，则单相机优化的目的为使差值最小。在进行优化的时候，可以通过相机采集新的图像或者是仍采用原来的图像，若采集新的图像则提取第二图像中的道路特征，若采用原图像，则直接利用各相机的初始旋转角度、初始位置以及所提取的道路特征投影到地面平面，并根据投影后的道路特征确定单相机优化衡量指标。
该单相机优化衡量指标可以是将投影后的道路特征的宽度、角度、各道路特征之间的位置关系以及道路特征是否为直线作为单相机优化衡量指标。由于针对一个好的标定，车道线投影到地面的图像应为直线并且互相平行、宽度相等、角度一致等等，因此可以以此为基础，把各检测到的车道线的以上参数互相对比，提高单相机优化的准确性。此外，可选地，该单相机优化衡量指标还可以根据车辆的行驶里程进行确定，例如，控制器根据车辆的行驶里程确定道路特征的第一位移标准值；根据投影后的道路特征确定投影后的道路特征的位移，计算第一位移标准值与投影后的道路特征的位移的差值，作为单相机优化衡量指标。上述实施例中，车辆行驶里程可以在优化单个相机以及全局优化时，提供尺度信息，例如两帧之间车辆位移为5cm，则图像中车道线位移也应该为5cm，这样为单相机优化提供了衡量指标。
控制器计算得到单相机优化衡量指标后，可以根据单相机优化衡量指标，对各相机的初始旋转角度和初始位置进行优化。例如可以计算各单相机优化衡量指标的和值，然后进行循环优化，使得个和值最小或者满足预设要求为止。
上述实施例中，通过重投影，然后最小化重投影，对单个相机进行优化，可以为后续全局优化奠定基础。
具体地，在进行单相机优化结束后，控制器则继续进行全局优化，以提升全景环视系统的性能。
在其中一个实施例中，根据优化后的各相机的外参以及车辆的行驶里程进行全局优化，以调节各相机的旋转角度与初始位置，包括：将各相机所采集的第一图像或第二图像进行拼接；获取拼接后同一道路特征所对应的偏差值作为全局优化衡量指标；根据全局优化衡量指标，对各相机的初始旋转角度和初始位置进行优化。
具体地，全局优化整体步骤类似单相机优化，差别在于计算差值的方式不同。在全局优化时，目的在于整体的参数误差最小。控制器在单个相机优化后，把所有相机的图像拼接起来以后，此时一定会有错位，尺度不符合的问题。因此在计算差值，也就是全局优化衡量指标时，就要加入不同相机间的车道线参数(粗细，角度等)，以及在全局下的位置(拼接不能错位)等，优化目的为使这些全局优化衡量指标最小。
其中该全局优化衡量指标的计算方式可以包括：获取相邻相机所采集的图像中的同一道路特征；计算同一道路特征在拼接后的宽度以及角度的偏差值作为全局优化衡量指标。上述实施例中，针对不同相机间的车道线参数(粗细，角度等)，以及在全局下的位置(拼接不能错位)等进行优化，可以提高处理的准确性。
此外，该全局优化衡量指标的计算方式还可以包括：根据车辆的行驶里程确定道路特征的第二位移标准值；确定道路特征所对应的实际位移；计算第二位移标准值与实际位移的差值，作为全局优化衡量指标。上述实施例中，车辆行驶里程可以在优化单个相机以及全局优化时，提供尺度信息，例如两帧之间车辆位移为5cm，则图像中车道线位移也应该为5cm，例如假设车道线的远离车辆的一端为参照物，车辆位移为5cm，则车道线的远离车辆的一端在图像中也存在位移，为5cm，这样为全局优化提供了衡量指标。
控制器在计算得到上述全局优化衡量指标后，则进行非线性优化，例如可以计算各全局优化衡量指标的和值，然后进行循环优化，使得个和值最小或者满足预设要求为止。
上述实施例中，在全局优化时，目的在于整体的参数误差最小，单个相机优化后，把所有相机的图像拼接起来以后，一定会有错位、尺度不符合的问题，因此，根据该些错位、尺度不符合的问题进行全局优化，可以提高处理的准确性。
具体地，请集合图6所示，图6为另一个实施例中的基于道路特征的多目相机方法的流程图，在该实施例中，首先控制器根据亮度频率变化来检测各类道路标识线。然后根据收集的信息求取相机位姿初值，包括相机的初始旋转角度和初始位置，即控制器利用检测到的视觉交点以及光流跟踪地面特征，结合车辆的里程计信息，求取估计相机位姿初值。该过程仅需求取估计值，精度要求不高。然后控制器收集必要的数据，即收集道路特征数据并预处理。最后控制器采取最小化重投影误差的原则，使用非线性优化器，首先分别优化单个相机，再全局优化所有相机使重投影误差最小。道路特征检测实际上可替换为任何能够实时鲁棒检测道路标识线的算法，例如深度学习检测车道线等，利用频率形状特征检测道路标识线等。这样鲁棒地求取相机的位姿初值，进而可以完成所有相机的同时标定。在最终的优化部分，加入全局的最小化重投影误差优化，进而可以大幅提高标定精度。同时引入车辆运动模型和车辆的里程计信息，大幅降低和抑制开放场景下噪声带来的误差。
应该理解的是，虽然图2和图6的流程图中的各步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2和图6中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图7所示，提供了一种基于道路特征的多目相机标定装置，包括：安装位置确定模块100、车辆行驶里程获取模块300、视觉交点确定模块400、初始旋转角度确定模块500、初始位置确定模块600、单相机优化模块700以及全局优化模块800，其中：
安装位置确定模块100，用于确定各相机相对于车辆的安装位置；
第一图像采集模块200，用于通过各相机采集环境路况的第一图像；
车辆行驶里程获取模块300，用于获取车辆的行驶里程；
视觉交点确定模块400，用于识别第一图像中的道路特征，并进一步识别出道路特征中的视觉交点；
初始旋转角度确定模块500，用于根据视觉交点确定各相机的初始旋转角度；
初始位置确定模块600，用于根据安装位置确定相机相对于车辆的初始位置；
单相机优化模块700，用于根据各相机的初始旋转角度和初始位置分别对各相机的相机外参进行优化；
全局优化模块800，用于根据优化后的各相机的外参以及车辆的行驶里程进行全局优化，以调节各相机的旋转角度与初始位置。
在其中一个实施例中，上述的视觉交点确定模块400可以包括：
扫描单元，用于扫描第一图像得到第一图像对应的灰度值分布，并根据灰度值分布确定第一图像中灰度值大于预设值的特征点；
选取单元，用于根据预设规则从所确定的特征点中选取符合要求的特征点；
第一拟合单元，用于根据所选取的特征点进行拟合得到道路特征。
在其中一个实施例中，上述的视觉交点确定模块400可以包括：
转换单元，用于将第一图像转换为灰度值第一图像，并获取道路特征对应的属性；
初步提取单元，用于对初步提取的道路特征对应的区域进行筛选得到道路特征对应的区域；
筛选单元，用于对初步提取的道路特征对应的区域进行筛选得到道路特征对应的区域；
第二拟合单元，用于对筛选出来的道路特征对应的区域进行边缘拟合处理得到道路特征。
在其中一个实施例中，上述的视觉交点确定模块400可以包括：
深度学习网络处理单元，用于将第一图像输入至预先训练的深度学习网络，以通过深度学习网络提取出道路特征，深度学习网络是根据包含标注后的道路特征的图像进行训练得到的。
在其中一个实施例中，上述的基于道路特征的多目相机标定装置还包括：
分组模块，用于将各相机的初始旋转角度和初始位置按照相机进行分组存储。
在其中一个实施例中，单相机优化模块700包括：
特征提取单元，用于根据各相机的初始旋转角度、初始位置以及对应的道路特征投影到地面平面，并根据投影后的道路特征确定单相机优化衡量指标，其中道路特征为识别第一图像所得到的道路特征，或者是通过获取各相机所采集的第二图像，并提取的第二图像中的道路特征；
单相机优化单元，用于根据单相机优化衡量指标，对各相机的初始旋转角度和初始位置进行优化。
在其中一个实施例中，特征提取单元包括：
第一单相机优化衡量指标确定单元，用于将投影后的道路特征的宽度、角度、各道路特征之间的位置关系以及道路特征是否为直线作为单相机优化衡量指标。
在其中一个实施例中，特征提取单元还包括：
第一位移标准值确定单元，用于根据车辆的行驶里程确定道路特征的第一位移标准值；
第二单相机优化衡量指标确定单元，用于根据投影后的道路特征确定投影后的道路特征的位移，计算第一位移标准值与投影后的道路特征的位移的差值，作为单相机优化衡量指标。
在其中一个实施例中，全局优化模块800包括：
拼接单元，用于将各相机所采集的第一图像或第二图像进行拼接；
全局优化衡量指标获取单元，用于获取拼接后同一道路特征所对应的偏差值作为全局优化衡量指标；
全局优化单元，用于根据全局优化衡量指标，对各相机的初始旋转角度和初始位置进行优化。
在其中一个实施例中，全局优化衡量指标获取单元包括：
同一道路特征获取单元，用于获取相邻相机所采集的图像中的同一道路特征；
偏差值计算单元，用于计算同一道路特征在拼接后的宽度以及角度的偏差值作为全局优化衡量指标。
在其中一个实施例中，全局优化衡量指标获取单元还包括：
第二位移标准值确定单元，用于根据车辆的行驶里程确定道路特征的第二位移标准值；
实际位移确定单元，用于确定道路特征所对应的实际位移；
全局优化衡量指标确定单元，用于计算第二位移标准值与实际位移的差值，作为全局优化衡量指标。
关于基于道路特征的多目相机装置的具体限定可以参见上文中对于基于道路特征的多目相机方法的限定，在此不再赘述。上述基于道路特征的多目相机装置中的各模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种基于道路特征的多目相机方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：确定各相机相对于车辆的安装位置；通过各相机采集环境路况的第一图像；获取车辆的行驶里程；识别第一图像中的道路特征，并进一步识别出道路特征中的视觉交点；根据视觉交点确定各相机的初始旋转角度；根据安装位置确定相机相对于车辆的初始位置；根据各相机的初始旋转角度和初始位置分别对各相机的相机外参进行优化；根据优化后的各相机的外参以及车辆的行驶里程进行全局优化，以调节各相机的旋转角度与初始位置。
在一个实施例中，处理器执行计算机程序时所实现的识别第一图像中的道路特征，包括：扫描第一图像得到第一图像对应的灰度值分布，并根据灰度值分布确定第一图像中灰度值大于预设值的特征点；根据预设规则从所确定的特征点中选取符合要求的特征点；根据所选取的特征点进行拟合得到道路特征。
在一个实施例中，处理器执行计算机程序时所实现的识别第一图像中的道路特征，包括：将第一图像转换为灰度值第一图像，并获取道路特征对应的属性；根据属性对灰度值第一图像进行滤波处理，以初步提取道路特征对应的区域；对初步提取的道路特征对应的区域进行筛选得到道路特征对应的区域；对筛选出来的道路特征对应的区域进行边缘拟合处理得到道路特征。
在一个实施例中，处理器执行计算机程序时所实现的识别第一图像中的道路特征，包括：将第一图像输入至预先训练的深度学习网络，以通过深度学习网络提取出道路特征，深度学习网络是根据包含标注后的道路特征的图像进行训练得到的。
在一个实施例中，处理器执行计算机程序时所实现的根据各相机的初始旋转角度和初始位置分别对各相机的相机外参进行优化之前，还包括：将各相机的初始旋转角度和初始位置按照相机进行分组存储。
在一个实施例中，处理器执行计算机程序时所实现的根据各相机的初始旋转角度和初始位置分别对各相机的相机外参进行优化，包括：根据各相机的初始旋转角度、初始位置以及对应的道路特征投影到地面平面，并根据投影后的道路特征确定单相机优化衡量指标，其中道路特征为识别第一图像所得到的道路特征，或者是通过获取各相机所采集的第二图像，并提取的第二图像中的道路特征；根据单相机优化衡量指标，对各相机的初始旋转角度和初始位置进行优化。
在一个实施例中，处理器执行计算机程序时所实现的根据投影后的道路特征确定单相机优化衡量指标，包括：将投影后的道路特征的宽度、角度、各道路特征之间的位置关系以及道路特征是否为直线作为单相机优化衡量指标。
在一个实施例中，处理器执行计算机程序时所实现的根据投影后的道路特征确定单相机优化衡量指标，还包括：根据车辆的行驶里程确定道路特征的第一位移标准值；根据投影后的道路特征确定投影后的道路特征的位移，计算第一位移标准值与投影后的道路特征的位移的差值，作为单相机优化衡量指标。
在一个实施例中，处理器执行计算机程序时所实现的根据优化后的各相机的外参以及车辆的行驶里程进行全局优化，以在线对相机进行标定，包括：将各相机所采集的第一图像或第二图像进行拼接；获取拼接后同一道路特征所对应的偏差值作为全局优化衡量指标；根据全局优化衡量指标，对各相机的初始旋转角度和初始位置进行优化。
在一个实施例中，处理器执行计算机程序时所实现的获取拼接后同一道路特征所对应的偏差值作为全局优化衡量指标，包括：获取相邻相机所采集的图像中的同一道路特征；计算同一道路特征在拼接后的宽度以及角度的偏差值作为全局优化衡量指标。
在一个实施例中，处理器执行计算机程序时所实现的获取拼接后同一道路特征所对应的偏差值作为全局优化衡量指标，还包括：根据车辆的行驶里程确定道路特征的第二位移标准值；确定道路特征所对应的实际位移；计算第二位移标准值与实际位移的差值，作为全局优化衡量指标。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：确定各相机相对于车辆的安装位置；通过各相机采集环境路况的第一图像；获取车辆的行驶里程；识别第一图像中的道路特征，并进一步识别出道路特征中的视觉交点；根据视觉交点确定各相机的初始旋转角度；根据安装位置确定相机相对于车辆的初始位置；根据各相机的初始旋转角度和初始位置分别对各相机的相机外参进行优化；根据优化后的各相机的外参以及车辆的行驶里程进行全局优化，以调节各相机的旋转角度与初始位置。
在一个实施例中，计算机程序被处理器执行时所实现的识别第一图像中的道路特征，包括：扫描第一图像得到第一图像对应的灰度值分布，并根据灰度值分布确定第一图像中灰度值大于预设值的特征点；根据预设规则从所确定的特征点中选取符合要求的特征点；根据所选取的特征点进行拟合得到道路特征。
在一个实施例中，计算机程序被处理器执行时所实现的识别第一图像中的道路特征，包括：将第一图像转换为灰度值第一图像，并获取道路特征对应的属性；根据属性对灰度值第一图像进行滤波处理，以初步提取道路特征对应的区域；对初步提取的道路特征对应的区域进行筛选得到道路特征对应的区域；对筛选出来的道路特征对应的区域进行边缘拟合处理得到道路特征。
在一个实施例中，计算机程序被处理器执行时所实现的识别第一图像中的道路特征，包括：将第一图像输入至预先训练的深度学习网络，以通过深度学习网络提取出道路特征，深度学习网络是根据包含标注后的道路特征的图像进行训练得到的。
在一个实施例中，计算机程序被处理器执行时所实现的根据各相机的初始旋转角度和初始位置分别对各相机的相机外参进行优化之前，还包括：将各相机的初始旋转角度和初始位置按照相机进行分组存储。
在一个实施例中，计算机程序被处理器执行时所实现的根据各相机的初始旋转角度和初始位置分别对各相机的相机外参进行优化，包括：根据各相机的初始旋转角度、初始位置以及对应的道路特征投影到地面平面，并根据投影后的道路特征确定单相机优化衡量指标，其中道路特征为识别第一图像所得到的道路特征，或者是通过获取各相机所采集的第二图像，并提取的第二图像中的道路特征；根据单相机优化衡量指标，对各相机的初始旋转角度和初始位置进行优化。
在一个实施例中，计算机程序被处理器执行时所实现的根据投影后的道路特征确定单相机优化衡量指标，包括：将投影后的道路特征的宽度、角度、各道路特征之间的位置关系以及道路特征是否为直线作为单相机优化衡量指标。
在一个实施例中，计算机程序被处理器执行时所实现的根据投影后的道路特征确定单相机优化衡量指标，还包括：根据车辆的行驶里程确定道路特征的第一位移标准值；根据投影后的道路特征确定投影后的道路特征的位移，计算第一位移标准值与投影后的道路特征的位移的差值，作为单相机优化衡量指标。
在一个实施例中，计算机程序被处理器执行时所实现的根据优化后的各相机的外参以及车辆的行驶里程进行全局优化，以在线对相机进行标定，包括：将各相机所采集的第一图像或第二图像进行拼接；获取拼接后同一道路特征所对应的偏差值作为全局优化衡量指标；根据全局优化衡量指标，对各相机的初始旋转角度和初始位置进行优化。
在一个实施例中，计算机程序被处理器执行时所实现的获取拼接后同一道路特征所对应的偏差值作为全局优化衡量指标，包括：获取相邻相机所采集的图像中的同一道路特征；计算同一道路特征在拼接后的宽度以及角度的偏差值作为全局优化衡量指标。
在一个实施例中，计算机程序被处理器执行时所实现的获取拼接后同一道路特征所对应的偏差值作为全局优化衡量指标，还包括：根据车辆的行驶里程确定道路特征的第二位移标准值；确定道路特征所对应的实际位移；计算第二位移标准值与实际位移的差值，作为全局优化衡量指标。
关于基于道路特征的多目相机装置的具体限定可以参见上文中对于基于道路特征的多目相机方法的限定，在此不再赘述。上述基于道路特征的多目相机装置中的各模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种基于道路特征的多目相机方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (14)
1.一种基于道路特征的多目相机标定方法，所述方法包括：
确定各相机相对于车辆的安装位置；
通过所述各相机采集环境路况的第一图像；
获取车辆的行驶里程；
识别所述第一图像中的道路特征，并进一步识别出所述道路特征中的视觉交点；
根据所述视觉交点确定所述各相机的初始旋转角度；
根据所述安装位置确定所述相机相对于车辆的初始位置；
根据各相机的初始旋转角度和初始位置分别对各相机的相机外参进行优化；
根据优化后的各相机的外参以及车辆的行驶里程进行全局优化，以调节各相机的旋转角度与初始位置。
2.根据权利要求1所述的方法，其特征在于，所述识别所述第一图像中的道路特征，包括：
扫描所述第一图像得到所述第一图像对应的灰度值分布，并根据所述灰度值分布确定第一图像中灰度值大于预设值的特征点；
根据预设规则从所确定的特征点中选取符合要求的特征点；
根据所选取的特征点进行拟合得到道路特征。
3.根据权利要求1所述的方法，其特征在于，所述识别所述第一图像中的道路特征，包括：
将所述第一图像转换为灰度值第一图像，并获取道路特征对应的属性；
根据所述属性对所述灰度值第一图像进行滤波处理，以初步提取道路特征对应的区域；
对初步提取的道路特征对应的区域进行筛选得到道路特征对应的区域；
对筛选出来的道路特征对应的区域进行边缘拟合处理得到道路特征。
4.根据权利要求1所述的方法，其特征在于，所述识别所述第一图像中的道路特征，包括：
将所述第一图像输入至预先训练的深度学习网络，以通过所述深度学习网络提取出道路特征，所述深度学习网络是根据包含标注后的道路特征的图像进行训练得到的。
5.根据权利要求1至4任意一项所述的方法，其特征在于，所述根据各相机的初始旋转角度和初始位置分别对各相机的相机外参进行优化之前，还包括：
将各相机的初始旋转角度和初始位置按照相机进行分组存储。
6.根据权利要求1至4任意一项所述的方法，其特征在于，所述根据各相机的初始旋转角度和初始位置分别对各相机的相机外参进行优化，包括：
根据各相机的初始旋转角度、初始位置以及对应的道路特征投影到地面平面，并根据投影后的道路特征确定单相机优化衡量指标，其中所述道路特征为识别第一图像所得到的道路特征，或者是通过获取各相机所采集的第二图像，并提取的所述第二图像中的道路特征
根据所述单相机优化衡量指标，对所述各相机的初始旋转角度和初始位置进行优化。
7.根据权利要求6所述的方法，其特征在于，所述根据投影后的道路特征确定单相机优化衡量指标，包括：
将投影后的道路特征的宽度、角度、各道路特征之间的位置关系以及道路特征是否为直线作为单相机优化衡量指标。
8.根据权利要求7所述的方法，其特征在于，所述根据投影后的道路特征确定单相机优化衡量指标，还包括：
根据所述车辆的行驶里程确定道路特征的第一位移标准值；
根据投影后的道路特征确定投影后的道路特征的位移，计算第一位移标准值与所述投影后的道路特征的位移的差值，作为单相机优化衡量指标。
9.根据权利要求6所述的方法，其特征在于，所述根据优化后的各相机的外参以及车辆的行驶里程进行全局优化，以在线对所述相机进行标定，包括：
将各相机所采集的第一图像或第二图像进行拼接；
获取拼接后同一道路特征所对应的偏差值作为全局优化衡量指标；
根据所述全局优化衡量指标，对所述各相机的初始旋转角度和初始位置进行优化。
10.根据权利要求9所述的方法，其特征在于，所述获取拼接后同一道路特征所对应的偏差值作为全局优化衡量指标，包括：
获取相邻相机所采集的图像中的同一道路特征；
计算所述同一道路特征在拼接后的宽度以及角度的偏差值作为全局优化衡量指标。
11.根据权利要求10所述的方法，其特征在于，所述获取拼接后同一道路特征所对应的偏差值作为全局优化衡量指标，还包括：
根据所述车辆的行驶里程确定道路特征的第二位移标准值；
确定道路特征所对应的实际位移；
计算第二位移标准值与所述实际位移的差值，作为全局优化衡量指标。
12.一种基于道路特征的多目相机标定装置，其特征在于，所述装置包括：
安装位置确定模块，用于确定各相机相对于车辆的安装位置；
第一图像采集模块，用于通过所述各相机采集环境路况的第一图像；
车辆行驶里程获取模块，用于获取车辆的行驶里程；
视觉交点确定模块，用于识别所述第一图像中的道路特征，并进一步识别出所述道路特征中的视觉交点；
初始旋转角度确定模块，用于根据所述视觉交点确定所述各相机的初始旋转角度；
初始位置确定模块，用于根据所述安装位置确定所述相机相对于车辆的初始位置；
单相机优化模块，用于根据各相机的初始旋转角度和初始位置分别对各相机的相机外参进行优化；
全局优化模块，用于根据优化后的各相机的外参以及车辆的行驶里程进行全局优化，以调节各相机的旋转角度与初始位置。
13.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至11中任一项所述方法的步骤。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010344426.4A CN113643374A (zh) | 2020-04-27 | 2020-04-27 | 基于道路特征的多目相机标定方法、装置、设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010344426.4A CN113643374A (zh) | 2020-04-27 | 2020-04-27 | 基于道路特征的多目相机标定方法、装置、设备和介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113643374A true CN113643374A (zh) | 2021-11-12 |
Family
ID=78415056
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010344426.4A Pending CN113643374A (zh) | 2020-04-27 | 2020-04-27 | 基于道路特征的多目相机标定方法、装置、设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113643374A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116309885A (zh) * | 2023-05-24 | 2023-06-23 | 同致电子科技（厦门）有限公司 | 一种基于视觉里程计的车载摄像头在线标定方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110115912A1 (en) * | 2007-08-31 | 2011-05-19 | Valeo Schalter Und Sensoren Gmbh | Method and system for online calibration of a video system |
| CN105608693A (zh) * | 2015-12-18 | 2016-05-25 | 上海欧菲智能车联科技有限公司 | 车载全景环视的标定系统及方法 |
| CN105844624A (zh) * | 2016-03-18 | 2016-08-10 | 上海欧菲智能车联科技有限公司 | 动态标定系统、动态标定系统中的联合优化方法及装置 |
| CN106778593A (zh) * | 2016-12-11 | 2017-05-31 | 北京联合大学 | 一种基于多地面标志融合的车道级定位方法 |
| CN109389650A (zh) * | 2018-09-30 | 2019-02-26 | 京东方科技集团股份有限公司 | 一种车载相机的标定方法、装置、车辆和存储介质 |
| CN109584305A (zh) * | 2017-09-29 | 2019-04-05 | 宝沃汽车（中国）有限公司 | 全景系统标定方法、装置及车辆 |
| CN109685858A (zh) * | 2018-12-29 | 2019-04-26 | 北京茵沃汽车科技有限公司 | 一种单目摄像头在线标定方法 |
-
2020
- 2020-04-27 CN CN202010344426.4A patent/CN113643374A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110115912A1 (en) * | 2007-08-31 | 2011-05-19 | Valeo Schalter Und Sensoren Gmbh | Method and system for online calibration of a video system |
| CN105608693A (zh) * | 2015-12-18 | 2016-05-25 | 上海欧菲智能车联科技有限公司 | 车载全景环视的标定系统及方法 |
| CN105844624A (zh) * | 2016-03-18 | 2016-08-10 | 上海欧菲智能车联科技有限公司 | 动态标定系统、动态标定系统中的联合优化方法及装置 |
| CN106778593A (zh) * | 2016-12-11 | 2017-05-31 | 北京联合大学 | 一种基于多地面标志融合的车道级定位方法 |
| CN109584305A (zh) * | 2017-09-29 | 2019-04-05 | 宝沃汽车（中国）有限公司 | 全景系统标定方法、装置及车辆 |
| CN109389650A (zh) * | 2018-09-30 | 2019-02-26 | 京东方科技集团股份有限公司 | 一种车载相机的标定方法、装置、车辆和存储介质 |
| CN109685858A (zh) * | 2018-12-29 | 2019-04-26 | 北京茵沃汽车科技有限公司 | 一种单目摄像头在线标定方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116309885A (zh) * | 2023-05-24 | 2023-06-23 | 同致电子科技（厦门）有限公司 | 一种基于视觉里程计的车载摄像头在线标定方法 |
| CN116309885B (zh) * | 2023-05-24 | 2023-09-01 | 同致电子科技（厦门）有限公司 | 一种基于视觉里程计的车载摄像头在线标定方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102022388B1 (ko) | 실세계 물체 정보를 이용한 카메라 공차 보정 시스템 및 방법 | |
| CN106919915B (zh) | 基于adas系统的地图道路标记及道路质量采集装置及方法 | |
| CN111260615B (zh) | 基于激光和机器视觉融合的无人机桥梁表观病害检测方法 | |
| WO2020097840A1 (en) | Systems and methods for correcting a high-definition map based on detection of obstructing objects | |
| JP6904614B2 (ja) | 対象物検出装置、予測モデル作成装置、対象物検出方法及びプログラム | |
| JP2018018461A (ja) | 情報処理装置、表示装置、情報処理方法、及びプログラム | |
| JP2018124787A (ja) | 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム | |
| KR102305328B1 (ko) | 카메라 기반의 자동화된 정밀도로지도 생성 시스템 및 방법 | |
| CN111830953A (zh) | 车辆自定位方法、装置及系统 | |
| CN105373135A (zh) | 一种基于机器视觉的飞机入坞引导和机型识别的方法及系统 | |
| CN111141311B (zh) | 一种高精度地图定位模块的评估方法及系统 | |
| JP6278791B2 (ja) | 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラムならびに車両位置検出システム | |
| CN110766760B (zh) | 用于相机标定的方法、装置、设备和存储介质 | |
| CN112598922B (zh) | 车位检测方法、装置、设备及存储介质 | |
| CN113449632B (zh) | 一种基于融合感知的视觉与雷达感知算法优化方法、系统及汽车 | |
| JP6647171B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| JP2017181476A (ja) | 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム | |
| CN112179294A (zh) | 一种土地校对方法、装置以及系统 | |
| JP2015194373A (ja) | 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラムならびに車両位置検出システム | |
| CN111476062A (zh) | 车道线检测方法、装置、电子设备及驾驶系统 | |
| CN113643374A (zh) | 基于道路特征的多目相机标定方法、装置、设备和介质 | |
| JP5936527B2 (ja) | 画像処理装置および画像処理方法 | |
| EP4250245A1 (en) | System and method for determining a viewpoint of a traffic camera | |
| KR102065337B1 (ko) | 비조화비를 이용하여 대상체의 이동 정보를 측정하는 장치 및 방법 | |
| CN111862146B (zh) | 一种目标对象的定位方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |