CN106981082B - 车载摄像头标定方法、装置及车载设备 - Google Patents
车载摄像头标定方法、装置及车载设备 Download PDFInfo
- Publication number
- CN106981082B CN106981082B CN201710133870.XA CN201710133870A CN106981082B CN 106981082 B CN106981082 B CN 106981082B CN 201710133870 A CN201710133870 A CN 201710133870A CN 106981082 B CN106981082 B CN 106981082B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- calibration
- camera
- mounted camera
- posture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Abstract
本发明公开了一种车载摄像头标定方法、装置及车载设备,该方法包括:初始化所述车载摄像头并系统标定;实时监测所述车载摄像头的姿态;在所述车载摄像头姿态发生变化时,根据所述车载摄像头的姿态变化量从所述系统标定的数据中获取相匹配的标定参数;使用所述相匹配的标定参数对所述车载摄像头采集的图像进行图像处理。在本发明实施例的技术方案中,实时监测摄像头的姿态变化,可以根据摄像头的姿态变化情况来自动匹配标定参数,使得标定参数始终与摄像头的实际情形相符,从而保证了车道线检测的准确性和有效性。
Description
技术领域
本发明属于车载设备技术领域,具体涉及一种车载摄像头标定方法、装置及车载设备。
背景技术
随着车辆技术的发展,车辆自动驾驶成为热点研究领域。基于摄像头的车道线监测是自动驾驶领域中的一个重要研究内容,如辅助驾驶中的车道线中心偏离警告和辅助驾驶/无人驾驶中的车道线中心保持功能等,都依赖于车道线检测结果。基于摄像头的车道线检测技术的基本目标是根据摄像头拍摄到的图像实时检测出车道线,据此得到车和车道线的相对位置,从而得到车是否偏离车道线中心,以指导后续的规划和控制,使得车辆能保持在车道线中心行驶或进行合理的规避。
现有技术中,不管是基于单目摄像头还是基于双目深度摄像头的车道线检测技术,都需要在固定安装摄像头并确定俯仰角、焦距等摄像头技术参数后对摄像头进行各种标定,并生成对应的标定参数,以在后续的行驶过程中通过标定参数还原图像中的车道线和车辆的真正物理关系。
但是,发明人在实现本发明的过程中发现,现有技术中这种基于固定摄像头位置的参数标定方式存在如下问题:首先,在车辆行驶过程中,车辆、摄像头及道路之间的位置关系并不能永远保持初始标定时的状态,一旦发生了变化,基于固定参数标定而进行的车道线检测就可能会产生错误,严重时甚至会引发事故;其次,为了保证摄像头可有效获取车道线图像,在某些场景下可能需要对摄像头的位置进行调整,这必然会导致初始标定的参数无法适用于调整后的状态,需要对摄像头重新进行标定,由于摄像头标定需要借助特定的设施并按特定的方式实施,普通用户很难独立完成,这给自动驾驶的可行性和可靠性带来了极大的障碍。
因此,如何根据摄像头的实际情况提供标定参数,便成为了目前亟待解决的技术问题。
发明内容
基于现有技术的上述缺陷,本发明的目的在于提供一种车载摄像头标定方法、装置及车载设备,以解决现有的固定摄像头标定无法针对实际变化情况动态提供标定参数的问题。
为解决上述技术问题,在本发明的一个方面,提供了一种车载摄像头标定方法,包括:
初始化所述车载摄像头并系统标定;
实时监测所述车载摄像头的姿态;
在所述车载摄像头姿态发生变化时,根据所述车载摄像头的姿态变化量从所述系统标定的数据中获取相匹配的标定参数;
使用所述相匹配的标定参数对所述车载摄像头采集的图像进行图像处理。
可选地,所述初始化所述车载摄像头并系统标定包括:
将所述车载摄像头调整到初始姿态并测定所述初始姿态下的标定参数;
将所述车载摄像头依次调整到多个预设姿态并测定每个所述预设姿态下的标定参数;
根据所述初始姿态下的标定参数和所述预设姿态下的标定参数建立所述系统标定的数据。
可选地,根据对所述车载摄像头采集图像进行识别来实时监测所述车载摄像头的姿态;
或者,根据对所述车载摄像头的控制信号进行监测来实时监测所述车载摄像头的姿态;
或者,根据一个或多个车载设备、周边车辆和/或周边监控设备反馈的信息来实时监测所述车载摄像头的姿态。
可选地,所述系统标定的数据包括各个所述预设姿态下的标定参数的离散集合、使用多个所述预设姿态下的标定参数生成的拟合曲线和以最小可检测幅度为基准的标定参数表中的一种或多种。
可选地,所述根据所述车载摄像头的姿态变化量从所述系统标定的数据中获取相匹配的标定参数包括:
确定所述车载摄像头的姿态变化量;
利用所述姿态变化量在所述系统标定的数据中进行查找;
获取与所述姿态变化量最匹配的标定参数。
可选地,所述获取与所述姿态变化量最匹配的标定参数包括:
根据所述姿态变化量查找最匹配的预设姿态,获取所述最匹配的预设姿态下的标定参数;
或者,将所述姿态变化量代入各个标定参数的拟合曲线,计算在当前姿态下各个标定参数的具体值;
或者,使用所述姿态变化量在标定参数表中查表得到对应的标定参数。
可选地,所述进行图像处理包括:
在所述图像中识别车道线;
检测所述车道线在所述图像中的位置;
根据所述车道线在所述图像中的位置获取车辆在道路中的位置及状态。
在本发明实施例的另一方面,还提供一种车载摄像头标定装置,包括:
初始化单元,用于初始化所述车载摄像头并系统标定;
监测单元,用于实时监测所述车载摄像头的姿态;
实时标定单元,用于在所述车载摄像头姿态发生变化时,根据所述车载摄像头的姿态变化量从所述系统标定的数据中获取相匹配的标定参数;
处理单元,用于使用所述相匹配的标定参数对所述车载摄像头采集的图像进行图像处理。
可选地,所述初始化单元包括:
初始标定单元,用于将所述车载摄像头调整到初始姿态并测定所述初始姿态下的标定参数;
单次标定单元,用于将所述车载摄像头依次调整到多个预设姿态并测定每个所述预设姿态下的标定参数;
系统建立单元,用于根据所述初始姿态下的标定参数和所述预设姿态下的标定参数建立所述系统标定的数据。
可选地,所述监测单元包括:
图像监测单元,用于根据对所述车载摄像头采集图像进行识别来实时监测所述车载摄像头的姿态;
或者,控制信号监测单元,用于根据对所述车载摄像头的控制信号进行监测来实时监测所述车载摄像头的姿态;
或者,辅助监测单元,用于根据一个或多个车载设备、周边车辆和/或周边监控设备反馈的信息来实时监测所述车载摄像头的姿态。
可选地,所述装置还包括:
数据存储单元,用于存储各个所述预设姿态下的标定参数的离散集合、使用多个所述预设姿态下的标定参数生成的拟合曲线和以最小可检测幅度为基准的标定参数表中的一种或多种。
可选地,所述实时标定单元包括:
变化量确定单元,用于确定所述车载摄像头的姿态变化量;
查询单元,用于利用所述姿态变化量在所述系统标定的数据中进行查找;
参数获取单元,用于获取与所述姿态变化量最匹配的标定参数。
可选地,所述处理单元包括:
车道线识别单元,用于在所述图像中识别车道线;
车道线检测单元,用于检测所述车道线在所述图像中的位置;
车况监测单元,用于根据所述车道线在所述图像中的位置获取车辆在道路中的位置及状态。
在本发明实施例的再一方面,还同时提供一种车载设备,包括:车载摄像头、存储器和一个或多个处理器;其中,
所述摄像头与所述存储器及所述一个或多个处理器通信连接,将实时采集图像提供给所述存储器和/或所述处理器;
所述存储器存储有可被所述一个或多个处理器执行的指令,所述指令被所述一个或多个处理器执行,以使所述一个或多个处理器能够实现如上所述的方法。
在本发明实施例的技术方案中,实时监测摄像头的姿态变化,可以根据摄像头的姿态变化情况来自动匹配标定参数,使得标定参数始终与摄像头的实际情形相符,从而保证了车道线检测的准确性和有效性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一个实施例中车载摄像头标定方法的流程示意图;
图2为本发明一个实施例中车载摄像头标定装置的模块结构示意图;
图3为本发明一个实施例中车载设备的结构示意图。
具体实施方式
为使本领域技术人员更好地理解本发明的技术方案,下面结合附图和具体实施方式对本发明作进一步详细描述。
现有技术中,车载摄像头通常是固定安装在车辆上,摄像头的位置和角度固定,同时车道线检测算法使用的标定参数也是基于这些固定安装位置,在初始化时经由专业测量得到的。但该方式实际仅适合于车辆在平直路面上直线行驶的情况,当车辆在有起伏颠簸的路面上或在曲率较大的弯道上行驶时,摄像头可能会发生偏移,或者车道线和车辆之间的对应关系会发生变化,甚至车道线会从摄像头视野中消失,此时仍基于初始的固定摄像头的标定参数可能会导致错误的车道线检测结果甚至无法进行车道线检测。同时,由于参数标定的专业性,基本不可能在车辆使用过程中重新测量标定,故现有技术中的摄像头标定方式给自动驾驶的可行性和可靠性带来了极大的障碍。
在本发明实施例的技术方案中,通过动态检测摄像头的姿态,自动获得与当前变化情况相匹配的标定参数,从而保证了车道线检测的准确性和有效性。
实施例一:
在本发明的实施例中,如图1所示,提供了一种车载摄像头标定方法,包括:
初始化所述车载摄像头并系统标定;
实时监测所述车载摄像头的姿态;
在所述车载摄像头姿态发生变化时,根据所述车载摄像头的姿态变化量从所述系统标定的数据中获取相匹配的标定参数;
使用所述相匹配的标定参数对所述车载摄像头采集的图像进行图像处理。
其中,本发明实施例中的车载摄像头可以为单目摄像头、双目摄像头或更多摄像头的组合,单个摄像头可采用常规镜头、广角镜头、长焦镜头或变焦镜头等,摄像头传感器可为CCD(Charge-coupled Device,电耦合元件)或CMOS(Complementary Metal OxideSemiconductor,互补金属氧化物半导体)等传感器,摄像头类型可为多色摄像头(比如RGB彩色摄像头)或单色摄像头(比如黑白摄像头、红外摄像头、R/G/B单色摄像头)等,在此摄像头的具体形式不作为对本发明实施方式的限制。
可选地,所述车载摄像头设置在车辆的顶部、尾部、内后视镜处、外后视镜处或任意可能的安装位置,以使所述车载摄像头的视野范围内至少包括部分道路情况。
实施例二:
在本发明的一个实施例中,在系统启动或重置后进行所述初始化的过程。可选地,所述初始化所述车载摄像头并系统标定包括:
将所述车载摄像头调整到初始姿态并测定所述初始姿态下的标定参数;
将所述车载摄像头依次调整到多个预设姿态并测定每个所述预设姿态下的标定参数;
根据所述初始姿态下的标定参数和所述预设姿态下的标定参数建立所述系统标定的数据。
可选地,所述系统标定的数据可采用离散法和曲线拟合法这两种典型方式来建立。
其中,离散法是指采用有限个离散的预设姿态,每个预设姿态为指定位置的指定姿态,这些预设姿态与初始姿态的差异确定,而指定位置和指定姿态则基本是按平均分布原则和/或行业经验来指定的。在各个离散的预设姿态下分别进行单次标定,建立所述系统标定的数据则是指直接记录各个预设姿态与初始姿态的差异以及各个预设姿态下的标定参数。
曲线拟合法则是指采用多个关键的预设姿态,每个预设姿态为关键位置的关键姿态。同样地,这些预设姿态与初始姿态的差异也是确定,但关键位置和关键姿态主要是根据摄像头所能活动的极限点、中间点、变化的临界点等来选取,且通常按位置关系成组选取。在各个预设姿态下分别进行单次标定,但每组预设姿态的标定参数联合分析,按组建立位置、角度与各个标定参数的函数曲线,所有函数曲线的集合即为所述系统标定的数据。
其中,用于车道线检测时,涉及车载摄像头的标定参数包括但不限于:车高、车长、车宽、摄像头距地面高度、摄像头距车顶高度、摄像头与车头距离、摄像头与车尾距离、摄像头与左右两侧车体(车门、A柱等)距离、摄像头主光轴水平偏转角度(相对车头方向)和摄像头主光轴俯仰角度等信息中的一个或多个。在标定时,一般通过在地面和/或车体上设置明显标志物来辅助摄像头识别,同时通过直接测量关键数据,将测量数据与摄像头识别情况关联以获取各物理量在摄像头图像中的表示。具体的单次标定方法为现有技术,在此不再赘述。
通过系统标定,本发明实施例可利用有限次的测量标定来预先建立较为完整的、针对不同变化姿态的、系统化的标定参数数据,从而为后续车辆运动过程中的动态标定提供数据支持。
实施例三:
在本发明的一个实施例中,可通过多种方式来实时监测车辆运动过程中所述车载摄像头的姿态。
可选地,根据对摄像头采集图像的识别来实时监测车辆运动过程中所述车载摄像头的姿态。典型地,通过识别图像中的标志物来监测和判定摄像头姿态是否发生了变化。比如,以与摄像头保持相对静止的标志物作为参考,当该固定标志物在前后两帧图像中的出现位置发生变化时,即认为车载摄像头的姿态发生了变化。
标志物可以是车体上固定设置的车辆部件,比如车标、车灯、车体边缘轮廓线等;也可以是在车体上特意设置的物体,比如设置在发动机盖和/或车顶上的特定形状的贴附物等。典型的贴附物比如贴纸,可以按需求和/或惯例裁剪/印制为任意几何图形,几何图形包括但不限于点、线、圆环、多边形、交叉线等。
在摄像头姿态保持不变时,固定标志物在摄像头采集图像中的出现位置应保持不变;因此,通过比对前后两帧图像中固定标志物的出现位置即可监测摄像头的姿态。更进一步地,根据固定标志物在前后两帧图像中出现位置的差异可以计算得出摄像头姿态的变化量。
此外,还可进一步结合其他车载设备获取的信息来监测摄像头的姿态,比如通过激光测距传感器测定摄像头与固定标志物的距离、车载雷达与摄像头同时对同一物体进行识别、在摄像头连续图像中某一物体的偏转情况与车辆实际行驶方向偏转情况的差异等。又或者,还可利用周边其他车辆和/或监控设备反馈的信息来监测摄像头的姿态,具体的监测手段不应视作对本发明实施方式的限制。
通常情况下,对于固定位置的车载摄像头,其主要是受迫(由于颠簸、震动等原因)而在非常有限的空间内轻微偏转,这类车载摄像头理论上说姿态变化的幅度较小,相应地,在标定时需测量的预设姿态也集中在小范围内。但由于受迫偏转通常具有不可预测性,故往往需要兼顾测量不常用姿态,且其姿态变化情况往往随机发生没有规律,很难利用在先的监测结果来辅助获取标定参数,只能时刻对摄像头的姿态进行监测。
区别于现有技术中固定位置的车载摄像头,本发明一个实施例中提供了一种可动态调整位置和/或角度的摄像头。可选地,通过可受程序控制的驱动部件,比如电动马达等来自动调整所述摄像头的位置和/或角度。在本发明的一个实施例中,所述摄像头安装在云台上,所述云台可微调所述摄像头的位置和/或旋转调整所述摄像头的角度;可选地,所述云台可移动地设置在至少一个导轨上,通过在所述导轨上移动所述云台来大幅调整所述摄像头的位置。在本发明的一个实施例中,所述摄像头为防抖摄像头;在本发明的另一个实施例中,所述云台和/或所述导轨设有稳定器,可保持所述摄像头在车辆行驶和/或调整过程中的稳定性,比如可减震和/或可保持所述摄像头的动态平衡。
对于可调摄像头,其初始化过程中需要测量标定的位置和姿态的幅度范围较大,但由于其变化情况连续且可控,故在监测和标定参数获取等方面的及时性、精度和实现难度会优于固定位置的摄像头。具体地,由于可调摄像头的姿态变化往往是受控进行的,变化发生时刻及变化量均可预知,故可选地,可通过监测对摄像头的控制信号来判断摄像头姿态是否发生了变化以及具体的变化量。
在本发明的实施例中,所述根据所述车载摄像头的姿态变化量从所述系统标定的数据中获取相匹配的标定参数包括:
确定所述车载摄像头的姿态变化量;
利用所述姿态变化量在所述系统标定的数据中进行查找;
获取与所述姿态变化量最匹配的标定参数。
在本发明的实施例中,摄像头姿态的变化量可以是变化后姿态与初始姿态的差异值;也可以是变化后姿态与变化前姿态的差异值再累加变化前姿态的变化量。其中,对于固定位置的车载摄像头或采用离散法标定的数据,优选采用与初始姿态的差异值作为变化量;对于曲线拟合法标定的数据则两种方式均可。
如上文所述,姿态变化量可以通过对摄像头采集图像的识别处理计算得到,该方式主要是利用一个或多个位置已知的标志物,根据标志物在统一的坐标系下的坐标变化情况来推导姿态变化量,坐标转换和几何运算属于常规数学手段,在此不再赘述。此外,姿态变化量也可以通过对摄像头的控制信号来获知,或者可以通过其他车载设备、外部车辆、外部监测设备的反馈来获知;具体的姿态变化量的获取手段不应视作对本发明实施方式的限制。
对于采用离散法建立的系统标定数据,在获取姿态变化量后,将其与系统标定时记录的各个预设姿态与初始姿态的差异值进行比较,以查找最匹配的预设姿态。其中,最匹配的预设姿态是指差异值与姿态变化量相同或最接近的。在发现最匹配的预设姿态后,直接读取最匹配的预设姿态下的标定参数来使用;对于可调摄像头,还可在发现最匹配的预设姿态后,对摄像头姿态进行微调,以使调整后的姿态变化量与最匹配的预设姿态的差异值完全相同。
而对于采用曲线拟合法建立的系统标定数据,在获取姿态变化量后,则是根据变化量代入各个标定参数的拟合曲线,计算在该姿态下各个标定参数的具体值。
更进一步地,拟合曲线可以在系统标定时建立,也可以在运行过程中实时进行曲线拟合和计算。其中,系统标定时可用全部预设姿态及对应的标定参数来生成拟合曲线,而实时方式则优选采用与变化后姿态较为接近的几个预设姿态所对应的标定参数来生成拟合曲线。总体而言,预先拟合的方式总体计算量大、需要较大的存储空间,但精度更高、且因实时计算量小而效率更高;实时拟合的方式对存储空间要求不高,但精度和效率略低。两种方式各有优劣,考虑到当前存储单元的成本在不断下降,故本发明实施例中优选采用预先拟合的方式来得到各个标定参数的拟合曲线。
此外,由于摄像头的姿态变化量存在最小可检测幅度,即对小于一定范围的变化幅度很难检测出差异;因此,对于采用曲线拟合法的方案,在拟合曲线的基础上,还可以将各个标定参数按最小可检测幅度来整理成参数表,在监测过程中直接通过查表来获得姿态变化量所对应的标定参数。该方式占用的存储空间更大,但基本不需要实时计算,故其效率更高。
可选地,上述系统标定数据在初次建立完成后,可以在多个采用相同车型及相同车载摄像头的相同系统中分享,以进一步提升标定的效率。分享方式包括但不限于采用任何有线、无线或电连接式数据传输手段的直接分享,还可包括使用数据服务器来收集和分发的间接分享,在此具体的分享方式不应视作对本发明实施方式的限制。
实施例四:
在本发明的实施例中,使用标定参数进行图像处理主要用于车道线检测。其中,车道线检测是对图像中的物体进行识别,以确定车道线在图像中的位置,随后再通过车道线在图像中的位置以及摄像头相关参数推导出车辆在道路中的位置及状态,以便为车辆行驶的决策提供有效而可靠的控制信号。
通常情况下,车道线的颜色、形状及其出现在图像中的位置相对固定,通过对摄像头采集的图像进行处理即可分离识别出绝大多数的车道线标志。典型地,图像处理和图像识别的步骤包括:预处理、灰度处理、边缘检测、图像分割和特征提取等,相关算法及具体实施已经成熟,在此不再赘述,图像处理和图像识别的具体过程不应视作对本发明实施方式的限制。
在本发明的一个实施例中,摄像头的标定参数主要用于在对图像进行预处理时进行坐标系的修正,以便后续可在统一的坐标系下进行检测识别,获得被测物体(比如车道线)的标准且精确的坐标,由此再得到车辆在统一坐标系下标准而精确的坐标,从而保证车辆控制决策的有效性和可靠性。
通常,可直接使用所述相匹配的标定参数对所述车载摄像头采集的图像进行车道线检测,此时主要依赖数学手段计算得出识别出的每一物体在统一坐标系下的坐标。但实际情况中,车载摄像头拍摄的图像一般会有些变形,最典型地,被摄物体(比如车道线)会有近大远小的问题,若是使用广角镜头则图像中物体的变形会更严重,因而单纯根据摄像头采集的图像直接进行判断和决策可能会有些偏差,并不能准确地为自动驾驶或辅助驾驶提供控制信号,反而会引发一定的安全问题。
在本发明的一个实施例中,先对摄像头采集的图像进行矫正和处理后再用于车道线的检测和自动驾驶/辅助驾驶的决策,以提供更准确、安全、可靠的车辆控制信号。具体地,在本发明的实施例中,对摄像头采集的图像进行矫正后再在所述图像中识别和/或检测车道线。典型地,所述矫正为对梯形物体图像的矫正,即把被拍摄成梯形的物体图像通过对两端的拉伸和/或收缩而矫正为矩形物体图像。进一步地,对于广角镜头所采集的图像,先进行广角畸变的矫正后,再进行梯形物体图像到矩形物体图像的矫正。由于不同摄像头及镜头所产生的形变不尽相同,在此具体的矫正方式不应视作对本发明实施方式的限制。
在本发明的一个实施例中,矫正后的图像虽然已经可以有效用于车道线的识别与检测,但为了更精确地对车辆进行控制,进一步地,还通过正投影处理将车辆相关的信息全部转换到同一个正投影平面上进行综合分析和决策。典型地,根据拍摄和/或矫正后的图像(也可结合其他传感器采集数据及电子地图等)进行转换,将车辆、摄像头及被摄物体等均转换到正投影平面(即从上往下看的俯视图)上,再在正投影平面上判断车辆行驶状态、摄像头姿态以及车辆/摄像头与被摄物的关系(距离、角度等)等等,从而决定是否需要调整以及具体如何控制车辆状态和/或摄像头姿态。
在本发明的实施例中,通过对摄像头拍摄的图像进行矫正,消除了图像中的形变,使得车道线识别和检测的结果更为准确可靠。此外,通过正投影转换处理,使得车辆与车道线的关系更接近实际真实状况,进而使得后续决策更精确有效。
实施例五:
基于上述实施例,参阅图2所示,与上述方法一一对应地,在本发明一个实施例中,还提供一种基于动态控制的车道线检测装置,包括:
初始化单元10,用于初始化所述车载摄像头并系统标定;
监测单元11,用于实时监测所述车载摄像头的姿态;
实时标定单元12,用于在所述车载摄像头姿态发生变化时,根据所述车载摄像头的姿态变化量从所述系统标定的数据中获取相匹配的标定参数;
处理单元13,用于使用所述相匹配的标定参数对所述车载摄像头采集的图像进行图像处理。
可选地,所述初始化单元包括:
初始标定单元,用于将所述车载摄像头调整到初始姿态并测定所述初始姿态下的标定参数;
单次标定单元,用于将所述车载摄像头依次调整到多个预设姿态并测定每个所述预设姿态下的标定参数;
系统建立单元,用于根据所述初始姿态下的标定参数和所述预设姿态下的标定参数建立所述系统标定的数据。
可选地,所述监测单元包括:
图像监测单元,用于根据对所述车载摄像头采集图像进行识别来实时监测所述车载摄像头的姿态;
或者,控制信号监测单元,用于根据对所述车载摄像头的控制信号进行监测来实时监测所述车载摄像头的姿态;
或者,辅助监测单元,用于根据一个或多个车载设备、周边车辆和/或周边监控设备反馈的信息来实时监测所述车载摄像头的姿态。
可选地,所述装置还包括:
数据存储单元,用于存储各个所述预设姿态下的标定参数的离散集合、使用多个所述预设姿态下的标定参数生成的拟合曲线和以最小可检测幅度为基准的标定参数表中的一种或多种。
可选地,所述实时标定单元包括:
变化量确定单元,用于确定所述车载摄像头的姿态变化量;
查询单元,用于利用所述姿态变化量在所述系统标定的数据中进行查找;
参数获取单元,用于获取与所述姿态变化量最匹配的标定参数。
可选地,所述处理单元包括:
车道线识别单元,用于在所述图像中识别车道线;
车道线检测单元,用于检测所述车道线在所述图像中的位置;
车况监测单元,用于根据所述车道线在所述图像中的位置获取车辆在道路中的位置及状态。
实施例六:
在本发明的一个实施中,还提供了一种非易失性计算机存储介质,所述计算机存储介质存储有计算机可执行指令,该计算机可执行指令可执行上述任意方法实施例中所描述的方法。
又或者,在本发明的一个实施中,还提供了一种计算机程序产品,所述计算机产品包括计算机可执行指令,该计算机可执行指令可执行上述任意方法实施例中所描述的方法。
实施例七:
在本发明的一个实施例中,用于执行上述车载摄像头标定方法的车载设备的一种硬件结构如图3所示,该车载设备包括:
摄像头530、输入/输出单元540、一个或多个处理器510以及存储器520,图3中以一个处理器510为例。
存储器520作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块,如本发明前述实施例中的车载摄像头标定方法所对应的程序指令/模块。处理器510通过运行存储在存储器520中的非易失性软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理。
存储器520可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储车载摄像头标定装置所使用或创建的数据等(比如系统标定的数据)。此外,存储器520可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中,存储器520可选包括相对于处理器510远程设置的存储器,这些远程存储器可以通过网络连接至该车载设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
摄像头530安装在车辆上,所述摄像头530用于实时采集当前视野范围内的图像。所述摄像头530与所述存储器520及所述一个或多个处理器510通信连接,该通信连接可以通过总线、无线通信或者其他方式连接,图3中以通过总线连接为例。
所述输入/输出单元540与所述一个或多个处理器耦接,用于接收用户对车载设备的操控输入或向用户输出摄像头图像、车道线检测信息和/或辅助驾驶/自动驾驶信息;典型的输入/输出单元比如触摸屏,可以同时提供输入和输出的功能。
一个或者多个功能模块单元存储在所述存储器520中,当被所述一个或者多个处理器510执行时,执行上述任意方法实施例中的车载摄像头标定方法。
上述产品可执行本发明实施例所提供的方法,具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本发明实施例所提供的方法。
本发明实施例的车载设备优选以车载中控设备实现,但集成于车辆中控台的车载中控设备并非本发明实施例的唯一实施形式。实质上,与车辆相对独立的电子设备同样可适用于本发明的实施例,只要其与车辆控制系统能进行适当的交互(包括但不限于收发数据/信息、收发车辆控制信号等)即可。故本发明实施例的车载设备还可以以多种形式存在,包括但不限于:
(1)通用计算终端:提供基本的计算机处理能力的通用设备,通常包括处理器和存储器,通过读取和运行计算机指令来完成相应的功能执行。这类终端包括:个人计算机、单片机、嵌入式设备,以及各种用于工业、商业或民用的小型/微型计算机等。
(2)服务器:提供计算服务的设备,服务器的构成包括处理器、硬盘、内存、系统总线等,服务器和通用的计算机架构类似,但是由于需要提供高可靠的服务,因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(3)移动通信设备:这类设备的特点是具备移动通信功能,并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机,以及低端手机等。
(4)超移动个人计算机设备:这类设备属于个人计算机的范畴,有计算和处理功能,一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等,例如iPad。
(5)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod),掌上游戏机,电子书,以及智能玩具和便携式车载导航设备。
(6)其他具有数据交互功能的电子装置。
综上所述,在本发明实施例的技术方案中,实时监测摄像头的姿态变化,可以根据摄像头的姿态变化情况来自动匹配标定参数,使得标定参数始终与摄像头的实际情形相符,从而保证了车道线检测的准确性和有效性。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (14)
1.一种车载摄像头标定方法,其特征在于,包括:
初始化所述车载摄像头并系统标定;
实时监测所述车载摄像头的姿态;姿态包括位置和/或角度;
在所述车载摄像头姿态发生变化时,根据所述车载摄像头的姿态变化量从所述系统标定的数据中获取相匹配的标定参数;
使用所述相匹配的标定参数对所述车载摄像头采集的图像进行图像处理得到车辆的坐标。
2.根据权利要求1所述的方法,其特征在于,所述初始化所述车载摄像头并系统标定包括:
将所述车载摄像头调整到初始姿态并测定所述初始姿态下的标定参数;
将所述车载摄像头依次调整到多个预设姿态并测定每个所述预设姿态下的标定参数;
根据所述初始姿态下的标定参数和所述预设姿态下的标定参数建立所述系统标定的数据。
3.根据权利要求1所述的方法,其特征在于,根据对所述车载摄像头采集图像进行识别来实时监测所述车载摄像头的姿态;
或者,根据对所述车载摄像头的控制信号进行监测来实时监测所述车载摄像头的姿态;
或者,根据一个或多个车载设备、周边车辆和/或周边监控设备反馈的信息来实时监测所述车载摄像头的姿态。
4.根据权利要求2所述的方法,其特征在于,所述系统标定的数据包括各个所述预设姿态下的标定参数的离散集合、使用多个所述预设姿态下的标定参数生成的拟合曲线和以最小可检测幅度为基准的标定参数表中的一种或多种。
5.根据权利要求1、2或4所述的方法,其特征在于,所述根据所述车载摄像头的姿态变化量从所述系统标定的数据中获取相匹配的标定参数包括:
确定所述车载摄像头的姿态变化量;
利用所述姿态变化量在所述系统标定的数据中进行查找;
获取与所述姿态变化量最匹配的标定参数。
6.根据权利要求5所述的方法,其特征在于,所述获取与所述姿态变化量最匹配的标定参数包括:
根据所述姿态变化量查找最匹配的预设姿态,获取所述最匹配的预设姿态下的标定参数;
或者,将所述姿态变化量代入各个标定参数的拟合曲线,计算在当前姿态下各个标定参数的具体值;
或者,使用所述姿态变化量在标定参数表中查表得到对应的标定参数。
7.根据权利要求1所述的方法,其特征在于,所述进行图像处理包括:
在所述图像中识别车道线;
检测所述车道线在所述图像中的位置;
根据所述车道线在所述图像中的位置获取车辆在道路中的位置及状态。
8.一种车载摄像头标定装置,其特征在于,所述装置包括:
初始化单元,用于初始化所述车载摄像头并系统标定;
监测单元,用于实时监测所述车载摄像头的姿态;姿态包括位置和/或角度;
实时标定单元,用于在所述车载摄像头姿态发生变化时,根据所述车载摄像头的姿态变化量从所述系统标定的数据中获取相匹配的标定参数;
处理单元,用于使用所述相匹配的标定参数对所述车载摄像头采集的图像进行图像处理得到车辆的坐标。
9.根据权利要求8所述的装置,其特征在于,所述初始化单元包括:
初始标定单元,用于将所述车载摄像头调整到初始姿态并测定所述初始姿态下的标定参数;
单次标定单元,用于将所述车载摄像头依次调整到多个预设姿态并测定每个所述预设姿态下的标定参数;
系统建立单元,用于根据所述初始姿态下的标定参数和所述预设姿态下的标定参数建立所述系统标定的数据。
10.根据权利要求8所述的装置,其特征在于,所述监测单元包括:
图像监测单元,用于根据对所述车载摄像头采集图像进行识别来实时监测所述车载摄像头的姿态;
或者,控制信号监测单元,用于根据对所述车载摄像头的控制信号进行监测来实时监测所述车载摄像头的姿态;
或者,辅助监测单元,用于根据一个或多个车载设备、周边车辆和/或周边监控设备反馈的信息来实时监测所述车载摄像头的姿态。
11.根据权利要求9所述的装置,其特征在于,所述装置还包括:
数据存储单元,用于存储各个所述预设姿态下的标定参数的离散集合、使用多个所述预设姿态下的标定参数生成的拟合曲线和以最小可检测幅度为基准的标定参数表中的一种或多种。
12.根据权利要求8、9或11所述的装置,其特征在于,所述实时标定单元包括:
变化量确定单元,用于确定所述车载摄像头的姿态变化量;
查询单元,用于利用所述姿态变化量在所述系统标定的数据中进行查找;
参数获取单元,用于获取与所述姿态变化量最匹配的标定参数。
13.根据权利要求8所述的装置,其特征在于,所述处理单元包括:
车道线识别单元,用于在所述图像中识别车道线;
车道线检测单元,用于检测所述车道线在所述图像中的位置;
车况监测单元,用于根据所述车道线在所述图像中的位置获取车辆在道路中的位置及状态。
14.一种车载设备,其特征在于,包括:车载摄像头、存储器和一个或多个处理器;其中,
所述摄像头与所述存储器及所述一个或多个处理器通信连接,将实时采集图像提供给所述存储器和/或所述处理器;
所述存储器存储有可被所述一个或多个处理器执行的指令,所述指令被所述一个或多个处理器执行,以使所述一个或多个处理器能够实现如权利要求1-7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710133870.XA CN106981082B (zh) | 2017-03-08 | 2017-03-08 | 车载摄像头标定方法、装置及车载设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710133870.XA CN106981082B (zh) | 2017-03-08 | 2017-03-08 | 车载摄像头标定方法、装置及车载设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106981082A CN106981082A (zh) | 2017-07-25 |
CN106981082B true CN106981082B (zh) | 2020-04-17 |
Family
ID=59338134
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710133870.XA Active CN106981082B (zh) | 2017-03-08 | 2017-03-08 | 车载摄像头标定方法、装置及车载设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106981082B (zh) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107481292B (zh) * | 2017-09-05 | 2020-07-28 | 百度在线网络技术(北京)有限公司 | 车载摄像头的姿态误差估计方法和装置 |
CN108022443B (zh) * | 2017-09-27 | 2020-09-08 | 安徽省徽腾智能交通科技有限公司泗县分公司 | 基于数据分析的固定停车装置 |
US20190122382A1 (en) * | 2017-10-24 | 2019-04-25 | GM Global Technology Operations LLC | Method and apparatus that display view alert |
CN108376384B (zh) * | 2018-03-12 | 2020-09-18 | 海信集团有限公司 | 视差图的矫正方法、装置及存储介质 |
CN108595576A (zh) * | 2018-04-17 | 2018-09-28 | 高新兴科技集团股份有限公司 | 一种基于数据库的车辆以图搜图方法 |
KR102420476B1 (ko) * | 2018-05-25 | 2022-07-13 | 에스케이텔레콤 주식회사 | 차량의 위치 추정 장치, 차량의 위치 추정 방법, 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체 |
CN110555885B (zh) * | 2018-05-31 | 2023-07-04 | 海信集团有限公司 | 一种车载相机的标定方法、装置及终端 |
CN110570475A (zh) * | 2018-06-05 | 2019-12-13 | 上海商汤智能科技有限公司 | 车载摄像头自标定方法及装置和车辆驾驶方法及装置 |
CN109117866B (zh) * | 2018-07-17 | 2021-10-29 | 芯启源(南京)半导体科技有限公司 | 车道识别算法评估方法、计算机设备及存储介质 |
CN109191536A (zh) * | 2018-10-31 | 2019-01-11 | 百度在线网络技术(北京)有限公司 | 车载摄像头的自动标定方法和装置 |
CN109636855A (zh) * | 2018-12-24 | 2019-04-16 | 济南浪潮高新科技投资发展有限公司 | 一种校准摄像头位姿的系统及方法 |
CN110196062B (zh) * | 2019-06-27 | 2022-03-25 | 成都圭目机器人有限公司 | 一种单相机跟踪车道线的导航方法 |
CN110490936B (zh) * | 2019-07-15 | 2021-09-07 | 杭州飞步科技有限公司 | 车辆摄像头的标定方法、装置、设备及可读存储介质 |
CN113034603B (zh) * | 2019-12-09 | 2023-07-14 | 百度在线网络技术(北京)有限公司 | 用于确定标定参数的方法和装置 |
CN113112413B (zh) * | 2020-01-13 | 2023-12-01 | 北京地平线机器人技术研发有限公司 | 图像生成方法、图像生成装置和车载抬头显示系统 |
WO2022056820A1 (zh) * | 2020-09-18 | 2022-03-24 | 中国科学院重庆绿色智能技术研究院 | 一种车辆防抖稳定器感知方法及其系统 |
CN112837376B (zh) * | 2021-01-12 | 2024-03-15 | 中国第一汽车股份有限公司 | 一种车辆摄像头传感器标定方法、装置、设备及存储介质 |
CN114787015A (zh) * | 2021-06-15 | 2022-07-22 | 华为技术有限公司 | 自动驾驶车辆的标定方法及装置 |
CN114140538B (zh) * | 2021-12-03 | 2022-09-27 | 禾多科技(北京)有限公司 | 车载相机位姿调整方法、装置、设备和计算机可读介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102288121A (zh) * | 2011-05-12 | 2011-12-21 | 电子科技大学 | 一种基于单目视觉的车道偏离距离测量及预警方法 |
CN102722705A (zh) * | 2012-06-12 | 2012-10-10 | 武汉大学 | 一种基于ransac算法的多车道线检测方法 |
CN103175512A (zh) * | 2013-03-08 | 2013-06-26 | 中国人民解放军国防科学技术大学 | 一种混凝土泵车臂架末端位置姿态的摄像测量方法 |
CN103487034A (zh) * | 2013-09-26 | 2014-01-01 | 北京航空航天大学 | 一种基于立式标靶的车载单目摄像头测距测高方法 |
CN103927754A (zh) * | 2014-04-21 | 2014-07-16 | 大连理工大学 | 一种车载摄像机的标定方法 |
CN205506410U (zh) * | 2016-03-03 | 2016-08-24 | 华晨汽车集团控股有限公司 | 一种车道辅助系统的标定和测试系统 |
CN106131408A (zh) * | 2016-07-11 | 2016-11-16 | 深圳市金立通信设备有限公司 | 一种图像处理方法及终端 |
-
2017
- 2017-03-08 CN CN201710133870.XA patent/CN106981082B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102288121A (zh) * | 2011-05-12 | 2011-12-21 | 电子科技大学 | 一种基于单目视觉的车道偏离距离测量及预警方法 |
CN102722705A (zh) * | 2012-06-12 | 2012-10-10 | 武汉大学 | 一种基于ransac算法的多车道线检测方法 |
CN103175512A (zh) * | 2013-03-08 | 2013-06-26 | 中国人民解放军国防科学技术大学 | 一种混凝土泵车臂架末端位置姿态的摄像测量方法 |
CN103487034A (zh) * | 2013-09-26 | 2014-01-01 | 北京航空航天大学 | 一种基于立式标靶的车载单目摄像头测距测高方法 |
CN103927754A (zh) * | 2014-04-21 | 2014-07-16 | 大连理工大学 | 一种车载摄像机的标定方法 |
CN205506410U (zh) * | 2016-03-03 | 2016-08-24 | 华晨汽车集团控股有限公司 | 一种车道辅助系统的标定和测试系统 |
CN106131408A (zh) * | 2016-07-11 | 2016-11-16 | 深圳市金立通信设备有限公司 | 一种图像处理方法及终端 |
Also Published As
Publication number | Publication date |
---|---|
CN106981082A (zh) | 2017-07-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106981082B (zh) | 车载摄像头标定方法、装置及车载设备 | |
US11192557B2 (en) | Road profile along a predicted path | |
CN107577988B (zh) | 实现侧方车辆定位的方法、装置及存储介质、程序产品 | |
CN108419446B (zh) | 用于激光深度图取样的系统及方法 | |
US11205284B2 (en) | Vehicle-mounted camera pose estimation method, apparatus, and system, and electronic device | |
JP6273352B2 (ja) | 物体検出装置、物体検出方法、および移動ロボット | |
JP7077910B2 (ja) | 区画線検出装置及び区画線検出方法 | |
CN206623754U (zh) | 车道线检测装置 | |
WO2014027478A1 (ja) | 道路環境認識装置 | |
JP6756101B2 (ja) | 物体認識装置 | |
KR102457264B1 (ko) | 어라운드 뷰 모니터링 시스템 및 이의 카메라 자동 공차 보정 방법 | |
CN112365549B (zh) | 车载相机的姿态校正方法、装置和存储介质及电子装置 | |
CN108107897B (zh) | 实时传感器控制方法及装置 | |
US20200193184A1 (en) | Image processing device and image processing method | |
JP6044084B2 (ja) | 移動物体位置姿勢推定装置及び方法 | |
CN108376384B (zh) | 视差图的矫正方法、装置及存储介质 | |
CN108363387B (zh) | 传感器控制方法及装置 | |
JP6174884B2 (ja) | 車外環境認識装置および車外環境認識方法 | |
CN113170057B (zh) | 摄像部控制装置 | |
JP6704307B2 (ja) | 移動量算出装置および移動量算出方法 | |
JP6992344B2 (ja) | ランドマーク選定方法及びランドマーク選定装置 | |
JP2022002045A (ja) | 部分画像生成装置及び部分画像生成用コンピュータプログラム | |
CN113643374A (zh) | 基于道路特征的多目相机标定方法、装置、设备和介质 | |
JP6564682B2 (ja) | 対象物検出装置、対象物検出方法、及び、対象物検出プログラム | |
JP5573606B2 (ja) | 基準パターン情報生成装置、方法、プログラムおよび一般車両位置特定装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |