CN113256739A - 车载bsd摄像头的自标定方法、设备和存储介质 - Google Patents

车载bsd摄像头的自标定方法、设备和存储介质 Download PDF

Info

Publication number
CN113256739A
CN113256739A CN202110715531.9A CN202110715531A CN113256739A CN 113256739 A CN113256739 A CN 113256739A CN 202110715531 A CN202110715531 A CN 202110715531A CN 113256739 A CN113256739 A CN 113256739A
Authority
CN
China
Prior art keywords
vehicle
side edge
image
position information
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110715531.9A
Other languages
English (en)
Other versions
CN113256739B (zh
Inventor
徐显杰
马玉珍
窦汝振
包永亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suoto Hangzhou Automotive Intelligent Equipment Co Ltd
Original Assignee
Suoto Hangzhou Automotive Intelligent Equipment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suoto Hangzhou Automotive Intelligent Equipment Co Ltd filed Critical Suoto Hangzhou Automotive Intelligent Equipment Co Ltd
Priority to CN202110715531.9A priority Critical patent/CN113256739B/zh
Publication of CN113256739A publication Critical patent/CN113256739A/zh
Application granted granted Critical
Publication of CN113256739B publication Critical patent/CN113256739B/zh
Priority to PCT/CN2022/078695 priority patent/WO2023273376A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • G06T2207/30208Marker matrix
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及车辆控制领域,公开了一种车载BSD摄像头的标定方法、设备和存储介质。该方法包括:获取车载BSD摄像头采集的至少一张图像;对所述至少一张图像进行图像识别,得到道路的靠近车辆侧边缘的位置信息和线性标识物的位置信息;根据所述车载BSD摄像头的初始外参计算盲区的靠近车辆侧边缘的位置信息,并通过调节所述车载BSD摄像头的摆角和横滚角,在图像坐标系下将所述盲区的靠近车辆侧边缘与所述道路的靠近车辆侧边缘重合;通过调节所述车载BSD摄像头的俯仰角,在世界坐标系下将所述盲区的沿车身纵向方向的边缘与所述线性标识物平行。本实施例能够实现车载BSD摄像头的的自标定。

Description

车载BSD摄像头的自标定方法、设备和存储介质
技术领域
本发明涉及摄像头标定领域,尤其涉及一种车载BSD摄像头的自标定方法、设备和存储介质。
背景技术
车载BSD(Blind Spot Detection,盲区监测)摄像头(以下简称摄像头)安装在车辆后方两侧,用于在车辆行驶时对车辆后方两侧盲区进行探测,如果有其他车辆进入盲区范围内,会在后视镜或者指定位置对司机进行灯光提示和蜂鸣器报警,从而对司机进行警示。
在车辆行驶过程中,受路面颠簸、风力等影响会导致摄像头的安装位置/角度变化,造成摄像头的外参不准确,进而无法准确识别盲区内的车辆或行人。
有鉴于此,特提出本发明。
发明内容
为了解决上述技术问题,本发明提供了一种车载BSD摄像头的标定方法、设备和存储介质,实现车载BSD摄像头的自标定。
本发明实施例提供了一种车载BSD摄像头的标定方法,该方法包括:
获取车载BSD摄像头采集的至少一张图像;
对所述至少一张图像进行图像识别,得到道路的靠近车辆侧边缘的位置信息和线性标识物的位置信息;
根据所述车载BSD摄像头的初始外参计算盲区的靠近车辆侧边缘的位置信息,并通过调节所述车载BSD摄像头的摆角和横滚角,在图像坐标系下将所述盲区的靠近车辆侧边缘与所述道路的靠近车辆侧边缘重合;
通过调节所述车载BSD摄像头的俯仰角,在世界坐标系下将所述盲区的沿车身纵向方向的边缘与所述线性标识物平行。
本发明实施例提供了一种电子设备,所述电子设备包括:
处理器和存储器;
所述处理器通过调用所述存储器存储的程序或指令,用于执行任一实施例所述的车载BSD摄像头的标定方法的步骤。
本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储程序或指令,所述程序或指令使计算机执行任一实施例所述的车载BSD摄像头的标定方法的步骤。
本发明实施例具有以下技术效果:
利用盲区视野包括车身边缘和道路的独特性,以及盲区根据外参来确定的特点,采用自车边缘的位置信息和线性标识物的位置信息,通过调节盲区的边缘完成车载BSD摄像头外参的自标定。在将车载BSD摄像头安装到车辆上后,可在任意状态(自车静止或者运动)下开启自动标定,标定摄像机过程不需人工干预,自动完成。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种车载BSD摄像头的标定方法的流程图;
图2是本发明实施例提供的车载BSD摄像头的安装位置和坐标系的示意图;
图3是本发明实施例提供的BSD视野内盲区的示意图;
图4是本发明实施例提供的语义分割结果的示意图;
图5为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将对本发明的技术方案进行清楚、完整的描述。显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例,都属于本发明所保护的范围。
本发明实施例提供的车载BSD摄像头的标定方法,主要适用于不需要借助外界传感器或标定值,对车载BSD摄像头的外参进行自标定的情况。本发明实施例提供的车载BSD摄像头的标定方法可以由集成在车载BSD摄像头内或者独立于该摄像头的电子设备执行。
图1是本发明实施例提供的一种车载BSD摄像头的标定方法的流程图。参见图1,该车载BSD摄像头的标定方法具体包括:
S110、获取车载BSD摄像头采集的至少一张图像。
图2是本发明实施例提供的车载BSD摄像头的安装位置和坐标系的示意图。图2中,车载BSD摄像头对称地安装在车辆的侧后方,镜头朝前。在车辆行驶过程中,车载BSD摄像头实时采集视野范围内的图像。
为了方便后续描述,此处参见图2对世界坐标系和摄像头坐标系进行描述。世界坐标系的原点坐标:车载BSD摄像头到地面的垂线与地平面的交点,X轴水平朝向车辆右侧(朝向纸面的一侧),Y轴朝向车辆后侧,Z轴朝向地面。摄像头坐标系的原点坐标:相机透镜的焦点,x轴朝向摄像头的左侧,y轴朝向朝向摄像头的下侧,z轴朝向摄像头的前侧。
该摄像头的内参矩阵cameraInterPrm
Figure 82097DEST_PATH_IMAGE001
。其中,dx和dy是感光芯片上像素的实际大小。fx是摄像头x轴方向的焦距,fy是摄像头y轴方向的焦距,u0和v0是图像平面中心的坐标。
外参矩阵cameraExterPrm
Figure 352673DEST_PATH_IMAGE002
Figure 635887DEST_PATH_IMAGE003
Figure 130453DEST_PATH_IMAGE004
Figure 69590DEST_PATH_IMAGE005
。其中,α是摄像头的俯仰角,β是摄像头的摆角,γ是摄像头滚角。
平移矩阵(摄像机在世界坐标系的坐标矩阵):T=[0,0,2.1],说明:相机安装高度:2.1m。
本实施例可以在车辆静止或者行驶过程中获取图像。在车辆静止状态下,可以获取一张图像即可。在车辆行驶过程中,需要获取多张图像。可选的,为了提高标定的准确性,减小由于车速不稳定带来的误差,在车辆行驶过程中,按照设定周期获取车载BSD摄像头采集的多张原始图像,以及采集时刻的车速;从所述多张原始图像中筛选车速变化在设定车速范围内的多张图像。
其中,设定周期可以根据车载BSD摄像头的拍摄周期确定,例如1s。设定车速范围可以根据实际测验得到,例如3km/h,使得车辆接近匀速行驶。这里限定设定车速范围的理由在于,车辆行使路段较平稳,如有很大的速度波动,在加速和减速时可能导致车身晃动,影响图像采集的质量。
S120、对所述至少一张图像进行图像识别,得到道路的靠近车辆侧边缘的位置信息和线性标识物的位置信息。
对每张图像均进行图像识别,主要识别图像中的道路、车辆和线性标识物。基于车载BSD摄像头的安装位置,如果其安装在车辆左侧后方,其拍摄的图像右侧是车辆,左侧是道路;如果其安装在车辆右侧后方,其拍摄的图像左侧是车辆,右侧是道路。道路具有两侧,一侧靠近车辆,另一侧远离车辆。以摄像头安装在车辆右侧后方为例,道路的靠近车辆侧的边缘就是道路的左侧边缘。摄像头安装在左侧后方则相反。
线性标识物为道路上沿着车辆行驶方向呈直线型的静态物,例如车道线和路沿。在一优选实施方式中,为了准确识别线性标识物的位置,需要线性标识物具有一定的长度,过短会导致识别不准确。基于此,在得到线性标识物的位置信息之后还包括:剔除所述线性标识物的长度在设定长度值内的图像。设定长度值可以根据实际道路情况或识别准确率确定。例如选择道路上最长的线性标识物,或者经过多次图像识别实验,找到能够准确率达标的设定长度值。
可选的,采用语义分割模型或者目标检测模型识别图像中的道路,进而获得道路的靠近车辆侧边缘的位置信息,该位置信息可以用道路像素点的左侧边缘表示或者道路外接矩形框的靠近车辆侧的边界表示。同理,也可采用语义分割模型或者目标检测模型识别图像中的线性标识物。
S130、根据所述车载BSD摄像头的初始外参计算盲区的靠近车辆侧边缘的位置信息,并通过调节所述车载BSD摄像头的摆角和横滚角,在图像坐标系下将所述盲区的靠近车辆侧边缘与所述道路的靠近车辆侧边缘重合。
在车载BSD摄像头初始安装在车辆上时,可以通过安装角度获得初始外参(包括初始摆角、初始横滚角和初始俯仰角),初始外参一般有误差,且随着车辆的行驶该误差会越来越大。本实施例旨在对初始外参进行调节,实现对车载BSD摄像头的外参自标定。自标定指的是车载BSD摄像头可以仅根据自己拍摄的图像进行标定,不需要借助外界参数或干预。
本实施例中,车辆盲区两侧边缘的位置信息根据初始外参确定,例如参见图2,盲区呈长方形,长方形的长(15m)为盲区的长度,沿车身纵向方向;长方体的宽(4m)为盲区的宽度,沿车身横向方向。图3是本发明实施例提供的BSD视野内盲区的示意图,图3中内侧的矩形区域为盲区。结合图2和图3,当初始外参有误差时,盲区边缘的位置信息也会有误差。具体而言,由于摄像头安装位置为自车右侧平面,如以摄像头与地面垂点作为原点,以车身右侧纵向为Y轴,横向为X轴,可知图像中盲区的靠近车辆侧边缘,在世界坐标系下均会落在Y轴上,利用这一特点标定摄像头的摆角和横滚角。
基于此,通过调节盲区边缘的位置信息实现外参的标定。发明人发现,在图像坐标系下,外参中的横滚角和摆角会影响盲区的靠近车辆侧边缘(即图3中盲区映射到图像中时,靠近车辆侧边缘)的位置信息(具体包括与车辆侧的距离和角度)。在横滚角和摆角标定准确的情况下,盲区的靠近车辆侧边缘应该与道路的靠近车辆侧边缘重合;如果横滚角和摆角有误差,盲区的靠近车辆侧边缘应该与道路的靠近车辆侧边缘不重合。利用这一特点,在图像坐标系下以道路的靠近车辆侧边缘为基准,调节初始外参中的摆角和横滚角,计算调节后的盲区的靠近车辆侧边缘,使得其与道路的靠近车辆侧边缘重合。用户可以按照设定步长(例如1度)调节摆角和横滚角,使两个边缘之间的最大距离最小化。
S140、通过调节所述车载BSD摄像头的俯仰角,在世界坐标系下将所述盲区的沿车身纵向方向的边缘与所述线性标识物平行。
发明人发现,可以利用线性标识物与自车的平行关系来标定俯仰角。由于错误的俯仰角会导致平行关系的破坏,所以可反推出已知平行关系状态下,摄像头的俯仰角应该是多少。
保证在多张图像中,线性标识物与车辆没有相对运动;而且,线性标识物(例如路沿和车道线)为直线型,以便为盲区的边缘做参考。
具体的,将所述盲区的沿车身纵向方向的边缘和所述线性标识物均从图像坐标系投影到世界坐标系;图像坐标系投和世界坐标系的转换关系参见现有技术。在世界坐标系中,通过调节车载BSD摄像头的俯仰角,将所述盲区的沿车身纵向方向的边缘与所述线性标识物平行。用户可以按照设定步长(例如1度)调节摆角和横滚角,使边缘与线性标识物平行。平行的判断标准可参见现有技术,此处不再赘述。
在实际操作时,按照设定步长(例如1度)沿一方向调节俯仰角,以减小盲区的沿车身纵向方向的边缘与线性标识物的夹角。在调节过程中如果夹角出现反向增大的情况,则减小步长(例如将设定步长除以2)反向调节俯仰角。当调节精度<0.01时或者调节次数>10次,认为二者已经最大程度的平行,结束调节。
执行S140之后,单次自动标定结束,此时得到了一组调节后摆角、调节后横滚角和调节后俯仰角。为了进一步提高标定准确性,采用多次标定的方法。在S140之后,循环执行所述图像的获取操作,位置信息的识别操作,摆角、横滚角和俯仰角的调节操作,即循环执行S110~S140,得到多组调节后摆角、调节后横滚角和调节后俯仰角;根据所述多组调节后摆角、调节后横滚角和调节后俯仰角,计算得到最终的摆角、横滚角和俯仰角;例如,对多组调节后摆角/调节后横滚角/调节后俯仰角取中值或平均值,分别得到最终的摆角/横滚角/俯仰角。根据所述最终的摆角、横滚角和俯仰角对所述车载BSD摄像头进行标定。
本实施例具有以下技术效果:利用盲区视野包括车身边缘和道路的独特性,以及盲区根据外参来确定的特点,采用自车边缘的位置信息和线性标识物的位置信息,通过调节盲区的边缘完成车载BSD摄像头外参的自标定。在将车载BSD摄像头安装到车辆上后,可在任意状态(自车静止或者运动)下开启自动标定,标定摄像机过程不需人工干预,自动完成。
在上述实施例中基础上,本实施例对道路边缘和线性标识物的识别过程进行细化。具体的,对所述至少一张图像进行图像识别,得到道路的靠近车辆侧边缘的位置信息,包括:对所述至少一张图像进行道路的语义分割,得到道路的靠近车辆侧边缘像素点;根据所述像素点的位置信息,拟合得到直线方程;将所述直线方程表示的位置信息作为所述道路的靠近车辆侧边缘的位置信息。
图4是本发明实施例提供的语义分割结果的示意图。在道路的靠近车辆侧边缘像素点中等间距地选择多个像素点(图4中的像素点1~6),进行最小二乘拟合得到直线。计算各个选择出的像素点与拟合直线的距离的均方差,以此评价直线是否达标。例如均方差小于2则直线达标,否则无法拟合直线,舍弃该图像。对于多张图像来说,对每张图像均进行直线拟合操作,并保存直线方程。直线的达标率需达到设定百分数:70%,才进入直线方程的选取操作;否则继续获取多张图像。最后,从保存的直线方程中选取出现频率最高的直线方程,也就是拟合最多的直线方程。以斜率为基准,具体可采用以下方法:先对所有的直线方程的斜率从小到大进行排序,计算排序后序列的最大值a和最小值b,取中点(a+b)/2,分别计算落到a~(a+b)/2和(a+b)/2~b两个区间的斜率个数,留下个数多的区间,删除个数少的区间。依次类推,直到剩余一个斜率值,或者最后得到的区间小于某个阈值为止。如图4所示,最终找到了直线方程BC。
对所述至少一张图像进行图像识别,得到线性标识物的位置信息,包括:对所述至少一张图像进行线性标识物的语义分割,得到所述线性标识物的像素点;根据所述像素点的位置信息,拟合得到直线方程;将所述直线方程表示的位置信息作为所述线性标识物的位置信息。
同理,采用BC的识别方法来识别线性标识物。图4示出了路沿的语义分割结果。对于一张图像来说,在路沿上等间距地选择多个像素点(图4中的像素点1'~6'),进行最小二乘拟合得到直线。计算各个选择出的像素点与拟合直线的距离的均方差,以此评价直线是否达标。例如均方差小于2则直线达标,否则无法拟合直线,舍弃该图像。对于多张图像来说,对每张图像均进行直线拟合操作,并保存直线方程。直线的达标率需达到设定百分数:90%,才进入直线方程的选取操作;否则继续获取多张图像。最后,从保存的直线方程中选取出现频率最高的直线方程,也就是拟合最多的直线方程。以斜率为基准,具体可采用以下方法:先对所有的直线方程的斜率从小到大进行排序,计算排序后序列的最大值a和最小值b,取中点(a+b)/2,分别计算落到a~(a+b)/2和(a+b)/2~b两个区间的斜率个数,留下个数多的区间,删除个数少的区间。依次类推,直到剩余一个斜率值,或者最后得到的区间小于某个阈值为止。如图4所示,最终找到了直线方程DE。
参见图4,直线BC和DE上的6个像素点的纵坐标对应相同,若想要在世界坐标系下将所述盲区的沿车身纵向方向的边缘与所述线性标识物平行,需要保证对应像素点之间的横线(共6条)是两条直线之间的垂线段即可。
本实施例通过语义分割和直线拟合,以及频率选取的方法确定道路边缘和线性标识物的位置信息,具有较高的准确性。
在上述实施例的基础上,本实施例对摆角和横滚角的调节过程进行细化,具体包括以下两步:
第一步,通过调节所述车载BSD摄像头的摆角,在图像坐标系下将所述盲区的靠近车辆侧边缘移动到所述道路的靠近车辆侧边缘位置。
经过所述图像中的光心,沿着图像坐标系的横轴方向绘制直线,得到所述直线与所述道路的靠近车辆侧边缘的交点;通过调节所述车载BSD摄像头的摆角,移动将所述盲区的靠近车辆侧边缘,以使移动后的所述盲区的靠近车辆侧边缘与所述交点的距离最小。
类似于俯仰角的调节方式,按照设定步长(例如1度)沿一方向调节摆角,以减小盲区的靠近车辆侧边缘与交点的距离。在调节过程中如果距离出现反向增大的情况,则减小步长(例如将设定步长除以2)反向调节摆角。当调节精度<0.01时或者调节次数>10次,认为二者已经最大程度的接近,结束调节。
第二步,通过调节所述车载BSD摄像头的横滚角,在图像坐标系下将所述盲区的靠近车辆侧边缘与所述道路的靠近车辆侧边缘平行。
类似于俯仰角的调节方式,按照设定步长(例如1度)沿一方向调节横滚角,以减小盲区的靠近车辆侧边缘与道路的靠近车辆侧边缘的夹角。在调节过程中如果夹角出现反向增大的情况,则减小步长(例如将设定步长除以2)反向调节横滚角。当调节精度<0.01时或者调节次数>10次,认为二者已经最大程度的平行,结束调节。
需要说明的是,第一步和第二步的执行顺序不限,可以先执行第二步再执行第一步,或者先执行第一步再执行第二步,或者,交叉执行第一步和第二步(例如依次调节摆角、横滚角、摆角、横滚角,达到反复调节,精益求精的效果),或者并行执行第一步和第二步。
图5为本发明实施例提供的一种电子设备的结构示意图。如图5所示,电子设备400包括一个或多个处理器401和存储器402。
处理器401可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元,并且可以控制电子设备400中的其他组件以执行期望的功能。
存储器402可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器401可以运行所述程序指令,以实现上文所说明的本发明任意实施例的车载BSD摄像头的标定方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如初始外参、阈值等各种内容。
在一个示例中,电子设备400还可以包括:输入装置403和输出装置404,这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。该输入装置403可以包括例如键盘、鼠标等等。该输出装置404可以向外部输出各种信息,包括预警提示信息、制动力度等。该输出装置404可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然,为了简化,图5中仅示出了该电子设备400中与本发明有关的组件中的一些,省略了诸如总线、输入/输出接口等等的组件。除此之外,根据具体应用情况,电子设备400还可以包括任何其他适当的组件。
除了上述方法和设备以外,本发明的实施例还可以是计算机程序产品,其包括计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本发明任意实施例所提供的车载BSD摄像头的标定方法的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本发明实施例操作的程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如Java、C++等,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外,本发明的实施例还可以是计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本发明任意实施例所提供的车载BSD摄像头的标定方法的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
需要说明的是,本发明所用术语仅为了描述特定实施例,而非限制本申请范围。如本发明说明书和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。
还需说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。除非另有明确的规定和限定,术语“安装”、“相连”、“连接”等应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案。

Claims (10)

1.一种车载BSD摄像头的自标定方法,其特征在于,包括:
获取车载BSD摄像头采集的至少一张图像;
对所述至少一张图像进行图像识别,得到道路的靠近车辆侧边缘的位置信息和线性标识物的位置信息;
根据所述车载BSD摄像头的初始外参计算盲区的靠近车辆侧边缘的位置信息,并通过调节所述车载BSD摄像头的摆角和横滚角,在图像坐标系下将所述盲区的靠近车辆侧边缘与所述道路的靠近车辆侧边缘重合;
通过调节所述车载BSD摄像头的俯仰角,在世界坐标系下将所述盲区的沿车身纵向方向的边缘与所述线性标识物平行。
2.根据权利要求1所述的方法,其特征在于,所述对所述至少一张图像进行图像识别,得到道路的靠近车辆侧边缘的位置信息,包括:
对所述至少一张图像进行道路的语义分割,得到道路的靠近车辆侧边缘像素点;
根据所述像素点的位置信息,拟合得到直线方程;
将所述直线方程表示的位置信息作为所述道路的靠近车辆侧边缘的位置信息。
3.根据权利要求1所述的方法,其特征在于,所述对所述至少一张图像进行图像识别,得到线性标识物的位置信息,包括:
对所述至少一张图像进行线性标识物的语义分割,得到所述线性标识物的像素点;
根据所述像素点的位置信息,拟合得到直线方程;
将所述直线方程表示的位置信息作为所述线性标识物的位置信息;
其中,所述线性标识物包括路沿或者车道线。
4.根据权利要求1所述的方法,其特征在于,所述通过调节所述车载BSD摄像头的摆角和横滚角,在图像坐标系下将所述盲区的靠近车辆侧边缘与所述道路的靠近车辆侧边缘重合,包括:
通过调节所述车载BSD摄像头的摆角,在图像坐标系下将所述盲区的靠近车辆侧边缘移动到所述道路的靠近车辆侧边缘位置;
通过调节所述车载BSD摄像头的横滚角,在图像坐标系下将所述盲区的靠近车辆侧边缘与所述道路的靠近车辆侧边缘平行。
5.根据权利要求4所述的方法,其特征在于,所述通过调节所述车载BSD摄像头的摆角,在图像坐标系下将所述盲区的靠近车辆侧边缘移动到所述道路的靠近车辆侧边缘位置,包括:
经过所述图像中的光心,沿着图像坐标系的横轴方向绘制直线,得到所述直线与所述道路的靠近车辆侧边缘的交点;
通过调节所述车载BSD摄像头的摆角,移动将所述盲区的靠近车辆侧边缘,以使移动后的所述盲区的靠近车辆侧边缘与所述交点的距离最小。
6.根据权利要求1所述的方法,其特征在于,所述通过调节所述车载BSD摄像头的俯仰角,在世界坐标系下将所述盲区的沿车身纵向方向的边缘与所述线性标识物平行,包括:
将所述盲区的沿车身纵向方向的边缘和所述线性标识物均从图像坐标系投影到世界坐标系;
在所述世界坐标系中,通过调节所述车载BSD摄像头的俯仰角,将所述盲区的沿车身纵向方向的边缘与所述线性标识物平行。
7.根据权利要求1所述的方法,其特征在于,所述获取车载BSD摄像头采集的至少一张图像,包括:
在车辆行驶过程中,按照设定周期获取车载BSD摄像头采集的多张原始图像,以及采集时刻的车速;
从所述多张原始图像中筛选车速变化在设定车速范围内的多张图像;
在得到线性标识物的位置信息之后还包括:
剔除所述线性标识物的长度在设定长度值内的图像。
8.根据权利要求1-7任一项所述的方法,其特征在于,在所述通过调节所述车载BSD摄像头的俯仰角,将所述盲区的边缘与所述线性标识物平行之后,还包括:
循环执行所述图像的获取操作,位置信息的识别操作,摆角、横滚角和俯仰角的调节操作,得到多组调节后摆角、调节后横滚角和调节后俯仰角;
根据所述多组调节后摆角、调节后横滚角和调节后俯仰角,计算得到最终的摆角、横滚角和俯仰角;
根据所述最终的摆角、横滚角和俯仰角对所述车载BSD摄像头进行标定。
9.一种电子设备,其特征在于,所述电子设备包括:
处理器和存储器;
所述处理器通过调用所述存储器存储的程序或指令,用于执行如权利要求1至8任一项所述的车载BSD摄像头的标定方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储程序或指令,所述程序或指令使计算机执行如权利要求1至8任一项所述的车载BSD摄像头的标定方法的步骤。
CN202110715531.9A 2021-06-28 2021-06-28 车载bsd摄像头的自标定方法、设备和存储介质 Active CN113256739B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110715531.9A CN113256739B (zh) 2021-06-28 2021-06-28 车载bsd摄像头的自标定方法、设备和存储介质
PCT/CN2022/078695 WO2023273376A1 (zh) 2021-06-28 2022-03-02 车载bsd摄像头的自标定方法、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110715531.9A CN113256739B (zh) 2021-06-28 2021-06-28 车载bsd摄像头的自标定方法、设备和存储介质

Publications (2)

Publication Number Publication Date
CN113256739A true CN113256739A (zh) 2021-08-13
CN113256739B CN113256739B (zh) 2021-10-19

Family

ID=77189765

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110715531.9A Active CN113256739B (zh) 2021-06-28 2021-06-28 车载bsd摄像头的自标定方法、设备和存储介质

Country Status (2)

Country Link
CN (1) CN113256739B (zh)
WO (1) WO2023273376A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114724119A (zh) * 2022-06-09 2022-07-08 天津所托瑞安汽车科技有限公司 车道线提取方法、检测设备及存储介质
CN114973208A (zh) * 2022-08-02 2022-08-30 所托(杭州)汽车智能设备有限公司 车辆盲区监测预警方法及相关设备
CN115063488A (zh) * 2022-05-18 2022-09-16 东风汽车集团股份有限公司 一种数字外后视镜系统划线标定方法和系统
WO2023273376A1 (zh) * 2021-06-28 2023-01-05 所托(杭州)汽车智能设备有限公司 车载bsd摄像头的自标定方法、设备和存储介质
CN115601435A (zh) * 2022-12-14 2023-01-13 天津所托瑞安汽车科技有限公司(Cn) 车辆姿态检测方法、装置、车辆及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103605146A (zh) * 2013-10-29 2014-02-26 四川长虹电器股份有限公司 一种基于北斗定位和3g定位的车载设备位置校准方法
CN104932505A (zh) * 2015-06-08 2015-09-23 华南理工大学 基于摄像头检测的自动导航系统、控制方法及直立平衡车
CN107953827A (zh) * 2016-10-18 2018-04-24 杭州海康威视数字技术股份有限公司 一种车辆盲区预警方法及装置
US20200105017A1 (en) * 2018-09-30 2020-04-02 Boe Technology Group Co., Ltd. Calibration method and calibration device of vehicle-mounted camera, vehicle and storage medium
CN112655024A (zh) * 2020-10-30 2021-04-13 华为技术有限公司 一种图像标定方法及装置
CN112793509A (zh) * 2021-04-14 2021-05-14 天津所托瑞安汽车科技有限公司 一种盲区监测方法及装置、设备、介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3229209B1 (en) * 2016-04-06 2020-12-30 Facebook, Inc. Camera calibration system
CN106485756B (zh) * 2016-09-30 2019-07-02 惠州华阳通用电子有限公司 一种泊车系统摄像头标定方法
CN109859278B (zh) * 2019-01-24 2023-09-01 惠州市德赛西威汽车电子股份有限公司 车载相机系统相机外参的标定方法及标定系统
CN110211176A (zh) * 2019-05-31 2019-09-06 驭势科技(北京)有限公司 一种相机外参数校正系统与方法
CN113256739B (zh) * 2021-06-28 2021-10-19 所托(杭州)汽车智能设备有限公司 车载bsd摄像头的自标定方法、设备和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103605146A (zh) * 2013-10-29 2014-02-26 四川长虹电器股份有限公司 一种基于北斗定位和3g定位的车载设备位置校准方法
CN104932505A (zh) * 2015-06-08 2015-09-23 华南理工大学 基于摄像头检测的自动导航系统、控制方法及直立平衡车
CN107953827A (zh) * 2016-10-18 2018-04-24 杭州海康威视数字技术股份有限公司 一种车辆盲区预警方法及装置
US20200105017A1 (en) * 2018-09-30 2020-04-02 Boe Technology Group Co., Ltd. Calibration method and calibration device of vehicle-mounted camera, vehicle and storage medium
CN112655024A (zh) * 2020-10-30 2021-04-13 华为技术有限公司 一种图像标定方法及装置
CN112793509A (zh) * 2021-04-14 2021-05-14 天津所托瑞安汽车科技有限公司 一种盲区监测方法及装置、设备、介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023273376A1 (zh) * 2021-06-28 2023-01-05 所托(杭州)汽车智能设备有限公司 车载bsd摄像头的自标定方法、设备和存储介质
CN115063488A (zh) * 2022-05-18 2022-09-16 东风汽车集团股份有限公司 一种数字外后视镜系统划线标定方法和系统
CN114724119A (zh) * 2022-06-09 2022-07-08 天津所托瑞安汽车科技有限公司 车道线提取方法、检测设备及存储介质
CN114973208A (zh) * 2022-08-02 2022-08-30 所托(杭州)汽车智能设备有限公司 车辆盲区监测预警方法及相关设备
CN115601435A (zh) * 2022-12-14 2023-01-13 天津所托瑞安汽车科技有限公司(Cn) 车辆姿态检测方法、装置、车辆及存储介质
CN115601435B (zh) * 2022-12-14 2023-03-14 天津所托瑞安汽车科技有限公司 车辆姿态检测方法、装置、车辆及存储介质

Also Published As

Publication number Publication date
WO2023273376A1 (zh) 2023-01-05
CN113256739B (zh) 2021-10-19

Similar Documents

Publication Publication Date Title
CN113256739B (zh) 车载bsd摄像头的自标定方法、设备和存储介质
US10783657B2 (en) Method and apparatus for vehicle position detection
CN106485233B (zh) 可行驶区域检测方法、装置和电子设备
CN111696160B (zh) 车载摄像头自动标定方法、设备及可读存储介质
JP6657925B2 (ja) 車載カメラ・システム並びに画像処理装置
CN110045736B (zh) 一种基于无人机的弯道障碍物避让方法
US11200432B2 (en) Method and apparatus for determining driving information
CN110555407B (zh) 路面车辆空间识别方法及电子设备
CN112257539B (zh) 车辆与车道线的位置关系检测方法、系统和存储介质
CN110858405A (zh) 车载摄像头的姿态估计方法、装置和系统及电子设备
US20210316734A1 (en) Vehicle travel assistance apparatus
CN110341621B (zh) 一种障碍物检测方法及装置
CN113240756A (zh) 车载bsd摄像头的位姿变动检测方法、设备和存储介质
CN112927309A (zh) 一种车载相机标定方法、装置、车载相机及存储介质
CN109753841B (zh) 车道线识别方法和装置
CN116386000A (zh) 基于高精地图和单目摄像头测量障碍物距离的方法、系统
JP5062091B2 (ja) 移動体識別装置、コンピュータプログラム及び光軸方向特定方法
CN111231946B (zh) 一种低视距车辆安全行驶控制方法
KR102003387B1 (ko) 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체
CN113869440A (zh) 图像处理方法、装置、设备、介质及程序产品
KR20180081966A (ko) 차량 인식을 통한 영상 교정 방법
WO2016079117A1 (en) Gradient detection based on perspective-transformed image
JP7449497B2 (ja) 障害物情報取得システム
CN117719515B (zh) 一种车道偏离预警方法及其系统
CN118289019A (zh) 车辆行驶信息显示方法、系统及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant