CN112184821A - 相机翻滚角的调整方法和装置、存储介质、电子设备 - Google Patents

相机翻滚角的调整方法和装置、存储介质、电子设备 Download PDF

Info

Publication number
CN112184821A
CN112184821A CN201910584917.3A CN201910584917A CN112184821A CN 112184821 A CN112184821 A CN 112184821A CN 201910584917 A CN201910584917 A CN 201910584917A CN 112184821 A CN112184821 A CN 112184821A
Authority
CN
China
Prior art keywords
lane
camera
value
roll angle
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910584917.3A
Other languages
English (en)
Other versions
CN112184821B (zh
Inventor
陈波
宋巍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Anting Horizon Intelligent Transportation Technology Co ltd
Original Assignee
Shanghai Anting Horizon Intelligent Transportation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Anting Horizon Intelligent Transportation Technology Co ltd filed Critical Shanghai Anting Horizon Intelligent Transportation Technology Co ltd
Priority to CN201910584917.3A priority Critical patent/CN112184821B/zh
Publication of CN112184821A publication Critical patent/CN112184821A/zh
Application granted granted Critical
Publication of CN112184821B publication Critical patent/CN112184821B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开实施例公开了一种相机翻滚角的调整方法和装置、存储介质、电子设备,其中,方法包括:响应于车辆进行变道,基于设置在车辆上的相机获得变道前后同一车道包括的两条车道线的间距差;根据所述间距差确定所述相机的翻滚角的增量值和增量方向;基于所述增量方向和所述增量值对所述相机的翻滚角进行调整。本公开实施例可以方便地在直道场景下进行翻滚角的动态实时标定;基于现有的车道线感知结果,无需进行额外的大量角点的提取和匹配,计算过程非常简单,只需要进行车道线间距即可确定增量方向和增量值,计算速度快,效率高,实时性好。

Description

相机翻滚角的调整方法和装置、存储介质、电子设备
技术领域
本公开涉及相机外参标定技术,尤其是一种相机翻滚角的调整方法和装置、存储介质、电子设备。
背景技术
相机在车辆上安装后都会有安装误差,而对这个安装误差的估算就是相机外参标定中的重要内容。由于在相机的外参中翻滚角Roll对车道线和前方障碍物的横向距离测量影响很大,因此稳定可靠的标定方案非常重要。
现有技术通过基于特征角点的实车在线标定online calibration方法实现翻滚角的调整,具体方案包括:让车辆以一定速度直行在笔直道路上,通过对地面提取特征角点,然后对角点进行前后帧关联,根据不同位置角点位移线的长短来判断Roll的偏差。该方法由于角点的提取和匹配是非常耗资源的计算,该方案实时性较差,且对路面的平整度要求较高。
发明内容
为了解决上述技术问题,提出了本公开所述的相机翻滚角的调整方法和装置、存储介质、电子设备。
根据本公开实施例的一个方面,本公开的实施例提供了一种相机翻滚角的调整方法,包括:
响应于车辆进行变道,基于设置在车辆上的相机获得变道前后同一车道包括的两条车道线的间距差;
根据所述间距差确定所述相机的翻滚角的增量值和增量方向;
基于所述增量方向和所述增量值对所述相机的翻滚角进行调整。
根据本公开实施例的另一方面,提供了一种相机翻滚角的调整装置,包括:
间距差确定模块,用于响应于车辆进行变道,基于设置在车辆上的相机获得变道前后同一车道包括的两条车道线的间距差;
增量确定模块,用于根据所述间距差确定模块确定的间距差确定所述相机的翻滚角的增量值和增量方向;
翻滚角调整模块,用于基于所述增量确定模块确定的增量方向和增量值对所述相机的翻滚角进行调整。
根据本公开实施例的又一方面,提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序用于执行上述实施例提供的相机翻滚角的调整方法。
根据本公开实施例的还一方面,提供了一种电子设备,所述电子设备包括:
处理器;
用于存储所述处理器可执行指令的存储器;
所述处理器,用于从所述存储器中读取所述可执行指令,并执行所述指令以实现上述实施例提供的相机翻滚角的调整方法。
基于本公开上述实施例提供的一种相机翻滚角的调整方法和装置、存储介质、电子设备,响应于车辆进行变道,基于设置在车辆上的相机获得变道前后同一车道包括的两条车道线的间距差;根据所述间距差确定所述相机的翻滚角的增量值和增量方向;基于所述增量方向和所述增量值对所述相机的翻滚角进行调整,基于一次变道前后相同车道的两条车道线间距差,可以方便地在直道场景下进行翻滚角的动态实时标定;基于现有的车道线感知结果,无需进行额外的大量角点的提取和匹配,计算过程非常简单,只需要进行车道线间距即可确定增量方向和增量值,计算速度快,效率高,实时性好。
下面通过附图和实施例,对本公开的技术方案做进一步的详细描述。
附图说明
通过结合附图对本公开实施例进行更详细的描述,本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解,并且构成说明书的一部分,与本公开实施例一起用于解释本公开,并不构成对本公开的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1是本公开实施例提供的相机翻滚角的调整方法的原理示意图。
图2是本公开实施例提供的系统结构框图。
图3是本公开涉及的车道线间距计算的一个可选流程示意图。
图4是本公开涉及到的车道线间距计算时序图。
图5是本公开涉及的向左变道判断逻辑图。
图6是图5所示的实施例对应的向左变道判断示意图。
图7是本公开一示例性实施例提供的相机翻滚角的调整方法的流程示意图。
图8是本公开图7所示的实施例中步骤701的一个流程示意图。
图9是本公开图8所示的实施例中步骤7011和7012的一个流程示意图。
图10是本公开图9所示的实施例中步骤901或903的一个流程示意图。
图11是本公开图7所示的实施例中步骤702的一个流程示意图。
图12是本公开一示例性实施例提供的相机翻滚角的调整装置的结构示意图。
图13是本公开另一示例性实施例提供的相机翻滚角的调整装置的结构示意图。
图14是本公开一示例性实施例提供的电子设备的结构图。
具体实施方式
下面,将参考附图详细地描述根据本公开的示例实施例。显然,所描述的实施例仅仅是本公开的一部分实施例,而不是本公开的全部实施例,应理解,本公开不受这里描述的示例实施例的限制。
应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
本领域技术人员可以理解,本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等,既不代表任何特定技术含义,也不表示它们之间的必然逻辑顺序。
还应理解,在本公开实施例中,“多个”可以指两个或两个以上,“至少一个”可以指一个、两个或两个以上。
还应理解,对于本公开实施例中提及的任一部件、数据或结构,在没有明确限定或者在前后文给出相反启示的情况下,一般可以理解为一个或多个。
另外,本公开中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本公开中字符“/”,一般表示前后关联对象是一种“或”的关系。
还应理解,本公开对各个实施例的描述着重强调各个实施例之间的不同之处,其相同或相似之处可以相互参考,为了简洁,不再一一赘述。
同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
本公开实施例可以应用于终端设备、计算机系统、服务器等电子设备,其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于:个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境,等等。
终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常,程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等,它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施,分布式云计算环境中,任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中,程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
申请概述
在实现本公开的过程中,发明人发现,现有的相机翻滚角标定方案为静态标定(offline),但该标定方法至少存在以下问题:需要将车辆静止停“正”在一定场景下,根据现场布置的参照物来进行相机外参的计算,由于对车辆和参照物的相对位置要求非常高,因此标定过程十分耗时耗力。
示例性系统
图1是本公开实施例提供的相机翻滚角的调整方法的原理示意图。如图1所示,车辆从Position A开始向左变道至Position B;当车辆在Position A的时候,观测到的车道线lane marking1和lane marking2的间距为lane space a;当车辆在Position B的时候,观测到的车道线lane marking1和lane marking2的间距为lane space b。如果相机翻滚角(Roll)正常的话,lane space a应该等于lane space b;否则就需要调整Roll(存在偏差)。
本公开实施例让车辆在有着三条或三条以上清晰车道线的场景下进行变道行驶,根据变道前后,观测到的同一车道两条车道线间距的差,来判断当前使用的Roll是否存在偏差,并判断偏差的方向;然后再基于PID(Proportion Integral Differential)算法进行Roll增量的计算,并将增量反馈至新输入的图像,进行新一轮的结构化感知,直至Roll不需要调整为止,例如,连续两次变道Roll的调整量都很小。
图2是本公开实施例提供的系统结构框图。如图2所示,该系统包括:
PID控制子模块201,采用经典的PID控制算法,根据实时偏差(一次变道前后,观测到的同一车道两条车道线的间距差)进行Roll增量缩放系数(scale)的计算。
增量step计算子模块202,根据当前实时偏差的大小,选择合适的基础增量值(step),当偏差(Error)较大时,选用较大的Step值;当偏差(Error)较小时,选用较小的Step值。
增量方向确定子模块203,根据偏差(Error)或者其它特征,判断当前被控对象应该增加还是减小(一次变道前后(向左变道或向右变道),观测到的右车道的两条车道线间距差如果大于0,Roll需要减小;反之则需要增加)。
限定子模块204,实现对增量scale最大最小值进行限定,对PID控制子模块201的输出结果进行最大最小值的限定(大于最大值的情况会被限定在最大值,小于最小值的情况会被限定在最小值),防止Roll值变得很大或者很小,而导致后续控制出现异常。
增量计算子模块205,根据限定子模块204输出的scale,增量step计算子模块202输出的step和增量方向确定子模块203输出的增量方向进行增量的计算,公式为:Delta=scale*step(增量值(Delta)等于增量缩放系数scale乘以基础增量值(step))。并且,不同的增量方向有着不同的step值,即从方向上看step有两种,分别是代表增加的正值step和代表减小的负值step,由203模块进行step方向计算;每个方向上又有大step和小step这两种级别的step值,由202模块进行计算。
滤波子模块206,对增量计算子模块205计算结果进行滤波处理,保证平滑输出,获得最终的增量值;这里选用的是简单的一阶滤波,例如:Yn=(1-a)*Yn-1+a*Xn
最后以滤波子模块206输出的增量值和增量方向确定子模块203确定的增量方向对相机的Roll进行调整。
可选地,在上述实施例确定相机的翻滚角的增量方向和增量值之后,实现在图像(Image)处理流的基础上进行反馈调节。即从已经完成感知处理的图像中提取车道线感知结果,并基于变道前后车道线间距的差确定相机的翻滚角的增量方向和增量值,从而改变新输入图像使用的Roll,直至不再需要计算增量为止。
图3是本公开涉及的车道线间距计算的一个可选流程示意图。如图3所示,包括:
步骤301,分别基于车道线结构化数据中的首尾点(End Points)和轮廓点(Contours)对车道线纵向位置进行计算,每个点(无论是首尾点End Points还是轮廓点Contours)都有两个值坐标(x,y),其中x表示横向位置,y表示纵向位置,那么对于基于首尾点End Points的方法来说,车道线纵向位置y=(车道线首点y值+车道线尾点y值)/2;而对于基于轮廓点Contours的方法来说,和首尾点类似,只是点更多了,车道线纵向位置y=(所有轮廓点y值之和)/轮廓点个数;
步骤302,比较两种方法计算出来的车道线纵向位置之差,如果这个差比较大(差值大于0.8m),认为当前帧数据无效;否则,图像数据有效,执行步骤303;
步骤303,基于首尾点End Points和轮廓点Contours分别计算左车道(如果有)、当前车道和右车道(如果有)中两条车道线的间距;
步骤304,将两种方法计算出来的车道线间距进行平均值计算(即对两种方法的计算结果取平均值),得到均值结果;
步骤305,检查车道线间距的变化:同一车道的车道线间距不会在前后帧突变,因此检查当前帧和前一帧均值结果的差,如果很大,则认为当前帧的均值结果无效。
除了可靠的计算逻辑,对于车道线间距的计算时序也需要着重考虑。图4是本公开涉及到的车道线间距计算时序图。如图4所示,从一次变道过程提取了6个重要的时刻:
Position A:车辆正常直行;
Position B:车辆准备向左变道,开始动方向盘;
Position C:车辆已经左移至即将跨越左车道线(Lane marking 1的纵向位置y是正值);
Position D:车辆刚好跨越过左车道线(Lane marking 1的纵向位置y是负值);
Position E:D和E之间某一时刻,方向盘开始回正,至E时方向盘基本回正,变道完成;
Position F:从E时刻开始,车辆开始正常直行;F时刻是直行中的某一个时刻。
变道前(before change lane):Position A~Position C;
变道后(after change lane):Position D~Position F;
变道前:统计Position C之前一定帧数的车道线间距,以其平均值作为变道前的车道线间距;
变道后:统计Position E之后一定帧数的车道线间距,当帧数达到设定值,即Position F时,以其平均值作为变道后的车道线间距,然后根据变道前后同一车道的车道线间距差来调节Roll,可以认为Position F就是真正计算delta Roll的时刻。
在对相机的翻滚角进行调整之前,由于Roll的计算需要保证车辆进行变道行驶,因此需要对车辆当前运行工况进行判断,避免系统在非要求场景下进行标定。该模块主要基于车辆底盘CAN报文中的车速和yaw rate信号,以及前视观测到的车道线进行车辆状态的计算,图5是本公开涉及的向左变道判断逻辑图。如图5所示,分两个阶段进行变道的判断:
变道开始:主要根据方向盘的操作以及左车道线在车身地面坐标系中纵向位置y坐标是否在递减来进行判断;
变道完成:主要根据相机(车辆)是否穿越了左车道线以及方向盘的回正稳定情况来判断。
图6是图5所示的实施例对应的向左变道判断示意图。如图6所示,向左变道的过程包括:直道行驶;车辆开始向左变道(对应图5所提供的变道开始);车辆穿越过前视视测到的左车道线;方向盘开始回正;车辆完成向左变道(对应图5所提供的变道完成);直道行驶。车辆向右变道判断与上述相似。
示例性方法
图7是本公开一示例性实施例提供的相机翻滚角的调整方法的流程示意图。本实施例可应用在电子设备上,如图7所示,包括如下步骤:
步骤701,响应于车辆进行变道,基于设置在车辆上的相机获得变道前后同一车道包括的两条车道线的间距差。
其中,获得两条车道线的间距差的车道可以是车辆的左侧的车道、车辆右侧的车道或者车辆所在的车道等。本实施例不限制确定间距差的车道具体是哪条车道,只需保证变道前后是对同一车道进行处理即可。
步骤702,根据间距差确定相机的翻滚角的增量值和增量方向。
在一实施例中,增量方向可以包括增大和减小,增量值确定翻滚角变化量的大小。
步骤703,基于增量方向和增量值对相机的翻滚角进行调整。
例如,在确定增量方向(增大或减小)后,以确定的增量值(翻滚角变化量的大小)对相机翻滚角进行增大或减小,实现了对翻滚角的调整。
本公开上述实施例提供的一种相机翻滚角的调整方法,响应于车辆进行变道,基于设置在车辆上的相机获得变道前后同一车道包括的两条车道线的间距差;根据所述间距差确定所述相机的翻滚角的增量值和增量方向;基于所述增量方向和所述增量值对所述相机的翻滚角进行调整,基于一次变道前后相同车道的两条车道线间距差,可以方便地在直道场景下进行翻滚角的动态实时标定;基于现有的车道线感知结果,无需进行额外的大量角点的提取和匹配,计算过程非常简单,只需要进行车道线间距即可确定增量方向和增量值,计算速度快,效率高,实时性好。
如图8所示,在上述图7所示实施例的基础上,步骤701可包括如下步骤:
步骤7011,在车辆开始变道前,基于相机获得变道前的第一车道对应的两条车道线之间的变道前间距。
可选地,可参照图4提供的实施例中统计Position C之前一定帧数的车道线间距,以其平均值作为变道前的车道线间距。
步骤7012,在车辆完成变道后,基于相机获得变道后第一车道对应的两条车道线之间的变道后间距。
可选地,可参照图4提供的实施例中统计Position E之后一定帧数的车道线间距,当帧数达到设定值,即Position F时,以其平均值作为变道后的车道线间距。
步骤7013,基于变道前间距和变道后间距确定间距差。
本实施例通过计算变道前间距与变道后间距之间的差值确定间距差的取值,基于图1所示的实施例中提供的理论,当相机翻滚角正常时,间距差为零,因此,当间距差不为零时,即需要对翻滚角进行调整,本实施例通过获取同一车道线在车辆变道前后的车道线间距,获得了准确的间距差,根据变道前后同一车道的间距差来调节设置在车辆上的相机的翻滚角,可提高对翻滚角调整的效率,可选地,可以认为Position F就是真正计算deltaRoll的时刻。
如图9所示,在上述图8所示实施例的基础上,步骤7011可包括如下步骤:
步骤901,根据相机采集的图像中确定至少一帧有效车道线图像。
步骤902,基于至少一帧有效车道线图像计算第一车道的两条车道线之间的至少一个间距,基于至少一个间距确定变道前间距。
可选地,可通过对至少一个间距求平均值,以该平均值作为变道前间距。
步骤7012可包括如下步骤:
步骤903,基于相机采集的图像确定至少一帧有效车道线图像。
步骤904,基于至少一帧有效车道线图像计算第一车道的两条车道线之间的至少一个间距,基于至少一个间距确定变道后间距。
可选地,可通过对至少一个间距求平均值,以该平均值作为变道后间距。
由于测量或计算等过程可能产生的误差,有可能会导致部分采集的图像不是有效车道线图像,可选地,可基于相邻帧图像对应的车道线间距的变化情况确定车道线图像是否为有效车道线图像,在本实施例中,对于变道前后的车道线都是基于有效车道线图像确定的,克服了将非有效车道线图像参与计算车道线间距导致的间距差不准确,进而影响相机翻滚角调整的准确度的问题。
如图10所示,在上述图9所示实施例的基础上,步骤901或903可包括如下步骤:
步骤1001,针对相机采集的每帧图像,基于图像中车道线的首尾点坐标确定车道线的第一纵向位置。
步骤1002,基于图像中车道线的至少两个轮廓线坐标确定车道线的第二纵向位置。
可选地,可参照图3提供的实施例中的步骤301,分别基于车道线的首尾点坐标中的y轴坐标确定第一纵向位置,基于车道线的轮廓线包括的至少两个轮廓点坐标中的y轴坐标确定第二纵向位置。
步骤1003,基于第一纵向位置和第二纵向位置之间的差值,确定图像是否为有效车道线图像。
本实施例通过比较通过轮廓线和首尾点两种方法计算出来的车道线纵向位置之差,确定车道线图像是否有效,可选地,如果差值比较大(例如,差值大于0.8m),可认为当前帧图像不是有效车道线图像;可通过设置阈值的方式,将差值与阈值比较以确定图像是否为有效车道线图像,并可通过阈值的设置,实现动态的有效车道线图像的确定,提高了灵活性和用户体验。
如图11所示,在上述图7所示实施例的基础上,步骤702确定增量值的过程可包括如下步骤:
步骤7021,根据间距差确定车辆上设置的相机的翻滚角的增量缩放系数和基础增量值。
可选地,可通过PID算法获得增量缩放系数。
可选地,获得基础增量值的过程可包括:响应于间距差的绝对值大于或等于设定阈值,确定第一设定值作为基础增量值;响应于间距差的绝对值小于设定阈值,确定第二设定值作为基础增量值。
其中,第一设定值大于第二设定值。
本实施例实现根据当前实时偏差的大小,选择合适的step,当偏差Error较大时,选用较大的Step值(对应第一设定值);当偏差Error较小时,选用较小的Step值(对应第二设定值)。
步骤7022,基于增量缩放系数和基础增量值确定增量值。
可选地,本实施例确定增量值的方法可通过图2提供的实施例实现,分别通过不同模块获得增量缩放系数和确定基础增量值,其中基础增量值可预先设置其取值,例如,如图2提供的实施例中提供的设置两个基础增量值(大step和小step);增量值可通过公式Delta=scale*step确定,即增量值(Delta)等于增量缩放系数scale乘以基础增量值(step),通过增量缩放系数和基础增量值结合的方式确定增量值,实现了增量值的多样可调节性,并且通过增量缩放系数实现对基础增量值的倍数增长,使增量值的取值更具规律性,易于操作。
在一些可选的实施例中,在上述图11所示实施例的基础上,在步骤7022之前,还可以包括:
响应于增量缩放系数大于设定最大值,以设定最大值作为增量缩放系数;响应于增量缩放系数小于设定最小值,以设定最小值作为增量缩放系数。
本实施例通过设定最大值和设定最小值将增量缩放系数的最大取值获得最小取值进行限定,进而防止了增量值过大或过小,防止后续控制由于一次对翻滚角的调整过大或过小而出现异常。
在一些可选的实施例中,步骤702确定增量方向的过程可包括:
响应于间距差为正值,相机的翻滚角的增量方向为减小;响应于间距差为负值,相机的翻滚角的增量方向为增大。
本实施例中,通过间距差的正负,确定增量方向;例如,一次变道前后(无论是向左变道还是向右变道),观测到的右车道的两条车道线间距差如果大于0,Roll需要减小;反之则需要增大;通过确定的增量值按照本实施例确定的增量方向对相机翻滚角进行调整,可实现定向调整,避免因调整方向错误而导致的二次误差,加快了翻滚角矫正的速度。
在一些可选的实施例中,在上述任一实施例的基础上,在响应于车辆进行变道之前,还包括:
获取车辆的车速信息和偏航率信息,确定车辆是否进行变道。
由于本实施例是通过对车道线进行结构化感知,基于一次变道前后相同车道的两条车道线间距差实现对翻滚角的调整,因此,首先需要确定车辆是否进行变道,然后才对变道前后的车道线间距差进行采集,本实施例通过车速信息和偏航角信息确定车辆是否进行变道,或者,还可以通过车辆底盘CAN报文数据和前视观测到的车道线判断车辆是否处于变道行驶状态;本实施例通过变道的判断,避免了在非要求场景下对翻滚角的调整操作,提高了翻滚角调整的准确度。
本公开实施例提供的任一种相机翻滚角的调整方法可以由任意适当的具有数据处理能力的设备执行,包括但不限于:终端设备和服务器等。或者,本公开实施例提供的任一种相机翻滚角的调整方法可以由处理器执行,如处理器通过调用存储器存储的相应指令来执行本公开实施例提及的任一种相机翻滚角的调整方法。下文不再赘述。
示例性装置
图12是本公开一示例性实施例提供的相机翻滚角的调整装置的结构示意图。本实施例提供的装置包括:
间距差确定模块121,用于响应于车辆进行变道,基于设置在车辆上的相机获得变道前后同一车道包括的两条车道线的间距差。
增量确定模块122,用于根据间距差确定模块121确定的间距差确定相机的翻滚角的增量值和增量方向。
翻滚角调整模块123,用于基于增量确定模块122确定的增量方向和增量值对相机的翻滚角进行调整。
本公开上述实施例提供的一种相机翻滚角的调整装置,响应于车辆进行变道,基于设置在车辆上的相机获得变道前后同一车道包括的两条车道线的间距差;根据所述间距差确定所述相机的翻滚角的增量值和增量方向;基于所述增量方向和所述增量值对所述相机的翻滚角进行调整,基于一次变道前后相同车道的两条车道线间距差,可以方便地在直道场景下进行翻滚角的动态实时标定;基于现有的车道线感知结果,无需进行额外的大量角点的提取和匹配,计算过程非常简单,只需要进行车道线间距即可确定增量方向和增量值,计算速度快,效率高,实时性好。
图13是本公开另一示例性实施例提供的相机翻滚角的调整装置的结构示意图。本实施例提供的装置中,间距差确定模块121包括:
变道前间距确定单元1211,用于在车辆开始变道前,基于相机获得变道前的第一车道对应的两条车道线之间的变道前间距。
可选地,变道前间距确定单元1211,具体用于根据相机采集的图像确定至少一帧有效车道线图像;基于至少一帧有效车道线图像计算第一车道的两条车道线之间的至少一个间距,基于至少一个间距确定变道前间距。
其中,确定有效车道线图像的过程包括:针对相机采集的每帧图像,基于图像中车道线的首尾点坐标确定车道线的第一纵向位置;基于图像中车道线的至少两个轮廓线坐标确定车道线的第二纵向位置;基于第一纵向位置和第二纵向位置之间的差值,确定图像是否为有效车道线图像。
变道后间距确定单元1212,用于在车辆完成变道后,基于相机获得变道后第一车道对应的两条车道线之间的变道后间距。
可选地,变道后间距确定单元1212,具体用于基于相机采集的图像确定至少一帧有效车道线图像;基于至少一帧有效车道线图像计算第一车道的两条车道线之间的至少一个间距,基于至少一个间距确定变道后间距。
其中,确定有效车道线图像的过程包括:针对相机采集的每帧图像,基于图像中车道线的首尾点坐标确定车道线的第一纵向位置;基于图像中车道线的至少两个轮廓线坐标确定车道线的第二纵向位置;基于第一纵向位置和第二纵向位置之间的差值,确定图像是否为有效车道线图像。
间距差确定单元1213,基于变道前间距和变道后间距确定间距差。
在本实施例中,增量确定模块122,包括:
基础确定单元1221,用于根据间距差确定车辆上设置的相机的翻滚角的增量缩放系数和基础增量值。
可选地,基础确定单元1221,具体用于响应于间距差的绝对值大于或等于设定阈值,确定第一设定值作为基础增量值;响应于间距差的绝对值小于设定阈值,确定第二设定值作为基础增量值,第一设定值大于第二设定值。
增量值确定单元1222,用于基于基础确定单元1221确定的增量缩放系数和基础增量值确定增量值。
增量方向确定单元1223,用于响应于间距差为正值,相机的翻滚角的增量方向为减小;响应于间距差为负值,相机的翻滚角的增量方向为增大。
可选地,在基础确定单元1221与增量值确定单元1222之间,还包括:
系数限定单元1224,用于响应于增量缩放系数大于设定最大值,以设定最大值作为增量缩放系数;响应于增量缩放系数小于设定最小值,以设定最小值作为增量缩放系数。
可选地,本实施例中,在间距差确定模块121之前,还包括:
变道确定模块131,用于获取车辆的车速信息和偏航率信息,确定车辆是否进行变道。
示例性电子设备
下面,参考图14来描述根据本公开实施例的电子设备。该电子设备可以是第一设备100和第二设备200中的任一个或两者、或与它们独立的单机设备,该单机设备可以与第一设备和第二设备进行通信,以从它们接收所采集到的输入信号。
图14图示了根据本公开实施例的电子设备的框图。
如图14所示,电子设备140包括一个或多个处理器141和存储器142。
处理器141可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元,并且可以控制电子设备140中的其他组件以执行期望的功能。
存储器142可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器141可以运行所述程序指令,以实现上文所述的本公开的各个实施例的相机翻滚角的调整方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
在一个示例中,电子设备140还可以包括:输入装置143和输出装置144,这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
例如,在该电子设备是第一设备100或第二设备200时,该输入装置143可以是上述的麦克风或麦克风阵列,用于捕捉声源的输入信号。在该电子设备是单机设备时,该输入装置143可以是通信网络连接器,用于从第一设备100和第二设备200接收所采集的输入信号。
此外,该输入设备143还可以包括例如键盘、鼠标等等。
该输出装置144可以向外部输出各种信息,包括确定出的距离信息、方向信息等。该输出设备144可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然,为了简化,图14中仅示出了该电子设备140中与本公开有关的组件中的一些,省略了诸如总线、输入/输出接口等等的组件。除此之外,根据具体应用情况,电子设备140还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外,本公开的实施例还可以是计算机程序产品,其包括计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的相机翻滚角的调整方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如Java、C++等,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外,本公开的实施例还可以是计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的相机翻滚角的调整方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本公开的基本原理,但是,需要指出的是,在本公开中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本公开为必须采用上述具体的细节来实现。
本说明书中各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言,由于其与方法实施例基本对应,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。
可能以许多方式来实现本公开的方法和装置。例如,可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明,本公开的方法的步骤不限于以上具体描述的顺序,除非以其它方式特别说明。此外,在一些实施例中,还可将本公开实施为记录在记录介质中的程序,这些程序包括用于实现根据本公开的方法的机器可读指令。因而,本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
还需要指出的是,在本公开的装置、设备和方法中,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的,并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此,本公开不意图被限制到在此示出的方面,而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (12)

1.一种相机翻滚角的调整方法,包括:
响应于车辆进行变道,基于设置在所述车辆上的相机获得变道前后同一车道包括的两条车道线的间距差;
根据所述间距差确定所述相机的翻滚角的增量值和增量方向;
基于所述增量方向和所述增量值对所述相机的翻滚角进行调整。
2.根据权利要求1所述的方法,其中,所述基于设置在所述车辆上的相机获得变道前后同一车道包括的两条车道线的间距差,包括:
在所述车辆开始变道前,基于所述相机获得变道前的第一车道对应的两条车道线之间的变道前间距;
在所述车辆完成变道后,基于所述相机获得变道后所述第一车道对应的两条车道线之间的变道后间距;
基于所述变道前间距和所述变道后间距确定所述间距差。
3.根据权利要求2所述的方法,其中,所述基于所述相机获得变道前的第一车道对应的两条车道线之间的变道前间距,包括:
根据所述相机采集的图像确定至少一帧有效车道线图像;
基于所述至少一帧有效车道线图像计算所述第一车道的两条车道线之间的至少一个间距,基于所述至少一个间距确定所述变道前间距;
所述基于所述相机获得变道后所述第一车道对应的两条车道线之间的变道后间距,包括:
基于所述相机采集的图像确定至少一帧有效车道线图像;
基于所述至少一帧有效车道线图像计算所述第一车道的两条车道线之间的至少一个间距,基于所述至少一个间距确定所述变道后间距。
4.根据权利要求3所述的方法,其中,所述根据所述相机采集的图像确定至少一帧有效车道线图像,包括:
针对所述相机采集的每帧图像,基于所述图像中车道线的首尾点坐标确定所述车道线的第一纵向位置;
基于所述图像中车道线的至少两个轮廓线坐标确定所述车道线的第二纵向位置;
基于所述第一纵向位置和所述第二纵向位置之间的差值,确定所述图像是否为有效车道线图像。
5.根据权利要求1-4任一所述的方法,其中,所述根据所述间距差确定所述相机的翻滚角的增量值,包括:
根据所述间距差确定车辆上设置的相机的翻滚角的增量缩放系数和基础增量值;
基于所述增量缩放系数和基础增量值确定所述增量值。
6.根据权利要求5所述的方法,其中,所述根据所述间距差确定车辆上设置的相机的翻滚角的基础增量值,包括:
响应于所述间距差的绝对值大于或等于设定阈值,确定第一设定值作为所述基础增量值;
响应于所述间距差的绝对值小于设定阈值,确定第二设定值作为所述基础增量值,所述第一设定值大于第二设定值。
7.根据权利要求5所述的方法,在基于所述增量缩放系数和基础增量值确定所述增量值之前,还包括:
响应于所述增量缩放系数大于设定最大值,以所述设定最大值作为所述增量缩放系数;
响应于所述增量缩放系数小于设定最小值,以所述设定最小值作为所述增量缩放系数。
8.根据权利要求1所述的方法,其中,所述根据所述间距差确定所述相机的翻滚角的增量方向,包括:
响应于所述间距差为正值,所述相机的翻滚角的增量方向为减小;
响应于所述间距差为负值,所述相机的翻滚角的增量方向为增大。
9.根据权利要求1所述的方法,在响应于车辆进行变道之前,还包括:
获取所述车辆的车速信息和偏航率信息,确定所述车辆是否进行变道。
10.一种相机翻滚角的调整装置,包括:
间距差确定模块,用于响应于车辆进行变道,基于设置在车辆上的相机获得变道前后同一车道包括的两条车道线的间距差;
增量确定模块,用于根据所述间距差确定模块确定的间距差确定所述相机的翻滚角的增量值和增量方向;
翻滚角调整模块,用于基于所述增量确定模块确定的增量方向和增量值对所述相机的翻滚角进行调整。
11.一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序用于执行上述权利要求1-9任一所述的相机翻滚角的调整方法。
12.一种电子设备,所述电子设备包括:
处理器;
用于存储所述处理器可执行指令的存储器;
所述处理器,用于从所述存储器中读取所述可执行指令,并执行所述指令以实现上述权利要求1-9任一所述的相机翻滚角的调整方法。
CN201910584917.3A 2019-07-01 2019-07-01 相机翻滚角的调整方法和装置、存储介质、电子设备 Active CN112184821B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910584917.3A CN112184821B (zh) 2019-07-01 2019-07-01 相机翻滚角的调整方法和装置、存储介质、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910584917.3A CN112184821B (zh) 2019-07-01 2019-07-01 相机翻滚角的调整方法和装置、存储介质、电子设备

Publications (2)

Publication Number Publication Date
CN112184821A true CN112184821A (zh) 2021-01-05
CN112184821B CN112184821B (zh) 2023-03-10

Family

ID=73915536

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910584917.3A Active CN112184821B (zh) 2019-07-01 2019-07-01 相机翻滚角的调整方法和装置、存储介质、电子设备

Country Status (1)

Country Link
CN (1) CN112184821B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023185272A1 (zh) * 2022-03-28 2023-10-05 腾讯科技(深圳)有限公司 车载相机的翻滚角标定方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106295560A (zh) * 2016-08-09 2017-01-04 浙江零跑科技有限公司 基于车载双目相机和分段式pid控制的车道保持方法
CN106875448A (zh) * 2017-02-16 2017-06-20 武汉极目智能技术有限公司 一种车载单目摄像头外部参数自标定方法
CN107133985A (zh) * 2017-04-20 2017-09-05 常州智行科技有限公司 一种基于车道线消逝点的车载摄像机自动标定方法
WO2018196391A1 (zh) * 2017-04-28 2018-11-01 华为技术有限公司 一种车载摄像机的外部参数标定方法及装置
CN109859278A (zh) * 2019-01-24 2019-06-07 惠州市德赛西威汽车电子股份有限公司 车载相机系统相机外参的标定方法及标定系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106295560A (zh) * 2016-08-09 2017-01-04 浙江零跑科技有限公司 基于车载双目相机和分段式pid控制的车道保持方法
CN106875448A (zh) * 2017-02-16 2017-06-20 武汉极目智能技术有限公司 一种车载单目摄像头外部参数自标定方法
CN107133985A (zh) * 2017-04-20 2017-09-05 常州智行科技有限公司 一种基于车道线消逝点的车载摄像机自动标定方法
WO2018196391A1 (zh) * 2017-04-28 2018-11-01 华为技术有限公司 一种车载摄像机的外部参数标定方法及装置
CN109859278A (zh) * 2019-01-24 2019-06-07 惠州市德赛西威汽车电子股份有限公司 车载相机系统相机外参的标定方法及标定系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KYOUNGTAEK CHOI,ET AL.: "Automatic Calibration of an Around View Monitor System Exploiting Lane Markings", 《SENSORS》 *
崔洪柳: "基于车道线检测的车载摄像机在线标定算法", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *
陈军等: "基于道路特征的车载相机标定动态补偿算法", 《机械工程学报》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023185272A1 (zh) * 2022-03-28 2023-10-05 腾讯科技(深圳)有限公司 车载相机的翻滚角标定方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN112184821B (zh) 2023-03-10

Similar Documents

Publication Publication Date Title
CN113022580B (zh) 轨迹预测方法、装置、存储介质及电子设备
KR102335985B1 (ko) 조향각 제어 장치, 그를 포함한 차로 추종 보조 시스템 및 그 방법
JP6465982B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN112818778B (zh) 车道线拟合方法、装置、介质以及电子设备
CN112184799A (zh) 车道线空间坐标确定方法、装置、存储介质和电子设备
CN114170826B (zh) 自动驾驶控制方法和装置、电子设备和存储介质
US11580668B2 (en) Automatic correction method for onboard camera and onboard camera device
CN112184821B (zh) 相机翻滚角的调整方法和装置、存储介质、电子设备
CN112308923A (zh) 基于车道线的相机位姿调整方法和装置、存储介质、设备
CN115147683A (zh) 位姿估计网络模型的训练方法、位姿估计方法及装置
EP3654276B1 (en) Analysis device, analysis method, and program
CN111627066A (zh) 一种摄像头的外参数调整方法及装置
CN112406884B (zh) 车辆行驶状态的识别方法和装置、存储介质、电子设备
CN113160322A (zh) 摄像装置标定方法和设备、介质以及电子设备
CN112184822B (zh) 相机俯仰角的调整方法和装置、存储介质、电子设备
CN112766023B (zh) 目标对象的姿态确定方法、装置、介质及设备
CN111553309A (zh) 车道线识别方法及装置
CN110827337B (zh) 确定车载相机的姿态的方法、装置和电子设备
CN114743174A (zh) 观测车道线的确定方法、装置、电子设备和存储介质
WO2023093306A1 (zh) 车辆换道的控制方法和装置、电子设备和存储介质
CN116164786A (zh) 传感器外参的确定方法、装置、电子设备和存储介质
CN115131757A (zh) 车道线的确定方法、装置、电子设备和存储介质
CN112991418B (zh) 图像深度预测和神经网络训练方法和装置、介质、设备
CN114620040A (zh) 车辆的控制方法、装置、电子设备和存储介质
CN112304293B (zh) 道路高度检测方法、装置、可读存储介质和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant