CN112706755A - 一种车载相机的调整方法和装置 - Google Patents

一种车载相机的调整方法和装置 Download PDF

Info

Publication number
CN112706755A
CN112706755A CN202110114226.4A CN202110114226A CN112706755A CN 112706755 A CN112706755 A CN 112706755A CN 202110114226 A CN202110114226 A CN 202110114226A CN 112706755 A CN112706755 A CN 112706755A
Authority
CN
China
Prior art keywords
information
vehicle
generating
pose
track
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110114226.4A
Other languages
English (en)
Other versions
CN112706755B (zh
Inventor
杨应彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Xiaopeng Motors Technology Co Ltd
Original Assignee
Guangzhou Xiaopeng Autopilot Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Xiaopeng Autopilot Technology Co Ltd filed Critical Guangzhou Xiaopeng Autopilot Technology Co Ltd
Priority to CN202110114226.4A priority Critical patent/CN112706755B/zh
Publication of CN112706755A publication Critical patent/CN112706755A/zh
Application granted granted Critical
Publication of CN112706755B publication Critical patent/CN112706755B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/10Longitudinal speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/10Longitudinal speed
    • B60W2520/105Longitudinal acceleration
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/12Lateral speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/12Lateral speed
    • B60W2520/125Lateral acceleration
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明实施例提供了一种车载相机的调整方法和装置,所述方法包括:通过获取在所述车辆的行驶过程中采集的图像数据和惯性测量数据,根据所述图像数据,生成第一轨迹信息,根据所述惯性测量数据,生成第二轨迹信息,按照所述第一轨迹信息和所述第二轨迹信息,对所述车载相机进行调整。通过本发明实施例,实现了按照轨迹信息对车载相机进行调整,并能够在车辆行驶时对相机外参进行及时的调整,避免了相机外参的标定需要在特定的状态和空间中进行而不能及时标定的情况,提高了相机采集环境信息的准确性,进而提高了车辆行驶的安全性。

Description

一种车载相机的调整方法和装置
技术领域
本发明涉及车载相机数据处理技术领域,特别是涉及一种车载相机的调整方法和装置。
背景技术
车辆在行驶的过程中,车载相机会采集环境信息,并将采集的环境信息反映在世界坐标系中,以辅助车辆行驶,而车载相机的相机外参会影响将环境信息反映在世界坐标系中的准确性,进而会影响车辆行驶的安全性,因此,需要及时对相机外参进行标定。
目前,相机外参的标定是需要车载相机处于静止状态时进行的,而且还需要在特定的标定工位空间中进行,具有很大的局限性,并且,倘若车辆在行驶时产生振动,导致相机外参发生了改变,而相机外参的标定需要在特定的状态和空间中进行,具有局限性,从而不能对相机外参进行及时的标定,使得相机所采集的环境信息不准确,降低了车辆行驶的安全性。
发明内容
鉴于上述问题,提出了以便提供克服上述问题或者至少部分地解决上述问题的一种车载相机的调整方法和装置,包括:
一种车载相机的调整方法,所述方法包括:
获取在所述车辆的行驶过程中采集的图像数据和惯性测量数据;
根据所述图像数据,生成第一轨迹信息;
根据所述惯性测量数据,生成第二轨迹信息;
按照所述第一轨迹信息和所述第二轨迹信息,对所述车载相机进行调整。
可选地,所述第一轨迹信息包括所述图像数据中关键帧的第一位姿信息,所述按照所述第一轨迹信息和所述第二轨迹信息,对所述车载相机进行调整,包括:
根据所述第二轨迹信息,生成多个第二位姿信息,并从所述多个第二位姿信息中,确定与所述关键帧匹配的目标第二位姿信息;
根据所述第一位姿信息和所述目标第二位姿信息,生成针对所述车载相机的第一控制信息和第二控制信息;
按照所述第一控制信息和所述第二控制信息,对所述车载相机进行调整。
可选地,所述根据所述第一位姿信息和所述目标第二位姿信息,生成针对所述车载相机的第一控制信息和第二控制信息,包括:
根据所述第一位姿信息和所述目标第二位姿信息,生成针对所述车载相机的第一控制信息;
按照所述第一控制信息,对所述关键帧进行调整,并确定所述调整后的关键帧的第三位姿信息;
根据所述第三位姿信息和所述目标第二位姿信息,生成针对所述车载相机的第二控制信息。
可选地,在所述从所述多个第二位姿信息中,确定与所述关键帧匹配的目标第二位姿信息之前,还包括:
从所述关键帧中,去除在所述车辆处于转弯行驶时采集的关键帧。
可选地,所述从所述多个第二位姿信息中,确定与所述关键帧匹配的目标第二位姿信息,包括:
确定所述关键帧对应的时间信息;
按照所述时间信息,从所述多个第二位姿信息中,确定与所述关键帧匹配的目标第二位姿信息。
可选地,所述根据所述第二轨迹信息,生成多个第二位姿信息,包括:
从所述第二轨迹信息中,确定多个旋转角信息;
根据所述多个旋转角信息,生成多个第二位姿信息。
可选地,所述第一控制信息为旋转参数,所述第二控制信息为平移参数,或者,平移参数和缩放参数。
一种车载相机的调整装置,所述装置包括:
数据获取模块,用于获取在所述车辆的行驶过程中采集的图像数据和惯性测量数据;
第一轨迹信息生成模块,用于根据所述图像数据,生成第一轨迹信息;
第二轨迹信息生成模块,用于根据所述惯性测量数据,生成第二轨迹信息;
车载相机调整模块,用于按照所述第一轨迹信息和所述第二轨迹信息,对所述车载相机进行调整。
一种车辆,包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如上所述的一种车载相机的调整方法。
一种计算机可读存储介质,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如上所述的一种车载相机的调整方法。
本发明实施例具有以下优点:
在本发明实施例中,通过获取在所述车辆的行驶过程中采集的图像数据和惯性测量数据,根据所述图像数据,生成第一轨迹信息,根据所述惯性测量数据,生成第二轨迹信息,按照所述第一轨迹信息和所述第二轨迹信息,对所述车载相机进行调整,实现了按照轨迹信息对车载相机进行调整,并能够在车辆行驶时对相机外参进行及时的调整,避免了相机外参的标定需要在特定的状态和空间中进行而不能及时标定的情况,提高了相机采集环境信息的准确性,进而提高了车辆行驶的安全性。
附图说明
为了更清楚地说明本发明的技术方案,下面将对本发明的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的一种车载相机的调整方法的步骤流程图;
图2是本发明一实施例提供的另一种车载相机的调整方法的步骤流程图;
图3是本发明一实施例提供的一种车载相机的调整装置的结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参照图1,示出了本发明一实施例提供的一种车载相机的调整方法的步骤流程图,具体可以包括如下步骤:
步骤101,获取在所述车辆的行驶过程中采集的图像数据和惯性测量数据;
其中,图像数据可以为采用车辆中的视觉传感器所采集的数据,图像数据可以包括一个或多个图像帧,视觉传感器可以包括车载相机,惯性测量数据可以为采用车辆中的惯性测量单元(IMU,Inertial Measurement Unit)所采集的数据,惯性测量数据可以为车辆的行驶信息和位姿信息,如车辆的角度信息、角度信息的变化信息、车辆的速度信息、速度信息的变化信息,惯性测量单元可以用于测量车辆的位姿信息,如三轴姿态角(或角速率)以及加速度。
车辆在行驶的过程中,可以采用车辆中的视觉传感器实时采集图像数据,并获取车辆在每一时刻所采集的图像数据,可以采用车辆中的惯性测量单元实时采集惯性测量数据,并获取车辆在每个时刻所采集的惯性测量数据。
步骤102,根据所述图像数据,生成第一轨迹信息;
其中,第一轨迹信息可以包括图像数据中关键帧的第一位姿信息,关键帧可以为一个或多个图像帧中图像信息丰富的图像帧,第一位姿信息可以为通过图像数据确定的针对车辆的位姿信息,车辆的位姿信息可以包括车辆的角度信息、位置信息,第一轨迹信息可以为根据图像数据确定的针对车辆的轨迹信息,即为车辆在相机坐标系中的轨迹信息,相机坐标系可以为基于车载相机采集的图像数据生成的。
在获取图像数据后,可以从图像数据中,确定一个或多个图像帧,进而可以对每个图像帧进行特征识别,并根据识别后的结果生成第一轨迹信息。
在实际应用中,可以通过识别图像帧中的特征对象,并对特征对象进行个数统计,进而可以确定特征对象的个数大于预设个数的图像帧为图像信息丰富的的图像帧,即为关键帧,如可以从每个图像帧中,确定第1帧、第4帧和第7帧的图像帧为关键帧,进而可以根据针对关键帧的识别结果,生成第一轨迹信息。
例如,可以在车辆开始行驶时,即车辆在启动时,通过视觉传感器采集车辆在启动时的图像帧,并对车辆在启动时的图像帧进行特征识别,进而可以识别出至少一个特征对象,以及特征对象与车辆的相对位置关系,可以在车辆行驶的过程中,采集车辆在行驶时的图像帧,并对车辆在行驶时的图像帧进行特征识别,以确定车辆在行驶时的图像帧中与车辆在启动时的图像帧中的特征对象匹配的特征对象,以及确定车辆在行驶时,车辆与匹配的特征对象之间实时的相对位置关系,进而可以根据车辆在启动时与特征对象的相对位置关系以及车辆在行驶时与匹配的特征对象的相对位置关系,确定车辆在行驶时相对于车辆在启动时的相对位置关系,以确定车辆在行驶时的实时位置,可以根据车辆在行驶时的实时位置,生成车辆在行驶时的轨迹信息。
在本发明一实施例中,可以采用orb-slam算法对图像帧进行特征识别,生成第一轨迹信息。
在本发明一实施例中,可以在车辆行驶的过程中自动生成第一轨迹信息,以在行驶时对车载相机进行实时调整,也可以在需要对车载相机进行调整时,驱动车辆行驶,并生成第一轨迹信息,以在行驶时对车载相机进行调整。
作为一示例,驱动车辆行驶的路径可以为闭环路径,进而生成的第一轨迹信息可以为闭环轨迹信息。
在实际应用中,在车辆行驶的路径为闭环路径时,采用orb-slam算法对图像帧进行特征识别所生成的第一轨迹信息的准确性更高,进一步提高了相机采集环境信息的准确性,进而提高了车辆行驶的安全性。
步骤103,根据所述惯性测量数据,生成第二轨迹信息;
其中,第二轨迹信息可以为根据惯性测量数据确定的针对车辆的轨迹信息,即为车辆在车辆坐标系中的轨迹信息,车辆坐标系可以为基于惯性测量单元采集的惯性测量单元数据生成的。
在获取惯性测量数据后,可以从惯性测量数据中,确定车辆的行驶信息和位姿信息,进而可以根据车辆的行驶信息,确定车辆实时的位置,以根据车辆实时的位置生成第二轨迹信息。
步骤104,按照所述第一轨迹信息和所述第二轨迹信息,对所述车载相机进行调整。
在得到第一轨迹信息和第二轨迹信息后,可以根据第一轨迹信息和第二轨迹信息,确定第一轨迹信息与第二轨迹信息之间的偏差,进而可以根据第一轨迹信息与第二轨迹信息之间的偏差,对车载相机进行调整。
在本发明一实施例中,步骤104可以包括如下子步骤:
子步骤11,根据所述第二轨迹信息,生成多个第二位姿信息,并从所述多个第二位姿信息中,确定与所述关键帧匹配的目标第二位姿信息;
其中,第二位姿信息可以为基于惯性测量数据所确定的第二轨迹信息中车辆的位姿信息,与关键帧匹配的目标第二位姿信息可以为与关键帧的时刻匹配的第二位姿信息。
在生成第一轨迹信息和第二轨迹信息后,可以根据车辆在行驶时的第二轨迹信息,确定车辆的第二位姿信息,并从车辆的第二位姿信息中,确定与关键帧的时刻匹配的目标第二位姿信息。
子步骤12,根据所述第一位姿信息和所述目标第二位姿信息,生成针对所述车载相机的第一控制信息和第二控制信息;
其中,第一控制信息可以为针对车载相机的旋转参数,针对车载相机的选择参数可以为相机坐标系的旋转参数,第二控制信息可以为相机坐标系的平移参数,或者,相机坐标系的平移参数和缩放参数。
在确定与关键帧匹配的目标第二位姿信息后,可以确定第一位姿信息和目标第二位姿信息之间的偏差,进而可以根据第一位姿信息和目标第二位姿信息之间的偏差,生成针对车载相机的第一控制信息和第二控制信息。
在实际应用中,可以确定第一位姿信息和目标第二位姿信息之间的角度偏差,进而可以根据第一位姿信息和目标第二位姿信息之间的角度偏差,生成相机坐标系的旋转参数,可以确定第一位姿信息和目标第二位姿信息之间的位置偏差,进而可以根据第一位姿信息和目标第二位姿信息之间的位置偏差,生成相机坐标系的平移参数和缩放参数。
子步骤13,按照所述第一控制信息和所述第二控制信息,对所述车载相机进行调整。
在生成针对车载相机的第一控制信息和第二控制信息后,可以按照第一控制信息和第二控制信息,对车载相机进行调整。
在实际应用中,可以按照第一控制信息中的旋转参数,对车载相机所生成的相机坐标系进行旋转调整,可以按照第二控制信息中的平移参数,对车载相机所生成的相机坐标系进行位置调整。
在本发明一实施例中,在第二控制信息为平移参数和缩放参数时,还可以按照第二控制信息中的缩放参数,对车载相机所生成的相机坐标系进行比例缩放调整。
在本发明一实施例中,第一控制信息和第二控制信息可以为车载相机的外参。
在本发明实施例中,通过获取在所述车辆的行驶过程中采集的图像数据和惯性测量数据,根据所述图像数据,生成第一轨迹信息,根据所述惯性测量数据,生成第二轨迹信息,按照所述第一轨迹信息和所述第二轨迹信息,对所述车载相机进行调整,实现了按照轨迹信息对车载相机进行调整,并能够在车辆行驶时对相机外参进行及时的调整,避免了相机外参的标定需要在特定的状态和空间中进行而不能及时标定的情况,提高了相机采集环境信息的准确性,进而提高了车辆行驶的安全性。
参照图2,示出了本发明一实施例提供的另一种车载相机的调整方法的步骤流程图,具体可以包括如下步骤:
步骤201,获取在所述车辆的行驶过程中采集的图像数据和惯性测量数据;
步骤202,根据所述图像数据,生成第一轨迹信息;其中,第一轨迹信息可以包括图像数据中关键帧的第一位姿信息;
步骤203,根据所述惯性测量数据,生成第二轨迹信息;
步骤204,根据所述第二轨迹信息,生成多个第二位姿信息,并从所述多个第二位姿信息中,确定与所述关键帧匹配的目标第二位姿信息;
在本发明一实施例中,根据第二轨迹信息,生成多个第二位姿信息的步骤可以包括如下子步骤:
子步骤21,从所述第二轨迹信息中,确定多个旋转角信息;
其中,旋转角信息可以为车辆在车辆坐标系的三维坐标轴中的角度信息,如车辆在横轴中的角度信息、车辆在纵轴中的角度信息、车辆在竖轴中的角度信息。
在生成第二轨迹信息后,可以根据惯性测量数据,从第二轨迹信息中确定车辆在某一时刻对应的旋转角信息,进而可以确定车辆在每个时刻对应的旋转角信息,即可以确定多个旋转角信息。
子步骤22,根据所述多个旋转角信息,生成多个第二位姿信息。
在得到旋转角信息后,可以根据某一时刻对应的旋转角信息,生成车辆在该时刻的第二位姿信息,进而可以根据每个时刻对应的旋转角信息,生成多个第二位姿信息。
在本发明一实施例中,从多个第二位姿信息中,确定与关键帧匹配的目标第二位姿信息的步骤可以包括如下子步骤:
子步骤31,确定所述关键帧对应的时间信息;
在得到第二位姿信息后,可以确定关键帧对应的时间信息。
在实际应用中,图像数据可以包括时间戳数据,进而可以确定关键帧中的时间戳数据,以确定关键帧对应的时间信息。
例如,在关键帧为第1帧、第4帧以及第7帧图像帧时,可以确定第1帧、第4帧以及第7帧图像帧所对应的时间信息。
子步骤32,按照所述时间信息,从所述多个第二位姿信息中,确定与所述关键帧匹配的目标第二位姿信息。
在确定关键帧的时间信息后,可以按照时间信息,从多个第二位姿信息中,确定与关键帧匹配的目标第二位姿信息。
在实际应用中,由于关键帧可以为每个图像帧中图像信息丰富的一个或多个图像帧,即关键帧的频率较低,而采集惯性测量数据的频率较高,则可以确定每个关键帧所对应的时间信息,并从基于惯性测量数据所确定的第二轨迹信息中,确定与关键帧对应的时间信息为同一时间的第二位姿信息,即为与关键帧匹配的目标第二位姿信息。
在本发明一实施例中,由于视觉传感器与惯性测量单元的采集频率具有一定的差别,进而难以保证能在第二轨迹信息中,确定与关键帧的时间信息为同一时间的第二位姿信息,可以从第二轨迹信息中,确定与关键帧对应的时间信息偏差最小的第二位姿信息为目标第二位姿信息。
在本发明一实施例中,在从多个第二位姿信息中,确定与关键帧匹配的目标第二位姿信息的步骤之前,还可以包括如下步骤:
从所述关键帧中,去除在所述车辆处于转弯行驶时采集的关键帧。
在生成第一轨迹信息后,可以从图像数据中,确定每个图像帧,可以从每个图像帧中确定关键帧,并从关键帧中,去除在车辆处于转弯行驶时采集的关键帧,以得到去除后的关键帧,进而可以执行从多个第二位姿信息中,确定与去除后的关键帧匹配的目标第二位姿信息的步骤。
在实际应用中,在确定关键帧后,可以确定关键帧对应的车辆的位置之间的距离信息和方向信息,并从第一轨迹信息中确定每个关键帧之间对应的轨迹信息,进而可以根据关键帧对应的车辆的位置之间的距离信息、方向信息,以及轨迹信息,确定关键帧对应的车辆的位置之间的偏离程度,以根据该偏离程度,确定并去除车辆处于转弯行驶时采集的关键帧。
例如,在关键帧为第1帧、第4帧以及第7帧图像帧时,可以确定第1帧与第4帧、第1帧与第7帧以及第4帧与第7帧对应的车辆的位置之间的距离信息、方向信息,以及轨迹信息,进而可以确定第1帧与由第4帧与第7帧对应的轨迹信息的偏离程度、第4帧与由第1帧与第7帧对应的轨迹信息的偏离程度以及第7帧与由第1帧与第4帧对应的轨迹信息的偏离程度,并确定偏离程度大于预设偏离程度的关键帧为车辆处于转弯行驶时采集的关键帧,确定偏离程度小于于预设偏离程度的关键帧为车辆处于直线行驶时采集的关键帧。
步骤205,根据所述第一位姿信息和所述目标第二位姿信息,生成针对所述车载相机的第一控制信息;
在确定与关键帧匹配的目标第二位姿信息后,可以确定关键帧的第一位姿信息中的方向向量,以及确定目标第二位姿信息中的方向向量,以确定关键帧的第一位姿信息与匹配的目标第二位姿信息中的方向向量之间的方向偏差,进而可以根据方向向量之间的方向偏差,生成针对车载相机的第一控制信息。
在实际应用中,可以确定每个关键帧的第一位姿信息与匹配的目标第二位姿信息中的方向向量之间的方向偏差,进而可以得到至少一个方向偏差,可以采用最小二乘法,计算使得方向偏差之和最小的针对相机坐标系的旋转矩阵,即采用该旋转矩阵对每个关键帧的第一位姿信息进行旋转调整后,使得调整后的每个关键帧的位姿信息与匹配的目标第二位姿信息中的方向向量之间的方向偏差之和最小。
步骤206,按照所述第一控制信息,对所述关键帧进行调整,并确定所述调整后的关键帧的第三位姿信息;
其中,第三位姿信息可以为按照第一控制信息进行调整后的关键帧中的位姿信息。
在生成第一控制信息后,可以按照第一控制信息,对关键帧的第一位姿信息进行调整,并将调整后的关键帧的位姿信息确定为第三位姿信息。
步骤207,根据所述第三位姿信息和所述目标第二位姿信息,生成针对所述车载相机的第二控制信息;
在得到第三位姿信息后,可以确定第三位姿信息与目标第二位姿信息之间的位置偏差,进而可以根据第三位姿信息与目标第二位姿信息之间的位置偏差,生成针对车载相机的第二控制信息。
在实际应用中,可以确定每个第三位姿信息与匹配的目标第二位姿信息之间的位置偏差,得到至少一个位置偏差,可以采用最小二乘法,计算使得位置偏差之和最小的针对相机坐标系的平移向量,即采用该平移向量对每个第三位姿信息进行平移调整后,使得调整后的第三位姿信息与匹配的目标第二位姿信息中的位置偏差之和最小。
步骤208,按照所述第一控制信息和所述第二控制信息,对所述车载相机进行调整。
在本发明实施例中,通过获取在所述车辆的行驶过程中采集的图像数据和惯性测量数据,根据所述图像数据,生成第一轨迹信息,根据所述惯性测量数据,生成第二轨迹信息,根据所述第二轨迹信息,生成多个第二位姿信息,并从所述多个第二位姿信息中,确定与所述关键帧匹配的目标第二位姿信息,根据所述第一位姿信息和所述目标第二位姿信息,生成针对所述车载相机的第一控制信息步骤,按照所述第一控制信息,对所述关键帧进行调整,并确定所述调整后的关键帧的第三位姿信息,根据所述第三位姿信息和所述目标第二位姿信息,生成针对所述车载相机的第二控制信息,按照所述第一控制信息和所述第二控制信息,对所述车载相机进行调整,实现了按照轨迹信息对车载相机进行调整,并能够在车辆行驶时对相机外参进行及时的调整,避免了相机外参的标定需要在特定的状态和空间中进行而不能及时标定的情况,提高了相机采集环境信息的准确性,进而提高了车辆行驶的安全性。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
参照图3,示出了本发明一实施例提供的一种车载相机的调整装置的结构示意图,具体可以包括如下模块:
数据获取模块301,用于获取在所述车辆的行驶过程中采集的图像数据和惯性测量数据;
第一轨迹信息生成模块302,用于根据所述图像数据,生成第一轨迹信息;
第二轨迹信息生成模块303,用于根据所述惯性测量数据,生成第二轨迹信息;
车载相机调整模块304,用于按照所述第一轨迹信息和所述第二轨迹信息,对所述车载相机进行调整。
在本发明一实施例中,所述第一轨迹信息包括所述图像数据中关键帧的第一位姿信息,所述车载相机调整模块304,包括:
第二位姿信息生成子模块,用于根据所述第二轨迹信息,生成多个第二位姿信息,并从所述多个第二位姿信息中,确定与所述关键帧匹配的目标第二位姿信息;
控制信息生成子模块,用于根据所述第一位姿信息和所述目标第二位姿信息,生成针对所述车载相机的第一控制信息和第二控制信息;
基于控制信息的调整子模块,用于按照所述第一控制信息和所述第二控制信息,对所述车载相机进行调整。
在本发明一实施例中,所述控制信息生成子模块,包括:
第一控制信息生成单元,用于根据所述第一位姿信息和所述目标第二位姿信息,生成针对所述车载相机的第一控制信息;
第三位姿信息确定单元,用于按照所述第一控制信息,对所述关键帧进行调整,并确定所述调整后的关键帧的第三位姿信息;
第二控制信息生成单元,用于根据所述第三位姿信息和所述目标第二位姿信息,生成针对所述车载相机的第二控制信息。
在本发明一实施例中,在所述装置还包括:
关键帧去除模块,用于从所述关键帧中,去除在所述车辆处于转弯行驶时采集的关键帧。
在本发明一实施例中,所述第二位姿信息生成子模块,包括:
时间信息确定单元,用于确定所述关键帧对应的时间信息;
目标第二位姿信息确定单元,用于按照所述时间信息,从所述多个第二位姿信息中,确定与所述关键帧匹配的目标第二位姿信息。
在本发明一实施例中,所述第二位姿信息生成子模块,包括:
旋转角信息确定单元,用于从所述第二轨迹信息中,确定多个旋转角信息;
基于旋转角信息的第二位姿信息生成单元,用于根据所述多个旋转角信息,生成多个第二位姿信息。
在本发明一实施例中,所述第一控制信息为旋转参数,所述第二控制信息为平移参数,或者,平移参数和缩放参数。
在本发明实施例中,通过获取在所述车辆的行驶过程中采集的图像数据和惯性测量数据,根据所述图像数据,生成第一轨迹信息,根据所述惯性测量数据,生成第二轨迹信息,按照所述第一轨迹信息和所述第二轨迹信息,对所述车载相机进行调整,实现了按照轨迹信息对车载相机进行调整,并能够在车辆行驶时对相机外参进行及时的调整,避免了相机外参的标定需要在特定的状态和空间中进行而不能及时标定的情况,提高了相机采集环境信息的准确性,进而提高了车辆行驶的安全性。
本发明一实施例还提供了一种车辆,可以包括处理器、存储器及存储在存储器上并能够在处理器上运行的计算机程序,计算机程序被处理器执行时实现如上一种车载相机的调整方法。
本发明一实施例还提供了一种计算机可读存储介质,计算机可读存储介质上存储计算机程序,计算机程序被处理器执行时实现如上一种车载相机的调整方法。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白,本发明实施例可提供为方法、装置、或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对所提供的一种车载相机的调整方法和装置,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种车载相机的调整方法,其特征在于,所述方法包括:
获取在所述车辆的行驶过程中采集的图像数据和惯性测量数据;
根据所述图像数据,生成第一轨迹信息;
根据所述惯性测量数据,生成第二轨迹信息;
按照所述第一轨迹信息和所述第二轨迹信息,对所述车载相机进行调整。
2.根据权利要求1所述的方法,其特征在于,所述第一轨迹信息包括所述图像数据中关键帧的第一位姿信息,所述按照所述第一轨迹信息和所述第二轨迹信息,对所述车载相机进行调整,包括:
根据所述第二轨迹信息,生成多个第二位姿信息,并从所述多个第二位姿信息中,确定与所述关键帧匹配的目标第二位姿信息;
根据所述第一位姿信息和所述目标第二位姿信息,生成针对所述车载相机的第一控制信息和第二控制信息;
按照所述第一控制信息和所述第二控制信息,对所述车载相机进行调整。
3.根据权利要求2所述的方法,其特征在于,所述根据所述第一位姿信息和所述目标第二位姿信息,生成针对所述车载相机的第一控制信息和第二控制信息,包括:
根据所述第一位姿信息和所述目标第二位姿信息,生成针对所述车载相机的第一控制信息;
按照所述第一控制信息,对所述关键帧进行调整,并确定所述调整后的关键帧的第三位姿信息;
根据所述第三位姿信息和所述目标第二位姿信息,生成针对所述车载相机的第二控制信息。
4.根据权利要求2或3所述的方法,其特征在于,在所述从所述多个第二位姿信息中,确定与所述关键帧匹配的目标第二位姿信息之前,还包括:
从所述关键帧中,去除在所述车辆处于转弯行驶时采集的关键帧。
5.根据权利要求2所述的方法,其特征在于,所述从所述多个第二位姿信息中,确定与所述关键帧匹配的目标第二位姿信息,包括:
确定所述关键帧对应的时间信息;
按照所述时间信息,从所述多个第二位姿信息中,确定与所述关键帧匹配的目标第二位姿信息。
6.根据权利要求2所述的方法,其特征在于,所述根据所述第二轨迹信息,生成多个第二位姿信息,包括:
从所述第二轨迹信息中,确定多个旋转角信息;
根据所述多个旋转角信息,生成多个第二位姿信息。
7.根据权利要求2所述的方法,其特征在于,所述第一控制信息为旋转参数,所述第二控制信息为平移参数,或者,平移参数和缩放参数。
8.一种车载相机的调整装置,其特征在于,所述装置包括:
数据获取模块,用于获取在所述车辆的行驶过程中采集的图像数据和惯性测量数据;
第一轨迹信息生成模块,用于根据所述图像数据,生成第一轨迹信息;
第二轨迹信息生成模块,用于根据所述惯性测量数据,生成第二轨迹信息;
车载相机调整模块,用于按照所述第一轨迹信息和所述第二轨迹信息,对所述车载相机进行调整。
9.一种车辆,其特征在于,包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的一种车载相机的调整方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的一种车载相机的调整方法。
CN202110114226.4A 2021-01-27 2021-01-27 一种车载相机的调整方法和装置 Active CN112706755B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110114226.4A CN112706755B (zh) 2021-01-27 2021-01-27 一种车载相机的调整方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110114226.4A CN112706755B (zh) 2021-01-27 2021-01-27 一种车载相机的调整方法和装置

Publications (2)

Publication Number Publication Date
CN112706755A true CN112706755A (zh) 2021-04-27
CN112706755B CN112706755B (zh) 2022-08-16

Family

ID=75549778

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110114226.4A Active CN112706755B (zh) 2021-01-27 2021-01-27 一种车载相机的调整方法和装置

Country Status (1)

Country Link
CN (1) CN112706755B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113391631A (zh) * 2021-05-11 2021-09-14 北京迈格威科技有限公司 移动装置的运行控制方法、装置、存储介质及移动装置
CN113554712A (zh) * 2021-06-29 2021-10-26 北京百度网讯科技有限公司 自动驾驶车辆的配准方法、装置、电子设备和车辆
CN113655453A (zh) * 2021-08-27 2021-11-16 阿波罗智能技术(北京)有限公司 用于传感器标定的数据处理方法、装置及自动驾驶车辆
WO2022247619A1 (zh) * 2021-05-28 2022-12-01 北京字跳网络技术有限公司 图像处理方法、设备及电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105588563A (zh) * 2016-01-15 2016-05-18 武汉光庭科技有限公司 一种自动驾驶中双目相机与惯性导航单元联合标定方法
US20170243069A1 (en) * 2016-02-23 2017-08-24 Semiconductor Components Industries, Llc Methods and apparatus for an imaging system
CN108696719A (zh) * 2017-04-12 2018-10-23 罗伯特·博世有限公司 用于校准车辆的车辆摄像机的方法和设备
CN108932737A (zh) * 2018-06-15 2018-12-04 深圳地平线机器人科技有限公司 车载相机俯仰角标定方法和装置、电子设备以及车辆
CN108961337A (zh) * 2018-06-15 2018-12-07 深圳地平线机器人科技有限公司 车载相机航向角标定方法和装置、电子设备以及车辆
WO2020169607A1 (de) * 2019-02-20 2020-08-27 Continental Automotive Gmbh Verfahren zum kalibrieren einer mobilen kameraeinheit eines kamerasystems für ein kraftfahrzeug
US20200298769A1 (en) * 2017-12-01 2020-09-24 Lg Innotek Co., Ltd. Method and device for correcting camera
CN111775957A (zh) * 2019-06-28 2020-10-16 百度(美国)有限责任公司 用于自主驾驶车辆的传感器校准系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105588563A (zh) * 2016-01-15 2016-05-18 武汉光庭科技有限公司 一种自动驾驶中双目相机与惯性导航单元联合标定方法
US20170243069A1 (en) * 2016-02-23 2017-08-24 Semiconductor Components Industries, Llc Methods and apparatus for an imaging system
CN108696719A (zh) * 2017-04-12 2018-10-23 罗伯特·博世有限公司 用于校准车辆的车辆摄像机的方法和设备
US20200298769A1 (en) * 2017-12-01 2020-09-24 Lg Innotek Co., Ltd. Method and device for correcting camera
CN108932737A (zh) * 2018-06-15 2018-12-04 深圳地平线机器人科技有限公司 车载相机俯仰角标定方法和装置、电子设备以及车辆
CN108961337A (zh) * 2018-06-15 2018-12-07 深圳地平线机器人科技有限公司 车载相机航向角标定方法和装置、电子设备以及车辆
WO2020169607A1 (de) * 2019-02-20 2020-08-27 Continental Automotive Gmbh Verfahren zum kalibrieren einer mobilen kameraeinheit eines kamerasystems für ein kraftfahrzeug
CN111775957A (zh) * 2019-06-28 2020-10-16 百度(美国)有限责任公司 用于自主驾驶车辆的传感器校准系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113391631A (zh) * 2021-05-11 2021-09-14 北京迈格威科技有限公司 移动装置的运行控制方法、装置、存储介质及移动装置
WO2022247619A1 (zh) * 2021-05-28 2022-12-01 北京字跳网络技术有限公司 图像处理方法、设备及电子设备
CN113554712A (zh) * 2021-06-29 2021-10-26 北京百度网讯科技有限公司 自动驾驶车辆的配准方法、装置、电子设备和车辆
CN113655453A (zh) * 2021-08-27 2021-11-16 阿波罗智能技术(北京)有限公司 用于传感器标定的数据处理方法、装置及自动驾驶车辆
CN113655453B (zh) * 2021-08-27 2023-11-21 阿波罗智能技术(北京)有限公司 用于传感器标定的数据处理方法、装置及自动驾驶车辆

Also Published As

Publication number Publication date
CN112706755B (zh) 2022-08-16

Similar Documents

Publication Publication Date Title
CN112706755B (zh) 一种车载相机的调整方法和装置
CN113554698B (zh) 车辆位姿信息生成方法、装置及电子设备、存储介质
CN110057352B (zh) 一种相机姿态角确定方法及装置
CN108932737B (zh) 车载相机俯仰角标定方法和装置、电子设备以及车辆
CN107111879A (zh) 通过全景环视图像估计车辆自身运动的方法和设备
CN108520571B (zh) 利用加速度计判断车辆行驶状态的算法和装置
CN102211523B (zh) 用于跟踪对象标记位置的方法和装置
CN107121132A (zh) 求取车辆环境图像的方法和设备及识别环境中对象的方法
CN110132306B (zh) 车辆定位误差的纠正方法及系统
JP2017073753A (ja) 補正方法、プログラム及び電子機器
CN109143205A (zh) 一体化传感器外参数标定方法、装置
CN109808766A (zh) 基于视觉的主动转向系统
CN110263615A (zh) 车辆拍摄中的交互处理方法、装置、设备及客户端
JP5482323B2 (ja) 運転支援装置及びプログラム
RU2733198C1 (ru) Способ управления движением транспортного средства и устройство управления движением транспортного средства
CN114372068A (zh) 地图更新方法和地图更新装置
JP7145770B2 (ja) 車間距離測定装置、誤差モデル生成装置および学習モデル生成装置とこれらの方法およびプログラム
CN109492835B (zh) 车辆控制信息的确定方法、模型训练方法和相关装置
CN112729294B (zh) 适用于机器人的视觉和惯性融合的位姿估计方法及系统
CN112363196B (zh) 车辆属性确定方法、装置、存储介质和电子设备
CN113049264B (zh) 一种车辆高级驾驶辅助系统的测试系统及方法
JP2019007739A (ja) 自己位置推定方法及び自己位置推定装置
CN112330977B (zh) 一种自动泊车的方法和装置
CN115379408B (zh) 基于场景感知的v2x多传感器融合方法及装置
JPH1139464A (ja) 車両用画像処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240228

Address after: 510000 No.8 Songgang street, Cencun, Tianhe District, Guangzhou City, Guangdong Province

Patentee after: GUANGZHOU XIAOPENG MOTORS TECHNOLOGY Co.,Ltd.

Country or region after: China

Address before: Room 46, room 406, No. 1, Yichuang street, Zhongxin knowledge city, Huangpu District, Guangzhou, Guangdong 510725

Patentee before: Guangzhou Xiaopeng Automatic Driving Technology Co.,Ltd.

Country or region before: China

TR01 Transfer of patent right