CN112837352A - 基于图像的数据处理方法、装置及设备、汽车、存储介质 - Google Patents

基于图像的数据处理方法、装置及设备、汽车、存储介质 Download PDF

Info

Publication number
CN112837352A
CN112837352A CN202110423018.2A CN202110423018A CN112837352A CN 112837352 A CN112837352 A CN 112837352A CN 202110423018 A CN202110423018 A CN 202110423018A CN 112837352 A CN112837352 A CN 112837352A
Authority
CN
China
Prior art keywords
state quantity
yaw angle
lane line
moment
error value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110423018.2A
Other languages
English (en)
Other versions
CN112837352B (zh
Inventor
李佰霖
杨东升
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110423018.2A priority Critical patent/CN112837352B/zh
Publication of CN112837352A publication Critical patent/CN112837352A/zh
Application granted granted Critical
Publication of CN112837352B publication Critical patent/CN112837352B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

本申请实施例公开了一种基于图像的数据处理方法、装置及设备、汽车、存储介质，应用于智能交通领域，主要与人工智能AI中的自动驾驶技术相关，本申请所述方法包括：获取第一时刻的扩展状态量，所述扩展状态量包括：车道线参数状态量和偏航角参数状态量；根据第二时刻获取的所述智能交通设备的位移数据、及在第二时刻由所述图像传感器拍摄的环境图像中的车道像素点位置数据，对所述第一时刻的扩展状态量进行估计处理，得到在第二时刻的初始偏航角误差值；若所述初始偏航角误差值满足估计条件，则记录所述初始偏航角误差值；根据记录的初始偏航角误差值得到目标偏航角误差值。采用本申请可以得到更加平稳、准确的目标偏航角误差值。

Description

基于图像的数据处理方法、装置及设备、汽车、存储介质
技术领域
本发明涉及计算机技术领域，尤其涉及一种基于图像的数据处理方法、装置及设备、汽车、存储介质。
背景技术
各种类型的智能交通设备可以通过安装的用于感测环境数据的传感器来感知外部环境，进而基于这些感知到的外部环境的相关数据为智能交通设备提供数据支持，这些智能交通设备例如可以是无人机、自动驾驶汽车、可移动机器人等。基于这些智能交通设备，可以为智慧交通平台的实现提供直接技术支持。
在智慧交通平台的相关技术中，时常会利用摄像头等图像传感器，例如在目前的自动驾驶技术中实现了视觉定位自动驾驶和AR导航等功能，这些功能都可以利用图像传感器来实现，目前在图像传感器的使用过程中，其偏航角可能会产生误差，进而影响图像传感器的外参，外参发生改变会导致图像传感器采集到的图像上的点从图像坐标系到车身坐标系等坐标系之间的转换存在错误，影响位置判断的准确性，导致危险的发生。
对于偏航角误差的调整，目前可以通过在用户界面中给出带辅助提示信息的图像传感器调试工具，在工具指引下由用户对图像传感器进行调节的方式来修正图像传感器在汽车等智能交通设备上的姿态，以尽量消除偏航角误差。但是，通过用户界面指导用户进行图像传感器调试的方式对于用户来说不够智能，且由于存在图像传感器的偏航角等姿态调节的作用和重要性不能为很多用户所理解，导致用户可能并不愿意花时间进行精确的调整，并且还存在调节过程相对复杂等因素，从而导致长期无法得到图像传感器的偏航角误差的相关数据。
发明内容
本申请实施例提供一种基于图像的数据处理方法、装置及设备、汽车、存储介质，可自动估计得到更为准确的偏航角误差值。
一方面，本申请实施例提供了一种基于图像的数据处理方法，所述方法用于对智能交通设备的运动数据进行处理，所述智能交通设备上设置用于拍摄环境图像的图像传感器，所述方法包括：
获取第一时刻的扩展状态量，所述扩展状态量包括：车道线参数状态量和偏航角参数状态量；
根据第二时刻获取的所述智能交通设备的位移数据、及在所述第二时刻由所述图像传感器拍摄的环境图像中的车道像素点位置数据，对所述第一时刻的扩展状态量进行估计处理，得到在所述第二时刻的初始偏航角误差值；
若所述初始偏航角误差值满足估计条件，则记录所述初始偏航角误差值；
根据记录的初始偏航角误差值得到目标偏航角误差值。
另一方面，本申请实施例还提供了一种基于图像的数据处理装置，所述装置用于对智能交通设备的运动数据进行处理，所述智能交通设备上设置有用于拍摄环境图像的图像传感器，所述装置包括：
处理模块，用于获取第一时刻的扩展状态量，所述扩展状态量包括：车道线参数状态量和偏航角参数状态量；根据第二时刻获取的所述智能交通设备的位移数据、及在所述第二时刻由所述图像传感器拍摄的环境图像中的车道像素点位置数据，对所述第一时刻的扩展状态量进行估计处理，得到在所述第二时刻的初始偏航角误差值；若所述初始偏航角误差值满足估计条件，则记录所述初始偏航角误差值；根据记录的初始偏航角误差值得到目标偏航角误差值；
输出模块，用于输出所述目标偏航角误差值。
相应地，本申请实施例还提供了一种智能设备，包括：存储装置和处理器；所述存储装置，用于存储计算机程序；所述处理器，用于执行所述计算机程序，实现上述的方法。
相应地，本申请实施例还提供了一种汽车，包括：智能设备和传感器；所述传感器包括图像传感器、运动传感器；所述智能设备包括存储装置和处理器，所述存储装置，用于存储计算机程序；所述处理器，用于执行所述计算机程序，实现上述的方法。
相应地，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被执行时，上述的方法将被实现。
本申请实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述的方法。
本申请实施例一方面引入了在当前时刻采集到的位移数据和图像数据来对上一时刻的数据进行估计更新，可以得到一个较优的能够表示前一时刻到当前时刻的偏航角误差的误差值，另一方面，部署了条件筛选以及计算逻辑，能够筛选出一段时间内多个满足估计条件的有意义误差值来进行统一计算，可以得到更加平稳、准确的目标偏航角误差值，提高了算法对于由于环境变化引起的相机安装姿态的微小变化的鲁棒性，降低了用户使用产品的操作成本。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例的一种基于图像的数据处理方法的流程示意图；
图2是本申请实施例涉及的处理系统示意图；
图3是本申请实施例的基于图像的数据处理逻辑示意图；
图4是本申请实施例的一个场景示意图；
图5是本申请实施例的一种基于图像的数据处理装置的结构示意图；
图6是本申请实施例的一种智能设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请将图像传感器的偏航角yaw角误差的估计与车道线追踪与估计相结合，利用在新的时刻获取到的智能交通设备移动过程中的相关数据对前一时刻的状态量进行估计，得到下一时刻的状态量，并对估计结果进行筛选和计算处理，得到最终的较为准确的偏航角误差值，提高了偏航角yaw误差值以及车道线参数的估计精度，并且是直接基于新的时刻通过IMU或者轮速计等传感器探测得到的智能交通设备的位移数据、及在该新的时刻图像传感器拍摄得到的环境图像，来对前一时刻的偏航角yaw误差以及车道线参数进行递推以及更新，不需要特殊设计的标定场地，同时本申请还使用了标定结果的检测过滤和计算，提高了输出的鲁棒性。
本申请通过人工智能（Artificial Intelligence，AI）相关技术实现汽车等智能交通设备移动过程中图像传感器的偏航角的误差检测，进而更为准确地实现诸如自动驾驶控制等智慧交通场景，AI是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
本申请在对环境进行探测时，利用了计算机视觉技术（Computer Vision，CV），计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
在得到图像传感器的偏航角yaw误差值，即可进行并完成对图像传感器的外参修正，进一步基于修正的外参能够对智能交通设备进行自动驾驶控制，较为安全地实现自动驾驶功能。在自动驾驶过程中，还可以进一步结合高精地图、环境感知、行为决策、路径规划、运动控制等技术来确保自动驾驶控制的准确性、安全性，自定驾驶技术有着广泛的应用前景。本申请可以进一步应用于智能交通系统（Intelligent Traffic System，ITS），该系统又可称为智能运输系统（intelligent transportation system，IVICS），是将先进的科学技术（信息技术、计算机技术、数据通信技术、传感器技术、电子控制技术、自动控制理论、运筹学、人工智能等）有效地综合运用于交通运输、服务控制和汽车改造，加强汽车、道路、使用者三者之间的联系，从而形成一种保障安全、提高效率、改善环境、节约能源的综合运输系统。
本申请实施例提供的方案与人工智能的自动驾驶等技术相关，具体通过如下实施例进行说明。
请参见图1，是本申请实施例的一种基于图像的数据处理方法的流程示意图，本申请实施例的所述方法用于对智能交通设备的运动数据进行处理，该智能交通设备上设置用于拍摄环境图像的图像传感器，该方法可以应用在汽车中，可以由一个单独的智能设备来实现，也可以由自动驾驶汽车等智能交通设备上的控制模块来实现。所述运动数据主要可以包括下属提及的智能交通设备在车道上行驶过程中的位移数据、图像数据等等。该方法包括如下步骤。
S101：获取第一时刻的扩展状态量，所述扩展状态量包括：车道线参数状态量和偏航角参数状态量。在不同的阶段，扩展状态量的具体数据是不相同的。在初始化阶段，所述偏航角参数状态量为一个初始值，比如可以为0，该偏航角参数状态量用于表示偏航角的误差，通过从初始值开始进行处理，在一段时间后或者一个处理周期之后得到最终的目标偏航角误差值，后续可以基于目标偏航角误差值来修正图像传感器的偏航角yaw角，以便于得到较为准确在智能交通设备上设置的图像传感器的外参。
在初始化阶段，所述车道线参数状态量主要包括：根据在初始化阶段，在由所述图像传感器拍摄得到的环境图像中识别得到的车道线的相关参数。在初始化阶段拍摄得到的所述环境图像中，先从该环境图像中进行车道线特征点提取，对提取的特征点进行曲线拟合，可以得到车道线方程，在一个实施例中，在环境图像上的各个车道线的车道线方程可以为二次曲线方程：y=c+bx+ax2，而其中的c、b、a即为相应拟合得到的车道线的车道线参数，在得到环境图像上各条车道线的车道线参数之后，再将图像上的车道线参数经过坐标转换（图像坐标系到智能交通设备所在坐标系的转换），得到图像上的各个拟合车道线在智能交通设备所在坐标系下的车道线参数c、b、a，在智能交通设备坐标系下的车道线参数c、b、a即为初始化阶段中的车道线参数状态量。以
Figure 553158DEST_PATH_IMAGE001
表示偏航角参数，那么，第一时刻的扩展状态量可以记为
Figure 936210DEST_PATH_IMAGE002
，其中，
Figure 919210DEST_PATH_IMAGE003
表示拟合车道线中第i条车道线的车道线参数状态量。
在初始化完成之后，扩展状态量是指对上一时刻的相关状态量进行估计处理后得到的数据，也就是说，在完成一次诸如下述S102的处理之后得到的车道线参数（比如第二时刻的车道线参数）和偏航角参数（比如第二时刻的初始偏航角误差值），会作为新的车道线参数状态量和偏航角参数状态量，构成新的第一时刻的扩展状态量。
S102：根据第二时刻获取的所述智能交通设备的位移数据、及在第二时刻由所述图像传感器拍摄的环境图像对应的车道像素点位置数据，对所述第一时刻的扩展状态量进行估计处理，得到在第二时刻的初始偏航角误差值。
在本申请中，对于第一时刻的扩展状态量，引入第二时刻获取到的位移数据及所述车道像素点位置数据来对其进行估计，进而得到估计后的在第二时刻的偏航角误差值（对应所述第二时刻的初始偏航角误差值），以及在第二时刻的车道线参数。其中，第一时刻和第二时刻与传感器的工作频率有关，该传感器是指用于采集与所述位移数据相关的感测数据的传感器，比如设置在汽车等智能交通设备上的轮速计、惯性传感器（Inertialmeasurement unit，IMU）等，如果IMU的工作频率是100Hz，那么，第一时刻k到第二时刻k+1之间经过的时间就是0.01秒。
第二时刻获取的所述智能交通设备的位移数据可以通过设置在汽车等智能交通设备上的IMU、轮速计等输出的数据来得到，智能交通设备从第一时刻到第二时刻间的位移数据包括移动距离数据和/或旋转角度数据，第二时刻的环境图像则是通过图像传感器在第二时刻拍摄得到，因为智能交通设备的位置发生了移动，所以相对一上一时刻的环境图像存在变化。
在一个实施例中，所述S102可以在一个扩展卡尔曼滤波器（extended kalmanfilter，EKF）中实现，所述第一时刻的扩展状态量被配置为所述EKF中的状态量，所述第二时刻获取的所述智能交通设备的位移数据、所述在第二时刻由所述图像传感器拍摄的环境图像中的车道像素点位置数据作为EKF的输入，输出为初始偏航角误差值以及更新后的车道线参数。即所述S102可以为：利用EKF对所述第一时刻的扩展状态量，并对第二时刻获取的所述智能交通设备的位移数据、及在第二时刻由所述图像传感器拍摄的环境图像中的车道像素点位置数据进行处理，得到在第二时刻的初始偏航角误差值。
在一个实施例中，所述S102具体可以包括：根据第二时刻获取的所述智能交通设备的位移数据，对所述第一时刻的扩展状态量进行递推处理，得到所述第一时刻的扩展状态量在第二时刻的预估状态量；根据在第二时刻由所述图像传感器拍摄的环境图像对应的车道像素点位置数据，对所述预估状态量进行估计，得到在第二时刻的初始偏航角误差值；其中，所述预估状态量包括：在第二时刻时的车道线参数预估状态量和偏航角参数预估状态量。
对于所述预估状态量而言，因为获取到的所述智能交通设备的位移数据可以用来表示在第一时刻和第二时刻之间，智能交通设备的移动距离和/或旋转角度，因此，可以基于该移动距离和/或旋转角度，预估第一时刻的扩展状态量经过第一时刻和第二时刻之间的时间段之后，新的扩展状态量即预估状态量。递推处理就是将前一时刻（第一时刻）的状态量（第一时刻的扩展状态量），根据前一时刻（第一时刻）到当前时刻（第二时刻）这期间IMU、轮速计的量测进行推导，IMU、轮速计相当于用来确定这段时间旋转了多少度（IMU）、智能交通设备移动了多少米（轮速计），那么上一时刻（第一时刻）观测到的智能交通设备在新的时刻下（第二时刻）的位置观测结果肯定变化了，即车道线参数有所变化。递推就是根据IMU、轮速计对应的位移数据推导出在当前时刻（第二时刻），智能交通设备周围的车道线应该在拍摄到的环境图像上的位置，进而经过坐标转换后确定这些车道线在实际空间即智能交通设备所在坐标系下的预估位置以及新的偏航角误差。
在得到预估状态量之后，再以在第二时刻拍摄到的环境图像中车道线上各个像素点在图像上的位置（即车道像素点位置数据）出发，将第二时刻的环境图像上车道像素点位置数据所对应的各个车道线像素点进行映射处理，映射到智能交通设备所在坐标系后，基于映射后的各个特征位置点，对预估状态量中的车道线参数预估状态量和偏航角参数预估状态量进行估计，得到最终可以输出的初始偏航角误差值以及可以输出的车道线参数。
S103：若所述初始偏航角误差值满足估计条件，则记录所述初始偏航角误差值。具体可以将所述初始偏航角误差值记录到误差值集合中，所述误差值集合用于记录在预设时间段内满足估计条件的初始偏航角误差值。对扩展状态中的yaw角度估计量进行阈值判断，超过合理范围则认为该帧估计存在问题或图像传感器物理姿态变化量超过在线标定和定位算法所能容许的范围，则抛弃该帧yaw角估计结果。也就是说，可以判断所述初始偏航角误差值是否大于预设的误差阈值，若大于，则丢弃所述初始偏航角误差值，若小于或者等于预设的误差阈值，则将初始偏航角误差值记录到一个误差值集合中。
S104：根据记录的初始偏航角误差值得到目标偏航角误差值。在一个实施例中，可以将所述初始偏航角误差值直接作为目标偏航角误差值，在其他实施例中，也可以根据所述误差值集合中记录的多个初始偏航角误差值，计算得到目标偏航角误差值。具体可以对一段时间窗口内的估计量进行均值统计，利用统计的均值作为输出量应用在定位算法中。因为估计的图像传感器外参（即偏航角误差值）不会随时间变动快速变化，所以可以取一段时间内初始偏航角误差值的均值来作为目标偏航角误差值，利用一段时间的估计均值可以进一步减弱单帧感知噪声和场景不理想造成的误差，使外参估计值（目标偏航角误差值）输出平稳。
在动态估计得到目标偏航角误差值之后，可以根据得到的目标偏航角误差值对图像传感器的外参进行更为准确的更新，本申请实施例中更新后的外参可以应用在自动驾驶汽车、AR（Augmented Reality 增强现实）导航等场景，在这些场景下使用的外参是由最初的设计值加当前yaw角偏移量的估计（即目标偏航角误差值）组成的，随着偏航角误差值的估计结果，外参也在随之更新。
基于由目标偏航角误差值更新后的外参，可以把点在世界坐标系和图像传感器所在的坐标系下进行转换，在转换到同一坐标系下，可以实现自动驾驶的汽车能够基于汽车的位置、各个被图像传感器拍摄到图像上的车道线或者障碍物的位置，来进行自车位置和姿态的估计（也即定位），从而辅助对汽车的运动方向或者运动速度的控制。
在获取到目标偏航角误差值之后，可以从目标偏航角出发来辅助汽车做自动驾驶控制，在一个实施例中，所述方法还可以包括：根据所述目标偏航角误差值对记录的所述图像传感器的外参进行更新，得到目标外参；根据目标外参计算由所述图像传感器拍摄得到的当前图像中多个车道线特征点在车身坐标系下的特征点位置信息，所述多个车道线特征点是指当前图像中目标车道线所对应的特征点；根据各个特征点位置信息计算各个车道线特征点与车身之间的相对位置；如果根据计算的各个相对位置确定所述目标车道线与车身之间的距离小于距离阈值，则控制汽车远离所述目标车道线移动和/或发出车道线压线提示。其中，图像上车道线特征点的提取方式可以基于训练得到的深度神经网络模型来完成，也可以例如诸如SIFT（Scale Invariant Feature Transform）算法等点特征提取算法来实现。在计算车身坐标系下的特征点位置信息时，具体是结合图像传感器的内参和目标外参一起计算得到的。可以理解的是，上述计算由所述图像传感器拍摄得到的当前图像中多个车道线特征点在车身坐标系下的特征点位置信息，也可以是根据目标外参，计算由所述图像传感器拍摄得到的当前图像中多个车道线特征点在世界坐标系下的特征点位置信息，由于可以通过GPS等传感器来定位汽车自身在世界坐标系下位置，因此，基于世界坐标系也能够确定各个特征点位置信息计算各个车道线特征点与车身之间的相对位置。
在获取到目标偏航角误差值之后，可以从目标偏航角出发来实现汽车行驶过程中的自动避障。在一个实施例中，所述方法还可以包括：根据所述目标偏航角误差值对记录的所述图像传感器的外参进行更新，得到目标外参；对由所述图像传感器拍摄得到的当前图像进行特征点检测，得到特征点聚类集合，所述特征点聚类集合中包括多个图像特征点，并且各图像特征点到聚类中心之间的距离均小于预设的距离阈值；判断特征点聚类集合中图像特征点是否满足预设的避障条件，若是，则确定所述特征点聚类集合所对应的图像对象与障碍物对象对应；根据所述目标外参计算所述特征点聚类聚合中的图像特征点在车身坐标系下的特征点位置信息；根据各个特征点位置信息计算所述障碍物对象与车身之间的相对位置如果根据计算的各个相对位置确定所述目标车道线与车身之间的距离小于距离阈值，则控制汽车远离所述障碍物对象移动或者进行紧急制动控制。
同样，图像上图像特征点的提取方式可以基于训练得到的深度神经网络模型来完成，也可以例如诸如SIFT（Scale Invariant Feature Transform）算法等点特征提取算法来实现。特征点聚类集合中的图像特征点是否满足预设的避障条件包括：判断特征点聚类集合中图像特征点的数量是否大于预设的数量阈值，若大于预设的数量阈值，则确定满足避障条件；或者判断特征点聚类集合中图像特征点的数量是否大于预设的数量阈值、且特征点聚类集合中图像特征点是否位于目标图像区域内，若大于预设的数量阈值且位于目标图像区域内，比如图像中心的某个尺寸区域内时，则确定满足避障条件；或者在判断特征点聚类集合中图像特征点的数量是否大于预设的数量阈值后，进一步判断所述当前图像的上一图像中是否检测到一个特征点聚类集合，若是，则确定满足避障条件。汽车行驶过程中，如果在摄像头的视场角范围内或者在视场角的中间位置区域出现大量的特征点，则表明行驶前方靠近一台其他车辆，此时可以进一步通过相对位置、距离的判断来确定是否采取紧急避障、紧急制动等安全处理。
在确定了目标偏航角误差值之后，还可以从目标偏航角误差值出发，实现更为准确的AR导航。在一个实施例中，所述方法还可以包括：根据所述目标偏航角误差值对记录的所述图像传感器的外参进行更新，得到目标外参；根据目标外参计算由所述图像传感器拍摄得到的当前图像中多个车道线特征点在车身坐标系下的特征点位置信息，所述多个车道线特征点是指当前图像中目标车道线所对应的特征点；根据各个特征点位置信息计算各个车道线特征点与车身之间的相对位置；根据计算的各个相对位置确定所述目标车道线与车身之间的距离；根据所述目标车道线与车身之间的距离，在VR界面上显示所述目标车道线，并根据显示的目标车道线的位置显示导航信息，该导航信息例如是指示用户直行的箭头图像等图像信息。
在一个实施例中，再请参见图2，示出了本申请实施例涉及的处理系统示意图，包括传感器部分和处理装置104，传感器包括图像传感器101，具体可以是摄像装置、摄像头等设备，处理系统还包括IMU102和轮速计103，所述处理装置104基于从图像传感器101、IMU102、以及轮速计103接收到的数据，执行本申请所涉及的数据处理方法，得到所需的偏航角误差值，当然还可以得到环境中车道线的车道线参数a，b以及c，从而对环境中的车道线进行定位。该处理装置104可以为单独的一个智能设备，也可以为诸如自动驾驶汽车等智能交通设备中的驾驶控制模块中的一部分。
本申请实施例的所述基于图像的数据处理逻辑示意图可以参考图3所示。在图3中，扩展状态量包括车道线参数状态量和图像传感器yaw误差状态量（即偏航角参数状态量）。将车道线追踪估计所使用的多条车道线对应的车道线参数状态量与在线标定所要估计的图像传感器yaw角误差状态量相结合，得到扩展状态量，扩展状态量包括：在第一时刻的偏航角参数状态量
Figure 783261DEST_PATH_IMAGE004
和n条车道线的车道线参数状态量，扩展状态量的表达式如下：
Figure 863212DEST_PATH_IMAGE005
；
其中，
Figure 154516DEST_PATH_IMAGE006
表示要估计的yaw角误差，也可以认为是偏航角参数状态量，
Figure 890391DEST_PATH_IMAGE004
表示图像传感器的实际安装位置与设计理论值之间的误差角，所以初值可以认为是0，因此初始状态是可以设置为0，并且这个误差的最终估计值也应该是一个小量，
Figure 558133DEST_PATH_IMAGE003
表示第i条车道线的待处理车道线参数，即第i条车道线对应的二次曲线参数
Figure 695853DEST_PATH_IMAGE007
中的系数。
得到在第一时刻的扩展状态量之后，通过EKF进行处理。EKF分为两个阶段，第一个阶段为状态递推阶段，第二阶段为EKF感知量测更新阶段，即EKF对递推阶段的递推结果进行更新的更新阶段。
在递推阶段中，将第二时刻获取的所述智能交通设备的位移数据作为扩展卡尔曼滤波器EKF的输入，通过所述扩展卡尔曼滤波器EKF对所述第一时刻的扩展状态量进行递推处理，得到所述第一时刻的扩展状态量在第二时刻的预估状态量。第二时刻获取的所述智能交通设备的位移数据可以是诸如IMU、轮速计等传感器的测量量。在一个实施例中，利用IMU、轮速计等传感器量测得到的数据对扩展状态量进行递推，其中，对于车道线参数的递推与原本车道线参数估计所使用的方法可以相同，而
Figure 892479DEST_PATH_IMAGE004
的递推则简单的维持原值不变。
在一个实施例中，所述EKF是在递推阶段利用状态递推矩阵和扩展状态协方差矩阵，结合输入的所述智能交通设备的位移数据，得到所述预估状态量，EKF在递推阶段还会同时得到状态量的误差，也就是状态量的协方差矩阵（偏航角参数预估状态量和车道线参数预估状态量的协方差矩阵），所述位移数据包括：基于IMU的数据得到的可智能交通设备的转动角度，以及根据轮速计的数据得到的智能交通设备的移动距离；所述状态递推矩阵是根据所述车道线参数状态量所对应的各条车道线的状态转化矩阵得到的；所述扩展状态协方差矩阵是根据车道线参数状态量和偏航角参数状态量得到的；所述状态转化矩阵是对递推方程进行线性化处理后得到的；所述递推方程的方程参数包括：所述第二时刻获取的所述智能交通设备的位移数据和所述车道线参数状态量。
具体的，递推公式如下所述：
Figure 115650DEST_PATH_IMAGE008
；
其中，
Figure 321503DEST_PATH_IMAGE009
为车道线由第一时刻到第二时刻的递推方程，也就是说，在
Figure 313730DEST_PATH_IMAGE010
中利用了所述第二时刻获取的所述智能交通设备的位移数据和所述车道线参数状态量，
Figure 477995DEST_PATH_IMAGE011
表示递推噪声。
Figure 188462DEST_PATH_IMAGE012
表示第k时刻（比如相对于第二时刻的第一时刻）偏航角yaw参数状态量，
Figure 932427DEST_PATH_IMAGE013
表示在k+1时刻（比如第二时刻）预估的偏航角参数预估状态量，
Figure 44740DEST_PATH_IMAGE014
表示第i条车道线在k时刻的三个车道线参数c, b, a。
而
Figure 848748DEST_PATH_IMAGE015
表示在第k+1时刻的三个车道线参数c, b, a。对于所述递推噪声
Figure 43581DEST_PATH_IMAGE016
而言，因为IMU和轮速计等传感器的测量值都不是完全准确，例如汽车的车轮和地面打滑时，轮速计测得的移动距离就和实际距离存在差异，因此，引入了递推噪声进行状态量的递推，该递推噪声可以为一个经验值，可以是多次确定的经验值或者多次实验值。
对于
Figure 591237DEST_PATH_IMAGE017
进行线性化得到状态递推矩阵如下：
Figure 26898DEST_PATH_IMAGE018
；
其中，
Figure 267386DEST_PATH_IMAGE019
表示车道线参数状态量所对应的各条车道线中第i条车道线的状态转化矩阵。递推方程
Figure 686866DEST_PATH_IMAGE020
为一个非线性方程，通过对非线性方程
Figure 38213DEST_PATH_IMAGE021
在k时刻的状态量周围进行线性化得到状态递推矩阵，该状态递推矩阵为
Figure 859539DEST_PATH_IMAGE022
的一个近似，当k时刻与k+1时刻非常接近，那么这个近似的误差就很小。如前所述，当IMU的工作频率为100Hz时，k时刻到k+1时刻经过的时间为0.01秒，这样一来这个近似的误差就很小，使得这个近似比较准确。
根据EKF递推公式，得到协方差递推公式如下：
Figure 270929DEST_PATH_IMAGE023
；
其中，
Figure 177705DEST_PATH_IMAGE024
表示k时刻（第一时刻）扩展状态协方差矩阵，
Figure 801584DEST_PATH_IMAGE025
表示k+1时刻的扩展状态协方差矩，
Figure 8574DEST_PATH_IMAGE026
表示偏航角参数状态量方差，也可以认为是偏航yaw角误差的方差，
Figure 325286DEST_PATH_IMAGE027
表示偏航角参数状态量与车道线参数状态量的协方差，
Figure 719359DEST_PATH_IMAGE028
表示车道线参数状态量的协方差，
Figure 412508DEST_PATH_IMAGE029
表示偏航角参数状态量的递推噪声，
Figure 739584DEST_PATH_IMAGE030
表示车道线参数状态量的递推噪声。对于EKF而言，可以递推扩展状态量本身，还可以递推扩展状态量的协方差矩阵。所述递推噪声
Figure 492777DEST_PATH_IMAGE031
是一个关于噪声的协方差矩阵，而前述提及的递推噪声
Figure 371215DEST_PATH_IMAGE032
则可以是噪声的均值。
在递推阶段利用状态递推矩阵和扩展状态协方差矩阵，结合输入的所述智能交通设备的位移数据，得到所述预估状态量之后，进入EKF的更新阶段。利用递推阶段中递推得到的在第二时刻的预估状态量中包括的车道线参数预估状态量，结合在第二时刻感知到的属于车道线的车道像素点位置数据计算给出EKF量测更新的量测方程。在一个实施例中，可以将在第二时刻由所述图像传感器拍摄的环境图像对应的车道像素点位置数据，作为扩展卡尔曼滤波器EKF的输入，对所述预估状态量进行更新，得到在第二时刻的初始偏航角误差值以及各条由图像传感器感测到的车道线的车道线参数。
所述EKF是在更新阶段利用整体量测矩阵H和残差方程r，结合输入的所述车道像素点位置数据、及所述预估状态量，得到所述初始偏航角误差值；所述整体量测矩阵H的第一列为偏航角参数状态量对应的方程系数，基于该方程系数可得到初始偏航角误差值，即第一列就是每个残差residual方程对应偏航角的偏导数组成的方程系数，而整体量测矩阵H的后面各列则对应车道线参数的方程系数。所述整体量测矩阵H的每一行包括：每一个位置点对应的量测矩阵；所述位置点包括：在智能交通设备所在坐标系下的映射车道线的位置点；预估车道线的位置点包括：所述车道线参数预估状态量所对应的各个预估车道线上的特征位置点；所述映射车道线的位置点包括：所述输入的车道像素点位置数据对应的各个映射车道线上的特征位置点；所述映射车道线是将所述输入的车道像素点位置数据对应的车道线像素点位置映射到所述智能交通设备所在坐标系下后得到的；所述残差方程是对在所述智能交通设备所在坐标系下的车道线量测方程进行线性化处理、以及偏航角参数状态量进行求导处理后得到的，每一个映射车道线的位置点对应一个残差方程，则每一个映射车道线对应多个残差方程；每一个映射车道线的位置点对应一个车道线量测方程，每一个映射车道线位置点都会与他对应的预估车道线形成一个参差方程，对于对应正确的预估车道线和映射车道线应该是表示同一个车道线。残差r表现了映射车道线的位置点，到与映射车道线对应的预估车道线之间的距离。由于第一时刻和第二时刻之间的时差很短，例如上述的0.01秒，所以行驶环境变化并不大，因此，各个预估车道线应当与在第二时刻拍摄的环境图像上的车道线映射后的各个映射车道线之间的位置很接近，也即是说，真实的一条车道线能够被对应的一条预估车道线和对应的一条映射车道线所表示。
车道线参数状态量和车道线预估状态量均位于智能交通设备所在的坐标系，该智能交通设备所在的坐标系与路面重合，而感知得到的属于车道线的像素点位于图像传感器所在的相机坐标系，即所述车道像素点位置数据包括：属于一条或者多条车道线的多个车道像素点各自在第二时刻拍摄的环境图像上的位置坐标，可以通过当前的图像传感器的相机外参，将车道像素点位置数据对应的各个像素点位置转换到nsp坐标系（即一个位于距相机光心距离为1，垂直于相机主光轴的虚拟平面内的坐标系）下，进而再从nsp坐标系转换到智能交通设备所在的坐标系下。需要说明的是，所述当前的图像传感器的相机外参为设计值加上偏航角误差值，也就是说，本申请实施例最后得到的目标偏航角误差值可以用来修正该设计值，进而得到更为准确的图像传感器的外参。
这里车道像素点位置数据对应的各个像素点到nsp坐标系的转换可利用查表加以加速。由于车道线参数预估状态量、和车道像素点位置数据对应的各个像素点不在同一坐标系下，因此，可以利用单映映射（Homography）将nsp坐标系下车道像素点位置数据对应的各个像素点，转到智能交通设备所在坐标系下，再利用点到线的距离给出量测方程，这一过程同时考虑了相机yaw角误差的影响，将yaw角误差与车道线结合起来（即同时利用了偏航角参数预估状态量和车道线参数预估状态量），使得预估状态量中的偏航角参数预估状态量和车道线参数预估状态量可以同时得到估计更新。
其中，从nsp到车身坐标基于单映矩阵（Homography Matrix）转换到智能交通设备所在坐标系的表达式可以为：
Figure 868056DEST_PATH_IMAGE033
；其中，
Figure 252901DEST_PATH_IMAGE034
表示车道线相应位置点在车身坐标系下的坐标，
Figure 911415DEST_PATH_IMAGE035
表示车道线相应位置点在相机nsp坐标系下的坐标，也即所述车道像素点位置数据中各个车道像素点转换到nsp坐标系的坐标。其中
Figure 280079DEST_PATH_IMAGE036
和
Figure 315032DEST_PATH_IMAGE037
的表示如下：
Figure 351121DEST_PATH_IMAGE038
；
其中，
Figure 180536DEST_PATH_IMAGE039
表示从车身坐标系（V）到相机坐标系（C）变换的平移量，H表示单映矩阵；
Figure 36497DEST_PATH_IMAGE040
表示从理想无误差安装位置的相机nsp到车身坐标系的单映矩阵，
Figure 875140DEST_PATH_IMAGE041
等于实际相机坐标系到车身坐标系的单映矩阵，也就是H。
Figure 234577DEST_PATH_IMAGE042
是指标定出来的偏航角对应的旋转矩阵；
Figure 500473DEST_PATH_IMAGE043
代表相机设计位置和车身坐标系件旋转矩阵的前两列；V代表车身坐标系；C代表相机坐标系。
Figure 312572DEST_PATH_IMAGE044
；
所述
Figure 954906DEST_PATH_IMAGE045
是偏航角状态量，而在智能交通设备所在的坐标系下，量测方程可写作：
Figure 434428DEST_PATH_IMAGE046
；
其中车身坐标系高度为0，所以将
Figure 871226DEST_PATH_IMAGE047
归一化后得到：
Figure 433270DEST_PATH_IMAGE048
；
通过残差分别对偏航角参数状态量和车道线参数状态量求导，对量测方程进行线性化。其中，（x，y）是指相机nsp坐标系下的坐标，
Figure 613715DEST_PATH_IMAGE049
是指车身坐标系下的坐标。
对单一车道线单一像素点，残差对于车道线参数状态量
Figure 213324DEST_PATH_IMAGE050
和偏航角参数状态量
Figure 821023DEST_PATH_IMAGE051
对应的偏导数分别为：
Figure 873293DEST_PATH_IMAGE052
；
Figure 591850DEST_PATH_IMAGE053
其中：
Figure 45965DEST_PATH_IMAGE054
；
对于单一车道线，得到线性化后的残差方程如下：
Figure 27827DEST_PATH_IMAGE055
；
其中，
Figure 832972DEST_PATH_IMAGE056
用于表示偏航角参数状态量的变化量，
Figure 89641DEST_PATH_IMAGE057
用于表示车道线参数状态量的变化量。将所有车道线整合成一个大的残差方程，其中量测矩阵很多地方为0，整体的量测矩阵如下:
Figure 398263DEST_PATH_IMAGE058
；
其中，
Figure 347764DEST_PATH_IMAGE059
是待计算的偏航角参数状态量对应的方程系数，
Figure 905785DEST_PATH_IMAGE060
是待计算的第i条车道线的量测矩阵，亦即第i个残差对于yaw角和车道线的Jacobian矩阵，他们共同组成了整个状态向量的量测矩阵H。M的值为映射车道线的位置点的数量，M是所有车道线上像素点形成的量测数量，每个像素点一个量测方程，N是扩展状态的维度，对于n条车道线，每条二次车道线有a，b，c三个参数，yaw角只有1维，因此N = 3 * n + 1，n的值为预估车道线的数量。
在EKF中的计算过程是指，对整体量测矩阵H中的
Figure 231724DEST_PATH_IMAGE061
和
Figure 863693DEST_PATH_IMAGE060
进行联合计算，使得相应位置点对应的残差r最小，残差r表现的是映射车道线的位置点到预估车道线之间的距离。在H中，每一行代表的一个位置点对应的量测矩阵，每一条映射车道线都会对应多个位置点，通过对每一条映射车道线的多个位置点进行计算得到一个具体的偏航角误差值（即初始偏航角误差值）和目标车道线的a, b, c三个参数值，使得表现各条映射车道线的各个位置点对应的残差r满足最小化条件，例如使得残差最小。需要说明的是
Figure 981166DEST_PATH_IMAGE061
只有一个，因此，得到的初始偏航角误差值应当使所有映射车道线的各个位置点对应的残差值均满足最小化条件。
由于每个映射车道线的各个位置点都会形成一个量测方程，因此H的行数M远远多余列数N，使用这样一个冗余的矩阵进行量测更新会增加很多计算量，因此，在一个实施例中，还可以对上述的整体量测矩阵H和残差方程r进行优化，在这里采用QR分解对于量测方程的残差进行降维压缩如下：
Figure 495324DEST_PATH_IMAGE062
；
其中，
Figure 93796DEST_PATH_IMAGE063
和
Figure 111431DEST_PATH_IMAGE064
为对整体量测矩阵H进行QR分解后得到的正交矩阵，
Figure 668314DEST_PATH_IMAGE063
是一个正交向量组成的矩阵，
Figure 404189DEST_PATH_IMAGE064
是一个上三角矩阵。这样处理后冗余的r被处理成
Figure 868668DEST_PATH_IMAGE065
，维度显著降低，后续EKF更新计算量也得到降低。用
Figure 740809DEST_PATH_IMAGE066
确定新的整体量测矩阵
Figure 468594DEST_PATH_IMAGE067
，所述初始偏航角误差值具体是根据对所述新的残差方程和所述新的整体量测矩阵进行计算得到的。具体的，基于所述新的残差方程和所述新的整体量测矩阵，对噪声矩阵进行
Figure 426185DEST_PATH_IMAGE068
处理后，按照正常EKF更新方法进行计算，此处的噪声矩阵是在更新阶段的一个噪声协方差矩阵。
在一个实施例中，残差进行降维压缩的推导过程如下所述：
所有车道线的残差得到了很多组残差方程r，可以将
Figure 632039DEST_PATH_IMAGE069
和
Figure 624266DEST_PATH_IMAGE070
放在一起，所述残差方程可以写作：
Figure 522951DEST_PATH_IMAGE071
。
H经过QR分解得到：
Figure 967839DEST_PATH_IMAGE072
；
其中，H是
Figure 774121DEST_PATH_IMAGE073
矩阵，R是
Figure 89696DEST_PATH_IMAGE074
矩阵，M >>N即M是远大于N的，由于每个位置点一个残差方程，共M个残差方程，而N是所有车道线参数状态量加一个偏航角参数状态量，M是会是好几百，N则小的多，所以所述整体量测矩阵H是一个行数远大于列数的方程组。那么：
因为
Figure 159283DEST_PATH_IMAGE075
，那么对于上述的
Figure 557379DEST_PATH_IMAGE076
，将
Figure 105035DEST_PATH_IMAGE077
与
Figure 337433DEST_PATH_IMAGE078
同时左乘
Figure 312343DEST_PATH_IMAGE079
，即可得到：
Figure 997402DEST_PATH_IMAGE080
；
下面的方程系数为0不考虑，只考虑
Figure 348749DEST_PATH_IMAGE081
和
Figure 170074DEST_PATH_IMAGE082
，只有N个残差方程，所以运算量大大降低。可以理解的是，本申请所涉及的上标T表示转置。
Figure 315885DEST_PATH_IMAGE083
表示状态量的变化量，x表示状态量，由所估计的偏航角参数状态量
Figure 222661DEST_PATH_IMAGE084
和各条车道线参数状态量
Figure 908857DEST_PATH_IMAGE085
组成，所以这里
Figure 850268DEST_PATH_IMAGE086
也就是上面的
Figure 166980DEST_PATH_IMAGE087
和
Figure 295473DEST_PATH_IMAGE088
。
利用上述更新，得到第二时刻下的初始偏航角误差值和各条车道线的车道线参数a，b以及c。在得到了初始偏航角误差值之后，还可以对初始偏航角误差值进行阈值判断，超过合理范围（即预设的数值范围内）则认为该帧估计存在问题、或相机物理姿态变化量超过在线标定和定位算法所能容许的范围，则抛弃该初始偏航角误差值。如果初始偏航角误差值在预设的数值范围内，则可以将其记录到误差值集合，所述误差值集合中记录了在一个时间窗口内经过上述步骤得到的多个在预设的数值范围内的初始偏航角误差值。
对误差值集合中的初始偏航角误差值进行均值统计，利用统计的均值作为最终的输出量应用在定位算法中。因为估计的相机外参不会随时间变动快速变化，所以利用一段时间的估计均值可以进一步减弱单帧感知噪声和场景不理想造成的误差，使外参估计值输出平稳。当然，在其他实施例中，也可以将本次估计得到的初始偏航角误差值直接确定为目标偏航角误差值，并可以根据该目标偏航角误差值对图像传感器的外参进行修正。
图4示出了本申请实施例的一个场景示意图，汽车上设置的图像传感器401能拍摄环境图像，环境图像为包括道路上的车道线的图像，基于图像传感器401在第一时刻提供的图像，可以得到车道线参数状态量，还可以基于图像传感器401第二时刻提供的图像得到车道像素点位置数据。并且在第二时刻还可以通过IMU（图中未示出）、轮速计（图中未示出）等提供的数据来确定旋转角度和距离数据等位移数据。自动驾驶汽车的控制设备用来执行如图1所示的方法，基于图像传感器、IMU、轮速计提供的数据，结合上述提及的特殊的扩展卡尔曼滤波器EKF来得到所需的偏航角误差值，当然还可以得到更新的环境中车道线的车道线参数a，b以及c，进而更加安全地控制汽车行驶。
本申请实施例所提及智能交通设备主要是指能够在车道上行驶的汽车设备，包括但不限于自动驾驶汽车、自动行驶机器人、以及一些摩托车等等。
本申请实施例一方面引入了在当前时刻采集到的位移数据和图像数据来对上一时刻的数据进行更新，可以得到一个较优的能够表示前一时刻到当前时刻的偏航角误差的误差值，另一方面，部署了条件筛选以及计算逻辑，能够筛选出一段时间内多个满足估计条件的有意义误差值来进行统一计算，可以得到更加平稳、准确的目标偏航角误差值，降低了在自动驾驶技术中在视觉定位，AR导航等场景下需要离线标定相机外参相关数据的依赖性，提高了算法对于由于环境变化引起的相机安装姿态的微小变化的鲁棒性，降低了用户使用产品的操作成本。
再请参见图5，是本申请实施例的一种基于图像的数据处理装置的结构示意图，本申请实施例的所述装置可以设置在智能交通设备上，也可以设置在一个单独的智能设备中，通过智能设备对智能交通设备的数据进行接收和处理。所述装置用于对智能交通设备的运动数据进行处理，所述智能交通设备上设置有用于拍摄环境图像的图像传感器，所述装置包括如下模块。
处理模块501，用于获取第一时刻的扩展状态量，所述扩展状态量包括：车道线参数状态量和偏航角参数状态量；根据所述第二时刻获取的所述智能交通设备的位移数据、及在第二时刻由所述图像传感器拍摄的环境图像中的车道像素点位置数据，对所述第一时刻的扩展状态量进行估计处理，得到在所述第二时刻的初始偏航角误差值；若所述初始偏航角误差值满足估计条件，则记录所述初始偏航角误差值；根据记录的初始偏航角误差值得到目标偏航角误差值；
输出模块502，用于输出所述目标偏航角误差值。
在一个实施例中，所述处理模块501，具体用于根据第二时刻获取的所述智能交通设备的位移数据，对所述第一时刻的扩展状态量进行递推处理，得到所述第一时刻的扩展状态量在第二时刻的预估状态量；根据在第二时刻由所述图像传感器拍摄的环境图像对应的车道像素点位置数据，对所述预估状态量进行更新，得到在第二时刻的初始偏航角误差值；其中，所述预估状态量包括：在第二时刻时的车道线参数预估状态量和偏航角参数预估状态量。
在一个实施例中，所述处理模块501，具体用于将第二时刻获取的所述智能交通设备的位移数据作为扩展卡尔曼滤波器EKF的输入，通过所述扩展卡尔曼滤波器EKF对所述第一时刻的扩展状态量进行递推处理，得到所述第一时刻的扩展状态量在第二时刻的预估状态量。
在一个实施例中，所述EKF是在递推阶段利用状态递推矩阵和扩展状态协方差矩阵，结合输入的所述智能交通设备的位移数据，得到所述预估状态量的；所述状态递推矩阵是根据所述车道线参数状态量所对应的各条车道线的状态转化矩阵得到的；所述扩展状态协方差矩阵是根据所述车道线参数状态量和所述偏航角参数状态量得到的；所述状态转化矩阵是对递推方程进行线性化处理后得到的；所述递推方程的方程参数包括：所述第二时刻获取的所述智能交通设备的位移数据和所述车道线参数状态量。
在一个实施例中，所述状态递推矩阵如下：
Figure 988623DEST_PATH_IMAGE089
；
其中，
Figure 581278DEST_PATH_IMAGE090
表示车道线参数状态量所对应的各条车道线中第i条车道线的状态转化矩阵；
所述扩展状态协方差矩阵的协方差递推公式如下：
Figure 334470DEST_PATH_IMAGE091
；
其中，
Figure 950260DEST_PATH_IMAGE092
表示k时刻扩展状态协方差矩阵，
Figure 178591DEST_PATH_IMAGE093
表示k+1时刻的扩展状态协方差矩阵，
Figure 829015DEST_PATH_IMAGE094
表示偏航角参数状态量方差，
Figure 549847DEST_PATH_IMAGE095
表示偏航角参数状态量与车道线参数状态量的协方差，
Figure 918511DEST_PATH_IMAGE096
表示车道线参数状态量与偏航角参数状态量的协方差，
Figure 953463DEST_PATH_IMAGE097
表示车道线参数状态量的协方差，
Figure 192815DEST_PATH_IMAGE098
表示递推噪声，
Figure 287809DEST_PATH_IMAGE099
表示偏航角参数状态量的递推噪声，
Figure 143770DEST_PATH_IMAGE100
表示车道线参数状态量的递推噪声，所述k时刻对应于第一时刻，所述k+1时刻对应于第二时刻。
在一个实施例中，所述处理模块501，具体用于将在第二时刻由所述图像传感器拍摄的环境图像对应的车道像素点位置数据作为扩展卡尔曼滤波器EKF的输入，通过所述EKF对所述预估状态量进行更新，得到在第二时刻的初始偏航角误差值。
在一个实施例中，所述EKF是在更新阶段利用整体量测矩阵H和残差方程r，结合输入的所述车道像素点位置数据、及所述预估状态量，得到所述初始偏航角误差值的；
所述整体量测矩阵H的第一列为偏航角参数状态量对应的方程系数，所述整体量测矩阵H的每一行包括：每一个位置点对应的量测矩阵；所述位置点包括：在智能交通设备所在坐标系下的映射车道线的位置点；
所述映射车道线的位置点包括：所述输入的车道像素点位置数据对应的各个映射车道线上的特征位置点；
所述映射车道线是将所述输入的车道像素点位置数据对应的车道线像素点位置映射到所述智能交通设备所在坐标系下后得到的；
所述残差方程是对在所述智能交通设备所在坐标系下的车道线量测方程进行线性化处理、以及对偏航角参数状态量进行求导处理后得到的，每一个映射车道线的位置点对应一个残差方程，且每一个映射车道线的位置点对应一个车道线量测方程；
所述残差方程用于表示映射车道线的位置点，到与映射车道线对应的预估车道线之间的距离，预估车道线包括：所述车道线参数预估状态量所对应的各个车道线。
在一个实施例中，所述整体量测矩阵H如下：
Figure 716834DEST_PATH_IMAGE101
；
其中，
Figure 138588DEST_PATH_IMAGE102
是待计算的偏航角参数状态量对应的方程系数，用于计算偏航角参数状态量得到对应的初始偏航角误差值，
Figure 404484DEST_PATH_IMAGE103
是第i条车道线的量测矩阵，用于计算第i条车道线对应的车道线参数状态量得到对应的车道线参数；M的值为映射车道线的位置点的数量，N = 3 * n + 1，n的值为预估车道线的数量；
所述残差方程如下：
Figure 482162DEST_PATH_IMAGE055
；
其中，
Figure 858916DEST_PATH_IMAGE104
用于表示偏航角参数状态量的变化量，
Figure 338439DEST_PATH_IMAGE105
用于表示车道线参数状态量的变化量。
在一个实施例中，对所述残差方程进行优化得到新的残差方程，所述新的残差方程如下：
Figure 775237DEST_PATH_IMAGE106
；
其中，
Figure 136948DEST_PATH_IMAGE107
和
Figure 51814DEST_PATH_IMAGE108
为对所述整体量测矩阵H进行QR分解后得到的正交矩阵，
Figure 651423DEST_PATH_IMAGE109
是一个正交向量组成的矩阵，
Figure 993543DEST_PATH_IMAGE110
是一个上三角矩阵；
Figure 66320DEST_PATH_IMAGE111
表示状态量的变化量，与所述
Figure 581615DEST_PATH_IMAGE112
和
Figure 35730DEST_PATH_IMAGE105
对应；
根据所述新的残差方程得到的新的整体量测矩阵
Figure 814330DEST_PATH_IMAGE113
的表达式如下：
Figure 88317DEST_PATH_IMAGE114
，所述初始偏航角误差值具体是根据对所述新的残差方程和所述新的整体量测矩阵进行计算得到的；
所述EKF是利用所述新的整体量测矩阵和所述新的残差方程，结合输入的所述车道像素点位置数据、及所述预估状态量，得到所述初始偏航角误差值的。
在一个实施例中，当所述初始偏航角误差值在预设的误差范围值内时，则确定所述初始偏航角误差值满足估计条件，将所述初始偏航角误差值记录到的误差值集合中；所述误差值集合用于记录在预设时间段内满足估计条件的初始偏航角误差值。
基于同一发明构思，本申请实施例中提供的数据处理装置解决问题的原理与有益效果与前述本申请方法实施例相似，可以参见方法的实施的原理和有益效果，为简洁描述，在这里不再赘述。
再请参见图6，是本申请实施例的一种智能设备的结构示意图，本申请实施例的所述智能设备可以应用在可移动平台上，例如智能交通设备上，用于接收可移动平台的相关数据并进行数据的相关处理，所述智能交通设备例如可以是自动驾驶汽车，所述智能交通设备上设置用于拍摄环境图像的图像传感器。所述智能设备包括存储装置601和处理器602。当然还包括一些数据输入接口，数据输出接口，电源模块等，还可以根据需要包括网络接口，例如计算机网络接口、通信网络接口等，还可以包括能够与用户进行交互的用户接口，例如触摸显示屏、物理按键等。
所述存储装置601可以包括易失性存储器（volatile memory），例如随机存取存储器（random-access memory，RAM）；存储装置601也可以包括非易失性存储器（non-volatilememory），例如快闪存储器（flash memory），固态硬盘（solid-state drive，SSD）等；存储装置601还可以包括上述种类的存储器的组合。
所述处理器602可以是中央处理器602（central processing unit，CPU）。所述处理器602还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路（application-specific integrated circuit， ASIC），可编程逻辑器件（programmable logic device，PLD）等。上述PLD可以是现场可编程逻辑门阵列（field-programmable gate array，FPGA），通用阵列逻辑（generic array logic，GAL）等。
可选地，所述存储装置601还用于存储计算机程序。所述处理器602可以调用所述程序指令，实现本申请的基于图像的数据处理方法。
在一个实施例中，所述存储装置601中存储有计算机程序，所述处理器602，运行所述计算机程序，用于获取第一时刻的扩展状态量，所述扩展状态量包括：车道线参数状态量和偏航角参数状态量；根据第二时刻获取的所述智能交通设备的位移数据、及在第二时刻由所述图像传感器拍摄的环境图像中的车道像素点位置数据，对所述第一时刻的扩展状态量进行估计处理，得到在第二时刻的初始偏航角误差值；若所述初始偏航角误差值满足估计条件，则记录所述初始偏航角误差值；根据记录的初始偏航角误差值得到目标偏航角误差值。
在一个实施例中，所述处理器602，具体用于根据第二时刻获取的所述智能交通设备的位移数据，对所述第一时刻的扩展状态量进行递推处理，得到所述第一时刻的扩展状态量在第二时刻的预估状态量；根据在第二时刻由所述图像传感器拍摄的环境图像对应的车道像素点位置数据，对所述预估状态量进行更新，得到在第二时刻的初始偏航角误差值；其中，所述预估状态量包括：在第二时刻时的车道线参数预估状态量和偏航角参数预估状态量。
在一个实施例中，所述处理器602，具体用于将第二时刻获取的所述智能交通设备的位移数据作为扩展卡尔曼滤波器EKF的输入，通过所述扩展卡尔曼滤波器EKF对所述第一时刻的扩展状态量进行递推处理，得到所述第一时刻的扩展状态量在第二时刻的预估状态量。
在一个实施例中，所述EKF是在递推阶段利用状态递推矩阵和扩展状态协方差矩阵，结合输入的所述智能交通设备的位移数据，得到所述预估状态量的；所述状态递推矩阵是根据所述车道线参数状态量所对应的各条车道线的状态转化矩阵得到的；所述扩展状态协方差矩阵是根据车道线参数状态量和偏航角参数状态量得到的；所述状态转化矩阵是对递推方程进行线性化处理后得到的；所述递推方程的方程参数包括：所述第二时刻获取的所述智能交通设备的位移数据和所述车道线参数状态量。
在一个实施例中，所述状态递推矩阵如下：
Figure 610565DEST_PATH_IMAGE089
；
其中，
Figure 919187DEST_PATH_IMAGE115
表示车道线参数状态量所对应的各条车道线中第i条车道线的状态转化矩阵；
所述扩展状态协方差矩阵的协方差递推公式如下：
Figure 868688DEST_PATH_IMAGE116
；
其中，
Figure 629971DEST_PATH_IMAGE092
表示k时刻扩展状态协方差矩阵，
Figure 752647DEST_PATH_IMAGE117
表示k+1时刻的扩展状态协方差矩阵，
Figure 915775DEST_PATH_IMAGE094
表示偏航角参数状态量方差，
Figure 770599DEST_PATH_IMAGE095
表示偏航角参数状态量与车道线参数状态量的协方差，
Figure 284757DEST_PATH_IMAGE118
表示车道线参数状态量与偏航角参数状态量的协方差，
Figure 148808DEST_PATH_IMAGE097
表示车道线参数状态量的协方差，
Figure 963180DEST_PATH_IMAGE098
表示递推噪声，
Figure 520063DEST_PATH_IMAGE099
表示偏航角参数状态量的递推噪声，
Figure 990359DEST_PATH_IMAGE100
表示车道线参数状态量的递推噪声，所述k时刻对应于第一时刻，所述k+1时刻对应于第二时刻。
在一个实施例中，所述处理器602，具体用于将在第二时刻由所述图像传感器拍摄的环境图像对应的车道像素点位置数据作为扩展卡尔曼滤波器EKF的输入，通过所述扩展卡尔曼滤波器EKF对所述预估状态量进行更新，得到在第二时刻的初始偏航角误差值。
在一个实施例中，所述EKF是在更新阶段利用整体量测矩阵H和残差方程r，结合输入的所述车道像素点位置数据、及所述预估状态量，得到所述初始偏航角误差值的；
所述整体量测矩阵H的第一列为偏航角参数状态量对应的方程系数，所述整体量测矩阵H的每一行包括：每一个位置点对应的量测矩阵；所述位置点包括：在智能交通设备所在坐标系下的映射车道线的位置点；
所述映射车道线的位置点包括：所述输入的车道像素点位置数据对应的各个映射车道线上的特征位置点；
所述映射车道线是将所述输入的车道像素点位置数据对应的车道线像素点位置映射到所述智能交通设备所在坐标系下后得到的；
所述残差方程是对在所述智能交通设备所在坐标系下的车道线量测方程进行线性化处理、以及对偏航角参数状态量进行求导处理后得到的，每一个映射车道线的位置点对应一个残差方程，且每一个映射车道线的位置点对应一个车道线量测方程；
所述残差方程用于表示映射车道线的位置点，到与映射车道线对应的预估车道线之间的距离，预估车道线包括：所述车道线参数预估状态量所对应的各个车道线。
在一个实施例中，所述整体量测矩阵H如下：
Figure 392521DEST_PATH_IMAGE119
；
其中，
Figure 530242DEST_PATH_IMAGE120
是待计算的偏航角参数状态量对应的方程系数，用于计算偏航角参数状态量得到对应的初始偏航角误差值，
Figure 54764DEST_PATH_IMAGE121
是第i条车道线的量测矩阵，用于计算第i条车道线对应的车道线参数状态量得到对应的车道线参数；M的值为映射车道线的位置点的数量，N = 3 * n + 1，n的值为预估车道线的数量；
所述残差方程如下：
Figure 9426DEST_PATH_IMAGE122
；
其中，
Figure 480859DEST_PATH_IMAGE104
用于表示偏航角参数状态量的变化量，
Figure 207506DEST_PATH_IMAGE123
用于表示车道线参数状态量的变化量。
在一个实施例中，对所述残差方程进行优化得到新的残差方程，所述新的残差方程如下：
Figure 840613DEST_PATH_IMAGE124
；
其中，
Figure 347817DEST_PATH_IMAGE107
和
Figure 357362DEST_PATH_IMAGE125
为对所述整体量测矩阵H进行QR分解后得到的正交矩阵，
Figure 938516DEST_PATH_IMAGE109
是一个正交向量组成的矩阵，
Figure 8103DEST_PATH_IMAGE110
是一个上三角矩阵；
Figure 940287DEST_PATH_IMAGE111
表示状态量的变化量，与所述
Figure 753522DEST_PATH_IMAGE112
和
Figure 517079DEST_PATH_IMAGE126
对应；
根据所述新的残差方程得到的新的整体量测矩阵
Figure 491988DEST_PATH_IMAGE127
的表达式如下：
Figure 911468DEST_PATH_IMAGE128
，所述初始偏航角误差值具体是根据对所述新的残差方程和所述新的整体量测矩阵进行计算得到的；
所述EKF是利用所述新的整体量测矩阵和所述新的残差方程，结合输入的所述车道像素点位置数据、及所述预估状态量，得到所述初始偏航角误差值的。
在一个实施例中，当所述初始偏航角误差值在预设的误差范围值内时，则确定所述初始偏航角误差值满足估计条件，将所述初始偏航角误差值记录到的误差值集合中；所述误差值集合用于记录在预设时间段内满足估计条件的初始偏航角误差值。
基于同一发明构思，本申请实施例中提供的智能设备解决问题的原理与有益效果与前述本申请方法实施例的相似，可以参见方法的实施的原理和有益效果，为简洁描述，在这里不再赘述。
本申请实施例还提供了一种汽车，该汽车包括：智能设备和传感器；所述传感器包括：图像传感器、运动传感器等；所述智能设备具体为前述实施例中提及的智能设备。该运动传感器例如可以是轮速计、IMU等等。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，处理器运行该计算机程序，使得该计算机设备执行前述实施例提供的方法。
本申请实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前述实施例提供的方法。
本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
本申请实施例装置中的模块可以根据实际需要进行合并、划分和删减。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）或随机存储记忆体（Random AccessMemory，RAM）等。
以上所揭露的仅为本发明的部分实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (14)

1.一种基于图像的数据处理方法，其特征在于，所述方法用于对智能交通设备的运动数据进行处理，所述智能交通设备上设置有用于拍摄环境图像的图像传感器，所述方法包括：
获取第一时刻的扩展状态量，所述扩展状态量包括：车道线参数状态量和偏航角参数状态量；
根据第二时刻获取的所述智能交通设备的位移数据、及在所述第二时刻由所述图像传感器拍摄的环境图像中的车道像素点位置数据，对所述第一时刻的扩展状态量进行估计处理，得到在所述第二时刻的初始偏航角误差值；
若所述初始偏航角误差值满足估计条件，则记录所述初始偏航角误差值；
根据记录的初始偏航角误差值得到目标偏航角误差值。
2.如权利要求1所述的方法，其特征在于，所述根据第二时刻获取的所述智能交通设备的位移数据、及在所述第二时刻由所述图像传感器拍摄的环境图像中的车道像素点位置数据，对所述第一时刻的扩展状态量进行估计处理，得到在所述第二时刻的初始偏航角误差值，包括：
根据第二时刻获取的所述智能交通设备的位移数据，对所述第一时刻的扩展状态量进行递推处理，得到所述第一时刻的扩展状态量在所述第二时刻的预估状态量；
根据在所述第二时刻由所述图像传感器拍摄的环境图像对应的车道像素点位置数据，对所述预估状态量进行更新，得到在所述第二时刻的初始偏航角误差值；
其中，所述预估状态量包括：在所述第二时刻的车道线参数预估状态量和偏航角参数预估状态量。
3.如权利要求2所述的方法，其特征在于，所述根据第二时刻获取的所述智能交通设备的位移数据，对所述第一时刻的扩展状态量进行递推处理，得到所述第一时刻的扩展状态量在所述第二时刻的预估状态量，包括：
将第二时刻获取的所述智能交通设备的位移数据作为扩展卡尔曼滤波器EKF的输入，通过所述EKF对所述第一时刻的扩展状态量进行递推处理，得到所述第一时刻的扩展状态量在所述第二时刻的预估状态量。
4.如权利要求3所述的方法，其特征在于，
所述EKF是在递推阶段利用状态递推矩阵和扩展状态协方差矩阵，结合输入的所述智能交通设备的位移数据，得到所述预估状态量的；
所述状态递推矩阵是根据所述车道线参数状态量所对应的各条车道线的状态转化矩阵得到的；
所述扩展状态协方差矩阵是根据所述车道线参数状态量和所述偏航角参数状态量得到的；
所述状态转化矩阵是对递推方程进行线性化处理后得到的；
所述递推方程的方程参数包括：所述第二时刻获取的所述智能交通设备的位移数据和所述车道线参数状态量。
5.如权利要求4所述的方法，其特征在于，所述状态递推矩阵如下：
Figure 606748DEST_PATH_IMAGE001
；
其中，
Figure 224811DEST_PATH_IMAGE002
表示车道线参数状态量所对应的各条车道线中第i条车道线的状态转化矩阵；
所述扩展状态协方差矩阵的协方差递推公式如下：
Figure 370622DEST_PATH_IMAGE003
；
其中，
Figure 277398DEST_PATH_IMAGE004
表示k时刻扩展状态协方差矩阵，
Figure 163927DEST_PATH_IMAGE005
表示k+1时刻的扩展状态协方差矩阵，
Figure 839759DEST_PATH_IMAGE006
表示偏航角参数状态量方差，
Figure 422050DEST_PATH_IMAGE007
表示偏航角参数状态量与车道线参数状态量的协方差，
Figure 816122DEST_PATH_IMAGE008
表示车道线参数状态量与偏航角参数状态量的协方差，
Figure 306009DEST_PATH_IMAGE009
表示车道线参数状态量的协方差，
Figure 101927DEST_PATH_IMAGE010
表示递推噪声，
Figure 855119DEST_PATH_IMAGE011
表示偏航角参数状态量的递推噪声，
Figure 470908DEST_PATH_IMAGE012
表示车道线参数状态量的递推噪声，所述k时刻对应于第一时刻，所述k+1时刻对应于第二时刻。
6.如权利要求2-5任一项所述的方法，其特征在于，所述根据在第二时刻由所述图像传感器拍摄的环境图像对应的车道像素点位置数据，对所述预估状态量进行更新，得到在所述第二时刻的初始偏航角误差值，包括：
将在第二时刻由所述图像传感器拍摄的环境图像对应的车道像素点位置数据作为扩展卡尔曼滤波器EKF的输入，通过所述EKF对所述预估状态量进行更新，得到在所述第二时刻的初始偏航角误差值。
7.如权利要求6所述的方法，其特征在于，
所述EKF是在更新阶段利用整体量测矩阵H和残差方程r，结合输入的所述车道像素点位置数据、及所述预估状态量，得到所述初始偏航角误差值的；
所述整体量测矩阵H的第一列为偏航角参数状态量对应的方程系数，所述整体量测矩阵H的每一行包括：每一个位置点对应的量测矩阵；所述位置点包括：在所述智能交通设备所在坐标系下的映射车道线的位置点；
所述映射车道线的位置点包括：所述输入的车道像素点位置数据对应的各个映射车道线上的特征位置点；
所述映射车道线是将所述输入的车道像素点位置数据对应的车道线像素点位置映射到所述智能交通设备所在坐标系下后得到的；
所述残差方程是对在所述智能交通设备所在坐标系下的车道线量测方程进行线性化处理、以及对偏航角参数状态量进行求导处理后得到的，每一个映射车道线的位置点对应一个残差方程，且每一个映射车道线的位置点对应一个车道线量测方程；
所述残差方程用于表示映射车道线的位置点，到与映射车道线对应的预估车道线之间的距离，所述预估车道线包括：所述车道线参数预估状态量所对应的各个车道线。
8.如权利要求7所述的方法，其特征在于，
所述整体量测矩阵H如下：
Figure 702170DEST_PATH_IMAGE013
；
其中，
Figure 352594DEST_PATH_IMAGE014
是待计算的偏航角参数状态量对应的方程系数，用于计算偏航角参数状态量得到对应的初始偏航角误差值，
Figure 276688DEST_PATH_IMAGE015
是第i条车道线的量测矩阵，用于计算第i条车道线对应的车道线参数状态量得到对应的车道线参数；M的值为映射车道线的位置点的数量，N= 3 * n + 1，n的值为预估车道线的数量；
所述残差方程如下：
Figure 442090DEST_PATH_IMAGE016
；
其中，
Figure 477042DEST_PATH_IMAGE017
用于表示偏航角参数状态量的变化量，
Figure 981972DEST_PATH_IMAGE018
用于表示车道线参数状态量的变化量。
9.如权利要求8所述的方法，其特征在于，对所述残差方程进行优化得到新的残差方程，所述新的残差方程如下：
Figure 545809DEST_PATH_IMAGE019
；
其中，
Figure 136190DEST_PATH_IMAGE020
和
Figure 974833DEST_PATH_IMAGE021
为对所述整体量测矩阵H进行QR分解后得到的正交矩阵，
Figure 596920DEST_PATH_IMAGE022
是一个正交向量组成的矩阵，
Figure 597237DEST_PATH_IMAGE023
是一个上三角矩阵；
Figure 674914DEST_PATH_IMAGE024
表示状态量的变化量，与所述
Figure 51669DEST_PATH_IMAGE025
和
Figure 531192DEST_PATH_IMAGE018
对应；
根据所述新的残差方程得到的新的整体量测矩阵
Figure 967990DEST_PATH_IMAGE026
的表达式如下：
Figure 798542DEST_PATH_IMAGE027
，所述初始偏航角误差值具体是根据对所述新的残差方程和所述新的整体量测矩阵进行计算得到的；
所述EKF是利用所述新的整体量测矩阵和所述新的残差方程，结合输入的所述车道像素点位置数据、及所述预估状态量，得到所述初始偏航角误差值的。
10.如权利要求1所述的方法，其特征在于，当所述初始偏航角误差值在预设的误差范围值内时，则确定所述初始偏航角误差值满足估计条件，将所述初始偏航角误差值记录到的误差值集合中；所述误差值集合用于记录在预设时间段内满足估计条件的初始偏航角误差值。
11.一种基于图像的数据处理装置，其特征在于，所述装置用于对智能交通设备的运动数据进行处理，所述智能交通设备上设置有用于拍摄环境图像的图像传感器，所述装置包括：
处理模块，用于获取第一时刻的扩展状态量，所述扩展状态量包括：车道线参数状态量和偏航角参数状态量；根据第二时刻获取的所述智能交通设备的位移数据、及在所述第二时刻由所述图像传感器拍摄的环境图像中的车道像素点位置数据，对所述第一时刻的扩展状态量进行估计处理，得到在所述第二时刻的初始偏航角误差值；若所述初始偏航角误差值满足估计条件，则记录所述初始偏航角误差值；根据记录的初始偏航角误差值得到目标偏航角误差值；
输出模块，用于输出所述目标偏航角误差值。
12.一种智能设备，其特征在于，包括：存储装置和处理器；
所述存储装置，用于存储计算机程序；
所述处理器，用于执行所述计算机程序，实现如权利要求1-10任一项所述的方法。
13.一种汽车，其特征在于，包括：智能设备和传感器；
所述传感器包括：图像传感器、运动传感器；
所述智能设备包括：存储装置和处理器，所述存储装置，用于存储计算机程序；所述处理器，用于执行所述计算机程序，实现如权利要求1-10任一项所述的方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被执行时，如权利要求1-10任一项所述的方法将被实现。
CN202110423018.2A 2021-04-20 2021-04-20 基于图像的数据处理方法、装置及设备、汽车、存储介质 Active CN112837352B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110423018.2A CN112837352B (zh) 2021-04-20 2021-04-20 基于图像的数据处理方法、装置及设备、汽车、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110423018.2A CN112837352B (zh) 2021-04-20 2021-04-20 基于图像的数据处理方法、装置及设备、汽车、存储介质

Publications (2)

Publication Number Publication Date
CN112837352A true CN112837352A (zh) 2021-05-25
CN112837352B CN112837352B (zh) 2021-11-02

Family

ID=75929827

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110423018.2A Active CN112837352B (zh) 2021-04-20 2021-04-20 基于图像的数据处理方法、装置及设备、汽车、存储介质

Country Status (1)

Country Link
CN (1) CN112837352B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113432620A (zh) * 2021-06-04 2021-09-24 苏州智加科技有限公司 误差估计方法、装置、车载终端及存储介质
US20220009514A1 (en) * 2020-07-08 2022-01-13 Toyota Jidosha Kabushiki Kaisha Vehicle surrounding monitoring apparatus
CN114323033A (zh) * 2021-12-29 2022-04-12 北京百度网讯科技有限公司 基于车道线和特征点的定位方法、设备及自动驾驶车辆
CN114724115A (zh) * 2022-05-18 2022-07-08 禾多科技（北京）有限公司 障碍物定位信息生成方法、装置、设备和计算机可读介质
CN115267868A (zh) * 2022-09-27 2022-11-01 腾讯科技（深圳）有限公司 一种定位点处理方法、装置及计算机可读存储介质
CN116823958A (zh) * 2023-04-20 2023-09-29 阿波罗智联(北京)科技有限公司 车载相机的偏航角估计方法、装置、设备、车辆及介质
CN116872926A (zh) * 2023-08-16 2023-10-13 北京斯年智驾科技有限公司 一种自动驾驶车道保持方法、系统、装置及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110153266A1 (en) * 2009-12-23 2011-06-23 Regents Of The University Of Minnesota Augmented vehicle location system
CN106558080A (zh) * 2016-11-14 2017-04-05 天津津航技术物理研究所 一种单目相机外参在线标定系统及方法
CN109345593A (zh) * 2018-09-04 2019-02-15 海信集团有限公司 一种摄像机姿态的检测方法及装置
CN110490936A (zh) * 2019-07-15 2019-11-22 杭州飞步科技有限公司 车辆摄像头的标定方法、装置、设备及可读存储介质
CN111738035A (zh) * 2019-03-25 2020-10-02 比亚迪股份有限公司 车辆偏航角的计算方法、装置和设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110153266A1 (en) * 2009-12-23 2011-06-23 Regents Of The University Of Minnesota Augmented vehicle location system
CN106558080A (zh) * 2016-11-14 2017-04-05 天津津航技术物理研究所 一种单目相机外参在线标定系统及方法
CN109345593A (zh) * 2018-09-04 2019-02-15 海信集团有限公司 一种摄像机姿态的检测方法及装置
CN111738035A (zh) * 2019-03-25 2020-10-02 比亚迪股份有限公司 车辆偏航角的计算方法、装置和设备
CN110490936A (zh) * 2019-07-15 2019-11-22 杭州飞步科技有限公司 车辆摄像头的标定方法、装置、设备及可读存储介质

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220009514A1 (en) * 2020-07-08 2022-01-13 Toyota Jidosha Kabushiki Kaisha Vehicle surrounding monitoring apparatus
US11673571B2 (en) * 2020-07-08 2023-06-13 Toyota Jidosha Kabushiki Kaisha Vehicle surrounding monitoring apparatus
CN113432620A (zh) * 2021-06-04 2021-09-24 苏州智加科技有限公司 误差估计方法、装置、车载终端及存储介质
CN113432620B (zh) * 2021-06-04 2024-04-09 苏州智加科技有限公司 误差估计方法、装置、车载终端及存储介质
CN114323033A (zh) * 2021-12-29 2022-04-12 北京百度网讯科技有限公司 基于车道线和特征点的定位方法、设备及自动驾驶车辆
CN114323033B (zh) * 2021-12-29 2023-08-29 北京百度网讯科技有限公司 基于车道线和特征点的定位方法、设备及自动驾驶车辆
CN114724115A (zh) * 2022-05-18 2022-07-08 禾多科技（北京）有限公司 障碍物定位信息生成方法、装置、设备和计算机可读介质
CN114724115B (zh) * 2022-05-18 2022-09-27 禾多科技（北京）有限公司 障碍物定位信息生成方法、装置、设备和计算机可读介质
CN115267868A (zh) * 2022-09-27 2022-11-01 腾讯科技（深圳）有限公司 一种定位点处理方法、装置及计算机可读存储介质
CN115267868B (zh) * 2022-09-27 2023-09-19 腾讯科技（深圳）有限公司 一种定位点处理方法、装置及计算机可读存储介质
CN116823958A (zh) * 2023-04-20 2023-09-29 阿波罗智联(北京)科技有限公司 车载相机的偏航角估计方法、装置、设备、车辆及介质
CN116872926A (zh) * 2023-08-16 2023-10-13 北京斯年智驾科技有限公司 一种自动驾驶车道保持方法、系统、装置及存储介质

Also Published As

Publication number Publication date
CN112837352B (zh) 2021-11-02

Similar Documents

Publication Publication Date Title
CN112837352B (zh) 基于图像的数据处理方法、装置及设备、汽车、存储介质
CN111258313B (zh) 多传感器融合slam系统及机器人
CN112734852B (zh) 一种机器人建图方法、装置及计算设备
CN112634451A (zh) 一种融合多传感器的室外大场景三维建图方法
CN110047108B (zh) 无人机位姿确定方法、装置、计算机设备及存储介质
US20180075614A1 (en) Method of Depth Estimation Using a Camera and Inertial Sensor
CN111623773B (zh) 一种基于鱼眼视觉和惯性测量的目标定位方法及装置
WO2022062480A1 (zh) 移动设备的定位方法和定位装置
CN110720113A (zh) 一种参数处理方法、装置及摄像设备、飞行器
Wang et al. 3D-LIDAR based branch estimation and intersection location for autonomous vehicles
CN108827287B (zh) 一种复杂环境下的鲁棒视觉slam系统
CN114777768A (zh) 一种卫星拒止环境高精度定位方法、系统及电子设备
CN106767841A (zh) 基于自适应容积卡尔曼滤波和单点随机抽样的视觉导航方法
CN112733971A (zh) 扫描设备的位姿确定方法、装置、设备及存储介质
Panahandeh et al. Vision-aided inertial navigation using planar terrain features
CN114648639B (zh) 一种目标车辆的检测方法、系统及装置
CN113034538B (zh) 一种视觉惯导设备的位姿跟踪方法、装置及视觉惯导设备
CN111811501A (zh) 一种基于树干特征的无人机定位方法、无人机及存储介质
Conway et al. Vision-based Velocimetry over Unknown Terrain with a Low-Noise IMU
Martinez et al. A multi-resolution image alignment technique based on direct methods for pose estimation of aerial vehicles
Qian et al. An improved ORB-SLAM2 in dynamic scene with instance segmentation
Ge et al. A fast mosaicking method for small UAV image sequence using a small number of ground control points
CN117611762B (zh) 一种多层级地图构建方法、系统及电子设备
CN117649619B (zh) 无人机视觉导航定位回收方法、系统、装置及可读存储介质
WO2022179047A1 (zh) 一种状态信息估计方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40043973

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant