CN114419165A - 相机外参校正方法、装置、电子设备和存储介质 - Google Patents

相机外参校正方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN114419165A
CN114419165A CN202210049105.0A CN202210049105A CN114419165A CN 114419165 A CN114419165 A CN 114419165A CN 202210049105 A CN202210049105 A CN 202210049105A CN 114419165 A CN114419165 A CN 114419165A
Authority
CN
China
Prior art keywords
image
road surface
target
camera
pixel points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210049105.0A
Other languages
English (en)
Other versions
CN114419165B (zh
Inventor
田锋
种道晨
刘玉亭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202210049105.0A priority Critical patent/CN114419165B/zh
Publication of CN114419165A publication Critical patent/CN114419165A/zh
Priority to US18/054,773 priority patent/US20230230392A1/en
Application granted granted Critical
Publication of CN114419165B publication Critical patent/CN114419165B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本公开提供了相机外参校正方法、装置、电子设备和存储介质，涉及图像处理领域，具体为自动驾驶和智能交通技术领域。具体实现方案为：获取时间连续的多个路面图像，并分类得到突变图像和所述突变图像对应的时序邻近图像；在所述突变图像包括的像素点和对应的时序邻近图像包括的像素点中，确定匹配点对，并确定所述匹配点对在目标视角下的目标视角点对；根据所述目标视角点对中两个目标视角点之间的差异，修正所述突变图像对应的相机外参，所述相机外参用于将当前视角下的像素点转换为目标视角下的像素点。本公开实施例可以提高相机外参的准确率，从而提高图像转换的准确率。

Description

相机外参校正方法、装置、电子设备和存储介质
技术领域
本公开涉及图像处理领域，具体为自动驾驶和智能交通技术领域，尤其涉及相机外参校正方法、装置、电子设备和存储介质。
背景技术
在图像测量过程以及机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型参数就是相机参数。
相机标定在二维图像中恢复物体的三维信息的过程中至关重要，在相机的成像几何模型中空间点与图像平面上像点之间存在对应关系，这个对应关系是由摄像机参数(包含相机内参与外参)决定的。
发明内容
本公开提供了一种相机外参校正方法、装置、电子设备和存储介质。
根据本公开的一方面，提供了一种相机外参校正方法，包括：
获取时间连续的多个路面图像，并分类得到突变图像和所述突变图像对应的时序邻近图像；
在所述突变图像包括的像素点和对应的时序邻近图像包括的像素点中，确定匹配点对，并确定所述匹配点对在目标视角下的目标视角点对；
根据所述目标视角点对中两个目标视角点之间的差异，修正所述突变图像对应的相机外参，所述相机外参用于将当前视角下的像素点转换为目标视角下的像素点。
根据本公开的一方面，提供了一种相机外参校正装置，包括：
图像分类模块，用于获取时间连续的多个路面图像，并分类得到突变图像和所述突变图像对应的时序邻近图像；
点对获取模块，用于在所述突变图像包括的像素点和对应的时序邻近图像包括的像素点中，确定匹配点对，并确定所述匹配点对在目标视角下的目标视角点对；
外参修正模块，用于根据所述目标视角点对中两个目标视角点之间的差异，修正所述突变图像对应的相机外参，所述相机外参用于将当前视角下的像素点转换为目标视角下的像素点。
根据本公开的另一方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开任一实施例所述的相机外参校正方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行本公开任一实施例所述的相机外参校正方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开任一实施例所述的相机外参校正方法。
本公开实施例可以提高相机外参的准确率，从而提高图像转换的准确率。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开实施例提供的一种相机外参校正方法的示意图；
图2是根据本公开实施例提供的一种相机外参校正方法的示意图；
图3是根据本公开实施例提供的一种相机外参校正方法的示意图；
图4是根据本公开实施例提供的一种相机外参校正方法的示意图；
图5是根据本公开实施例提供的一种车道宽误差的示意图；
图6是根据本公开实施例提供的一种相机外参校正方法的场景图；
图7是根据本公开实施例提供的一种相机外参校正装置的示意图；
图8是用来实现本公开实施例的相机外参校正方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1是根据本公开实施例公开的一种相机外参校正方法的流程图，本实施例可以适用于对车载相机的用于实现当前视角与目标视角转换的外参进行修正的情况。本实施例方法可以由相机外参校正装置来执行，该装置可采用软件和/或硬件的方式实现，并具体配置于具有一定数据运算能力的电子设备中，该电子设备可以是客户端设备或服务器设备，客户端设备例如手机、平板电脑、车载终端和台式电脑等。
S101，获取时间连续的多个路面图像，并分类得到突变图像和所述突变图像对应的时序邻近图像。
时间连续的多个路面图像是指以前视视角对路面进行连续采集得到的图像。具体的，采集路面图像的设备包括车载相机，路面图像可以是指在车辆行驶的过程中，该车辆配置的车载相机对车辆经过的路面进行图像采集，确定时间连续的多个路面图像。其中，车载相机可以置于车辆的前方，例如，车头位置，用于采集得到车辆行驶方向上的前方路面的图像；或者车载相机可以置于车辆的后放，例如，车尾位置，用于采集得到车辆行驶方向的相反方向上的前方路面的图像。
突变图像可以是指相机以非标准姿态拍摄得到的图像，用于修正突变图像对应的相机外参。突变图像对应的时序邻近图像用于作为突变图像的修正相机外参的参考图像或标准图像，以修正突变图像对应的相机外参。具体的，时序邻近图像可以是指相机以标准姿态，在突变图像的采集时间相邻的时间，拍摄得到的图像。其中，标准姿态为相机的初始姿态，非标准姿态为相机的改变的与初始姿态不同的姿态。
实际上，车辆在平稳的路面行驶的情况下，相机的姿态稳定不变，此时的姿态可以定义为标准姿态或初始姿态。在之后的行驶过程中，车辆因为上下坡或者路面不平整颠簸导致相机的瞬时姿态突变，与标准姿态不同，可以定义此时的姿态为非标准姿态。相应的，突变图像为相机以改变的非标准姿态拍摄的图像，再采用标准姿态的相机外参进行视角转换，得到的目标图像不准确。由此，修正相机外参实际是将相机外参由标准姿态的相机外参调整成非标准姿态的相机外参，以适配采集突变图像的相机姿态，准确实现不同视角下的图像转换。从而，针对非突变图像的路面图像仍采用标准姿态的相机外参进行不同视角下的图像转换，针对突变图像，采用对应的修正后的相机外参进行不同视角下的图像转换，实现针对不同相机姿态选择适配的相机外参对图像进行不同视角的图像转换。
S102，在所述突变图像包括的像素点和对应的时序邻近图像包括的像素点中，确定匹配点对，并确定所述匹配点对在目标视角下的目标视角点对。
匹配点对包括两个像素点，其中，一个像素点为突变图像包括的像素点，以及另一个像素点为时序邻近图像包括的像素点。这两个像素点代表同一物体的坐标点。实际上，由于相机是移动拍摄的，相应的，同一物体上的某个点映射到不同时序相邻的路面图像中是不同的像素点，可以将映射为同一点的突变图像中的像素点和时序邻近图像中的像素点，形成一个匹配点对。示例性的，可以在突变图像和对应的时序邻近图像中进行物体识别，确定相同物体，并在相同物体中同一点在映射到突变图像和对应的时序邻近图像的像素点，确定为像素点对。
本公开实施例中采集图像的相机拍摄路面的视角为当前视角。目标视角可以是与前述当前视角不同的视角。示例性的，本公开实施例中采集图像的相机为车载相机，通常是与行驶方向同向或行驶方向反向的方向上拍摄，相应的当前视角为前视视角。目标视角为无人机上的相机俯视拍摄的图像时的视角。匹配点对为前视视角下的像素点对。目标视角点对为将匹配点对转换为目标视角下的点对。相机外参用于实现将当前视角的图像转换为目标视角的图像。示例性的，时序相邻图像的像素点可以确定世界坐标系下对应的矢量坐标，再转换为目标视角点，突变图像的像素点可以通过标准姿态的相机外参转换为目标视角点，并形成目标视角点对。其中，突变图像的像素点映射到世界坐标系下对应的矢量坐标，与时序相邻图像的像素点映射到世界坐标系下对应的矢量坐标，相同，代表同一物体上的同一点。
S103，根据所述目标视角点对中两个目标视角点之间的差异，修正所述突变图像对应的相机外参，所述相机外参用于将当前视角下的像素点转换为目标视角下的像素点。
两个目标视角点的之间的差异用于修正突变图像对应的相机外参。实际上，在目标视角下的目标视角点理应相同，但由于相机姿态在拍摄突变图像的情况下改变了，突变图像仍采用标准姿态的相机外参进行目标视角转换，导致转换得到的目标视角点，与对应的时序邻近图像采用标准姿态的相机外参进行目标视角转换得到的目标视角点不同，但理应是表示同一个点，也即两个目标视角点理应相同。从而可以通过调整突变图像对应的相机外参，使得两个目标视角点的差异最小，基于修正的相机外参，可以使得突变图像准确转换为目标视角下的图像。
其中，突变图像可以有多个，针对每个突变图像可以存在多个时序邻近图像。针对一个突变图像，和对应的一个时序邻近图像，可以确定至少一组匹配点对，和对应的目标视角点对，若存在多个时序邻近图像，可以确定多组目标视角点对，修正相机外参，使得多组目标视角点对中两个目标视角点之间的差异之和最小。
修正后的相机外参，可以使得将各路面图像转换为准确的目标视角下的图像，并对应转换为世界坐标系下的矢量图，从而，可以构建卫星影图，在地图中绘制连续的车道线，以及重建遮挡的路口(如立交桥下的路口) 形成全景图像等。
现有技术中，可以通过惯性测量单元(Inertial Measurement Unit，IMU) 或轮速计等设备可以获取相机位姿，对相机外参进行修正。但前述设备成本高，无法大规模普及，特别是众包视觉采集方案的普及，导致实现成本高，同时，IMU存在漂移问题以及轮速计存在打滑问题，都可能影响到相机的瞬时姿态，导致瞬时姿态检测不准确，从而修正的相机外参不准确。
根据本公开的技术方案，通过获取时间连续的多个路面图像，并筛选得到突变图像和对应的时序邻近图像，从中还选出匹配点对，并转换为目标视角下的目标视角点对，根据目标视角点之间的差异调整突变图像对应的相机外参，可以通过软件方式实现修正相机外参，减少修正相机外参的硬件成本，并且可以减少硬件修正的误差问题，提高修正准确率。
图2是根据本公开实施例公开的另一种相机外参校正方法的流程图，基于上述技术方案进一步优化与扩展，并可以与上述各个可选实施方式进行结合。所述确定所述匹配点对在目标视角下的目标视角点对，具体化为：在所述匹配点对中，获取属于时序邻近图像的像素点对应的矢量坐标点；将所述对应的矢量坐标点转换为目标视角下的标准目标视角点；在所述匹配点对中，根据所述相机外参，将属于突变图像的像素点转换为目标视角下的待调整目标视角点；将所述标准目标视角点和所述待调整目标视角点，确定为所述匹配点对在目标视角下的目标视角点对。
S201，获取时间连续的多个路面图像，并分类得到突变图像和所述突变图像对应的时序邻近图像；
可选的，所述相机外参校正方法，还包括：根据初始的相机外参，将所述路面图像包括的像素点，转换为目标视角下的目标视角点；获取所述路面图像对应的采集位置；根据所述采集位置，将所述目标视角点转换为矢量坐标点，并确定为所述路面图像包括的像素点对应的矢量坐标点。
初始的相机外参用于将当前视角下的像素点转换为目标视角下的目标视角点。初始的相机外参可以是指针对预设的平坦路面进行采集的姿态稳定的相机的相机外参。相机外参的修正，实际上是针对初始的相机外参进行修正，确定针对非平坦路面引起的姿态改变的相机，在该瞬时的相机外参。采集位置可以是指采集对应的路面图像的相机所在的地理位置信息。路面图像包括的像素点和目标视角下的目标视角点可以是二维点。矢量坐标点可以是三维点。可以根据采集位置将二维点转换为三维点，即将目标视角下的目标视角点转换为矢量坐标点。
其中，图像的采集位置的获取可以是在相机所配置的设备上安装定位设备，在相机采集该图像的采集时间对自身进行定位得到的采集位置。
实际上，图像的采集周期可以和定位设备的定位周期不同。存在定位设备在采集图像的采集时间并未定位，即存在部分图像不存在采集位置。可以根据相机对路面的图像采集时间，在连续的定位信息中进行插值。例如，相机为车载相机，可以获取车辆在行驶过程中的连续定位信息，即构成行驶轨迹的各点的定位信息和定位时间，在行驶轨迹中，可以根据定位时间和图像采集时间，在轨迹中进行插值，得到图像采集时间对应的点，以及该点对应的定位信息，并将该点对应的定位信息，确定为图像采集时间对应的图像的定位信息。
示例性的，可以基于如下公式，根据相机外参将当前视角的像素点转换为目标视角的像素点。
Ibv(u,v)＝H*Ifv(u,v)，
Figure BDA0003473037630000071
其中，Ifv(u,v)中(u,v)表示当前视角的图像中的像素点(坐标)， Ibv(u,v)中(u,v)表示目标视角的图像中相同位置像素点(坐标)。示例性的，目标视角为俯视图，相应的，目标视角的图像为鸟瞰图。
可以获取相机采集图像的地理位置信息，确定各路面图像对应的地理位置信息，可以根据图像对应的地理位置信息，将目标视角下的图像转换为矢量图像，也即将目标视角的像素点转换为矢量坐标点。示例性的，可以基于如下公式，将目标视角的像素点转换为矢量坐标点。
Figure BDA0003473037630000072
其中，地理位置信息包括(通用横墨卡托格网系统(UNIVERSAL TRANSVERSEMERCARTOR GRID SYSTEM,UTM)坐标(xE，yN)，航向角θh)。s表示目标视角的世界坐标系与目标视角的图像坐标系缩放比例，(ubv,vbv)表示目标视角的图像的像素点(坐标)，(ubw,vbw)表示 (ubv,vbv)对应位置的矢量图像中的矢量坐标点，(u0,v0)表示对相机进行定位的定位设备在目标视角的图像中的像素点(坐标)。定位设备可以是全球定位系统(GlobalPositioning System,GPS)设备。
通过获取定位信息，将目标视角下的目标视角点转换为矢量坐标点，可以确定各路面图像中的像素点在现实中对应的坐标点，从而获取不准确的相机外参确定的目标视角点，与准确的目标视角点，为修正相机外参提供数据支持，以修正相机外参，提高相机外参的准确率。
S202，在所述突变图像包括的像素点和对应的时序邻近图像包括的像素点中，确定匹配点对。
可选的，在所述突变图像包括的像素点和对应的时序邻近图像包括的像素点中，确定匹配点对，包括：根据所述突变图像的像素点和对应的时序邻近图像的像素点的运动状态，以及所述突变图像与所述对应的时序邻近图像之间的采集时长，在所述突变图像包括的像素点中确定待调整像素点，以及在所述对应的时序邻近图像包括的像素点中确定标准像素点，其中，所述待调整像素点和所述标准像素点对应同一矢量坐标点；将所述待调整像素点和所述标准像素点，确定为匹配点对。
像素点的运动状态可以是指像素点表示的现实中的矢量坐标点在当前采集时间的运动方向和运动速度。时序邻近图像之间的采集时长，是指突变图像的采集时间与时序邻近图像的采集时间之间的时长。待调整像素点为突变图像中的像素点，且在时序邻近图像中存在像素点与之匹配。标准像素点为时序邻近图像中的像素点，且在突变图像中存在像素点与之匹配。其中，路面图像中像素点的运动状态，可以根据采集路面图像时的相机的运动状态确定。示例性的，相机为车载相机，路面图像中像素点的运动状态，可以是指，在相机采集该路面图像时，配置该相机的车辆的运动状态。采集时长可以根据相机采集图像的采集时间确定。
在一个具体的例子中，根据突变图像中像素点的运动状态，以及与时序在后的时序邻近图像之间的采集时长，可以确定该像素点映射到时序邻近图像中的位置，如果该位置在时序邻近图像的范围之外，则舍弃该像素点；如果该位置在时序邻近图像的范围之内，则将该像素点确定为待调整像素点，并将时序邻近图像中该位置的像素点，确定为该待调整像素点的标准像素点。
又如，根据突变图像的时序在前的时序邻近图像中像素点的运动状态，以及与突变图像之间的采集时长，可以确定该像素点映射到突变图像中的位置，如果该位置在突变图像的范围之外，则舍弃该像素点；如果该位置在突变图像的范围之内，则将该像素点确定为标准像素点，并将突变图像中该位置的像素点，确定为待调整像素点。
示例性的，可以采用光流法，将根据突变图像的像素点和对应的时序邻近图像的像素点的运动状态，以及突变图像与对应的时序邻近图像之间的采集时长，在突变图像包括的像素点中确定待调整像素点，以及在对应的时序邻近图像包括的像素点中确定标准像素点。
此外，还可以根据随机抽样一致(RANdom SAmple Consensus， RANSAC)算法对匹配点对进行筛选。RANSAC算法用于在一群样本中去掉噪声样本,得到有效的样本，具体是从多个匹配点对中筛选出稳定匹配点对。提高匹配点对的代表性，从而提高相机修正的准确率。
通过根据像素点的运动状态和采集时长，可以突变图像和时序邻近图像之间的像素点运动轨迹，从而，获取对应同一矢量坐标点的像素点对，以确定匹配点对，基于匹配点对中像素点在现实中指代的矢量坐标点的一致性，缩小匹配点对中两个像素点在目标视角下的差异，以修正相机外参，可以提高相机外参的修正准确率。
S203，在所述匹配点对中，获取属于时序邻近图像的像素点对应的矢量坐标点。
匹配点对中包括一个属于突变图像的像素点和一个属于该突变图像对应的一个时序邻近图像的像素点。
属于时序邻近图像的像素点对应的矢量坐标点，可以通过根据标准姿态的相机外参，对时序邻近图像的像素点进行转换，得到对应的目标视角点，并进行矢量转换，得到对应的矢量坐标点。
S204，将所述对应的矢量坐标点转换为目标视角下的标准目标视角点。
可以根据像素点对应的矢量坐标点，和图像对应的地理位置信息，对矢量坐标点进行转换，得到标准目标视角点。示例性的，可以通过前述公式将(ubv,vbv)转换为(ubw,vbw)，相应的，可以基于前述公式将(ubw,vbw) 逆变换为(ubv,vbv)。其中，可以预先计算各路面图像包括的各像素点对应的目标视角下的目标视角点和对应的矢量坐标点，此时直接获取对应的目标视角下的目标视角点和对应的矢量坐标点。
标准目标视角点为属于时序邻近图像的像素点对应的目标视角下的像素点。
S205，在所述匹配点对中，根据所述相机外参，将属于突变图像的像素点转换为目标视角下的待调整目标视角点。
待调整目标视角点为属于突变图像的像素点对应的目标视角下的像素点。可以根据相机外参，对属于突变图像的像素点进行转换，得到待调整目标视角点。
标准目标视角点作为正确的目标视角点，待调整目标视角点用于作为错误的需要调整的目标视角点，调整相机外参，以使待调整目标视角点不断接近标准目标视角点，从而确定采集突变图像的相机在当前姿态下的相机外参。
S206，将所述标准目标视角点和所述待调整目标视角点，确定为所述匹配点对在目标视角下的目标视角点对。
S207，根据所述目标视角点对中两个目标视角点之间的差异，修正所述突变图像对应的相机外参，所述相机外参用于将当前视角下的像素点转换为目标视角下的像素点。
可选的，所述相机外参为车载相机的相机外参。
相机可以配置于车辆上，实现在车辆行驶过程中，随着行驶的颠簸或上下坡等因素导致的相机姿态改变，实时调整相机外参，提高基于相机外参转换的目标视角下的图像的准确率，提高修正相机外参的实时性。
根据本公开的技术方案，通过将属于时序邻近图像的像素点对应的矢量坐标点，转换为目标视角下的标准目标视角点，并相机外参，将属于突变图像的像素点转换为目标视角下的待调整目标视角点，形成目标视角点对，实现调整相机外参，以将错误的待调整目标视角点，不断逼近正确的标准目标视角点，实现同一矢量坐标点在不同图像上的一致性，提高相机外参的修正准确率。
图3是根据本公开实施例公开的另一种相机外参校正方法的流程图，基于上述技术方案进一步优化与扩展，并可以与上述各个可选实施方式进行结合。所述相机外参校正方法，优化为：获取所述对应的时序邻近图像中路面特征的标准切线方向；根据所述标准切线方向，修正所述相机外参，以使所述突变图像的对应路面特征的待调整切线方向与所述标准切线方向一致。
S301，获取时间连续的多个路面图像，并分类得到突变图像和所述突变图像对应的时序邻近图像。
S302，获取所述对应的时序邻近图像中路面特征的标准切线方向。
路面特征可以是指路面上存在的代表路面的特征物体。时序邻近图像的路面特征用于作为修正突变图像的相机外参的标准，对突变图像的相机外参进行修正。路面特征可以是指具有一定长度的特征物体。例如，路面特征可以是交通标线。例如，交通标线可以包括：车道线、边缘线、导向箭头和停止线等。标准切线方向用于表示路面特征的方向。由于路面特征具有一定长度，标准切线方向可以标识路面特征的方向特征。
实际上，在时间连续的图像中，同一路面特征的位置和长度(近大远小)会改变，但同一路面特征的切线方向不变。由此可以利用突变图像中和时序邻近图像中同一路面特征的切线方向一致性，对突变图像的相机外参进行修正。
其中，标准切线方向是矢量参数，标准切线方向的获取可以是：可以根据标准相机外参或初始的相机外参，将时序邻近图像转换为目标视角下的图像，再将目标视角下的图像转换为世界坐标系下的矢量图，也即将目标视角下的像素点转换为世界坐标系下的矢量坐标点，得到路面特征的像素点区域对应的矢量坐标点的标准切线方向。路面特征的像素点区域对应的矢量坐标点的标准切线方向可以是：获取同一个边界线的多个边界像素点，并拟合成直线，得到该直线的切线方向，确定为标准切线方向。
S303，根据所述标准切线方向，修正所述相机外参，以使所述突变图像的对应路面特征的待调整切线方向与所述标准切线方向一致。
对应路面特征与时序邻近图像的路面特征相同。对应路面特征的待调整切线方向可以是指突变图像中与时序邻近图像的路面特征相同的路面特征的切线方向。在本公开实施例中相机在时间连续的路面图像的采集过程中的移动方向固定，相应的，突变图像中像素点和对应的时序邻近图像中像素点的移动方向一致，从而，突变图像的路面特征和对应的时序邻近图像的路面特征的切线方向一致。
待调整切线方向可以参考前述标准切线方向的确定方法。修正相机外参的方式具体可以是：获取相机外参修正量，并对标准相机外参进行累加，得到修正后的相机外参，基于修正的相机外参，计算新的待调整切线方向。根据新的待调整切线方向与标准切线方向之间的差异，与前一次待调整切线方向与标准切线方向之间的差异，之间的差异，确定下一次的相机外参修正量。不断修正相机外参，以使待调整切线方向与标准切线方向之间的差异满足匹配条件，确定待调整切线方向与标准切线方向一致。示例性的，差异满足匹配条件可以是差异包括的角度差值小于等于预设角度阈值。
S304，在所述突变图像包括的像素点和对应的时序邻近图像包括的像素点中，确定匹配点对，并确定所述匹配点对在目标视角下的目标视角点对。
S305，根据所述目标视角点对中两个目标视角点之间的差异，修正所述突变图像对应的相机外参，所述相机外参用于将当前视角下的像素点转换为目标视角下的像素点。
其中，S302-S303和S304-S305的顺序可以调整，两步相机外参的顺序可以调整。
此外，连续时间的路面图像使用的相机外参可以是标准相机外参，从而，每个突变图像的相机外参都是从标准相机外参开始调整。或者连续时间的路面图像使用的相机外参，可以是相邻时序的前一时间采集的路面图像的相机外参，从而，每个突变图像的相机外参并非都是从标准相机外参开始调整，可以是从相邻时序的前一时间采集的路面图像修正后的相机外参。具体可以根据需要进行设定，对此不具体限定。
可选的，所述根据所述目标视角点对中两个目标视角点之间的差异，修正所述突变图像对应的相机外参，包括：根据所述目标视角点对中两个目标视角点之间的差异，继续对修正的相机外参进行修正。
在根据标准切线方向修正相机外参的基础上，继续根据目标视角点对继续对修正后的相机外参进行修正。实际上，切线方向的修正是角度级别的修正，而目标视角点的修正是像素级别的修正。也即，相对于目标视角点对的修正粒度，切线方向的修正粒度更粗。
通过先根据标准切线方向对相机外参进行粗修，再根据目标视角点对相机外参进行精修，减少精修的范围，提高精修的效率，并且经过两步修正，进一步提高修正准确率。
根据本公开的技术方案，通过时序邻近图像的路面特征的切线方向与突变图像的路面特征的切线方向一致性，对相机外参进行修正，可以进一步对相机外参进行修正，从不同维度对相机外参进行修正，增加相机外参的修正的内容，提高修正的相机外参的准确率。
图4是根据本公开实施例公开的另一种相机外参校正方法的流程图，基于上述技术方案进一步优化与扩展，并可以与上述各个可选实施方式进行结合。所述分类得到突变图像和所述突变图像对应的时序邻近图像，具体化为：对各所述路面图像进行路面特征识别；根据各所述路面图像包括的路面特征，将各所述路面图像分类得到突变图像和正常图像；在各所述正常图像中，确定所述突变图像对应的时序邻近图像。
S401，获取时间连续的多个路面图像，并对各所述路面图像进行路面特征识别。
获取连续时间内，相机对路面进行图像采集得到的初始图像。根据预先标定的相机内参将初始图像转换为路面图像。示例性的，可以采用张正友棋盘格法对相机内参进行标定。相机内参用于对图像进行去畸变，提高图像质量，减少图像变形。
路面特征识别用于在路面图像中识别路面特征。示例性的，可以采用语义分割算法，在路面图像中识别路面特征的区域。例如，可以采用 DeepLabv3+实现语义分割。此外还可以在路面图像中将路面特征进一步细化，具体可以是：将语义分割图进行二值化，再进行骨架提取，将语义分割图的连通域细化成一个像素宽度，用于表征对应的路面特征，例如，交通标线语义信息。
S402，根据各所述路面图像包括的路面特征，将各所述路面图像分类得到突变图像和正常图像。
突变图像可以是指相机姿态改变时采集的图像，用于确定相机姿态与相机外参不匹配而引起的差异，以根据差异修正相机外参。正常图像为相机姿态稳定，且与标准相机外参的匹配的情况下，相机采集得到的图像。
通常，时间连续的路面图像中包括同一路面特征的区域，而同一路面特征映射到现实道路平面(也即世界坐标系)的数据理应是相同的。而突变图像包括的路面特征映射到现实道路平面中的数据，与采集时间在前和 /或采集时间在后的图像包括的路面特征现实道路平面中的数据不同。其中，路面特征映射到现实道路平面中的数据不同可以是指，突变图像包括的路面特征映射到现实道路平面中的数据(车道线)弯曲、数据(导向箭头) 倾斜或数据(边缘线)不平行等。实际上，在相机姿态稳定，相机外参不变的情况下，时间连续的多个路面图像的路面特征映射到现实道路平面的数据具有连贯性，不存在突变。但由于相机在拍摄过程中的姿态改变，导致相机外参改变，突变图像中的路面特征映射到现实道路平面的数据与正常图像的路面特征映射到现实道路平面的数据不一致。从而，可以根据映射到现实道路平面的数据在时间连续的图像中的不一致性，筛选出存在突变路面特征的突变图像，以及不存在突变路面特征的正常图像。
示例性的，可以根据标准相机外参将识别出路面特征的路面图像转换为目标视角下的图像，并根据各路面图像的采集位置，将目标视角下的图像转换为矢量图。由此，可以确定各路面特征在世界坐标系下的信息。根据路面特征在世界坐标系下的信息，找到时间连续的路面图像中，存在信息突变的图像，确定为突变图像，并将信息稳定不变的图像确定为正常图像。
可选的，所述根据各所述路面图像包括的路面特征，将各所述路面图像分类得到突变图像和正常图像，包括：根据所述路面图像包括的路面特征，确定所述路面特征的目标属性值；根据各所述路面图像的时序，和各所述路面图像包括的路面特征的目标属性值，确定各所述路面图像包括的路面特征的平均属性值；根据各所述路面图像包括的路面特征的目标属性值与平均属性值之间的差异，和标识属性阈值，对各所述路面图像进行分类，得到突变图像和正常图像。
路面图像的时序是指，路面图像的采集时间的次序。目标属性值用于量化路面特征的特征信息。目标属性值可以是指路面图像包括的路面特征的目标属性值。平均属性值是指时间连续的多个路面特征的目标属性值的均值。平均属性值用于衡量目标属性值是否突变，以筛选突变图像和正常图像。
各路面图像的时序，用于获取时间连续的多个路面图像，并确定为计算平均属性值的图像范围。示例性的，可以从路面图像中取出一个路面图像确定为当前路面图像，以当前路面图像为中心，按照时序，前后各取连续的N个路面图像，将2N+1个路面图像(1为当前路面图像)确定为当前路面图像的平均属性值的计算图像范围。此外，如果当前路面图像前或后的路面图像数量小于N，可以不取足，即最终数量小于2N+1；或者是从另外一侧获取更多的图像，最终获取当前路面图像相邻的连续2N个路面图像，也即最终获取的图像数量仍为2N+1。
可以获取存在同一路面特征的路面图像的时序，从而，确定时间连续的多个路面特征，从而根据该些路面特征的目标属性值，计算平均属性值。确定标识属性阈值用于筛选突变图像和正常图像。根据目标属性值与平均属性值之间的差异和标识属性阈值，分类得到突变图像和正常图像，可以是，将与平均属性值之间的差值大于等于标识属性阈值的目标属性值，对应的路面图像确定为突变图像；将与平均属性值之间的差值小于标识属性阈值的目标属性值，对应的路面图像确定为正常图像。
其中，路面特征的目标属性值可以包括至少一个类型的路面特征的至少一个类型的目标属性值。可以针对每个类型的路面特征的每个类型的目标属性值进行判断，在存在至少一个目标属性值，与对应的平均属性值之间的差值大于等于对应的标识属性阈值的情况下，将该些目标属性值对应的路面图像确定为突变图像。或者在存在至少一个目标属性值，与对应的平均属性值之间的差值小于对应的标识属性阈值的情况下，将该些目标属性值对应的路面图像确定为正常图像。例如，目标属性值可以包括两个车道之间的车道宽、边缘线之间的路宽、导向箭头之间的宽度变化量等。
示例性的，至少一个类型的路面特征包括车道线，至少一个类型的目标属性值包括车道线的车道宽误差，平均属性值为时间连续的2N+1个路面图像的车道宽误差均值。可以基于如下公式计算车道宽误差uk。
Figure BDA0003473037630000151
其中，如图5所示，在矢量图中，从底部到顶部间隔预设距离(例如0.3m)进行采样，
Figure BDA0003473037630000161
表示第k帧矢量图从左到右第i个车道，从底到顶第 j个采样的车道宽；
Figure BDA0003473037630000162
表示第k帧矢量图的时序相邻的至少一个矢量图像计算得到的平均车道宽。m为车道宽的数量，n为从底部到顶部的采样次数。示例性的，以当前帧第k帧为中心，可以获取2N+1的滑动帧，计算 2N+1的滑动帧的车道宽累计之和与2N+1之间的商，确定为当前帧第k 帧的平均车道宽。其中，2N+1的滑动帧包括在按照时序排序的图像中，第k帧的前N个帧、第k帧和第k帧的后N个帧图像形成的图像集合。
例如，标识属性阈值Throad＝0.3m，将目标属性值uk>Throad＝0.3m的路面图像添加到setbad＝{k1,k1∈mi,...,mj}，并确定为突变图像集合。将目标属性值uk≤Throad＝0.3m的路面图像添加到setgood＝{k2,k2∈ni,...,nj}，并确定为正常图像集合。
通过路面图像包括的路面特征的目标属性值，并确定与时间连续的多个路面图像包括的路面特征的统计平均属性值之间的差异，和标识属性阈值，对路面图像进行分类，可以准确确定存在路面特征的属性值突变的图像，提高突变图像的检测准确率。
S403，在各所述正常图像中，确定所述突变图像对应的时序邻近图像。
在正常图像中，筛选出与突变图像存在重叠区域的正常图像确定为时序邻近图像，例如，可以筛选在突变图像的采集时间之前和/或之后的多张图像，确定为时序邻近图像。其中，获取与采集时间之间时长为目标时长的正常图像，确定为突变图像。其中，目标时长可以根据路面图像的采集频率，相机的移动速度确定，目标时长用于确保时序邻近图像与突变图像存在重叠区域。或者可以直接获取与突变图像存在重叠区域的正常图像，确定为时序邻近图像，可以限制重叠区域的尺寸大于等于预设重叠阈值等。
S404，在所述突变图像包括的像素点和对应的时序邻近图像包括的像素点中，确定匹配点对，并确定所述匹配点对在目标视角下的目标视角点对。
S405，根据所述目标视角点对中两个目标视角点之间的差异，修正所述突变图像对应的相机外参，所述相机外参用于将当前视角下的像素点转换为目标视角下的像素点。
根据本公开的技术方案，通过在路面图像识别出路面特征，并根据路面图像中路面特征在连续时间上的一致性，筛选突变图像和正常图像，并在正常图像中筛选出时序与突变图像相邻的至少一个正常图像，确定为时序邻近图像，可以筛选出相机姿态与相机外参不匹配的突变图像，并根据突变图像和时序邻近图像中目标视角点对，根据相机姿态与相机外参不匹配引起的目标视角点对的差异，并通过差异修正相机外参，可以准确筛选出存在姿态改变的相机所采集的图像，并针对改变姿态所对应的相机外参进行修正，实现实时相机外参修正，同时针对性修正相机外参，提高相机外参的修正精准性。
图6是根据本公开实施例公开的另一种相机外参校正方法的场景图。相机为车载相机，当前视角为前视视角，也即相机采集得到的图像为前视视角下的图像，目标视角为俯视视角，目标视角下的图像为鸟瞰图。矢量图为矢量鸟瞰图。相机外参校正方法可以包括：
S601，采集前视图。
前视图为相机直接采集得到的初始图像。
S602，获取预先标定的相机内参。
S603，获取预先标定的标准相机外参。
标准相机外参也即初始相机外参。
S604，采用相机内参对前视图进行处理，得到去畸变的路面图像。
S605，在去畸变的路面图像中进行语义识别，得到路面特征。
可以采用DeepLabv3+在去畸变的路面图像中进行语义识别，并将语义分割图进行二值化，再进行骨架提取，将语义分割图的连通域细化成一个像素宽度，用于表征对应的路面特征。路面特征可以是交通标线语义信息。
S606，获取采集前视图的车辆的轨迹信息。
S607，将轨迹信息的时间戳与前视图的时间戳进行对齐，以使前视图的采集时间与轨迹信息中轨迹点的定位时间进行对准。
可以确定前视图对应的轨迹点的定位信息，从而，确定路面图像对应的定位信息。以前视图的采集时间为基准，对轨迹信息中的轨迹点进行线性插值，以确保轨迹点的定位时间与前视图的采集时间一致。
S608，根据相机外参和路面图像对应的定位信息，对路面图像包括的路面特征进行重投影，得到矢量图。
矢量图实际为矢量交通标线语义地图。重投影包括采用相机外参将前视图转换为鸟瞰图，以及根据定位信息将鸟瞰图转换为矢量鸟瞰图。
S609，根据各路面图像对应的矢量图中路面特征，筛选得到突变图像。
示例性的，根据各路面图像对应的矢量图中车道线确定世界坐标系中的车道宽误差；根据各世界坐标系路面图像的时序，和各世界坐标系路面图像包括的车道宽误差，确定各世界坐标系路面图像包括的路面特征的平均车道宽误差；根据各世界坐标系路面图像包括的车道线的车道宽误差与平均车道宽误差之间的差异，和标识属性阈值，对各世界坐标系路面图像进行分类，得到突变图像和正常图像。
S610，获取矢量图序列。
获取连续时间的路面图像对应的矢量图，形成矢量图序列。按照矢量鸟瞰图对应的路面图像的采集时间，进行排序，形成矢量图序列，例如，
Figure 2
。其中，N表示路面图像的帧数，或者总数。
S611，根据突变图像和矢量图序列，修正相机外参，并将修正后的相机外参更新突变图像对应的相机外参。
在除突变图像之外的路面图像中获取突变图像对应的时序邻近图像。针对每个突变图像，先获取对应的时序邻近图像中路面特征的标准切线方向；根据标准切线方向，修正该突变图像对应的相机外参，以使突变图像的对应路面特征的待调整切线方向与标准切线方向一致。再根据突变图像与对应的时序邻近图像，确定匹配点对，并根据对应的目标视角点对中两个目标视角点之间的差异，继续修正突变图像对应的相机外参。
在一个具体的例子中，在突变图像集合中选择ki作为当前待处理帧，从除突变图像之外的路面图像形成的正常图像集合，选择对应的矢量鸟瞰图与ki帧对应的矢量鸟瞰图存在重叠区域的图像帧，确定为时序邻近图像。加入ki对应的时序邻近图像集合，如set’good＝{k’2,k’2∈n’i,...,n’j}。
从set’good中选择至少一个时序邻近图像，并针对每个选择的时序邻近图像，在该时序邻近图像对应的矢量图中查询与ki帧对应的矢量图中重叠的车道线，获取该时序邻近图像对应的矢量图中重叠的车道线的标准切线方向，和ki帧对应的矢量图中重叠的车道线的待调整切线方向，粗略修正相机外参，使得ki帧对应的矢量图中车道线的待调整切线方向与时序邻近图像对应的矢量图中的车道线的标准切线方向保持一致。针对该时序邻近图像对应的矢量图与ki帧对应的矢量图中，至少一个重叠的车道线均进行相机外参修正。修正完成之后，选择下一个时序邻近图像继续修正。
使用光流法对ki帧和对应的每一帧时序邻近图像进行特征点提取与匹配，得到初始匹配点对，并通过RANSAC算法提取稳定匹配点对，添加到匹配点对集合中，例如，
Figure BDA0003473037630000191
其中，
Figure BDA0003473037630000192
表示ki帧包括的待调整像素点，
Figure BDA0003473037630000193
表示k’2帧时序邻近图像包括的标准像素点。
在每个匹配点对中，针对时序临近图像对应的矢量图，标准像素点
Figure BDA0003473037630000194
获取对应的矢量坐标点，并逆转换到鸟瞰图中，得到标准目标视角点，例如，
Figure BDA0003473037630000195
用于表示
Figure BDA0003473037630000196
在ki帧对应的鸟瞰图中的标准像素点。根据突变图像的相机外参H，将待调整像素点
Figure BDA0003473037630000197
转换为鸟瞰图中的待调整目标视角点，例如，
Figure BDA0003473037630000198
用于表示
Figure BDA0003473037630000199
在ki帧对应的鸟瞰图中的待调整像素点。匹配点对，相应的，转换为目标视角点对，也即目标鸟瞰点对，如
Figure BDA00034730376300001910
针对目标视角点对集合PPfb，设计优化函数
Figure BDA00034730376300001911
使用RANSAC算法获取最优变换矩阵，从而更新相机外参H，实现修正 ki帧代表的突变图像对应的相机外参。
本公开实施例通过根据交通标线特征进行语义地图构建，对突变位置进行特征推理，使用前后邻域特征进行逆投影变换，生成准确鸟瞰图，大幅度提升了鸟瞰图要素的定位精度，进一步提高道路影像图的直观性和准确性。
根据本公开的实施例，图7是本公开实施例中的相机外参校正装置的结构图，本公开实施例适用于对车载相机的用于实现当前视角与目标视角转换的外参进行修正的情况。该装置采用软件和/或硬件实现，并具体配置于具备一定数据运算能力的电子设备中。
如图7所示的一种相机外参校正装置700，包括：图像分类模块701、点对获取模块702和外参修正模块703；其中，
图像分类模块701，用于获取时间连续的多个路面图像，并分类得到突变图像和所述突变图像对应的时序邻近图像；
点对获取模块702，用于在所述突变图像包括的像素点和对应的时序邻近图像包括的像素点中，确定匹配点对，并确定所述匹配点对在目标视角下的目标视角点对；
外参修正模块703，用于根据所述目标视角点对中两个目标视角点之间的差异，修正所述突变图像对应的相机外参，所述相机外参用于将当前视角下的像素点转换为目标视角下的像素点。
根据本公开的技术方案，通过获取仿真系统的采集初始时刻和系统初始时刻，并获取运行中的当前系统时刻，以及仿真系统在该运行过程中接收到的系统控制指令，并根确定偏差时长和运行时长，基于偏差时长对运行时长进行修正，并基于采集初始时刻，获取当前仿真时刻，可以模拟得到真实系统达到相同状态下的真实时间，实现对仿真时间的矫正，提高仿真时刻的检测准确率，从而提高仿真结果的准确率。
进一步的，所述点对获取模块702，包括：矢量坐标点获取单元，用于在所述匹配点对中，获取属于时序邻近图像的像素点对应的矢量坐标点；标准目标视角点确定单元，用于将所述对应的矢量坐标点转换为目标视角下的标准目标视角点；待调整目标视角点确定单元，用于在所述匹配点对中，根据所述相机外参，将属于突变图像的像素点转换为目标视角下的待调整目标视角点；目标视角点对确定单元，用于将所述标准目标视角点和所述待调整目标视角点，确定为所述匹配点对在目标视角下的目标视角点对。
进一步的，所述点对获取模块702，包括：运动一致性分析单元，用于根据所述突变图像的像素点和对应的时序邻近图像的像素点的运动状态，以及所述突变图像与所述对应的时序邻近图像之间的采集时长，在所述突变图像包括的像素点中确定待调整像素点，以及在所述对应的时序邻近图像包括的像素点中确定标准像素点，其中，所述待调整像素点和所述标准像素点对应同一矢量坐标点；匹配点对获取单元，用于将所述待调整像素点和所述标准像素点，确定为匹配点对。
进一步的，所述相机外参校正装置，还包括：标准切线方向获取模块，用于获取所述对应的时序邻近图像中路面特征的标准切线方向；相机外参粗调模块，用于根据所述标准切线方向，修正所述相机外参，以使所述突变图像的对应路面特征的待调整切线方向与所述标准切线方向一致。
进一步的，所述外参修正模块703，包括：相机外参细调单元，用于根据所述目标视角点对中两个目标视角点之间的差异，继续对修正的相机外参进行修正。
进一步的，所述图像分类模块701，包括：路面特征识别单元，用于对各所述路面图像进行路面特征识别；图像分类单元，用于根据各所述路面图像包括的路面特征，将各所述路面图像分类得到突变图像和正常图像；相似图像查询单元，用于在各所述正常图像中，确定所述突变图像对应的时序邻近图像。
进一步的，所述路面特征识别单元，包括：路面特征属性值确定子单元，用于根据所述路面图像包括的路面特征，确定所述路面特征的目标属性值；平均属性值确定子单元，用于根据各所述路面图像的时序，和各所述路面图像包括的路面特征的目标属性值，确定各所述路面图像包括的路面特征的平均属性值；属性值分类子单元，用于根据各所述路面图像包括的路面特征的目标属性值与平均属性值之间的差异，和标识属性阈值，对各所述路面图像进行分类，得到突变图像和正常图像。
进一步的，所述相机外参校正装置，还包括：目标视角转换模块，用于根据初始的相机外参，将所述路面图像包括的像素点，转换为目标视角下的目标视角点；定位模块，用于获取所述路面图像对应的采集位置；矢量坐标获取模块，用于根据所述采集位置，将所述目标视角点转换为矢量坐标点，并确定为所述路面图像包括的像素点对应的矢量坐标点。
进一步的，所述相机外参为车载相机的相机外参。
上述相机外参校正装置可执行本公开任意实施例所提供的相机外参校正方法，具备执行相机外参校正方法相应的功能模块和有益效果。
本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图8示出了可以用来实施本公开的实施例的示例电子设备800的示意性区域图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图8所示，设备800包括计算单元801，其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序，来执行各种适当的动作和处理。在 RAM 803中，还可存储设备800操作所需的各种程序和数据。计算单元 801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O) 接口805也连接至总线804。
设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如相机外参校正方法方法。例如，在一些实施例中，相机外参校正方法方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由计算单元801执行时，可以执行上文描述的相机外参校正方法方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行相机外参校正方法方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/ 或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或区域图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入) 来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (21)

1.一种相机外参校正方法，包括：
获取时间连续的多个路面图像，并分类得到突变图像和所述突变图像对应的时序邻近图像；
在所述突变图像包括的像素点和对应的时序邻近图像包括的像素点中，确定匹配点对，并确定所述匹配点对在目标视角下的目标视角点对；
根据所述目标视角点对中两个目标视角点之间的差异，修正所述突变图像对应的相机外参，所述相机外参用于将当前视角下的像素点转换为目标视角下的像素点。
2.根据权利要求1所述的方法，其中，所述确定所述匹配点对在目标视角下的目标视角点对，包括：
在所述匹配点对中，获取属于时序邻近图像的像素点对应的矢量坐标点；
将所述对应的矢量坐标点转换为目标视角下的标准目标视角点；
在所述匹配点对中，根据所述相机外参，将属于突变图像的像素点转换为目标视角下的待调整目标视角点；
将所述标准目标视角点和所述待调整目标视角点，确定为所述匹配点对在目标视角下的目标视角点对。
3.根据权利要求1所述的方法，其中，所述在所述突变图像包括的像素点和对应的时序邻近图像包括的像素点中，确定匹配点对，包括：
根据所述突变图像的像素点和对应的时序邻近图像的像素点的运动状态，以及所述突变图像与所述对应的时序邻近图像之间的采集时长，在所述突变图像包括的像素点中确定待调整像素点，以及在所述对应的时序邻近图像包括的像素点中确定标准像素点，其中，所述待调整像素点和所述标准像素点对应同一矢量坐标点；
将所述待调整像素点和所述标准像素点，确定为匹配点对。
4.根据权利要求1所述的方法，还包括：
获取所述对应的时序邻近图像中路面特征的标准切线方向；
根据所述标准切线方向，修正所述相机外参，以使所述突变图像的对应路面特征的待调整切线方向与所述标准切线方向一致。
5.根据权利要求4所述的方法，其中，所述根据所述目标视角点对中两个目标视角点之间的差异，修正所述突变图像对应的相机外参，包括：
根据所述目标视角点对中两个目标视角点之间的差异，继续对修正的相机外参进行修正。
6.根据权利要求1所述的方法，其中，所述分类得到突变图像和所述突变图像对应的时序邻近图像，包括：
对各所述路面图像进行路面特征识别；
根据各所述路面图像包括的路面特征，将各所述路面图像分类得到突变图像和正常图像；
在各所述正常图像中，确定所述突变图像对应的时序邻近图像。
7.根据权利要求6所述的方法，其中，所述根据各所述路面图像包括的路面特征，将各所述路面图像分类得到突变图像和正常图像，包括：
根据所述路面图像包括的路面特征，确定所述路面特征的目标属性值；
根据各所述路面图像的时序，和各所述路面图像包括的路面特征的目标属性值，确定各所述路面图像包括的路面特征的平均属性值；
根据各所述路面图像包括的路面特征的目标属性值与平均属性值之间的差异，和标识属性阈值，对各所述路面图像进行分类，得到突变图像和正常图像。
8.根据权利要求2所述的方法，还包括：
根据初始的相机外参，将所述路面图像包括的像素点，转换为目标视角下的目标视角点；
获取所述路面图像对应的采集位置；
根据所述采集位置，将所述目标视角点转换为矢量坐标点，并确定为所述路面图像包括的像素点对应的矢量坐标点。
9.根据权利要求1所述的方法，其中，所述相机外参为车载相机的相机外参。
10.一种相机外参校正装置，包括：
图像分类模块，用于获取时间连续的多个路面图像，并分类得到突变图像和所述突变图像对应的时序邻近图像；
点对获取模块，用于在所述突变图像包括的像素点和对应的时序邻近图像包括的像素点中，确定匹配点对，并确定所述匹配点对在目标视角下的目标视角点对；
外参修正模块，用于根据所述目标视角点对中两个目标视角点之间的差异，修正所述突变图像对应的相机外参，所述相机外参用于将当前视角下的像素点转换为目标视角下的像素点。
11.根据权利要求10所述的装置，其中，所述点对获取模块，包括：
矢量坐标点获取单元，用于在所述匹配点对中，获取属于时序邻近图像的像素点对应的矢量坐标点；
标准目标视角点确定单元，用于将所述对应的矢量坐标点转换为目标视角下的标准目标视角点；
待调整目标视角点确定单元，用于在所述匹配点对中，根据所述相机外参，将属于突变图像的像素点转换为目标视角下的待调整目标视角点；
目标视角点对确定单元，用于将所述标准目标视角点和所述待调整目标视角点，确定为所述匹配点对在目标视角下的目标视角点对。
12.根据权利要求10所述的装置，其中，所述点对获取模块，包括：
运动一致性分析单元，用于根据所述突变图像的像素点和对应的时序邻近图像的像素点的运动状态，以及所述突变图像与所述对应的时序邻近图像之间的采集时长，在所述突变图像包括的像素点中确定待调整像素点，以及在所述对应的时序邻近图像包括的像素点中确定标准像素点，其中，所述待调整像素点和所述标准像素点对应同一矢量坐标点；
匹配点对获取单元，用于将所述待调整像素点和所述标准像素点，确定为匹配点对。
13.根据权利要求10所述的装置，还包括：
标准切线方向获取模块，用于获取所述对应的时序邻近图像中路面特征的标准切线方向；
相机外参粗调模块，用于根据所述标准切线方向，修正所述相机外参，以使所述突变图像的对应路面特征的待调整切线方向与所述标准切线方向一致。
14.根据权利要求13所述的装置，其中，所述外参修正模块，包括：
相机外参细调单元，用于根据所述目标视角点对中两个目标视角点之间的差异，继续对修正的相机外参进行修正。
15.根据权利要求10所述的装置，所述图像分类模块，包括：
路面特征识别单元，用于对各所述路面图像进行路面特征识别；
图像分类单元，用于根据各所述路面图像包括的路面特征，将各所述路面图像分类得到突变图像和正常图像；
相似图像查询单元，用于在各所述正常图像中，确定所述突变图像对应的时序邻近图像。
16.根据权利要求15所述的装置，其中，所述路面特征识别单元，包括：
路面特征属性值确定子单元，用于根据所述路面图像包括的路面特征，确定所述路面特征的目标属性值；
平均属性值确定子单元，用于根据各所述路面图像的时序，和各所述路面图像包括的路面特征的目标属性值，确定各所述路面图像包括的路面特征的平均属性值；
属性值分类子单元，用于根据各所述路面图像包括的路面特征的目标属性值与平均属性值之间的差异，和标识属性阈值，对各所述路面图像进行分类，得到突变图像和正常图像。
17.根据权利要求11所述的装置，还包括：
目标视角转换模块，用于根据初始的相机外参，将所述路面图像包括的像素点，转换为目标视角下的目标视角点；
定位模块，用于获取所述路面图像对应的采集位置；
矢量坐标获取模块，用于根据所述采集位置，将所述目标视角点转换为矢量坐标点，并确定为所述路面图像包括的像素点对应的矢量坐标点。
18.根据权利要求10所述的装置，其中，所述相机外参为车载相机的相机外参。
19.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-9中任一项所述的相机外参校正方法。
20.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-9中任一项所述的相机外参校正方法。
21.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-9中任一项所述的相机外参校正方法。
CN202210049105.0A 2022-01-17 2022-01-17 相机外参校正方法、装置、电子设备和存储介质 Active CN114419165B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210049105.0A CN114419165B (zh) 2022-01-17 2022-01-17 相机外参校正方法、装置、电子设备和存储介质
US18/054,773 US20230230392A1 (en) 2022-01-17 2022-11-11 Camera extrinsic parameter correction method and apparatus, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210049105.0A CN114419165B (zh) 2022-01-17 2022-01-17 相机外参校正方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN114419165A true CN114419165A (zh) 2022-04-29
CN114419165B CN114419165B (zh) 2024-01-12

Family

ID=81274308

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210049105.0A Active CN114419165B (zh) 2022-01-17 2022-01-17 相机外参校正方法、装置、电子设备和存储介质

Country Status (2)

Country Link
US (1) US20230230392A1 (zh)
CN (1) CN114419165B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115512242A (zh) * 2022-07-22 2022-12-23 北京微视威信息科技有限公司 场景变化检测方法及飞行装置
CN115542301A (zh) * 2022-11-24 2022-12-30 北京理工大学深圳汽车研究院(电动车辆国家工程实验室深圳研究院) 激光雷达外部参数的校准方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110211176A (zh) * 2019-05-31 2019-09-06 驭势科技（北京）有限公司 一种相机外参数校正系统与方法
WO2019184885A1 (zh) * 2018-03-30 2019-10-03 杭州海康威视数字技术股份有限公司 一种相机外参标定方法、装置及电子设备
CN112509054A (zh) * 2020-07-20 2021-03-16 北京智行者科技有限公司 一种相机外参动态标定方法
CN113409459A (zh) * 2021-06-08 2021-09-17 北京百度网讯科技有限公司 高精地图的生产方法、装置、设备和计算机存储介质
CN113822943A (zh) * 2021-09-17 2021-12-21 中汽创智科技有限公司 一种相机的外参标定方法、装置、系统及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019184885A1 (zh) * 2018-03-30 2019-10-03 杭州海康威视数字技术股份有限公司 一种相机外参标定方法、装置及电子设备
CN110211176A (zh) * 2019-05-31 2019-09-06 驭势科技（北京）有限公司 一种相机外参数校正系统与方法
CN112509054A (zh) * 2020-07-20 2021-03-16 北京智行者科技有限公司 一种相机外参动态标定方法
CN113409459A (zh) * 2021-06-08 2021-09-17 北京百度网讯科技有限公司 高精地图的生产方法、装置、设备和计算机存储介质
CN113822943A (zh) * 2021-09-17 2021-12-21 中汽创智科技有限公司 一种相机的外参标定方法、装置、系统及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李铁成 等: "基于相机内外参数的机载光电平台图像几何校正", 《压电与声光》, vol. 38, no. 1, pages 32 - 37 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115512242A (zh) * 2022-07-22 2022-12-23 北京微视威信息科技有限公司 场景变化检测方法及飞行装置
CN115512242B (zh) * 2022-07-22 2023-05-30 北京微视威信息科技有限公司 场景变化检测方法及飞行装置
CN115542301A (zh) * 2022-11-24 2022-12-30 北京理工大学深圳汽车研究院(电动车辆国家工程实验室深圳研究院) 激光雷达外部参数的校准方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN114419165B (zh) 2024-01-12
US20230230392A1 (en) 2023-07-20

Similar Documents

Publication Publication Date Title
US10964054B2 (en) Method and device for positioning
CN108279670B (zh) 用于调整点云数据采集轨迹的方法、设备以及计算机可读介质
CN108446634B (zh) 基于视频分析和定位信息结合的航空器持续跟踪方法
CN113989450B (zh) 图像处理方法、装置、电子设备和介质
CN114419165B (zh) 相机外参校正方法、装置、电子设备和存储介质
CN112197764B (zh) 实时位姿确定方法、装置及电子设备
CN111829532B (zh) 一种飞行器重定位系统和重定位方法
WO2021017213A1 (zh) 一种视觉定位效果自检方法及车载终端
CN114565863B (zh) 无人机图像的正射影像实时生成方法、装置、介质及设备
CN110795978B (zh) 路面点云数据提取方法、装置、存储介质及电子设备
CN111738033B (zh) 基于平面分割的车辆行驶信息确定方法及装置、车载终端
WO2021017211A1 (zh) 一种基于视觉的车辆定位方法、装置及车载终端
CN111402161A (zh) 点云障碍物的去噪方法、装置、设备和存储介质
CN105606123A (zh) 一种低空航空摄影测量自动纠正数字地面高程模型的方法
CN111256711A (zh) 车辆位姿矫正方法、装置、设备及存储介质
CN111664845B (zh) 交通标志定位、视觉地图制作方法及装置、定位系统
CN110675442A (zh) 一种结合目标识别技术的局部立体匹配方法及系统
CN115131761B (zh) 道路边界的识别方法、绘制方法及装置
CN113312435A (zh) 高精度地图更新方法和设备
CN115937449A (zh) 高精地图生成方法、装置、电子设备和存储介质
CN112613372B (zh) 一种室外环境视觉惯性slam方法及装置
CN116052097A (zh) 一种地图要素检测方法、装置、电子设备和存储介质
CN113901903A (zh) 道路识别方法和装置
CN114519686A (zh) 用于检测路牙的方法、装置、电子设备和介质
Subash Automatic road extraction from satellite images using extended Kalman filtering and efficient particle filtering

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant