CN112785653B - 车载相机姿态角标定方法 - Google Patents

车载相机姿态角标定方法 Download PDF

Info

Publication number
CN112785653B
CN112785653B CN202011643622.8A CN202011643622A CN112785653B CN 112785653 B CN112785653 B CN 112785653B CN 202011643622 A CN202011643622 A CN 202011643622A CN 112785653 B CN112785653 B CN 112785653B
Authority
CN
China
Prior art keywords
vehicle
camera
license plate
information
calibrated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011643622.8A
Other languages
English (en)
Other versions
CN112785653A (zh
Inventor
杨永富
王珂
胡春文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongshan United Automotive Technology Co ltd
Original Assignee
Zhongshan United Automotive Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongshan United Automotive Technology Co ltd filed Critical Zhongshan United Automotive Technology Co ltd
Priority to CN202011643622.8A priority Critical patent/CN112785653B/zh
Publication of CN112785653A publication Critical patent/CN112785653A/zh
Application granted granted Critical
Publication of CN112785653B publication Critical patent/CN112785653B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种车载相机姿态角标定方法，本发明通过获取待标定车载前视相机采集的图像信息，以及预设车载雷达采集前方车辆的车辆行驶信息，根据图像信息获取前方车辆的车牌信息，根据车牌信息及所述车辆行驶信息确定待标定车载前视相机是否满足预设自动标定条件，在满足所述预设自动标定条件时，根据车牌信息、相机内参数及相机位置参数对待测车载前视相机进行姿态标定，以获得相机姿态角。由于是通过前视相机和雷达对相机姿态进行标定，本发明相对于现有技术前视相机姿态会由于载重、振动、温度等原因发生变化，从而导致相机姿态参数不准确，本发明实现了对前视相机姿态的自动标定，从而提升相机姿态参数准确性。

Description

车载相机姿态角标定方法
技术领域
本发明涉及汽车技术领域，尤其涉及一种车载相机姿态角标定方法。
背景技术
目前，随着汽车行业的发展，对于前车位置获取是高级驾驶辅助系统的一项基础任务，现有技术主要通过车辆前视系统确定前车位置，但是车辆前视系统的姿态会由于热胀冷缩、机械振动、车辆负载变化等原因发生变化，车载相机姿态角标定不准确，从而导致前车位置测量误差变大。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种车载相机姿态角标定方法，旨在解决现有技术中对于车载相机姿态角标定不准确的技术问题。
为实现上述目的，本发明提供一种车载相机姿态角标定方法，所述车载相机姿态角标定方法包括以下步骤：
获取待标定车载前视相机采集的图像信息，以及预设车载雷达采集前方车辆的车辆行驶信息；
根据所述图像信息获取所述前方车辆的车牌信息；
根据所述车牌信息及所述车辆行驶信息确定待标定车载前视相机是否满足预设自动标定条件；
在满足所述预设自动标定条件时，获取所述待标定车载前视相机的相机内参数和相机位置参数；
根据所述车牌信息、所述相机内参数及所述相机位置参数对所述待标定车载前视相机进行姿态标定，以获得相机姿态角。
优选地，所述根据所述图像信息获取所述前方车辆的车牌信息的步骤，包括：
根据所述图像信息和预设深度学习算法确定所述前方车辆的车牌类型及车牌数量；
根据所述车牌类型确定车牌尺寸，并根据所述车牌尺寸确定车牌坐标系中的车牌顶点坐标；
根据所述车牌类类型、所述车牌数量、所述前车车牌尺寸及所述车牌顶点坐标确定所述前方车辆的车牌信息。
优选地，所述根据所述车牌信息及所述车辆行驶信息确定待标定车载前视相机是否满足预设自动标定条件的步骤，包括：
从所述车辆行驶信息中提取目标车辆与前方车辆之间的相对距离、所述前方车辆的运动轨迹信息及车辆数量；
根据所述车牌类型、所述前方车辆的车牌数量、所述相对距离、所述运动轨迹信息及所述车辆数量确定待标定车载前视相机是否满足预设自动标定条件。
优选地，所述根据所述车牌类型、所述前方车辆的车牌数量、所述相对距离、所述运动轨迹信息及所述车辆数量确定待标定车载前视相机是否满足预设自动标定条件的步骤，包括：
在所述前方车辆的车牌类型均相同、所述相对距离处于预设范围内、所述运动轨迹信息中的运动轨迹均为直线，并且所述车牌数量与所述车辆数量相等时，确定所述待标定车载前视相机满足预设标定开启条件。
优选地，所述根据所述车牌信息、所述相机内参数及所述相机位置参数对所述待标定车载前视相机进行姿态标定，以获得相机姿态角的步骤，包括：
根据预设深度学习模型、所述车牌信息、所述相机内参数及所述相机位置参数确定前方车辆的车牌最小外接四边形顶点的像素坐标检测值；
根据所述车牌信息、所述相机内参数及所述相机位置参数确定前方车辆的车牌最小外接四边形顶点的像素坐标估计值；
根据所述像素坐标检测值和所述像素坐标估计值对所述待标定车载前视相机进行姿态标定，以获得相机姿态角。
优选地，所述根据所述像素坐标检测值和所述像素坐标估计值对所述待标定车载前视相机进行姿态标定，以获得相机姿态角的步骤，包括：
根据所述像素坐标估计值及所述像素坐标检测值确定误差函数；
最小化所述误差函数确定待标定车载前视相机姿态角。
本发明通过获取待标定车载前视相机采集的图像信息，以及预设车载雷达采集前方车辆的车辆行驶信息；根据所述图像信息获取所述前方车辆的车牌信息；根据所述车牌信息及所述车辆行驶信息确定待标定车载前视相机是否满足预设自动标定条件；在满足所述预设自动标定条件时，获取所述待标定车载前视相机的相机内参数和相机位置参数；根据所述车牌信息、所述相机内参数及所述相机位置参数对所述待标定车载前视相机进行姿态标定，以获得相机姿态角。由于是通过前视相机和雷达对相机姿态进行标定，本发明相对于现有技术前视相机姿态会由于载重、振动、温度等原因发生变化，从而导致相机姿态参数不准确，本发明实现了对前视相机姿态的自动标定，从而提升相机姿态参数准确性。
附图说明
图1为本发明车载相机姿态角标定方法第一实施例的流程示意图；
图2为本发明车载相机姿态角标定方法第二实施例的流程示意图；
图3为本发明车载相机姿态角标定方法第三实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明车载相机姿态角标定方法第一实施例的流程示意图，提出本发明车载相机姿态角标定方法第一实施例。
在本实施例中，所述车载相机姿态角标定方法包括以下步骤：
步骤S10：获取待标定车载前视相机采集的图像信息，以及预设车载雷达采集前方车辆的车辆行驶信息。
需说明的是，本实施例的执行主体可以是具有车载相机姿态角标定功能的设备，该设备可以是车载电脑、平板电脑、手机、笔记本等设备，该实施例以车载电脑为说明，本实施例对此不做限制，在本实施例以及下述各实施例中以车载电脑为例对本发明车载相机姿态角标定方法进行说明。。
应理解的是，待标定车载前视相机可以是安装在目标车辆车前挡风玻璃上端或下端中央位置附近的相机，预设车载雷达可以是指预先设置在目标车辆上的毫米波雷达，前方车辆可以是指行驶在目标车辆前方的车辆，前方车辆可以是一辆车也可以是多辆车。目标车辆可以是本车车体。即待标定车载前视相机可以是本车车体上装载的相机
可理解的是，图像信息可以指前视相机采集的前方车辆的图像信息，所述图像信息可以包含前方车辆的车牌信息，例如：车牌颜色、车牌尺寸及车牌坐标等信息。车辆行驶信息可以是毫米波雷达采集到的距离、前方车辆运动轨迹等信息。
具体实现中，车载电脑可以通过前视相机获取待标定车载前视相机采集的图像信息，毫米波雷达获取前方车辆的车辆行驶信息。
步骤S20：根据所述图像信息获取所述前方车辆的车牌信息。
需说明的是，车牌信息可以包含车牌颜色、车牌尺寸及车牌类型等信息。
可理解的是，车牌颜色包括白色、蓝色、黄色、绿色和黑色，车牌尺寸可以是440mmx140mm，对于两、三轮摩托车220mmx95mm，车牌类型可以是民用车牌、武警车牌、军车车牌。
具体实现中，车载电脑通过前视相机采集的图像信息确定前方车辆的车牌信息。
步骤S30：根据所述车牌信息及所述车辆行驶信息确定待标定车载前视相机是否满足预设自动标定条件。
需说明的是，预设自动标定条件可以是指需要对车载前视相机进行标定时所要达到的条件。预设自动标定条件可以是人为设置的标定条件也可以是根据车辆配置的参数设置的标定条件
可理解的是，车辆行驶信息可以包含目标车辆的行驶信息也可以包含前方车辆的行驶信息，例如：目标车辆行驶速度、前方车辆行驶速度、前方车辆运动轨迹轨迹等信息。
具体实现中，车载电脑可以根据所述车牌信息及所述车辆行驶信息确定待标定车载前视相机是否满足预设自动标定条件。
步骤S40：在满足所述预设自动标定条件时，获取所述待标定车载前视相机的相机内参数和相机位置参数。
需说明的是，前视相机具有相机内参数和相机外参数，相机的内参数和外参数可以用于表征世界坐标系、相机坐标系、本车车体坐标系、像素坐标系之间的转换关系。相机外参数包括相位置参数和相机姿态参数，而相机姿态参数是需要标定的参数。
可理解的是，相机内参数可以是指相机坐标到像素坐标的转换参数，相机内参数可以根据相机内参中的焦距计算得到。
应理解的是，相机外参数可以是世界坐标到相机坐标的转换参数，即可以是指相机现对于本车车体坐标系的位置参数和姿态参数。
具体实现中，车载电脑可以通过车载前视相机获取待标定车载前视相机的相机参数。
步骤S50：根据所述车牌信息、所述相机内参数及所述相机位置参数对所述待标定车载前视相机进行姿态标定，以获得相机姿态角。
需说明的是，标定可以是指对相机的姿态进行标定，根据相机姿态角可以确定相机的姿态参数。相机姿态角包含三个角度的参数，即相机的方位角ϕ、俯仰角θ和横滚角ψ。
可理解的是，标定过程可以是根据相机参数和车牌信息进行自动标定。
具体实现中，车载电脑可以根据相机参数对车牌信息中包含的坐标信息就进行坐标转换，并对相机的姿态进行自动标定。
本施例通过获取待标定车载前视相机采集的图像信息，以及预设车载雷达采集前方车辆的车辆行驶信息；根据所述图像信息获取所述前方车辆的车牌信息；根据所述车牌信息及所述车辆行驶信息确定待标定车载前视相机是否满足预设自动标定条件；在满足所述预设自动标定条件时，获取所述待标定车载前视相机的相机内参数和相机位置参数；根据所述车牌信息、所述相机内参数及所述相机位置参数对所述待标定车载前视相机进行姿态标定，以获得相机姿态角。由于是通过前视相机和雷达对相机姿态进行标定，本发明相对于现有技术前视相机姿态会由于载重、振动、温度等原因发生变化，从而导致相机姿态参数不准确，本发明实现了对前视相机姿态的自动标定，从而提升相机姿态参数准确性。
参照图3，图3为本发明车载相机姿态角标定方法第二实施例的流程示意图，基于上述图2所示的第一实施例，提出本发明车载相机姿态角标定方法的第二实施例。
在本实施例中，所述步骤S20，包括：
步骤S201：根据所述图像信息和预设深度学习模型确定所述前方车辆的车牌类型及车牌数量。
需说明的是，预设深度学习模型可以是根据深度学习算法构建的模型。
具体实现中，根据预设深度学习模型对图像信息进行训练，以获得训练结果，根据训练结果确定前方车辆的车牌类型及车牌数量。
步骤S202：根据所述车牌类型确定车牌尺寸，并根据所述车牌尺寸确定车牌坐标系中的车牌顶点坐标。
需说明的是，车牌顶点坐标可以根据车牌尺寸所确定，例如：车牌有四个顶点，将其中一个顶点作为原点，输出另外三个顶点坐标参数。
可理解的是，车牌尺寸可以是由宽度w，高度为h构成，车牌坐标系中的车牌坐标顶点可以由X p0=(w,0,0)T、X p1=(w,h,0)T、X p2=(0,h,0)T构成。
具体实现中，车载电脑可以根据采集到的车牌信息中车牌尺寸车牌顶点在前车车牌坐标系中的车牌顶点坐标，例如：在日常情况下，蓝色车牌的大小为440mmX140mm，即此时车牌的三个顶点的坐标分别为X pi0=(440,0,0)T、X pi1=(440,140,0)T、X pi2=(0,140,0)T。
步骤S203：根据所述车牌类型、所述车牌数量、所述前车车牌尺寸及所述车牌顶点坐标确定所述前方车辆的车牌信息。
需说明的是，车牌类型可以通过图像信息中车牌对应的颜色确定车牌类型，车牌尺寸可以根据车牌类型对应的预设尺寸映射表所确定，例如：蓝色车牌的尺寸是440mmx140mm。
进一步地，步骤S30，包括：从所述车辆行驶信息中提取目标车辆与前方车辆之间的相对距离、所述前方车辆的运动轨迹信息及车辆数量；根据所述车牌类型、所述前方车辆的车牌数量、所述相对距离、所述运动轨迹信息及所述车辆数量确定待标定车载前视相机是否满足预设自动标定条件。
需说明的是，相对距离可以是通过毫米波雷达探测的目标车辆车速和前方车辆的速度计算得到的距离。
可理解的是，运动轨迹信息可以是通过毫米波雷达连续跟踪前方车辆的相对方位角所确定的轨迹信息。
应理解的是，车辆数量可以根据接收的毫米波雷达反射波中包含的特征点，根据特征点的密集度确定车辆数量。
具体实现中，车载电脑可以根据目标车辆与前方车辆之间的相对距离、所述前方车辆的运动轨迹信息及车辆数量；根据所述前方车辆的车牌类型、所述前方车辆的车牌数量、所述相对距离、所述运动轨迹信息及所述车辆数量确定待标定车载前视相机是否满足预设自动标定条件。
进一步地，所述根据所述车牌类型、所述前方车辆的车牌数量、所述相对距离、所述运动轨迹信息及所述车辆数量确定待标定车载前视相机是否满足预设自动标定条件的步骤，包括：在所述前方车辆的车牌类型均相同、所述相对距离处于预设范围内、所述运动轨迹信息中的运动轨迹均为直线，并且所述车牌数量与所述车辆数量相等时，确定所述待标定车载前视相机满足预设标定开启条件。
需说明的是，预设范围可以是指在进行自动标定之前，预先设置的目标车辆与前方车辆的距离范围。
具体实现中，车载电脑在识别到前车车牌均为蓝色车牌、前方车辆与目标车辆的相对距离处于预设范围内，前方车辆的运动轨迹均为直线，并且前视系统输出的车牌数量与毫米波雷达系统输出的车辆数量相等，即开启自动标定。
本实施例通过获取待标定车载前视相机采集的图像信息，以及预设车载雷达采集前方车辆的车辆行驶信息，根据所述图像信息和预设深度学习算法确定所述前方车辆的车牌类型及车牌数量；根据所述车牌类型确定车牌尺寸，并根据所述车牌尺寸确定车牌坐标系中的车牌顶点坐标；根据所述车牌类类型、所述车牌数量、所述前车车牌尺寸及所述车牌顶点坐标确定所述前方车辆的车牌信息，根据所述车牌信息及所述车辆行驶信息确定待标定车载前视相机是否满足预设自动标定条件；在满足所述预设自动标定条件时，获取所述待标定车载前视相机的相机内参数和相机位置参数；根据所述车牌信息、所述相机内参数及所述相机位置参数对所述待标定车载前视相机进行姿态标定，以获得相机姿态角。由于是通过前视相机和雷达对相机姿态进行标定，本发明相对于现有技术前视相机姿态会由于载重、振动、温度等原因发生变化，从而导致相机姿态参数不准确，本发明实现了对前视相机姿态的自动标定，从而提升相机姿态参数准确性。
参照图3，图3为本发明车载相机姿态角标定方法第三实施例的流程示意图，基于上述图1所示的第一实施例，提出本发明车载相机姿态角标定方法的第三实施例。
在本实施例中，所述步骤S50，包括：
步骤S501：根据预设深度学习模型、所述车牌信息、所述相机内参数及所述相机位置参数确定前方车辆的车牌最小外接四边形顶点的像素坐标检测值。
需说明的是，预设深度学习模型可以是通过神经网络模型对车牌顶点坐标进行反复训练得到像素坐标检测值。像素坐标检测值为前车车牌处于车载相机图像中对应的像素坐标，像素坐标检测值可以表示为：右上像素坐标检测值，右下像素坐标检测值/>，左下像素坐标检测值/>，左上像素坐标检测值/>
可理解的是，相机内参数可以是与前视相机自身特性相关的参数，例如：相机的焦距、像素大小等，相机内参数可以是指相机在进行第一次内参数标定的参数，第一次标定可以是前视相机出厂时的标定参数。在对相机进行姿态标定时，相机在不发生相机系数畸变时，相机内参数一般情况下不进行单独标定。
应理解的是，最小外接四边形可以是指车牌对应的最小面积包围四边形，与最小外接矩形不同，例如，在前车处于左转状态时，根据预设深度学习算法确定前车车牌处于图像信息中为左侧长度大右侧长度小的四边形。将最小外接四边形的四个顶点作为前车车牌的四个顶点，确定最小外接四边形各顶点的像素坐标即可确定前车车牌各顶点的像素坐标检测值。
具体实现中，为了使相机姿态标定准确性更高，在对相机进行姿态标定时，需要对外参数进行实时迭代标定。车载相机内参数标定包含但不限于张正友标定法，在完成初始标定后，若相机的焦距、分辨率、畸变等未发生变化，无需重复标定，在本实施例中采用窄视场相机，无需考虑相机畸变；标定得到的相机内参数矩阵用K表示，K通过公式（1）表示：
公式(1)；
其中，以及/>为焦距与像素横纵比的融合，/>表征了主点（图像原点）坐标。
经标定得到的外参数MVC通过公式（2）表示：
公式(2)；
其中，Rvc表征了相机姿态参数，Tvc表征了相机相对于本车车体坐标系的位置参数。外参数首次标定包含但不限于PnP标定法。
步骤S502：根据所述车牌信息、所述相机内参数及所述相机位置参数确定前方车辆的车牌最小外接四边形顶点的像素坐标估计值。
可理解的是，像素坐标估计值可以是根据车牌顶点在车牌坐标系中的坐标参数、本车车体坐标系中的坐标参数及相机坐标系中的坐标参数通过式（1）计算获得的像素坐标。
应理解的是，车牌顶点在前车车牌坐标系中的坐标为(x p,y p,z p)T，在目标车辆车体坐标系中的坐标为(x v,y v,z v)T，在相机坐标系中的坐标为(x c,y c,z c)T。
(x p,y p,z p)T与(x v,y v,z v)T的变换关系可以描述为：
；
简记为：
；
(x v,y v,z v)T与(x c,y c,z c)T的变换关系可以描述为：
；
简记为：
；
(x p,y p,z p)T与其对应的像素坐标(u,v)T的变换可以描述为：
；
简记为式（1）：
式(1)；
其中，其中，为本车车体坐标系中前车车牌的第一顶点坐标；/>中包含待测定位置以及待测定姿态；/>为车牌坐标系中前车车牌的顶点的坐标系坐标；/>为车牌坐标系到本车车体坐标系的旋转矩阵，启动自动标定的必要条件之一是前车运动轨迹为直线，此时/>为单位矩阵；/>表征了车牌坐标系到本车车体坐标系的平移向量参数。s表征了世界坐标系到图像坐标系的尺度因子。/>为车载相机的相机外参数，K为车载相机的相机内参数，U为像素坐标估计值，s为缩放因子。
具体实现中，一副车牌可产生6个独立方程，含有6个自由变量；不同车牌共用M vc所含三个自由变量，因此N辆车产生含3(N+1)个自由变量的6N个独立方程，独立方程数不少于自由变量数，根据公式（1）、公式（2）及相机在本车车体坐标系中的坐标参数可知相机姿态(ϕ,θ,ψ)与一个R vc唯一对应:
；
因此，Mvc含车载前视相机姿态(ϕ,θ,ψ)三个自由变量。
基于车牌坐标系中X p0=(440,0,0)T、X p1=(440,140,0)T、X p2=(0,140,0)T的三个顶点，其像素坐标检测值通过深度学习模型计算得到其最小外接四边形右上顶点的像素坐标U 0 =(u 0,v 0)T、右下顶点的像素坐标U 1 =(u 1,v 1)T、左下顶点的像素坐标U 2 =(u 2,v 2)T、左上顶点的像素坐标U 3 =(u 3,v 3)T，根据式（1）可以计算得到含有得到含有相机姿态角(ϕ,θ,ψ)和T pv的车牌顶点对应像素坐标估计值：
；
；
根据误差公式：
；
通过多次迭代计算像素坐标检测值与像素估计值之间的最小误差，根据最小误差对应的像素坐标对应的姿态角度进行姿态标定，其中，U*由公式（1）计算得到，i表示不同车牌，j表示同意车牌的不同顶点。U ij *表示不同顶点对应的像素坐标估计值。E表示像素坐标估计值与像素坐标检测值之间的误差函数。
步骤S503：根据所述像素坐标检测值和所述像素坐标估计值对所述待标定车载前视相机进行姿态标定，以获得相机姿态角。
具体实现中，根据待标定车载前视相机在本车车体坐标系中的坐标参数计算相机姿态参数，因相机姿态(ϕ,θ,ψ)与一个R vc唯一对应，因此M vc含车载前视相机姿态三个角度的自由变量，根据误差函数对应的像素坐标估计值和所述待标定车载前视相机在本车车体坐标系中的坐标参数确定相机姿态参数并根据相机姿态参数确定待标定车载前视相机姿态角。
进一步地，所述根据所述像素坐标检测值和所述像素坐标估计值对所述待标定车载前视相机进行姿态标定，以获得相机姿态角的步骤，包括：根据所述像素坐标估计值及所述像素坐标检测值确定误差函数；最小化所述误差函数确定待标定车载前视相机姿态角。
需说明的是，最小化误差函数可以是指将像素坐标检测值以及像素坐标估计值之间的差距最小化，从而确定待测定姿态角。
具体实现中，车载电脑可以根据像素坐标估计值及像素坐标检测值通过误差函数进行最小化计算，并通过梯度迭代获得最小化误差函数对应的姿态角。
本实施例通过获取待标定车载前视相机采集的图像信息，以及预设车载雷达采集前方车辆的车辆行驶信息；根据所述图像信息获取所述前方车辆的车牌信息；根据所述车牌信息及所述车辆行驶信息确定待标定车载前视相机是否满足预设自动标定条件；在满足所述预设自动标定条件时，获取所述待标定车载前视相机的相机内参数和相机位置参数；根据预设深度学习模型、所述车牌信息、所述相机内参数及所述相机位置参数确定前方车辆的车牌最小外接四边形顶点的像素坐标检测值；根据所述车牌信息、所述相机内参数及所述相机位置参数确定前方车辆的车牌最小外接四边形顶点的像素坐标估计值；根据所述像素坐标检测值和所述像素坐标估计值对所述待标定车载前视相机进行姿态标定，以获得相机姿态角。由于是通过前视相机和雷达对相机姿态进行标定，本发明相对于现有技术前视相机姿态会由于载重、振动、温度等原因发生变化，从而导致相机姿态参数不准确，本发明实现了对前视相机姿态的自动标定，从而提升相机姿态参数准确性。
应当理解的是，以上仅为举例说明，对本发明的技术方案并不构成任何限定，在具体应用中，本领域的技术人员可以根据需要进行设置，本发明对此不做限制。
需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。
另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的车载相机姿态角标定方法，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。词语第一、第二、以及第三等的使用不表示任何顺序，可将这些词语解释为名称。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述 实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通 过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体 现出来，该计算机软件产品存储在一个存储介质(如只读存储器镜像（Read Only Memory image，ROM）/随机存取存储器（Random AccessMemory，RAM）、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (5)

1.一种车载相机姿态角标定方法，其特征在于，所述车载相机姿态角标定方法包括以下步骤：
获取待标定车载前视相机采集的图像信息，以及预设车载雷达采集前方车辆的车辆行驶信息；
根据所述图像信息获取所述前方车辆的车牌信息；
根据所述车牌信息及所述车辆行驶信息确定待标定车载前视相机是否满足预设自动标定条件；
在满足所述预设自动标定条件时，获取所述待标定车载前视相机的相机内参数和相机位置参数；
根据所述车牌信息、所述相机内参数及所述相机位置参数对所述待标定车载前视相机进行姿态标定，以获得相机姿态角；
所述根据所述图像信息获取所述前方车辆的车牌信息的步骤，包括：
根据所述图像信息和预设深度学习算法确定所述前方车辆的车牌类型及车牌数量；
根据所述车牌类型确定车牌尺寸，并根据所述车牌尺寸确定车牌坐标系中的车牌顶点坐标；
根据所述车牌类型、所述车牌数量、所述车牌尺寸及所述车牌顶点坐标确定所述前方车辆的车牌信息。
2.如权利要求1所述的车载相机姿态角标定方法，其特征在于，所述根据所述车牌信息及所述车辆行驶信息确定待标定车载前视相机是否满足预设自动标定条件的步骤，包括：
从所述车辆行驶信息中提取目标车辆与前方车辆之间的相对距离、所述前方车辆的运动轨迹信息及车辆数量；
根据所述车牌类型、所述前方车辆的车牌数量、所述相对距离、所述运动轨迹信息及所述车辆数量确定待标定车载前视相机是否满足预设自动标定条件。
3.如权利要求2所述的车载相机姿态角标定方法，其特征在于，根据所述车牌类型、所述前方车辆的车牌数量、所述相对距离、所述运动轨迹信息及所述车辆数量确定待标定车载前视相机是否满足预设自动标定条件的步骤，包括：
在所述前方车辆的车牌类型均相同、所述相对距离处于预设范围内、所述运动轨迹信息中的运动轨迹均为直线，并且所述车牌数量与所述车辆数量相等时，确定所述待标定车载前视相机满足预设标定开启条件。
4.如权利要求1所述的车载相机姿态角标定方法，其特征在于，所述根据所述车牌信息、所述相机内参数及所述相机位置参数对所述待标定车载前视相机进行姿态标定，以获得相机姿态角的步骤，包括：
根据预设深度学习模型、所述车牌信息、所述相机内参数及所述相机位置参数确定前方车辆的车牌最小外接四边形顶点的像素坐标检测值；
根据所述车牌信息、所述相机内参数及所述相机位置参数确定前方车辆的车牌最小外接四边形顶点的像素坐标估计值；
根据所述像素坐标检测值和所述像素坐标估计值对所述待标定车载前视相机进行姿态标定，以获得相机姿态角。
5.如权利要求4所述的车载相机姿态角标定方法，其特征在于，所述根据所述像素坐标检测值和所述像素坐标估计值对所述待标定车载前视相机进行姿态标定，以获得相机姿态角的步骤，包括：
根据所述像素坐标估计值及所述像素坐标检测值确定误差函数；
最小化所述误差函数确定待标定车载前视相机姿态角。
CN202011643622.8A 2020-12-30 2020-12-30 车载相机姿态角标定方法 Active CN112785653B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011643622.8A CN112785653B (zh) 2020-12-30 2020-12-30 车载相机姿态角标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011643622.8A CN112785653B (zh) 2020-12-30 2020-12-30 车载相机姿态角标定方法

Publications (2)

Publication Number Publication Date
CN112785653A CN112785653A (zh) 2021-05-11
CN112785653B true CN112785653B (zh) 2024-06-21

Family

ID=75753606

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011643622.8A Active CN112785653B (zh) 2020-12-30 2020-12-30 车载相机姿态角标定方法

Country Status (1)

Country Link
CN (1) CN112785653B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114494452A (zh) * 2021-12-28 2022-05-13 成都臻识科技发展有限公司 一种基于车牌信息的相机标定方法、系统及设备
CN114419098A (zh) * 2022-01-18 2022-04-29 长沙慧联智能科技有限公司 基于视觉变换的运动目标轨迹预测方法及装置
CN114648576B (zh) * 2022-05-24 2022-08-23 苏州魔视智能科技有限公司 一种目标车辆的定位方法、装置以及系统
CN115107834B (zh) * 2022-07-18 2024-09-17 西南交通大学 一种铁道车辆轮对运行轨迹的车载监测系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111696160A (zh) * 2020-06-22 2020-09-22 深圳市中天安驰有限责任公司 车载摄像头自动标定方法、设备及可读存储介质
CN112102413A (zh) * 2020-07-22 2020-12-18 西安交通大学 一种基于虚车道线的车载相机自动标定方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5214355B2 (ja) * 2008-07-14 2013-06-19 株式会社アイ・トランスポート・ラボ 車両走行軌跡観測システム、車両走行軌跡観測方法、およびそのプログラム
CN102063718B (zh) * 2010-12-24 2012-10-10 江南大学 一种点激光测量系统的现场标定和精密测量方法
CN103593836A (zh) * 2012-08-14 2014-02-19 无锡维森智能传感技术有限公司 一种摄像头参数计算方法及相机确定车体姿态的方法
CN103985131B (zh) * 2014-05-28 2017-01-18 大连理工大学 一种用于高速公路车道偏离预警系统的相机快速标定方法
CN104167109B (zh) * 2014-07-17 2016-08-24 浙江宇视科技有限公司 车辆位置的检测方法和检测装置
CN107784672B (zh) * 2016-08-26 2021-07-20 百度在线网络技术（北京）有限公司 用于获取车载相机的外部参数的方法和装置
CN109974745B (zh) * 2017-12-28 2023-11-17 中国科学院沈阳自动化研究所 车载相机综合标定检测台
CN108564629A (zh) * 2018-03-23 2018-09-21 广州小鹏汽车科技有限公司 一种车载摄像头外部参数的标定方法及系统
CN110570475A (zh) * 2018-06-05 2019-12-13 上海商汤智能科技有限公司 车载摄像头自标定方法及装置和车辆驾驶方法及装置
CN108898637A (zh) * 2018-06-13 2018-11-27 苏州上善知源汽车电子有限公司 前置摄像头标定方法
CN109859278B (zh) * 2019-01-24 2023-09-01 惠州市德赛西威汽车电子股份有限公司 车载相机系统相机外参的标定方法及标定系统
CN111627067B (zh) * 2019-02-28 2023-08-22 海信集团有限公司 一种双目相机的标定方法及车载设备
CN110060298B (zh) * 2019-03-21 2023-06-20 径卫视觉科技（上海）有限公司 一种基于图像的车辆位置和姿态确定系统以及相应的方法
CN110766762A (zh) * 2019-10-22 2020-02-07 广州四为电子科技有限公司 一种全景泊车的标定方法及标定系统
CN111462245B (zh) * 2020-01-09 2023-05-26 华中科技大学 一种基于矩形结构的变焦相机姿态标定方法和系统
CN111524192B (zh) * 2020-04-20 2023-10-03 阿波罗智能技术(北京)有限公司 车载相机外参的标定方法、装置、系统及存储介质
CN111967360B (zh) * 2020-08-06 2024-09-06 苏州易航远智智能科技有限公司 基于车轮的目标车辆姿态检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111696160A (zh) * 2020-06-22 2020-09-22 深圳市中天安驰有限责任公司 车载摄像头自动标定方法、设备及可读存储介质
CN112102413A (zh) * 2020-07-22 2020-12-18 西安交通大学 一种基于虚车道线的车载相机自动标定方法

Also Published As

Publication number Publication date
CN112785653A (zh) 2021-05-11

Similar Documents

Publication Publication Date Title
CN112785653B (zh) 车载相机姿态角标定方法
US10859684B1 (en) Method and system for camera-lidar calibration
CN110148185B (zh) 确定成像设备坐标系转换参数的方法、装置和电子设备
CN107180215B (zh) 基于库位和二维码的停车场自动建图与高精度定位方法
CN113822939A (zh) 车载传感器的外部参数标定的方法和设备
KR20200011978A (ko) 지도 데이터 보정 방법 및 장치
JP2009288152A (ja) 車載カメラのキャリブレーション方法
US11158065B2 (en) Localization of a mobile unit by means of a multi hypothesis kalman filter method
CN107437264B (zh) 车载相机外部参数自动检测与校正方法
CN112669354B (zh) 一种基于车辆非完整约束的多相机运动状态估计方法
CN111123242B (zh) 一种基于激光雷达和相机的联合标定方法及计算机可读存储介质
CN103065323A (zh) 一种基于单应性变换矩阵的分段空间对准方法
CN114972532B (zh) 激光雷达之间的外参标定方法、装置、设备及存储介质
CN114764138A (zh) 多传感器顺序校准系统
CN111402328B (zh) 一种基于激光里程计的位姿计算方法及装置
CN110579754A (zh) 用于确定车辆的激光雷达与车辆其他的传感器的外参数的方法
CN111241224B (zh) 目标距离估计的方法、系统、计算机设备和存储介质
CN114396957A (zh) 基于视觉与地图车道线匹配的定位位姿校准方法及汽车
CN114295099B (zh) 基于单目摄像头的测距方法、车载测距设备以及存储介质
US11477371B2 (en) Partial image generating device, storage medium storing computer program for partial image generation and partial image generating method
US20240312059A1 (en) Robust lidar-to-camera sensor alignment
Aoki et al. Error covariance estimation of 3d point cloud registration considering surrounding environment
WO2022037370A1 (zh) 一种运动估计方法及装置
CN116142172A (zh) 一种基于体素坐标系的泊车方法及装置
WO2022133986A1 (en) Accuracy estimation method and system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant