CN110751598A - 车辆铰接点坐标标定方法、装置、计算机设备和存储介质 - Google Patents

车辆铰接点坐标标定方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN110751598A
CN110751598A CN201910985902.8A CN201910985902A CN110751598A CN 110751598 A CN110751598 A CN 110751598A CN 201910985902 A CN201910985902 A CN 201910985902A CN 110751598 A CN110751598 A CN 110751598A
Authority
CN
China
Prior art keywords
vehicle body
adjacent
images
vehicle
point pairs
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910985902.8A
Other languages
English (en)
Other versions
CN110751598B (zh
Inventor
万波
彭美华
胡荣东
杨凯斌
王思娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha Intelligent Driving Research Institute Co Ltd
Original Assignee
Changsha Intelligent Driving Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha Intelligent Driving Research Institute Co Ltd filed Critical Changsha Intelligent Driving Research Institute Co Ltd
Priority to CN201910985902.8A priority Critical patent/CN110751598B/zh
Publication of CN110751598A publication Critical patent/CN110751598A/zh
Priority to US17/769,590 priority patent/US20230379422A1/en
Priority to PCT/CN2020/121816 priority patent/WO2021073634A1/zh
Application granted granted Critical
Publication of CN110751598B publication Critical patent/CN110751598B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本申请涉及一种车辆铰接点坐标标定方法、装置、计算机设备和存储介质。通过利用标定状态时车辆在理想路面行驶各摄像头采集的图像处理得单车体环视图像,根据相邻单车体环视图像的特征点匹配结果,计算得到相邻车体的转向角度,进一步基于转向角度,利用两幅图中特征匹配点对的平移向量不变这一特征,以及特征匹配点对在相邻单车体环视图像与平移向量之间的关系,求得铰接点坐标。该方法操作简单可靠,无需借助其它工具即可实现铰接点坐标标定,节省了人力以及物力,降低了车辆成本。

Description

车辆铰接点坐标标定方法、装置、计算机设备和存储介质
技术领域
本申请涉及汽车技术领域,特别是涉及一种车辆铰接点坐标标定方法、装置、计算机设备和存储介质。
背景技术
为提高汽车的驾驶的安全,车辆配置了全景环视系统。全景环视系统通过在汽车周围架设能覆盖车辆周边所有视场范围的4到8个广角摄像头,对同一时刻采集到的多路视频影像处理成一幅车辆周边360度的车身俯视图,最后在中控台的屏幕上显示,让驾驶员清楚查看车辆周边是否存在障碍物并了解障碍物的相对方位与距离。
对于有多个车体部分的车俩,如包括车头和车厢部分的半挂车,有多节车厢的多编组列车等,其全景环视图像是拼接全部车体部分的环视图像得到的。在拼接前后车体部分的环视图像时,需要根据铰接点的坐标进行拼接,这就需要获得车辆的铰接点坐标。传统的方法,使用物理测量获得铰接点坐标。
由于需要借助物理工具测量铰接点坐标,导致车辆的成本增加。
发明内容
基于此,有必要针对上述技术问题,提供一种能够降低成本的车辆铰接点坐标标定方法、装置、计算机设备和存储介质。
一种车辆铰接点坐标标定方法,包括:
获取车辆在标定状态行驶过程中各车体部分周界区域的单车体环视图像;
检测各所述单车体环视图像的特征点,对相邻单车体环视图像进行特征点匹配,获取不同旋转角度的相邻单车体环视图像的特征匹配点对;
对各旋转角度的相邻单车体环视图像的特征匹配点对,剔除误匹配点对,得到相邻车体部分特征匹配点对之间的变换旋转平移矩阵,获得相邻车体部分的旋转角度;
根据特征匹配点对的坐标,确定相邻单车体环视图像的平移向量;
根据相邻单车体环图像的所述旋转角度以及所述平移向量,得到铰接点坐标。
在一个实施例中,根据特征匹配点对的坐标、所述旋转角度以及所述平移向量,得到铰接点坐标,包括:
根据多个旋转角度对应的相邻单车体环视图像的特征匹配点对的坐标、旋转角度以及平移向量,得到对应的铰接点坐标计算结果;
对各铰接点坐标计算结果进行排序,将排序结果中的中值作为铰接点坐标。
在一个实施例中,任意两个旋转角度的角度差大于预设值。
在一个实施例中,获取车辆在标定状态行驶过程中各车体部分周界区域的单车体环视图像,包括:
获取车辆的标定状态行驶过程中各摄像头采集的原始图像;
对所述原始图像进行畸变矫正,得到各摄像头的原始图像对应的矫正图像;
根据各车体部分摄像头之间的外参标定,将不同摄像头的矫正图像投影到大地坐标系下变成鸟瞰图,得到各矫正图像对应的鸟瞰图;
对相邻摄像头的鸟瞰图中进行特征点匹配,将各车体部分的所有鸟瞰图拼接,并对重叠区域采用加权融合方法消除拼接缝,得到各车体部分的拼接环视图像;
对各车体部分的拼接环视图像进行裁剪,得到各车体部分周界区域的单车体环视图像。
在一个实施例中,对各旋转角度的相邻单车体环视图像的特征匹配点对,剔除误匹配点对,得到相邻车体部分特征匹配点对之间的变换旋转平移矩阵,获得相邻车体部分的旋转角度,包括:
对各旋转角度的相邻单车体环视图像的特征匹配点对,采用随机一致性算法或最小中值法,剔除误匹配点对,得到相邻车体部分特征匹配点对之间的变换旋转平移矩阵,获得相邻车体部分的旋转角度。
在一个实施例中,根据特征匹配点对的坐标、所述旋转角度以及所述平移向量,得到铰接点坐标之后,还包括:
将所述铰接点坐标作为车辆的配置参数存储。
一种车辆铰接点坐标标定装置,所述装置包括:
标定环视图像获取模块,获取车辆在标定状态行驶过程中各车体部分周界区域的单车体环视图像;
标定特征检测模块,检测各所述单车体环视图像的特征点,对相邻单车体环视图像进行特征点匹配,获取不同旋转角度的相邻单车体环视图像的特征匹配点对;
旋转角度获取模块,对各旋转角度的相邻单车体环视图像的特征匹配点对,剔除误匹配点对,得到相邻车体部分特征匹配点对之间的变换旋转平移矩阵,获得相邻车体部分的旋转角度;
平移向量获取模块,根据特征匹配点对的坐标,确定相邻单车体环视图像的平移向量;
铰接点坐标获取模块,根据特征匹配点对的坐标、所述旋转角度以及所述平移向量,得到铰接点坐标。
在一个实施例中,铰接点坐标获取模块,根据多个旋转角度对应的相邻单车体环视图像的特征匹配点对的坐标、旋转角度以及平移向量,得到对应的铰接点坐标计算结果;对各铰接点坐标计算结果进行排序,将排序结果中的中值作为铰接点坐标。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述方法的步骤。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述的方法的步骤。
上述车辆铰接点坐标标定方法、装置、计算机设备和存储介质,通过利用标定状态时车辆在理想路面行驶各摄像头采集的图像处理得单车体环视图像,根据相邻单车体环视图像的特征点匹配结果,计算得到相邻车体的转向角度,进一步基于转向角度,利用两幅图中特征匹配点对的平移向量不变这一特征,以及特征匹配点对在相邻单车体环视图像与平移向量之间的关系,求得铰接点坐标。该方法操作简单可靠,无需借助其它工具即可实现铰接点坐标标定,节省了人力以及物力,降低了车辆成本。
附图说明
图1为一个实施例中车辆铰接点坐标标定方法的应用环境图;
图2为一个实施例中车辆铰接点坐标标定方法的流程示意图;
图3为一个实施例中拼接单车体的环视图像的步骤的流程示意图;
图4为一个实施例中车辆的全景环视图像生成装置的结构框图;
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的车辆的全景环视图像生成方法,可以应用于如图1所示的应用环境中。如图1所示的车辆,包括车头和车厢两个车体部分,各车体部分通过铰接件连接。车头安装有车辆控制器102,各车体部分的周围架设有广角摄像头,如安装在车头顶部前方的广角摄像头201,车头顶部左右两侧的广角摄像头202和203,安装在车厢顶部后方的广角摄像头301,以及车厢顶部左右两侧的广角摄像头302和303。可以理解的是,对于其它包括多个车体部分的车辆,可根据车辆实际情况设置摄像头的位置,例如多编组车辆,节车厢部分的顶部前方以及左右两侧分别设置有广角摄像头,在中间车厢部分的顶部左右两侧分别设置有广角摄像头,在最后一节车厢部分的顶部后方以左右两侧分别设置广角摄像头。各广角摄像头与车辆控制器通过系统总线或网络连接,广角摄像头与车辆控制器进行通信,将采集的视角范围内的图像发送至车辆控制器。
车辆控制器获取车辆在标定状态行驶过程中各车体部分周界区域的单车体环视图像;检测各单车体环视图像的特征点,对相邻单车体环视图像进行特征点匹配,获取不同旋转角度的相邻单车体环视图像的特征匹配点对;对各旋转角度的相邻单车体环视图像的特征匹配点对,剔除误匹配点对,得到相邻车体部分特征匹配点对之间的变换旋转平移矩阵,获得相邻车体部分的旋转角度;根据特征匹配点对的坐标,确定相邻单车体环视图像的平移向量;根据特征匹配点对的坐标、旋转角度以及平移向量,得到铰接点坐标。
其中,车辆的各部分通过铰接件连接。车辆包括但不限于半挂车和多编组列车。
在一个实施例中,如图2所示,提供一种车辆铰接点坐标标定方法,以该方法应用于图1中的车辆控制器为例进行说明,包括以下步骤:
S202,获取车辆在标定状态行驶过程中各车体部分周界区域的单车体环视图像。
其中,车辆各车体部分的顶部前方/后方以及左右两侧安装有广角摄像头,采集得到对应视角范围的图像。广角摄像头是指摄像机采用广角镜头。广角镜头的特点是,镜头视角大,视野宽阔。从某一视点观察到的景物范围要比人眼在同一视点所看到的大得多。摄像机照射范围的最下端到最上端以摄像机镜头为圆心点的一个扇形角的角度度数,也就是镜头的角度大小。镜头的角度大小决定了照射范围,镜头角度越广,可视的范围就越大。一个实施例中,车辆安装的180度的广角摄像头,能够采集其安装位置180度范围内的图像。
将车辆在行驶过程中的各摄像头采集的图像进行处理得到鸟瞰图,拼接各车体部分所有摄像头的鸟瞰图得到对应车体部分周界区域的单车体环视图像。即,单车体环视图像是指对一个车体部分的所有摄像头的鸟瞰图拼接得到的该车体部分周界区域的环视图像。例如,以图1所示的车头部分为例,拼接摄像头201的车头前方区域的鸟瞰图像,摄像头202的车头左侧区域的鸟瞰图像以及摄像头203的车头右侧区域的鸟瞰图像,得到车头部分周界区域的环视图像。单车体环视图像的数量与车辆车体部分的数量相同。例如,多编组车辆具有8节车厢,每一节车厢即是一个车体部分,则可分别得到8节车厢对应的单车体环视图像。又例如,半挂车具有车头和车厢两个车体部分,则可分别得到车头和车厢对应的单车体环视图像。
其中,此处的单车体环视图像为在坐标标定状态时对车辆各车体部分的所有摄像头的鸟瞰图进行拼接处理,得到的各车体部分的环视图像。标定状态是标定车辆铰接点坐标的阶段。在标定状态,车辆行驶在理想路面并转动行驶。在理想地面,地面平坦,图像的特征点明显,有利用特征点匹配。对于每次旋转时的车辆的各车体部分,采用前面所提到方法,对车辆的各摄像头采集的图像进行处理得到鸟瞰图,拼接各车体部分所有摄像头的鸟瞰图得到对应车体部分周界区域的单车体环视图像。
具体地,获取车辆在标定状态行驶过程中各车体部分周界区域的单车体环视图像,具体地,如图3所示,拼接单车体的环视图像的步骤,即获取车辆在标定状态行驶过程中各车体部分周界区域的单车体环视图像,包括以下步骤S302至步骤S310。
S302,获取车辆的标定状态行驶过程中各摄像头采集的原始图像。
S304,对原始图像进行畸变矫正,得到各摄像头的原始图像对应的矫正图像。
广角摄像头采集的原始图像具有一种透视畸变形式的特征。例如,广角摄像头采集的人像,被摄对象的鼻子与面部的其它器官相比会显得出奇的大。为了消除这种畸变,需要对广角摄像头采集的原始图像进行畸变矫正处理。具体地,利用广角摄像头标定的摄像头参数和畸变矫正参数对原始图像进行矫正处理,得到各原始图像对应的矫正图像。其中,摄像头参数和畸变矫正参数根据广角摄像头的内部结构和建立的畸变模型确定。
S306,根据各车体部分摄像头之间的外参标定,将不同摄像头的矫正图像投影到大地坐标系下变成鸟瞰图,得到各矫正图对应的鸟瞰图。
具体地,预先在在各个摄像头下摆放标定物,分别实现各车体部分之间的外参标定。以半挂车为例,通过在各个摄像头下摆放标定物,分别实现车头摄像头之间和车厢摄像头之间的外参标定。将不同摄像头的图像投影到大地坐标系下变成鸟瞰图,并生成矫正图到鸟瞰图之间的映射关系,得到各矫正图对应的鸟瞰图。
S308,对相邻摄像头的鸟瞰图中进行特征点匹配,将各车体部分的所有鸟瞰图拼接,并对重叠区域采用加权融合方法消除拼接缝,得到各车体部分的拼接环视图像。
具体地,对每个车体部分的相邻摄像头的鸟瞰图的重叠区域进行特征点匹配,其中,特征点检测方法包括但不局限于orb、surf、sift等常用特征点检测算法。特征点搜索匹配算法包括但不局限于暴力匹配算法、最近邻匹配算法。特征点匹配对筛选方法包括但不局限与RANSAC、GMS等算法。根据特征点将相邻摄像头的鸟瞰图进行拼接。在相邻摄像头图像接缝处,划定过渡区域,采用加权融合的方法,消除接拼缝,得到各车体部分的拼接环视图像。
S310,对各车体部分的拼接环视图像进行裁剪,得到各车体部分周界区域的单车体环视图像。
具体地,对于各车体部分的拼接环视图像,根据需求裁剪感兴趣区域,使图像大小符合屏幕显示范围,以在屏幕上显示。本实施例中,根据需求裁剪拼接环视图像的边框,得到车体部分周界区域的单车体环视图像。
通过上述步骤,处理得到每个车体部分的环视图像。以图1的车辆为例,分别得到对摄像头201、202和203采集的图像进行处理和接接,得到车头周界区域,包括车头前方、左侧方和右侧方的环视图像。对摄像头301,302和302采集的图像进行处理和接接,得到车厢周界区域,包括车厢后方、左侧方和右侧方的环视图像。以多编组列车为例,采用上述步骤,分别得到第一节车厢周界区域,包括车头前方、左侧方和右侧方的环视图像,中间车厢周界区域,包括车厢左侧方和右侧方的环视图像,最后一节车厢周界区域,包括车厢后方、左侧方和右侧方的环视图像。
在步骤S202之后,还包括:
S204,检测各单车体环视图像的特征点,对相邻单车体环视图像进行特征点匹配,获取不同旋转角度的相邻单车体环视图像的特征匹配点对。
特征点是指是指图像中具有鲜明特性并能够有效反映图像本质特征能够标识图像中目标物体的点。一个图像的特征点由两部分构成:关键点(Keypoint)和描述子(Descriptor)。关键点指的是该特征点在图像中的位置、方向和尺度信息。描述子通常是一个向量,按照人为的设计的方式,描述关键点周围像素的信息。通常描述子是按照外观相似的特征应该有相似的描述子设计的。因此,在匹配的时候,只要两个特征点的描述子在向量空间的距离相近,就可以认为它们是同一个特征点。
具体地,提取各单车体环视图像的关键点,根据关键点的位置,计算特征点的描述子,根据特征点的描述子,对相邻单车体环视图像的特征点进行匹配,获取相邻单车体环视图像的特征匹配点对。一个实施例中,使用暴力匹配算法,该算法在向量空间中,将相邻单车体环视图像特征点的描述子一一比较,选择距离较小的一对作为匹配点对。
S206,对各旋转角度的相邻单车体环视图像的特征匹配点对,剔除误匹配点对,得到相邻车体部分特征匹配点对之间的变换旋转平移矩阵,获得相邻车体部分的旋转角度。
具体地,可采用随机采样一致算法(RANSAC)或最小中值法(LMedS),剔除相邻单车体环视图像的特征匹配点对。以随机采样一致算法为例进行说明。具体地从已求得的配准点对中抽取几对配准点,计算变换旋转平移矩阵,并将这几对点记录为“内点”。继续寻找配准点对中的非内点,若这些配准点对符合矩阵,则将其添加到内点。当内点中的点对数大于设定阈值时,则判定此矩阵为精确的变换矩阵。依照以上方法,随机采样N次,选取内点数最大集合,剔除非内点等误配点对。只有在经过剔除误匹配点后,才能利用内点中正确的匹配对求出正确的变换旋转平移矩阵。根据正确的变换旋转平移矩阵,获得相邻车体部分的旋转角度θ1…θn
S208,根据特征匹配点对的坐标,确定坐标标定时的相邻单车体环视图像的平移向量。
具体地,设(ax,ay)为前单车体部分铰接点坐标,(bx,by)为后单车体部分铰接点坐标,(x0,y0)为前单车体环视图像的特征点坐标,(x1,y1)为后单车体环视图像的中与(x0,y0)匹配的特征点坐标,θ为相邻车体部分的旋转角度,则
Figure BDA0002236668920000081
将式(1)拆解得式(2)
Figure BDA0002236668920000091
平移向量即相邻单车体环视图像的特征从一个图像平移至另一个图像的平移参数,例如,匹配点对中的特征点从前单车体环视图像平移至后单车体环视图像的平移参数。又例如,前车体部分的铰接点平移至后车体部分的铰接点的平移参数。
即,前单车体部分环视图像的特征点(x0,y0)至后单车体部分环视图像匹配的特征点(x1,y1)的平移向量量(dx,dy)为(x1-x0,y1-y0),取每一对图像中各特征点对进行计算取所有平移向量(dx,dy)的中值代入式(2)得
Figure BDA0002236668920000093
S210,根据相邻单车体环视图像的旋转角度以及平移向量,得到铰接点坐标。
通常认为相邻单车体环视图像的平移向量是固定的,汽车在行驶过程中,相邻车体部分的转向角度变化导致相邻单车体环视图像的相对转向角度变化。可以利用n个角度和n组平移向量代入,计算得(ax,ay,bx,by),求解公式如下:
Figure BDA0002236668920000094
考虑到,若n个角度中存在若干个异常值,则对结果会产生较大的影响,因此考虑其他求解方式。具体如下:
假设在n个角度和n个平移向量中随机选取两组角度和两组平移向量,同时为了使得所求的结果更具备鲁棒性,所选角度应该满足|θij|>σ(其中σ为固定常数,为预设值),即任意两个旋转角度的角度差大于预设值。因此对任意一组角度(θij)和平移参数(dxi,dyi,dxj,dyj)有
Figure BDA0002236668920000095
求解得到一组解(ax,ay,bx,by),则m组角度(θij)和m组平移参数(dxI,dyi,dxj,dyj),可以求得m组解:
Figure BDA0002236668920000101
对这m组解进行排序,排序结果呈高斯分布,取排序结果中的中值作为铰接点坐标的最终解。即根据多个旋转角度对应的相邻单车体环视图像的特征匹配点对的坐标、旋转角度以及平移向量,得到对应的铰接点坐标计算结果,对各铰接点坐标计算结果进行排序,将排序结果中的中值作为铰接点坐标。
在另一个实施例中,根据特征匹配点对的坐标、旋转角度以及平移向量,得到铰接点坐标之后,还包括:将铰接点坐标作为车辆的配置参数存储。
具体地,将铰接点坐标作为车辆的配置参数存储,在全景环视图像拼接过程中,直接读取配置参数,获取铰接点坐标。铰接点是半挂车这类车型的重要动力学参数,准确地测量铰接点坐标有利于车辆主动安全系统的相关应用开发,如全景环视系统、主动转向控制和倒车系统。
本实施例中,通过利用标定状态时车辆在理想路面行驶时各摄像头采集的图像处理得单车体环视图像,根据相邻单车体环视图像的特征点匹配结果,计算得到相邻车体的转向角度,进一步基于转向角度,利用两幅图中特征匹配点对的平移向量不变这一特征,以及特征匹配点对在相邻单车体环视图像与平移向量之间的关系,求得铰接点坐标。该方法操作简单可靠,无需借助其它工具即可实现铰接点坐标标定,节省了人力成本以及物力。
应该理解的是,虽然图2-3的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-3中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图4所示,提供了一种车辆铰接点坐标标定装置,包括:
标定环视图像获取模块401,用于获取车辆在标定状态行驶过程中各车体部分周界区域的单车体环视图像。
标定特征检测模块402,用于检测各单车体环视图像的特征点,对相邻单车体环视图像进行特征点匹配,获取不同旋转角度的相邻单车体环视图像的特征匹配点对。
旋转角度获取模块403,用于对各旋转角度的相邻单车体环视图像的特征匹配点对,剔除误匹配点对,得到相邻车体部分特征匹配点对之间的变换旋转平移矩阵,获得相邻车体部分的旋转角度。
平移向量获取模块404,用于根据特征匹配点对的坐标,确定相邻单车体环视图像的平移向量。
铰接点坐标获取模块405,用于相邻单车体环图像的旋转角度以及平移向量,得到铰接点坐标。
在另一个实施例中,铰接点坐标获取模块,用于根据多个旋转角度对应的相邻单车体环视图像的特征匹配点对的坐标、旋转角度以及平移向量,得到对应的铰接点坐标计算结果,对各铰接点坐标计算结果进行排序,将排序结果中的中值作为铰接点坐标。
在另一个实施例中,任意两个旋转角度的角度差大于预设值。
在另一个实施例中,标定环视图像获取模块,用于获取车辆的标定状态行驶过程中各摄像头采集的原始图像;对原始图像进行畸变矫正,得到各摄像头的原始图像对应的矫正图像;根据各车体部分摄像头之间的外参标定,将不同摄像头的矫正图像投影到大地坐标系下变成鸟瞰图,得到各矫正图像对应的鸟瞰图;对相邻摄像头的鸟瞰图中进行特征点匹配,将各车体部分的所有鸟瞰图拼接,并对重叠区域采用加权融合方法消除拼接缝,得到各车体部分的拼接环视图像;对各车体部分的拼接环视图像进行裁剪,得到各车体部分周界区域的单车体环视图像。
在另一个实施例中,旋转角度获取模块,用于对各旋转角度的相邻单车体环视图像的特征匹配点对,采用随机一致性算法或最小中值法,剔除误匹配点对,得到相邻车体部分特征匹配点对之间的变换旋转平移矩阵,获得相邻车体部分的旋转角度。
在一个实施例中,车辆铰接点坐标标定装置还包括存储模块,用于将铰接点坐标作为车辆的配置参数存储。
上述车辆的车辆铰接点坐标标定,通过利用标定状态时车辆在理想路面行驶各摄像头采集的图像处理得单车体环视图像,根据相邻单车体环视图像的特征点匹配结果,计算得到相邻车体的转向角度,进一步基于转向角度,利用两幅图中特征匹配点对的平移向量不变这一特征,以及特征匹配点对在相邻单车体环视图像与平移向量之间的关系,求得铰接点坐标。该方法操作简单可靠,无需借助其它工具即可实现铰接点坐标标定,节省了人力以及物力,降低了车辆成本。
关于车辆铰接点坐标标定装置的具体限定可以参见上文中对于车辆铰接点坐标标定方法的限定,在此不再赘述。上述车辆铰接点坐标标定装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是车辆控制器或车辆总控,其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种车辆铰接点坐标标定方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图5中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
获取车辆在标定状态行驶过程中各车体部分周界区域的单车体环视图像;
检测各单车体环视图像的特征点,对相邻单车体环视图像进行特征点匹配,获取不同旋转角度的相邻单车体环视图像的特征匹配点对;
对各旋转角度的相邻单车体环视图像的特征匹配点对,剔除误匹配点对,得到相邻车体部分特征匹配点对之间的变换旋转平移矩阵,获得相邻车体部分的旋转角度;
根据特征匹配点对的坐标,确定相邻单车体环视图像的平移向量;
根据相邻单车体环图像的旋转角度以及平移向量,得到铰接点坐标。
在一个实施例中,根据特征匹配点对的坐标、旋转角度以及平移向量,得到铰接点坐标,包括:
根据多个旋转角度对应的相邻单车体环视图像的特征匹配点对的坐标、旋转角度以及平移向量,得到对应的铰接点坐标计算结果;
对各铰接点坐标计算结果进行排序,将排序结果中的中值作为铰接点坐标。
在一个实施例中,任意两个旋转角度的角度差大于预设值。
在另一个实施例中,获取车辆在标定状态行驶过程中各车体部分周界区域的单车体环视图像,包括:
获取车辆的标定状态行驶过程中各摄像头采集的原始图像;
对原始图像进行畸变矫正,得到各摄像头的原始图像对应的矫正图像;
根据各车体部分摄像头之间的外参标定,将不同摄像头的矫正图像投影到大地坐标系下变成鸟瞰图,得到各矫正图像对应的鸟瞰图;
对相邻摄像头的鸟瞰图中进行特征点匹配,将各车体部分的所有鸟瞰图拼接,并对重叠区域采用加权融合方法消除拼接缝,得到各车体部分的拼接环视图像;
对各车体部分的拼接环视图像进行裁剪,得到各车体部分周界区域的单车体环视图像。
在另一个实施例中,对各旋转角度的相邻单车体环视图像的特征匹配点对,剔除误匹配点对,得到相邻车体部分特征匹配点对之间的变换旋转平移矩阵,获得相邻车体部分的旋转角度,包括:
对各旋转角度的相邻单车体环视图像的特征匹配点对,采用随机一致性算法或最小中值法,剔除误匹配点对,得到相邻车体部分特征匹配点对之间的变换旋转平移矩阵,获得相邻车体部分的旋转角度。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
将铰接点坐标作为车辆的配置参数存储。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取车辆在标定状态行驶过程中各车体部分周界区域的单车体环视图像;
检测各单车体环视图像的特征点,对相邻单车体环视图像进行特征点匹配,获取不同旋转角度的相邻单车体环视图像的特征匹配点对;
对各旋转角度的相邻单车体环视图像的特征匹配点对,剔除误匹配点对,得到相邻车体部分特征匹配点对之间的变换旋转平移矩阵,获得相邻车体部分的旋转角度;
根据特征匹配点对的坐标,确定相邻单车体环视图像的平移向量;
根据相邻单车体环图像的旋转角度以及平移向量,得到铰接点坐标。
在一个实施例中,根据特征匹配点对的坐标、旋转角度以及平移向量,得到铰接点坐标,包括:
根据多个旋转角度对应的相邻单车体环视图像的特征匹配点对的坐标、旋转角度以及平移向量,得到对应的铰接点坐标计算结果;
对各铰接点坐标计算结果进行排序,将排序结果中的中值作为铰接点坐标。
在一个实施例中,任意两个旋转角度的角度差大于预设值。
在另一个实施例中,获取车辆在标定状态行驶过程中各车体部分周界区域的单车体环视图像,包括:
获取车辆的标定状态行驶过程中各摄像头采集的原始图像;
对原始图像进行畸变矫正,得到各摄像头的原始图像对应的矫正图像;
根据各车体部分摄像头之间的外参标定,将不同摄像头的矫正图像投影到大地坐标系下变成鸟瞰图,得到各矫正图像对应的鸟瞰图;
对相邻摄像头的鸟瞰图中进行特征点匹配,将各车体部分的所有鸟瞰图拼接,并对重叠区域采用加权融合方法消除拼接缝,得到各车体部分的拼接环视图像;
对各车体部分的拼接环视图像进行裁剪,得到各车体部分周界区域的单车体环视图像。
在另一个实施例中,对各旋转角度的相邻单车体环视图像的特征匹配点对,剔除误匹配点对,得到相邻车体部分特征匹配点对之间的变换旋转平移矩阵,获得相邻车体部分的旋转角度,包括:
对各旋转角度的相邻单车体环视图像的特征匹配点对,采用随机一致性算法或最小中值法,剔除误匹配点对,得到相邻车体部分特征匹配点对之间的变换旋转平移矩阵,获得相邻车体部分的旋转角度。
在一个实施例中,计算机程序被处理器执行时实现以下步骤:
将铰接点坐标作为车辆的配置参数存储。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种车辆铰接点坐标标定方法,其特征在于,包括:
获取车辆在标定状态行驶过程中各车体部分周界区域的单车体环视图像;
检测各所述单车体环视图像的特征点,对相邻单车体环视图像进行特征点匹配,获取不同旋转角度的相邻单车体环视图像的特征匹配点对;
对各旋转角度的相邻单车体环视图像的特征匹配点对,剔除误匹配点对,得到相邻车体部分特征匹配点对之间的变换旋转平移矩阵,获得相邻车体部分的旋转角度;
根据特征匹配点对的坐标,确定相邻单车体环视图像的平移向量;
根据相邻单车体环图像的所述旋转角度以及所述平移向量,得到铰接点坐标。
2.根据权利要求1所述的方法,其特征在于,根据特征匹配点对的坐标、所述旋转角度以及所述平移向量,得到铰接点坐标,包括:
根据多个旋转角度对应的相邻单车体环视图像的特征匹配点对的坐标、旋转角度以及平移向量,得到对应的铰接点坐标计算结果;
对各铰接点坐标计算结果进行排序,将排序结果中的中值作为铰接点坐标。
3.根据权利要求2所述的方法,其特征在于,任意两个旋转角度的角度差大于预设值。
4.根据权利要求1所述的方法,其特征在于,获取车辆在标定状态行驶过程中各车体部分周界区域的单车体环视图像,包括:
获取车辆的标定状态行驶过程中各摄像头采集的原始图像;
对所述原始图像进行畸变矫正,得到各摄像头的原始图像对应的矫正图像;
根据各车体部分摄像头之间的外参标定,将不同摄像头的矫正图像投影到大地坐标系下变成鸟瞰图,得到各矫正图像对应的鸟瞰图;
对相邻摄像头的鸟瞰图中进行特征点匹配,将各车体部分的所有鸟瞰图拼接,并对重叠区域采用加权融合方法消除拼接缝,得到各车体部分的拼接环视图像;
对各车体部分的拼接环视图像进行裁剪,得到各车体部分周界区域的单车体环视图像。
5.根据权利要求1所述的方法,其特征在于,对各旋转角度的相邻单车体环视图像的特征匹配点对,剔除误匹配点对,得到相邻车体部分特征匹配点对之间的变换旋转平移矩阵,获得相邻车体部分的旋转角度,包括:
对各旋转角度的相邻单车体环视图像的特征匹配点对,采用随机一致性算法或最小中值法,剔除误匹配点对,得到相邻车体部分特征匹配点对之间的变换旋转平移矩阵,获得相邻车体部分的旋转角度。
6.根据权利要求1所述的方法,其特征在于,根据特征匹配点对的坐标、所述旋转角度以及所述平移向量,得到铰接点坐标之后,还包括:
将所述铰接点坐标作为车辆的配置参数存储。
7.一种车辆铰接点坐标标定装置,其特征在于,所述装置包括:
标定环视图像获取模块,获取车辆在标定状态行驶过程中各车体部分周界区域的单车体环视图像;
标定特征检测模块,检测各所述单车体环视图像的特征点,对相邻单车体环视图像进行特征点匹配,获取不同旋转角度的相邻单车体环视图像的特征匹配点对;
旋转角度获取模块,对各旋转角度的相邻单车体环视图像的特征匹配点对,剔除误匹配点对,得到相邻车体部分特征匹配点对之间的变换旋转平移矩阵,获得相邻车体部分的旋转角度;
平移向量获取模块,根据特征匹配点对的坐标,确定相邻单车体环视图像的平移向量;
铰接点坐标获取模块,根据相邻单车体环图像的所述旋转角度以及所述平移向量,得到铰接点坐标。
8.根据权利要求7所述的装置,其特征在于,铰接点坐标获取模块,根据多个旋转角度对应的相邻单车体环视图像的特征匹配点对的坐标、旋转角度以及平移向量,得到对应的铰接点坐标计算结果;对各铰接点坐标计算结果进行排序,将排序结果中的中值作为铰接点坐标。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN201910985902.8A 2019-10-17 2019-10-17 车辆铰接点坐标标定方法、装置、计算机设备和存储介质 Active CN110751598B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910985902.8A CN110751598B (zh) 2019-10-17 2019-10-17 车辆铰接点坐标标定方法、装置、计算机设备和存储介质
US17/769,590 US20230379422A1 (en) 2019-10-17 2020-10-19 Method for vehicle hinge point calibration and corresponding calibration apparatus, computer device, and storage medium
PCT/CN2020/121816 WO2021073634A1 (zh) 2019-10-17 2020-10-19 交通工具铰接点标定方法、及相应的标定装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910985902.8A CN110751598B (zh) 2019-10-17 2019-10-17 车辆铰接点坐标标定方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN110751598A true CN110751598A (zh) 2020-02-04
CN110751598B CN110751598B (zh) 2023-09-26

Family

ID=69278638

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910985902.8A Active CN110751598B (zh) 2019-10-17 2019-10-17 车辆铰接点坐标标定方法、装置、计算机设备和存储介质

Country Status (3)

Country Link
US (1) US20230379422A1 (zh)
CN (1) CN110751598B (zh)
WO (1) WO2021073634A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021073634A1 (zh) * 2019-10-17 2021-04-22 长沙智能驾驶研究院有限公司 交通工具铰接点标定方法、及相应的标定装置、计算机设备和存储介质
CN113296107A (zh) * 2021-06-23 2021-08-24 上海西井信息科技有限公司 传感器协同检测拖挂角度的方法、系统、设备及存储介质
CN113688662A (zh) * 2021-07-05 2021-11-23 浙江大华技术股份有限公司 机动车过车警示方法、装置、电子装置和计算机设备
EP4060980A4 (en) * 2019-12-16 2023-08-02 Changsha Intelligent Driving Institute Corp. Ltd METHOD AND DEVICE FOR GENERATION OF A VEHICLE PERIPHERAL PANORAMIC VIEW IMAGE

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120320190A1 (en) * 2011-06-01 2012-12-20 Harman Becker Automotive Systems Gmbh System for Calibrating a Vision System
CN108263283A (zh) * 2018-01-25 2018-07-10 长沙立中汽车设计开发股份有限公司 多编组变角度车辆全景环视系统标定及拼接方法
CN109429039A (zh) * 2017-09-05 2019-03-05 中车株洲电力机车研究所有限公司 一种多编组铰接车辆周界视频全景显示系统及方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9357208B2 (en) * 2011-04-25 2016-05-31 Magna Electronics Inc. Method and system for dynamically calibrating vehicular cameras
CN107627959B (zh) * 2017-09-20 2022-05-17 鹰驾科技(深圳)有限公司 机动车的全景视频监测方法及系统
CN110751598B (zh) * 2019-10-17 2023-09-26 长沙智能驾驶研究院有限公司 车辆铰接点坐标标定方法、装置、计算机设备和存储介质
CN110719411B (zh) * 2019-12-16 2020-04-03 长沙智能驾驶研究院有限公司 车辆的全景环视图像生成方法及相关设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120320190A1 (en) * 2011-06-01 2012-12-20 Harman Becker Automotive Systems Gmbh System for Calibrating a Vision System
CN109429039A (zh) * 2017-09-05 2019-03-05 中车株洲电力机车研究所有限公司 一种多编组铰接车辆周界视频全景显示系统及方法
CN108263283A (zh) * 2018-01-25 2018-07-10 长沙立中汽车设计开发股份有限公司 多编组变角度车辆全景环视系统标定及拼接方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
江志国: "多编组变角度车辆全景环视系统的研究" *
龙腾蛟等: "多编组铰接车辆周界图像动态拼接方法研究" *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021073634A1 (zh) * 2019-10-17 2021-04-22 长沙智能驾驶研究院有限公司 交通工具铰接点标定方法、及相应的标定装置、计算机设备和存储介质
EP4060980A4 (en) * 2019-12-16 2023-08-02 Changsha Intelligent Driving Institute Corp. Ltd METHOD AND DEVICE FOR GENERATION OF A VEHICLE PERIPHERAL PANORAMIC VIEW IMAGE
US11843865B2 (en) 2019-12-16 2023-12-12 Changsha Intelligent Driving Institute Corp., Ltd Method and device for generating vehicle panoramic surround view image
CN113296107A (zh) * 2021-06-23 2021-08-24 上海西井信息科技有限公司 传感器协同检测拖挂角度的方法、系统、设备及存储介质
CN113688662A (zh) * 2021-07-05 2021-11-23 浙江大华技术股份有限公司 机动车过车警示方法、装置、电子装置和计算机设备

Also Published As

Publication number Publication date
US20230379422A1 (en) 2023-11-23
WO2021073634A1 (zh) 2021-04-22
CN110751598B (zh) 2023-09-26

Similar Documents

Publication Publication Date Title
CN110719411B (zh) 车辆的全景环视图像生成方法及相关设备
CN110751598B (zh) 车辆铰接点坐标标定方法、装置、计算机设备和存储介质
CN112101361B (zh) 针对鱼眼图像的目标检测方法、装置、设备和存储介质
US9357208B2 (en) Method and system for dynamically calibrating vehicular cameras
US20170347030A1 (en) Method and device for stabilization of a surround view image
CN109657638B (zh) 障碍物定位方法、装置和终端
CN107424120A (zh) 一种全景环视系统中的图像拼接方法
US20090021609A1 (en) Method and apparatus for distortion correction and image enhancing of a vehicle rear viewing system
JP7247173B2 (ja) 画像処理方法及び装置
CN111652937B (zh) 车载相机标定方法和装置
CN111179168A (zh) 一种车载360度全景环视监控系统及方法
CN108376384B (zh) 视差图的矫正方法、装置及存储介质
CN111160070A (zh) 车辆全景图像盲区消除方法、装置、存储介质及终端设备
US9892519B2 (en) Method for detecting an object in an environmental region of a motor vehicle, driver assistance system and motor vehicle
EP3057062A1 (en) Method and device for stabilization of a surround view image
CN111768332A (zh) 一种车载环视实时3d全景图像的拼接方法及图形采集装置
CN114332142A (zh) 车载相机的外参标定方法、设备、系统及介质
CN114897684A (zh) 车辆图像的拼接方法、装置、计算机设备和存储介质
CN117495676A (zh) 一种全景环视图像拼接方法、装置、电子设备和存储介质
US11377027B2 (en) Image processing apparatus, imaging apparatus, driving assistance apparatus, mobile body, and image processing method
CN111968184B (zh) 一种在全景环视系统中实现视图随动的方法、装置及介质
CN107886472B (zh) 全景泊车系统的图像拼接校准方法和图像拼接校准装置
CN112907648A (zh) 库位角点检测方法、装置、终端设备及车辆
CN113411488A (zh) 全景图像生成方法、装置、存储介质及计算机设备
CN113673493B (zh) 一种基于工业车辆视觉的行人感知和定位的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant