CN116985783A - 车辆控制方法、装置、设备及可读存储介质 - Google Patents

车辆控制方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN116985783A
CN116985783A CN202310966864.8A CN202310966864A CN116985783A CN 116985783 A CN116985783 A CN 116985783A CN 202310966864 A CN202310966864 A CN 202310966864A CN 116985783 A CN116985783 A CN 116985783A
Authority
CN
China
Prior art keywords
real
image
time
vehicle
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310966864.8A
Other languages
English (en)
Inventor
赵萌萌
施喆晗
高磊
唐辉
李春霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Geely Holding Group Co Ltd
Geely Automobile Research Institute Ningbo Co Ltd
Original Assignee
Zhejiang Geely Holding Group Co Ltd
Geely Automobile Research Institute Ningbo Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Geely Holding Group Co Ltd, Geely Automobile Research Institute Ningbo Co Ltd filed Critical Zhejiang Geely Holding Group Co Ltd
Priority to CN202310966864.8A priority Critical patent/CN116985783A/zh
Publication of CN116985783A publication Critical patent/CN116985783A/zh
Pending legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06Automatic manoeuvring for parking
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • B60W30/0956Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种车辆控制方法、装置、设备及可读存储介质,涉及车辆控制技术领域。所述车辆控制方法包括以下步骤:基于环视摄像头采集实时周边图像;对所述实时周边图像进行特征提取,获得周边场景特征和车辆位姿特征;根据所述周边场景特征和所述车辆位姿特征进行路径规划,获得实时泊车路径,以使当前车辆按照所述实时泊车路径进行泊车。本申请有效提高了自动泊车的精确度。

Description

车辆控制方法、装置、设备及可读存储介质
技术领域
本申请涉及车辆控制技术领域,尤其涉及一种车辆控制方法、装置、设备及可读存储介质。
背景技术
随着现代汽车行业的发展,自动泊车系统已成为许多车辆的标配。目前市场上的自动泊车系统通常采用超声波雷达作为传感器,用于检测车辆周围的障碍物并进行自动泊车操作。
然而,超声波雷达由于其自身的局限性,存在探测范围有限、检测精度较低等一些不足之处,超声波雷达的这些不足会影响自动泊车系统对于周边环境的探测效果,导致自动泊车的精确度偏低。
发明内容
本申请的主要目的在于提供一种车辆控制方法,旨在解决超声波雷达自身的不足导致自动泊车的精确度偏低的技术问题。
为实现上述目的,第一方面,本申请提供一种车辆控制方法,所述车辆控制方法包括:
基于环视摄像头采集实时周边图像;
对所述实时周边图像进行特征提取,获得周边场景特征和车辆位姿特征;
根据所述周边场景特征和所述车辆位姿特征进行路径规划,获得实时泊车路径,以使当前车辆按照所述实时泊车路径进行泊车。
根据第一方面,所述对所述实时周边图像进行特征提取,获得周边场景特征和车辆位姿特征的步骤,包括:
对所述实时周边图像进行去畸处理,获得实时校正图像;
对所述实时校正图像进行特征提取,获得周边场景特征;
对所述周边场景特征进行运动跟踪,获得车辆位姿特征。
根据第一方面,或者以上第一方面的任意一种实现方式,所述对所述实时周边图像进行去畸处理,获得实时校正图像的步骤,包括:
获取所述环视摄像头的摄像头参数;
根据所述摄像机参数,基于预设矫正模型对所述实时周边图像畸变矫正并重投影,获得实时校正图像。
根据第一方面,或者以上第一方面的任意一种实现方式,在所述获取所述环视摄像头的摄像头参数的步骤之前,包括:
基于所述环视摄像头拍摄预设标定板,获得标定板图像;
对所述标定板图像进行角点检测,获得所述标定板图像中的图像角点信息;
基于所述标定板的尺寸信息和所述图像角点信息,计算得到所述环视摄像头的内参矩阵;
获取所述预设标定板上指定点位在所述标定板图像中对应的点位坐标;
基于所述点位坐标计算得到所述环视摄像头的外参矩阵;
将所述内参矩阵和所述外参矩阵作为所述环视摄像头的摄像头参数。
根据第一方面,或者以上第一方面的任意一种实现方式,所述对所述实时校正图像进行特征提取,获得周边场景特征的步骤,包括:
对所述实时校正图像进行预处理,获得预处理图像;
对所述预处理图像进行特征点检测,获得图像特征点;
对所述图像特征点进行特征描述,转化为特征向量作为所述周边场景特征。
根据第一方面,或者以上第一方面的任意一种实现方式,所述对所述周边场景特征进行运动跟踪,获得车辆位姿特征的步骤,包括:
对所述实时校正图像中的周边场景特征进行匹配,获得对应的特征匹配对;
将所述特征匹配对中的场景匹配特征,按照时间顺序进行连接,获得所述实时校正图像的运动轨迹;
基于所述运动轨迹,获得所述当前车辆相对于所述特征匹配对的车辆位置和车辆姿态作为车辆位姿特征。
根据第一方面,或者以上第一方面的任意一种实现方式,所述根据所述周边场景特征和所述车辆位姿特征进行路径规划,获得实时泊车路径的步骤,包括:
根据所述周边场景特征,构建周边场景地图;
根据所述周边场景地图和所述车辆位姿特征,确定泊车起点和泊车终点;
根据所述周边场景地图、所述泊车起点和所述泊车终点,生成实时泊车路径。
第二方面,本申请提供了一种车辆控制装置,所述车辆控制装置包括:
采集模块,用于基于环视摄像头采集实时周边图像;
提取模块,用于对所述实时周边图像进行特征提取,获得周边场景特征和车辆位姿特征;
泊车模块,用于根据所述周边场景特征和所述车辆位姿特征进行路径规划,获得实时泊车路径,以使当前车辆按照所述实时泊车路径进行泊车。
根据第二方面,提取模块还用于:
对所述实时周边图像进行去畸处理,获得实时校正图像;
对所述实时校正图像进行特征提取,获得周边场景特征;
对所述周边场景特征进行运动跟踪,获得车辆位姿特征。
根据第二方面,或者以上第二方面的任意一种实现方式,提取模块还用于:
获取所述环视摄像头的摄像头参数;
根据所述摄像机参数,基于预设矫正模型对所述实时周边图像畸变矫正并重投影,获得实时校正图像。
根据第二方面,或者以上第二方面的任意一种实现方式,提取模块还用于:
基于所述环视摄像头拍摄预设标定板,获得标定板图像;
对所述标定板图像进行角点检测,获得所述标定板图像中的图像角点信息;
基于所述标定板的尺寸信息和所述图像角点信息,计算得到所述环视摄像头的内参矩阵;
获取所述预设标定板上指定点位在所述标定板图像中对应的点位坐标;
基于所述点位坐标计算得到所述环视摄像头的外参矩阵;
将所述内参矩阵和所述外参矩阵作为所述环视摄像头的摄像头参数。
根据第二方面,或者以上第二方面的任意一种实现方式,提取模块还用于:
对所述实时校正图像进行预处理,获得预处理图像;
对所述预处理图像进行特征点检测,获得图像特征点;
对所述图像特征点进行特征描述,转化为特征向量作为所述周边场景特征。
根据第二方面,或者以上第二方面的任意一种实现方式,提取模块还用于:
对所述实时校正图像中的周边场景特征进行匹配,获得对应的特征匹配对;
将所述特征匹配对中的场景匹配特征,按照时间顺序进行连接,获得所述实时校正图像的运动轨迹;
基于所述运动轨迹,获得所述当前车辆相对于所述特征匹配对的车辆位置和车辆姿态作为车辆位姿特征。
根据第二方面,或者以上第二方面的任意一种实现方式,泊车模块还用于:
根据所述周边场景特征,构建周边场景地图;
根据所述周边场景地图和所述车辆位姿特征,确定泊车起点和泊车终点;
根据所述周边场景地图、所述泊车起点和所述泊车终点,生成实时泊车路径。
第三方面,本申请提供了一种车辆控制设备,所述车辆控制设备包括:存储器、处理器,所述存储器上存储有可在所述处理器上运行的计算机程序,所述计算机程序配置为实现如上所述的车辆控制方法的步骤。
第三方面以及第三方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第三方面以及第三方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果,此处不再赘述。
第四方面,本申请提供了一种计算机可读存储介质,所述计算机可读存储介质中存储了计算机程序,当所述计算机程序被处理器执行时,使得处理器执行如上述第一方面或第一方面的可能的实现方式中任一项所述的车辆控制方法。
第四方面以及第四方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第四方面以及第四方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果,此处不再赘述。
第五方面,本申请实施例提供了一种计算机程序,该计算机程序包括用于执行第一方面以及第一方面的任意可能的实现方式中的车辆控制方法的指令。
第五方面以及第五方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第五方面以及第五方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果,此处不再赘述。
本申请提出了一种车辆控制方法、装置、设备及可读存储介质,通过基于当前车辆的环视摄像头对所述当前车辆的周边环境进行图像采集,获得所述当前车辆的实时周边图像。进而可以通过对所述实时周边图像进行特征提取,获得所述当前车辆的周边环境对应的周边场景特征和所述当前车辆的车辆位姿特征。进而可以根据所述周边场景特征和所述车辆位姿特征进行路径规划,获得实时泊车路径,以使当前车辆按照所述实时泊车路径进行泊车。由此,本申请通过车辆的环视摄像头即可实现对周边环境对应的周边场景特征和当前车辆的车辆位姿特征的识别,以进行自动泊车。相较于超声波雷达,本申请通过环视摄像头实现自动泊车的方式探测的范围更大,更加准确,有效提高了自动泊车的精确度。
附图说明
图1为本申请车辆控制方法第一实施例的流程示意图;
图2为本申请车辆控制方法第二实施例的流程示意图;
图3为本申请实施例方案涉及的实时周边图像的径向畸变的示意图;
图4为本申请实施例方案涉及的实时周边图像的切向畸变的示意图;
图5为本申请车辆控制装置的结构示意图;
图6为本申请实施例方案涉及的硬件运行环境的设备结构示意图。
本申请目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。
本申请实施例的说明书和权利要求书中的术语“第一”和“第二”等是用于区别不同的对象,而不是用于描述对象的特定顺序。例如,第一目标对象和第二目标对象等是用于区别不同的目标对象,而不是用于描述目标对象的特定顺序。
在本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
下面结合部分现有技术对本申请车辆控制方法进行说明:
随着现代汽车行业的发展,自动泊车系统已成为许多车辆的标配。目前市场上的自动泊车系统通常采用超声波雷达作为传感器,用于检测车辆周围的障碍物并进行自动泊车操作。
然而,超声波雷达由于其自身的局限性,存在探测范围有限、检测精度较低等一些不足之处,超声波雷达的这些不足会影响自动泊车系统对于周边环境的探测效果,导致自动泊车的精确度偏低。
本申请采用当前车辆的环视摄像头对所述当前车辆的周边环境进行图像采集,进而提取出周边环境对应的周边环境特征,并识别出所述当前车辆的车辆位姿特征,用于进行路径规划,实现自动泊车。由此,相较于超声波雷达,本申请通过环视摄像头实现自动泊车的方式探测的范围更大,更加准确,有效提高了自动泊车的精确度。
请参照图1,图1为本申请车辆控制方法第一实施例的流程示意图。需要说明的是,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本申请第一实施例提供一种车辆控制方法,所述车辆控制方法包括以下步骤:
步骤S100,基于环视摄像头采集实时周边图像;
本实施例中,需要说明的是,所述环视摄像头为用于对当前车辆的前后左右四个方位的周边环境进行拍摄的摄像头,示例性地,所述环视摄像头可以包括前方摄像头、后方摄像头、左方摄像头和右方摄像头四个摄像头。
作为一种示例,本实施例中可以基于当前车辆的环视摄像头对所述当前车辆的周边环境进行拍摄,以采集到所述当前车辆的实时周边图像。
步骤S200,对所述实时周边图像进行特征提取,获得周边场景特征和车辆位姿特征;
本实施例中,需要说明的是,所述周边场景特征包括泊车场地形状和大小、车道线、路标、障碍物等特征。所述车辆位姿特征包括所述当前车辆相对于各周边场景特征的车辆位置和车辆姿态。
本实施例中可以通过特征提取算法从所述实时周边图像中提取出周边场景特征,进而通过对周边场景特征进行运动跟踪,确定所述当前车辆相对于各周边场景特征的车辆位置和车辆姿态作为车辆位姿特征。作为一种示例,由于环视摄像头通常是采用鱼眼摄像头,存在较大的图像畸变。因此可以先对所述实时周边图像进行去畸处理,获得实时校正图像。然后再对所述实时校正图像进行特征提取,获得周边场景特征,并对所述周边场景特征进行运动跟踪,获得所述实时周边图像的运动轨迹,以确定所述当前车辆的车辆位置和车辆姿态作为车辆位姿特征。
步骤S300,根据所述周边场景特征和所述车辆位姿特征进行路径规划,获得实时泊车路径,以使当前车辆按照所述实时泊车路径进行泊车。
作为一种示例,在获得所述周边场景特征和所述车辆位姿特征之后,可以根据泊车场地形状和大小、车道线、路标、障碍物等周边场景特征,生成对应的周边场景地图。然后根据所述周边场景地图和所述车辆位姿特征,基于预设路径搜索算法(如A*算法、迪杰斯特拉算法等)进行路径规划,生成对应的实时泊车路径,以使当前车辆按照所述实时泊车路径进行泊车。
其中,步骤S300中所述根据所述周边场景特征和所述车辆位姿特征进行路径规划,获得实时泊车路径的步骤,包括:
步骤S310,根据所述周边场景特征,构建周边场景地图;
步骤S320,根据所述周边场景地图和所述车辆位姿特征,确定泊车起点和泊车终点;
步骤S330,根据所述周边场景地图、所述泊车起点和所述泊车终点,生成实时泊车路径。
本实施例中,在获得所述周边场景特征增后,则可以构建出所述当前车辆的周围环境对应的地图(即周边场景地图),所述周边场景地图可以包括泊车场地、车道线、路标、障碍物等信息。进而可以根据所述车辆位姿特征,确定泊车起点。示例性地,可以直接将所述车辆位姿特征中的车辆位置作为泊车起点。然后可以在所述周边场景地图中所述车辆位姿特征中车辆姿态对应的方向上,检测空闲车位作为泊车终点。进而可以基于预设路径搜索算法根据所述周边场景地图、所述泊车起点和所述泊车终点,生成对应的实时泊车路径。所述实时泊车路径可以是最短路径或最优路径。进一步地,所述车辆位姿特征还可用于对车辆进行自动泊车的位姿调整。此外,还可以通过车载传感器采集所述当前车辆的车辆状态信息(如车速、转向角度、加速度等信息),用于约束所述实时泊车路径的路径规划。
在本申请第一实施例中,通过基于当前车辆的环视摄像头对所述当前车辆的周边环境进行图像采集,获得所述当前车辆的实时周边图像。进而可以通过对所述实时周边图像进行特征提取,获得所述当前车辆的周边环境对应的周边场景特征和所述当前车辆的车辆位姿特征。进而可以根据所述周边场景特征和所述车辆位姿特征进行路径规划,获得实时泊车路径,以使当前车辆按照所述实时泊车路径进行泊车。由此,本申请通过车辆的环视摄像头即可实现对周边环境对应的周边场景特征和当前车辆的车辆位姿特征的识别,以进行自动泊车。相较于超声波雷达,本申请通过环视摄像头实现自动泊车的方式探测的范围更大,更加准确,有效提高了自动泊车的精确度。
参照图2,图2为本申请车辆控制方法的第二实施例的流程示意图。
本申请第二实施例提供一种车辆控制方法,步骤S200中所述对所述实时周边图像进行特征提取,获得周边场景特征和车辆位姿特征的步骤,包括:
步骤S210,对所述实时周边图像进行去畸处理,获得实时校正图像;
步骤S220,对所述实时校正图像进行特征提取,获得周边场景特征;
步骤S230,对所述周边场景特征进行运动跟踪,获得车辆位姿特征。
本实施例中,可以理解的是,由于环视摄像头为了追求更大的视界,通常会采用鱼眼摄像头,其内部的多重透镜结构决定了它的大视界是牺牲了图像的真实度取得的,鱼眼摄像头采集的图像原始数据造型是一个球面,而不是平面。因此为了保障特征提取的准确性,本实施例需要先对所述实时周边图像进行去畸处理,获得实时校正图像。示例性地,可以基于所述环视摄像头的摄像头参数,先基于所述摄像机参数将所述实时周边图像投影至所述环视摄像头的摄像头坐标系中进行畸变矫正,获得矫正后的实时周边图像。参见图3,图3为本申请实施例方案涉及的实时周边图像的径向畸变的示意图。图3中,所述虚线为真实图像的画面,网格为存在径向畸变的画面。参见图4,
图4为本申请实施例方案涉及的实时周边图像的切向畸变的示意图。图4中,所述虚线为真实图像的画面,实线为存在切向畸变的画面。其中,对于所述实时周边图像的径向畸变,可以采用Brown-Conrady模型进行矫正;对于所述实时周边图像的切向畸变,则可以采用张正友模型进行矫正。然后再对所述矫正后的实时周边图像进行重投影,生成实时校正图像。作为另一种示例,可以基于所述环视摄像头的矫正对应关系,其中所述矫正对应关系包含未矫正图像和矫正图像之间的对应关系。由此可以基于所述矫正对应关系对所述实时周边图像进行去畸处理,获得实时校正图像。
进而可以对所述实时校正图像进行特征点检测,以提取出所述实时周边图像中的周边场景特征,如泊车场地的形状和大小、车道线、路标、障碍物等特征。进而可以对所述周边场景特征进行运动跟踪,则可以获得所述实时周边图像的运动轨迹,以确定所述当前车辆的运动轨迹,基于所述当前车辆的运动轨迹,确定所述当前车辆的车辆位置和车辆姿态作为车辆位姿特征。
其中,步骤S210中所述对所述实时周边图像进行去畸处理,获得实时校正图像的步骤,包括:
步骤S211,获取所述环视摄像头的摄像头参数;
步骤S212,根据所述摄像机参数,基于预设矫正模型对所述实时周边图像畸变矫正并重投影,获得实时校正图像。
本实施例中,需要说明的是,所述摄像头参数包括内参矩阵和外参矩阵,其中所述内参矩阵包括所述环视摄像头的焦距、主点位置、畸变系数等参数。外参矩阵包括所述环视摄像头的位置、朝向等摄像头位姿信息。
本实施例中可以通过获取所述环视摄像头的摄像头参数,先基于所述摄像机参数将所述实时周边图像投影至所述环视摄像头的摄像头坐标系中进行畸变矫正,获得矫正后的实时周边图像。其中,对于所述实时周边图像的径向畸变,可以采用Brown-Conrady模型进行矫正;对于所述实时周边图像的切向畸变,则可以采用张正友模型进行矫正。然后再对所述矫正后的实时周边图像进行重投影,生成实时校正图像。示例性地,在获得所述环视摄像头的内参矩阵和外参矩阵后,将三维空间(即世界坐标系)中的点P通过外参矩阵变换为相机坐标系下的点Pc。然后再将相机坐标系下的点Pc通过内参矩阵变换到归一化图像平面上的点Pnorm。将归一化图像平面上的点Pnorm除以其齐次坐标得到像素坐标Ppix。将像素坐标Ppix投影到矫正后的实时周边图像上,得到重投影像素坐标Preproj。基于所述重投影像素坐标和矫正后的实时周边图像构建对应的实时校正图像。进一步地,可以通过比较重投影像素坐标preproj和所述矫正后的实时周边图像中对应像素点的位置,计算重投影误差,并根据所述重投影误差来优化摄像机参数。由此本实施例通过将三维场景中的点P重投影到矫正后的实时周边图像上,实现矫正后的实时周边图像的图像重建,获得实时校正图像。进一步地,由于去畸处理会导致图像的变形,可以按照预设图像尺寸对所述实时校正图像进行适当的裁剪和缩放,以使所述实时校正图像保持正常的比例和大小。并将裁剪和缩放后的实时校正图像作为新的实时校正图像。
其中,在步骤S211中所述获取所述环视摄像头的摄像头参数的步骤之前,包括:
步骤A10,基于所述环视摄像头拍摄预设标定板,获得标定板图像;
步骤A20,对所述标定板图像进行角点检测,获得所述标定板图像中的图像角点信息;
步骤A30,基于所述标定板的尺寸信息和所述图像角点信息,计算得到所述环视摄像头的内参矩阵;
步骤A40,获取所述预设标定板上指定点位在所述标定板图像中对应的点位坐标;
步骤A50,基于所述点位坐标计算得到所述环视摄像头的外参矩阵;
步骤A60,将所述内参矩阵和所述外参矩阵作为所述环视摄像头的摄像头参数。
本实施例中,基于所述环视摄像头对已知尺寸的预设标定板,拍摄多张图片,获得标定板图像。其中所述标定板图像中每张图片中预设标定板放置在不同的位置和角度,以覆盖各类拍摄情况。进而可以对所述标定板图像进行角点检测,获得所述标定板图像中的图像角点信息。示例性地,可以使用OpenCV(跨平台计算机视觉库)中的函数cv2.findChessboardCorners()对所述标定板图像进行角点检测,获得所述标定板图像中的图像角点信息。其中所述图像角点信息至少包括所述标定板图像中标定板角点的角点坐标。基于所述标定板的尺寸信息和所述图像角点信息,计算得到所述环视摄像头的内参矩阵。其中所述内参矩阵包括所述环视摄像头的焦距、主点位置、畸变系数等参数。示例性地可以使用OpenCV中的函数cv2.calibrateCamera()基于所述标定板的尺寸信息和所述图像角点信息中的角点坐标进行内参计算,得到所述环视摄像头的内参矩阵。进而可以获取所述预设标定板上指定点位在所述标定板图像中对应的点位坐标,基于所述点位坐标计算得到所述环视摄像头的外参矩阵。其中所述外参矩阵包括环视摄像头的位置和朝向等位姿信息。示例性地,可以通过在预设标定板上选择若干个已知的指定点位,并将所述指定点位在所述标定板图像中的对应点位坐标作为输入,使用OpenCV中的函数cv2.solvePnP()进行外参计算,得到所述环视摄像头的外参矩阵。进而可将所述内参矩阵和所述外参矩阵作为所述环视摄像头的摄像头参数。进一步地,为了提高所述摄像头参数的精确度,还可以使用OpenCV中的函数cv2.calibrateCamera()对所述摄像头参数进行优化,以获得更加精确的内参矩阵和外参矩阵。
其中,步骤S220中所述对所述实时校正图像进行特征提取,获得周边场景特征的步骤,包括:
步骤S221,对所述实时校正图像进行预处理,获得预处理图像;
步骤S222,对所述预处理图像进行特征点检测,获得图像特征点;
步骤S223,对所述图像特征点进行特征描述,转化为特征向量作为所述周边场景特征。
本实施例中,需要说明的是,由于原始图像通常难以直接进行特征提取,因此需要对所述实时校正图像进行预处理,以便后续特征提取。所述预处理为对所述实时校正图像进行特征提取前的处理操作,包括去噪、灰度化、二值化、分割等处理操作。
作为一种示例,可以先使用去噪算法消除所述实时校正图像中的噪音,进而使用灰度化算法用于将所述实时校正图像转化为灰度图像,并使用直方图均衡算法增强所述灰度图像的图像对比度,使得所述灰度图像中的灰度值更加均匀。进而使用边缘检测算法检测所述灰度图像中的边缘和轮廓,并使用形态算法对所述灰度图像中的边缘和轮廓进行二值化处理,获得二值化图像。使用基于阈值图像分割算法将所述二值化图像分割成若干个图像区域,使用图像去除算法去除无用的图像区域,获得关键图像。最后采用图像校正算法对所述关键图像进行正旋转和倾斜得以完成对所述实时校正图像的预处理。
本实施例中可以采用预设特征点提取算法对所述预处理图像进行特征点检测,获得图像特征点。其中,所述特征点检测为在图像中提取出具有代表性的特征点的操作,所述预设特征点提取算法可以为SIFT(Scale-Invariant Feature Transform,尺度不变特征转换)算法、SURF(Speeded-Up Robust Feature,加速稳健特征)算法、ORB(Oriented FASTand Rotated BRIEF,定向快速旋转简报)算法等。以SIFT算法为例,可以基于所述预处理图像构建高斯金字塔和尺寸空间,再检测尺寸空间中的极值点作为特征点并通过非极大值抑制筛选特征点进行特征点定位,并且通过Haar(哈尔)小波响应构建图像梯度的方向,确定每个特征点的主方向。然后则可以基于预设特征描述算法对所述特征点进行特征点描述,将所述特征点转化为一个特征向量,并将特征向量作为所述周边场景特征。其中,预设特征描述算法可以是SIFT算法、SURF算法等。
其中,步骤S230中所述对所述周边场景特征进行运动跟踪,获得车辆位姿特征的步骤,包括:
步骤S231,对所述实时校正图像中的周边场景特征进行匹配,获得对应的特征匹配对;
步骤S232,将所述特征匹配对中的场景匹配特征,按照时间顺序进行连接,获得所述实时校正图像的运动轨迹;
步骤S233,基于所述运动轨迹,获得所述当前车辆相对于所述特征匹配对的车辆位置和车辆姿态作为车辆位姿特征。
本实施例中,由于不同时刻的实时校正图像中的特征点可能是同一物体,因此可以对不同时刻的实时校正图像中的周边场景特征进行匹配,获得对应的特征匹配对。从而在不同时刻的实时校正图像中找到相同的周边场景特征(即同一物体),从而实现不同时刻的实时校正图像中同一物体的识别。此外为降低误识别率,通过对各个不同时刻的实时校正图像中的周边场景特征与其他的实时校正图像中的所有周边场景特征的匹配结果进行相似度计算,将各所述匹配结果的相似度进行排序,将相似度低于预设阈值的匹配结果过滤掉。进一步地,为了减少后续对于车辆位姿特征识别的计算量,可以选取固定物体(如柱子、路障、垃圾箱、熄火的车辆等)作为所述特征匹配对。然后则可以将所述特征匹配对中的场景匹配特征,按照时间顺序进行连接,获得所述实时校正图像的运动轨迹。由于所述实时校正图像的运动轨迹实际上是与所述环视摄像头的运动轨迹相背的轨迹。因此可以基于所述运动轨迹,获得所述当前车辆相对于所述特征匹配对的车辆位置和车辆姿态作为车辆位姿特征。示例性地,可以检测对所述实时校正图像中的特征匹配对在相邻帧之间的灰度变化值。根据所述灰度变化值,计算得到每个特征匹配对的运动矢量,所述运动矢量可以反映在两帧之间特征匹配对的移动。根据所有特征匹配对的运动矢量则可以合并为所述实时校正图像的运动矢量。进而根据所述实时校正图像的运动矢量,计算所述当前车辆在空间中的运动状态,从而获得所述当前车辆的车辆位置和车辆姿态以作为车辆位姿特征。
在本申请第二实施例中,通过对所述实时周边图像进行去畸处理,获得实时校正图像,由此实现了所述实时周边图像的校正,保障了后续对周边场景特征和车辆位姿特征识别的准确性。进而通过对所述实时校正图像进行特征提取,以提取出所述实时周边图像中的泊车场地的形状和大小、车道线、路标、障碍物等周边场景特征。进而可以对所述周边场景特征进行运动跟踪,则可以获得所述实时周边图像的运动轨迹,由于所述实时周边图像的运动轨迹实际也表征环视摄像头相背的运动轨迹,由此可以确定所述当前车辆的运动轨迹,进而基于所述当前车辆的运动轨迹,确定所述当前车辆的车辆位置和车辆姿态作为车辆位姿特征。本实施例中,通过对实时周边图像的去畸、特征提取与特征跟踪,可准确识别出所述当前车辆周边场景的环境特征和所述当前车辆自身的车辆位姿特征,由此借助周边场地特征和车辆位姿特征则可进行路径规划,实现自动泊车。本实施例无需借助超声波雷达,通过环视摄像头即可实现对外界环境以及车辆位姿的识别,有效提高了自动泊车的精确度。此外,本申请由于借助实时周边图像即可实现车辆位姿的识别,也减小了对于定位系统的依赖,在定位信号较弱甚至没有的区域也可适用,有效提高了自动泊车的适用性。
参照图5,图5为本申请车辆控制装置的结构示意图。
本申请还提供一种车辆控制装置,所述车辆控制装置包括:
采集模块10,用于基于环视摄像头采集实时周边图像;
提取模块20,用于对所述实时周边图像进行特征提取,获得周边场景特征和车辆位姿特征;
泊车模块30,用于根据所述周边场景特征和所述车辆位姿特征进行路径规划,获得实时泊车路径,以使当前车辆按照所述实时泊车路径进行泊车。
可选地,提取模块20还用于:
对所述实时周边图像进行去畸处理,获得实时校正图像;
对所述实时校正图像进行特征提取,获得周边场景特征;
对所述周边场景特征进行运动跟踪,获得车辆位姿特征。
可选地,提取模块20还用于:
获取所述环视摄像头的摄像头参数;
根据所述摄像机参数,基于预设矫正模型对所述实时周边图像畸变矫正并重投影,获得实时校正图像。
可选地,提取模块20还用于:
基于所述环视摄像头拍摄预设标定板,获得标定板图像;
对所述标定板图像进行角点检测,获得所述标定板图像中的图像角点信息;
基于所述标定板的尺寸信息和所述图像角点信息,计算得到所述环视摄像头的内参矩阵;
获取所述预设标定板上指定点位在所述标定板图像中对应的点位坐标;
基于所述点位坐标计算得到所述环视摄像头的外参矩阵;
将所述内参矩阵和所述外参矩阵作为所述环视摄像头的摄像头参数。
可选地,提取模块20还用于:
对所述实时校正图像进行预处理,获得预处理图像;
对所述预处理图像进行特征点检测,获得图像特征点;
对所述图像特征点进行特征描述,转化为特征向量作为所述周边场景特征。
可选地,提取模块20还用于:
对所述实时校正图像中的周边场景特征进行匹配,获得对应的特征匹配对;
将所述特征匹配对中的场景匹配特征,按照时间顺序进行连接,获得所述实时校正图像的运动轨迹;
基于所述运动轨迹,获得所述当前车辆相对于所述特征匹配对的车辆位置和车辆姿态作为车辆位姿特征。
可选地,泊车模块30还用于:
根据所述周边场景特征,构建周边场景地图;
根据所述周边场景地图和所述车辆位姿特征,确定泊车起点和泊车终点;
根据所述周边场景地图、所述泊车起点和所述泊车终点,生成实时泊车路径。
如图6所示,图6为本申请实施例方案涉及的硬件运行环境的设备结构示意图。
具体地,所述车辆控制设备可以是VCU(Vehicle control unit,整车控制器)、ECU(Electronic Control Unit,电子控制单元,又称“行车电脑”)、PC(Personal Computer,个人计算机)、平板电脑、便携式计算机或者服务器等设备。
如图6所示,所述车辆控制设备可以包括:处理器1001,例如中央处理器(CentralProcessing Unit,CPU),通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(WIreless-FIdelity,WI-FI)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory,RAM)存储器,也可以是稳定的非易失性存储器(Non-Volatile Memory,NVM),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图6中示出的设备结构并不构成对所述车辆控制设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图6所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及车辆控制应用程序。
在图6所示的设备中,网络接口1004主要用于连接后台服务器,与后台服务器进行数据通信;用户接口1003主要用于连接客户端,与客户端进行数据通信;而处理器1001可以用于调用存储器1005中存储的车辆控制程序,实现上述实施例提供的车辆控制方法中的操作。
此外,本申请实施例还提出一种车辆,所述车辆包括上述车辆控制设备。当然,可以理解的是,所述车辆还包括储能装置、驱动装置等其他保障车辆正常运行的装置。
此外,本申请实施例还提出一种计算机存储介质,所述计算机存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述实施例提供的车辆控制方法中的操作,具体步骤此处不再过多赘述。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体/操作/对象与另一个实体/操作/对象区分开来,而不一定要求或者暗示这些实体/操作/对象之间存在任何这种实际的关系或者顺序;术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
对于设备实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的设备实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的。可以根据实际的需要选择中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,车辆,或者网络设备等)执行本申请各个实施例所述的方法。
以上仅为本申请的优选实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种车辆控制方法,其特征在于,所述车辆控制方法包括以下步骤:
基于环视摄像头采集实时周边图像;
对所述实时周边图像进行特征提取,获得周边场景特征和车辆位姿特征;
根据所述周边场景特征和所述车辆位姿特征进行路径规划,获得实时泊车路径,以使当前车辆按照所述实时泊车路径进行泊车。
2.如权利要求1所述的车辆控制方法,其特征在于,所述对所述实时周边图像进行特征提取,获得周边场景特征和车辆位姿特征的步骤,包括:
对所述实时周边图像进行去畸处理,获得实时校正图像;
对所述实时校正图像进行特征提取,获得周边场景特征;
对所述周边场景特征进行运动跟踪,获得车辆位姿特征。
3.如权利要求2所述的车辆控制方法,其特征在于,所述对所述实时周边图像进行去畸处理,获得实时校正图像的步骤,包括:
获取所述环视摄像头的摄像头参数;
根据所述摄像机参数,基于预设矫正模型对所述实时周边图像畸变矫正并重投影,获得实时校正图像。
4.如权利要求3所述的车辆控制方法,其特征在于,在所述获取所述环视摄像头的摄像头参数的步骤之前,包括:
基于所述环视摄像头拍摄预设标定板,获得标定板图像;
对所述标定板图像进行角点检测,获得所述标定板图像中的图像角点信息;
基于所述标定板的尺寸信息和所述图像角点信息,计算得到所述环视摄像头的内参矩阵;
获取所述预设标定板上指定点位在所述标定板图像中对应的点位坐标;
基于所述点位坐标计算得到所述环视摄像头的外参矩阵;
将所述内参矩阵和所述外参矩阵作为所述环视摄像头的摄像头参数。
5.如权利要求2所述的车辆控制方法,其特征在于,所述对所述实时校正图像进行特征提取,获得周边场景特征的步骤,包括:
对所述实时校正图像进行预处理,获得预处理图像;
对所述预处理图像进行特征点检测,获得图像特征点;
对所述图像特征点进行特征描述,转化为特征向量作为所述周边场景特征。
6.如权利要求5所述的车辆控制方法,其特征在于,所述对所述周边场景特征进行运动跟踪,获得车辆位姿特征的步骤,包括:
对所述实时校正图像中的周边场景特征进行匹配,获得对应的特征匹配对;
将所述特征匹配对中的场景匹配特征,按照时间顺序进行连接,获得所述实时校正图像的运动轨迹;
基于所述运动轨迹,获得所述当前车辆相对于所述特征匹配对的车辆位置和车辆姿态作为车辆位姿特征。
7.如权利要求1至6中任一项所述的车辆控制方法,其特征在于,所述根据所述周边场景特征和所述车辆位姿特征进行路径规划,获得实时泊车路径的步骤,包括:
根据所述周边场景特征,构建周边场景地图;
根据所述周边场景地图和所述车辆位姿特征,确定泊车起点和泊车终点;
根据所述周边场景地图、所述泊车起点和所述泊车终点,生成实时泊车路径。
8.一种车辆控制装置,其特征在于,所述车辆控制装置包括:
采集模块,用于基于环视摄像头采集实时周边图像;
提取模块,用于对所述实时周边图像进行特征提取,获得周边场景特征和车辆位姿特征;
泊车模块,用于根据所述周边场景特征和所述车辆位姿特征进行路径规划,获得实时泊车路径,以使当前车辆按照所述实时泊车路径进行泊车。
9.一种车辆控制设备,其特征在于,所述车辆控制设备包括:存储器、处理器,所述存储器上存储有可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的车辆控制方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有车辆控制程序,所述车辆控制程序被处理器执行时实现如权利要求1至7中任一项所述的车辆控制方法的步骤。
CN202310966864.8A 2023-08-02 2023-08-02 车辆控制方法、装置、设备及可读存储介质 Pending CN116985783A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310966864.8A CN116985783A (zh) 2023-08-02 2023-08-02 车辆控制方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310966864.8A CN116985783A (zh) 2023-08-02 2023-08-02 车辆控制方法、装置、设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN116985783A true CN116985783A (zh) 2023-11-03

Family

ID=88529673

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310966864.8A Pending CN116985783A (zh) 2023-08-02 2023-08-02 车辆控制方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN116985783A (zh)

Similar Documents

Publication Publication Date Title
CN107577988B (zh) 实现侧方车辆定位的方法、装置及存储介质、程序产品
CN112507862B (zh) 基于多任务卷积神经网络的车辆朝向检测方法及系统
CN109741241B (zh) 鱼眼图像的处理方法、装置、设备和存储介质
CN111837158A (zh) 图像处理方法、装置、拍摄装置和可移动平台
CN111382722B (zh) 车牌图像优选方法、图像处理装置及具有存储功能的装置
CN111928857B (zh) 一种动态环境中实现slam定位的方法及相关装置
CN114913506A (zh) 一种基于多视角融合的3d目标检测方法及装置
CN112435223A (zh) 目标检测方法、装置及存储介质
CN114220063B (zh) 目标检测方法及装置
CN112598743B (zh) 一种单目视觉图像的位姿估算方法及相关装置
CN112733678A (zh) 测距方法、装置、计算机设备和存储介质
CN116643291A (zh) 一种视觉与激光雷达联合剔除动态目标的slam方法
CN116434156A (zh) 目标检测方法、存储介质、路侧设备及自动驾驶系统
CN114648639B (zh) 一种目标车辆的检测方法、系统及装置
CN116486351A (zh) 行车预警方法、装置、设备及存储介质
CN114037977B (zh) 道路灭点的检测方法、装置、设备及存储介质
CN115565155A (zh) 神经网络模型的训练方法、车辆视图的生成方法和车辆
CN116168357A (zh) 一种智能车的前景目标机器视觉提取系统及方法
CN116985783A (zh) 车辆控制方法、装置、设备及可读存储介质
CN114170267A (zh) 目标跟踪方法、装置、设备及计算机可读存储介质
CN112183413B (zh) 一种车位检测方法、装置、存储介质及车辆
CN115861316B (zh) 行人检测模型的训练方法及其装置、行人检测方法
CN115222901A (zh) 点云处理方法、高精地图更新方法、装置及计算机设备
CN117557978A (zh) 停车位识别方法、装置、终端设备及存储介质
CN117333686A (zh) 目标定位方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination