CN116495004A - 车辆环境感知方法、装置、电子设备和存储介质 - Google Patents

车辆环境感知方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN116495004A
CN116495004A CN202310769876.1A CN202310769876A CN116495004A CN 116495004 A CN116495004 A CN 116495004A CN 202310769876 A CN202310769876 A CN 202310769876A CN 116495004 A CN116495004 A CN 116495004A
Authority
CN
China
Prior art keywords
image
around
determining
environment
lane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310769876.1A
Other languages
English (en)
Inventor
王帅炀
闫海龙
朱海荣
杨玉玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hopechart Iot Technology Co ltd
Original Assignee
Hangzhou Hopechart Iot Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hopechart Iot Technology Co ltd filed Critical Hangzhou Hopechart Iot Technology Co ltd
Priority to CN202310769876.1A priority Critical patent/CN116495004A/zh
Publication of CN116495004A publication Critical patent/CN116495004A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Geometry (AREA)
  • Evolutionary Computation (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请公开了一种车辆环境感知方法、装置、电子设备和存储介质，涉及车辆工程技术领域，其中方法包括：获取目标车辆四周的环境图像，并对环境图像进行拼接得到全景环视图像；对各个环境图像进行障碍物检测，确定各个环境图像中障碍物的位置信息，并基于各个障碍物的位置信息确定目标车辆的盲区碰撞预警信息；对全景环视图像进行车道线检测，确定全景环视图像中车道线的位置信息，并基于车道线的位置信息确定目标车辆的车道偏离预警信息；在全景环视图像中显示盲区碰撞预警信息和车道偏离预警信息。本申请提供的方法和装置，使得驾驶员能够及时、准确和全面地感知车辆的四周环境，提高了车辆行驶安全的提示效果，提高了车辆驾驶的安全性。

Description

车辆环境感知方法、装置、电子设备和存储介质
技术领域
本申请涉及车辆工程技术领域，具体而言，涉及一种车辆环境感知方法、装置、电子设备和存储介质。
背景技术
随着人工智能技术的不断发展与进步，驾驶员辅助系统（Advanced DrivingAssistance System，ADAS）的应用越来越广泛，也为驾驶员的日常驾驶提供了很好的帮助。ADAS通过全景式监控影像系统（Around View Monitor，AVM）实现，AVM是由传统倒车影像系统发展而来，摒弃了传统倒车影像系统只能查看车辆后方路况的弊端，为驾驶员的车辆操控提供了有力的参考依据，通过车辆四周的四路广角摄像头拍摄的实时画面，生成360度环视影像，并显示于多媒体屏幕上。
现有技术中通过AVM对车辆的四周环境进行感知，其对驾驶员的辅助作用依赖于驾驶员对环视影像的主动分析，驾驶员在驾驶过程中需要集中注意力专注于路况信息，无法及时、准确和全面地识别车辆四周环境中的危险因素，安全提示效果差。
发明内容
本申请提供一种车辆环境感知方法、装置、电子设备和存储介质，用于解决现有的车辆环境感知方法依赖于驾驶员对环视影像的主动分析，安全提示效果差的技术问题。
本申请提供一种车辆环境感知方法，包括：
获取目标车辆四周的环境图像，并对所述环境图像进行拼接得到全景环视图像；
对各个环境图像进行障碍物检测，确定各个环境图像中障碍物的位置信息，并基于各个障碍物的位置信息确定所述目标车辆的盲区碰撞预警信息；
对所述全景环视图像进行车道线检测，确定所述全景环视图像中车道线的位置信息，并基于所述车道线的位置信息确定所述目标车辆的车道偏离预警信息；
在所述全景环视图像中显示所述盲区碰撞预警信息和所述车道偏离预警信息。
在一些实施例中，所述对各个环境图像进行障碍物检测，确定各个环境图像中障碍物的位置信息，并基于各个障碍物的位置信息确定所述目标车辆的盲区碰撞预警信息，包括：
基于行人检测模型或者车辆检测模型对各个环境图像进行障碍物检测，确定所述各个环境图像中的障碍物以及各个障碍物在对应的环境图像中的图像位置；
基于各个环境图像的图像坐标系与所述目标车辆所在的世界坐标系之间的坐标转换关系，以及各个障碍物在对应的环境图像中的图像位置，确定各个障碍物在所述世界坐标系中的空间位置；所述世界坐标系以所述目标车辆的中心为原点；
基于各个障碍物在所述世界坐标系中的空间位置，确定各个障碍物与所述目标车辆之间的空间距离；
基于各个障碍物与所述目标车辆之间的空间距离，确定各个障碍物的预警等级；
基于各个障碍物的图像位置和预警等级，生成所述目标车辆的盲区碰撞预警信息。
在一些实施例中，所述对所述全景环视图像进行车道线检测，确定所述全景环视图像中车道线的位置信息，并基于所述车道线的位置信息确定所述目标车辆的车道偏离预警信息，包括：
基于车道线检测模型对所述全景环视图像进行车道线检测，确定各个车道线在所述全景环视图像中的图像位置；
基于各个车道线的图像位置以及所述目标车辆的图像位置，生成所述目标车辆的车道偏离预警信息。
在一些实施例中，所述对所述环境图像进行拼接得到全景环视图像，包括：
基于采集所述环境图像的相机的内参矩阵和外参矩阵，确定所述环境图像所在的图像坐标系与世界坐标系之间的坐标转换关系；
基于所述坐标转换关系，确定所述环境图像中的像素点在世界坐标系中对应的空间点；
在所述世界坐标系中构建三维曲面网格模型，确定所述空间点在所述三维曲面网格模型中对应的网格位置，将所述像素点的图像信息投影到所述网格位置，得到所述全景环视图像。
在一些实施例中，所述在所述全景环视图像中显示所述盲区碰撞预警信息和所述车道偏离预警信息，包括：
基于固定视角，生成所述全景环视图像对应的二维环视图像；
基于活动视角，生成所述全景环视图像对应的三维环视图像；
将所述盲区碰撞预警信息和所述车道偏离预警信息加载至所述二维环视图像和所述三维环视图像；
在同一界面中显示所述二维环视图像和所述三维环视图像。
在一些实施例中，所述在所述全景环视图像中显示所述盲区碰撞预警信息和所述车道偏离预警信息，包括：
将所述目标车辆四周的图像区域划分为多个盲区碰撞警示块；
基于所述盲区碰撞预警信息中障碍物的图像位置，确定所述障碍物所在的盲区碰撞警示块；
基于所述障碍物的预警等级，设置所述盲区碰撞警示块的显示形态，和/或，采用语音播放所述盲区碰撞预警信息。
在一些实施例中，所述在所述全景环视图像中显示所述盲区碰撞预警信息和所述车道偏离预警信息，包括：
基于所述车道偏离预警信息中的各个车道线的图像位置以及所述目标车辆的图像位置，确定所述目标车辆偏离的行驶车道；
设置所述行驶车道的车道线的显示形态，和/或，采用语音播放所述车道偏离预警信息。
本申请提供一种车辆环境感知装置，包括：
图像采集单元，用于获取目标车辆四周的环境图像，并对所述环境图像进行拼接得到全景环视图像；
盲区预警单元，用于对各个环境图像进行障碍物检测，确定各个环境图像中障碍物的位置信息，并基于各个障碍物的位置信息确定所述目标车辆的盲区碰撞预警信息；
车道预警单元，用于对所述全景环视图像进行车道线检测，确定所述全景环视图像中车道线的位置信息，并基于所述车道线的位置信息确定所述目标车辆的车道偏离预警信息；
融合显示单元，用于在所述全景环视图像中显示所述盲区碰撞预警信息和所述车道偏离预警信息。
本申请提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的车辆环境感知方法。
本申请提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的车辆环境感知方法。
本申请提供的车辆环境感知方法、装置、电子设备和存储介质，实现了根据车辆四周的环境图像自动进行障碍物检测和车道线检测，并将检测得到的盲区碰撞预警信息和车道偏离预警信息显示在全景环视图像中，无需驾驶员对环视图像进行主动分析，可以直观地向驾驶员进行展示并发出预警，使得驾驶员能够及时、准确和全面地感知车辆的四周环境，识别危险因素并做出准确地判断，提高了车辆行驶安全的提示效果，使得驾驶员可以集中注意力专注于路况信息，提高了车辆驾驶的安全性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请提供的车辆环境感知方法的结构示意图之一；
图2为本申请提供的车辆盲区碰撞警示块的分布示意图；
图3为本申请提供的车辆与车道的关系示意图；
图4为本申请提供的坐标系变换的示意图；
图5为本申请提供的三维曲面网格模型的示意图；
图6为本申请提供的图像重叠区域的融合示意图；
图7为本申请提供的车辆环境感知装置的结构示意图之一；
图8为本申请提供的车辆环境感知装置的结构示意图之二；
图9为本申请提供的车辆环境感知方法的结构示意图之二；
图10是本申请提供的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元或模块。
图1为本申请提供的车辆环境感知方法的结构示意图之一，如图1所示，该方法包括步骤110、步骤120、步骤130和步骤140。该方法流程步骤仅仅作为本申请一个可能的实现方式。
步骤110、获取目标车辆四周的环境图像，并对环境图像进行拼接得到全景环视图像。
具体地，本申请实施例提供的车辆环境感知方法的执行主体为车辆环境感知装置。该装置可以以软件形式体现，例如可以为车辆控制系统中运行的车辆环境感知程序；也可以以硬件形式体现，例如可以为车辆上设置的执行车辆环境感知方法的控制装置等。
目标车辆可以为渣土车和运输车等车辆。本申请实施例对于目标车辆的车辆类型不做具体限定。目标车辆上可以安装多个图像采集传感器，用于采集车辆前方、后方、左方和右方的环境图像。图像采集传感器可以为广角相机等。环境图像为对车辆所在位置的周边环境进行拍摄后得到的图像。对环境图像进行分析，可以确定车辆四周的行人、车辆和建筑物等信息。
例如，可以在车身的四周分别设置鱼眼相机，用于对车辆前后左右的环境进行图像采集。
全景环视图像是指在能够提供360度的视角用于自由浏览的图像。对采集到的多张环境图像进行拼接后，可以得到全景环视图像。
步骤120、对各个环境图像进行障碍物检测，确定各个环境图像中障碍物的位置信息，并基于各个障碍物的位置信息确定目标车辆的盲区碰撞预警信息。
具体地，障碍物是指对目标车辆的行车安全造成影响的物体，例如行人或者车辆等。
可以采用图像检测算法，对环境图像进行检测，确定各个环境图像是否包含障碍物，以及障碍物的数量和位置信息等。例如，可以采用YOLO（You Only Look Once）模型对环境图像进行目标检测，得到环境图像中所包含的行人或者车辆，将其作为障碍物，并根据模型的输出确定行人或者车辆在环境图像中的图像位置。
位置信息可以包括图像位置，也可以包括障碍物相对于目标车辆的空间位置。可以通过环境图像所在的图像坐标系与目标车辆所在的世界坐标系之间的坐标转换关系，将障碍物的图像位置进行坐标转换，得到障碍物的空间位置。根据障碍物的空间位置，可以确定障碍物是否进入目标车辆的盲区（Blind spot）。
盲区碰撞预警信息为用于对障碍物进入目标车辆的盲区进行预警的信息，可以包括障碍物数量和障碍物的位置等。
步骤130、对全景环视图像进行车道线检测，确定全景环视图像中车道线的位置信息，并基于车道线的位置信息确定目标车辆的车道偏离预警信息。
具体地，车道线为用于车辆的行驶车道进行标记的标识线。通过识别全景环视图像中的车道线的位置信息，可以确定目标车辆是否行驶在设定的行驶车道中。
可以采用图像检测算法，对全景环视图像进行检测，识别目标车辆所在位置的所有车道线以及这些车道线的位置信息，从而根据这些车道线的位置信息，确定目标车辆是否偏离车道。例如，可以采用基于霍夫变换的车道线检测算法、基于拟合的车道线检测算法和基于深度学习的车道线检测算法等，对全景环视图像进行车道线检测。
车道偏离预警信息为用于对目标车辆偏离行驶车道进行预警的信息，可以包括目标车辆是否偏离行驶车道、向左偏离、向右偏离和偏离程度等。这些信息都可以根据车道线的位置信息和目标车辆的位置信息确定。
步骤140、在全景环视图像中显示盲区碰撞预警信息和车道偏离预警信息。
具体地，可以在全景环视图像中同时显示盲区碰撞预警信息和车道偏离预警信息，用于对目标车辆的驾驶员进行提示。
可以在目标车辆的驾驶室内设置多媒体显示器和语音播报器。多媒体显示器可以向驾驶员显示全景环视图像，并同步显示盲区碰撞预警信息和车道偏离预警信息。同时，语音播报器用于通过语音的方式播报盲区碰撞预警信息和车道偏离预警信息。
本申请实施例提供的车辆环境感知方法，对目标车辆四周的环境图像进行拼接得到全景环视图像；对各个环境图像进行障碍物检测，确定各个环境图像中障碍物的位置信息，确定目标车辆的盲区碰撞预警信息；对全景环视图像进行车道线检测，确定全景环视图像中车道线的位置信息，确定目标车辆的车道偏离预警信息；在全景环视图像中显示盲区碰撞预警信息和车道偏离预警信息，实现了根据车辆四周的环境图像自动进行障碍物检测和车道线检测，并将检测得到的盲区碰撞预警信息和车道偏离预警信息显示在全景环视图像中，无需驾驶员对环视图像进行主动分析，可以直观地向驾驶员进行展示并发出预警，使得驾驶员能够及时、准确和全面地感知车辆的四周环境，识别危险因素并做出准确地判断，提高了车辆行驶安全的提示效果，使得驾驶员可以集中注意力专注于路况信息，提高了车辆驾驶的安全性。
需要说明的是，本申请每一个实施方式可以自由组合、调换顺序或者单独执行，并不需要依靠或依赖固定的执行顺序。
在一些实施例中，步骤120包括：
基于行人检测模型或者车辆检测模型对各个环境图像进行障碍物检测，确定各个环境图像中的障碍物以及各个障碍物在对应的环境图像中的图像位置；
基于各个环境图像的图像坐标系与目标车辆所在的世界坐标系之间的坐标转换关系，以及各个障碍物在对应的环境图像中的图像位置，确定各个障碍物在世界坐标系中的空间位置；世界坐标系以目标车辆的中心为原点；
基于各个障碍物在世界坐标系中的空间位置，确定各个障碍物与目标车辆之间的空间距离；
基于各个障碍物与目标车辆之间的空间距离，确定各个障碍物的预警等级；
基于各个障碍物的图像位置和预警等级，生成目标车辆的盲区碰撞预警信息。
具体地，可以采用深度学习算法，建立行人检测模型或者车辆检测模型，对各个环境图像进行障碍物检测。以行人检测模型为例，可以以卷积神经网络为初始模型。收集大量的样本环境图像，对样本环境图像中的行人以及行人在样本环境图像中的图像位置进行标注，得到每个样本环境图像的标签。通过样本环境图像对初始模型进行训练，提高初始模型对于行人和行人的图像位置的识别能力，可以得到行人检测模型。同理，可以以上述方式得到车辆检测模型。
此外，在检测到行人或者车辆后，还可以通过卡尔曼滤波对行人和车辆的轨迹进行跟踪和预测。
图像位置是指障碍物（行人或者除目标车辆之外的其他车辆）在环境图像中的位置信息。可以根据环境图像建立图像坐标系，采用图像坐标来表示图像位置，例如，行人的图像位置可以表示为，为行人在环境图像中的横坐标，为行人在环境图像中的纵坐标，车辆的图像位置可以表示为，为车辆在环境图像中的横坐标，为车辆在环境图像中的纵坐标。图像位置仅可以描述障碍物与目标车辆之间的方位信息，不能真实描述障碍物与目标车辆之间的距离信息，因此，可以采用单目测距技术求解各个障碍物在世界坐标系中的空间位置，并进一步求解距离信息。
由于采集环境图像的图像采集传感器固定设置在目标车辆的车身上，如果建立以目标车辆的中心为原点的世界坐标系，该世界坐标系包括空间上相互垂直的X轴、Y轴和Z轴，则各个图像采集传感器相对于目标车辆的中心的空间位置是固定不变的。因此，各个环境图像的图像坐标系与目标车辆所在的世界坐标系之间存在坐标转换关系（又称为映射关系），可以通过采集环境图像的内参矩阵和外参矩阵等求解得到。
根据各个障碍物在对应的环境图像中的图像位置，以及对应的环境图像的图像坐标系与世界坐标系之间的坐标转换关系，可以求解得到各个障碍物在世界坐标系中的空间位置。
行人的图像位置转换至空间位置，可以用第一公式表示，如下所示：
式中，为比例系数，为采集环境图像的相机的内参矩阵，为采集环境图像的相机的外参矩阵，为外参旋转矩阵，为外参平移矩阵，为行人在环境图像中的横坐标，为行人在环境图像中的纵坐标，为行人在世界坐标系中轴的坐标，为行人在世界坐标系中轴的坐标，为行人在世界坐标系中轴的坐标。
如果采集环境图像的相机为鱼眼相机，还可以根据理想相机的内参矩阵、径向畸变系数和切向畸变系数等，对鱼眼相机采集的环境图像进行去畸变操作，得到鱼眼相机采集的环境图像中的点与世界坐标系中的点之间的坐标转换关系。为点在鱼眼相机采集的环境图像中的横坐标，为点在鱼眼相机采集的环境图像中的纵坐标。
在本申请实施例中，全景环视图像可以包括二维全景环视图像和三维全景环视图像。在进行坐标变换时，考虑到障碍物（行人或者其他车辆）均位于地面上，因此，在三维全景环视图像中，行人在世界坐标系中轴的坐标为0，即。第一公式还可以用第二公式表示，如下所示：
式中，和为内参矩阵中的相机焦距，和为内参矩阵中的主点坐标。
根据第二公式，可以求解比例系数，可以求解世界坐标系下行人的空间位置与图像位置关系的关系。
根据各个障碍物在世界坐标系中的空间位置，确定各个障碍物与目标车辆之间的空间距离。由于目标车辆的中心为世界坐标系的原点，则各个障碍物与目标车辆之间的空间距离可以通过坐标计算得到。
在计算障碍物与车辆之间的距离时，不可忽略车身尺寸大小的影响，因此，可以将车辆的四周区域分为多个盲区碰撞警示块。图2为本申请提供的车辆盲区碰撞警示块的分布示意图，如图2所示，可以划分为12个盲区碰撞警示块，实际排布以具体车辆尺寸为依据，这里仅作展示说明。根据警示块的位置不同，障碍物（以行人为例）与目标车辆的距离按第三公式进行计算，如下所示：
式中，为障碍物与目标车辆之间的空间距离，为目标车辆的宽度，为目标车辆的长度，为障碍物所在的盲区碰撞警示块的标号，代表了不同的位置。
可以设置不同的距离阈值，将各个障碍物与目标车辆之间的空间距离与距离阈值进行比较，确定各个障碍物的预警等级。预警等级用于表示障碍物靠近目标车辆可能发生碰撞的程度。例如，预警等级可以包括低风险、中风险和高风险三个等级。
可以设置第一距离阈值和第二距离阈值，第一距离阈值大于第二距离阈值。
当障碍物与目标车辆之间的空间距离大于等于第一距离阈值时，该障碍物的预警等级为低风险；当障碍物与目标车辆之间的空间距离大于等于第二距离阈值且小于第一距离阈值时，该障碍物的预警等级为中风险；当障碍物与目标车辆之间的空间距离小于第二距离阈值时，该障碍物的预警等级为高风险。
根据障碍物的图像位置和预警等级，生成目标车辆的盲区碰撞预警信息。盲区碰撞预警信息还可以包括障碍物的空间位置等。
本申请实施例提供的车辆环境感知方法，通过对各个环境图像进行障碍物检测，根据各个环境图像中障碍物的位置信息确定目标车辆的盲区碰撞预警信息，可以向驾驶员进行展示并发出预警，使得驾驶员能够及时、准确和全面地感知车辆的四周环境，识别危险因素并做出准确地判断，提高了车辆行驶安全的提示效果，提高了车辆驾驶的安全性。
在一些实施例中，步骤130包括：
基于车道线检测模型对全景环视图像进行车道线检测，确定各个车道线在全景环视图像中的图像位置；
基于各个车道线的图像位置以及目标车辆的图像位置，生成目标车辆的车道偏离预警信息。
具体地，可以采用深度学习算法，建立车道线检测模型，对全景环视图像进行车道线检测。
可以以卷积神经网络为初始模型。收集大量的样本全景环视图像，对样本全景环视图像中的车道线的图像位置进行标注，将其作为样本全景环视图像的标签。通过样本全景环视图像对初始模型进行训练，提高初始模型对于车道线图像位置的识别能力，最终得到车道线检测模型。
车道线的图像位置可以用位置掩码进行表示。车道线的位置掩码用于在全景环视图像中车道线的图像位置进行标识。
在对全景环视图像进行车道线检测后，可以确定全景环视图像中所包含的车道线，以及各个车道线在全景环视图像中的图像位置。
根据各个车道线在全景环视图像中的图像位置，可以确定全景环视图像中的多个车道的图像位置。可以在全景环视图像中确定目标车辆的图像位置。
根据多个车道的图像位置与目标车辆的图像位置，可以确定目标车辆所在的行驶车道，以及目标车辆在行驶车道上的偏离方向和偏离程度等。根据这些信息，可以生成目标车辆的车道偏离预警信息。
图3为本申请提供的车辆与车道的关系示意图，如图3所示，通过对全景环视图像进行车道线检测，可以得到多个车道线的图像位置。图中的车道线并非真实的车道线，而是以位置掩码方式表示的虚拟车道线。
根据这些车道线的位置掩码，可以确定目标车辆所在的行驶车道，以及是否发生偏离，包括不发生偏离、向左偏离和向右偏离。
本申请实施例提供的车辆环境感知方法，对全景环视图像进行车道线检测，根据车道线的位置信息确定目标车辆的车道偏离预警信息，可以向驾驶员进行展示并发出预警，使得驾驶员能够及时、准确和全面地感知车辆的四周环境，识别危险因素并做出准确地判断，提高了车辆行驶安全的提示效果，提高了车辆驾驶的安全性。
在一些实施例中，步骤110包括：
基于采集环境图像的相机的内参矩阵和外参矩阵，确定环境图像所在的图像坐标系与世界坐标系之间的坐标转换关系；
基于坐标转换关系，确定环境图像中的像素点在世界坐标系中对应的空间点；
在世界坐标系中构建三维曲面网格模型，确定空间点在三维曲面网格模型中对应的网格位置，将像素点的图像信息投影到网格位置，得到全景环视图像。
具体地，图4为本申请提供的坐标系变换的示意图，如图4所示，图中包括相机坐标系（原点，坐标轴分别为，和），世界坐标系（原点，坐标轴分别为，和）和图像坐标系（原点，坐标轴分别为和）。
为世界坐标系下的空间点，为相机坐标系下与对应的空间点。可以得到如下变换关系式：
式中，为相机的外参旋转矩阵，为相机的外参平移矩阵，为的逆矩阵。通过上述变换可知，相机原点在世界坐标系下的位置可表示为：
通过上述推导即可得到相机的外参表示，即相机原点在世界坐标系下的表示。
理想相机的内参模型可以表示为：
式中，和为内参矩阵中的相机焦距，和为内参矩阵中的主点坐标。
如果采用鱼眼相机，鱼眼相机拍摄得到的环境图像存在一定的畸变，需要对每个鱼眼相机所拍摄的环境图像进行去除畸变的操作，获得理想的环境图像。
从理想相机中的点到鱼眼相机中的畸变点的对应关系如下：
式中，、和为中间代换量，、和为径向畸变系数，和为切向畸变系数。
通过上述过程的逆过程，就能从畸变的鱼眼相机中的图像坐标系中的坐标得到对应的理想相机中的图像坐标系中的坐标，达到去畸变的目的。
根据采集环境图像的相机的内参矩阵和外参矩阵，确定环境图像所在的图像坐标系与世界坐标系之间的坐标转换关系，可以用第四关系式表示：
式中，为像素点在环境图像中的横坐标，为像素点在环境图像中的纵坐标，为像素点对应的空间点在世界坐标系中轴的坐标，为像素点对应的空间点在世界坐标系中轴的坐标，为像素点对应的空间点在世界坐标系中轴的坐标。
根据上述坐标转换关系，确定环境图像中的像素点在世界坐标系中的空间点。
由于世界坐标系下的轴坐标是未知的，因此，本申请实施例提供一种伪三维坐标的生成方法。
图5为本申请提供的三维曲面网格模型的示意图，如图5所示，可以在世界坐标系中构建三维曲面网格模型。三维曲面网格模型具体包括底部平面和四周曲面。
将空间点投影到三维曲面网格模型中对应的网格位置，则三维曲面网格模型中某一点的网格位置在XOY平面上的投影点与三维曲面网格模型底部平面边缘的距离可以用第五关系式进行计算：
式中，表示网格位置的投影点与车辆中心连线与三维曲面网格模型底部平面边缘的交点的坐标，表示该交点距离车辆中心的距离。
根据三维曲面网格模型构建原理，空间点的轴坐标可以采用第六关系式进行计算：
式中，为比例系数，为指数系数，这两个系数均与三维曲面网格模型曲面陡峭程度有关。
通过上述方法，可以得到空间点的三个坐标值的完整数值，根据该坐标值，可以确定空间点在三维曲面网格模型中对应的网格位置。
因此，像素点、像素点对应的空间点和空间点对应的网格位置之间存在一一对应的关系。可以将像素点的图像信息投影到网格位置，渲染后得到全景环视图像。
具体的方法为：将像素点的图像信息投影到网格位置，使得该网格位置具有了图像的纹理特征，可以采用OpenGL（Open Graphics Library，开放图形库）进行渲染。
通过图形处理器（Graphics Processing Unit，GPU）并行运算和OpenGL库可实现三维环视画面的渲染显示。OpenGL在进行渲染时可调整虚拟相机观察点的位置来实现对全景环视图像观察视角的切换。可以对观察视角变换范围做约束，以免看到曲面未包络的天空区域和图像消失线以下的地面区域。视角的旋转主要包括水平旋转和俯仰角旋转，前后左右四个三维观察视角处于统一平面上，这样设计可以简化视角转换逻辑，对于任意两个视角的平滑切换可以转换为圆弧上的位置渐变。对于采集的摄像头图像进行实时渲染输出，并根据当前视角，生成漫游的全景视频，实现了全景环视图像。
在生成全景环视图像的过程中，还涉及到了对相邻相机的画面的重叠区域进行融合。
图6为本申请提供的图像重叠区域的融合示意图，如图6所示，可以将目标车辆的周边区域分为8个区域，并进行编号。其中，区域1、区域3、区域6和区域8为重叠区域。对于图像重叠区域，两个曲面重叠区域要进行融合算法处理，采用渐近角度拼缝融合算法，可以采用第七关系式进行：
以及第八关系式：
式中，是两个重叠曲面的左侧曲面，是两个重叠曲面的右侧曲面，是权重值，是当前角度值，是设置融合区域的角度值。
通过上述权重便可使得相邻相机拼接后的图像过度更加平滑。
本申请实施例提供的车辆环境感知方法，通过建立环境图像所在的图像坐标系与世界坐标系之间的坐标转换关系，将环境图像中的像素点与世界坐标系中的三维曲面网格模型中的网格位置进行一一对应，将像素点的图像信息投影到网格位置，得到全景环视图像，可以直观地向驾驶员进行展示，使得驾驶员能够及时、准确和全面地感知车辆的四周环境，提高了车辆驾驶的安全性。
在一些实施例中，步骤140包括：
基于固定视角，生成全景环视图像对应的二维环视图像；
基于活动视角，生成全景环视图像对应的三维环视图像；
将盲区碰撞预警信息和车道偏离预警信息加载至二维环视图像和三维环视图像；
在同一界面中显示二维环视图像和三维环视图像。
具体地，可以在目标车辆的驾驶室内设置多媒体显示器，在该显示器的界面中采用分屏显示的方法，显示不同视角的全景环视图像。
可以以固定视角，生成全景环视图像对应的二维环视图像。固定视角可以选择为俯视视角。二维环视图像中，不可以进行视角切换等操作，便于驾驶员从整体上查看目标车辆的周围环境。
可以以活动视角，生成全景环视图像对应的三维环视图像。三维环视图像中，可以根据驾驶员的选择，在多个视角中进行切换显示，便于驾驶员从细节上查看目标车辆的周围环境。
可以将盲区碰撞预警信息和车道偏离预警信息都加载至二维环视图像和三维环视图像中进行显示。
本申请实施例提供的车辆环境感知方法，通过二维环视图像和三维环视图像，分别从固定视角和活动视角展示全景环视图像，以及盲区碰撞预警信息和车道偏离预警信息，使得驾驶员能够及时、准确和全面地感知车辆的四周环境，提高了车辆驾驶的安全性。
在一些实施例中，步骤140包括：
将目标车辆四周的图像区域划分为多个盲区碰撞警示块；
基于盲区碰撞预警信息中障碍物的图像位置，确定障碍物所在的盲区碰撞警示块；
基于障碍物的预警等级，设置盲区碰撞警示块的显示形态，和/或，采用语音播放盲区碰撞预警信息。
具体地，为了便于对驾驶员进行直观地提示，可以在全景环视图像中，将目标车辆四周的图像区域划分为多个盲区碰撞警示块。盲区碰撞警示块的数量可以根据需要进行设置。
根据盲区碰撞预警信息，可以确定各个障碍物的图像位置和预警等级。根据障碍物的图像位置，可以确定该障碍物所在的盲区碰撞警示块。
根据该障碍物的预警等级，可以设置盲区碰撞警示块的显示形态。例如，当显示形态为显示颜色时，可以对预警等级为高风险的盲区碰撞警示块采用红色显示，对预警等级为中风险的盲区碰撞警示块采用黄色显示，对预警等级为低风险的盲区碰撞警示块采用绿色显示。又例如，当显示形态为闪烁状态时，可以对预警等级为高风险的盲区碰撞警示块进行闪烁显示，对预警等级为中风险和低风险的盲区碰撞警示块进行常亮显示（亮度不变显示）。
同时，还可以通过语音播报的方式，播放障碍物的预警等级和盲区碰撞警示块的图像位置，对驾驶员进行提示。
本申请实施例提供的车辆环境感知方法，将目标车辆四周的图像区域划分为多个盲区碰撞警示块，根据障碍物的预警等级，设置盲区碰撞警示块的显示形态，同时，语音播放障碍物的预警等级和盲区碰撞警示块的图像位置，无需驾驶员对环视图像进行主动分析，可以直观地向驾驶员进行展示并发出预警，使得驾驶员能够及时、准确和全面地感知车辆的四周环境，识别危险因素并做出准确地判断，提高了车辆行驶安全的提示效果。
在一些实施例中，在全景环视图像中显示盲区碰撞预警信息和车道偏离预警信息，包括：
基于车道偏离预警信息中的各个车道线的图像位置以及目标车辆的图像位置，确定目标车辆偏离的行驶车道；
设置行驶车道的车道线的显示形态，和/或，采用语音播放车道偏离预警信息。
具体地，根据车道偏离预警信息，可以确定各个车道线的图像位置以及目标车辆的图像位置。
根据各个车道线的图像位置以及目标车辆的图像位置，可以确定目标车辆所偏离的行驶车道。
在全景环视图像中，可以设置行驶车道的车道线的显示形态。例如，当显示形态为显示颜色时，可以将行驶车道的车道线的显示颜色设置为红色，其余的车道线设置为其他颜色显示；当显示形态为闪烁状态时，可以将行驶车道的车道线的显示形态设置为闪烁显示，其余的车道线设置为常亮显示。
同时，还可以通过语音播报的方式，播放车道偏离预警信息，对驾驶员进行提示。
本申请实施例提供的车辆环境感知方法，根据车道偏离预警信息确定目标车辆偏离的行驶车道，并设置行驶车道的车道线的显示形态，同时采用语音播放车道偏离预警信息，无需驾驶员对环视图像进行主动分析，可以直观地向驾驶员进行展示并发出预警，使得驾驶员能够及时、准确和全面地感知车辆的四周环境，识别危险因素并做出准确地判断，提高了车辆行驶安全的提示效果。
在一些实施例中，外参旋转矩阵可以表示为先绕轴旋转角度为，再绕轴旋转角度为，最后绕轴旋转角度为，即旋转顺序为轴、轴和轴，则外参旋转矩阵可以表示为：
式中，为轴的旋转矩阵，为轴的旋转矩阵，为轴的旋转矩阵，、、、、和为中间变量。
下面对本申请实施例提供的装置进行描述，下文描述的装置与上文描述的方法可相互对应参照。
图7为本申请例提供的车辆环境感知装置的结构示意图，如图7所示，该装置包括：
图像采集单元710，用于获取目标车辆四周的环境图像，并对环境图像进行拼接得到全景环视图像；
盲区预警单元720，用于对各个环境图像进行障碍物检测，确定各个环境图像中障碍物的位置信息，并基于各个障碍物的位置信息确定目标车辆的盲区碰撞预警信息；
车道预警单元730，用于对全景环视图像进行车道线检测，确定全景环视图像中车道线的位置信息，并基于车道线的位置信息确定目标车辆的车道偏离预警信息；
融合显示单元740，用于在全景环视图像中显示盲区碰撞预警信息和车道偏离预警信息。
本申请实施例提供的车辆环境感知装置，对目标车辆四周的环境图像进行拼接得到全景环视图像；对各个环境图像进行障碍物检测，确定各个环境图像中障碍物的位置信息，确定目标车辆的盲区碰撞预警信息；对全景环视图像进行车道线检测，确定全景环视图像中车道线的位置信息，确定目标车辆的车道偏离预警信息；在全景环视图像中显示盲区碰撞预警信息和车道偏离预警信息，实现了根据车辆四周的环境图像自动进行障碍物检测和车道线检测，并将检测得到的盲区碰撞预警信息和车道偏离预警信息显示在全景环视图像中，无需驾驶员对环视图像进行主动分析，可以直观地向驾驶员进行展示并发出预警，使得驾驶员能够及时、准确和全面地感知车辆的四周环境，识别危险因素并做出准确地判断，提高了车辆行驶安全的提示效果，使得驾驶员可以集中注意力专注于路况信息，提高了车辆驾驶的安全性。
在一些实施例中，盲区预警单元具体用于：
基于行人检测模型或者车辆检测模型对各个环境图像进行障碍物检测，确定各个环境图像中的障碍物以及各个障碍物在对应的环境图像中的图像位置；
基于各个环境图像的图像坐标系与目标车辆所在的世界坐标系之间的坐标转换关系，以及各个障碍物在对应的环境图像中的图像位置，确定各个障碍物在世界坐标系中的空间位置；世界坐标系以目标车辆的中心为原点；
基于各个障碍物在世界坐标系中的空间位置，确定各个障碍物与目标车辆之间的空间距离；
基于各个障碍物与目标车辆之间的空间距离，确定各个障碍物的预警等级；
基于各个障碍物的图像位置和预警等级，生成目标车辆的盲区碰撞预警信息。
在一些实施例中，车道预警单元具体用于：
基于车道线检测模型对全景环视图像进行车道线检测，确定各个车道线在全景环视图像中的图像位置；
基于各个车道线的图像位置以及目标车辆的图像位置，生成目标车辆的车道偏离预警信息。
在一些实施例中，图像采集单元具体用于：
基于采集环境图像的相机的内参矩阵和外参矩阵，确定环境图像所在的图像坐标系与世界坐标系之间的坐标转换关系；
基于坐标转换关系，确定环境图像中的像素点在世界坐标系中对应的空间点；
在世界坐标系中构建三维曲面网格模型，确定空间点在三维曲面网格模型中对应的网格位置，将像素点的图像信息投影到网格位置，得到全景环视图像。
在一些实施例中，融合显示单元具体用于：
基于固定视角，生成全景环视图像对应的二维环视图像；
基于活动视角，生成全景环视图像对应的三维环视图像；
将盲区碰撞预警信息和车道偏离预警信息加载至二维环视图像和三维环视图像；
在同一界面中显示二维环视图像和三维环视图像。
在一些实施例中，融合显示单元具体用于：
将目标车辆四周的图像区域划分为多个盲区碰撞警示块；
基于盲区碰撞预警信息中障碍物的图像位置，确定障碍物所在的盲区碰撞警示块；
基于障碍物的预警等级，设置盲区碰撞警示块的显示形态，和/或，采用语音播放盲区碰撞预警信息。
在一些实施例中，融合显示单元具体用于：
基于车道偏离预警信息中的各个车道线的图像位置以及目标车辆的图像位置，确定目标车辆偏离的行驶车道；
设置行驶车道的车道线的显示形态，和/或，采用语音播放车道偏离预警信息。
图8为本申请提供的车辆环境感知装置的结构示意图之二，如图8所示，该装置800包括图像采集传感器810、环视图像拼接模块820、BSD（Blind-Spot Detection, 盲区监测）检测模块830、LDW（Lane Departure Warning，车道偏离预警）检测模块840、智能融合模块850、多媒体显示器860和语音播报器870。
图像采集传感器用于采集车辆四周的实时鱼眼图像。
环视图像拼接模块用于拼接图像采集传感器采集的多路实时图像，一般为四路图像的拼接。
BSD检测模块用于检测每路图像采集传感器采集的实时图像中的行人、车辆位置信息，并将其转换为盲区碰撞预警信息。
LDW检测模块用于检测环视图像拼接模块输出的环视图像中的车道线位置信息，并将其转换为车道偏离预警信息。
智能融合模块用于将BSD检测模块获取的盲区碰撞预警信息、LDW检测模块获取的车道偏离预警信息与环视画面融合后显示于多媒体显示器。
多媒体显示器用于显示车载环视感知融合画面，主要分为二维环视画面和三维环视画面。
语音播报器用于播报车辆环境感知装置的提示语音。
图9为本申请提供的车辆环境感知方法的结构示意图之二，如图9所示，该方法适用于上述实施例中的车辆环境感知装置，包括：
步骤910、当驾驶车辆启动时，车辆环境感知装置启动；
步骤920、图像采集传感器采集四路图像信息，为环视图像拼接模块、BSD检测模块提供输入图像；
步骤930、如果车速满足BSD检测模块启动要求，则启动BSD检测模块，获取驾驶车辆周围的行人、车辆的方位信息和距离信息；BSD检测模块以检测到的行人、车辆的方位信息和距离信息为输入获取环视拼接画面中固定位置的BSD警示块是否显示以及显示的颜色信息；
步骤940、当车辆环境感知装置启动后，环视图像拼接模块将采集到的四路图像信息拼接成环视画面，调用OpenGL库将环视图像渲染为三维画面；
步骤950、如果车速满足LDW检测模块启动要求，则启动LDW检测模块，检测环视图像中的车道线信息，根据检测到的车道信息给出车道偏离预警信息；
步骤960、智能融合模块用于将BSD检测模块获取的盲区碰撞预警信息、LDW检测模块获取的车道偏离预警信息与环视画面融合后显示于多媒体显示器，为驾驶者提供清晰直观的环视画面。
图10是本申请提供的电子设备的结构示意图，如图10所示，该电子设备可以包括：处理器（Processor）1010、通信接口（Communications Interface）1020、存储器（Memory）1030和通信总线（Communications Bus）1040，其中，处理器1010，通信接口1020，存储器1030通过通信总线1040完成相互间的通信。处理器1010可以调用存储器1030中的逻辑命令，以执行上述实施例中所述的方法。
此外，上述的存储器中的逻辑命令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干命令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例提供的电子设备中的处理器可以调用存储器中的逻辑指令，实现上述方法，其具体的实施方式与前述方法实施方式一致，且可以达到相同的有益效果，此处不再赘述。
本申请实施例还提供一种计算机可读的存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的方法。其具体的实施方式与前述方法实施方式一致，且可以达到相同的有益效果，此处不再赘述。
本申请实施例提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现如上述方法。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种车辆环境感知方法，其特征在于，包括：
获取目标车辆四周的环境图像，并对所述环境图像进行拼接得到全景环视图像；
对各个环境图像进行障碍物检测，确定各个环境图像中障碍物的位置信息，并基于各个障碍物的位置信息确定所述目标车辆的盲区碰撞预警信息；
对所述全景环视图像进行车道线检测，确定所述全景环视图像中车道线的位置信息，并基于所述车道线的位置信息确定所述目标车辆的车道偏离预警信息；
在所述全景环视图像中显示所述盲区碰撞预警信息和所述车道偏离预警信息。
2.根据权利要求1所述的车辆环境感知方法，其特征在于，所述对各个环境图像进行障碍物检测，确定各个环境图像中障碍物的位置信息，并基于各个障碍物的位置信息确定所述目标车辆的盲区碰撞预警信息，包括：
基于行人检测模型或者车辆检测模型对各个环境图像进行障碍物检测，确定所述各个环境图像中的障碍物以及各个障碍物在对应的环境图像中的图像位置；
基于各个环境图像的图像坐标系与所述目标车辆所在的世界坐标系之间的坐标转换关系，以及各个障碍物在对应的环境图像中的图像位置，确定各个障碍物在所述世界坐标系中的空间位置；所述世界坐标系以所述目标车辆的中心为原点；
基于各个障碍物在所述世界坐标系中的空间位置，确定各个障碍物与所述目标车辆之间的空间距离；
基于各个障碍物与所述目标车辆之间的空间距离，确定各个障碍物的预警等级；
基于各个障碍物的图像位置和预警等级，生成所述目标车辆的盲区碰撞预警信息。
3.根据权利要求1所述的车辆环境感知方法，其特征在于，所述对所述全景环视图像进行车道线检测，确定所述全景环视图像中车道线的位置信息，并基于所述车道线的位置信息确定所述目标车辆的车道偏离预警信息，包括：
基于车道线检测模型对所述全景环视图像进行车道线检测，确定各个车道线在所述全景环视图像中的图像位置；
基于各个车道线的图像位置以及所述目标车辆的图像位置，生成所述目标车辆的车道偏离预警信息。
4.根据权利要求1所述的车辆环境感知方法，其特征在于，所述对所述环境图像进行拼接得到全景环视图像，包括：
基于采集所述环境图像的相机的内参矩阵和外参矩阵，确定所述环境图像所在的图像坐标系与世界坐标系之间的坐标转换关系；
基于所述坐标转换关系，确定所述环境图像中的像素点在世界坐标系中对应的空间点；
在所述世界坐标系中构建三维曲面网格模型，确定所述空间点在所述三维曲面网格模型中对应的网格位置，将所述像素点的图像信息投影到所述网格位置，得到所述全景环视图像。
5.根据权利要求1所述的车辆环境感知方法，其特征在于，所述在所述全景环视图像中显示所述盲区碰撞预警信息和所述车道偏离预警信息，包括：
基于固定视角，生成所述全景环视图像对应的二维环视图像；
基于活动视角，生成所述全景环视图像对应的三维环视图像；
将所述盲区碰撞预警信息和所述车道偏离预警信息加载至所述二维环视图像和所述三维环视图像；
在同一界面中显示所述二维环视图像和所述三维环视图像。
6.根据权利要求1至5任一项所述的车辆环境感知方法，其特征在于，所述在所述全景环视图像中显示所述盲区碰撞预警信息和所述车道偏离预警信息，包括：
将所述目标车辆四周的图像区域划分为多个盲区碰撞警示块；
基于所述盲区碰撞预警信息中障碍物的图像位置，确定所述障碍物所在的盲区碰撞警示块；
基于所述障碍物的预警等级，设置所述盲区碰撞警示块的显示形态，和/或，采用语音播放所述盲区碰撞预警信息。
7.根据权利要求1至5任一项所述的车辆环境感知方法，其特征在于，所述在所述全景环视图像中显示所述盲区碰撞预警信息和所述车道偏离预警信息，包括：
基于所述车道偏离预警信息中的各个车道线的图像位置以及所述目标车辆的图像位置，确定所述目标车辆偏离的行驶车道；
设置所述行驶车道的车道线的显示形态，和/或，采用语音播放所述车道偏离预警信息。
8.一种车辆环境感知装置，其特征在于，包括：
图像采集单元，用于获取目标车辆四周的环境图像，并对所述环境图像进行拼接得到全景环视图像；
盲区预警单元，用于对各个环境图像进行障碍物检测，确定各个环境图像中障碍物的位置信息，并基于各个障碍物的位置信息确定所述目标车辆的盲区碰撞预警信息；
车道预警单元，用于对所述全景环视图像进行车道线检测，确定所述全景环视图像中车道线的位置信息，并基于所述车道线的位置信息确定所述目标车辆的车道偏离预警信息；
融合显示单元，用于在所述全景环视图像中显示所述盲区碰撞预警信息和所述车道偏离预警信息。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的车辆环境感知方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的车辆环境感知方法。
CN202310769876.1A 2023-06-28 2023-06-28 车辆环境感知方法、装置、电子设备和存储介质 Pending CN116495004A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310769876.1A CN116495004A (zh) 2023-06-28 2023-06-28 车辆环境感知方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310769876.1A CN116495004A (zh) 2023-06-28 2023-06-28 车辆环境感知方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN116495004A true CN116495004A (zh) 2023-07-28

Family

ID=87325209

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310769876.1A Pending CN116495004A (zh) 2023-06-28 2023-06-28 车辆环境感知方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN116495004A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118247765A (zh) * 2024-01-16 2024-06-25 广东六力智行科技有限公司 全景目标侦测方法、装置、车辆以及存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103192829A (zh) * 2013-03-22 2013-07-10 上海交通大学 一种基于环视的道路偏离预警方法和装置
CN103534138A (zh) * 2010-12-01 2014-01-22 罗伯特·博世有限公司 用于表示借助传感器检测的周围环境的方法以及用于表示由车辆支持的传感器检测的周围环境的设备
CN104309606A (zh) * 2014-11-06 2015-01-28 中科院微电子研究所昆山分所 基于360度全景的车道偏离预警方法
CN105966312A (zh) * 2016-04-15 2016-09-28 山东省科学院自动化研究所 一种多功能车辆先进驾驶辅助系统与方法
US20180170327A1 (en) * 2016-12-21 2018-06-21 Hyundai Motor Company Vehicle and method for controlling the same
CN108819941A (zh) * 2018-08-10 2018-11-16 吉利汽车研究院（宁波）有限公司 变道行驶预警方法、装置及设备
CN109866684A (zh) * 2019-03-15 2019-06-11 江西江铃集团新能源汽车有限公司 车道偏离预警方法、系统、可读存储介质及计算机设备
CN109910744A (zh) * 2019-03-18 2019-06-21 重庆睿驰智能科技有限公司 Ldw车道偏离预警系统
CN110287893A (zh) * 2019-06-26 2019-09-27 江西江铃集团新能源汽车有限公司 一种车辆盲区提示方法、系统、可读存储介质及汽车
US20200101984A1 (en) * 2017-06-26 2020-04-02 Hitachi Automotive Systems, Ltd. Parking assistance device
CN112721802A (zh) * 2021-02-06 2021-04-30 合肥思艾汽车科技有限公司 集成全景环视和盲区行人预警的车载设备及其预警方法
CN115179993A (zh) * 2022-07-18 2022-10-14 鄂尔多斯应用技术学院 一种矿用梭车的全向障碍物分级预警系统
WO2023024516A1 (zh) * 2021-08-23 2023-03-02 上海商汤智能科技有限公司 一种碰撞预警的方法、装置、电子设备及存储介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103534138A (zh) * 2010-12-01 2014-01-22 罗伯特·博世有限公司 用于表示借助传感器检测的周围环境的方法以及用于表示由车辆支持的传感器检测的周围环境的设备
CN103192829A (zh) * 2013-03-22 2013-07-10 上海交通大学 一种基于环视的道路偏离预警方法和装置
CN104309606A (zh) * 2014-11-06 2015-01-28 中科院微电子研究所昆山分所 基于360度全景的车道偏离预警方法
CN105966312A (zh) * 2016-04-15 2016-09-28 山东省科学院自动化研究所 一种多功能车辆先进驾驶辅助系统与方法
US20180170327A1 (en) * 2016-12-21 2018-06-21 Hyundai Motor Company Vehicle and method for controlling the same
US20200101984A1 (en) * 2017-06-26 2020-04-02 Hitachi Automotive Systems, Ltd. Parking assistance device
CN108819941A (zh) * 2018-08-10 2018-11-16 吉利汽车研究院（宁波）有限公司 变道行驶预警方法、装置及设备
CN109866684A (zh) * 2019-03-15 2019-06-11 江西江铃集团新能源汽车有限公司 车道偏离预警方法、系统、可读存储介质及计算机设备
CN109910744A (zh) * 2019-03-18 2019-06-21 重庆睿驰智能科技有限公司 Ldw车道偏离预警系统
CN110287893A (zh) * 2019-06-26 2019-09-27 江西江铃集团新能源汽车有限公司 一种车辆盲区提示方法、系统、可读存储介质及汽车
CN112721802A (zh) * 2021-02-06 2021-04-30 合肥思艾汽车科技有限公司 集成全景环视和盲区行人预警的车载设备及其预警方法
WO2023024516A1 (zh) * 2021-08-23 2023-03-02 上海商汤智能科技有限公司 一种碰撞预警的方法、装置、电子设备及存储介质
CN115179993A (zh) * 2022-07-18 2022-10-14 鄂尔多斯应用技术学院 一种矿用梭车的全向障碍物分级预警系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118247765A (zh) * 2024-01-16 2024-06-25 广东六力智行科技有限公司 全景目标侦测方法、装置、车辆以及存储介质

Similar Documents

Publication Publication Date Title
CN111376895A (zh) 一种环视泊车感知方法、装置、自动泊车系统和车辆
CN112224132B (zh) 一种车用全景环视障碍物预警方法
JP2019096072A (ja) 物体検出装置、物体検出方法およびプログラム
CN112824183A (zh) 一种自动泊车交互方法及装置
CN109087251B (zh) 一种车载全景图像显示方法及系统
KR102045088B1 (ko) 영상 표시 방법 및 이를 위한 위한 장치
CN107665507B (zh) 基于平面检测实现增强现实的方法及装置
JPWO2009119110A1 (ja) 死角表示装置
CN111462503A (zh) 车辆测速方法、装置及计算机可读存储介质
JP4374850B2 (ja) 移動体周辺監視装置
JP2009231938A (ja) 車両用周囲監視装置
EP3859390A1 (en) Method and system for rendering a representation of an evinronment of a vehicle
AU2018410435A1 (en) Port area monitoring method and system, and central control system
CN116495004A (zh) 车辆环境感知方法、装置、电子设备和存储介质
CN112801880A (zh) 一种车载全景图像成像与目标检测融合显示的方法
CN111316324A (zh) 一种自动驾驶模拟系统、方法、设备及存储介质
JP5825713B2 (ja) 車両用危険場面再現装置
CN105774657B (zh) 一种单摄像头全景倒车影像系统
CN114379544A (zh) 一种基于多传感器前融合的自动泊车系统、方法及装置
JP2009230225A (ja) 車両用周囲監視装置
CN117411984A (zh) 图像的生成方法、装置、自动驾驶装置和车辆
CN115493614B (zh) 航迹线的显示方法、装置、存储介质及电子设备
CN113614810A (zh) 图像处理装置、车辆控制装置、方法和程序
CN113516733B (zh) 一种填充车底盲区的方法和系统
CN112308987B (zh) 车载图像拼接方法、系统以及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination