CN116215520A - 基于超声波和3d环视的车辆碰撞预警及处理方法、装置 - Google Patents

基于超声波和3d环视的车辆碰撞预警及处理方法、装置 Download PDF

Info

Publication number
CN116215520A
CN116215520A CN202310316740.5A CN202310316740A CN116215520A CN 116215520 A CN116215520 A CN 116215520A CN 202310316740 A CN202310316740 A CN 202310316740A CN 116215520 A CN116215520 A CN 116215520A
Authority
CN
China
Prior art keywords
vehicle
obstacle
around
model
acquiring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310316740.5A
Other languages
English (en)
Inventor
孙先松
秦禹杰
卞丽华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yangtze University
Original Assignee
Yangtze University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yangtze University filed Critical Yangtze University
Priority to CN202310316740.5A priority Critical patent/CN116215520A/zh
Publication of CN116215520A publication Critical patent/CN116215520A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供了基于超声波和3D环视的车辆碰撞预警及处理方法、装置，其方法包括：获取超声波信号数据，包括由车辆发出并经障碍物反射的超声波反射信号；对超声波反射信号进行滤波处理；基于预设第一判断模型获取距离预警等级；响应于预设预警区域内障碍物的识别，向驾驶员输出警示信号，进行障碍物方向判断，获取障碍物方向信息；获取车辆周围的原始图像数据，建立车辆的3D环视模型；切换至与所述障碍物方向信息匹配的3D环视虚拟相机视角。本发明实现了3D环视虚拟相机视角根据障碍物方向进行自动切换，提升了车辆驾驶过程中的安全性。

Description

基于超声波和3D环视的车辆碰撞预警及处理方法、装置
技术领域
本发明涉及车辆辅助系统技术领域，具体涉及基于超声波和3D环视的车辆碰撞预警及处理方法、装置。
背景技术
目前的汽车碰撞系统主要用于倒车，在倒车时才会指定启动影像，影像内容包括后视影像和全景俯视影像内容，但是在其它方向障碍物的检测和显示时存在缺陷，且该模式下的全景影像无法对车辆周围的立体障碍物进行完整显示。
3D环视影像虽然能解决车辆周围立体障碍物显示不佳的问题，但是需要驾驶员主动进行启动和视角切换，且无法对驾驶员做出预警，存在安全隐患。
因此，急需提出一种基于超声波和3D环视的汽车碰撞预警方法及装置，解决现有技术中存在无法根据障碍物所在位置自动进行视角切换的技术问题。
发明内容
有鉴于此，有必要提供基于超声波和3D环视的汽车碰撞预警方法及装置，用以解决现有技术中存在无法根据障碍物所在位置自动进行视角切换的技术问题。
一方面，本发明提供了一种基于超声波和3D环视的车辆碰撞预警方法，包括：
获取超声波信号数据，超声波信号数据包括由车辆发出并经障碍物反射的超声波反射信号；
对超声波反射信号进行滤波处理；
基于预设第一判断模型对滤波处理后的超声波反射信号进行预警距离判断，获取距离预警等级；
响应于预设预警区域内障碍物的识别，根据距离预警等级向驾驶员输出警示信号，并基于预设第二判断模型对障碍物进行障碍物方向判断，获取障碍物方向信息；
获取车辆周围的原始图像数据，建立车辆的3D环视模型；
切换至与障碍物方向信息匹配的3D环视虚拟相机视角。
在一种可能的实现方式中，对超声波反射信号进行滤波处理的滤波算法为卡尔曼滤波算法。
在一种可能的实现方式中，距离预警等级与障碍物所在区域相对应，区域距离车辆由远到近依次分为安全区域、警告区域和报警区域；
其中，预警区域包括警告区域和报警区域。
在一种可能的实现方式中，第一判断模型和第二判断模型均采用神经网络模型。
在一种可能的实现方式中，在获取车辆周围的原始图像数据前还包括：
根据张正友标定法计算摄像头内参和畸变系数，进行图像的畸变校正；
基于统一世界坐标系法得到地面标定物的角点坐标，计算透视变换矩阵，进行标定物所在方位的俯视图切换；
根据加权平均法计算图像中像素点的权值，基于俯视图建立对应的权值图像；
获取俯视图的曝光补偿参数；
计算3D环视立体模型的顶点数据和纹理贴图的纹理坐标数据；
设置与预设障碍物方向匹配的虚拟相机视角。
在一种可能的实现方式中，当至少两个障碍物方向存在障碍物时，虚拟相机视角为360°全景视角。
在一种可能的实现方式中，基于统一世界坐标系法得到地面标定物的角点坐标包括：
将多个相互平行的黑色方块标定物设置在车辆的边角处，黑色方块标定物位于车载摄像头的拍摄范围内；
获取包含黑色方块标定物的目标图像；
将目标图像进行二值化处理，得到标定物区域为白色的二值化图像；
根据预设约束条件进行标定物区域的筛选，确定标定物轮廓图；
将标定物轮廓图进行霍夫直线变换，得到标定物直线的长度和位置，确定标定物的边；
拟合出黑色方块标定物直线的数学公式，计算获取标定物的角点坐标；
利用亚像素角点精确法进行角点坐标的优化。
在一种可能的实现方式中，获取车辆周围的原始图像数据，建立车辆的3D环视模型包括：
基于环绕设置在车辆周围的车载鱼眼摄像头获取车辆周围环境的原始图像，进行原始图像的畸变校正和俯视图转换处理；
进行俯视图的融合处理，获取2D鸟瞰图；
将椭球模型和平面模型作为3D环视的立体模型，并将2D鸟瞰图设置为立体模型的纹理贴图；
根据立体模型和平面模型的透视关系计算纹理坐标数据，并对纹理坐标数据进行归一化处理。
在一种可能的实现方式中，在获取超声波信号数据前还包括：
获取超声波信号数据样本；
基于超声波信号数据样本生成神经网络预训练模型。
另一个方面，本发明还提供了一种基于超声波和3D环视的车辆碰撞预警方法的车辆碰撞预警装置，包括：
第一获取模块，用于获取超声波信号数据，超声波信号数据包括由车辆发出并经障碍物反射的超声波反射信号；
滤波模块，用于对超声波反射信号进行滤波处理；
判断模块，用于基于预设第一判断模型对滤波处理后的超声波反射信号进行预警距离判断获取距离预警等级；
预警模块，用于响应于预设预警区域内障碍物的识别，根据距离预警等级向驾驶员输出警示信号，并基于预设第二判断模型对障碍物进行障碍物方向判断，获取障碍物方向信息；
第二获取模块，用于获取车辆周围的原始图像数据，建立车辆的3D环视模型；
处理模块，用于切换至与障碍物方向信息匹配的3D环视虚拟相机视角。
采用上述实施例的有益效果是：通过在获取超声波信号数据后，对超声波反射信号进行滤波处理；基于预设判断模型进行判断，获取障碍物预警等级和障碍物方向信息，相应于障碍物的识别，向驾驶员输出警示信号；然后进行车辆3D环视立体模型的建立，获取与障碍物方向信息匹配的3D环绕虚拟相机视角，可使的在检测到车辆四周存在障碍物时，切换至与障碍物所在方向匹配的3D环绕虚拟相机视角，不需要驾驶员进行手动切换，提高了车辆驾驶过程中的安全性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的基于超声波和3D环视的车辆碰撞预警方法的一个实施例流程示意图；
图2为本发明提供的在获取超声波信号数据前预设方法的一个实施例的流程示意图；
图3为本发明图2中步骤S201的一个实施例流程示意图；
图4为本发明图1中步骤S105的一个实施例流程示意图；
图5为本发明提供的超声波和3D环视进行融合的场景示意图；
图6为本发明提供的3D环视立体模型在交接处的优化示意图；
图7为本发明提供的纹理坐标数据的生成示意图；
图8为本发明提供的的基于超声波和3D环视的车辆碰撞预警装置的一个实施例结构示意图；
图9为本发明提供的基于超声波和3D环视的车辆碰撞预警装置的一个实施例结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器系统和/或微控制器系统中实现这些功能实体。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本发明实施例提供了基于超声波和3D环视的车辆碰撞预警及处理方法、装置，以下分别进行说明。
图1为本发明提供的基于超声波和3D环视的车辆碰撞预警方法的一个实施例流程示意图；图2为本发明提供的在获取超声波信号数据前预设方法的一个实施例的流程示意图；图3为本发明图2中步骤S201的一个实施例流程示意图；图4为本发明图1中步骤S105的一个实施例流程示意图。
如图1所示，基于超声波和3D环视的车辆碰撞预警方法包括：
S101、获取超声波信号数据，超声波信号数据包括由车辆发出并经障碍物反射的超声波反射信号；
S102、对超声波反射信号进行滤波处理；
S103、基于预设第一判断模型对滤波处理后的超声波反射信号进行预警距离判断获取距离预警等级；
S104、响应于预设预警区域内障碍物的识别，根据距离预警等级向驾驶员输出警示信号，并基于预设第二判断模型对障碍物进行障碍物方向判断，获取障碍物方向信息；
S105、获取车辆周围的原始图像数据，建立车辆的3D环视模型；
S106、切换至与障碍物方向信息匹配的3D环视虚拟相机视角。
其中，在接收到由车辆发出并经障碍物反射的超声波反射信号后，对超声波的反射信号进行滤波处理，以实现对障碍物的快速响应；基于预设第一判断模型对滤波处理后的超声波反射信号进行距离判断以获取预警等级；当在预设预警区域内识别出障碍物时，根据预设预警等级向驾驶员输出警示信号，并对障碍物的方向进行判断；随后基于车辆周边原始图像数据的获取，搭建车辆的3D环视模型，并切换至与障碍物方向信息匹配的3D环视虚拟相机视角，能够实现3D环视虚拟相机视角根据障碍物方向进行自动切换，提升了车辆驾驶过程中的安全性。
与现有技术相比，本发明实施例提供的基于超声波和3D环视的汽车碰撞预警方法，通过超声波和3D环视的融合，在检测到与预警区域内存在障碍物时，自动切换至与障碍物方向对应的虚拟视角，能够有效避免由于驾驶盲区导致碰撞事故的发生。
在一种实施例中，在S102中，对超声波反射信号进行滤波处理的滤波算法为卡尔曼滤波算法，公式为：
Figure BDA0004150381980000071
Figure BDA0004150381980000072
其中，
Figure BDA0004150381980000073
为先验估计值，/>
Figure BDA0004150381980000074
为当前估计值，/>
Figure BDA0004150381980000075
为先验测量值，/>
Figure BDA0004150381980000076
为/>
Figure BDA0004150381980000077
的误差协方差矩阵，Pt为/>
Figure BDA0004150381980000078
的误差协方差矩阵，R为测量噪声的协方差矩阵，T为测量值zt和先验估计值/>
Figure BDA0004150381980000079
的距离阈值，α和β为系数。
需要说明的是，与现有的卡尔曼算法相比，本发明采用的为改进后的卡尔曼滤波算法，能够实现突然出现障碍物的快速响应，以及对突然脱离可测范围的障碍物的延时响应。
进一步的，在超声波测距过程中，采用滑动窗口方式读取数据。
在一种实施例中，基于预设第一判断模型对超声波反射信号进行预警距离判断，获取距离预警等级，这里的预设第一判断模型的算法采用神经网络算法。
可以理解的是，用于障碍物与车辆的距离不同，则对应的预警等级也不相同，通常的，障碍物与车辆的距离越远，则距离预警等级越低；障碍物与车辆的距离越近，则距离预警等级越高。
在一种实施例中，距离预警等级与障碍物所在区域相对应，障碍物所在区域距离车辆由远到近依次分为安全区域、警告区域和报警区域，例如在一种场景中，将距离车辆2米以外的区域设置为安全区域，距离车辆1米～2米之间的区域设置为警告区域，距离车辆1米以内的区域设置为报警区域，这里的举例仅用于技术方案的理解，并不作为技术方案的限制，距离范围可以根据实际场景需要进行灵活设置。
在S104中，预设的预警区域包括警告区域和报警区域，响应于预警区域内障碍物的识别，根据距离预警等级向驾驶员输出警示信号，具体的，距离预警等级越高，则警示信号的强度越大，频率越高，并同时基于预设的第二判断模型对障碍物进行障碍物方向的判断，进而获取障碍物的方向信息，通常为了实现车辆周围环境的全方位监测，需要在车辆的四周均设置鱼眼摄像头和超声波，从而在获取障碍物的方向信息后，调取对应的图像数据和虚拟相机视角。
进一步的，这里的障碍物方向信息包括障碍物的距离预警等级、障碍物方向和是否同时在多个方向上存在障碍物。
图5为本发明提供的超声波和3D环视进行融合的场景示意图，如图5所示，将车辆的障碍物方向设置为V1～V6多个方向，其中当车辆的至少两个方向中均存在障碍物时，则对应的3D环绕虚拟视角为360全景视角。在一种实施例中，在建立车辆的3D环视模型后，切换至与障碍物方向信息匹配的3D环视虚拟相机视角，当障碍物的距离预设等级高，则障碍物在3D环视显示的尺寸越大，进而达到对驾驶员进行警示的目的。
在一种实施例中，如图5所示，用于接收超声波反射信号的超声波传感器布置在车头正前方、车头左右拐角、车前轮上方、车尾正前方、车尾左右拐角、车后轮拐角、车后轮上方，且超声波传感器的辐角不大于75°、采集超声波传感器数据消耗时间小于70ms，能够有效提升判断准确率和运算效率。
如图2所示，在获取车辆周围的原始图像数据前，还包括：
S201、根据张正友标定法计算摄像头内参和畸变系数，进行图像的畸变校正；
S202、基于统一世界坐标系法得到地面标定物的角点坐标，计算透视变换矩阵，进行标定物所在方位的俯视图切换。
在一种实施例中，如图5所示，标定物为四个黑色的方块纸，分别设置在车辆的四个边角位置，使的标定物均位于车身上鱼眼摄像头的拍摄范围内，其中标定物之间平行设置，以便于角点世界坐标的确定。
S203、根据加权平均法计算图像中像素点的权值，基于俯视图建立对应的权值图像，以提高运算速度。
S204、获取俯视图的曝光补偿参数；
可以理解的是，这里的俯视图指的是标定物所在方位的俯视图，通过进行俯视图的曝光补偿参数计算，以解决因鱼眼摄像头在拍摄过程中曝光程度不同导致的重叠区域亮度不均的问题，公式为：
Figure BDA0004150381980000091
其中，gi和gj分别表示图像i和图像j的增益系数，Nij表示图像i和图像j重叠区域像素的数量，Iij(Iji)表示图像i(j)在重叠区域的强度平均值，σN和σg分别表示误差和增益的标准差，每张俯视图均对应1个等式。
S205、计算3D环视立体模型的顶点数据和纹理贴图的纹理坐标数据。
具体的，立体模型的顶点坐标计算公式为：
Figure BDA0004150381980000092
生成特定α角范围的顶点得到一个曲面，将底部部分顶点的y轴坐标设置为相同得到一个平面，将平面某一顶点pp到其它顶点pi向量的斜率作为pi的斜率fi，再修改交接处部分顶点的y轴坐标，以修改斜率fi，且越远离pp斜率越大，直到接近曲面上某一顶点pq的斜率fq，取与顶点pi(i＝j)间隔顶点数相同的两个顶点作为pp和pq，间隔顶点数记为N，则pp为pi(i＝j-N-1)，pq为p i(i＝j+N+1)，先计算pq的斜率fq，然后除以2n+2得到每次递增的斜率Δfq，公式为：
Figure BDA0004150381980000101
图6为本发明提供的3D环视立体模型在交接处的优化示意图。
修改pi(i＝j-N)到pi(i＝j+N)的y轴坐标，得到最终立体模型的顶点坐标，优化交接处的过程如图6所示，公式为：
Figure BDA0004150381980000102
图7为本发明提供的纹理坐标数据的生成示意图。
计算纹理坐标数据，如附图7所示，公式为：
Figure BDA0004150381980000103
其中，(xq,yq,zq)表示曲面顶点的坐标，(xp,0,zp)表示平面顶点的坐标，(xt,0,zt)表示纹理的坐标，(0,yc,0)表示俯视视点的坐标。
对xt和zt两维数据分别进行归一化，归一化范围为0～1，以便于纹理贴图渲染。
S206、设置与预设障碍物方向匹配的虚拟相机视角。
在本发明的实施例中，通过张正友标定法获取摄像头内参和畸变系数，进行图像的畸变校正，并基于统一世界坐标系法得到地面标定物的角点坐标，计算透视变换矩阵，实现标定物所在方位的俯视角切换，然后根据加权平均法计算图像中像素点的权值，建立对应的权值图像，以提高运算速度；在获取俯视角的曝光参数后，进行3D环视模型的但纪检和纹理图贴，并设置与预设障碍物方向匹配的虚拟相机视角，能够实现3D环视立体模型的快速搭建。
在一种实施例中，第一判断模型和第二判断模型均采用神经网络模型。
其中，第一判断模型和第二判断模型的神经预训练模型采用如下方法制作：
将时间上连续的5组超声波信号数据作为一个样本，即一个样本80个数据，输入层有80个神经元，根据分类对超声波信号数据打标签，障碍物距离分类模型中输出层有3个神经元，障碍物方向分类模型中输出层有7个神经元，中间层设置两层，神经元个数均为20，中间层激活函数采用leaky relu，输出层激活函数采用softmax，误差函数采用交叉熵函数。
在一种实施例中，当至少两个障碍物方向存在障碍物时，虚拟相机视角为360°全景视角，当仅在一个障碍物方向存在障碍物时，则对应的虚拟相机视角为与障碍物方向对应的视角，即此时的虚拟相机视角显示的立体模型显示范围包括含障碍物所在方向。
图3为本发明图2中步骤S201的一个实施例流程示意图，如图3所示，基于统一世界坐标系法得到地面标定物的角点坐标包括：
S301、将多个相互平行的黑色方块标定物设置在车辆的边角处，黑色方块标定物位于车载摄像头的拍摄范围内；
S302、获取包含黑色方块标定物的目标图像；
S303、将目标图像进行二值化处理，得到标定物区域为白色的二值化图像；
S304、根据预设约束条件进行标定物区域的筛选，确定标定物轮廓图；
S305、将标定物轮廓图进行霍夫直线变换，得到标定物直线的长度和位置，确定标定物的边；
S306、拟合出黑色方块标定物直线的数学公式，计算获取标定物的角点坐标；
S307、利用亚像素角点精确法进行角点坐标的优化。
图4为本发明图1中步骤S105的一个实施例流程示意图，参照图4，获取车辆周围的原始图像数据，建立车辆的3D环视模型包括：
S401、基于环绕设置在车辆周围的车载鱼眼摄像头获取车辆周围环境的原始图像，进行原始图像的畸变校正和俯视图转换处理；
S402、进行俯视图的融合处理，获取2D鸟瞰图；
S403、将椭球模型和平面模型作为3D环视的立体模型，并将2D鸟瞰图设置为立体模型的纹理贴图；
S404、根据立体模型和平面模型的透视关系计算纹理坐标数据，并对纹理坐标数据进行归一化处理。
具体的，在3D环视立体模型的搭建过程中，首先夹在立体模型的顶点数据、纹理坐标数据、开辟纹理贴图数据的内存空间，其次阻塞等待超声波信号数据，相应于障碍物信息的获取，设置对应的虚拟相机视角；然后用无畸变图像的像素坐标、镜头内参和畸变系数计算出有畸变图像的坐标，再用插值算法计算像素值并赋值于无畸变图像，实现鱼眼摄像头图像的校正；最后使用透视变换矩阵将原始图像变换为俯视图，再乘上各自的曝光补偿参数实现曝光补偿，图像的像素值乘上权限值对应的像素值，将装换后的俯视图进行图像融合，得到2D鸟瞰图并更新纹理图像参数，能够实现3D环视立体模型的快速精准建立。
在一种实施例中，在获取超声波信号数据集前还包括：
获取超声波信号数据样本；
基于超声波信号数据样本生成神经网络预训练模型。
图8为本发明提供的的基于超声波和3D环视的车辆碰撞预警装置的一个实施例结构示意图。
为了更好的实施本发明实施例中基于超声波和3D环视的车来那个碰撞预警方法，在基于超声波和3D环视的车来那个碰撞预警方法基础之上，对应的本发明实施例还提供了一种基于超声波和3D环视的车辆碰撞预警装置，如图8所示，包括：
第一获取模块801，用于获取超声波信号数据，超声波信号数据包括由车辆发出并经障碍物反射的超声波反射信号；
滤波模块802，用于对超声波反射信号进行滤波处理；
判断模块803，用于基于预设第一判断模型对超声波反射信号进行预警距离判断获取距离预警等级；
预警模块804，用于响应于预设预警区域内障碍物的识别，根据距离预警等级向驾驶员输出警示信号，并基于预设第二判断模型对障碍物进行障碍物方向判断，获取障碍物方向信息；
第二获取模块805，用于获取车辆周围的原始图像数据，建立车辆的3D环视模型；
处理模块806，用于切换至与障碍物方向信息匹配的3D环视虚拟相机视角。
上述实施例提供的是基于超声波和3D环视的车辆碰撞预警装置可实现上述基于超声波和3D环视的车辆碰撞预警方法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见基于超声波和3D环视的车辆碰撞预警方法实施例中的相应内容，此处不再赘述。
如图9所示，本发明还相应提供了一种基于超声波和3D环视车辆碰撞预警装置900。该基于超声波和3D环视车辆碰撞预警装置900包括处理器901、存储器902及显示器903。图9仅示出了基于超声波和3D环视车辆碰撞预警装置900的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
存储器902在一些实施例中可以是基于超声波和3D环视车辆碰撞预警装置900的内部存储单元，例如基于超声波和3D环视车辆碰撞预警装置900的硬盘或内存。存储器902在另一些实施例中也可以是基于超声波和3D环视车辆碰撞预警装置900的外部存储设备，例如基于超声波和3D环视车辆碰撞预警装置900上配备的插接式硬盘，智能存储卡(SmartMedia Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。
进一步地，存储器902还可既包括基于超声波和3D环视车辆碰撞预警装置的内部储存单元也包括外部存储设备。存储器902用于存储安装基于超声波和3D环视车辆碰撞预警装置900的应用软件及各类数据。
处理器901在一些实施例中可以是一中央处理器(Central Processing Unit，CPU)，微处理器或其他数据处理芯片，用于运行存储器902中存储的程序代码或处理数据，例如本发明中的基于超声波和3D环视车辆碰撞预警方法。
显示器903在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。显示器903用于显示在基于超声波和3D环视的车辆碰撞预警装置900的信息以及用于显示可视化的用户界面。基于超声波和3D环视的车辆碰撞预警装置900的部件601-603通过系统总线相互通信。
在本发明的一些实施例中，当处理器901执行存储器902中的基于超声波和3D环视车辆碰撞预警方法时，可实现以下步骤：
获取超声波信号数据，超声波信号数据包括由车辆发出并经障碍物反射的超声波反射信号；
对超声波反射信号进行滤波处理；
基于预设第一判断模型对超声波反射信号进行预警距离判断，获取距离预警等级；
响应于预设预警区域内障碍物的识别，根据距离预警等级向驾驶员输出警示信号，并基于预设第二判断模型对障碍物进行障碍物方向判断，获取障碍物方向信息；
获取车辆周围的原始图像数据，建立车辆的3D环视模型；
切换至与障碍物方向信息匹配的3D环视虚拟相机视角。应当理解的是：处理器901在执行存储器902中的基于超声波和3D环视车辆碰撞预警程序时，除了上面的功能之外，还可实现其它功能，具体可参见前面相应方法实施例的描述。
相应地，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质用于存储计算机可读取的程序或指令，程序或指令被处理器执行时，能够实现上述各方法实施例提供的基于超声波和3D环视车辆碰撞预警方法步骤或功能。
本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件(如处理器，控制器等)来完成，计算机程序可存储于计算机可读存储介质中。其中，计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
以上对本发明所提供的基于超声波和3D环视的车辆碰撞预警及处理方法、装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于超声波和3D环视的车辆碰撞预警及处理方法，其特征在于，包括：
获取超声波信号数据，所述超声波信号数据包括由车辆发出并经障碍物反射的超声波反射信号；
对所述超声波反射信号进行滤波处理；
基于预设第一判断模型对滤波处理后的超声波反射信号进行预警距离判断，获取距离预警等级；
响应于预设预警区域内障碍物的识别，根据所述距离预警等级向驾驶员输出警示信号，并基于预设第二判断模型对所述障碍物进行障碍物方向判断，获取障碍物方向信息；
获取车辆周围的原始图像数据，建立所述车辆的3D环视模型；
切换至与所述障碍物方向信息匹配的3D环视虚拟相机视角。
2.根据权利要求1所述的车辆碰撞预警及处理方法，其特征在于，所述对所述超声波反射信号进行滤波处理的滤波算法为卡尔曼滤波算法。
3.根据权利要求1所述的车辆碰撞预警及处理方法，其特征在于，所述距离预警等级与所述障碍物所在区域相对应，所述障碍物所在区域距离所述车辆由远到近依次分为安全区域、警告区域和报警区域；
其中，所述预警区域包括所述警告区域和所述报警区域。
4.根据权利要求3所述的车辆碰撞预警及处理方法，其特征在于，所述第一判断模型和所述第二判断模型均采用神经网络模型。
5.根据权利要求1所述的车辆碰撞预警算法，其特征在于，在获取车辆周围的原始图像数据前，还包括：
根据张正友标定法计算摄像头内参和畸变系数，进行图像的畸变校正；
基于统一世界坐标系法得到标定物的角点坐标，计算透视变换矩阵，进行标定物所在方位的俯视图切换；
根据加权平均法计算所述图像中像素点的权值，基于所述俯视图建立对应的权值图像；
获取所述俯视图的曝光补偿参数；
计算3D环视立体模型的顶点数据和纹理贴图的纹理坐标数据；
设置与预设障碍物方向匹配的虚拟相机视角。
6.根据权利要求5所述的车辆碰撞预警及处理方法，其特征在于，当至少两个所述障碍物方向存在障碍物时，所述虚拟相机视角为360°全景视角。
7.根据权利要求5所述的车辆碰撞预警及处理方法，其特征在于，所述基于统一世界坐标系法得到地面标定物的角点坐标，包括：
将多个相互平行的黑色方块标定物设置在所述车辆的边角处，所述黑色方块标定物位于车载摄像头的拍摄范围内；
获取包含所述黑色方块标定物的目标图像；
将所述目标图像进行二值化处理，得到标定物区域为白色的二值化图像；
根据预设约束条件进行标定物区域的筛选，确定标定物轮廓图；
将所述标定物轮廓图进行霍夫直线变换，得到所述标定物直线的长度和位置，确定标定物的边；
拟合出所述黑色方块标定物直线的数学公式，计算获取所述标定物的角点坐标；
利用亚像素角点精确法进行所述角点坐标的优化。
8.根据权利要求1所述的车辆碰撞预警及处理方法，其特征在于，所述获取车辆周围的原始图像数据，建立所述车辆的3D环视模型，包括：
基于环绕设置在所述车辆周围的车载鱼眼摄像头获取车辆周围环境的原始图像，进行所述原始图像的畸变校正和俯视图转换处理；
进行所述俯视图的融合处理，获取2D鸟瞰图；
将椭球模型和平面模型作为3D环视的立体模型，并将所述2D鸟瞰图设置为所述立体模型的纹理贴图；
根据所述立体模型和所述平面模型的透视关系计算纹理坐标数据，并对所述纹理坐标数据进行归一化处理。
9.根据权利要求1所述的车辆碰撞预警及处理方法，其特征在于，在所述获取超声波信号数据前，还包括：
获取超声波信号数据样本；
基于所述超声波信号数据样本生成神经网络预训练模型。
10.一种基于超声波和3D环视的车辆碰撞预警及处理装置，其特征在于，包括：
第一获取模块，用于获取超声波信号数据，所述超声波信号数据包括由车辆发出并经障碍物反射的超声波反射信号；
滤波模块，用于对所述超声波反射信号进行滤波处理；
判断模块，用于基于预设第一判断模型对所述超声波反射信号进行预警距离判断获取距离预警等级；
预警模块，用于响应于预设预警区域内障碍物的识别，根据所述距离预警等级向驾驶员输出警示信号，并基于预设第二判断模型对所述障碍物进行障碍物方向判断，获取障碍物方向信息；
第二获取模块，用于获取车辆周围的原始图像数据，建立所述车辆的3D环视模型；
处理模块，用于切换至与所述障碍物方向信息匹配的3D环视虚拟相机视角。
CN202310316740.5A 2023-03-28 2023-03-28 基于超声波和3d环视的车辆碰撞预警及处理方法、装置 Pending CN116215520A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310316740.5A CN116215520A (zh) 2023-03-28 2023-03-28 基于超声波和3d环视的车辆碰撞预警及处理方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310316740.5A CN116215520A (zh) 2023-03-28 2023-03-28 基于超声波和3d环视的车辆碰撞预警及处理方法、装置

Publications (1)

Publication Number Publication Date
CN116215520A true CN116215520A (zh) 2023-06-06

Family

ID=86573183

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310316740.5A Pending CN116215520A (zh) 2023-03-28 2023-03-28 基于超声波和3d环视的车辆碰撞预警及处理方法、装置

Country Status (1)

Country Link
CN (1) CN116215520A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117250602A (zh) * 2023-11-15 2023-12-19 中汽研汽车检验中心（天津）有限公司 碰撞类型预测方法、设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117250602A (zh) * 2023-11-15 2023-12-19 中汽研汽车检验中心（天津）有限公司 碰撞类型预测方法、设备和存储介质
CN117250602B (zh) * 2023-11-15 2024-03-15 中汽研汽车检验中心（天津）有限公司 碰撞类型预测方法、设备和存储介质

Similar Documents

Publication Publication Date Title
CN111553859B (zh) 一种激光雷达点云反射强度补全方法及系统
CN109283538B (zh) 一种基于视觉和激光传感器数据融合的海上目标大小检测方法
CN112861653B (zh) 融合图像和点云信息的检测方法、系统、设备及存储介质
CN110032949B (zh) 一种基于轻量化卷积神经网络的目标检测与定位方法
CN109435942B (zh) 一种基于信息融合的车位线车位识别方法及装置
CN109657638B (zh) 障碍物定位方法、装置和终端
CN113657224B (zh) 车路协同中用于确定对象状态的方法、装置、设备
CN114282597A (zh) 一种车辆可行驶区域检测方法、系统以及采用该系统的自动驾驶车辆
US20230215187A1 (en) Target detection method based on monocular image
CN116685873A (zh) 一种面向车路协同的感知信息融合表征及目标检测方法
CN110555407B (zh) 路面车辆空间识别方法及电子设备
CN113874927A (zh) 停车检测方法、系统、处理设备和存储介质
CN103065323A (zh) 一种基于单应性变换矩阵的分段空间对准方法
CN111860072A (zh) 泊车控制方法、装置、计算机设备及计算机可读存储介质
CN108725318B (zh) 汽车安全预警方法、装置及计算机可读存储介质
CN116778448A (zh) 车辆安全驾驶辅助方法、装置、系统、设备及存储介质
CN116215520A (zh) 基于超声波和3d环视的车辆碰撞预警及处理方法、装置
CN114550142A (zh) 基于4d毫米波雷达和图像识别融合的车位检测方法
Dong et al. Research on vehicle detection algorithm based on convolutional neural network and combining color and depth images
CN115187941A (zh) 目标检测定位方法、系统、设备及存储介质
CN113421217A (zh) 可行驶区域检测方法和装置
CN116486351A (zh) 行车预警方法、装置、设备及存储介质
CN113222968B (zh) 融合毫米波和图像的检测方法、系统、设备及存储介质
Oniga et al. A fast ransac based approach for computing the orientation of obstacles in traffic scenes
CN115359332A (zh) 基于车路协同的数据融合方法、装置、电子设备及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination