CN116424335A - 一种车辆转弯引导方法、装置、电子设备和存储介质 - Google Patents

一种车辆转弯引导方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN116424335A
CN116424335A CN202310343203.XA CN202310343203A CN116424335A CN 116424335 A CN116424335 A CN 116424335A CN 202310343203 A CN202310343203 A CN 202310343203A CN 116424335 A CN116424335 A CN 116424335A
Authority
CN
China
Prior art keywords
image
blind area
vehicle
column
driver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310343203.XA
Other languages
English (en)
Inventor
陈志军
郁梓涵
刘姗栩
邵逸宾
刘梓仪
卢睿仪
叶子璇
宁思琪
谢欣然
李英
王朝伟
胡军楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Technology WUT
Original Assignee
Wuhan University of Technology WUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Technology WUT filed Critical Wuhan University of Technology WUT
Priority to CN202310343203.XA priority Critical patent/CN116424335A/zh
Publication of CN116424335A publication Critical patent/CN116424335A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

本发明提供了一种车辆转弯引导方法、装置、电子设备和存储介质，该方法包括：获取当前时刻驾驶员的头部图像，以及当前时刻的A柱外部的环境图像；根据头部图像确定驾驶员的双眼中心，根据双眼中心确定当前视角下的A柱盲区图像的坐标范围；根据A柱盲区图像的坐标范围从A柱外部的环境图像中截取对应的A柱盲区图像，对A柱盲区图像进行透视变换，将透视变换后的A柱盲区图像投影至车辆内部对应的A柱上。考虑车辆行驶时驾驶员双眼观察图像的差别，通过识别双眼中心确定A柱盲区图像的坐标范围，解决了左右眼观察的视差问题，对A柱盲区图像进行透视变换后再进行投影，深度感更强，消除固定方式的投影给驾驶员带来的与真实视野的不一致感。

Description

一种车辆转弯引导方法、装置、电子设备和存储介质
技术领域
本发明实施例涉及汽车辅助驾驶技术领域，尤其涉及一种车辆转弯引导方法、装置、电子设备和存储介质。
背景技术
A柱在发动机舱和驾驶舱之间左右后视镜的上方，会遮挡一部分的转弯视界，也就是视野盲区，驾驶者视线的角度总会受到或多或少的遮挡。一般情况下，驾驶者通过A柱处的视线，双目重叠角为5～6度，如果按照驾驶者的舒适角度出发，这个重叠角越小越好，A柱越薄越好，但同时面对一个问题就是车辆的安全性，显然，必须保证A柱的高刚度，以减小安全的风险，否则在减小视野盲区的同时，随之带来的汽车的安全隐患。
现有技术有通过投影仪投影A柱外摄像机获取的影像、或者通过反射透镜反射A柱外景象，或者通过加装显示器显示A柱外摄像机获取的景象，但是现有技术中的方法都是固定方式的投影，无法适应人眼的上下左右位置移动，导致人眼观测和相机采集的影响之间产生错位，增加了视觉误差。
发明内容
有鉴于此，有必要提供一种车辆转弯引导方法、装置、电子设备和存储介质，以解决现有技术中基于固定式投影的转弯引导方法无法适应人眼的上下左右位置移动，导致人眼观测和相机采集的影响之间产生错位，增加了视觉误差的问题。
为解决上述技术问题，第一方面，本发明实施例提供了一种车辆转弯引导方法，包括：
获取当前时刻驾驶员的头部图像，以及当前时刻的A柱外部的环境图像；
根据所述头部图像确定驾驶员的双眼中心，根据所述双眼中心确定当前视角下的A柱盲区图像的坐标范围；
根据所述A柱盲区图像的坐标范围从所述A柱外部的环境图像中截取对应的A柱盲区图像，对所述A柱盲区图像进行透视变换，将透视变换后的A柱盲区图像投影至车辆内部对应的A柱上。
在一些可能的实现方式中，所述头部图像包括左侧头部图像和右侧头部图像；所述左侧头部图像为从驾驶员左侧拍摄的头部图像，所述右侧头部图像为从驾驶员右侧拍摄的头部图像；所述左侧头部图像和所述右侧头部图像中均至少包括驾驶员左眼和右眼。
在一些可能的实现方式中，所述根据所述头部图像确定驾驶员的双眼中心，包括：
提取所述左侧头部图像中人脸区域，得到左侧人脸图像，根据Sobel边缘检测算子对所述左侧人脸图像进行人眼边缘检测，提取眼部边缘信息，根据所述眼部边缘信息确定双眼中心的第一二维坐标；
对所述右侧头部图像进行水平灰度积分投影，得到右侧人脸图像，对所述右侧人脸图像进行垂直灰度积分投影，得到双眼中心的第二二维坐标；
确定所述左侧头部图像和所述右侧头部图像的视差，根据所述视差、所述第一二维坐标和第二二维坐标确定所述双眼中心的三维坐标。
在一些可能的实现方式中，所述根据所述双眼中心确定当前视角下的A柱盲区图像的坐标范围，包括：
根据所述双眼中心确定驾驶员的当前视角；根据预先存储的驾驶员的视角与A柱盲区图像的坐标范围的对应关系，确定当前视角下的A柱盲区图像的坐标范围。
在一些可能的实现方式中，所述获取当前时刻驾驶员的头部图像，具体包括：
实时获取方向盘的转动夹角，若根据所述转动夹角判断车辆在转弯，则从驾驶员两侧分别获取当前时刻的驾驶员的头部图像。
在一些可能的实现方式中，所述根据所述双眼中心确定当前视角下的A柱盲区图像的坐标范围后，还包括：
获取所述A柱盲区图像的坐标范围内的障碍目标，根据预先建立的车辆-行人轨迹预测模型对障碍目标的轨迹和车辆现行轨迹进行对比，若根据障碍目标的轨迹和车辆现行轨迹的对比结果，判断障碍目标和车辆将发生碰撞，则发出警报语音提醒。
在一些可能的实现方式中，所述根据预先建立的车辆-行人轨迹预测模型对障碍目标的轨迹和车辆现行轨迹进行对比，包括：
根据障碍目标在第一时间段的第一轨迹数据，预测所述障碍目标在第二时间内的第二轨迹数据；
若判断在第二时间内，车辆的制动减速度大于预设制动减速度阈值，或，根据所述第二轨迹数据判断障碍目标在第二时间段内的移动速度上升，则判断障碍目标和车辆将发生碰撞。
第二方面，本发明实施例还提供了一种车辆转弯引导装置，包括：
图像采集模块，获取当前时刻驾驶员的头部图像，以及当前时刻的A柱外部的环境图像；
图像处理模块，根据所述头部图像确定驾驶员的双眼中心，根据所述双眼中心确定当前视角下的A柱盲区图像的坐标范围；
图像投影模块，根据所述A柱盲区图像的坐标范围从所述A柱外部的环境图像中截取对应的A柱盲区图像，对所述A柱盲区图像进行透视变换，将透视变换后的A柱盲区图像投影至车辆内部对应的A柱上。
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明第一方面实施例所述车辆转弯引导方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本发明第一方面实施例所述车辆转弯引导方法的步骤。
采用上述实施例的有益效果是：本发明提供的车辆转弯引导方法，综合考虑车辆行驶时驾驶员双眼观察图像的差别，通过识别驾驶员的双眼中心确定驾驶员的头部姿态，以确定A柱盲区图像的坐标范围，解决了左右眼观察的视差问题，同时，对A柱盲区图像进行透视变换后再进行投影，深度感更强，消除固定方式的投影给驾驶员带来的与真实视野的不一致感，能够高效精准的降低了车辆A柱盲区造成车辆转弯行驶问题，并给驾驶员提供转弯过程中A柱盲区的情况，及时做出有效决策。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的车辆转弯引导方法的一个实施例流程示意图；
图2为本发明提供的确定驾驶员的双眼中心方法一个实施例的流程示意图；
图3为本发明提供的车辆转弯引导装置的一个实施例结构示意图；
图4为本发明提供的电子设备的一个实施例结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器系统和/或微控制器系统中实现这些功能实体。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
现有技术针对汽车A柱盲区问题的研究通常仅进行单目方式的人眼识别、图像显示和单一预警方式，未考虑车辆行驶时驾驶员双眼观察图像的差别和车外障碍物距离变换等综合因素。此外，在转弯时无法即使对驾驶员进行警示。
因此，本发明实施例提供一种车辆转弯引导方法和装置，通过识别驾驶员的双眼中心，以确定A柱盲区图像的坐标范围，解决了左右眼观察的视差问题，同时，对A柱盲区图像进行透视变换后再进行投影，深度感更强，消除固定方式的投影给驾驶员带来的与真实视野的不一致感。以下将通过多个实施例进行展开说明和介绍。
图1为本发明提供的车辆转弯引导方法的一个实施例流程示意图，如图1所示，车辆转弯引导方法包括：
步骤S1、获取当前时刻驾驶员的头部图像，以及当前时刻的A柱外部的环境图像；
步骤S2、根据所述头部图像确定驾驶员的双眼中心，根据所述双眼中心确定当前视角下的A柱盲区图像的坐标范围；
步骤S3、根据所述A柱盲区图像的坐标范围从所述A柱外部的环境图像中截取对应的A柱盲区图像，对所述A柱盲区图像进行透视变换，将透视变换后的A柱盲区图像投影至车辆内部对应的A柱上。
可以理解的是，本实施例中的头部姿态主要是指驾驶员头部的水平角度，其决定了驾驶员的视角范围，双眼中心包括左眼中心和右眼中心，通过左右双眼的三位坐标确定了驾驶员的头部姿态，以进一步确定驾驶员当前的视角范围。汽车前挡风玻璃两侧的斜柱被称为A柱。本实施例中的A柱包括左侧A柱和右侧A柱，A柱盲区是指车辆行驶过程中的视野盲区。每当汽车车辆在转弯或者进入弯道前驾驶者的视野都会被A柱部分遮挡，造成一个视野上的盲区。
透视变换是指利用透视中心、像点、目标点三点共线的条件，按透视旋转定律使承影面(透视面)绕迹线(透视轴)旋转某一角度，破坏原有的投影光线束，仍能保持承影面上投影几何图形不变的变换。应用于本实施例中，透视中心是指车辆的A柱，像点是指人眼，目标点是指A柱盲区图像。通过追踪驾驶员视线方向，进而利用透视变化算法动态调整显示器所显示场景的图像，并对变换后的场景做进一步调整和裁剪，尽可能实现使A柱“透明化”的效果，能够对车辆转弯提供视野引导。
与现有技术相比，本实施例中的方法综合考虑车辆行驶时驾驶员双眼观察图像的差别，通过识别驾驶员的头部姿态和双眼中心，以确定A柱盲区图像的坐标范围，解决了左右眼观察的视差问题，同时，对A柱盲区图像进行透视变换后再进行投影，深度感更强，消除固定方式的投影给驾驶员带来的与真实视野的不一致感，能够高效精准的降低了车辆A柱盲区造成车辆转弯行驶问题，并给驾驶员提供转弯过程中A柱盲区的情况，及时做出有效决策。
在上述实施例的基础能够，作为一种优选的实施方式，所述头部图像包括左侧头部图像和右侧头部图像；所述左侧头部图像为从驾驶员左侧拍摄的头部图像，所述右侧头部图像为从驾驶员右侧拍摄的头部图像；所述左侧头部图像和所述右侧头部图像中均至少包括驾驶员左眼和右眼。
本实施例中，通过双目视觉定位的方法，分别在驾驶员左侧和右侧获取驾驶员头部图像，以消除驾驶员双眼观察图像的差别的问题。
获取头部图像后，还需要对图像进行预处理，通过灰度变化法以及滤波法使图像变得平滑、锐化、边界增强便于对比。
在上述实施例的基础能够，作为一种优选的实施方式，如图2中所示，所述根据所述头部图像确定驾驶员的双眼中心，包括：
步骤S211、提取所述左侧头部图像中人脸区域，得到左人脸图像，根据Sobel边缘检测算子对所述左人脸图像进行人眼边缘检测，提取眼部边缘信息，根据所述眼部边缘信息确定左眼中心的二维坐标。
本步骤中，首先利用Haar特征描述人脸特征，在人脸上，人眼睛区域会比脸颊区域暗，嘴唇区域也会比四周的区域暗，但鼻子区域会比两边脸颊要亮，可以通过区域像素的不同进行区分。
进而建立积分图像，利用该图像快速获取几种不同的矩形特征，对于积分图像中的任何一点，该点的积分图像值等于位于该点左上角所有像素之和。
Figure BDA0004158748030000071
上式中，(x,y)表示任意一点的位置，f(x’,y’)表示输入图像上相关位置的像素点，s(x,y)表示点(x,y)的积分图像值，(x’,y’)表示点(x,y)左上角的点。
利用Adaboost算法进行训练，作用是从众多特征中选出对检测人脸和非人脸最大的特征，Adaboost是将多个弱分类器组合在一起的强分类器。
Figure BDA0004158748030000072
Figure BDA0004158748030000073
上式中，h(k)表示强分类器，M是指弱分类器的个数，j表示第j个弱分类器，hj(k)是一个弱分类器，
Figure BDA0004158748030000074
表示第j个弱分类器的系数。sj∈{-1,1}；θj为第j个弱分类器的系数阈值，fj为设定值。
进而建立层级分类器，建立级联分类器的作用是尽可能减少计算量，先以少量的特征剔除明显的非人脸区域，再对剩下的区域进行训练。训练后的模型即可实现人脸区域的识别。
使用基于Sobel算子的人眼定位算法，得到精确的驾驶员左右眼球中心点的二维像素坐标。用c表示圆心，di表示在xi处的Sobel算子的两个分量组成的梯度单位向量，di表示点pj到点xi的方向单位向量；si＝1，N表示点的个数。
Figure BDA0004158748030000081
Figure BDA0004158748030000082
||si||＝1
步骤S212、对所述右侧头部图像进行水平灰度积分投影，得到右人脸图像，对所述右人脸图像进行垂直灰度积分投影，得到右眼中心的二维坐标。
对于右侧头部图像，由于上述步骤S211中算法的计算量较大，本实施例改用一种精度高、计算成本低的基于积分投影的人眼定位算法，首先根据脸部肤色分割出人脸区域，然后用积分投影函数定位人眼坐标。基于积分投影的人眼定位算法：
Figure BDA0004158748030000083
Figure BDA0004158748030000084
上式中，I(x,y)表示点(x,y)处的像素灰度值，sh(y)表示区间[x1,x2]上的水平灰度积分投影函数，sy(x)表示区间[y1,y2]上的垂直灰度积分投影函数。且平均积分投影函数为：
Figure BDA0004158748030000085
Figure BDA0004158748030000086
步骤S213、确定所述左侧头部图像和所述右侧头部图像的视差，根据所述视差、所述左眼中心的二维坐标和所述右眼中心的二维坐标确定所述左眼中心的三维坐标，以及所述右眼中心的三维坐标。
本实施例中，通过平均取得两图像的双眼中心坐标，通过计算得到左右两图像的视差，进而由相机成像原理求得驾驶员双眼中心的三维坐标。
在上述实施例的基础能够，作为一种优选的实施方式，所述根据所述双眼中心确定当前视角下的A柱盲区图像的坐标范围，包括：
根据所述双眼中心确定驾驶员的当前视角；根据预先存储的驾驶员的视角与A柱盲区图像的坐标范围的对应关系，确定当前视角下的A柱盲区图像的坐标范围。
通过透视中心、像点、目标点三点共线的条件确定A柱外部被遮挡的图像，透视变换(Perspective Transformation)的本质是将图像投影到一个新的视平面，其通用变换公式为：
Figure BDA0004158748030000091
(x,y)是原图坐标，(x′＝X/Z，y′＝Y/Z)为变换之后的图像像素坐标。
X＝m11*x+m12*y+m13
Y＝m21*x+m22*y+m23
Z＝m31*x+m32*y+m33
Figure BDA0004158748030000092
Figure BDA0004158748030000093
上式中，(x’,y’)是变换后的坐标；m11,m12,m21,m22,m31,m32为旋转量，m13,m23,m33为平移量。
本实施例中，通过透视中心、像点、目标点三点共线的条件确定A柱外部被遮挡的图像。利用透视变化算法动态调整显示器所显示场景的图像，并对变换后的场景做进一步调整和裁剪，尽可能实现使A柱“透明化”的效果，能够对车辆转弯提供视野引导。
在上述实施例的基础能够，作为一种优选的实施方式，所述获取当前时刻驾驶员的头部图像，具体包括：
实时获取方向盘的转动夹角，若根据所述转动夹角判断车辆在转弯，则从驾驶员两侧分别获取当前时刻的驾驶员的头部图像。
通过方向盘自带的转角传感器获取方向盘转动夹角平判断驾驶人是否要进行转弯操作，若判断即将或正在转弯，则进行驾驶员视角确定、A柱盲区图像采集匹配、A柱盲区图像显示，为驾驶员提供视野参考。
在上述实施例的基础能够，作为一种优选的实施方式，所述根据所述双眼中心确定当前视角下的A柱盲区图像的坐标范围后，还包括：
获取所述A柱盲区图像的坐标范围内的障碍目标，根据预先建立的车辆-行人轨迹预测模型对障碍目标的轨迹和车辆现行轨迹进行对比，若根据障碍目标的轨迹和车辆现行轨迹的对比结果，判断障碍目标和车辆将发生碰撞，则发出警报语音提醒。
通过发射不同波段的信号获取盲区障碍物信息，并通过预测障碍物的轨迹并与车辆现行轨迹进行对比判断是否会发生碰撞，通过发出警报音提醒驾驶人减速加速等操作。
在上述实施例的基础能够，作为一种优选的实施方式，所述根据预先建立的车辆-行人轨迹预测模型对障碍目标的轨迹和车辆现行轨迹进行对比，包括：
根据障碍目标在第一时间段的第一轨迹数据，预测所述障碍目标在第二时间内的第二轨迹数据；
若判断在第二时间内，车辆的制动减速度大于预设制动减速度阈值，或，根据所述第二轨迹数据判断障碍目标在第二时间段内的移动速度上升，则判断障碍目标和车辆将发生碰撞。
本实施例中的车辆-行人轨迹预测模型是基于隐马尔可夫模型的车辆-行人轨迹预测模型，将Viterbi算法与状态转移概率矩阵和发散概率矩阵相结合。利用前1.44s的目标轨迹数据预测后0.48s内的轨迹数据，用于判断车辆和行人在未来时刻是否会发生交通冲突。排除车辆主动让行的情况，当车辆在未来0.48s的制动减速度大于3.0m/s2或行人在未来0.48s内过街速度显著上升，则认为当前存在人车冲突。
为了更好实施本发明实施例中的车辆转弯引导方法，在车辆转弯引导方法基础之上，对应的，本发明实施例还提供了一种车辆转弯引导装置，如图3所示，车辆转弯引导装置300包括：
图像采集模块310，获取当前时刻驾驶员的头部图像，以及当前时刻的A柱外部的环境图像；具体的，图像采集模块310包括设置在A柱外侧、用于采集障碍物的第一摄像机311，以及设置在A柱内侧上方、用于驾驶员头部图像的第二摄像机312，以及接在两摄像机上的图像传输线。
图像处理模块320，根据所述头部图像确定驾驶员的双眼中心，根据所述双眼中心确定当前视角下的A柱盲区图像的坐标范围。
图像处理模块320包括图像预处理单元321、人眼定位单元322、图像匹配单元323；其中，图像预处理单元321用于对头部图像进行预处理，通过灰度变化法以及滤波法使图像变得平滑、锐化、边界增强便于对比。人眼定位单元322用于提取所述左侧头部图像中人脸区域，得到左人脸图像，根据Sobel边缘检测算子对所述左人脸图像进行人眼边缘检测，提取眼部边缘信息，根据所述眼部边缘信息确定左眼中心的二维坐标；对所述右侧头部图像进行水平灰度积分投影，得到右人脸图像，对所述右人脸图像进行垂直灰度积分投影，得到右眼中心的二维坐标；确定所述左侧头部图像和所述右侧头部图像的视差，根据所述视差、所述左眼中心的二维坐标和所述右眼中心的二维坐标确定所述左眼中心的三维坐标，以及所述右眼中心的三维坐标。所述图像匹配单元323用于根据所述双眼中心确定驾驶员的当前视角；根据预先存储的驾驶员的视角与A柱盲区图像的坐标范围的对应关系，确定当前视角下的A柱盲区图像的坐标范围。
图像投影模块330，根据所述A柱盲区图像的坐标范围从所述A柱外部的环境图像中截取对应的A柱盲区图像，对所述A柱盲区图像进行透视变换，将透视变换后的A柱盲区图像投影至车辆内部对应的A柱上。
利用透视变化算法动态调整显示器所显示场景的图像，并对变换后的场景做进一步调整和裁剪，尽可能实现使A柱“透明化”的效果，能够对车辆转弯提供视野引导。
其中，所述图像投影模块330包括转角判断开启单元331、投影单元332、A柱幕布单元333，转角判断开启单元331通过方向盘自带的转角传感器获取方向盘转动夹角平判断驾驶人是否要进行转弯操作，所述投影单元332通过将图像匹配单元323确定的盲区图像在A柱幕布单元333上进行投影显示。
上述实施例提供的车辆转弯引导装置300可实现上述车辆转弯引导方法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述车辆转弯引导方法实施例中的相应内容，此处不再赘述。
如图4所示，本发明还相应提供了一种电子设备400。该电子设备400包括处理器401、存储器402及显示器403。图4仅示出了电子设备400的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
存储器402在一些实施例中可以是电子设备400的内部存储单元，例如电子设备400的硬盘或内存。存储器402在另一些实施例中也可以是电子设备400的外部存储设备，例如电子设备400上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。
进一步地，存储器402还可既包括电子设备400的内部储存单元也包括外部存储设备。存储器402用于存储安装电子设备400的应用软件及各类数据。
处理器401在一些实施例中可以是一中央处理器(Central Processing Unit，CPU)，微处理器或其他数据处理芯片，用于运行存储器402中存储的程序代码或处理数据，例如本发明中的车辆转弯引导方法。
显示器403在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。显示器403用于显示在电子设备400的信息以及用于显示可视化的用户界面。电子设备400的部件401-403通过系统总线相互通信。
在本发明的一些实施例中，当处理器401执行存储器402中的车辆转弯引导程序时，可实现以下步骤：
获取当前时刻驾驶员的头部图像，以及当前时刻的A柱外部的环境图像；
根据所述头部图像确定驾驶员的双眼中心，根据所述双眼中心确定当前视角下的A柱盲区图像的坐标范围；
根据所述A柱盲区图像的坐标范围从所述A柱外部的环境图像中截取对应的A柱盲区图像，对所述A柱盲区图像进行透视变换，将透视变换后的A柱盲区图像投影至车辆内部对应的A柱上。
应当理解的是：处理器401在执行存储器402中的车辆转弯引导程序时，除了上面的功能之外，还可实现其它功能，具体可参见前面相应方法实施例的描述。
进一步地，本发明实施例对提及的电子设备400的类型不做具体限定，电子设备400可以为手机、平板电脑、个人数字助理(personal digitalassistant，PDA)、可穿戴设备、膝上型计算机(laptop)等电子设备。电子设备的示例性实施例包括但不限于搭载IOS、android、microsoft或者其他操作系统的电子设备。上述电子设备也可以是其他电子设备，诸如具有触敏表面(例如触控面板)的膝上型计算机(laptop)等。还应当理解的是，在本发明其他一些实施例中，电子设备400也可以不是电子设备，而是具有触敏表面(例如触控面板)的台式计算机。
相应地，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质用于存储计算机可读取的程序或指令，程序或指令被处理器执行时，能够实现上述各方法实施例提供的车辆转弯引导方法步骤或功能。
本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件(如处理器，控制器等)来完成，计算机程序可存储于计算机可读存储介质中。其中，计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
以上对本发明所提供的车辆转弯引导方法及装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种车辆转弯引导方法，其特征在于，包括：
获取当前时刻驾驶员的头部图像，以及当前时刻的A柱外部的环境图像；
根据所述头部图像确定驾驶员的双眼中心，根据所述双眼中心确定当前视角下的A柱盲区图像的坐标范围；
根据所述A柱盲区图像的坐标范围从所述A柱外部的环境图像中截取对应的A柱盲区图像，对所述A柱盲区图像进行透视变换，将透视变换后的A柱盲区图像投影至车辆内部对应的A柱上。
2.根据权利要求1所述的车辆转弯引导方法，其特征在于，所述头部图像包括左侧头部图像和右侧头部图像；所述左侧头部图像为从驾驶员左侧拍摄的头部图像，所述右侧头部图像为从驾驶员右侧拍摄的头部图像；所述左侧头部图像和所述右侧头部图像中均至少包括驾驶员左眼和右眼。
3.根据权利要求2所述的车辆转弯引导方法，其特征在于，所述根据所述头部图像确定驾驶员的双眼中心，包括：
提取所述左侧头部图像中人脸区域，得到左侧人脸图像，根据Sobel边缘检测算子对所述左侧人脸图像进行人眼边缘检测，提取眼部边缘信息，根据所述眼部边缘信息确定双眼中心的第一二维坐标；
对所述右侧头部图像进行水平灰度积分投影，得到右侧人脸图像，对所述右侧人脸图像进行垂直灰度积分投影，得到双眼中心的第二二维坐标；
确定所述左侧头部图像和所述右侧头部图像的视差，根据所述视差、所述第一二维坐标和第二二维坐标确定所述双眼中心的三维坐标。
4.根据权利要求1所述的车辆转弯引导方法，其特征在于，所述根据所述双眼中心确定当前视角下的A柱盲区图像的坐标范围，包括：
根据所述双眼中心确定驾驶员的当前视角；根据预先存储的驾驶员的视角与A柱盲区图像的坐标范围的对应关系，确定当前视角下的A柱盲区图像的坐标范围。
5.根据权利要求1所述的车辆转弯引导方法，其特征在于，所述获取当前时刻驾驶员的头部图像，具体包括：
实时获取方向盘的转动夹角，若根据所述转动夹角判断车辆在转弯，则从驾驶员两侧分别获取当前时刻的驾驶员的头部图像。
6.根据权利要求1所述的车辆转弯引导方法，其特征在于，所述根据所述双眼中心确定当前视角下的A柱盲区图像的坐标范围后，还包括：
获取所述A柱盲区图像的坐标范围内的障碍目标，根据预先建立的车辆-行人轨迹预测模型对障碍目标的轨迹和车辆现行轨迹进行对比，若根据障碍目标的轨迹和车辆现行轨迹的对比结果，判断障碍目标和车辆将发生碰撞，则发出警报语音提醒。
7.根据权利要求1所述的车辆转弯引导方法，其特征在于，所述根据预先建立的车辆-行人轨迹预测模型对障碍目标的轨迹和车辆现行轨迹进行对比，包括：
根据障碍目标在第一时间段的第一轨迹数据，预测所述障碍目标在第二时间内的第二轨迹数据；
若判断在第二时间内，车辆的制动减速度大于预设制动减速度阈值，或，根据所述第二轨迹数据判断障碍目标在第二时间段内的移动速度上升，则判断障碍目标和车辆将发生碰撞。
8.一种车辆转弯引导装置，其特征在于，包括：
图像采集模块，获取当前时刻驾驶员的头部图像，以及当前时刻的A柱外部的环境图像；
图像处理模块，根据所述头部图像确定驾驶员的双眼中心，根据所述双眼中心确定当前视角下的A柱盲区图像的坐标范围；
图像投影模块，根据所述A柱盲区图像的坐标范围从所述A柱外部的环境图像中截取对应的A柱盲区图像，对所述A柱盲区图像进行透视变换，将透视变换后的A柱盲区图像投影至车辆内部对应的A柱上。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述车辆转弯引导方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述车辆转弯引导方法的步骤。
CN202310343203.XA 2023-03-31 2023-03-31 一种车辆转弯引导方法、装置、电子设备和存储介质 Pending CN116424335A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310343203.XA CN116424335A (zh) 2023-03-31 2023-03-31 一种车辆转弯引导方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310343203.XA CN116424335A (zh) 2023-03-31 2023-03-31 一种车辆转弯引导方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN116424335A true CN116424335A (zh) 2023-07-14

Family

ID=87091982

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310343203.XA Pending CN116424335A (zh) 2023-03-31 2023-03-31 一种车辆转弯引导方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN116424335A (zh)

Similar Documents

Publication Publication Date Title
US11710243B2 (en) Method for predicting direction of movement of target object, vehicle control method, and device
JP6695503B2 (ja) 車両の運転者の状態を監視するための方法及びシステム
US7590262B2 (en) Visual tracking using depth data
CN110703904B (zh) 一种基于视线跟踪的增强虚拟现实投影方法及系统
US9405982B2 (en) Driver gaze detection system
US8994558B2 (en) Automotive augmented reality head-up display apparatus and method
US20220058407A1 (en) Neural Network For Head Pose And Gaze Estimation Using Photorealistic Synthetic Data
EP3316080A1 (en) Virtual reality interaction method, apparatus and system
US20160257252A1 (en) Projection of images on side window of vehicle
CN109941277A (zh) 显示汽车a柱盲区图像的方法、装置和车辆
US20180208201A1 (en) System and method for a full lane change aid system with augmented reality technology
US20210374443A1 (en) Driver attention state estimation
US11592677B2 (en) System and method for capturing a spatial orientation of a wearable device
Jha et al. Probabilistic estimation of the driver's gaze from head orientation and position
Badgujar et al. Driver gaze tracking and eyes off the road detection
JP4696571B2 (ja) 眼位置検出装置
CN116424335A (zh) 一种车辆转弯引导方法、装置、电子设备和存储介质
CN110796116A (zh) 多面板显示系统、具有多面板显示系统的车辆及显示方法
CN113306492A (zh) 一种生成汽车a柱盲区图像的方法和装置
US11919395B1 (en) Electronic device and method for configuring head-up display
US20220185182A1 (en) Target identification for vehicle see-through applications
CN116403188A (zh) 一种汽车a柱盲区图像生成方法、装置、设备及存储介质
CN117087523A (zh) 一种主光灯高度调节方法、系统及车辆
Choi et al. In and out vision-based driver-interactive assistance system
CN113343935A (zh) 一种生成汽车a柱盲区图像的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination