CN116442907A - 基于驾驶员瞳孔位置的路况展示方法、装置、车辆及介质 - Google Patents
基于驾驶员瞳孔位置的路况展示方法、装置、车辆及介质 Download PDFInfo
- Publication number
- CN116442907A CN116442907A CN202310449613.2A CN202310449613A CN116442907A CN 116442907 A CN116442907 A CN 116442907A CN 202310449613 A CN202310449613 A CN 202310449613A CN 116442907 A CN116442907 A CN 116442907A
- Authority
- CN
- China
- Prior art keywords
- pupil
- driver
- road condition
- eye
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000001747 pupil Anatomy 0.000 title claims abstract description 157
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000009471 action Effects 0.000 claims abstract description 12
- 230000004424 eye movement Effects 0.000 claims abstract description 11
- 210000004087 cornea Anatomy 0.000 claims description 35
- 239000013598 vector Substances 0.000 claims description 27
- 239000011159 matrix material Substances 0.000 claims description 21
- 239000011521 glass Substances 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 7
- 210000001508 eye Anatomy 0.000 description 69
- 210000005252 bulbus oculi Anatomy 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 239000003550 marker Substances 0.000 description 7
- 210000003128 head Anatomy 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 239000000463 material Substances 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000005357 flat glass Substances 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Mathematical Physics (AREA)
- Transportation (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请涉及车辆技术领域，特别涉及一种基于驾驶员瞳孔位置的路况展示方法、装置、车辆及介质，其中，方法包括：采集驾驶员的眼睛位置和眼睛观察方向，基于预设的眼动跟踪策略，根据眼睛位置和眼睛观察方向确定驾驶员的瞳孔注视位置，并根据瞳孔注视位置确定路况展示位置，采集路况展示位置对应的实时路况信息，并将实时路况信息展示在路况展示位置，使得驾驶员基于实时路况信息执行超车动作和/或对后车进行减速提醒。由此，解决了在复杂车况环境下由于跟车过紧，易发生追尾或被追尾事故，以及对车辆周边情况观察不到位而发生剐蹭等问题，从而降低事故发生率，提升用户体验。
Description
技术领域
本申请涉及车辆技术领域，特别涉及一种基于驾驶员瞳孔位置的路况展示方法、装置、车辆及介质。
背景技术
当下，日益复杂的交通环境对于女性司机、新手司机以及疲劳驾驶的司机而言非常不友好，繁华城市的交通环境往往更加复杂，随时会被超车或者想超车又被剐蹭，同时驾驶员在路上行驶时，对于后向或者前向的车辆速度要随时做出反应，防止追尾和被追尾，需要驾驶员随时观察前后车参数，尤其是高速时，反应时间很短，需要驾驶员迅速做出反应，因此有一个辅助提醒超车或者被超车防止剐蹭的、追尾或者被追尾的显示系统是非常必要的。
相关技术中，一种具有集成眼睛追踪器的激光投射器，包括：激光模块，包括用于输出红外光的红外激光二极管以及用于输出可见光的至少一个可见光激光二极管；扫描镜，与激光模块的输出端对准，从而接收红外光和可见光两者并且用于可控制地反射红外光和可见光两者；波长复用全息光学元件，被对准以接收从扫描镜反射的红外光和可见光两者并将红外光和可见光两者朝向用户的眼睛重定向，其中，波长复用全息光学元件包括响应于可见光而不响应于红外光的第一全息图以及响应于红外光而不响应于可见光的第二全息图；以及红外探测器，被对准以接收从用户的眼睛反射的红外光的至少一部分。
然而，该系统属于穿戴式显示设备，无法将显示设备集成于车辆挡风玻璃等路况展示位置上，且用于眼动跟踪的近红外全息光栅通过角度复用的方法与用于HUD(Head-UpDisplay，抬头显视设备)显示的可见光全息光栅集成到一块HUD膜上，存在衍射效率低、占用体积大的问题，亟待解决。
发明内容
本申请提供一种基于驾驶员瞳孔位置的路况展示方法、装置、车辆及介质，以解决在复杂车况环境下由于跟车过紧，易发生追尾或被追尾事故，以及对车辆周边情况观察不到位而发生剐蹭等问题，从而降低事故发生率，提升用户体验。
为达到上述目的，本申请第一方面实施例提出一种基于驾驶员瞳孔位置的路况展示方法，包括以下步骤：
采集驾驶员的眼睛位置和眼睛观察方向；
基于预设的眼动跟踪策略，根据所述眼睛位置和所述眼睛观察方向确定所述驾驶员的瞳孔注视位置，并根据所述瞳孔注视位置确定路况展示位置；以及
采集所述路况展示位置对应的实时路况信息，并将所述实时路况信息展示在所述路况展示位置，使得所述驾驶员基于所述实时路况信息执行超车动作和/或对后车进行减速提醒。
根据本申请的一个实施例，所述基于预设的眼动跟踪策略，根据所述眼睛位置和所述眼睛观察方向确定所述驾驶员的瞳孔注视位置，包括：
基于所述眼睛位置和所述眼睛观察方向，发射近红外光至所述驾驶员的面部，并根据接收到的面部反射的近红外光识别所述驾驶员的瞳孔位置和角膜位置；
根据所述瞳孔位置和所述角膜位置之间的角度来计算所述瞳孔位置和所述角膜位置之间的反射向量，并将所述反射向量的方向映射得到目标位置，将得到的注视点坐标和所述反射向量的坐标进行函数拟合，得到所述驾驶员的瞳孔注视位置。
根据本申请的一个实施例，在基于所述眼睛位置和所述观察方向，发射所述近红外光至所述驾驶员的面部之前，还包括：
基于预设的内外参矩阵，确定瞳孔点的三维位置。
根据本申请的一个实施例，所述根据所述瞳孔注视位置确定路况展示位置，包括：
若所述瞳孔注视位置为车辆的左后视镜，则所述路况展示位置为驾驶位置的车门玻璃；
若所述瞳孔注视位置为车辆的右后视镜，则所述路况展示位置为副驾驶位置的车门玻璃；
若所述瞳孔注视位置为前方，则所述路况展示位置为前挡风玻璃和前视显示抬头显视设备HUD。
根据本申请的一个实施例，上述的基于驾驶员瞳孔位置的路况展示方法，还包括：
获取后方车辆的跟车距离、所述后方车辆的当前车速和所述后方车辆与当前车辆的会车时间；
通过所述当前车辆的语音播放装置播放所述后方车辆的跟车距离、所述后方车辆的当前车速和所述后方车辆与所述当前车辆的会车时间。
根据本申请实施例提出的基于驾驶员瞳孔位置的路况展示方法，通过基于预设的眼动跟踪策略，根据眼睛位置和眼睛观察方向确定驾驶员的瞳孔注视位置，并根据瞳孔注视位置确定路况展示位置，将采集的路况展示位置对应的实时路况信息，展示在路况展示位置，使得驾驶员基于实时路况信息执行超车动作和/或对后车进行减速提醒。由此，解决了在复杂车况环境下由于跟车过紧，易发生追尾或被追尾事故，以及对车辆周边情况观察不到位而发生剐蹭等问题，从而降低事故发生率，提升用户体验。
为达到上述目的，本申请第二方面实施例提出一种基于驾驶员瞳孔位置的路况展示装置，包括：
采集模块，用于采集驾驶员的眼睛位置和眼睛观察方向；
确定模块，用于基于预设的眼动跟踪策略，根据所述眼睛位置和所述眼睛观察方向确定所述驾驶员的瞳孔注视位置，并根据所述瞳孔注视位置确定路况展示位置；以及
展示模块，用于采集所述路况展示位置对应的实时路况信息，并将所述实时路况信息展示在所述路况展示位置，使得所述驾驶员基于所述实时路况信息执行超车动作和/或对后车进行减速提醒。
根据本申请的一个实施例，所述确定模块，具体用于：
基于所述眼睛位置和所述眼睛观察方向，发射近红外光至所述驾驶员的面部，并根据接收到的面部反射的近红外光识别所述驾驶员的瞳孔位置和角膜位置；
根据所述瞳孔位置和所述角膜位置之间的角度来计算所述瞳孔位置和所述角膜位置之间的反射向量，并将所述反射向量的方向映射得到目标位置，将得到的注视点坐标和所述反射向量的坐标进行函数拟合，得到所述驾驶员的瞳孔注视位置。
根据本申请的一个实施例，在基于所述眼睛位置和所述观察方向，发射所述近红外光至所述驾驶员的面部之前，所述确定模块，还用于：
基于预设的内外参矩阵，确定瞳孔点的三维位置。
根据本申请的一个实施例，所述确定模块，具体用于：
若所述瞳孔注视位置为车辆的左后视镜，则所述路况展示位置为驾驶位置的车门玻璃；
若所述瞳孔注视位置为车辆的右后视镜，则所述路况展示位置为副驾驶位置的车门玻璃；
若所述瞳孔注视位置为前方，则所述路况展示位置为前挡风玻璃和前视显示抬头显视设备HUD。
根据本申请的一个实施例，上述的基于驾驶员瞳孔位置的路况展示装置，还包括：
获取模块，用于获取后方车辆的跟车距离、所述后方车辆的当前车速和所述后方车辆与当前车辆的会车时间；
播放模块，用于通过所述当前车辆的语音播放装置播放所述后方车辆的跟车距离、所述后方车辆的当前车速和所述后方车辆与所述当前车辆的会车时间。
根据本申请实施例提出的基于驾驶员瞳孔位置的路况展示装置，通过基于预设的眼动跟踪策略，根据眼睛位置和眼睛观察方向确定驾驶员的瞳孔注视位置，并根据瞳孔注视位置确定路况展示位置，将采集的路况展示位置对应的实时路况信息，展示在路况展示位置，使得驾驶员基于实时路况信息执行超车动作和/或对后车进行减速提醒。由此，解决了在复杂车况环境下由于跟车过紧，易发生追尾或被追尾事故，以及对车辆周边情况观察不到位而发生剐蹭等问题，从而降低事故发生率，提升用户体验。
为达到上述目的，本申请第三方面实施例提出一种车辆，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的基于驾驶员瞳孔位置的路况展示方法。
为达到上述目的，本申请第四方面实施例提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现如上述实施例所述的基于驾驶员瞳孔位置的路况展示方法。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本申请实施例提供的一种基于驾驶员瞳孔位置的路况展示方法的流程图；
图2为根据本申请的一个实施例的零部件安装位置示意图；
图3为根据本申请的一个实施例的瞳孔-角膜反射光斑的识别原理示意图；
图4为根据本申请的一个实施例的眼动仪“推断”被试者视线的原理示意图；
图5为根据本申请的一个实施例的坐标系间建立映射关系的原理示意图；
图6为根据本申请的一个实施例的基于驾驶员瞳孔位置的路况展示方法的部分流程图；
图7为根据本申请的一个实施例的基于驾驶员瞳孔位置的路况展示装置的示意图；
图8为根据本申请实施例的基于驾驶员瞳孔位置的路况展示装置的方框示意图；
图9为根据本申请实施例的车辆的结构示意图。
具体实施方式
下面详细描述本申请的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参照附图描述根据本申请实施例提出的基于驾驶员瞳孔位置的路况展示方法、装置、车辆及介质，首先将参照附图描述根据本申请实施例提出的基于驾驶员瞳孔位置的路况展示方法。
具体而言，图1是本申请一个实施例的基于驾驶员瞳孔位置的路况展示方法的流程图。
该实施例中，如图2所示，采用的设备仪器包括：四个摄像头、一个投影仪和一个前向显示HUD，其中一个摄像头安装在驾驶员的头前方，其他两个摄像头分别装在左右后视镜上方，可以不断收集并更新左后方和右后方数据；还有一个摄像头安装在车顶后方，可以观察车后方向情况，并将实时画面显示在前向HUD上。
如图1所示，该基于驾驶员瞳孔位置的路况展示方法，包括以下步骤：
在步骤S101中，采集驾驶员的眼睛位置和眼睛观察方向。
具体而言，本申请实施例可以通过图2所示的驾驶员的头前方摄像头采集驾驶员的眼睛位置和眼睛观察方向。
在步骤S102中，基于预设的眼动跟踪策略，根据眼睛位置和眼睛观察方向确定驾驶员的瞳孔注视位置，并根据瞳孔注视位置确定路况展示位置。
也就是说，在本申请实施例中，当汽车开动的时候，根据安装在驾驶员的头前面的摄像头采集的驾驶员的眼睛位置和眼睛观察方向(即驾驶员瞳孔的聚焦方向和头的转动方向)，基于预设的眼动跟踪策略，可以确定出驾驶员的瞳孔注视位置，从而根据瞳孔注视位置确定路况展示位置。
进一步地，在一些实施例中，基于预设的眼动跟踪策略，根据眼睛位置和眼睛观察方向确定驾驶员的瞳孔注视位置，包括：基于眼睛位置和眼睛观察方向，发射近红外光至驾驶员的面部，并根据接收到的面部反射的近红外光识别驾驶员的瞳孔位置和角膜位置；根据瞳孔位置和角膜位置之间的角度来计算瞳孔位置和角膜位置之间的反射向量，并将反射向量的方向映射得到目标位置，将得到的注视点坐标和反射向量的坐标进行函数拟合，得到驾驶员的瞳孔注视位置。
具体而言，本申请实施例可以基于预设的眼动跟踪策略，根据眼睛位置和眼睛观察方向，对驾驶员的整个面部发射近红外光，近红外光可以在面部发生反射，通过高速捕捉的摄像头采集在眼睛角膜处产生的反射图像，并将识别到的瞳孔位置和角膜位置做上标记，由此，可以根据瞳孔位置和角膜位置之间形成的角度计算出两者之间的反射向量，再将此向量的方向映射到显示屏幕，计算出视线在屏幕上的像素坐标，将注视点坐标和反射向量的坐标进行函数拟合，最终得到驾驶员的瞳孔注视位置。
需要说明的是，如图3所示，预设的眼动跟踪策略(即眼动追踪技术)采用的是基于瞳孔-角膜反射光斑的识别技术，其所利用的眼动过程保持不变的特征是眼球角膜外表面上的普尔钦斑——眼球角膜上的一个亮光点，由进入瞳孔的光线在角膜外表面上反射(Corneal Reflection，简称CR)而产生。
角膜反射点提取是基于灰度进行的图像分割，利用反射点是人眼图像中灰度值最高的区域特性进行提取。当确定瞳孔和角膜的位置后，需要根据眼动跟踪算法(即预设的眼动跟踪策略)进行阈值的确定，即利用质心和椭圆拟合方法。
其中，质心定义为二维平面的几何中心，它是从平面上所有点的算术平均位置，以三角形的质心为例，三角形的质心在三边中线的交点位置；椭圆拟合算法可以把一组点近似拟合成一个椭圆形，以一个椭圆的形状无限拟合瞳孔和角膜的大小阈值，来获取最佳阈值。
可以理解的是，如图4所示，由于摄像头位置固定，屏幕光源的位置也固定、眼球中心位置不变(假设眼球为球状，且头部不动)，普尔钦斑的绝对位置并不随眼球的转动而变化，但其相对于瞳孔和眼球的位置则是在不断变化的——比如，当你盯着摄像头时，普尔钦斑就在你瞳孔之间；而当你抬起头时，普尔钦斑就在你的瞳孔下方，这样一来，只要实时定位眼睛图像上的瞳孔和普尔钦斑的位置，计算出角膜反射向量，便能利用几何模型，估算得到用户的视线方向。
进一步地，二维的统一眼球图像坐标系与显示屏幕坐标系的过程如下：
(1)首先进行瞳孔的检测，得到瞳孔的坐标；
(2)进行反射亮斑的位置检测，得到亮斑的坐标；
(3)根据在屏幕上的注视点的位置(x，y)和瞳孔-角膜反射向量(其起点为瞳孔中心点，终点为反射光斑的中心点，该向量的坐标为(x1，y1))的对应关系进行函数拟合，例如经典的也最基本的二次多项式拟合：
x＝a+a1*x1+a2*y1+a3*x1*y1+a4*x1^2+a5*y1^2；
y＝b+b1*y1+b2*x1+b3*x1*y1+b4*y1^2+b5*x1^2；
其中，a～a5，b～b5为未知参数，校正定标过程就是求解未知参数的过程，得到这12个参数后，即可将瞳孔-角膜反射向量映射为驾驶员在显示屏幕上的注视点坐标。
进一步地，在一些实施例中，根据瞳孔注视位置确定路况展示位置，包括：若瞳孔注视位置为车辆的左后视镜，则路况展示位置为驾驶位置的车门玻璃；若瞳孔注视位置为车辆的右后视镜，则路况展示位置为副驾驶位置的车门玻璃；若瞳孔注视位置为前方，则路况展示位置为前挡风玻璃和前视显示抬头显视设备HUD。
具体而言，在本申请实施例中，根据瞳孔注视位置的变化，随动投影仪平面就会投射到相应的位置展示路况，整个前风挡有偏振光片设置，可以将符合的视野投射到相应的焦点的地方，若瞳孔注视位置为车辆的左后视镜，则路况展示位置为驾驶位置的车门玻璃；若瞳孔注视位置为车辆的右后视镜，则路况展示位置为副驾驶位置的车门玻璃；若瞳孔注视位置为前方，则路况展示位置为前挡风玻璃和前视显示抬头显视设备HUD。
此外，在一些实施例中，在基于眼睛位置和观察方向，发射近红外光至驾驶员的面部之前，还包括：基于预设的内外参矩阵，确定瞳孔点的三维位置。
具体而言，本申请实施例可以采用矩阵算法进行瞳孔点的三维位置标定，首先确定出瞳孔点在图像中的二维位置和瞳孔点的深度值，再根据瞳孔点在图像中的二维位置和瞳孔点的深度值确定瞳孔点的三维位置，具体实现过程如下：
如图5所示，事先制作好一个Marker(即表面覆盖有特殊反光材料的标记物)，将Marker放到现实中的一个位置上，相当于确定了一个现实场景中的平面，通过摄像头对Marker进行识别和姿态评估，并确定其位置，然后将该Marker中心为原点的坐标系称为模板坐标系，从模板坐标系变换到真实的屏幕坐标系需要先旋转平移到摄像机坐标系，然后再从摄像机坐标系映射到屏幕坐标系。基于此变换过程，模板坐标系和屏幕坐标系建立映射关系。
可以理解的是，在实际的编码中，所有这些变换都是一个矩阵，在线性代数中矩阵就代表一个变换，对坐标进行矩阵左乘便是一个线性变换(对于平移这种非线性变换，可以采用齐次坐标来进行矩阵运算)，公式如下：
其中，矩阵C的学名叫摄像机内参矩阵，矩阵Tm叫摄像机外参矩阵，其中内参矩阵是需要事先进行摄像机标定得到的，而外参矩阵是未知的，需要根据屏幕坐标(xc，yc)和事先定义好的Marker坐标系以及内参矩阵来估计Tm，然后根据Tm来绘制图形(由于初始估计的Tm不够精确，还需要使用非线性最小二乘进行迭代寻优)。
可以理解的是，基于预设的内外参矩阵，确定出的瞳孔点的三维位置更准确，并且在遮挡、光照和眼球大姿态等不同的场景下，使用该方法预测瞳孔点的鲁棒性更佳。
在步骤S103中，采集路况展示位置对应的实时路况信息，并将实时路况信息展示在路况展示位置，使得驾驶员基于实时路况信息执行超车动作和/或对后车进行减速提醒。
具体而言，本申请实施例可以将采集到的实时路况信息展示在路况展示位置，以便于驾驶员根据实施路况信息进行超车动作和/或对后车进行减速提醒，以减少事故的发生。
此外，在一些实施例中，上述的基于驾驶员瞳孔位置的路况展示方法，还包括：获取后方车辆的跟车距离、后方车辆的当前车速和后方车辆与当前车辆的会车时间；通过当前车辆的语音播放装置播放后方车辆的跟车距离、后方车辆的当前车速和后方车辆与当前车辆的会车时间。
具体而言，在本申请实施例中，还可以给车辆装备语音识别和语义识别系统，通过NLP(Natural Language Processing，自然语言处理)，通过不断跟随驾驶员训练语音语义，以改变HUD的显示内容和显示位置，同时安排两个驾驶跟踪HUD，一个显示后面车辆的驾驶状态和侧方位车辆的驾驶状态，另一个显示本车的驾驶状态，包括车速、油量、电机转速和扭矩等，以确定本车是否可以加速和超车。
为便于本领域技术人员进一步了解本申请实施例提出的基于驾驶员瞳孔位置的路况展示方法，下面结合图6和图7做进一步说明。
如图6所示，图6为根据本申请的一个实施例的基于驾驶员瞳孔位置的路况展示方法的部分流程图，包括以下步骤：
步骤S601，通过内外参矩阵使用准确的参数计算后，确定瞳孔点三维位置。
步骤S602，近红外光源对整个面部进行发射红外光。
步骤S603，近红外光在眼睛角膜处产生反射。
步骤S604，进行瞳孔和角膜发射的质心和椭圆拟合定位以及计算方法。
步骤S605，通过角膜与瞳孔之间形成的角度来计算出两者的向量。
由此，本申请实施例基于内外参矩阵确定出瞳孔点的三维位置，通过向驾驶员面部发射近红外光，并根据接受到的面部反射的近红外光识别计算出驾驶员的瞳孔位置和角膜位置，再根据瞳孔位置和角膜位置之间的角度来计算瞳孔位置和角膜位置之间的反射向量，从而得到驾驶员的瞳孔注视位置。
进一步地，如图7所示，基于预设的眼动跟踪策略，本申请实施例提出的基于驾驶员瞳孔位置的路况展示装置包括：信息获取模块、信息分析计算模块、投影显示模块、司机跟踪模块和投影内容跟踪显示模块，其中，投影内容跟踪显示模块包括左右前车窗玻璃显示、HUD和前挡风玻璃显示以及后向车辆信息显示。在本申请实施例中，当驾驶员的瞳孔向右后视镜观察时，由摄像头、毫米波雷达和激光雷达采集到的信息发送至信息获取模块，经过分析计算，投影仪(即投影显示模块)可以实时将右后方的摄像头记录下来的内容投影在右前玻璃(即投影内容跟踪显示模块)上，右前玻璃由可以被投影仪光刺激的三层中间层显示发光物质构成，同时在观察液晶后视镜时，根据摄像头和可能安装的激光雷达的联合数据，司机跟踪模块可以实时显示后车跟车距离和车速及可能的两车会车时间，并可开启语音播报，随时提醒驾驶员可能会发生的交通问题。
同样地，如果驾驶员观察左后视镜时，左前玻璃将显示实时左前向后视摄像头的实时镜像，并给出后车距离以及车速和可能的会车时间，同时进行语音播报，如果驾驶员想进行超车动作，也可以进行提问，汽车辅助自动驾驶功能将给予语音提示，是否可以超车，此外，辅助自动驾驶系统还可以主动提问驾驶员是否需要辅助自动驾驶系统掌控超车，如果驾驶员同意，辅助自动驾驶系统将掌控超车的动作，并进行超车；前视显示HUD可以显示前向实时驾驶参数，包括车距、速度等，还可以根据驾驶员的请求，展示正后方向的影像，并提示后车距离和可能的会车时间及后车速度，同时根据前方车况提醒驾驶员加快速度或者减慢速度，并打开后部提醒警报声，提醒后车减速避让。
此外，本申请实施例还可以在前视大灯和后视大灯旁边设置可随眼睛瞳孔移动的分视小型直射灯管，其原理是当夜晚来临，视野不清晰的时候，眼球瞳孔观察后视镜左右不同方向时，自动调整左右后分视转向灯，视野能够看清分视转向方向的汽车和人员距离；同样地，在驾驶员观察左前和右前挡风玻璃与车窗玻璃间隔区域时，前视分光小型直射灯也可以跟踪眼球转向相关区域，同时还可以在左前或者右前挡风玻璃上展示相关区域的情况，随时给予驾驶员危险警示。
根据本申请实施例提出的基于驾驶员瞳孔位置的路况展示方法，通过基于预设的眼动跟踪策略，根据眼睛位置和眼睛观察方向确定驾驶员的瞳孔注视位置，并根据瞳孔注视位置确定路况展示位置，将采集的路况展示位置对应的实时路况信息，展示在路况展示位置，使得驾驶员基于实时路况信息执行超车动作和/或对后车进行减速提醒。由此，解决了在复杂车况环境下由于跟车过紧，易发生追尾或被追尾事故，以及对车辆周边情况观察不到位而发生剐蹭等问题，从而降低事故发生率，提升用户体验。
其次参照附图描述根据本申请实施例提出的基于驾驶员瞳孔位置的路况展示装置。
图8是本申请一个实施例的基于驾驶员瞳孔位置的路况展示装置的方框示意图。
如图8所示，该基于驾驶员瞳孔位置的路况展示装置10包括：采集模块100、确定模块200和展示模块300。
其中，采集模块100，用于采集驾驶员的眼睛位置和眼睛观察方向；
确定模块200，用于基于预设的眼动跟踪策略，根据眼睛位置和眼睛观察方向确定驾驶员的瞳孔注视位置，并根据瞳孔注视位置确定路况展示位置；以及
展示模块300，用于采集路况展示位置对应的实时路况信息，并将实时路况信息展示在路况展示位置，使得驾驶员基于实时路况信息执行超车动作和/或对后车进行减速提醒。
进一步地，在一些实施例中，确定模块200，具体用于：
基于眼睛位置和眼睛观察方向，发射近红外光至驾驶员的面部，并根据接收到的面部反射的近红外光识别驾驶员的瞳孔位置和角膜位置；
根据瞳孔位置和角膜位置之间的角度来计算瞳孔位置和角膜位置之间的反射向量，并将反射向量的方向映射得到目标位置，将得到的注视点坐标和反射向量的坐标进行函数拟合，得到驾驶员的瞳孔注视位置。
进一步地，在一些实施例中，在基于眼睛位置和观察方向，发射近红外光至驾驶员的面部之前，确定模块200，还用于：
基于预设的内外参矩阵，确定瞳孔点的三维位置。
进一步地，在一些实施例中，确定模块200，具体用于：
若瞳孔注视位置为车辆的左后视镜，则路况展示位置为驾驶位置的车门玻璃；
若瞳孔注视位置为车辆的右后视镜，则路况展示位置为副驾驶位置的车门玻璃；
若瞳孔注视位置为前方，则路况展示位置为前挡风玻璃和前视显示抬头显视设备HUD。
进一步地，在一些实施例中，上述的基于驾驶员瞳孔位置的路况展示装置10，还包括：
获取模块，用于获取后方车辆的跟车距离、后方车辆的当前车速和后方车辆与当前车辆的会车时间；
播放模块，用于通过当前车辆的语音播放装置播放后方车辆的跟车距离、后方车辆的当前车速和后方车辆与当前车辆的会车时间。
需要说明的是，前述对基于驾驶员瞳孔位置的路况展示方法实施例的解释说明也适用于该实施例的基于驾驶员瞳孔位置的路况展示装置，此处不再赘述。
根据本申请实施例提出的基于驾驶员瞳孔位置的路况展示装置，通过基于预设的眼动跟踪策略，根据眼睛位置和眼睛观察方向确定驾驶员的瞳孔注视位置，并根据瞳孔注视位置确定路况展示位置，将采集的路况展示位置对应的实时路况信息，展示在路况展示位置，使得驾驶员基于实时路况信息执行超车动作和/或对后车进行减速提醒。由此，解决了在复杂车况环境下由于跟车过紧，易发生追尾或被追尾事故，以及对车辆周边情况观察不到位而发生剐蹭等问题，从而降低事故发生率，提升用户体验。
图9为本申请实施例提供的车辆的结构示意图。该车辆可以包括：
存储器901、处理器902及存储在存储器901上并可在处理器902上运行的计算机程序。
处理器902执行程序时实现上述实施例中提供的基于驾驶员瞳孔位置的路况展示方法。
进一步地，车辆还包括：
通信接口903，用于存储器901和处理器902之间的通信。
存储器901，用于存放可在处理器902上运行的计算机程序。
存储器901可能包含高速RAM(Random Access Memory，随机存取存储器)存储器，也可能还包括非易失性存储器，例如至少一个磁盘存储器。
如果存储器901、处理器902和通信接口903独立实现，则通信接口903、存储器901和处理器902可以通过总线相互连接并完成相互间的通信。总线可以是ISA(IndustryStandard Architecture，工业标准体系结构)总线、PCI(Peripheral Component，外部设备互连)总线或EISA(Extended Industry Standard Architecture，扩展工业标准体系结构)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器901、处理器902及通信接口903，集成在一块芯片上实现，则存储器901、处理器902及通信接口903可以通过内部接口完成相互间的通信。
处理器902可能是一个CPU(Central Processing Unit，中央处理器)，或者是ASIC(Application Specific Integrated Circuit，特定集成电路)，或者是被配置成实施本申请实施例的一个或多个集成电路。
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的基于驾驶员瞳孔位置的路况展示方法。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不是必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种基于驾驶员瞳孔位置的路况展示方法，其特征在于，包括以下步骤：
采集驾驶员的眼睛位置和眼睛观察方向；
基于预设的眼动跟踪策略，根据所述眼睛位置和所述眼睛观察方向确定所述驾驶员的瞳孔注视位置，并根据所述瞳孔注视位置确定路况展示位置；以及
采集所述路况展示位置对应的实时路况信息，并将所述实时路况信息展示在所述路况展示位置，使得所述驾驶员基于所述实时路况信息执行超车动作和/或对后车进行减速提醒。
2.根据权利要求1所述的基于驾驶员瞳孔位置的路况展示方法，其特征在于，所述基于预设的眼动跟踪策略，根据所述眼睛位置和所述眼睛观察方向确定所述驾驶员的瞳孔注视位置，包括：
基于所述眼睛位置和所述眼睛观察方向，发射近红外光至所述驾驶员的面部，并根据接收到的面部反射的近红外光识别所述驾驶员的瞳孔位置和角膜位置；
根据所述瞳孔位置和所述角膜位置之间的角度来计算所述瞳孔位置和所述角膜位置之间的反射向量，并将所述反射向量的方向映射得到目标位置，将得到的注视点坐标和所述反射向量的坐标进行函数拟合，得到所述驾驶员的瞳孔注视位置。
3.根据权利要求2所述的基于驾驶员瞳孔位置的路况展示方法，其特征在于，在基于所述眼睛位置和所述观察方向，发射所述近红外光至所述驾驶员的面部之前，还包括：
基于预设的内外参矩阵，确定瞳孔点的三维位置。
4.根据权利要求1所述的基于驾驶员瞳孔位置的路况展示方法，其特征在于，所述根据所述瞳孔注视位置确定路况展示位置，包括：
若所述瞳孔注视位置为车辆的左后视镜，则所述路况展示位置为驾驶位置的车门玻璃；
若所述瞳孔注视位置为车辆的右后视镜，则所述路况展示位置为副驾驶位置的车门玻璃；
若所述瞳孔注视位置为前方，则所述路况展示位置为前挡风玻璃和前视显示抬头显视设备HUD。
5.根据权利要求1所述的基于驾驶员瞳孔位置的路况展示方法，其特征在于，还包括：
获取后方车辆的跟车距离、所述后方车辆的当前车速和所述后方车辆与当前车辆的会车时间；
通过所述当前车辆的语音播放装置播放所述后方车辆的跟车距离、所述后方车辆的当前车速和所述后方车辆与所述当前车辆的会车时间。
6.一种基于驾驶员瞳孔位置的路况展示装置，其特征在于，包括：
采集模块，用于采集驾驶员的眼睛位置和眼睛观察方向；
确定模块，用于基于预设的眼动跟踪策略，根据所述眼睛位置和所述眼睛观察方向确定所述驾驶员的瞳孔注视位置，并根据所述瞳孔注视位置确定路况展示位置；以及
展示模块，用于采集所述路况展示位置对应的实时路况信息，并将所述实时路况信息展示在所述路况展示位置，使得所述驾驶员基于所述实时路况信息执行超车动作和/或对后车进行减速提醒。
7.根据权利要求6所述的基于驾驶员瞳孔位置的路况展示装置，其特征在于，所述确定模块，具体用于：
基于所述眼睛位置和所述眼睛观察方向，发射近红外光至所述驾驶员的面部，并根据接收到的面部反射的近红外光识别所述驾驶员的瞳孔位置和角膜位置；
根据所述瞳孔位置和所述角膜位置之间的角度来计算所述瞳孔位置和所述角膜位置之间的反射向量，并将所述反射向量的方向映射得到目标位置，将得到的注视点坐标和所述反射向量的坐标进行函数拟合，得到所述驾驶员的瞳孔注视位置。
8.根据权利要求7所述的基于驾驶员瞳孔位置的路况展示装置，其特征在于，在基于所述眼睛位置和所述观察方向，发射所述近红外光至所述驾驶员的面部之前，所述确定模块，还用于：
基于预设的内外参矩阵，确定瞳孔点的三维位置。
9.一种车辆，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-5任一项所述的基于驾驶员瞳孔位置的路况展示方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-5任一项所述的基于驾驶员瞳孔位置的路况展示方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310449613.2A CN116442907A (zh) | 2023-04-24 | 2023-04-24 | 基于驾驶员瞳孔位置的路况展示方法、装置、车辆及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310449613.2A CN116442907A (zh) | 2023-04-24 | 2023-04-24 | 基于驾驶员瞳孔位置的路况展示方法、装置、车辆及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116442907A true CN116442907A (zh) | 2023-07-18 |
Family
ID=87131872
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310449613.2A Pending CN116442907A (zh) | 2023-04-24 | 2023-04-24 | 基于驾驶员瞳孔位置的路况展示方法、装置、车辆及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116442907A (zh) |
-
2023
- 2023-04-24 CN CN202310449613.2A patent/CN116442907A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7847678B2 (en) | Vehicle surroundings information output system and method for outputting vehicle surroundings information | |
| US11351918B2 (en) | Driver-assistance device, driver-assistance system, method of assisting driver, and computer readable recording medium | |
| US7078692B2 (en) | On-vehicle night vision camera system, display device and display method | |
| US20130093579A1 (en) | Driver assistance system | |
| US9128290B2 (en) | Apparatus and method for combining lane information with a far-infrared night vision image | |
| JP6075248B2 (ja) | 情報表示装置 | |
| JP6453929B2 (ja) | 車両の表示システム及び車両の表示システムの制御方法 | |
| JPH06230132A (ja) | 車両用障害物検出装置 | |
| US20150124097A1 (en) | Optical reproduction and detection system in a vehicle | |
| JP7300112B2 (ja) | 制御装置、画像表示方法及びプログラム | |
| JP2016210212A (ja) | 情報提供装置、情報提供方法及び情報提供用制御プログラム | |
| CN114466761A (zh) | 平视显示器及图像显示系统 | |
| CN112026652A (zh) | 一种基于眼球识别激光成像的后视图像抬头显示系统 | |
| WO2014195821A1 (en) | A light monitoring system, a glare prevention system, a vehicle and a method of monitoring glare | |
| JP4701961B2 (ja) | 歩行者検知装置 | |
| CN116442907A (zh) | 基于驾驶员瞳孔位置的路况展示方法、装置、车辆及介质 | |
| JP2019159216A (ja) | 車載表示装置、車載表示装置を制御する方法及びコンピュータプログラム | |
| CN111267865B (zh) | 基于视觉的安全驾驶预警方法、系统及存储介质 | |
| US20220121865A1 (en) | Interface sharpness distraction mitigation method and system | |
| JP2006157748A (ja) | 車両用表示装置 | |
| JP4033170B2 (ja) | 車両用表示装置 | |
| WO2019127224A1 (zh) | 调焦方法、装置及抬头显示设备 | |
| JP7552018B2 (ja) | 車載表示装置およびプログラム | |
| US20240176140A1 (en) | Display system, display control method, and storage medium | |
| EP4407600A1 (en) | Control apparatus, control method, storage medium, and movable apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |