CN111267757A - 一种基于眼球追踪的汽车车速投影显示系统及其工作方法 - Google Patents

一种基于眼球追踪的汽车车速投影显示系统及其工作方法 Download PDF

Info

Publication number
CN111267757A
CN111267757A CN202010111255.0A CN202010111255A CN111267757A CN 111267757 A CN111267757 A CN 111267757A CN 202010111255 A CN202010111255 A CN 202010111255A CN 111267757 A CN111267757 A CN 111267757A
Authority
CN
China
Prior art keywords
automobile
chip microcomputer
single chip
rotating motor
laser projector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010111255.0A
Other languages
English (en)
Inventor
赵家豪
魏民祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202010111255.0A priority Critical patent/CN111267757A/zh
Publication of CN111267757A publication Critical patent/CN111267757A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B60R16/0231Circuits relating to the driving or the functioning of the vehicle
    • B60R16/0232Circuits relating to the driving or the functioning of the vehicle for measuring vehicle parameters and indicating critical, abnormal or dangerous conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0042Arrangements for holding or mounting articles, not otherwise provided for characterised by mounting means
    • B60R2011/008Adjustable or movable supports
    • B60R2011/0092Adjustable or movable supports with motorization
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

本发明公开了一种基于眼球追踪的车速投影显示系统及其工作方法,车速投影显示系统包含微型摄像头、旋转电机、放置平台、微型激光投影仪和单片机;旋转电机用于带动放置平台旋转;微型激光投影仪固定在放置平台上;单片机分别和微型摄像头、旋转电机、微型激光投影仪、汽车的中控台电气相连。工作时,单片机根据微型摄像头的拍摄的驾驶员面部图片计算出旋转电机的转动角度后控制旋转电机旋转、并控制微型激光投影仪将从汽车的中控台接收到车速投影至汽车的挡风玻璃上。本发明能够避免驾驶员因为低头读取仪表盘车速而影响对行驶路况的观察,提高驾驶员的行车安全性和舒适性。

Description

一种基于眼球追踪的汽车车速投影显示系统及其工作方法
技术领域
本发明涉及汽车车速的显示方法,尤其涉及一种基于眼球追踪的汽车车速投影显示系统及其工作方法。
背景技术
汽车的车速是汽车的一项极其重要的形式参数,车速的获取对于驾驶员的驾驶操作判断具有重要的影响。
汽车的仪表盘一般位于驾驶员的前下方,驾驶员在观察仪表盘显示的时候需要放低视角,这时驾驶员无法完全顾及行驶路况,因此若此时出现紧急情况,驾驶员很难及时的进行紧急处理。此外,在长途行驶中,驾驶员需要经常观察仪表盘车速,这也会增加驾驶员的视觉疲劳感,时间较长后,可能也会造成一定的安全隐患。
因此为了提高驾驶员在观察车速时的行驶安全性,需要一种改进的车速显示方法,可以让驾驶员在观察车速的同时顾及行驶路况。
目前人脸朝向和眼球追踪的技术已经较为成熟,可以通过例如神经网络等的智能算法,有效识别人脸朝向和人眼视觉方位。现代的投影技术已经十分发达,已经有许多镜头微小,且显示效果较好的微型投影机。
发明内容
本发明所要解决的技术问题是针对背景技术中所涉及到的缺陷,提供一种基于眼球追踪的汽车车速投影显示系统及其工作方法。
本发明为解决上述技术问题采用以下技术方案:
一种基于眼球追踪的车速投影显示系统,包含微型摄像头、旋转电机、放置平台、微型激光投影仪和单片机;
所述微型摄像头设置在汽车的仪表台上,用于拍摄驾驶员的面部图片并将其传递给所述单片机;
所述旋转电机固定在汽车挡风玻璃内的平台上,其输出轴和所述放置平台垂直固连,用于带动所述放置平台旋转;
所述微型激光投影仪固定在所述放置平台上,用于接收单片机的指令将接收到的车速投影至汽车的挡风玻璃上;
所述单片机分别和所述微型摄像头、旋转电机、微型激光投影仪、汽车的中控台电气相连,用于根据微型摄像头的拍摄的驾驶员面部图片计算出旋转电机的转动角度后控制旋转电机旋转、并控制微型激光投影仪将从汽车的中控台接收到车速投影至汽车的挡风玻璃上。
作为本发明一种基于眼球追踪的车速投影显示系统进一步的优化方案,所述单片机采用STM系列单片机。
作为本发明一种基于眼球追踪的车速投影显示系统进一步的优化方案,所述单片机采用STM32F767单片机。
本发明还公开了一种该基于眼球追踪的车速投影显示系统的工作方法,包含如下步骤:
步骤1),高清摄像头以每0.5秒一帧的频率拍摄驾驶员人脸的高清图像,并将图像信息传送至单片机;
步骤2),单片机处理由高清摄像头拍摄的照片,利用智能图像处理算法判断人脸朝向方位与眼球注视方向;
步骤3),单片机依据人脸朝向与眼球注视方向计算出旋转电机的转动角度后控制旋转电机旋转;
步骤4),单片机接收汽车的中控台的车速,并控制微型激光投影仪将车速投影至汽车的挡风玻璃上供驾驶员观察。
本发明采用以上技术方案与现有技术相比,具有以下技术效果:
本发明能够使驾驶员在驾驶汽车过程中避免因为低头读取仪表盘车速而影响对行驶路况的观察,也能避免驾驶员长途行驶中因反复观察仪表盘而带来的视觉疲劳,提高驾驶员的行车安全性和舒适性。
附图说明
图1是基于眼球追踪的车速显示投影系统的结构示意图。
图中,1-仪表盘,2-高清摄像头,3-放置平台,4-微型激光镜头,5-前挡风玻璃。
具体实施方式
下面结合附图对本发明的技术方案做进一步的详细说明:
本发明可以以许多不同的形式实现,而不应当认为限于这里所述的实施例。相反,提供这些实施例以便使本公开透彻且完整,并且将向本领域技术人员充分表达本发明的范围。在附图中,为了清楚起见放大了组件。
如图1所示,本发明公开了一种基于眼球追踪的车速投影显示系统,包含微型摄像头、旋转电机、放置平台、微型激光投影仪和单片机;
所述微型摄像头设置在汽车的仪表台上,用于拍摄驾驶员的面部图片并将其传递给所述单片机;
所述旋转电机固定在汽车挡风玻璃内的平台上,其输出轴和所述放置平台垂直固连,用于带动所述放置平台旋转;
所述微型激光投影仪固定在所述放置平台上,用于接收单片机的指令将接收到的车速投影至汽车的挡风玻璃上;
所述单片机分别和所述微型摄像头、旋转电机、微型激光投影仪、汽车的中控台电气相连,用于根据微型摄像头的拍摄的驾驶员面部图片计算出旋转电机的转动角度后控制旋转电机旋转、并控制微型激光投影仪将从汽车的中控台接收到车速投影至汽车的挡风玻璃上。
所述单片机优先采用STM系列单片机,譬如STM32F767单片机。该系列具有较强的计算能力与图像处理能力,能够在0.5秒内快速完成人脸朝向与眼球注视方位的判断。
本发明还公开了一种该基于眼球追踪的车速投影显示系统的工作方法,包含如下步骤:
步骤1),高清摄像头以每0.5秒一帧的频率拍摄驾驶员人脸的高清图像,并将图像信息传送至单片机;
步骤2),单片机处理由高清摄像头拍摄的照片,利用智能图像处理算法判断人脸朝向方位与眼球注视方向;
步骤3),单片机依据人脸朝向与眼球注视方向计算出旋转电机的转动角度后控制旋转电机旋转;
步骤4),单片机接收汽车的中控台的车速,并控制微型激光投影仪将车速投影至汽车的挡风玻璃上供驾驶员观察。
单片机还可以与车联网系统进行通讯,实时获取当前路段的法规限速,还可以与汽车的安全系统通讯,根据前车距离判断当前车速是否存在安碰撞隐患。结合这些信息,单片机可以进一步控制微型激光投影仪,使其投影的车速呈现不同的颜色,譬如:当行驶车速接近该路段的限速时或在当前车速下与前车距离接近于安全距离时,微型激光投影仪发出浅黄色光线,车速显示为浅黄色,可以提醒驾驶员即将超速或与前车距离即将达到危险值;当车速超速或在当前车速下与前车距离小于安全距离时,微型激光投影仪发红色光线,车速显示为红色,告知驾驶员已超速或与前车距离小于安全距离。
本技术领域技术人员可以理解的是,除非另外定义,这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样定义,不会用理想化或过于正式的含义来解释。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于眼球追踪的车速投影显示系统,其特征在于,包含微型摄像头、旋转电机、放置平台、微型激光投影仪和单片机;
所述微型摄像头设置在汽车的仪表台上,用于拍摄驾驶员的面部图片并将其传递给所述单片机;
所述旋转电机固定在汽车挡风玻璃内的平台上,其输出轴和所述放置平台垂直固连,用于带动所述放置平台旋转;
所述微型激光投影仪固定在所述放置平台上,用于接收单片机的指令将接收到的车速投影至汽车的挡风玻璃上;
所述单片机分别和所述微型摄像头、旋转电机、微型激光投影仪、汽车的中控台电气相连,用于根据微型摄像头的拍摄的驾驶员面部图片计算出旋转电机的转动角度后控制旋转电机旋转、并控制微型激光投影仪将从汽车的中控台接收到车速投影至汽车的挡风玻璃上。
2.根据权利要求1所述的基于眼球追踪的车速投影显示系统,其特征在于,所述单片机采用STM系列单片机。
3.根据权利要求2所述的基于眼球追踪的车速投影显示系统,其特征在于,所述单片机采用STM32F767单片机。
4.基于权利要求1所述的基于眼球追踪的车速投影显示系统的工作方法,其特征在于,包含如下步骤:
步骤1),高清摄像头以每0.5秒一帧的频率拍摄驾驶员人脸的高清图像,并将图像信息传送至单片机;
步骤2),单片机处理由高清摄像头拍摄的照片,利用智能图像处理算法判断人脸朝向方位与眼球注视方向;
步骤3),单片机依据人脸朝向与眼球注视方向计算出旋转电机的转动角度后控制旋转电机旋转;
步骤4),单片机接收汽车的中控台的车速,并控制微型激光投影仪将车速投影至汽车的挡风玻璃上供驾驶员观察。
CN202010111255.0A 2020-02-24 2020-02-24 一种基于眼球追踪的汽车车速投影显示系统及其工作方法 Pending CN111267757A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010111255.0A CN111267757A (zh) 2020-02-24 2020-02-24 一种基于眼球追踪的汽车车速投影显示系统及其工作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010111255.0A CN111267757A (zh) 2020-02-24 2020-02-24 一种基于眼球追踪的汽车车速投影显示系统及其工作方法

Publications (1)

Publication Number Publication Date
CN111267757A true CN111267757A (zh) 2020-06-12

Family

ID=70993967

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010111255.0A Pending CN111267757A (zh) 2020-02-24 2020-02-24 一种基于眼球追踪的汽车车速投影显示系统及其工作方法

Country Status (1)

Country Link
CN (1) CN111267757A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104260669A (zh) * 2014-09-17 2015-01-07 北京理工大学 一种智能汽车抬头显示器
CN204340874U (zh) * 2014-12-29 2015-05-20 信利半导体有限公司 车载平视显示系统
CN204687853U (zh) * 2015-03-20 2015-10-07 京东方科技集团股份有限公司 一种车载显示系统和汽车
CN105416174A (zh) * 2015-12-29 2016-03-23 深圳市未来媒体技术研究院 一种实现汽车行驶信息显示的系统和方法
CN106354259A (zh) * 2016-08-30 2017-01-25 同济大学 基于Soli和Tobii的汽车HUD眼动辅助手势交互系统及其装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104260669A (zh) * 2014-09-17 2015-01-07 北京理工大学 一种智能汽车抬头显示器
CN204340874U (zh) * 2014-12-29 2015-05-20 信利半导体有限公司 车载平视显示系统
CN204687853U (zh) * 2015-03-20 2015-10-07 京东方科技集团股份有限公司 一种车载显示系统和汽车
CN105416174A (zh) * 2015-12-29 2016-03-23 深圳市未来媒体技术研究院 一种实现汽车行驶信息显示的系统和方法
CN106354259A (zh) * 2016-08-30 2017-01-25 同济大学 基于Soli和Tobii的汽车HUD眼动辅助手势交互系统及其装置

Similar Documents

Publication Publication Date Title
US11194154B2 (en) Onboard display control apparatus
CN109305105A (zh) 一种a柱盲区监测装置、车辆及方法
CN104461005A (zh) 一种车载屏幕开关控制方法
CN204821176U (zh) 一种可人机交互的抬头显示器
CN109917920A (zh) 车载投射处理方法、装置、车载设备及存储介质
CN106855656A (zh) 增强现实系统及被遮蔽物体的图像处理
CN106030465B (zh) 用于自动接通和/或切换调节装置来调节平视显示器装置的视窗位置的系统和方法以及车辆
CN109889807A (zh) 车载投射调节方法、装置、设备和存储介质
JP6512475B2 (ja) 情報提供装置、情報提供方法及び情報提供用制御プログラム
CN108621947A (zh) 一种自适应调节的车载抬头显示系统
US11176749B2 (en) In-vehicle display device three-dimensional image generation
CN112714720B (zh) 一种后视镜控制的方法以及相关设备
CN108556738A (zh) 汽车a柱盲区的显示装置和方法
CN112099230A (zh) 投影调节系统及其投影调节方法
CN106564429A (zh) 疲劳驾驶确定装置及其方法
CN109074685A (zh) 用于调整图像的方法、设备、系统和计算机可读存储介质
CN109541804A (zh) 调整hud投影装置的投影位置的方法、hud投影装置及车辆
CN113064279B (zh) Ar-hud系统的虚像位置调整方法、装置及存储介质
CN111923835A (zh) 一种基于车辆后视显示方法
CN109866763A (zh) 一种面向智能驾驶辅助系统
CN107472140B (zh) 一种眼控车载hud系统
CN111267757A (zh) 一种基于眼球追踪的汽车车速投影显示系统及其工作方法
CN112026652A (zh) 一种基于眼球识别激光成像的后视图像抬头显示系统
CN209191793U (zh) 一种a柱盲区监测装置及车辆
JP2019006183A (ja) 操縦支援装置、操縦支援方法、プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200612

WD01 Invention patent application deemed withdrawn after publication