CN109933205A - 一种车载眼神交互装置 - Google Patents
一种车载眼神交互装置 Download PDFInfo
- Publication number
- CN109933205A CN109933205A CN201910227817.5A CN201910227817A CN109933205A CN 109933205 A CN109933205 A CN 109933205A CN 201910227817 A CN201910227817 A CN 201910227817A CN 109933205 A CN109933205 A CN 109933205A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- eyeball tracking
- display screen
- carrying display
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000001508 eye Anatomy 0.000 title claims abstract description 32
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 16
- 210000005252 bulbus oculi Anatomy 0.000 claims abstract description 64
- 230000000875 corresponding effect Effects 0.000 claims abstract description 10
- 241000287181 Sturnus vulgaris Species 0.000 claims description 9
- 230000005540 biological transmission Effects 0.000 claims 1
- 210000003128 head Anatomy 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 6
- 238000000034 method Methods 0.000 description 7
- 210000001747 pupil Anatomy 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 2
- 235000020094 liqueur Nutrition 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 235000020354 squash Nutrition 0.000 description 2
- 241001672694 Citrus reticulata Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
Landscapes
- User Interface Of Digital Computer (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
一种车载眼神交互装置，包括车载显示屏、眼球追踪定位系统以及眼球追踪处理器，所述眼球追踪定位系统包括用于捕捉眼球相应的位置的红外摄像头，红外摄像头与眼球追踪处理器相连，眼球追踪处理器包括图像采集模块、图像识别模块、图像处理模块和屏幕控制模块，图像处理模块包括身份识别系统和眼控操作系统；本发明在工作时，通过眼球追踪定位系统提取驾驶员的眼部特征，然后将信息传输给眼球追踪处理器，眼球追踪处理器对信息进行处理后发出屏幕控制指令给车载显示屏，车载显示屏得到指令后进行相应动作。本发明通过眼球追踪技术，使驾驶员可以通过眼神控制车载显示屏的翻页和音量调节，并且可以识别驾驶员的身份用以启动个性化设置。
Description
技术领域
本发明涉及汽车技术领域，特别涉及一种车载眼神交互装置。
背景技术
中控屏幕作为显示信息、人车交互的关键部分，越来越多的应用多模交互技术，给汽车用户带来更多的自然感、亲切感及便利性的体验。然而，当前主流的交互方式在下述问题：
1)语音指令识别不准确。语音识别，即将人类语音转化为计算机可读的字符序列。这项技术还有待完善，背景声、识别语言的常见度、用户的语速和普通话水平都会对语音识别产生很大的干扰，目前语音行业最高的准确率达到了95％，而且语音识别领域目前还未形成统一的行业标准；
2)手指触控操作时，盲操作困难，按压反应时间滞后以及手感很难把握；
3)手势操作时，右手离开方向盘，影响驾驶安全。
因而对于车主而言，目前的人车交互方式不能带来极致的自然感和亲切感。
眼球追踪技术是一项科学应用技术，当人的眼睛看向不同方向时，眼部会有细微的变化，这些变化会产生可以提取的特征，计算机可以通过图像捕捉或扫描提取这些特征，从而实时追踪眼睛的变化，预测用户的状态和需求，并进行响应，达到用眼睛控制设备的目的。
而将眼球追踪技术应用到汽车领域用以控制车载显示屏的操作，设计一种车载眼神交互装置，进而使驾驶员在驾驶过程中能够方便的操作，成为目前亟待解决的技术问题。
发明内容
本发明提供一种车载眼神交互装置，本发明解决了现有技术中存在的问题，通过眼球追踪技术，使驾驶员可以通过眼神控制车载显示屏的翻页和音量调节，并且可以识别驾驶员的身份用以启动个性化设置，该技术适于推广使用。
一种车载眼神交互装置，包括车载显示屏、眼球追踪定位系统以及眼球追踪处理器，所述眼球追踪定位系统包括用于捕捉眼球相应的位置的红外摄像头，红外摄像头与眼球追踪处理器相连，眼球追踪处理器包括图像采集模块、图像识别模块、图像处理模块和屏幕控制模块，图像处理模块包括身份识别系统和眼控操作系统；
车载眼神交互装置在工作时，通过眼球追踪定位系统提取驾驶员的眼部特征，然后将信息传输给眼球追踪处理器，眼球追踪处理器对信息进行处理后发出屏幕控制指令给车载显示屏，车载显示屏得到指令后进行相应动作。
眼球追踪处理器的图像采集模块接收眼球追踪定位系统传输的信息，图像识别模块对眼球追踪定位系统传输的信息进行识别，将图片转换成系统可以理解的信息，图像处理模块对信息进行处理，理解此时驾驶员的意图，屏幕控制模块根据驾驶员的意图发出屏幕控制指令。
图像处理模块的身份识别系统识别出车主身份，眼控操作系统理解车主想要进行的操作，进而由屏幕控制模块发出控制指令。
使用者凝视显车载显示屏中的四个点进行校准，校准后视线焦点所在的中间点会变红。将这四个点的坐标提取出来进行分析，生成一套坐标系，车载显示屏上方点为(0，1)，车载显示屏下方点为(0，-1)，车载显示屏左方点为(-1，0)，车载显示屏右方点为(1，0)。当使用者凝视车载显示屏上方点时为增大音量指令，下方点为减小音量指令，左为向左翻页，右为向右翻页。
所述的图像采集模块的型号为TMS320DM642，图像识别模块的型号为ShuffleNet，图像处理模块的型号为Hi3559AV100，屏幕控制模块的型号为ADS7843。
本发明的工作原理如下：
用眼球追踪处理器的身份识别系统对收集的驾驶员信息进行虹膜识别，验证驾驶员身份，然后发出指令将车辆设置为次驾驶员的预设状态。
用眼球追踪定位系统能让使用者通过凝视车载显示屏不同的位置达到左右翻页、调节音量的目的。眼球追踪定位系统通过红外摄像头捕捉到眼球相应的位置，以两瞳孔中心连线的中点为0点建立笛卡尔坐标系，得到两个瞳孔位置的坐标值，将瞳孔位置的坐标值不断的输出至眼球追踪处理器，眼球追踪处理器对集的信号运用算法处理并转化为控制指令，并将指令传达给屏幕控制模块。例如，驾驶员凝视车载显示屏左方位置，则向左翻页，若凝视屏幕的上方或下方，则系统音量相应增大或减小。
眼球追踪定位系统为传感器与红外照明系统(摄像头)相结合，根据新的跟踪算法、高分辨率的传感器，确保我们能跟踪微小的动作，同时保持了高精度的定位范围，并优化了大多数环境和光照条件。在使用前只需对屏幕进行校准设置，以确定使用者与摄像头的距离以及转动范围即可使用。
本发明的有益效果：
1、身份识别：虹膜识别相比其它身份识别更精准，误识别率仅为百万分之一，在眼神交互系统中用来进行解锁、启动驾驶系统，以及识别驾驶员身份，私密个性化应用和设置，如常用导航路线、个人喜好音乐等。
2、眼控操作：驾驶员在驾驶过程中，通过注视显示屏的特定位置，即可实现左右翻页、调节音量大小等功能，由此解放驾驶员的双手，保证驾驶安全。
附图说明
图1为本发明的结构示意图，
图2为本发明的眼球追踪处理组成示意图。
图3为本发明的图像处理模块组成示意图。
图4为本发明的车载显示屏示意图。
具体实施方式
如图1、图2、图3和图4所示，一种车载眼神交互装置，包括车载显示屏1、眼球追踪定位系统2以及眼球追踪处理器3，所述眼球追踪定位系统2包括用于捕捉眼球相应的位置的红外摄像头，红外摄像头与眼球追踪处理器3相连，眼球追踪处理器3包括图像采集模块31、图像识别模块32、图像处理模块33和屏幕控制模块34，图像处理模块33包括身份识别系统331和眼控操作系统332；
车载眼神交互装置在工作时，通过眼球追踪定位系统2提取驾驶员的眼部4特征，然后将信息传输给眼球追踪处理器3，眼球追踪处理器3对信息进行处理后发出屏幕控制指令给车载显示屏1，车载显示屏1得到指令后进行相应动作。
如图2所示，眼球追踪处理器3的图像采集模块31接收眼球追踪定位系统2传输的信息，图像识别模块32对眼球追踪定位系统2传输的信息进行识别，将图片转换成系统可以理解的信息，图像处理模块33对信息进行处理，理解此时驾驶员的意图，屏幕控制模块34根据驾驶员的意图发出屏幕控制指令。
如图3所示，图像处理模块33的身份识别系统331识别出车主身份，眼控操作系统332理解车主想要进行的操作，进而由屏幕控制模块34发出控制指令。
如图4所示，使用者凝视显车载显示屏1中的四个点进行校准，校准后视线焦点所在的中间点会变红。将这四个点的坐标提取出来进行分析，生成一套坐标系，车载显示屏1上方点为(0，1)，车载显示屏1下方点为(0，-1)，车载显示屏1左方点为(-1，0)，车载显示屏1右方点为(1，0)。当使用者凝视车载显示屏1上方点时为增大音量指令，下方点为减小音量指令，左为向左翻页，右为向右翻页。
所述的图像采集模块31的型号为TMS320DM642，图像识别模块32的型号为ShuffleNet，图像处理模块33的型号为Hi3559AV100，屏幕控制模块34的型号为ADS7843。
本发明的工作原理如下：
用眼球追踪处理器3的身份识别系统331对收集的驾驶员信息进行虹膜识别，验证驾驶员身份，然后发出指令将车辆设置为次驾驶员的预设状态。
用眼球追踪定位系统2能让使用者通过凝视车载显示屏1不同的位置达到左右翻页、调节音量的目的。眼球追踪定位系统2通过红外摄像头捕捉到眼球相应的位置，以两瞳孔中心连线的中点为0点建立笛卡尔坐标系，得到两个瞳孔位置的坐标值，将瞳孔位置的坐标值不断的输出至眼球追踪处理器3，眼球追踪处理器3对集的信号运用算法处理并转化为控制指令，并将指令传达给屏幕控制模块34。例如，驾驶员凝视车载显示屏1左方位置，则向左翻页，若凝视屏幕的上方或下方，则系统音量相应增大或减小。
眼球追踪定位系统2为传感器与红外照明系统(摄像头)相结合，根据新的跟踪算法、高分辨率的传感器，确保我们能跟踪微小的动作，同时保持了高精度的定位范围，并优化了大多数环境和光照条件。在使用前只需对屏幕进行校准设置，以确定使用者与摄像头的距离以及转动范围即可使用。
Claims (2)
1.一种车载眼神交互装置，其特征在于：包括车载显示屏(1)、眼球追踪定位系统(2)以及眼球追踪处理器(3)，所述眼球追踪定位系统(2)包括用于捕捉眼球相应的位置的红外摄像头，红外摄像头与眼球追踪处理器(3)相连，眼球追踪处理器(3)包括图像采集模块(31)、图像识别模块(32)、图像处理模块(33)和屏幕控制模块(34)，图像处理模块(33)包括身份识别系统(331)和眼控操作系统(332)；
车载眼神交互装置在工作时，通过眼球追踪定位系统(2)提取驾驶员的眼部4特征，然后将信息传输给眼球追踪处理器(3)，眼球追踪处理器(3)对信息进行处理后发出屏幕控制指令给车载显示屏(1)，车载显示屏(1)得到指令后进行相应动作。
2.根据权利要求1所述的一种车载眼神交互装置，其特征在于：
所述的眼球追踪处理器(3)的图像采集模块(31)接收眼球追踪定位系统(2)传输的信息，图像识别模块(32)对眼球追踪定位系统(2)传输的信息进行识别，将图片转换成系统可以理解的信息，图像处理模块(33)对信息进行处理，理解此时驾驶员的意图，屏幕控制模块(34)根据驾驶员的意图发出屏幕控制指令；
所述的图像处理模块(33)的身份识别系统(331)识别出车主身份，眼控操作系统(332)理解车主想要进行的操作，进而由屏幕控制模块(34)发出控制指令；
使用者凝视显车载显示屏(1)中的四个点进行校准，校准后视线焦点所在的中间点会变红；将这四个点的坐标提取出来进行分析，生成一套坐标系，车载显示屏(1)上方点为(0，1)，车载显示屏(1)下方点为(0，-1)，车载显示屏(1)左方点为(-1，0)，车载显示屏(1)右方点为(1，0)；当使用者凝视车载显示屏(1)上方点时为增大音量指令，下方点为减小音量指令，左为向左翻页，右为向右翻页。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910227817.5A CN109933205A (zh) | 2019-03-25 | 2019-03-25 | 一种车载眼神交互装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910227817.5A CN109933205A (zh) | 2019-03-25 | 2019-03-25 | 一种车载眼神交互装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109933205A true CN109933205A (zh) | 2019-06-25 |
Family
ID=66988303
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910227817.5A Pending CN109933205A (zh) | 2019-03-25 | 2019-03-25 | 一种车载眼神交互装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109933205A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110341617A (zh) * | 2019-07-08 | 2019-10-18 | 北京七鑫易维信息技术有限公司 | 眼球追踪方法、装置、车辆和存储介质 |
| CN110338750A (zh) * | 2019-07-08 | 2019-10-18 | 北京七鑫易维信息技术有限公司 | 一种眼球追踪设备 |
| CN110673724A (zh) * | 2019-09-16 | 2020-01-10 | Tcl移动通信科技（宁波）有限公司 | 界面切换方法、装置、存储介质和终端 |
| CN110780934A (zh) * | 2019-10-23 | 2020-02-11 | 深圳市商汤科技有限公司 | 车载图像处理系统的部署方法和装置 |
| CN114185509A (zh) * | 2021-12-13 | 2022-03-15 | 云知声（上海）智能科技有限公司 | 基于眼神追踪技术的多模态信息屏幕装置及其区域信息放大方法 |
| CN114523886A (zh) * | 2020-10-30 | 2022-05-24 | 上海汽车集团股份有限公司 | 一种车内交互控制方法及系统 |
| CN114647319A (zh) * | 2022-03-28 | 2022-06-21 | 重庆长安汽车股份有限公司 | 一种用户车内屏幕显示信息流转的方法、系统及存储介质 |
| CN114830123A (zh) * | 2020-11-27 | 2022-07-29 | 京东方科技集团股份有限公司 | 一种提词系统及操作方法 |
| CN116152883A (zh) * | 2022-11-28 | 2023-05-23 | 润芯微科技(江苏)有限公司 | 一种车载眼球识别和前玻璃智能局部显示的方法和系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103838378A (zh) * | 2014-03-13 | 2014-06-04 | 广东石油化工学院 | 一种基于瞳孔识别定位的头戴式眼睛操控系统 |
| CN105128862A (zh) * | 2015-08-18 | 2015-12-09 | 上海擎感智能科技有限公司 | 一种车载终端眼球识别控制方法及系统 |
| CN210573658U (zh) * | 2019-03-25 | 2020-05-19 | 一汽奔腾轿车有限公司 | 一种车载眼神交互装置 |
-
2019
- 2019-03-25 CN CN201910227817.5A patent/CN109933205A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103838378A (zh) * | 2014-03-13 | 2014-06-04 | 广东石油化工学院 | 一种基于瞳孔识别定位的头戴式眼睛操控系统 |
| CN105128862A (zh) * | 2015-08-18 | 2015-12-09 | 上海擎感智能科技有限公司 | 一种车载终端眼球识别控制方法及系统 |
| CN210573658U (zh) * | 2019-03-25 | 2020-05-19 | 一汽奔腾轿车有限公司 | 一种车载眼神交互装置 |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110338750B (zh) * | 2019-07-08 | 2022-04-05 | 北京七鑫易维信息技术有限公司 | 一种眼球追踪设备 |
| CN110338750A (zh) * | 2019-07-08 | 2019-10-18 | 北京七鑫易维信息技术有限公司 | 一种眼球追踪设备 |
| CN110341617A (zh) * | 2019-07-08 | 2019-10-18 | 北京七鑫易维信息技术有限公司 | 眼球追踪方法、装置、车辆和存储介质 |
| CN110341617B (zh) * | 2019-07-08 | 2021-05-28 | 北京七鑫易维信息技术有限公司 | 眼球追踪方法、装置、车辆和存储介质 |
| CN110673724A (zh) * | 2019-09-16 | 2020-01-10 | Tcl移动通信科技（宁波）有限公司 | 界面切换方法、装置、存储介质和终端 |
| CN110780934A (zh) * | 2019-10-23 | 2020-02-11 | 深圳市商汤科技有限公司 | 车载图像处理系统的部署方法和装置 |
| CN110780934B (zh) * | 2019-10-23 | 2024-03-12 | 深圳市商汤科技有限公司 | 车载图像处理系统的部署方法和装置 |
| CN114523886A (zh) * | 2020-10-30 | 2022-05-24 | 上海汽车集团股份有限公司 | 一种车内交互控制方法及系统 |
| CN114830123A (zh) * | 2020-11-27 | 2022-07-29 | 京东方科技集团股份有限公司 | 一种提词系统及操作方法 |
| CN114185509A (zh) * | 2021-12-13 | 2022-03-15 | 云知声（上海）智能科技有限公司 | 基于眼神追踪技术的多模态信息屏幕装置及其区域信息放大方法 |
| CN114185509B (zh) * | 2021-12-13 | 2023-12-01 | 云知声（上海）智能科技有限公司 | 基于眼神追踪技术的多模态信息屏幕装置及其区域信息放大方法 |
| CN114647319A (zh) * | 2022-03-28 | 2022-06-21 | 重庆长安汽车股份有限公司 | 一种用户车内屏幕显示信息流转的方法、系统及存储介质 |
| CN116152883A (zh) * | 2022-11-28 | 2023-05-23 | 润芯微科技(江苏)有限公司 | 一种车载眼球识别和前玻璃智能局部显示的方法和系统 |
| CN116152883B (zh) * | 2022-11-28 | 2023-08-11 | 润芯微科技(江苏)有限公司 | 一种车载眼球识别和前玻璃智能局部显示的方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109933205A (zh) | 一种车载眼神交互装置 | |
| JP6929366B2 (ja) | ドライバ監視及び応答システム | |
| CN103838378B (zh) | 一种基于瞳孔识别定位的头戴式眼睛操控系统 | |
| EP3166106B1 (en) | Intent managing system | |
| US20100063813A1 (en) | System and method for multidimensional gesture analysis | |
| CN105159452B (zh) | 一种基于人脸姿态估计的控制方法与系统 | |
| US10860104B2 (en) | Augmented reality controllers and related methods | |
| CN110850987A (zh) | 基于人体表达的二维意图的特定标识控制方法和装置 | |
| CN110825216A (zh) | 一种驾驶员驾驶时人机交互的方法和系统 | |
| KR102430067B1 (ko) | 운동 병합형 가상현실 기반 인지재활 훈련 시스템 및 방법 | |
| Wang et al. | Wearable sensors-based hand gesture recognition for human–robot collaboration in construction | |
| CN210573658U (zh) | 一种车载眼神交互装置 | |
| Vasisht et al. | Human computer interaction based eye controlled mouse | |
| CN112230777A (zh) | 一种基于非接触式交互的认知训练系统 | |
| Chatzidimitriadis et al. | Non-intrusive head movement control for powered wheelchairs: A vision-based approach | |
| Maciel et al. | Shared control methodology based on head positioning and vector fields for people with quadriplegia | |
| CN206906936U (zh) | 一种提供驾驶适宜性检测的头戴式显示设备 | |
| Musić et al. | Testing inertial sensor performance as hands-free human-computer interface | |
| Zhang et al. | Research on multi-modal interactive control for quadrotor uav | |
| Aziz et al. | Smart Wheelchairs: A Review on Control Methods | |
| CN112541382A (zh) | 一种辅助运动的方法、系统以及识别终端设备 | |
| WO2022123568A1 (en) | System and method for monitoring individual's daily activity | |
| Ghorbel et al. | An embedded real-time hands free control of an electrical wheelchair | |
| CN115590695B (zh) | 一种基于眼电和人脸识别的轮椅控制系统 | |
| CN111860280A (zh) | 一种基于深度学习的驾驶员违章行为识别系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20200312 Address after: 130000 No. 4888 Weishan Road, Changchun High-tech Zone, Jilin Province Applicant after: FAW Pentium Car Co., Ltd Address before: 130000 No. 4888 Weishan Road, Changchun High-tech Zone, Jilin Province Applicant before: FAW CAR Co., Ltd. |
|
| TA01 | Transfer of patent application right | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |