CN109542217A - 一种眼球追踪显示方法以及装置 - Google Patents
一种眼球追踪显示方法以及装置 Download PDFInfo
- Publication number
- CN109542217A CN109542217A CN201811191399.0A CN201811191399A CN109542217A CN 109542217 A CN109542217 A CN 109542217A CN 201811191399 A CN201811191399 A CN 201811191399A CN 109542217 A CN109542217 A CN 109542217A
- Authority
- CN
- China
- Prior art keywords
- eyeball tracking
- hud projection
- projection screen
- vehicle
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000005252 bulbus oculi Anatomy 0.000 title claims abstract description 136
- 238000000034 method Methods 0.000 title claims abstract description 36
- 210000001508 eye Anatomy 0.000 claims description 54
- 230000006870 function Effects 0.000 claims description 24
- 230000015654 memory Effects 0.000 claims description 15
- 210000001747 pupil Anatomy 0.000 claims description 14
- 238000005286 illumination Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 10
- 230000009471 action Effects 0.000 description 7
- 239000000446 fuel Substances 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 210000003128 head Anatomy 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
本申请公开了一种眼球追踪显示方法及装置。该方法应用于眼球追踪显示装置，所述眼球追踪显示装置包括HUD投射屏和眼球追踪模块，HUD投射屏包括固定眼球追踪切换功能点，眼球追踪模块包括眼球追踪模组和HUD投影模组；眼球追踪模块与车载终端连接；眼球追踪模组获取用户注视HUD投射屏的位置；根据用户注视HUD投射屏的位置，眼球追踪模组生成对应的切换指令；眼球追踪模组向车载终端发送所述切换指令；HUD投影模组接收车载终端根据所述切换指令生成的显示信息，以及向HUD投射屏投影显示信息。此外，还公开一种眼球追踪显示装置。实施本申请的方案，能够避免用户手动操作车载终端，保障安全驾驶，有效提升用户的驾驶体验。
Description
技术领域
本申请涉及电子设备技术领域，具体涉及一种眼球追踪显示方法以及装置。
背景技术
当今社会，汽车作为一种交通工具，在满足用户出行需求的同时，也配备了越来越多的新技术，以提升用户的驾驶体验。车用HUD(平视显示器)技术是其中比较热门的一种。车用HUD(平视显示器)技术将重要的行车数据投射在挡风玻璃上，使得用户不用低头就能看到行车的实时信息，把更多的精力放在观察路面情况上，在一定程度上降低了用户因注意力分散而发生危险的可能性。但是当用户需要手动操控车载终端时，用户的注意力不仅会被分散，而且驾驶姿态也会改变，这些行为在驾驶过程中是十分危险的。
目前，各式车载终端采用语音交互等技术简化用户对于车载终端的操控动作，但是仍然不能避免用户在驾驶过程中对于车载终端进行手动操控，潜在危险性高，用户驾驶体验不佳。
发明内容
本申请实施提供一种基于眼球追踪的显示方法及装置，以避免用户对车载终端进行手动操作，保障安全驾驶，有效提升用户的驾驶体验。
第一方面，本申请实施例提供了一种基于眼球追踪的显示方法，应用于眼球追踪显示装置，所述眼球追踪显示装置包括HUD投射屏和眼球追踪模块，所述HUD投射屏包括固定眼球追踪切换功能点，所述眼球追踪模块包括眼球追踪模组和HUD投影模组；所述眼球追踪模块与车载终端连接；包括：眼球追踪模组获取用户注视所述HUD投射屏的位置；根据所述用户注视所述HUD投射屏的位置，眼球追踪模组生成对应的切换指令；眼球追踪模组向所述车载终端发送所述切换指令；HUD投影模组接收所述车载终端根据所述切换指令生成的显示信息，以及向所述HUD投射屏投影所述显示信息。
在一种可能的实现方式中，所述眼球追踪显示装置获取用户注视所述HUD投射屏的位置，包括：根据光照相机反射的眼球灰度差异识别出瞳孔位置；当所述瞳孔位置停留于同一位置的时间达到阈值时，计算出所述用户注视所述HUD投射屏的位置。
在另一种可能的实现方式中，所述根据所述用户注视所述HUD投射屏的位置，眼球追踪模组生成对应的切换指令，包括：当所述用户注视所述HUD投射屏的位置为所述固定眼球追踪切换功能点时，所述眼球追踪模组生成第一模式至第二模式的切换指令；其中，所述第二模式包括一个或多个应用图标；当所述HUD投影模组切换至所述第二模式后，且所述用户注视所述HUD投射屏的位置为所述一个或多个应用图标中的其中一个应用图标时，所述眼球追踪模组生成启动所述应用程序的切换指令。
在又一种可能的实现方式中，所述HUD投影模组接收车载终端根据所述切换指令生成的显示信息，包括：所述HUD投影模组接收所述车载终端生成的所述第二模式对应的车载终端的主界面信息；或者，所述HUD投影模组接收车载终端生成的应用程序运行后对应的显示信息。
在又一种可能的实现方式中，所述HUD投影模组，向所述HUD投射屏投影所述显示信息，包括：所述HUD投影模组通过改变光源角度，将所述显示信息投影至所述HUD投射屏。
第二方面，本申请实施例提供了一种眼球追踪显示装置，包括：HUD投射屏和眼球追踪模块，所述HUD投射屏包括固定眼球追踪切换功能点，所述眼球追踪模块包括眼球追踪模组和HUD投影模组；所述眼球追踪模块与车载终端连接；所述HUD投射屏与车载终端连接；眼球追踪模组，用于获取用户注视所述HUD投射屏的位置；所述眼球追踪模组，还用于根据所述用户注视所述HUD投射屏的位置，生成对应的切换指令；所述眼球追踪模组，还用于向车载终端发送所述切换指令；所述HUD投影模组，用于接收车载终端根据所述切换指令生成的显示信息，以及向所述HUD投射屏投影所述显示信息。
在一种可能的实现方式中，所述眼球追踪模组具体用于，根据光照相机反射的眼球灰度差异识别出瞳孔位置；当所述瞳孔位置停留于同一位置的时间达到阈值时，计算出所述用户注视所述HUD投射屏的位置。
在另一种可能的实现方式中，所述眼球追踪模组具体用于，当所述用户注视所述HUD投射屏的位置为所述固定眼球追踪切换功能点时，生成第一模式至第二模式的切换指令；其中，所述第二模式包括一个或多个应用图标；当所述HUD投影模组切换至所述第二模式后，且所述用户注视所述HUD投射屏的位置为所述一个或多个应用图标中的其中一个应用图标时，生成启动所述应用程序的切换指令。
在又一种可能的实现方式中，所述HUD投影模组具体用于，接收所述车载终端生成的所述第二模式对应的车载终端的主界面信息；或者，接收所述车载终端生成的应用程序运行后对应的显示信息。
在又一种可能的实现方式中，所述HUD投影模组具体用于，通过改变光源角度，将所述显示信息投影至所述HUD投射屏。
第三方面，本申请实施例提供了一种眼球追踪显示装置，包括：输入装置、输出装置、处理器和存储器，输入装置、输出装置、处理器和存储器相互连接，其中，存储器用于存储支持眼球追踪显示装置执行上述方法的计算机程序，计算机程序包括程序指令，处理器被配置用于调用程序指令，执行上述第一方面及其任一种可选方式的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述第一方面以及任一种可选方式的方法。
第五方面，本申请实施例提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面所述的方法。
本申请实施例具有以下有益效果：
通过对用户眼球注视位置的追踪，眼球追踪显示装置将车载终端的画面投影至在HUD投射屏上，达到用户在驾驶过程中不必低头就能同时操作车载终端的目的。实施本申请的方案，能够避免用户手动操作车载终端，保障安全驾驶，有效提升用户的驾驶体验。
附图说明
图1是本申请实施例提供的一种基于眼球追踪的显示方法的流程示意图；
图2-a是本申请实施例提供的一种眼球追踪显示装置的结构示意图；
图2-b是本申请实施例提供的一种HUD投射屏的结构示意图；
图2-c是本申请实施例提供的一种眼球追踪模块的结构示意图；
图2-d是本申请实施例提供的一种车载终端的示意图；
图3是本申请实施例提供的一种眼球追踪显示装置的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
当驾驶员在进行驾驶时，驾驶员的眼睛和手基本是失去自由的，眼睛需要关注前方路况，，当驾驶员手动操控车载终端，就需要暂时释放对方向盘的控制，这对于行驶中的车辆是危险的。基于上述问题，本申请实施例提出了一种基于眼球追踪的显示方法及装置，以避免用户对车载终端进行手动操作，保障安全驾驶，有效提升用户的驾驶体验。
请参阅图1，图1是本申请实施例提供的一种基于眼球追踪的显示方法的流程示意图。
S101、获取用户注视HUD投射屏的位置。
本申请实施例的应用对象为车辆，该车辆可以配备车载终端、导航系统和传感器系统。其中，车辆包括通常的机动车和使用其他燃料的车辆(例如使用电能等清洁能源的车辆)。本申请实施例的方案应用于眼球追踪显示装置，所述眼球追踪显示装置包括HUD投射屏和眼球追踪模块，所述HUD投射屏包括固定眼球追踪切换功能点，所述眼球追踪模块包括眼球追踪模组和HUD投影模组；所述眼球追踪模块与车载终端连接。
在用户驾驶过程中，HUD投射屏为用户提供基本的车速信息、油耗信息及导航信息等，满足用户的驾驶需求。当用户想启动车载终端上的某个应用程序时，通过注视HUD投射屏的动作来代替手动触屏动作。
具体地，根据光照相机反射的眼球灰度差异识别出瞳孔位置；当所述瞳孔位置停留于同一位置的时间达到阈值时，计算出所述用户注视所述HUD投射屏的位置。
S102、根据用户注视所述HUD投射屏的位置，生成对应的切换指令。
在用户想要对车载终端进行操作时，通过注视位置的不同，眼球追踪显示装置生成针对车载终端的不同的切换指令。所述切换指令代替用户的触屏动作对车载终端进行操作。
具体地，当所述用户注视所述HUD投射屏的位置为所述固定眼球追踪切换功能点时，所述眼球追踪显示装置中的眼球追踪模组生成第一模式至第二模式的切换指令；其中，所述第二模式包括一个或多个应用图标；当所述HUD投影模组切换至所述第二模式后，且所述用户注视所述HUD投射屏的位置为所述一个或多个应用图标中的其中一个应用图标时，所述眼球追踪显示装置中的眼球追踪模组生成启动所述应用程序的切换指令。
例如，当处于第一模式，用户想对车载终端进行操作时，用户注视固定眼球追踪切换功能点，所述眼球追踪显示装置中的眼球追踪模组生成第一模式至第二模式的切换指令，其中，所述第一模式包括车速信息、油耗信息及导航信息以上一个或多个信息。用户最终接收到车载终端的主界面信息，可以继续选择操作车载终端的应用程序。进一步的，用户已经完成操作，想接收第一模式下的显示信息，用户注视固定眼球追踪切换功能点，所述眼球追踪显示装置中的眼球追踪模组生成第三模式至第一模式的切换指令，其中，所述第三模式包括应用程序界面。
又例如，用户已经接收到车载终端的主界面信息时，用户注视主界面中的音乐播放图标，所述眼球追踪显示装置中的眼球追踪模组生成启动音乐播放程序的切换指令。进一步的，用户注视音乐播放界面的播放按钮，所述眼球追踪显示装置中的眼球追踪模组生成开始播放的切换指令。同样的，用户注视音乐播放界面的暂停按钮，所述眼球追踪显示装置中的眼球追踪模组生成暂停播放的切换指令。当用户注视音乐播放界面的切歌按钮时，所述眼球追踪显示装置中的眼球追踪模组生成切换歌曲的切换指令。
又例如，用户已经接收到车载终端的主界面信息时，用户注视主界面的通信录图标，所述眼球追踪显示装置中的眼球追踪模组生成启动通信录程序的切换指令。进一步的，用户注视通信录界面的拨打按钮，所述眼球追踪显示装置中的眼球追踪模组生成拨打的切换指令。同样的，用户通过注视通信录界面中联系人姓名，所述眼球追踪显示装置中的眼球追踪模组生成选择该联系人的切换指令。
又例如，用户已经接收到车载终端的主界面信息时，用户注视主界面的收音机图标，所述眼球追踪显示装置中的眼球追踪模组生成启动收音机程序的切换指令。进一步的，用户注视收音机界面的换频按钮，所述眼球追踪显示装置中的眼球追踪模组生成换频的切换指令。
又例如，用户已经接收到车载终端的主界面信息时，用户注视主界面的短信图标，所述眼球追踪显示装置中的眼球追踪模组生成启动短信程序的切换指令。进一步的，用户注视短信界面的查看新信息按钮，所述眼球追踪显示装置中的眼球追踪模组生成查看信息的切换指令。
又例如，用户已经完成对车载终端的操作，处于第三模式下的音乐播放应用程序界面，想接收第一模式下显示的车辆的基本信息，用户注视固定眼球追踪切换功能点，所述眼球追踪显示装置中的眼球追踪模组生成第三模式至第一模式的切换指令。其中，所述第一模式包括车速信息、油耗信息及导航信息以上一个或多个信息。
又例如，用户已经通过注视固定眼球追踪切换功能点，使眼球追踪显示装置中的眼球追踪模组生成第一模式至第二模式的切换指令。在接收到车载终端的主界面画面之后，用户可再次注视固定眼球追踪切换功能点，使眼球追踪显示装置中的眼球追踪模组生成第二模式至第一模式的切换指令。
S103、向车载终端发送切换指令。
相应的，车载终端接收所述切换指令，并生成所述切换指令对应的显示信息。
根据用户注视位置的不同，眼球追踪显示装置中的眼球追踪模组向车载终端发送了对应的切换指令。当车载终端接收到所述切换指令时，相当于用户完成了相应操作的触屏动作，车载终端的显示画面发生相应变化，生成不同的显示画面。车载终端将所述显示信息发送给HUD投影模组，便于用户看到车载终端的屏幕画面，进行相应的操作。
例如，车载终端接收到的是启动音乐播放程序的切换指令，车载终端启动该应用程序，并将启动程序后的屏幕画面(如歌曲列表画面、歌曲的具体播放画面)发送给HUD投影模组。
又例如，车载终端接收到的是启动通信录程序的切换指令，车载终端启动该应用程序，并将启动程序后的屏幕画面(短信的详情页面)发送给HUD投影模组。
又例如，车载终端接收到的是返回第一模式的切换指令，车载终端生成包括车速信息、油耗信息及导航信息以上一个或多个信息，将上述信息发送给HUD投影模组。
S104、接收车载终端根据切换指令生成的显示信息。
相应的，车载终端发送根据切换指令生成的显示信息。
具体地，所述眼球追踪显示装置中的HUD投影模组接收所述车载终端生成的所述第二模式对应的车载终端的主界面信息；或者，所述眼球追踪显示装置中的HUD投影模组接收车载终端生成的应用程序运行后对应的显示信息。
S105、向所述HUD投射屏投影显示信息。
相应的，HUD投射屏展示显示信息。
用户通过查看HUD投射屏上的投影信息，就可以了解到车载终端现在显示的信息。具体地，所述HUD投影模组通过改变光源角度，将所述显示信息投影至所述HUD投射屏。
例如，用户通过注视HUD投射屏显示的音乐播放应用图标，已经启动车载终端的音乐播放应用，HUD投射屏将音乐播放应用启动后的车载终端画面展示给用户，用户不必低头即可看到歌曲列表画面、歌曲的具体播放画面，用户可继续通过注视的动作对车载终端进行后续的操作。
又例如，用户通过注视HUD投射屏显示的短信应用图标，已经启动车载终端的短信应用，HUD投射屏将该应用启动后的车载终端画面展示给用户，用户可以看到短信的具体内容。
又例如，用户通过注视HUD投射屏显示的收音机应用图标，已经启动车载终端的收音机应用，HUD投射屏将该应用启动后的车载终端画面展示给用户，用户可以看到当前频道的频道号等信息，用户可继续通过注视的动作完成调频等操作。
又例如，用户通过注视HUD投射屏显示的通讯录应用图标，已经启动车载终端的通讯录应用，HUD投射屏将该应用启动后的车载终端画面展示给用户，用户看到当前通讯录的联系人信息，用户通过注视的动作完成选择联系人以及拨号等操作。
又例如，用户通过多次注视HUD投射屏的固定眼球追踪切换功能点，用户可以完成显示简易的车辆信息(例如车速信息、油耗信息及导航信息等信息)和车载终端的显示界面的切换。用户可查看到车载终端屏幕信息(例如时间信息及温度信息等信息)。
根据本申请实施例提供的一种基于眼球追踪的显示方法，通过追踪用户的眼球注视位置，生成对应的切换指令来替代用户的触屏动作，实现了用户以眼睛控制车载终端的目的。实施本申请的方案，能够避免用户在驾驶过程中对车载终端进行手动操作，减少了用户注意力分散的可能性，保障了驾驶安全，提升了用户的驾驶体验。
为便于更好的实施本申请实施例的上述方案，下面还提供用于实施上述方案的装置。
请参阅图2-a，图2-a是本申请实施例提供的一种眼球追踪显示装置2000的结构示意图。该眼球追踪显示装置包括：HUD投射屏10、眼球追踪模块20。其中，所述眼球追踪模块20与车载终端30之间可通过蓝牙、无线保真以及有线连接等方式进行连接。同样的，HUD投射屏10与眼球追踪模块20之间也可以通过无线保真、有线连接或者其他连接方式进行连接。
HUD投射屏10，用于展示眼球追踪模块20投影的显示信息。
眼球追踪模块20，用于获取用户注视所述HUD投射屏10的位置；眼球追踪模块20，还用于根据所述用户注视所述HUD投射屏10的位置，生成对应的切换指令；眼球追踪模块20，还用于向所述车载终端30发送所述切换指令；眼球追踪模块20，用于接收车载终端30根据所述切换指令生成的显示信息，以及向所述HUD投射屏10投影所述显示信息。
车载终端30，用于根据眼球追踪模块20发送的切换指令生成对应的显示信息，以及将所述显示信息发送给眼球追踪模块20。
请参阅图2-b，图2-b是一种HUD投射屏的结构示意图，所述HUD投射屏10包括固定眼球追踪切换功能点11，固定眼球追踪切换功能点11可以以图形的形式存在。HUD投射屏10，用于显示车辆基本信息(例如车速信息、油耗信息及导航信息等信息)，或者显示车载终端主界面信息。
请参阅图2-c，图2-c是一种眼球追踪模块的结构示意图，所述眼球追踪模块20包括眼球追踪模组21和HUD投影模组22；其中，眼球追踪模组21和HUD投影模组22的硬件载体以集成的形式存在，或者是两个独立的硬件装置的形式存在。
眼球追踪模组21，用于获取用户注视所述HUD投射屏10的位置；还用于根据所述用户注视所述HUD投射屏10的位置，生成对应的切换指令；还用于向车载终端30发送所述切换指令；
HUD投影模组22，用于接收车载终端30根据所述切换指令生成的显示信息，以及向所述HUD投射屏10投影所述显示信息。
具体地，眼球追踪模组21，用于根据光照相机反射的眼球灰度差异识别出瞳孔位置；当所述瞳孔位置停留于同一位置的时间达到阈值时，计算出所述用户注视所述HUD投射屏的位置；当所述用户注视所述HUD投射屏的位置为所述固定眼球追踪切换功能点时，生成第一模式至第二模式的切换指令；其中，所述第二模式包括一个或多个应用图标；当所述HUD投影模组切换至所述第二模式后，且所述用户注视所述HUD投射屏的位置为所述一个或多个应用图标中的其中一个应用图标时，生成启动所述应用程序的切换指令。
具体地，HUD投影模组22，用于通过改变光源角度，将所述显示信息投影至所述HUD投射屏。
例如，当用户注视固定眼球追踪切换功能点超过阈值，眼球追踪模组生成第一模式至第二模式的切换指令，如果用户的注视时间没有达到阈值，则不生成任何切换指令。根据生成的切换指令，车载终端将生成的主界面的显示信息发送至HUD投影模组。在HUD投影模组将包含一个或者多个应用程序的显示信息投影至HUD投射屏后，用户根据需求选择注视其中的一个应用程序，使得眼球追踪模组生成第二模式至第三模式的切换指令。其中，第三模式包括某个应用程序界面。根据该切换指令，车载终端的某个应用程序启动，车载终端将该应用程序启动后的显示信息发送至HUD投影模组，用户根据显示出的新的投影画面进行操作。当用户注视固定眼球追踪切换功能点再次超过阈值时，眼球追踪模组生成返回第一模式的切换指令。车载终端接收该切换指令后，显示车速信息、油耗信息及导航信息等信息中的一个或者多个信息。
又例如，当用户注视固定眼球追踪切换功能点超过阈值，眼球追踪模组生成第一模式至第二模式的切换指令。根据生成的切换指令，车载终端将生成的主界面的显示信息发送至HUD投影模组。HUD投射屏显示音乐、通讯录、收音机、短信、导航、设置等应用程序图标，用户根据需求继续注视上述应用程序图标，对车载终端进行控制。用户也可通过注视HUD投射屏上的固定眼球追踪切换功能点，关闭上述车载终端主界面显示内容。应理解，上述例子仅仅是用于说明，不作具体限定。
有关上述眼球追踪模组21和HUD投影模组22更详细的描述可以直接参考上述图1所示的方法实施例中基于眼球追踪的显示方法的相关描述直接得到，这里不加赘述。
请参阅图2-d，图2-d是一种车载终端的示意图，车载终端30的主界面有一个或者多个应用程序图标，当车载终端30接收到眼球追踪模块20发送的切换指令时，车载终端30用于根据切换指令，完成对应的操作。
可以理解的，图2-d中展示的车载终端的主界面仅仅是用于进行说明，本申请实施例对车载终端应用程序图标的类型和排列方式不作具体限定。
根据本申请实施例提供的一种眼球追踪显示装置，能够在用户进行驾驶时，利用对用户眼球位置的追踪，来代替用户对于车载终端的手动触屏动作，实现了用户用眼睛控制车载终端的效果。实施本申请的方案，减少了用户低头手动操作车载终端带来的危险，保障了用户的驾驶安全，为用户提供了良好的驾驶体验。
请参阅图3，图3是本申请实施例提供的一种眼球追踪显示装置的硬件结构示意图，包括处理器301，还可包括输入装置302、输出装置303和存储器304。该输入装置302、输出装置303、存储器304和处理器301之间通过总线相互连接。
存储器包括但不限于是随机存储记忆体(random access memory，RAM)、只读存储器(read-onlymemory，ROM)、可擦除可编程只读存储器(erasable programmable readonly memory，EPROM)、或便携式只读存储器(compact disc read-only memory，CD-ROM)，该存储器用于相关指令及数据。
输入装置用于输入数据和/或信号，以及输出装置用于输出数据和/或信号。输出装置和输入装置可以是独立的器件，也可以是一个整体的器件。
处理器可以包括是一个或多个处理器，例如包括一个或多个中央处理器(centralprocessing unit，CPU)，在处理器是一个CPU的情况下，该CPU可以是单核CPU，也可以是多核CPU。
存储器用于存储网络设备的程序代码和数据。
处理器用于调用该存储器中的程序代码和数据，执行如下步骤：获取用户注视所述HUD投射屏的位置；根据所述用户注视所述HUD投射屏的位置，生成对应的切换指令；向所述车载终端发送所述切换指令；接收所述车载终端根据所述切换指令生成的显示信息，以及向所述HUD投射屏投影所述显示信息。
在一个实现方式中，所述处理器执行所述获取用户注视所述HUD投射屏的位置的步骤，包括：根据光照相机反射的眼球灰度差异识别出瞳孔位置；当所述瞳孔位置停留于同一位置的时间达到阈值时，计算出所述用户注视所述HUD投射屏的位置。
在另一个实现方式中，所述处理器执行所述据所述用户注视所述HUD投射屏的位置，生成对应的切换指令的步骤，包括：当所述用户注视所述HUD投射屏的位置为所述固定眼球追踪切换功能点时，所述眼球追踪模组生成第一模式至第二模式的切换指令；其中，所述第二模式包括一个或多个应用图标；当所述HUD投影模组切换至所述第二模式后，且所述用户注视所述HUD投射屏的位置为所述一个或多个应用图标中的其中一个应用图标时，所述眼球追踪模组生成启动所述应用程序的切换指令。
在又一个实现方式中，所述处理器执行所述接收车载终端根据所述切换指令生成的显示信息的步骤，包括：接收所述车载终端生成的所述第二模式对应的车载终端的主界面信息；或者，接收车载终端生成的应用程序运行后对应的显示信息。
可以理解的是，图3仅仅示出了眼球追踪显示装置的简化设计。在实际应用中，眼球追踪显示装置还可以分别包含必要的其他元件，包含但不限于任意数量的输入/输出装置、处理器、控制器、存储器等，而所有可以实现本申请实施例的眼球追踪显示装置都在本申请的保护范围之内。
所述计算机可读存储介质可以是前述任一实施例所述的终端设备的内部存储模组，例如终端设备的硬盘或内存。所述计算机可读存储介质也可以是所述终端设备的外部存储设备，例如所述终端设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述计算机可读存储介质还可以既包括所述终端设备的内部存储模组也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的模组的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模组的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模组或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或模组的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的模组可以是或者也可以不是物理上分开的，作为模组显示的部件可以是或者也可以不是物理模组，即可以位于一个地方，或者也可以分布到多个网络模组上。可以根据实际的需要选择其中的部分或者全部模组来实现本申请实施例方案的目的。
另外，在本申请各个实施例中的各功能模组可以集成在一个处理模组中，也可以是各个模组单独物理存在，也可以是两个或两个以上模组集成在一个模组中。上述集成的模组既可以采用硬件的形式实现，也可以采用软件功能模组的形式实现。
所述集成的模组如果以软件功能模组的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种基于眼球追踪的显示方法，其特征在于，应用于眼球追踪显示装置，所述眼球追踪显示装置包括HUD投射屏和眼球追踪模块，所述HUD投射屏包括固定眼球追踪切换功能点，所述眼球追踪显示装置与车载终端连接；所述方法包括：
获取用户注视所述HUD投射屏的位置；
根据所述用户注视所述HUD投射屏的位置，生成对应的切换指令；
向所述车载终端发送所述切换指令；
接收所述车载终端根据所述切换指令生成的显示信息，以及向所述HUD投射屏投影所述显示信息。
2.根据权利要求1所述的方法，其特征在于，所述眼球追踪模块包括眼球追踪模组和HUD投影模组；其中，
所述眼球追踪模组获取用户注视所述HUD投射屏的位置；
根据所述用户注视所述HUD投射屏的位置，所述眼球追踪模组生成对应的切换指令；
所述眼球追踪模组向所述车载终端发送所述切换指令；
HUD投影模组接收所述车载终端根据所述切换指令生成的显示信息，以及向所述HUD投射屏投影所述显示信息。
3.根据权利要求1所述的方法，其特征在于，所述眼球追踪显示装置获取用户注视所述HUD投射屏的位置，包括：
根据光照相机反射的眼球灰度差异识别出瞳孔位置；
当所述瞳孔位置停留于同一位置的时间达到阈值时，计算出所述用户注视所述HUD投射屏的位置。
4.根据权利要求2所述的方法，其特征在于，所述根据所述用户注视所述HUD投射屏的位置，眼球追踪模组生成对应的切换指令，包括：
当所述用户注视所述HUD投射屏的位置为所述固定眼球追踪切换功能点时，所述眼球追踪模组生成第一模式至第二模式的切换指令；其中，所述第二模式包括一个或多个应用图标；
当所述HUD投影模组切换至所述第二模式后，且所述用户注视所述HUD投射屏的位置为所述一个或多个应用图标中的其中一个应用图标时，所述眼球追踪模组生成启动所述应用程序的切换指令。
5.根据权利要求4所述的方法，其特征在于，所述HUD投影模组接收车载终端根据所述切换指令生成的显示信息，包括：
所述HUD投影模组接收所述车载终端生成的所述第二模式对应的车载终端的主界面信息；或者，
所述HUD投影模组接收车载终端生成的应用程序运行后对应的显示信息。
6.根据权利要求2所述的方法，其特征在于，所述HUD投影模组，向所述HUD投射屏投影所述显示信息，包括：
所述HUD投影模组通过改变光源角度，将所述显示信息投影至所述HUD投射屏。
7.一种眼球追踪显示装置，其特征在于，所述眼球追踪显示装置包括HUD投射屏和眼球追踪模块，所述HUD投射屏包括固定眼球追踪切换功能点，所述眼球追踪模块包括眼球追踪模组和HUD投影模组；所述眼球追踪模块与车载终端连接；所述HUD投射屏与车载终端连接；
所述眼球追踪模组，用于获取用户注视所述HUD投射屏的位置；
所述眼球追踪模组，还用于根据所述用户注视所述HUD投射屏的位置，生成对应的切换指令；
所述眼球追踪模组，还用于向车载终端发送所述切换指令；
所述HUD投影模组，用于接收车载终端根据所述切换指令生成的显示信息，以及向所述HUD投射屏投影所述显示信息。
8.根据权利要求7所述的装置，其特征在于，所述眼球追踪模组，用于：
根据光照相机反射的眼球灰度差异识别出瞳孔位置；
当所述瞳孔位置停留于同一位置的时间达到阈值时，计算出所述用户注视所述HUD投射屏的位置。
9.一种眼球追踪显示装置，其特征在于，所述眼球追踪显示装置包括输入装置、输出装置、处理器及存储器，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1至6任一权利要求所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811191399.0A CN109542217B (zh) | 2018-10-12 | 2018-10-12 | 一种眼球追踪显示方法以及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811191399.0A CN109542217B (zh) | 2018-10-12 | 2018-10-12 | 一种眼球追踪显示方法以及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109542217A true CN109542217A (zh) | 2019-03-29 |
| CN109542217B CN109542217B (zh) | 2022-05-17 |
Family
ID=65844135
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811191399.0A Active CN109542217B (zh) | 2018-10-12 | 2018-10-12 | 一种眼球追踪显示方法以及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109542217B (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110017520A (zh) * | 2019-04-15 | 2019-07-16 | 宁波奥克斯厨电制造有限公司 | 一种抽油烟机眼球追踪控制方法、装置及抽油烟机 |
| CN110221696A (zh) * | 2019-06-11 | 2019-09-10 | Oppo广东移动通信有限公司 | 眼球追踪方法及相关产品 |
| CN110341617A (zh) * | 2019-07-08 | 2019-10-18 | 北京七鑫易维信息技术有限公司 | 眼球追踪方法、装置、车辆和存储介质 |
| CN110825220A (zh) * | 2019-09-29 | 2020-02-21 | 深圳市火乐科技发展有限公司 | 眼球追踪控制方法、装置、智能投影仪及存储介质 |
| CN110968192A (zh) * | 2019-11-25 | 2020-04-07 | 中国银行股份有限公司 | 一种基于眼球跟踪的交易导航方法及装置 |
| CN111222444A (zh) * | 2019-12-31 | 2020-06-02 | 的卢技术有限公司 | 一种考虑驾驶员情绪的增强现实抬头显示方法和系统 |
| CN111243102A (zh) * | 2019-12-31 | 2020-06-05 | 的卢技术有限公司 | 一种基于扩散膜改造增大fov的方法和系统 |
| CN111241946A (zh) * | 2019-12-31 | 2020-06-05 | 的卢技术有限公司 | 一种基于单dlp光机增大fov的方法和系统 |
| CN111452616A (zh) * | 2020-03-30 | 2020-07-28 | 广州小鹏汽车科技有限公司 | 一种信息的显示控制方法、装置和车辆 |
| TWI704378B (zh) * | 2019-11-21 | 2020-09-11 | 宏碁股份有限公司 | 頭戴式顯示裝置 |
| CN112339560A (zh) * | 2019-08-06 | 2021-02-09 | 上海博泰悦臻网络技术服务有限公司 | 一种交互方法及车载导航端 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102822771A (zh) * | 2010-01-21 | 2012-12-12 | 托比技术股份公司 | 基于眼球跟踪器的上下文动作 |
| US20130024047A1 (en) * | 2011-07-19 | 2013-01-24 | GM Global Technology Operations LLC | Method to map gaze position to information display in vehicle |
| CN104503583A (zh) * | 2014-12-30 | 2015-04-08 | 百度在线网络技术（北京）有限公司 | 信息显示方法及装置 |
| CN104598111A (zh) * | 2015-01-15 | 2015-05-06 | 小米科技有限责任公司 | 切换显示模式的方法及装置 |
| CN105667314A (zh) * | 2016-01-08 | 2016-06-15 | 蔡伟英 | 车载显示装置及实现方法 |
| US20160170485A1 (en) * | 2013-05-09 | 2016-06-16 | Denso Corporation | Visual line input apparatus |
| CN105867603A (zh) * | 2015-12-08 | 2016-08-17 | 乐视致新电子科技（天津）有限公司 | 一种眼控方法及装置 |
| CN106354259A (zh) * | 2016-08-30 | 2017-01-25 | 同济大学 | 基于Soli和Tobii的汽车HUD眼动辅助手势交互系统及其装置 |
| CN107329663A (zh) * | 2017-05-17 | 2017-11-07 | 江苏大学 | 一种用于提高驾驶安全的车载界面显示方法 |
| CN107472140A (zh) * | 2017-08-08 | 2017-12-15 | 上海青研科技有限公司 | 一种眼控车载hud系统 |
| CN108111649A (zh) * | 2017-12-25 | 2018-06-01 | 广东欧珀移动通信有限公司 | 电子装置、拍照方法及相关产品 |
-
2018
- 2018-10-12 CN CN201811191399.0A patent/CN109542217B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102822771A (zh) * | 2010-01-21 | 2012-12-12 | 托比技术股份公司 | 基于眼球跟踪器的上下文动作 |
| US20130024047A1 (en) * | 2011-07-19 | 2013-01-24 | GM Global Technology Operations LLC | Method to map gaze position to information display in vehicle |
| US20160170485A1 (en) * | 2013-05-09 | 2016-06-16 | Denso Corporation | Visual line input apparatus |
| CN104503583A (zh) * | 2014-12-30 | 2015-04-08 | 百度在线网络技术（北京）有限公司 | 信息显示方法及装置 |
| CN104598111A (zh) * | 2015-01-15 | 2015-05-06 | 小米科技有限责任公司 | 切换显示模式的方法及装置 |
| CN105867603A (zh) * | 2015-12-08 | 2016-08-17 | 乐视致新电子科技（天津）有限公司 | 一种眼控方法及装置 |
| CN105667314A (zh) * | 2016-01-08 | 2016-06-15 | 蔡伟英 | 车载显示装置及实现方法 |
| CN106354259A (zh) * | 2016-08-30 | 2017-01-25 | 同济大学 | 基于Soli和Tobii的汽车HUD眼动辅助手势交互系统及其装置 |
| CN107329663A (zh) * | 2017-05-17 | 2017-11-07 | 江苏大学 | 一种用于提高驾驶安全的车载界面显示方法 |
| CN107472140A (zh) * | 2017-08-08 | 2017-12-15 | 上海青研科技有限公司 | 一种眼控车载hud系统 |
| CN108111649A (zh) * | 2017-12-25 | 2018-06-01 | 广东欧珀移动通信有限公司 | 电子装置、拍照方法及相关产品 |
Non-Patent Citations (1)
| Title |
|---|
| 冯凤: "驾驶眼动识别设计研究", 《科技信息》 * |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110017520A (zh) * | 2019-04-15 | 2019-07-16 | 宁波奥克斯厨电制造有限公司 | 一种抽油烟机眼球追踪控制方法、装置及抽油烟机 |
| CN110017520B (zh) * | 2019-04-15 | 2020-04-10 | 宁波奥克斯厨电制造有限公司 | 一种抽油烟机眼球追踪控制方法、装置及抽油烟机 |
| CN110221696A (zh) * | 2019-06-11 | 2019-09-10 | Oppo广东移动通信有限公司 | 眼球追踪方法及相关产品 |
| CN110221696B (zh) * | 2019-06-11 | 2021-06-08 | Oppo广东移动通信有限公司 | 眼球追踪方法及相关产品 |
| CN110341617A (zh) * | 2019-07-08 | 2019-10-18 | 北京七鑫易维信息技术有限公司 | 眼球追踪方法、装置、车辆和存储介质 |
| CN110341617B (zh) * | 2019-07-08 | 2021-05-28 | 北京七鑫易维信息技术有限公司 | 眼球追踪方法、装置、车辆和存储介质 |
| CN112339560A (zh) * | 2019-08-06 | 2021-02-09 | 上海博泰悦臻网络技术服务有限公司 | 一种交互方法及车载导航端 |
| CN110825220A (zh) * | 2019-09-29 | 2020-02-21 | 深圳市火乐科技发展有限公司 | 眼球追踪控制方法、装置、智能投影仪及存储介质 |
| CN110825220B (zh) * | 2019-09-29 | 2023-12-08 | 深圳市火乐科技发展有限公司 | 眼球追踪控制方法、装置、智能投影仪及存储介质 |
| TWI704378B (zh) * | 2019-11-21 | 2020-09-11 | 宏碁股份有限公司 | 頭戴式顯示裝置 |
| CN110968192A (zh) * | 2019-11-25 | 2020-04-07 | 中国银行股份有限公司 | 一种基于眼球跟踪的交易导航方法及装置 |
| CN111241946A (zh) * | 2019-12-31 | 2020-06-05 | 的卢技术有限公司 | 一种基于单dlp光机增大fov的方法和系统 |
| CN111243102A (zh) * | 2019-12-31 | 2020-06-05 | 的卢技术有限公司 | 一种基于扩散膜改造增大fov的方法和系统 |
| CN111222444A (zh) * | 2019-12-31 | 2020-06-02 | 的卢技术有限公司 | 一种考虑驾驶员情绪的增强现实抬头显示方法和系统 |
| CN111243102B (zh) * | 2019-12-31 | 2024-04-19 | 的卢技术有限公司 | 一种基于扩散膜改造增大fov的方法和系统 |
| CN111241946B (zh) * | 2019-12-31 | 2024-04-26 | 的卢技术有限公司 | 一种基于单dlp光机增大fov的方法和系统 |
| CN111452616A (zh) * | 2020-03-30 | 2020-07-28 | 广州小鹏汽车科技有限公司 | 一种信息的显示控制方法、装置和车辆 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109542217B (zh) | 2022-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109542217B (zh) | 一种眼球追踪显示方法以及装置 | |
| CN105700676B (zh) | 可佩戴眼镜及其控制方法、以及车辆控制系统 | |
| US11024083B2 (en) | Server, user terminal device, and control method therefor | |
| US20160063767A1 (en) | Method for providing visual reality service and apparatus for the same | |
| KR20160128119A (ko) | 이동 단말기 및 이의 제어방법 | |
| CN104115100A (zh) | 头戴式显示器、用于控制头戴式显示器的程序及控制头戴式显示器的方法 | |
| JP2015228214A (ja) | 触覚通知マネージャ | |
| US12041294B2 (en) | Video processing method and device | |
| JP5047650B2 (ja) | 車載カメラシステム | |
| CN104890570B (zh) | 佩戴式车辆信息指示器以及使用其指示车辆信息的方法 | |
| CN112959998B (zh) | 一种车载人机交互方法、装置、车辆及电子设备 | |
| US11182950B2 (en) | Information processing device and information processing method | |
| US20120253597A1 (en) | Information display system, on-board device, and portable device | |
| CN112241199B (zh) | 虚拟现实场景中的交互方法及装置 | |
| CN112172705A (zh) | 一种基于智能座舱的车载智能硬件管控方法和智能座舱 | |
| CN112083795A (zh) | 对象控制方法及装置、存储介质和电子设备 | |
| CN113655638A (zh) | 用于控制智能家电的方法及装置、智能眼镜 | |
| CN106020459A (zh) | 一种智能眼镜、智能眼镜的操控方法及操控系统 | |
| CN107223224A (zh) | 一种弱视辅助方法和装置 | |
| CN106020458B (zh) | 一种智能眼镜、智能眼镜的操控方法及操控系统 | |
| CN105867640A (zh) | 一种智能眼镜、智能眼镜的操控方法及操控系统 | |
| CN111038259A (zh) | 车机一体屏的显示控制方法、装置、车辆及存储介质 | |
| CN114089890B (zh) | 车辆模拟驾驶方法、设备、存储介质及程序产品 | |
| CN105974586A (zh) | 一种智能眼镜、智能眼镜的操控方法及操控系统 | |
| CN113173072A (zh) | 一种屏幕转向控制方法、装置和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |