CN116483191A - 一种车载眼动交互系统及方法 - Google Patents
一种车载眼动交互系统及方法 Download PDFInfo
- Publication number
- CN116483191A CN116483191A CN202210038243.9A CN202210038243A CN116483191A CN 116483191 A CN116483191 A CN 116483191A CN 202210038243 A CN202210038243 A CN 202210038243A CN 116483191 A CN116483191 A CN 116483191A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- eye movement
- display screen
- movement information
- eye
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004424 eye movement Effects 0.000 title claims abstract description 146
- 230000003993 interaction Effects 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000012790 confirmation Methods 0.000 claims abstract description 75
- 230000010365 information processing Effects 0.000 claims abstract description 30
- 230000009471 action Effects 0.000 claims abstract description 20
- 230000001960 triggered effect Effects 0.000 claims abstract description 9
- 210000001747 pupil Anatomy 0.000 claims description 12
- 239000011521 glass Substances 0.000 claims description 7
- 230000000903 blocking effect Effects 0.000 claims description 6
- 238000005286 illumination Methods 0.000 claims description 6
- 230000002452 interceptive effect Effects 0.000 claims description 2
- 210000001508 eye Anatomy 0.000 description 55
- 230000008569 process Effects 0.000 description 7
- 210000000744 eyelid Anatomy 0.000 description 5
- 210000005252 bulbus oculi Anatomy 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 2
- 210000000624 ear auricle Anatomy 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000001061 forehead Anatomy 0.000 description 2
- 238000001028 reflection method Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 239000005357 flat glass Substances 0.000 description 1
- 230000003183 myoelectrical effect Effects 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明实施例公开了一种车载眼动交互系统及方法,包括:眼动追踪模块、眼动信息处理模块、车载显示屏及确认按钮;眼动追踪模块用于采集驾驶员的眼动信息,并将眼动信息发送至眼动信息处理模块;眼动信息处理模块用于对眼动信息进行处理,获得驾驶员的注视点,若注视点落在车载显示屏中,则根据眼动信息生成控制指令,并将控制指令发送至车载显示屏;车载显示屏根据控制指令选中注视点对应的功能控件;确认按钮用于当检测驾驶员触发的确认操作时,生成确认信息,并将确认信息发送至车载显示屏;车载显示屏根据确认信息对选中的功能控件执行控制指令对应的动作,通过眼动信息实现对车载中控屏的控制,可以提高中控屏控制的便捷性及提高安全性。
Description
技术领域
本发明实施例涉及汽车技术领域,尤其涉及一种车载眼动交互系统及方法。
背景技术
中控屏幕作为显示信息、人车交互的关键部分,越来越多的应用多模交互技术,给汽车用户带来更多的自然感、亲切感及便利性的体验。然而,当前主流的交互方式在下述问题:1)语音指令识别不准确;2)手指触控操作时,盲操作困难,按压反应时间滞后以及手感很难把握;3)手势操作时,右手离开方向盘,影响驾驶安全。
发明内容
本发明实施例提供一种车载眼动交互系统及方法,通过眼动信息实现对车载中控屏的控制,不仅可以提高中控屏控制的便捷性,还可以提高安全性。
第一方面,本发明实施例提供了一种车载眼动交互系统,包括:眼动追踪模块、眼动信息处理模块、车载显示屏及确认按钮;
所述眼动追踪模块用于采集驾驶员的眼动信息,并将所述眼动信息发送至所述眼动信息处理模块;其中,所述眼动追踪模块所在车辆的车窗玻璃具有阻隔红外光线的功能;
所述眼动信息处理模块用于对所述眼动信息进行处理,获得驾驶员的注视点,若所述注视点落在车载显示屏中,则根据所述眼动信息生成控制指令,并将所述控制指令发送至所述车载显示屏;
所述车载显示屏根据所述控制指令选中所述注视点对应的功能控件;
所述确认按钮用于当检测所述驾驶员触发的确认操作时,生成确认信息,并将所述确认信息发送至所述车载显示屏;
所述车载显示屏根据所述确认信息对选中的功能控件执行所述控制指令对应的动作。
进一步地,若所述车载显示屏在选中所述注视点对应的功能控件的设定时长内接收到所述确认信息,则对选中的功能控件执行所述控制指令对应的动作;
否则,所述车载显示屏取消对所述注视点对应的功能控件的选中操作。
进一步地,所述系统还包括报警模块;当所述眼动信息处理模块根据所述眼动信息检测到所述驾驶员注意力不集中时,所述报警模块发出报警信号,以提醒所述驾驶员。
进一步地,在所述报警模块发出报警信号之后,若所述眼动信息处理模块检测到所述驾驶员注视设定位置且所述确认按钮检测到用户触发确认操作,则控制所述报警模块停止报警。
进一步地,所述报警模块的报警方式为如下至少一种:振动或者发出报警声。
进一步地,所述确认按钮为如下任意一种:设置于车内的实体按钮、触控按钮、感应按钮或者可穿戴设备中的按钮。
进一步地,若所述确认按钮设置于车内,则设置于如下任意位置:方向盘上或者中控扶手上。
进一步地,所述眼动追踪模块为一个或者多个,且安装于如下任意位置:方向盘上方、仪表盘内、汽车A柱上或者中控屏边缘;或者安装于可穿戴设备中。
第二方面,本发明实施例还提供了一种车载眼动交互方法,所述方法由第一方面所述的系统执行,包括:
获取驾驶员的眼动信息;
根据所述眼动信息确定驾驶员的注视点;
若所述注视点落在车载显示屏上,则根据所述眼动信息生成控制指令;
根据所述控制指令选中所述注视点在所述车载显示屏中对应的功能控件;
若接收到用户的确认操作,则对选中的功能控件执行所述控制指令对应的动作。
本发明实施例公开了一种车载眼动交互系统及方法,包括:眼动追踪模块、眼动信息处理模块、车载显示屏及确认按钮;眼动追踪模块用于采集驾驶员的眼动信息,并将眼动信息发送至眼动信息处理模块;眼动信息处理模块用于对眼动信息进行处理,获得驾驶员的注视点,若注视点落在车载显示屏中,则根据眼动信息生成控制指令,并将控制指令发送至车载显示屏;车载显示屏根据控制指令选中注视点对应的功能控件;确认按钮用于当检测驾驶员触发的确认操作时,生成确认信息,并将确认信息发送至车载显示屏;车载显示屏根据确认信息对选中的功能控件执行控制指令对应的动作。本发明实施例提供的技术方案通过眼动信息和确认按钮实现对车载中控屏的控制,不仅可以提高中控屏控制的便捷性及准确性,还可以提高安全性。
附图说明
图1是本发明实施例一提供的一种车载眼动交互系统的结构示意图;
图2是本发明实施例一提供的另一种车载眼动交互系统的结构示意图;
图3是本发明实施例二提供的一种车载眼动交互方法的流程示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
目前对车载显示屏的控制都需要用户手动操作,通过按钮或者是点击屏幕进行操作。在操作过程中用户需要长时间注视车载显示屏区域,以准确控制车载显示屏。在操作过程中驾驶员容易分散注意力,这给驾驶带来潜在危险。为了规避现有技术的缺点,本发明实施例提供的一种车载眼动交互系统及方法。
视线追踪也可以称为眼动追踪,是通过测量眼睛运动情况来估计眼睛的视线方向和/或注视点的技术。具体可以通过实时捕捉待检测用户的眼部图像,并通过待检测用户的眼睛图像分析眼部特征的相对位置,获得待检测用户的注视点信息;或者通过眼球与电容极板之间的电容值来检测眼球运动,获得待检测用户的注视点信息;又或者通过在鼻梁、额头、耳朵或耳垂处放置电极,通过检测的肌电流信号模式来检测眼球运动,获得待检测用户的注视点信息。当然也可以采用其他的实时获取待检测用户的注视点信息的方法,这都应属于本发明的保护范畴。
对眼球进行追踪可以采用光学记录法实现。光学记录法的原理是,利用红外相机记录被测试者的眼睛运动情况,即获取能够反映眼睛运动的眼部图像,从获取到的眼部图像中提取眼部特征用于建立视线的估计模型。其中,眼部特征可以包括:瞳孔位置、瞳孔形状、虹膜位置、虹膜形状、眼皮位置、眼角位置、光斑位置(或者普尔钦斑)等。光学记录法包括瞳孔-角膜反射法。瞳孔-角膜反射法的原理是,近红外光源照向眼睛,由红外相机对眼部进行拍摄,同时拍摄到光源在角膜上的反射点即光斑,由此获取到带有光斑的眼部图像。
当然,除了光学记录法外,眼球追踪装置还可以是MEMS微机电系统,例如包括MEMS红外扫描反射镜、红外光源、红外接收器;又或者是电容传感器,其通过眼球与电容极板之间的电容值来检测眼球运动;更可以是肌电流检测器,其通过在鼻梁、额头、耳朵或耳垂处放置电极,通过检测的肌电流信号模式来检测眼球运动。
目前视线追踪技术有多种方法可以获取用户的注视信息,在这个不再一一举例。
实施例一
图1是本发明实施例一提供的一种车载眼动交互系统的结构示意图,本实施例适用于实现对车载显示中控屏进行控制的情况,该系统可以由硬件和/或软件实现,并一般集成在计算机设备中。如图1所示,该系统包括:眼动追踪模块110、眼动信息处理模块120、车载显示屏130、确认按钮140。其中:
眼动追踪模块110用于采集驾驶员的眼动信息,并将眼动信息发送至眼动信息处理模块120。
其中,眼动信息可以包括注视点信息、上下眼皮位置、瞳孔直径、眼跳、眨眼频率等。
本实施中,眼动追踪模块110所在车辆的车窗玻璃具有阻隔红外光线的功能。实现方式可以是采用具有红外阻隔功能的玻璃,或者在车窗玻璃上镀具有红外阻隔功能的膜,或者在车窗玻璃上贴具有红外阻隔功能的膜。从而防止阳光中800-1000nm红外光对眼动追踪模块110工作的影响。
具体的,眼动追踪模块110采集驾驶员的眼部图像或视频,根据眼部图像或视频获取眼动信息,并将采集到的眼动信息发送至眼动信息处理模块120,以供眼动信息处理模块120对眼动信息进行处理。
可选的,若眼动追踪模块110设置有两个红外光源,则两个红外光源采用交替点亮的方式采集眼部图像。若眼动追踪模块110设置有三个红外光源,则三个红外光源采集亮暗瞳的方式采集眼部图像。
其中,若眼动追踪模块110设置有两个红外光源,则两个红外光源设置在眼动追踪模块110的左右两侧。交替点亮的方式可以是理解为:左侧光源点亮照射眼部—右侧光源点亮照射眼部—左侧光源点亮照射眼部—……—。
若眼动追踪模块110设置有三个红外光源,则三个红外光源分别设置于眼动追踪模块的左右两侧及中间位置。则亮暗瞳的方式可以是:左侧光源点亮照射眼部—中间光源点亮照射眼部—右侧光源点亮照射眼部—左侧光源点亮照射眼部……—。当左侧和右侧光源照射眼部时,采集到的图像为暗瞳图像,当中间光源照射眼部时,采集到的图像为亮瞳图像。
示例性的,可以在设定时间内获取用户的多帧眼部图像,对每一帧眼部图像进行特征分析,获得每一帧图像中的眼部特征,然后综合分析所有眼部图像中的眼部特征,获得用户的眼动信息。其中,眼部特征可以包括:瞳孔中心位置、瞳孔半径、虹膜位置、虹膜形状、眼皮位置、光斑中心位置等。例如,可以根据瞳孔中心与光斑中心的相对位置关系获得注视点信息。
可选的,眼动追踪模块110可以为一个或者多个,且安装于如下任意位置:方向盘上方、仪表盘内、汽车A柱上或者中控屏边缘;或者安装于可穿戴设备中。
可以清楚的是,多套车载眼动交互系统可以增加用户操作的方便性和增大眼球追踪的范围。
眼动信息处理模块120用于对眼动信息进行处理,获得驾驶员的注视点,若注视点落在车载显示屏130中,则根据眼动信息生成控制指令,并将控制指令发送至车载显示屏130。
可选的,若注视点落在车载显示屏130中的时间超过设定阈值(例如:1秒),则生成控制指令,否则,忽略该注视点信息。
其中,驾驶员的注视点信息具体可以理解为眼睛的注视点的坐标、眼睛的视线方向以及眼睛的视线与参照轴的角度等。
具体的,眼动信息处理模块120接收眼动追踪模块110采集到的驾驶员的眼动信息,并通过采集到的眼睛图像分析眼部特征的相对位置,获得待检测用户的注视点信息。
车载显示屏130上显示有各功能控件,驾驶员可以通过凝视车载显示屏130不同的位置达到选中不同功能区域、左右翻页或音量调节等目的。若注视点落在车载显示屏130中,眼动信息处理模块120对眼动信息运用算法处理并转化为控制指令,并将控制指令发送至车载显示屏130。其中,控制指令具体可以携带有选中车载显示屏130中某一功能控件的信息。
车载显示屏130根据控制指令选中注视点对应的功能控件。示例性的,注视点落在按钮、图形或者地图某区域中的时间超过设定阈值,则根据控制指令选中注视点对应的按钮、图形或者地图某区域。
可选的,在车载显示屏130根据控制指令选中注视点对应的功能控件之后,车辆还可以生成提示信息(例如:可以是语音提示),以提醒驾驶员车载显示屏130的功能控件已被选中。例如:语音可以是“您已选中某功能控件,请确认”。这样做的好处是,可以保证驾驶员及时的确认对功能控件的控制操作。
示例性的,当驾驶员看向车载显示屏中的播放音乐按钮时,车载显示屏130根据控制指令选中播放音乐按钮,然后驾驶员视线恢复正常驾驶,播放音乐按钮还是保持在被选中状态。
确认按钮140用于当检测驾驶员触发的确认操作时,生成确认信息,并将确认信息发送至车载显示屏130。
本实施例中,当驾驶员看向车载显示屏中的播放音乐按钮,播放音乐按钮被选中后,这时车辆可以发出提示信息(例如语音提示),告知驾驶员刚刚通过眼睛注视触发的功能控件,例如:“您已选中播放音乐按钮”语音等。驾驶员可以通过点击、触控或感应操作确认按钮,以此来传递驾驶员的确认信息。当驾驶员触发确认操作时,确认按钮140检测到驾驶员触发的确认操作,并生成确认信息,将确认信息发送至车载显示屏130。
车载显示屏130根据确认信息对选中的功能控件执行控制指令对应的动作。
车载显示屏130根据驾驶员操作的确认信息对选中的功能控件执行控制指令,使其执行相应的功能。
示例性的,在某交互场景中,当驾驶员看向车载显示屏中的播放音乐按钮时,眼动追踪模块110采集到驾驶员的眼动信息,眼动信息处理模块120对眼动信息进行处理,解析出驾驶员的注视点是看向车载显示屏130中的播放音乐按钮,眼动信息处理模块120生成控制指令,并将控制指令发送到车载显示屏130,车载显示屏130选中播放音乐按钮,按钮只是处于选中状态并不会自动触发,此时用户经过车辆给出的提示信息确认是自己想要实现的功能,按下方向盘上的实体按钮,播放音乐按钮才会被按下,车辆开始播放音乐。
针对于绝大多数需要触摸点击进行操作的场景,车辆在行驶驾驶过程中,驾驶员需要空出一只手来进行触屏操作车载显示屏,如播放音乐,调节空调温度等。驾驶员在操作过程中容易分散驾驶精力,具有一定的驾驶危险性,而且存在点不到或者点不准屏幕上的比较小的按钮的情况。而高精度的车载眼动交互系统是可以精确选中屏幕上的按钮或者功能区,再通过用户操作确认按钮进行确认,就相当于完成了一次用户触屏点击的操作。
示例性的,当用户看到中控屏上的下一首音乐按钮时,该按钮将被选中,然后用户视线恢复正常驾驶,下一首按钮还是保持在被选中状态,此时用户多次点击实体按钮,可以进行多次的切换下一首音乐操作。在操作过程中,用户无需长时间注视某一个功能按钮,而是凝视一眼某一个按钮上即可激活该按钮处于选中状态。相对于传统触屏操作中人眼是需要一直注视在按钮的同时,再用手去点击,车载眼动交互系统具有明显优势,提供了快速、便捷、准确的交互操作。
可选的,确认按钮140为如下任意一种:设置于车内的实体按钮、触控按钮、感应按钮或者可穿戴设备中的按钮。
示例性的,可穿戴设备中的按钮可以是眼镜、用户手上佩戴的蓝牙戒指按钮、手环及手表等。
可选的,若确认按钮140设置于车内,则设置于如下任意位置:方向盘上或者中控扶手上。
本发明实施例提供一种车载眼动交互系统,包括:眼动追踪模块、眼动信息处理模块、车载显示屏及确认按钮;眼动追踪模块用于采集驾驶员的眼动信息,并将眼动信息发送至眼动信息处理模块;眼动信息处理模块用于对眼动信息进行处理,获得驾驶员的注视点,若注视点落在车载显示屏中,则根据眼动信息生成控制指令,并将控制指令发送至车载显示屏;车载显示屏根据控制指令选中注视点对应的功能控件;确认按钮用于当检测驾驶员触发的确认操作时,生成确认信息,并将确认信息发送至车载显示屏;车载显示屏根据确认信息对选中的功能控件执行控制指令对应的动作。本发明实施例提供的技术方案通过眼动信息和确认按钮实现对车载中控屏的控制,不仅可以提高中控屏控制的便捷性及准确性,还可以提高安全性。
可选的,若车载显示屏130在选中注视点对应的功能控件的设定时长内接收到确认信息,则对选中的功能控件执行控制指令对应的动作;否则,车载显示屏130取消对注视点对应的功能控件的选中操作。
其中,设定时长可以由系统制造者或者用户自行设置,例如,设置为5秒。本实施例中,可以通过注视点信息获取用户注视的位置,通过分析多帧眼部图像的注视点信息可以获得用户注视设定位置的时长是否超过设定时长。若车载显示屏在选中注视点对应的功能控件的设定时长内接收到确认信息,则表明驾驶员已进行确认操作,则对选中的功能控件执行控制指令对应的动作。若车载显示屏在选中注视点对应的功能控件的设定时长内未接收到确认信息,则表明驾驶员未进行确认操作,选中功能控件可能是无意选中或选中后驾驶员改变想法不想进行下一步操作,则车载显示屏取消对注视点对应的功能控件的选中操作。
图2是本发明实施例一提供的另一种车载眼动交互系统的结构示意图,如图2所示,作为本申请实施例的另一个可选实施例,在上述实施例的基础上,该系统还包括报警模块150;当眼动信息处理模块120根据眼动信息检测到驾驶员注意力不集中时,报警模块150发出报警信号,以提醒驾驶员。
具体的,获取当前驾驶员注意力不集中的方式可以是:采集驾驶员的眼部图像;根据眼部图像获取驾驶员的眼动信息;根据眼动信息确定驾驶员是否注意力不集中。若眼动信息满足如下至少一项,则表明驾驶员注意力不集中:注视点落入设定区域之外;根据上下眼皮位置确定闭眼时长,且闭眼时长超过第一设定值;瞳孔直径小于第二设定值;眨眼频率大于第三设定值。
本实施例中,可以连续采集驾驶员设定时长(如10秒)的眼部图像,通过分析设定时长的眼动信息来确定驾驶员的状态信息。其中,若注视点落入设定区域之外,可以表明驾驶员当前注意力不集中。若闭眼时间超过第一设定时长,则表明驾驶员此时处于疲劳状态。若瞳孔直径小于第二设定值,例如检测到驾驶员瞳孔直径小于2mm,则表明驾驶员此时处于疲劳状态。若眨眼频率大于第三设定值,例如10秒内驾驶员眨眼频率大于5次,则表明驾驶员当前眼睛不舒服处于异常状态或者困了处于疲劳状态。
可选的,在报警模块150发出报警信号之后,若眼动信息处理模块120检测到驾驶员注视设定位置且确认按钮140检测到用户触发确认操作,则控制报警模块150停止报警。
现有的驾驶疲劳检测系统(Driver Monitor System,DMS)经常会给用户带来打扰。车载眼动交互系统更能减少分散用户的驾驶精力。当车载眼动交互系统检测到用户注意力不集中时,车辆方向盘震动或者发出报警声,用户察觉到后恢复了正常驾驶,但是报警声可能还在继续,用户可以通过注视一下指定位置并按下实体按钮,此时可以关闭报警,直到车载眼动交互系统再次检测到用户注意力不集中的行为,报警才会再次发生。
可选的,报警模块150的报警方式为如下至少一种:振动或者发出报警声。
其中,可穿戴设备可以是眼镜、用户手上佩戴的蓝牙戒指按钮、手环及手表等。
作为上述实施例的可选实施例,本实施例增加了报警模块,当车载眼动交互系统检测到用户注意力不集中时,车辆方向盘震动或者发出报警声,用以提醒驾驶员集中注意力驾驶,对驾驶员给予主动智能的安全保障。
实施例二
图3是本发明实施例二提供的一种车载眼动交互方法的流程示意图,该方法适用于实现对车载显示屏进行控制的情况。该方法可以由上述实施例的车载眼动交互系统执行,该系统可以由硬件和/或软件实现,并一般集成在计算机设备中。如图3所示,本实施例二提供的一种车载眼动交互方法,具体包括如下步骤:
S210、获取驾驶员的眼动信息。
S220、根据所述眼动信息确定驾驶员的注视点。
S230、若注视点落在车载显示屏上,则根据眼动信息生成控制指令。
S240、根据控制指令选中注视点在车载显示屏中对应的功能控件。
S250、若接收到用户的确认操作,则对选中的功能控件执行控制指令对应的动作。
可选的,车辆可以发出提示信息(例如语音提示),提醒驾驶员车载显示屏中的功能控件已经通过眼睛注视触发被选中,以提醒用户进行下一步的确认操作。若接收到用户的确认操作,则对选中的功能控件执行控制指令对应的动作,包括:若在设定时长内接收用户的确认操作,则对选中的功能控件执行控制指令对应的动作;否则,取消对注视点对应的功能控件的选中操作。
上述方法可由本发明实施例所提供的车载眼动交互系统执行,具备车载眼动交互系统的有益效果,具体实现过程参照上述实施例,此处不再赘述。
值得注意的是,上述车载眼动交互系统的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
本发明实施例公开了一种车载眼动交互方法,包括:获取驾驶员的眼动信息;根据所述眼动信息确定驾驶员的注视点;若注视点落在车载显示屏上,则根据眼动信息生成控制指令;根据控制指令选中注视点在车载显示屏中对应的功能控件;若接收到用户的确认操作,则对选中的功能控件执行控制指令对应的动作。本发明实施例提供的技术方案通过眼动信息和确认按钮实现对车载中控屏的控制,不仅可以提高中控屏控制的便捷性及准确性,还可以提高安全性。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (11)
1.一种车载眼动交互系统,其特征在于,包括:眼动追踪模块、眼动信息处理模块、车载显示屏及确认按钮;
所述眼动追踪模块用于采集驾驶员的眼动信息,并将所述眼动信息发送至所述眼动信息处理模块;其中,所述眼动追踪模块所在车辆的车窗玻璃具有阻隔红外光线的功能;
所述眼动信息处理模块用于对所述眼动信息进行处理,获得驾驶员的注视点,若所述注视点落在车载显示屏中,则根据所述眼动信息生成控制指令,并将所述控制指令发送至所述车载显示屏;
所述车载显示屏根据所述控制指令选中所述注视点对应的功能控件;
所述确认按钮用于当检测所述驾驶员触发的确认操作时,生成确认信息,并将所述确认信息发送至所述车载显示屏;
所述车载显示屏根据所述确认信息对选中的功能控件执行所述控制指令对应的动作。
2.根据权利要求1所述的系统,其特征在于,若所述车载显示屏在选中所述注视点对应的功能控件的设定时长内接收到所述确认信息,则对选中的功能控件执行所述控制指令对应的动作;
否则,所述车载显示屏取消对所述注视点对应的功能控件的选中操作。
3.根据权利要求1所述的系统,其特征在于,所述系统还包括报警模块;当所述眼动信息处理模块根据所述眼动信息检测到所述驾驶员注意力不集中时,所述报警模块发出报警信号,以提醒所述驾驶员。
4.根据权利要求3所述的系统,其特征在于,在所述报警模块发出报警信号之后,若所述眼动信息处理模块检测到所述驾驶员注视设定位置且所述确认按钮检测到用户触发确认操作,则控制所述报警模块停止报警。
5.根据权利要求3所述的系统,其特征在于,所述报警模块的报警方式为如下至少一种:振动或者发出报警声。
6.根据权利要求1所述的系统,其特征在于,所述确认按钮为如下任意一种:设置于车内的实体按钮、触控按钮、感应按钮或者可穿戴设备中的按钮。
7.根据权利要求6所述的系统,其特征在于,若所述确认按钮设置于车内,则设置于如下任意位置:方向盘上或者中控扶手上。
8.根据权利要求1所述的系统,其特征在于,所述眼动追踪模块为一个或者多个,且安装于如下任意位置:方向盘上方、仪表盘内、汽车A柱上或者中控屏边缘;或者安装于可穿戴设备中。
9.根据权利要求1所述的方法,其特征在于,若所述眼动追踪模块设置有两个红外光源,则所述两个红外光源采用交替点亮的方式采集眼部图像;
若所述眼动追踪模块设置有三个红外光源,则所述三个红外光源采集亮暗瞳的方式采集眼部图像。
10.一种车载眼动交互方法,其特征在于,所述方法由权利要求1-8任一所述的系统执行,包括:
获取驾驶员的眼动信息;
根据所述眼动信息确定驾驶员的注视点;
若所述注视点落在车载显示屏上,则根据所述眼动信息生成控制指令;
根据所述控制指令选中所述注视点在所述车载显示屏中对应的功能控件;
若接收到用户的确认操作,则对选中的功能控件执行所述控制指令对应的动作。
11.根据权利要求10所述的方法,其特征在于,若接收到用户的确认操作,则对选中的功能控件执行所述控制指令对应的动作,包括:
若在设定时长内接收用户的确认操作,则对选中的功能控件执行所述控制指令对应的动作;
否则,取消对所述注视点对应的功能控件的选中操作。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210038243.9A CN116483191A (zh) | 2022-01-13 | 2022-01-13 | 一种车载眼动交互系统及方法 |
PCT/CN2023/071390 WO2023134637A1 (zh) | 2022-01-13 | 2023-01-09 | 一种车载眼动交互系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210038243.9A CN116483191A (zh) | 2022-01-13 | 2022-01-13 | 一种车载眼动交互系统及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116483191A true CN116483191A (zh) | 2023-07-25 |
Family
ID=87223689
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210038243.9A Pending CN116483191A (zh) | 2022-01-13 | 2022-01-13 | 一种车载眼动交互系统及方法 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN116483191A (zh) |
WO (1) | WO2023134637A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117755076B (zh) * | 2023-12-26 | 2024-05-31 | 广州车全影电子科技有限公司 | 汽车仪表盘控制方法、装置、存储介质及电子设备 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120169582A1 (en) * | 2011-01-05 | 2012-07-05 | Visteon Global Technologies | System ready switch for eye tracking human machine interaction control system |
CN105128862A (zh) * | 2015-08-18 | 2015-12-09 | 上海擎感智能科技有限公司 | 一种车载终端眼球识别控制方法及系统 |
CN109597489A (zh) * | 2018-12-27 | 2019-04-09 | 武汉市天蝎科技有限公司 | 一种近眼显示设备的眼动追踪交互的方法及系统 |
CN111045519A (zh) * | 2019-12-11 | 2020-04-21 | 支付宝(杭州)信息技术有限公司 | 一种基于眼动追踪的人机交互方法、装置和设备 |
CN111949131B (zh) * | 2020-08-17 | 2023-04-25 | 陈涛 | 一种基于眼动追踪技术的眼动交互方法、系统及设备 |
CN112817441A (zh) * | 2021-01-14 | 2021-05-18 | 深圳卡多希科技有限公司 | 一种按键与人眼识别结合的方法和装置 |
-
2022
- 2022-01-13 CN CN202210038243.9A patent/CN116483191A/zh active Pending
-
2023
- 2023-01-09 WO PCT/CN2023/071390 patent/WO2023134637A1/zh unknown
Also Published As
Publication number | Publication date |
---|---|
WO2023134637A1 (zh) | 2023-07-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4772935B2 (ja) | 注意状態判定装置、方法およびプログラム | |
CN110914884B (zh) | 车辆控制器和车辆控制方法 | |
CN112960001A (zh) | 驾驶模式的切换方法、装置、车辆及存储介质 | |
US7347551B2 (en) | Optical system for monitoring eye movement | |
CN106471419B (zh) | 管理信息显示 | |
JP6184989B2 (ja) | 目の動きをモニターするバイオセンサ、コミュニケーター及びコントローラー並びにそれらの使用方法 | |
US9117124B2 (en) | Driving attention amount determination device, method, and computer program | |
US8487775B2 (en) | Method and apparatus for determining and analyzing a location of visual interest | |
WO2014073645A1 (ja) | 生体情報計測装置及びそれを用いた入力装置 | |
JP2012141988A (ja) | 視標追跡人間機械相互作用制御システムのためのシステム準備スイッチ | |
JPH07249197A (ja) | 人物状態検出装置 | |
EP3654143B1 (en) | Method, apparatus and system for determining line of sight, and wearable eye movement device | |
US11447140B2 (en) | Cognitive tunneling mitigation device for driving | |
WO2023134637A1 (zh) | 一种车载眼动交互系统及方法 | |
US20130187845A1 (en) | Adaptive interface system | |
KR101728707B1 (ko) | 글라스형 웨어러블 디바이스를 이용한 실내 전자기기 제어방법 및 제어프로그램 | |
WO2020070839A1 (ja) | ヘッドマウントディスプレイ及びヘッドマウントディスプレイシステム | |
WO2006011870A1 (en) | Optical system for monitoring eye movement | |
KR102072910B1 (ko) | 졸음 인식 장치를 이용한 졸음 인식 방법 | |
KR20160016149A (ko) | 글라스형 웨어러블 디바이스를 이용한 졸음방지시스템 및 졸음방지방법 | |
US11793434B1 (en) | System to perform visual recognition and vehicle adaptation | |
KR20200006145A (ko) | 졸음 인식 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |