CN107463259B - 车载显示设备以及用于车载显示设备的交互方法、装置 - Google Patents
车载显示设备以及用于车载显示设备的交互方法、装置 Download PDFInfo
- Publication number
- CN107463259B CN107463259B CN201710667494.2A CN201710667494A CN107463259B CN 107463259 B CN107463259 B CN 107463259B CN 201710667494 A CN201710667494 A CN 201710667494A CN 107463259 B CN107463259 B CN 107463259B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- electromyographic
- driver
- signal
- control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
- B60R11/0229—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for displays, e.g. cathodic tubes
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Neurosurgery (AREA)
- General Health & Medical Sciences (AREA)
- Neurology (AREA)
- Health & Medical Sciences (AREA)
- Dermatology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Mechanical Engineering (AREA)
- User Interface Of Digital Computer (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本公开涉及一种车载显示设备以及用于车载显示设备的交互方法、装置。所述方法包括:获取驾驶员的肌电信号;根据所获取的肌电信号判断所述驾驶员是否有肌电控制的意向;当判定所述驾驶员有肌电控制的意向时,根据所获取的肌电信号控制所述车载显示设备中的页面浏览动作;当判定所述驾驶员没有肌电控制的意向时,获取所述驾驶员的脑电信号;根据所获取的脑电信号控制与所述车载显示设备显示的功能图标所对应的车载设备执行相应的功能。这样,将车载显示设备中的页面浏览动作和车载设备功能的执行分别采用了两种基于生物特征的控制信号,并且确定了这两种不同的控制信号的优先级别。因此,丰富了人车交互的控制指令,使交互功能更加全面、准确。
Description
技术领域
本公开涉及车辆自动控制领域,具体地,涉及一种车载显示设备以及用于车载显示设备的交互方法、装置。
背景技术
人车交互系统实现了人与车之间的对话功能,是信息化技术发展的产物。通过交互系统,驾驶员能够及时了解车辆状态信息(例如,车速、里程、当前地理位置、车辆保养信息)和路况信息,还能够进行定速巡航设置、蓝牙免提设置、空调及音响的设置等。
通常,用户可以通过实体按键、旋钮、触摸屏等介质的人车交互方式,实现对信息的获取和对车载设备的控制。例如调节空调温度时,可以旋转中控台上的旋钮进行调节。随着车辆信息化和车联网服务的发展,车辆交互的信息量较以往有了大幅增加。
近来,新兴的人车交互方式中已经引入了生物特征识别技术,例如,手势识别、眼动识别等。手势识别系统的相关技术中,可以采用计算机视觉方案,通过摄像头捕捉手部动作,进行识别后控制车载设备执行对应的操作。眼动识别系统也可以采用计算机视觉方案,通过摄像头追踪眼球运动,识别出眼睛注视方向后控制车载设备执行对应的操作。
发明内容
本公开的目的是提供一种简单高效的车载显示设备以及用于车载显示设备的交互方法、装置。
为了实现上述目的,本公开提供一种用于车载显示设备的交互方法。所述方法包括:获取驾驶员的肌电信号;根据所获取的肌电信号判断所述驾驶员是否有肌电控制的意向;当判定所述驾驶员有肌电控制的意向时,根据所获取的肌电信号控制所述车载显示设备中的页面浏览动作;当判定所述驾驶员没有肌电控制的意向时,获取所述驾驶员的脑电信号;根据所获取的脑电信号控制与所述车载显示设备显示的功能图标所对应的车载设备执行相应的功能。
可选地,所述根据所获取的肌电信号判断所述驾驶员是否有肌电控制的意向的步骤包括:当所获取的肌电信号的积分肌电值大于预定的积分肌电阈值时,判定所述驾驶员有肌电控制的意向。
可选地,所述当判定所述驾驶员有肌电控制的意向时,根据所获取的肌电信号控制所述车载显示设备中的页面浏览动作的步骤包括:当判定所述驾驶员有肌电控制的意向时,将所述肌电信号的信号特征输入分类器,生成分类结果;根据所述分类器生成的分类结果控制所述车载显示设备中的页面浏览动作。
可选地,所述根据所获取的脑电信号控制与所述车载显示设备显示的功能图标所对应的车载设备执行相应的功能的步骤包括:根据所获取的稳态视觉诱发电位,控制与所述车载显示设备显示的功能图标所对应的车载设备执行相应的功能。
本公开还提供一种用于车载显示设备的交互装置。所述装置包括:肌电信号获取模块,用于获取驾驶员的肌电信号;判断模块,与所述肌电信号获取模块连接,用于根据所述肌电信号获取模块获取的肌电信号判断所述驾驶员是否有肌电控制的意向;页面浏览控制模块,与所述判断模块连接,用于当所述判断模块判定所述驾驶员有肌电控制的意向时,根据所获取的肌电信号控制所述车载显示设备中的页面浏览动作;脑电信号获取模块,与所述判断模块连接,用于当所述判断模块判定所述驾驶员没有肌电控制的意向时,获取所述驾驶员的脑电信号;车载设备控制模块,与所述脑电信号获取模块连接,用于根据所述脑电信号获取模块获取的脑电信号控制与所述车载显示设备显示的功能图标所对应的车载设备执行相应的功能。
本公开还提供一种车载显示设备,包括本公开提供的上述装置。
可选地,所述车载显示设备还包括:闪烁控制模块,用于控制所述车载显示设备显示的功能图标以预定的频率闪烁。
通过上述技术方案,根据肌电信号控制车载显示设备中的页面浏览动作,并仅在判定驾驶员没有肌电控制的意向时,才根据驾驶员的脑电信号控制车载设备执行相应的功能。也就是,将车载显示设备中的页面浏览动作和车载显示设备显示的功能图标所对应的车载设备功能的执行分别采用了两种不同的基于生物特征的控制信号,并且确定了这两种控制信号的优先级别。因此,丰富了人车交互的控制指令,使交互功能更加全面、准确。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本公开,但并不构成对本公开的限制。在附图中:
图1是一示例性实施例提供的用于车载显示设备的交互方法的流程图;
图2是另一示例性实施例提供的用于车载显示设备的交互方法的流程图;
图3是又一示例性实施例提供的用于车载显示设备的交互方法的流程图;
图4是又一示例性实施例提供的用于车载显示设备的交互方法的流程图;
图5为一示例性实施例提供的基本视觉信息的示意图;
图6是一示例性实施例提供的导航的视觉刺激信号闪烁的示意图;
图7a-图7d是一示例性实施例提供的四种功能图标对应的视觉刺激信号的闪烁频率的示意图;
图8是一示例性实施例提供的用于车载显示设备的交互装置的框图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本公开,并不用于限制本公开。
车载显示设备安装在车辆的驾驶室中,是指用于在其中显示影音文件、导航信息、倒车影像等的设备。此外,车载显示设备还可以集成有多种车载设备的人车交互功能。例如,驾驶员可以通过在车载显示设备中点击电视机、音箱、照明灯、蓝牙、收音机等车载设备的图标,来控制这些车载设备各个功能的开启或关闭。车载显示设备通常安装在仪表盘附近,也可以安装在其他地方,方便驾驶员在各种情况下使用。
图1是一示例性实施例提供的用于车载显示设备的交互方法的流程图。如图1所示,所述方法可以包括以下步骤。
在步骤S11中,获取驾驶员的肌电信号。
在步骤S12中,根据所获取的肌电信号判断驾驶员是否有肌电控制的意向。
在步骤S13中,当判定所述驾驶员有肌电控制的意向时,根据所获取的肌电信号控制车载显示设备中的页面浏览动作。
在步骤S14中,当判定驾驶员没有肌电控制的意向时,获取驾驶员的脑电信号。
在步骤S15中,根据所获取的脑电信号控制与车载显示设备显示的功能图标所对应的车载设备执行相应的功能。
其中,肌电信号可以包括表面肌电信号(surface Electromyography,sEMG)。sEMG是在皮肤表面记录下来的神经肌肉系统活动时的生物电信号,能够充分体现肌肉的运动状态。
通过表面肌电信号的特征能够实现肌肉运动状态的准确识别,从而进一步判断出驾驶员的机电控制意向。可以通过时域的积分肌电值、均方根值,频域的平均功率频率、中值频率,时频分析的小波变换,非线性动力学的熵等方法对肌电信号进行特征的提取。当表面肌电信号的特征满足预设的条件时,可以判定所述驾驶员有肌电控制的意向。所述预设的条件可以根据经验或实验得出。
具体地,可以通过贴在手臂肌肉上的电极来获取表面肌电信号,并且,可以在手臂的多块肌肉上粘贴多个电极来获取多块肌肉的表面肌电信号。当获取到多块肌肉的表面肌电信号时,就可以根据其中不同的组合,来对应得出多种控制信号。例如,可以在以下七块肌肉上粘贴电极来获取七个通道的表面肌电信号:指浅屈肌、指伸肌、肱桡肌、桡侧腕屈肌、桡侧腕短伸肌、尺侧腕屈肌和尺侧腕伸肌。
可以预先设定不同的表面肌电信号特征的组合对应着驾驶员的不同手势。手势例如包括下表1中的“握拳”等。手势及其对应的页面浏览动作如表1所示。
表1手势及其对应的页面浏览动作
手势 | 握拳 | 展拳 | 腕屈 | 腕伸 | 前臂内旋 | 前臂外旋 |
页面浏览动作 | 页面缩小 | 页面放大 | 页面返回 | 页面前进 | 页面左翻 | 页面右翻 |
其中,页面浏览动作是指用于指示更改显示页面浏览形式的动作,其并不涉及到通过显示页面中的图标来指示车载设备执行相应功能的动作。
可以设置确定驾驶员具有肌电控制的意向的条件。例如,当肌电信号是从多块肌肉处获取到的多通道的肌电信号时,可以设置为只要其中任意一个通道的肌电信号满足预定的条件,则可以认为驾驶员具有肌电控制的意向。
根据表面肌电信号的特征,识别到驾驶员具有肌电控制的意向,并且进一步确定页面浏览动作之后,就可以控制车载显示装置执行该页面浏览动作。
当表面肌电信号的特征不满足预设的条件时,可以判定驾驶员没有肌电控制的意向。此时再获取驾驶员的脑电信号。脑电信号(Electroencephalogram,EEG)是大脑神经细胞群的电生理活动在头皮表面或大脑皮层上的整体反映,是对人脑进行意向识别的载体和媒介。例如,可以通过放置在头皮表面的电极来获取头皮脑电信号。
其中,车载显示设备的显示屏中可以显示多个功能图标,功能图标可以对应着车载设备,例如,导航设备、收音机、蓝牙设备、电视机等。在相关技术中,用户可以通过按下按键或点击触摸屏来控制对应的车载设备执行相应功能。而本公开中,可以用脑电信号代替在车载显示设备中手动发送指令,控制车载设备执行其功能。例如,一种预定特征的脑电信号可以代替用户点击触摸屏上显示的收音机图标,来触发开启或关闭收音机。
其中,在获取到脑电信号以后,可以进行预处理,例如可以通过频带滤波器(高通、低通、带通等)、空间滤波器(拉普拉斯滤波器、共平均参考等)以及分离噪声分量算法(独立分量分析、主成分分析等)等,可以用以上一种方法或多种方法的结合对脑电信号进行预处理。这样,可降低噪声的影响。
通过上述技术方案,根据肌电信号控制车载显示设备中的页面浏览动作,并仅在判定驾驶员没有肌电控制的意向时,才根据驾驶员的脑电信号控制车载设备执行相应的功能。也就是,将车载显示设备中的页面浏览动作和车载显示设备显示的功能图标所对应的车载设备功能的执行分别采用了两种不同的基于生物特征的控制信号,并且确定了这两种控制信号的优先级别。因此,丰富了人车交互的控制指令,使交互功能更加全面、准确。
图2是另一示例性实施例提供的用于车载显示设备的交互方法的流程图。如图2所示,在图1的基础上,根据所获取的肌电信号判断驾驶员是否有肌电控制的意向的步骤(步骤S12)可以包括步骤S121。
在步骤S121中,当所获取的肌电信号的积分肌电值大于预定的积分肌电阈值时,判定驾驶员有肌电控制的意向。
其中,积分肌电值为肌电信号经整流滤波后单位时间内曲线下面积的总和,它能够表征肌电信号振幅(即能量)在时间维度上的变化特征。例如,对于离散的肌电值,积分肌电值的计算公式如下式所示:
其中,iEMG表示积分肌电值,EMG(i)表示第i个肌电信号的数值,N表示肌电信号的总个数。|·|表示绝对值。
该实施例中,以积分肌电值作为信号特征来表示肌电信号的强弱,并据此判断驾驶员的意图,计算简单,因此数据处理速度快,响应及时。
图3是又一示例性实施例提供的用于车载显示设备的交互方法的流程图。如图3所示,在图1的基础上,当判定驾驶员有肌电控制的意向时,根据所获取的肌电信号控制车载显示设备中的页面浏览动作的步骤(步骤S13)可以包括以下步骤。
在步骤S131中,当判定驾驶员有肌电控制的意向时,将所述肌电信号的信号特征输入分类器,生成分类结果。
在步骤S132中,根据分类器生成的分类结果控制车载显示设备中的页面浏览动作。
其中,如果通过多通道获取了多块肌肉的肌电信号,并且确定驾驶员有肌电控制的意向(例如,当至少一个通道的肌电信号的积分肌电值大于对应的积分肌电阈值时,可以确定驾驶员有肌电控制的意向),则可以将各通道肌电信号的信号特征(例如,积分肌电值)送入分类器来识别出用户具体的动作类型。
分类器可以预先制作好,分类方法可以包括线性判别分析法、神经网络法、极限学习机法、支持向量机法等等。该实施例中,通过预先制作的分类器,简单快速地得出驾驶员肌电控制的意向对应的具体浏览指令,因此,因此数据处理速度快,响应及时。
图4是又一示例性实施例提供的用于车载显示设备的交互方法的流程图。如图4所示,在图1的基础上,根据所获取的脑电信号控制与车载显示设备显示的功能图标所对应的车载设备执行相应的功能的步骤(步骤S15)可以包括步骤S151。
在步骤S151中,根据所获取的稳态视觉诱发电位,控制与车载显示设备显示的功能图标所对应的车载设备执行相应的功能。
视觉诱发电位(Visual Evoked Potential,VEP)是大脑皮质枕叶区对视刺激发生的电反应,代表了视网膜接受刺激,经视路传导至枕叶皮层而引起的电位变化。稳态视觉诱发电位(Steady-state Visual Evoked Potential,SSVEP)是VEP的一种。当人注视以一定频率持续闪烁的视觉刺激信号时,大脑枕叶的视觉区域就会产生与视觉刺激信号频率相同或倍频的脑电信号。因此通过对比视觉刺激信号的频率与用户脑电信号的频率,就可以确定用户是否注视该视觉刺激信号。SSVEP主要产生在大脑枕叶,因此可以将检测电极附接到枕叶,可检测用户接收到视觉刺激信号时产生的SSVEP。
在车载显示设备的显示界面中,可以在基本视觉信息的基础上,使多个视觉刺激信号以不同的频率进行闪烁。基本视觉信息可以为向用户提供所连接的车载设备的内容,基本视觉信息可以包括显示界面上的文字提示信息、图像信息等。图5为一示例性实施例提供的基本视觉信息的示意图。如图5所示,该界面中显示了导航、收音机、蓝牙、电视四种车载设备的文字信息,即四种基本视觉信息。
视觉刺激信号以不同的频率进行闪烁,以刺激用户大脑产生SSVEP。图6是一示例性实施例提供的导航的视觉刺激信号闪烁的示意图。其中,地球仪图像为导航图标。具有导航图标的图案和不具有导航图标的图案交替出现,从而形成具有一定频率的闪烁信号。
为了确定用户注视哪个功能图标,各个功能图标对应的视觉刺激信号可以分别以不同的频率闪烁。图7a-图7d是一示例性实施例提供的四种功能图标对应的视觉刺激信号的闪烁频率的示意图。如图7a-图7d所示,将导航、收音机、蓝牙、电视四个功能图标的基本视觉信息以及对应的视觉刺激信号都在时间轴(标注有时间点t1、t2、t3、t4、t5)上标出。其中,在两个连续的基本视觉信息的帧之间插入不同个数的视觉刺激信号的帧,以形成不同的闪烁频率。
具体地,可以提取SSVEP响应频率,用提取的SSVEP响应频率与视觉刺激信号的闪烁频率相比对,闪烁频率相匹配(例如,相同或在预定范围内)的视觉刺激信号,其对应的图标可以认为是用户正在注视的图标。
在提取SSVEP响应频率时,可以用功率谱密度分析法,即在时间窗中对信号进行傅里叶变换,得到其功率谱并通过功率谱幅值的比较来搜索特定的频率分量。另外,还可以采用典型相关分析(Canonical Correlation Analysis,CCA)方法来提取SSVEP响应频率。CCA是研究两组变量间互相关系的统计分析方法。原理就是寻找两组变量各自的线性组合(称作典型变量),然后利用典型变量间的相关关系来反映原来两组变量的相关关系。应用CCA可以得到多通道脑电信号和与视觉刺激信号频率相关的参考信号之间相关关系,相关关系最大值对应的参考频率即是SSVEP的响应频率。
识别驾驶员注视的功能图标可以包括两个步骤。第一,根据上述稳态视觉诱发电位的相关方法识别出用户所注视的功能图标的闪烁频率;第二,确定出当前显示界面中对应于该闪烁频率的功能图标。识别出所注视的功能图标之后,就可以控制与车载显示设备显示的功能图标所对应的车载设备执行相应的功能。
例如,当前页面为主界面,识别出驾驶员所注视的功能图标的闪烁频率为13Hz,并且在主界面上闪烁频率为13Hz的功能图标为空调图标,则确定驾驶员注视的功能图标为空调图标。此时,可以发出进入空调调控界面的控制指令。
又如,当前页面为空调调控界面,识别出驾驶员所注视的功能图标的闪烁频率为13Hz,并且在空调调控界面上闪烁频率为13Hz的功能图标为升温图标,则确定驾驶员注视的功能图标为空调升温图标。此时,可以发出控制空调温度升高1℃的指令。
该实施例中,可以获取驾驶员的sEMG信号和SSVEP信号,优先根据sEMG信号控制车载显示设备中的页面浏览动作,并在根据sEMG信号判定驾驶员没有肌电控制的意向时,根据SSVEP信号控制车载显示设备中功能图标所对应的车载设备执行相应的功能。当需要执行页面浏览动作时,用户也会注视车载显示设备的显示屏。根据上述这样的优先级顺序,就不会出现用户因为要进行页面浏览动作而注视显示屏后产生SSVEP信号,而系统误根据此SSVEP信号执行对应的功能的情况,使得用上述两种生物特征的控制信号进行人机交互时,误差率降低。
本公开还提供一种用于车载显示设备的交互装置。图8是一示例性实施例提供的用于车载显示设备的交互装置的框图。如图8所示,所述用于车载显示设备的交互装置10可以包括肌电信号获取模块11、判断模块12、页面浏览控制模块13、脑电信号获取模块14、车载设备控制模块15。
肌电信号获取模块11用于获取驾驶员的肌电信号。
判断模块12与肌电信号获取模块11连接,用于根据肌电信号获取模块11获取的肌电信号判断驾驶员是否有肌电控制的意向。
页面浏览控制模块13与判断模块12连接,用于当判断模块12判定驾驶员有肌电控制的意向时,根据所获取的肌电信号控制车载显示设备中的页面浏览动作。
脑电信号获取模块14与判断模块12连接,用于当判断模块12判定驾驶员没有肌电控制的意向时,获取驾驶员的脑电信号。
车载设备控制模块15与脑电信号获取模块14连接,用于根据脑电信号获取模块14获取的脑电信号控制与车载显示设备显示的功能图标所对应的车载设备执行相应的功能。
可选地,判断模块12可以包括判断子模块。
判断子模块用于当肌电信号获取模块11获取的肌电信号的积分肌电值大于预定的积分肌电阈值时,判定驾驶员有肌电控制的意向。
可选地,页面浏览控制模块13可以包括输入子模块和浏览控制子模块。
输入子模块用于当判断模块12判定驾驶员有肌电控制的意向时,将所述肌电信号的信号特征输入分类器,生成分类结果。
浏览控制子模块用于根据分类器生成的分类结果控制车载显示设备中的页面浏览动作。
可选地,车载设备控制模块15可以包括车载设备控制子模块。
车载设备控制子模块用于根据脑电信号获取模块14获取的稳态视觉诱发电位,控制车载显示设备中功能图标所对应的车载设备执行相应的功能。
通过上述技术方案,根据肌电信号控制车载显示设备中的页面浏览动作,并仅在判定驾驶员没有肌电控制的意向时,才根据驾驶员的脑电信号控制车载设备执行相应的功能。也就是,将车载显示设备中的页面浏览动作和车载显示设备中功能图标所对应的车载设备功能的执行分别采用了两种不同的基于生物特征的控制信号,并且确定了这两种控制信号的优先级别。因此,丰富了人车交互的控制指令,使交互功能更加全面、准确。
本公开还提供一种车载显示设备,包括上述装置10。
可选地,车载显示设备还可以包括闪烁控制模块。
闪烁控制模块用于控制车载显示设备中显示的功能图标以预定的频率闪烁。
其中,车载显示设备可以由液晶显示器、发光二极管、阴极射线管等来实现,也可以采用抬头显示(Head Up Display,HUD)技术,将视觉信息投射到挡风玻璃上,呈现在驾驶员面前。该实施例对应于图4的实施例,闪烁控制模块能够为利用稳态视觉诱发电位的功能图像识别方法提供闪烁的功能图标。
以上结合附图详细描述了本公开的优选实施方式,但是,本公开并不限于上述实施方式中的具体细节,在本公开的技术构思范围内,可以对本公开的技术方案进行多种简单变型,这些简单变型均属于本公开的保护范围。
另外需要说明的是,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合。为了避免不必要的重复,本公开对各种可能的组合方式不再另行说明。
此外,本公开的各种不同的实施方式之间也可以进行任意组合,只要其不违背本公开的思想,其同样应当视为本公开所公开的内容。
Claims (6)
1.一种用于车载显示设备的交互方法,其特征在于,所述方法包括:
获取驾驶员的肌电信号;
根据所获取的肌电信号判断所述驾驶员是否有肌电控制的意向;
当判定所述驾驶员有肌电控制的意向时,根据所获取的肌电信号控制所述车载显示设备中的页面浏览动作,所述肌电信号包括多块肌肉的表面肌电信号,不同的表面肌电信号特征的组合对应着不同的页面浏览动作;
当判定所述驾驶员没有肌电控制的意向时,获取所述驾驶员的脑电信号;
根据所获取的脑电信号控制与所述车载显示设备显示的功能图标所对应的车载设备执行相应的功能,
其中,所述根据所获取的肌电信号判断所述驾驶员是否有肌电控制的意向的步骤包括:当所获取的肌电信号的积分肌电值大于预定的积分肌电阈值时,判定所述驾驶员有肌电控制的意向,
其中,所述当判定所述驾驶员有肌电控制的意向时,根据所获取的肌电信号控制所述车载显示设备中的页面浏览动作的步骤包括:
当判定所述驾驶员有肌电控制的意向时,将所述肌电信号的信号特征输入分类器,生成分类结果;
根据所述分类器生成的分类结果控制所述车载显示设备中的页面浏览动作,
所述积分肌电值的计算公式如下式所示:
其中,iEMG表示积分肌电值,EMG(i)表示第i个肌电信号的数值,N表示肌电信号的总个数,|·|表示绝对值。
2.根据权利要求1所述的方法,其特征在于,所述根据所获取的脑电信号控制与所述车载显示设备显示的功能图标所对应的车载设备执行相应的功能的步骤包括:
根据所获取的稳态视觉诱发电位,控制与所述车载显示设备显示的功能图标所对应的车载设备执行相应的功能。
3.一种用于车载显示设备的交互装置,其特征在于,所述装置包括:
肌电信号获取模块,用于获取驾驶员的肌电信号;
判断模块,与所述肌电信号获取模块连接,用于根据所述肌电信号获取模块获取的肌电信号判断所述驾驶员是否有肌电控制的意向;
页面浏览控制模块,与所述判断模块连接,用于当所述判断模块判定所述驾驶员有肌电控制的意向时,根据所获取的肌电信号控制所述车载显示设备中的页面浏览动作,所述肌电信号包括多块肌肉的表面肌电信号,不同的表面肌电信号特征的组合对应着不同的页面浏览动作;
脑电信号获取模块,与所述判断模块连接,用于当所述判断模块判定所述驾驶员没有肌电控制的意向时,获取所述驾驶员的脑电信号;
车载设备控制模块,与所述脑电信号获取模块连接,用于根据所述脑电信号获取模块获取的脑电信号控制与所述车载显示设备显示的功能图标所对应的车载设备执行相应的功能,
其中,所述判断模块包括:
判断子模块,用于当所述肌电信号获取模块获取的肌电信号的积分肌电值大于预定的积分肌电阈值时,判定所述驾驶员有肌电控制的意向,
其中,所述页面浏览控制模块包括:
输入子模块,用于当所述判断模块判定所述驾驶员有肌电控制的意向时,将所述肌电信号的信号特征输入分类器,生成分类结果;
浏览控制子模块,用于根据所述分类器生成的分类结果控制所述车载显示设备中的页面浏览动作,
所述积分肌电值的计算公式如下式所示:
其中,iEMG表示积分肌电值,EMG(i)表示第i个肌电信号的数值,N表示肌电信号的总个数,|·|表示绝对值。
4.根据权利要求3所述的装置,其特征在于,所述车载设备控制模块包括:
车载设备控制子模块,用于根据所述脑电信号获取模块获取的稳态视觉诱发电位,控制与所述车载显示设备显示的功能图标所对应的车载设备执行相应的功能。
5.一种车载显示设备,其特征在于,包括权利要求3或4所述的装置。
6.根据权利要求5所述的车载显示设备,其特征在于,所述车载显示设备还包括:
闪烁控制模块,用于控制所述车载显示设备显示的功能图标以预定的频率闪烁。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710667494.2A CN107463259B (zh) | 2017-08-07 | 2017-08-07 | 车载显示设备以及用于车载显示设备的交互方法、装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710667494.2A CN107463259B (zh) | 2017-08-07 | 2017-08-07 | 车载显示设备以及用于车载显示设备的交互方法、装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107463259A CN107463259A (zh) | 2017-12-12 |
CN107463259B true CN107463259B (zh) | 2021-03-16 |
Family
ID=60547367
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710667494.2A Active CN107463259B (zh) | 2017-08-07 | 2017-08-07 | 车载显示设备以及用于车载显示设备的交互方法、装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107463259B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109799710B (zh) * | 2019-02-02 | 2021-12-03 | 南京林业大学 | 基于多方位肌电信号的老年座椅运动控制方法和系统 |
CN113283010A (zh) * | 2021-06-03 | 2021-08-20 | 江苏徐工工程机械研究院有限公司 | 一种基于用户行为研究的操纵交互设计方法、控制装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101036601A (zh) * | 2007-04-24 | 2007-09-19 | 杭州电子科技大学 | 二自由度肌电假手实时控制装置及控制方法 |
CN101332136A (zh) * | 2008-08-01 | 2008-12-31 | 杭州电子科技大学 | 脑电肌电联合控制的电动假手以及控制方法 |
CN102349037A (zh) * | 2009-03-13 | 2012-02-08 | 微软公司 | 用于人机接口的基于肌电图的可佩戴控制器 |
WO2012170816A2 (en) * | 2011-06-09 | 2012-12-13 | Prinsell Jeffrey | Sleep onset detection system and method |
CN105522986A (zh) * | 2014-10-15 | 2016-04-27 | 现代摩比斯株式会社 | 利用肌电信号的车辆控制装置及方法 |
CN105748068A (zh) * | 2016-02-26 | 2016-07-13 | 宁波原子智能技术有限公司 | 生物电管理系统及其方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100706065B1 (ko) * | 2004-02-17 | 2007-04-11 | 재단법인 산재의료관리원 | 근전도를 이용한 사용자 의도 인식 방법 및 그 시스템 |
CN100546553C (zh) * | 2007-05-18 | 2009-10-07 | 天津大学 | 采用肌电和脑电协同控制的假肢手及其控制方法 |
CN103431976B (zh) * | 2013-07-19 | 2016-05-04 | 燕山大学 | 基于肌电信号反馈的下肢康复机器人系统及其控制方法 |
CN107015632A (zh) * | 2016-01-28 | 2017-08-04 | 南开大学 | 基于脑电驾驶的车辆控制方法、系统 |
-
2017
- 2017-08-07 CN CN201710667494.2A patent/CN107463259B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101036601A (zh) * | 2007-04-24 | 2007-09-19 | 杭州电子科技大学 | 二自由度肌电假手实时控制装置及控制方法 |
CN101332136A (zh) * | 2008-08-01 | 2008-12-31 | 杭州电子科技大学 | 脑电肌电联合控制的电动假手以及控制方法 |
CN102349037A (zh) * | 2009-03-13 | 2012-02-08 | 微软公司 | 用于人机接口的基于肌电图的可佩戴控制器 |
WO2012170816A2 (en) * | 2011-06-09 | 2012-12-13 | Prinsell Jeffrey | Sleep onset detection system and method |
CN105522986A (zh) * | 2014-10-15 | 2016-04-27 | 现代摩比斯株式会社 | 利用肌电信号的车辆控制装置及方法 |
CN105748068A (zh) * | 2016-02-26 | 2016-07-13 | 宁波原子智能技术有限公司 | 生物电管理系统及其方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107463259A (zh) | 2017-12-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zhou et al. | A hybrid asynchronous brain-computer interface combining SSVEP and EOG signals | |
Chang et al. | Eliciting dual-frequency SSVEP using a hybrid SSVEP-P300 BCI | |
Bigdely-Shamlo et al. | Brain activity-based image classification from rapid serial visual presentation | |
Frantzidis et al. | Toward emotion aware computing: an integrated approach using multichannel neurophysiological recordings and affective visual stimuli | |
Pasqualotto et al. | Toward functioning and usable brain–computer interfaces (BCIs): A literature review | |
Ren et al. | Affective assessment by digital processing of the pupil diameter | |
Lin et al. | Computational intelligent brain computer interaction and its applications on driving cognition | |
CN107463259B (zh) | 车载显示设备以及用于车载显示设备的交互方法、装置 | |
Kosmyna et al. | AttentivU: Designing EEG and EOG compatible glasses for physiological sensing and feedback in the car | |
Zhang et al. | Evaluation of color modulation in visual P300-speller using new stimulus patterns | |
CN110584657A (zh) | 一种注意力检测方法及系统 | |
CN115454238A (zh) | 一种基于ssvep-mi融合的人车交互控制方法、装置及汽车 | |
CN114138109B (zh) | 基于脑机交互的ar设备 | |
Gong et al. | An idle state-detecting method based on transient visual evoked potentials for an asynchronous ERP-based BCI | |
KR101465878B1 (ko) | 안정-상태 시각 유발 전위를 이용한 객체 제어 방법 및 장치 | |
CN110688013A (zh) | 一种基于ssvep的英文键盘拼写系统及拼写方法 | |
Schirmer et al. | Gentle stroking elicits somatosensory ERP that differentiates between hairy and glabrous skin | |
Tello et al. | Comparison between wire and wireless EEG acquisition systems based on SSVEP in an Independent-BCI | |
Bang et al. | Interpretable convolutional neural networks for subject-independent motor imagery classification | |
Liu et al. | An SSVEP-based BCI with LEDs visual stimuli using dynamic window CCA algorithm | |
Antelis et al. | Detection of SSVEP based on empirical mode decomposition and power spectrum peaks analysis | |
CN112783314A (zh) | 基于ssvep的脑机接口刺激范式生成、检测方法、系统、介质、终端 | |
Samadi et al. | EEG signal processing for eye tracking | |
Hidalgo‐Muñoz et al. | Affective valence detection from EEG signals using wrapper methods | |
Pires | Biosignal classification for human interface with devices and surrounding environment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |