CN112141116A - 利用错误监测的移动体控制方法和装置 - Google Patents

Abstract

本发明提供一种基于错误监测的移动体控制方法和装置。该移动体控制方法包括：在预定时间内收集针对移动体内的至少一个乘客的事件相关电位(ERP)；通过分析在预定时间内收集的ERP来确定错误因子；以及基于错误因子来执行移动体反馈。

Description

利用错误监测的移动体控制方法和装置

相关申请的交叉引用

本申请要求于2019年6月26日提交的申请号为10-2019-0076122的韩国专利申请的优先权和权益，该韩国专利申请的全部内容通过引用并入本文。

技术领域

本公开涉及一种移动体控制方法和装置。更具体地，本公开涉及一种基于错误监测的移动体控制方法和装置。

背景技术

该部分中的陈述仅提供与本公开相关的背景信息，并且可能不构成现有技术。

车辆(或移动体)作为一种交通工具，是现代生活中非常重要的手段和工具。此外，车辆本身可以被认为是赋予某人意义的特殊事物。

随着技术的进步，由车辆提供的功能也逐渐发展。例如，近年来，车辆不仅将乘客运送到目的地，还满足了乘客更快且更安全地到达目的地的需求。此外，为了满足乘客的审美感和舒适度，向车辆系统添加了新装置。另外，还开发了诸如方向盘、变速器和加速/减速装置的现有装置，以便可以向用户提供更多功能。

同时，脑-计算机接口或脑机接口是通过利用脑波信号根据人的意图来控制计算机或机器的领域。ERP(事件相关电位(Event-Related Potential))与认知功能(cognitivefunction)密切相关。

发明内容

本公开提供了一种利用错误监测的移动体控制方法和装置。

在一种形式中，本公开提供了一种利用响应锁定ERP(事件相关电位)执行错误监测从而反映乘客需求的移动体控制方法和装置。

本公开的技术目的不限于上述技术目的，并且本领域技术人员通过以下描述将清楚地理解未提及的其它技术目的。

根据本公开的一种形式，一种移动体控制装置可以包括：感测单元，在预定时间内收集针对移动体内的至少一个乘客的ERP；错误监测单元，分析收集的ERP，并且基于分析的乘客的ERP来确定错误因子；以及控制单元，基于错误因子来执行移动体反馈。

在本公开的一种形式中，事件相关电位(ERP)可以包括错误相关负电位(Error-Related Negativity，ERN)和错误正电位(Error Positivity，Pe)中的至少一个。

在本公开的一种形式中，事件相关电位(ERP)可以进一步包括正确相关负电位(Correct-Related Negativity，CRN)和正确正电位(Correct Positivity，Pc)中的至少一个。

在本公开的一种形式中，错误监测单元可以基于收集的引发ERP的乘客和除该乘客之外的他人中的至少一个的ERP和不同于该移动体的移动体的操作来确定错误因子。

在本公开的一种形式中，移动体反馈可以用于控制移动体中包括的预定装置。

在本公开的一种形式中，错误监测单元可以将在预定时间内收集的ERP的振幅与预定阈值进行比较。

在本公开的一种形式中，可以根据ERP的类型和获得ERP的乘客中的至少一个来不同地确定预定阈值。

在本公开的一种形式中，当在预定时间内收集的ERP的振幅超出预定阈值范围时，错误监测单元可以确定预定事件为针对乘客的错误因子。

在本公开的一种形式中，预定事件从多个事件之间的映射关系以及ERP的振幅与预定阈值之间的比较结果得出。

在本公开的一种形式中，预定阈值可以包括第一阈值和第二阈值，预定事件可以包括第一事件、第二事件和第三事件。当收集的ERP的振幅超过第一阈值时，预定事件可以与第一事件映射。当收集的ERP的振幅小于第二阈值时，预定事件可以与第三事件映射。当预定事件既不是第一事件也不是第三事件时，预定事件可以与第二事件映射。

在本公开的一种形式中，感测单元可以测量移动体内的至少一个乘客的脑波信号并从测量的脑波信号中检测ERP。ERP可以包括响应锁定ERP。

在本公开的一种形式中，分析可以为判断在预定时间区间内收集的ERP的振幅是否在预定阈值范围内。

在本公开的一种形式中，通过利用针对至少一个乘客的脑波信号模板来执行分析。脑波信号模板可以是时域中的脑波信号，在发生错误因子后的预定时间范围内预先获得。

另外，根据本公开的一种形式，一种移动体控制方法可以包括：感测单元在预定时间内收集针对移动体内的至少一个乘客的ERP；错误监测单元通过分析在预定时间内收集的ERP来确定错误因子；以及控制单元基于错误因子来执行移动体反馈。

在本公开的一种形式中，事件相关电位(ERP)可以包括错误相关负电位(ERN)和错误正电位(Pe)中的至少一个。

在本公开的一种形式中，事件相关电位(ERP)可以进一步包括正确相关负电位(CRN)和正确正电位(Pc)中的至少一个。

在本公开的一种形式中，错误因子可以包括引发ERP的乘客、除该乘客之外的他人以及不同于该移动体的移动体的操作中的至少一个。

在本公开的一种形式中，移动体反馈可以用于控制移动体中包括的预定装置。

在本公开的一种形式中，分析可以为将在预定时间内收集的ERP的振幅与预定阈值进行比较。

在本公开的一种形式中，可以根据ERP的类型和获得ERP的乘客中的至少一个来不同地确定预定阈值。

在本公开的一种形式中，通过分析在预定时间内收集的ERP来确定错误因子可以包括：当在预定时间内收集的ERP的振幅大于预定阈值时，确定预定事件为针对乘客的错误因子。

在本公开的一种形式中，预定事件可以从多个事件之间的映射关系以及ERP的振幅与预定阈值之间的比较结果得出。

在本公开的一种形式中，预定阈值可以包括第一阈值和第二阈值，预定事件可以包括第一事件、第二事件和第三事件。当收集的ERP的振幅超过第一阈值时，预定事件可以与第一事件映射。当收集的ERP的振幅小于第二阈值时，预定事件可以与第三事件映射。当预定事件既不是第一事件也不是第三事件时，它可以与第二事件映射。

根据本公开的一种形式，在预定时间内收集针对移动体内的至少一个乘客的ERP可以包括：测量移动体内的至少一个乘客的脑波信号，并从测量的脑波信号中检测ERP。ERP可以包括响应锁定ERP。

根据本公开的一种形式，分析可以为判断在预定时间区间内ERP的振幅是否在预定阈值范围内。

根据本公开的一种形式，通过利用针对至少一个乘客的脑波信号模板来执行分析。脑波信号模板可以是时域中的脑波信号，在发生错误因子后的预定时间范围内预先获得。

上面关于本公开简要概述的特征仅是本公开的以下详细描述的示例性方面，并且不限制本公开的范围。

根据本公开的一种形式，可以提供利用错误监测的移动体控制方法和装置。

另外，可以提供一种利用响应锁定ERP执行错误监测从而反映乘客需求的移动体控制方法和装置。

在本公开中获得的效果不限于上述效果，并且根据以下描述，本领域技术人员可以清楚地理解上述未提及的其它效果。

根据本文提供的描述，其它应用领域将变得显而易见。应理解的是，描述和特定示例仅旨在用于说明的目的，并不旨在限制本公开的范围。

附图说明

为了可以更充分地理解本公开，现在将参照附图描述通过示例的方式给出的本公开的各种形式，其中：

图1是示出根据本公开的一种形式的ERN的一般波形的视图；

图2是示出根据本公开的一种形式的ERN和Pe的一般波形的视图；

图3是示出根据本公开的一种形式的Pe的偏转特性的视图；

图4A和图4B是分别示出根据本公开的一种形式的ERN和Pe的测量区域的视图；

图5是示出根据本公开的一种形式的ERN和CRN的一般波形的视图；

图6是示出根据本公开的一种形式的与脑皮层区域相对应的EEG测量通道的视图；

图7是示出根据本公开的一种形式的利用错误监测的移动体控制装置的配置的框图；

图8是示出根据本公开的一种形式的当目标ERP为ERN和Pe时的测量时间范围的视图；

图9是示出根据本公开的一种形式的当目标ERP分别为ERN和Pe时将目标ERP与预定阈值进行比较的过程的视图；以及

图10是示出根据本公开的一种形式的利用错误监测来操作移动体控制装置的方法的流程图。

在此描述的附图仅出于说明的目的，而不旨在以任何方式限制本公开的范围。

具体实施方式

以下描述本质上仅是示例性的，并且不旨在限制本公开、应用或用途。应理解的是，在所有附图中，相应的附图标记表示相同或相应的部件和特征。

将详细描述本公开的示例性形式，使得本领域技术人员将结合附图容易地理解并实现本公开提供的装置和方法。然而，本公开可以以各种形式来实施，并且本公开的范围不应被解释为限于示例性形式。

在描述本公开的形式时，当公知的功能或构造可能使本公开的宗旨不清楚时，将不对公知的功能或构造进行详细描述。

在本公开中，将理解的是，当元件被称为“连接到”、“联接到”或“结合到”另一元件时，该元件可以直接连接到或联接到或结合到另一元件，或者这两个元件之间可以存在中间元件。将进一步理解的是，当在本公开中使用时，术语“包含”、“包含”、“具有”等说明所陈述的特征、整数、步骤、操作、元件、组件和/或其组合的存在，但不排除存在或增加一个或多个其它特征、整数、步骤、操作、元件、组件和/或其组合。

将理解的是，尽管在本文中可以使用术语“第一”、“第二”等来描述各种元件，但是这些元件不应受这些术语的限制。这些术语仅用于区分一个元件与另一元件，而不用于表示元件之间的顺序或优先级。例如，在不脱离本公开的教导的情况下，下面讨论的第一元件可以被称为第二元件。类似地，第二元件也可以被称为第一元件。

在本公开中，不同的元件被命名为清楚地描述各种元件的特征，并不意味着这些元件在物理上彼此分离。即，可以将多个不同的元件组合成单个硬件单元或单个软件单元，相反，一个元件可以由多个硬件单元或软件单元实现。因此，尽管没有具体说明，但是各种元件的集成形式或一个元件的分离形式可以落入本公开的范围内。而且，诸如“单元”或“模块”等的术语应被理解为处理至少一个功能或操作并且可以以硬件方式(例如，处理器)、软件方式或硬件方式和软件方式的组合来实施的单元。

在本公开中，以各种形式描述的所有组成元件不应被解释为必要元件，而是一些组成元件可以是可选元件。因此，由组成元件的各个子集以某种形式配置的形式也可以落入本公开的范围内。另外，通过将一个或多个元件添加到各种元件而配置的形式也可以落入本公开的范围内。

脑波信号(或脑信号、脑波)是构成大脑的神经细胞的电活动，是指直接或间接反映人的有意识或无意识状态的生物信号。可以在人头皮的所有区域中测量脑波信号，脑波信号的波长的频率主要为30Hz以下，并且脑波信号的波长的电位差为几十微伏。根据大脑活动和状态，可能出现各种波形。正在利用根据人的意图的脑波信号进行接口控制的研究。可以通过使用利用由大脑活动引发的电信号的EEG(脑电图)、利用与电信号一起引发的磁信号的MEG(脑磁图)以及利用血液中氧饱和度的变化的fMRI(功能磁共振成像)或fNIRS(近红外光谱)来获得脑波信号。尽管fMRI和fNIRS是用于测量大脑活动的有用技术，但fMRI的时间分辨率(time resolution)通常较低，并且fNIRS的空间分辨率(spatial resolution)通常较低。由于这些限制，EEG信号由于出色的便携性和时间分辨率而被广泛利用。

脑波信号根据大脑活动在空间上随时间变化。由于脑波信号通常难以分析并且脑波信号的波形不易于视觉分析，因此提出了各种处理方法。

例如，根据振荡的次数(频率)，可以基于频带对脑波信号进行分类(功率谱分类)。该分类将测量的脑波信号视为每个特定频率的简单信号的线性总和，将信号分解为每个频率分量并指示相应的振幅。通过利用通常用于消除噪声的预处理、变换到频域的傅立叶变换以及带通滤波器(BPF)，可以获得每个频率的脑波信号。

更具体地，根据频带，脑波可以被分类为δ波、θ波、α波、β波和γ波。δ波是频率为3.5Hz以下并且振幅为20～200μV的脑波，主要出现在正常人的深度睡眠状态或新生儿中。另外，随着我们对物理世界的意识减少，δ波可能增加。通常，θ波是频率为3.5～7Hz的脑波，主要出现在情绪稳定状态或睡眠状态中。

另外，θ波主要在顶叶皮层(parietal cortex)和枕叶皮层(occipital cortex)中产生，并且可能在回忆或冥想的平静专注状态出现。通常，α波是频率为8～12Hz的脑波，主要出现在放松和舒适状态。另外，α波通常在休息状态的枕叶皮层中产生，并且可能在睡眠状态减少。通常，β波是频率为13～30Hz的脑波，主要在略微紧张状态下或者引起一定程度的关注时出现。另外，β波主要在额叶皮层(frontal cortex)中产生，并且与唤醒状态或专注大脑活动相关，并且与病理现象和药物作用相关。β波可能出现在整个大脑的广泛区域中。另外，具体地，β波可以分为频率为13～15Hz的SMR波、频率为15～18Hz的中β波和频率为20Hz以上的高β波。由于β波在诸如焦虑和紧张等的压力下似乎更强，因此β波被称为压力波。γ波是通常频率为30～50Hz的脑波，主要出现在强烈兴奋状态或高级认知信息处理过程中。另外，γ波可能在意识觉醒状态和REM睡眠期间出现，也可能与β波重叠。

根据频带的脑波信号中的每一个都与特定认知功能相关。例如，δ波与睡眠功能相关，θ波与工作记忆(working memory)相关，α波与注意力(attention)功能或抑制(inhibition)功能相关。因此，每个频带的脑波信号的特征选择性地显示特定认知功能。另外，每个频带的脑波信号在头部表面上的每个测量部位中可能显示一些不同的方面。大脑皮层可以分为额叶皮层、顶叶皮层、颞叶皮层(temporal cortex)和枕叶皮层，这些部分的作用可能略有不同。例如，与后脑勺相对应的枕叶皮层具有主要视觉皮层，因此可以主要负责处理视觉信息。位于头顶附近的顶叶皮层具有体感皮层，因此可以负责处理运动/感觉信息。另外，额叶皮层可以负责处理与记忆和思维相关的信息，颞叶皮层可以负责处理与听觉和嗅觉相关的信息。

同时，对于另一示例，可以通过利用ERP(事件相关电位)来分析脑波信号。ERP是大脑中与外部刺激或内部心理过程相关的电变化，是指包括由刺激引发的大脑的电活动的信号，该刺激包括自出现刺激后的一定时间后的特定信息(例如，图像、语音、声音、执行命令等)。

为了分析ERP，需要一种将信号与噪声分离的过程。可以主要利用平均化(averaging)方法。具体地，通过平均基于刺激出现时间测量的脑波，可以去除与刺激无关的脑波，并且可以仅挑选出作为共同参与刺激处理的大脑活动的相关电位。

由于ERP的时间分辨率较高，因此ERP与认知功能的研究密切相关。ERP是由外部刺激引发(evoke)或与内部状态相关的电现象。根据刺激的类型，ERP可以被分类为听觉相关电位、视觉相关电位、体感相关电位和嗅觉相关电位。根据刺激的性质，ERP可以被分类为外源性(exogenous)ERP和内源性(endogenous)ERP。外源性ERP通过外部刺激确定波的形状，与自动过程(automatic processing)相关，并且主要出现在受到刺激的初始阶段。例如，外源性ERP是脑干电位(brainstem potential)等。另一方面，内源性ERP通过内部认知过程根据心理过程或状态确定，而与刺激无关，并且与“受控处理(controlled processing)”相关。例如，内源性ERP是P300、N400、P600、CNV(关联性负变)等。

给予ERP峰值的名称通常包括极性和潜伏期，并且每个信号的峰值具有各自的定义和含义。例如，正电位为P，负电位为N，P300表示刺激出现后约300ms测量的正峰值。另外，根据出现的顺序应用1、2、3或a、b、c等。例如，P3表示刺激出现后波形中的第三正电位。

在下文中，将描述各种ERP。

作为一示例，N100与对不可预测的刺激的响应相关。

MMN(失匹配负电位(Mismatch Negativity))不仅可以由关注的刺激产生，而且可以由非关注的刺激产生。MMN可以用作在最初关注前感觉记忆(声像记忆(echoic memory))是否运行的指示符。下文将描述的P300出现在关注和做出判断的过程中，而MMN被解释为一种在关注前在大脑中产生的过程。

作为另一例子，N200(或N2)主要根据视觉刺激和听觉刺激产生，并且与以下描述的P300一起与作为关注后的记忆形式的短期记忆(short-term memory)或长期记忆(long-term memory)相关。

作为又一例子，P300(或P3)主要反映对刺激的关注、刺激认知、记忆搜索和不确定感消除等，并且与区分外部刺激的知觉决定(perceptual decision)相关。由于P300的产生与认知功能相关，因此无论出现的刺激的类型如何，都会产生P300。例如，P300可以在听觉刺激、视觉刺激和体感刺激中产生。P300被广泛应用于脑-计算机接口的研究。

作为又一例子，N400与语言处理相关，并且在出现具有语义错误的句子或具有语义错误的听觉刺激时引发。另外，N400与记忆过程相关，并且可以反映从长期记忆中检索或搜索信息的过程。

作为又一例子，P600作为表示重建(reconstruction)或回忆过程(recollectiveprocess)的指示符，与基于存储在长期记忆中的信息更准确地处理刺激的过程相关。

作为又一例子，CNV是从200～300ms到几秒出现的后半段的电位。CNV也被称为慢电位(slow potential，SP)，并且与预期(expectancy)、准备、精神启动(mental priming)、联想、关注和运动功能(motor activity)相关。

作为又一例子，错误相关负电位(ERN)或错误负电位(error negativity，Ne)是由失误或错误产生的事件相关电位(ERP)。当对象在感觉运动任务或类似任务中犯错误时可能引发ERN或Ne。更具体地，当对象认知到失误或错误时，产生ERN，并且ERN的负峰值主要发生在额叶(frontal)区域和中央(central)区域中约50～150ms。特别地，ERN可能出现在可能发生与动作响应(motor response)相关的失误的情况下，也可能用于指示否定的自我判断。

在下文中，将更详细地描述ERN的主要特征。

图1是示出根据本公开的一种形式的ERN的一般波形的视图。

参照图1，在横轴上方描绘了负电位值，并且在横轴下方描绘了正电位值。另外，可以确认在针对任意动作的响应发生(response onset)后的预定时间范围内产生具有负峰值的ERP。在此，响应可以表示发生失误或错误的情况(错误响应(Error Response))。另外，预定时间范围可以是约50～150ms。可选地，预定时间范围可以是约0～100ms。同时，在正确响应(correct response)的情况下，产生的ERP的负峰值比ERN相对较小。

作为初始负电位的ERP，ERN被锁时(time-locked)，直到发生响应错误为止。另外，已知ERN反映与行为监测相关的多巴胺能系统的强化活动。ERN包括额叶纹状体环路(fronto-striatal loop)，额叶纹状体环路包括喙状扣带回(rostral cingulate)区域。同时，多巴胺与通常形成特定行为并激励人从而提供愉悦感和强化的感觉的大脑奖励系统相关。当重复获得适当奖励的行为时，该行为被学习为习惯。另外，通过情绪学习释放更多的多巴胺，并且由于多巴胺的释放而尝试新的行为。因此，奖励驱动的学习称为强化学习。

另外，ERN可以通过额叶皮层导联在执行干扰任务(例如，Go-noGo任务、Stroop任务、Flanker任务和Simon任务)期间引发的错误响应发生后的0～100ms之间产生。

另外，已知ERN与以下描述的CRN一起反映可以区分正确行为和错误行为的一般行为监测系统的活动。

另外，已知ERN在额叶皮层电极处达到最大振幅的事实反映脑内发生器位于喙状扣带回区域或背侧前扣带回皮层(dorsal anterior cingulate cortex，dACC)区域中。

另外，ERN可以显示根据负面情绪状态的振幅的变化。

另外，甚至在基于不同于内部动作表现的外部评价反馈处理而进行行为监测的情况下，也可以报告ERN，并且ERN可以被分类为以下描述的FRN。

另外，不仅可以在认知到失误或错误时产生ERN，而且可以在认知到失误或错误前产生ERN。

另外，不仅可以作为对自己的失误或错误的响应来产生ERN，而且可以作为对他人的失误或错误的响应来产生ERN。

另外，不仅可以作为对失误或错误的响应来产生ERN，而且可以作为对预定执行任务或对象的焦虑或压力的响应来产生ERN。

同时，作为又一例子，错误正电位(Pe)是紧随ERN之后产生的事件相关电位(ERP)，并且是主要在失误或错误后约150～300ms之间在额叶皮层电极处产生的具有正值的ERP。已知Pe为意识到失误或错误并更加关注的反应。换言之，Pe与错误检测后的有意识的错误信息处理过程的指示符相关。已知ERN和Pe为与错误监测相关的ERP。

在下文中，将更详细地描述Pe的主要特征。

图2是示出根据本公开的一种形式的ERN和Pe的一般波形的视图。

参照图2，负电位值显示在上部，正电位值显示在下部。另外，可以确认在针对任意动作的响应发生后的第一预定时间范围内产生具有负峰值的ERP，即ERN。在此，响应可以表示发生失误或错误的情况(错误响应)。在此，第一预定时间范围可以是约50～150ms。可选地，第一预定时间范围可以是约0～200ms。

另外，可以确认在ERN发生后的第二预定时间范围内产生具有正峰值的ERP，即Pe。在此，第二预定时间范围可以为错误发生后约150～300ms。可选地，第二预定时间范围可以表示约200～400ms。

图3是示出根据本公开的一种形式的Pe的偏转特性的视图。

参照图3，类似于P3，Pe具有大的偏转特性，并且神经丛发生器不仅包括后扣带回皮层和岛叶皮层的区域，而且还包括更多的前扣带回皮层。

另外，Pe可以反映对错误的情绪评价以及对诸如P300的刺激的关注。另外，ERN表示正确响应与错误响应之间的冲突，已知Pe是意识到错误并更加关注的响应。换言之，可以在检测刺激的过程中产生ERN，并且可以在处理刺激的过程中根据注意产生Pe。当ERN和/或Pe分别具有相对较大的值时，已知这些值与旨在在错误后更慢且更准确地响应的自适应行为相关。

图4A和图4B是示出根据本公开的一种形式的ERN和Pe的测量区域的视图。

已知ERN和Pe为与错误监测相关的ERP。关于ERN和Pe的测量区域，通常可以在中央区域中分别测量最大负值和最大正值。但是，根据测量条件可能有一些差异。例如，图4A是测量ERN的主要区域，通常可以在中线额叶(midline frontal)或中央区域(即，FCZ)中测量ERN的最大负值。另外，图4B是测量Pe的主要区域，与ERN相比，通常可以在后中线区域中测量Pe的较大正值。

同时，作为又一例子，反馈相关负电位(Feedback-Related Negativity，FRN)是与基于外部评估反馈获得的错误检测相关的事件相关电位(ERP)。ERN和/或Pe基于内部监测过程来检测错误。但是，在FRN的情况下，当基于外部评估反馈获得FRN时，可以与ERN的过程类似地操作。

另外，FRN和ERN可以共享许多电生理特性。例如，FRN在负反馈发生后约250～300ms之间在额叶皮层电极处具有负峰值，并且可以像ERN一样在背侧前扣带回皮层(dACC)区域中产生。

另外，类似于ERN，FRN可以反映多巴胺能系统的强化学习活动。另外，FRN通常具有比正反馈更大的负值，并且对于不可预见的情况可以具有比可预测的结果更大的值。

作为又一例子，正确相关负电位(CRN)是由正确的响应(correct trial)产生的ERP，并且是小于ERN的负值。像ERN一样，CRN可以在初始潜伏期(例如，0～100ms)之间产生。图5是示出根据本公开的一种形式的ERN和CRN的一般波形的视图。

作为又一例子，正确正电位(Pc)是紧随CRN之后产生的事件相关电位，并且是在正确响应发生后约150～300ms之间产生的事件相关电位。CRN和Pc之间的关系可以类似于ERN和Pe之间的关系。

同时，ERP可以被分类为刺激锁定(stimulus-locked)ERP和响应锁定(response-locked)ERP。刺激锁定ERP和响应锁定ERP可以根据诸如ERP的引发原因和响应时间的标准来划分。例如，从外部向用户呈现文本或图片的时刻起引发的ERP可以被称为刺激锁定ERP。另外，例如，从用户说话或按下按钮的时刻起引发的ERP可以被称为响应锁定ERP。因此，基于上述标准，通常，刺激锁定ERP为N100、N200、P2、P3等，响应锁定ERP为ERN、Pe、CRN、Pc、FRN等。

同时，可以根据表现的动机对脑波进行分类。脑波可以被分类为通过用户意愿表现的自发性脑波(自发性电位)和根据与用户意愿无关的外部刺激自然表现的诱发性脑波(诱发性电位)。当用户自己运动或想象运动时，可以表现自发性脑波，而诱发性脑波可以通过例如视觉、听觉、嗅觉和触觉刺激来表现。

同时，可以根据国际10-20系统测量脑波信号。国际10-20系统基于电极位置与脑皮层区域之间的关系来确定脑波信号的测量点。

图6是示出根据本公开的一种形式的与脑皮层区域相对应的EEG测量通道的视图。

参照图6，脑区域(前额叶皮层FP1、FP2；额叶皮层F3、F4、F7、F8、FZ、FC3、FC4、FT7、FT8、FCZ；顶叶皮层C3、C4、CZ、CP3、CP4、CPZ、P3、P4、PZ；颞叶皮层T7、T8、TP7、TP8、P7、P8；枕叶皮层O1、O2、OZ)对应于32个脑波测量通道。对于每个通道，可以获得数据并且可以通过利用数据对每个脑皮层区域执行分析。

图7是示出根据本公开的一种形式的利用错误监测的移动体控制装置的配置的框图。

参照图7，移动体控制装置700可以包括感测单元710、错误监测单元720和/或控制单元730。然而，应注意的是，仅示出了解释本形式所需的一些组件，并且移动体控制装置700中包括的组件不限于上述示例。例如，可以在一个组成单元中实现两个或更多个组成单元，并且在一个组成单元中执行的操作可以在两个或更多个组成单元中划分并执行。另外，可以省略一些组成单元，或者可以添加附加的组成单元。

本公开的移动体控制装置可以通过利用响应锁定ERP来执行错误产生的监测。另外，随着执行监测，可以控制移动体。在本公开的一种形式中的感测单元710可以在预定时间内收集针对移动体内的至少一个乘客的ERP。另外，错误监测单元720可以通过分析在预定时间内收集的ERP来确定错误因子。另外，控制单元730可以基于在错误监测单元720中确定的错误因子来执行移动体反馈。

同时，移动体可以涵盖车辆、移动/运输装置等的含义。

具体地，本公开的移动体控制装置可以在预定时间内收集针对移动体内的至少一个乘客的ERP。

在此，ERP可以表示响应锁定ERP。另外，响应锁定ERP可以包括ERN、Pe、CRN、Pc和FRN。另外，除了ERN、Pe、CRN、Pc和FRN外，还可以包括在响应发生(即，响应开始)后获得的其它ERP。另外，响应锁定ERP可以包括多个ERP。

另外，在此，在预定时间内收集ERP可以包括以下过程：测量移动体内的至少一个乘客的脑波信号，并从测量的脑波信号中检测ERP。

在图1至图6中，如上所述，可以产生ERN、Pe、CRN、Pc和/或FRN作为对诸如错误或失误的错误行为的响应，或对正确行为的响应。因此，如果利用ERP，则可以判断相应的乘客是否执行了错误行为。而且，基于该判断，可以控制移动体以满足目的。

作为一示例，当驾驶员必须右转但左转时，或者当驾驶员必须左转但继续直行时，可以产生ERN和/或Pe。

作为另一例子，在根据导航系统的指引进行驾驶时，如果驾驶员未能根据指引进行动作，则可以产生ERN和/或Pe。

作为又一例子，当驾驶员处于紧张和压力的驾驶状态时，例如，复杂道路或头一回走的道路等，可能产生ERN和/或Pe。

另外，预定时间可以是在特定响应发生后约0～400ms。另外，预定时间可以包括可以获得上述响应锁定ERP的时间范围。另外，预定时间可以根据响应锁定ERP的类型而变化，并且可以具有多个时间范围。例如，可以给出第一时间范围以获得第一ERP，并且可以给出第二时间范围以获得第二ERP。

例如，当第一ERP是ERN并且第二ERP是Pe时，第一时间范围可以是作为ERN的主要测量区间的约0～150ms，并且第二时间范围可以是作为Pe的主要测量区间的约150～400ms。图8是示出当目标ERP为ERN和Pe时的测量时间范围的视图。参照图8，可以在第一时间范围810内获得ERN，并且可以在第二时间范围820内获得Pe。

作为另一例子，当第一ERP是ERN并且第二ERP是CRN时，第一时间范围可以是作为ERN的主要测量区间的约0～200ms，并且第二时间范围可以是作为CRN的主要测量区间的约0～200ms。

另外，乘客不仅可以包括移动体内的驾驶员，而且还可以包括其他乘客。

本公开的移动体控制装置可以通过分析在预定时间内收集的ERP来确定错误因子。

在此，分析可以包括将在预定时间内收集的ERP的振幅与预定阈值进行比较的过程。

同时，阈值可以是预设值或用户输入的值。另外，对于收集ERP的每个乘客，阈值可以具有不同的振幅。例如，阈值可以是反映每个乘客的脑波信号特征的值。为了反映脑波信号特征的分析结果，可以预先针对乘客的脑波信号中显示的响应锁定ERP特征执行预定学习过程。另外，阈值可以根据ERP的类型而变化并且可以具有多个阈值。图9是示出根据本公开的一种形式的当目标ERP分别是ERN和Pe时将目标ERP与预定阈值进行比较的过程的视图。参照图9，在ERN的情况下，ERN的振幅可以与第一阈值910进行比较。在Pe的情况下，Pe的振幅可以与第二阈值920进行比较。

另外，分析可以包括判断在预定时间区间内ERP的振幅是否等于或大于预定阈值(即，超出预定阈值范围)的过程。参照图9，在ERN的情况下，可以将ERN的振幅与第一阈值910进行比较，以观察在第三时间范围912期间ERN的振幅是否等于或大于第一阈值910。在Pe的情况下，可以将Pe的振幅与第二阈值920进行比较，以观察在第四时间范围922期间Pe的振幅是否等于或小于第二阈值920。

另外，可以通过利用每个乘客的脑波信号模板来执行分析。在此，脑波信号模板可以指时域中的脑波信号，在针对任意动作的响应发生后的预定时间范围内预先获得。响应可以包括错误、失误、正确响应等。预制的脑波信号模板可以在分析过程中缩放。换言之，脑波信号图的振幅可以以预定比率增加或减小。例如，可以通过将在预定时间内获得的单个ERP和/或多个ERP的振幅-时间图波形与预先确定的脑波信号模板进行比较来执行分析。在此，任意动作可以是预定的。例如，任意动作可以包括例如10条违反交通规则的重大过失的事件。可以通过虚拟仿真过程或通过预定学习过程来获得脑波信号模板。

同时，可以在分析之前进行通过利用脑波信号的特征出现的时间和/或利用脑波信号的模式来识别ERP的发生的过程。另外，分析可以包括提取ERP的处理。

另外，用于分析的ERP可以是在预定时间内收集的ERP的统计值。例如，统计值可以表示平均值、加权平均值、最大值和最小值等。

如上所述，可以通过分析ERP来确定错误因子。换言之，通过执行分析，可以确定从乘客获得的预定ERP是否是用于移动体控制的有意义的信息。

作为一个例子，当获得的ERP的振幅高于或低于预定阈值(即，获得的ERP超出预定阈值范围)时，移动体控制装置可以确定与ERP相关的预定事件(或动作)为针对乘客的错误因子。

与ERP相关的预定事件可以包括引发ERP的乘客本人或他人的动作。此外，与ERP相关的预定事件可以包括其它移动体的操作。

作为一个例子，当驾驶员必须右转但左转时或当驾驶员必须左转但继续直行时，可以将相应的事件确定为针对驾驶员的错误因子。

作为另一例子，在根据导航系统的指引进行驾驶时，如果驾驶员未能根据指引进行动作，则可以将相应事件确定为针对驾驶员的错误因子。

作为又一例子，在根据导航系统的指引进行驾驶时，即使驾驶员未能根据指引进行动作，只要相应的ERP的振幅在预定阈值范围内，该动作可以不被确定为错误因子。在这种情况下，可以理解的是，驾驶员有意选择了与导航系统的指引不同的路线。

同时，ERP和与其相关的预定事件可以彼此具有映射关系。例如，根据获得的ERP的振幅(大小)或波形，预定事件可以如表1的示例所示地被映射。

表1

事件相关电位(ERP)	事件的振幅	特定事件
			ERP>第一阈值	大	第一事件
第一阈值≥ERP&ERP≥第二阈值	中	第二事件
			ERP<第二阈值	小	第三事件

参照表1，事件相关电位为ERP，并且事件的振幅可以表示发生的事件的严重性。特定事件可以根据每个步骤被分类为第一事件、第二事件和第三事件，并且分类可以根据乘客而变化。另外，同一事件可以包括在多个步骤中。

作为一个例子，第一事件的严重性很高，并且第一事件可以包括10条违反交通规则的重大过失，例如在中心线上行驶和违反交通标志。表2列出了10条违反交通规则的重大过失。

表2

本公开的移动体控制装置可以基于错误因子来执行移动体反馈。

在此，移动体反馈可以表示控制移动体中包括的预定装置。另外，移动体反馈可以表示控制移动体中包括的预定装置以反映移动体内的乘客的意图。

作为一个例子，当驾驶员必须右转但左转时或当驾驶员必须左转但继续直行时，本公开的移动体控制装置可以向驾驶员提供指引消息作为移动体反馈，指引消息表示由于相应的动作而偏离了原始路线。

作为另一例子，当获得的ERP在行驶期间持续地超出预定阈值范围时，本公开的移动体控制装置可以判断驾驶员在当前路线上受到压力。另外，本公开的移动体控制装置可以向驾驶员提供新的路线。

作为又一例子，本公开的移动体控制装置可以通过利用错误监测来控制自动驾驶系统。通常，由于除了对驾驶结束后的自动驾驶经历进行调查以外，没有用于驾驶员对自动驾驶系统进行评价的定量等级量表或方法，因此不存在用于实时修正自动驾驶系统的决策模型或立即为错误决定提供反馈的方法。因此，通过利用响应锁定ERP执行错误监测，可以执行对自动驾驶系统的实时评估和/或反馈。

具体地，基于由失误或错误产生的脑波的ERP的特征，可以识别由用户将自动驾驶系统做出的决定判断为失误或错误。因此，如果在道路上通过自动驾驶系统驾驶时在用户的脑波中观察到响应锁定ERP，则可以通过对自动驾驶系统的相应决策给予否定反馈来更新决策模型。当在用户的FCZ上附接了脑波电极的情况下进行自动驾驶时，可以执行脑波监测。在这种情况下，可以通过将自动驾驶系统中的每个决策视为单个事件(event)来测量响应锁定ERP。当在事件发生后的预定时间内观察到具有负值的峰值时，该事件可以被识别为失误或错误。可以将关于被识别为失误或错误的事件的信息提供给自动驾驶系统。预定时间可以是50～150ms。同时，当自动驾驶系统接收到在特定情况下做出的特定决策已被判断为失误或错误的反馈时，这样的信息可以存储在数据库中并且可以更新系统。换言之，自动驾驶系统可以修改决策模型，使得当随后发生与被判断为失误或错误的情况相同的情况时，可以做出另一决策。例如，当用户将高速公路上频繁变道识别为失误或错误并且相应地观察到ERN时，自动驾驶系统可以接收事件信息的反馈，并可以修正决策模型以选择高速公路上较不频繁变道的决定。换言之，可以以减小决策模型中的相应决策的权重的方式来训练自动驾驶系统。

图10是示出根据本公开的一种形式的利用错误监测来操作移动体控制装置的方法的流程图。

参照图10，可以在预定时间内收集针对移动体内的至少一个乘客的ERP(S1001)。

在此，ERP可以包括响应锁定ERP。

作为一个例子，ERP可以包括ERN(错误相关负电位)和Pe(错误正电位)中的至少一个。另外，ERP可以进一步包括CRN(正确相关负电位)和Pc(正确正电位)中的至少一个。

同时，在预定时间内收集ERP可以包括以下过程：测量移动体内的至少一个乘客的脑波信号，并从测量的脑波信号中检测ERP。

同时，在预定时间内收集针对移动体内的至少一个乘客的ERP可以包括：测量移动体内的至少一个乘客的脑波信号，并从测量的脑波信号中检测ERP。

另外，可以通过分析在预定时间内收集的ERP来确定错误因子(S1002)。另外，当在预定时间内收集的ERP的振幅超出预定阈值范围时，预定事件可以被确定为针对乘客的错误因子。

在此，错误因子可以包括引发ERP的乘客、除该乘客之外的他人以及不同于该移动体的移动体的操作中的至少一个。

在此，分析可以表示将在预定时间内收集的ERP的振幅与预定阈值进行比较。另外，分析可以表示判断在预定时间区间内ERP的振幅是否在预定阈值范围内。

另外，可以通过利用针对至少一个乘客的脑波信号模板来执行分析。在这种情况下，脑波信号模板可以是时域中的脑波信号，在先前发生错误因子后的预定时间范围内预先获得。

另外，可以在分析之前进行通过利用脑波信号的特征出现的时间和/或利用脑波信号的模式来识别ERP的发生的过程。另外，分析可以包括提取ERP的处理。

同时，可以根据ERP的类型和获得ERP的乘客中的至少一个来不同地确定预定阈值。

预定事件从多个事件之间的映射关系以及ERP的振幅与预定阈值之间的比较结果得出。

同时，预定阈值可以包括第一阈值和第二阈值，预定事件可以包括第一事件、第二事件和第三事件。当收集的ERP的振幅超过第一阈值时，预定事件可以与第一事件映射。当收集的ERP的振幅小于第二阈值时，预定事件可以与第三事件映射。当预定事件既不是第一事件也不是第三事件时，预定事件可以与第二事件映射。

另外，基于错误因子，可以执行移动体反馈(S1003)。

同时，移动体反馈可以表示用于控制移动体中包括的预定装置。

尽管为了描述的清楚起见，本公开的示例性方法被描述为一系列操作步骤，但是本公开不限于上述操作步骤的顺序或次序。操作步骤可以同时执行，或者可以以不同顺序来执行。为了实施本公开的方法，可以添加附加的操作步骤和/或可以消除或替代现有的操作步骤。

本公开的各种形式被呈现并不是为了描述所有可用组合，而是为了仅描述代表性组合。各种形式中的步骤或元件可以单独使用或可以组合使用。

另外，本公开的各种形式可以以硬件、固件、软件或其组合的形式实施。当本公开以硬件组件实施时，硬件组件可以是例如专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、通用处理器、控制器、微控制器、微处理器等。

本公开的范围包括使得能够在装置中或计算机上执行各种形式的方法的软件或机器可执行指令(例如，操作系统(OS)、应用、固件、程序)，以及存储这些软件或机器可执行指令以便可以在装置中或计算机上执行该软件或指令的非暂时性计算机可读介质。

Claims (20)

1.一种移动体控制装置，包括：

感测单元，在预定时间内收集针对移动体内的乘客的事件相关电位即ERP；

错误监测单元，分析收集的所述ERP，并且基于分析的所述乘客的ERP来确定错误因子；以及

控制单元，基于所述错误因子来执行移动体反馈。

2.根据权利要求1所述的装置，其中，

所述ERP包括错误相关负电位即ERN、错误正电位即Pe、正确相关负电位即CRN和正确正电位即Pc中的至少一个。

3.根据权利要求1所述的装置，其中，

所述错误监测单元基于收集的引发所述ERP的所述乘客、所述移动体内的其他乘客中的至少一个的ERP和另一移动体的操作来确定所述错误因子。

4.根据权利要求1所述的装置，其中，

所述移动体反馈用于控制所述移动体中包括的预定装置。

5.根据权利要求1所述的装置，其中，

所述错误监测单元将收集的所述乘客的ERP的振幅与预定阈值进行比较。

6.根据权利要求5所述的装置，其中，

基于收集的所述ERP的类型和获得所述ERP的所述乘客中的至少一个来不同地确定所述预定阈值。

7.根据权利要求6所述的装置，其中，

当收集的所述ERP的振幅大于所述预定阈值时，所述错误监测单元确定预定事件为针对所述乘客的所述错误因子。

8.根据权利要求7所述的装置，其中，

所述预定事件从多个事件之间的映射关系以及收集的所述ERP的振幅与所述预定阈值之间的比较结果得出。

9.根据权利要求8所述的装置，其中，

所述预定阈值包括第一阈值和第二阈值，并且所述预定事件包括第一事件、第二事件和第三事件，

当收集的所述ERP的振幅超过所述第一阈值时，所述预定事件与所述第一事件映射，

当收集的所述ERP的振幅小于所述第二阈值时，所述预定事件与所述第三事件映射，并且

当所述预定事件既不是所述第一事件也不是所述第三事件时，所述预定事件与所述第二事件映射。

10.根据权利要求1所述的装置，其中，

所述错误监测单元通过利用针对所述乘客的脑波信号模板来分析收集的所述ERP，并且

所述脑波信号模板是时域中的脑波信号，在先前发生错误因子后的预定时间范围内预先获得。

11.一种移动体控制方法，包括：

感测单元在预定时间内收集针对移动体内的乘客的事件相关电位即ERP；

错误监测单元通过分析在所述预定时间内收集的所述ERP来确定错误因子；以及

控制单元基于所述错误因子来执行移动体反馈。

12.根据权利要求11所述的方法，其中，

所述ERP包括错误相关负电位即ERN、错误正电位即Pe、正确相关负电位即CRN和正确正电位即Pc中的至少一个。

13.根据权利要求11所述的方法，其中，

基于收集的引发所述ERP的所述乘客、所述移动体内的其他乘客中的至少一个的ERP和另一移动体的操作来确定所述错误因子。

14.根据权利要求11所述的方法，进一步包括：

利用所述移动体反馈来控制所述移动体中包括的预定装置。

15.根据权利要求11所述的方法，其中，

确定错误因子包括：

将收集的所述乘客的ERP的振幅与预定阈值进行比较。

16.根据权利要求15所述的方法，其中，

基于收集的所述ERP的类型和获得所述ERP的所述乘客中的至少一个来不同地确定所述预定阈值。

17.根据权利要求16所述的方法，其中，

确定错误因子包括：

当收集的所述ERP的振幅大于所述预定阈值时，确定预定事件为针对所述乘客的所述错误因子。

18.根据权利要求17所述的方法，其中，

所述预定事件从多个事件之间的映射关系以及收集的所述ERP的振幅与所述预定阈值之间的比较结果得出。

19.根据权利要求18所述的方法，其中，

所述预定阈值包括第一阈值和第二阈值，并且所述预定事件包括第一事件、第二事件和第三事件，

当收集的所述ERP的振幅超过所述第一阈值时，所述预定事件与所述第一事件映射，

当收集的所述ERP的振幅小于所述第二阈值时，所述预定事件与所述第三事件映射，并且

当所述预定事件既不是所述第一事件也不是所述第三事件时，所述预定事件与所述第二事件映射。

20.根据权利要求11所述的方法，其中，

利用针对所述乘客的脑波信号模板来执行分析收集的所述ERP，并且

所述脑波信号模板是时域中的脑波信号，在先前发生错误因子后的预定时间范围内预先获得。

Images